KR20200019147A - 멀티-암 구조화 조명 이미징 - Google Patents
멀티-암 구조화 조명 이미징 Download PDFInfo
- Publication number
- KR20200019147A KR20200019147A KR1020197037643A KR20197037643A KR20200019147A KR 20200019147 A KR20200019147 A KR 20200019147A KR 1020197037643 A KR1020197037643 A KR 1020197037643A KR 20197037643 A KR20197037643 A KR 20197037643A KR 20200019147 A KR20200019147 A KR 20200019147A
- Authority
- KR
- South Korea
- Prior art keywords
- light
- fringes
- optical
- sample
- diffraction grating
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 160
- 238000005286 illumination Methods 0.000 title claims abstract description 58
- 230000003287 optical effect Effects 0.000 claims abstract description 189
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 65
- 230000033001 locomotion Effects 0.000 claims description 60
- 230000010363 phase shift Effects 0.000 claims description 20
- 230000000903 blocking effect Effects 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 10
- 238000010168 coupling process Methods 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 238000000386 microscopy Methods 0.000 abstract description 6
- 239000000523 sample Substances 0.000 description 170
- 238000010586 diagram Methods 0.000 description 21
- 239000013307 optical fiber Substances 0.000 description 20
- 239000007787 solid Substances 0.000 description 19
- 239000000758 substrate Substances 0.000 description 15
- 230000009977 dual effect Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 11
- 230000014616 translation Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 150000007523 nucleic acids Chemical class 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 102000039446 nucleic acids Human genes 0.000 description 4
- 108020004707 nucleic acids Proteins 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 239000012472 biological sample Substances 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000011324 bead Substances 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000013401 experimental design Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003954 pattern orientation Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 101100139907 Arabidopsis thaliana RAR1 gene Proteins 0.000 description 1
- 229920002307 Dextran Polymers 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- 101100028790 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PBS2 gene Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 229920002401 polyacrylamide Polymers 0.000 description 1
- -1 polypropylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1086—Beam splitting or combining systems operating by diffraction only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/143—Beam splitting or combining systems operating by reflection only using macroscopically faceted or segmented reflective surfaces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
- G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4272—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 개시는 구조화 조명 현미경법(SIM) 이미징 시스템을 제공한다. 일련의 구현들에서, SIM 이미징 시스템은 멀티-암 이미징 시스템으로서 구현될 수 있어, 이에 의해 상기 시스템의 각 암은 광이미터 및 시스템의 광축에 대해 특정한 고정된 배향을 갖는 빔스플리터(예를 들어, 투과형 회절격자)를 포함한다. 제 2 세트의 구현에서, SIM 이미징 시스템은 다중 빔스플리터 슬라이드 SIM 이미징 시스템으로서 구현될 수 있으며, 여기서 하나의 선형 이동 스테이지는 시스템의 광축에 대해 대응하는 고정된 배향을 갖는 다중 빔 스플리터와 함께 장착된다. 제 3 세트의 구현에서, SIM 이미징 시스템은 패턴 각도 공간 선택 SIM 이미징 시스템으로서 구현될 수 있고, 이에 의해 고정된 2차원 회절격자가 샘플 상에 1차원 프린지 패턴을 투영하기 위해 공간 필터 휠과 조합하여 사용된다.
Description
본 출원은 2018년 1월 16일자로 출원되고 발명의 명칭이 "Multi-Arm Structured Illumination Imaging"인 미국 가출원 제62/618,068호의 우선권을 주장한다. 상기 출원의 전체 내용은 본원에 참조로 포함된다.
구조화 조명 현미경법(SIM)은 공간적으로 구조화된 (즉, 패턴화된) 광을 이용해 샘플을 이미지화하여 현미경의 측면 해상도를 2 이상의 인수만큼 증가시키는 기술을 설명한다. 일부 경우에, 샘플의 이미징 동안, 샘플의 프린지 패턴의 3개의 이미지가 다양한 패턴 위상(예를 들어, 0°, 120° 및 240°)에서 획득되므로, 샘플 상의 각각의 위치가 광축을 중심으로 패턴 배향을 3개의 별개의 각도(예를 들어, 0°, 60° 및 120°)로 회전시킴으로써 절차가 반복되는 조명 강도의 범위에 노출된다. 캡처된 이미지들(예를 들어, 9개의 이미지들)은 확장된 공간 주파수 대역폭을 갖는 단일 이미지로 어셈블리될 수 있으며, 이는 종래의 현미경에 의해 캡처된 것보다 더 높은 해상도를 갖는 이미지를 생성하기 위해 실제 공간으로 재변환될 수 있다.
현재의 SIM 시스템의 일부 구현에서, 선형 편광된 광빔은 빔을 정현파 강도 변화와 함께 간섭 프린지 패턴으로서 이미징된 샘플 상에 결합되고 투영될 수 있는 2개 이상의 별개의 차수로 분할시키는 광 빔스플리터를 통해 보내진다. 회절격자는 고도의 코히어런스 및 안정적인 전파 각도를 갖는 빔을 생성할 수 있는 빔스플리터의 예이다. 이러한 2개의 빔이 결합될 때, 이들 사이의 간섭으로 인해 간섭 빔들 간에 각도를 포함한 요인들에 의해 간격이 결정되는 균일하고 규칙적으로 반복되는 프린지 패턴이 생성될 수 있다. 2개 이상의 빔들이 결합된 경우, 결과적으로 발생한 패턴에는 일반적으로 프린지 간격들의 혼합이 들어 있어, 그 결과 최대 및 최소 강도의 차(또한 "변조 깊이"라고도 함)가 줄어들어 SIM 용도에 적합하지 않다.
현재 SIM 시스템의 일부 구현에서, 투영된 패턴의 배향은 광축을 중심으로 빔 분할소자를 회전시킴으로써 제어되고, 패턴의 위상은 상기 소자를 광축에 측면으로 가로질러 이동시킴으로써 조정된다. 이러한 시스템에서, 회절격자는 일반적으로 병진 스테이지에 장착되고, 차례로 회전 스테이지에 장착된다. 또한, 이러한 시스템은 종종 선형 편광기를 이용하여 광원에서 방출된 광을 편광시킨 후에 격자에서 수신된다.
본 명세서에 개시된 구현은 구조화 조명 시스템 및 방법에 관한 것이다.
제 1 구현 세트에서, SIM 이미징 시스템은 멀티-암 SIM 이미징 시스템으로서 구현될 수 있으며, 시스템의 각각의 암은 광이미터 및 시스템의 광축에 대해 특정한 고정된 방향을 갖는 빔스플리터(예를 들어, 투과형 회절격자)를 포함한다.
멀티-암 SIM 이미징 시스템의 일 구현에서, 시스템은: 광을 방출하는 제 1 광이미터 및 샘플면 상에 제 1 복수의 프린지를 투영하기 위해 상기 제 1 광이미터에 의해 방출된 광을 분할하는 제 1 빔스플리터를 포함하는 제 1 광 암; 및 광을 방출하는 제 2 광이미터 및 상기 샘플면 상에 제 2 복수의 프린지를 투영하기 위해 상기 제 2 광이미터에 의해 방출된 광을 분할하기 위한 제 2 빔스플리터를 포함하는 제 2 광 암을 포함한다. 이 구현에서, 시스템은 또한 제 1 암 및 제 2 암의 광경로를 결합시키기 위한 광학소자를 포함할 수 있다. 추가적으로, 시스템은 샘플에 의해 방출된 광을 모으기 위한 이미지 센서를 포함할 수 있다. 일부 구현에서, 샘플은 직사각형 어레이 또는 육각형 어레이로 규칙적으로 패턴화된 복수의 특징부를 포함할 수 있다.
일부 구현들에서, 제 1 빔스플리터는 제 1 투과형 회절격자를 포함하고 제 2 빔스플리터는 제 2 투과형 회절격자를 포함한다. 일부 구현들에서, 제 1 빔스플리터는 제 1 반사형 회절격자를 포함하고 제 2 빔스플리터는 제 2 반사형 회절격자를 포함한다. 일부 구현들에서, 제 1 및 제 2 빔스플리터 각각은 빔스플리터 큐브 또는 플레이트를 포함한다.
일부 구현들에서, 제 1 및 제 2 광이미터들은 편광되지 않은 광을 방출하고, 제 1 및 제 2 투과형 회절격자들은 제 1 및 제 2 광이미터들 각각의 하나에 의해 방출된 비편광된 광을 회절시킬 수 있다.
일부 구현들에서, 제 1 복수의 프린지들 및 제 2 복수의 프린지들의 광경로를 결합하기 위한 광학소자는 홀들을 갖는 미러를 포함하고, 상기 미러는 제 1 회절격자에 의해 회절된 광을 반사시키도록 배열되고 홀들은 제 2 회절격자에 의해 회절된 적어도 1차 광을 통과시키도록 배열된다. 일부 구현들에서, 제 1 암과 제 2 암의 광경로를 결합하기 위한 광학소자는 편광 빔스플리터를 포함하고, 여기서 제 1 회절격자는 수직 편광을 회절시키고, 제 2 회절격자는 수평 편광을 회절시킨다.
일부 구현들에서, 멀티-암 SIM 이미징 시스템은 제 1 복수의 프린지 및 제 2 복수의 프린지를 위상 이동시키기 위한 하나 이상의 광학소자를 포함한다.
일부 구현들에서, 제 1 복수의 프린지들 및 제 2 복수의 프린지들을 위상 이동시키기 위한 하나 이상의 광학소자들은 제 1 복수의 프린지들을 위상 이동시키기 위한 제 1 회전 광학 윈도우 및 제 2 복수의 프린지들을 위상 이동시키기 위한 제 2 회전 광학 윈도우를 포함한다. 일부 구현들에서, 제 1 복수의 프린지들과 제 2 복수의 프린지들을 위상 이동시키기 위한 하나 이상의 광학소자들은 제 1 회절격자를 병진이동시키기 위한 제 1 선형 이동 스테이지 및 제 2 회절격자를 병진이동시키기 위한 제 2 선형 이동 스테이지를 포함한다. 일부 구현들에서, 제 1 복수의 프린지들 및 제 2 복수의 프린지들을 위상 이동시키기 위한 하나 이상의 광학소자들은 단일 회전 광학 윈도우를 포함하고, 여기서 단일 회전 광학 윈도우는 홀들이 샘플의 광경로에 있는 미러 다음에 위치된다.
일부 구현들에서, 단일 회전 광학 윈도우의 회전축은 각각의 격자의 광축으로부터 약 45°만큼 오프셋된다.
일부 구현들에서, 제 1 복수의 프린지들은 샘플면 상의 제 2 복수의 프린지들로부터 약 90°만큼 각도로 오프셋된다.
일부 구현들에서, 시스템은 또한 샘플 상에 각각의 제 1 복수의 프린지 및 제 2 복수의 프린지를 투영하기 위한 대물렌즈를 포함한다.
일부 구현들에서, 시스템은 또한 제 1 및 제 2 회절격자들 각각에 의해 방출되는 0차 광을 차단하기 위한 하나 이상의 광빔 차단기를 포함한다. 특정 구현들에서, 하나 이상의 광빔 블록들은 브래그 격자(Bragg grating)를 포함한다.
멀티-암 SIM 이미징 시스템의 일 구현에서, 방법은 구조화 조명 시스템의 제 1 광학 암을 턴온하는 단계; 샘플의 제 1 복수의 위상 이미지들을 캡쳐하는 단계; 구조화 조명 시스템의 제 2 광학 암을 턴온하는 단계; 및 제 2 복수의 프린지들로 조명된 샘플면 상에 제 2 복수의 위상 이미지들을 캡쳐하는 단계를 포함하고, 상기 제 1 광학 암은 광을 방출하기 위한 제 1 광이미터 및 샘플면 상에 특정 방향으로 배향된 제 1 복수의 프린지들을 투영하기 위해 제 1 광이미터에 의해 방출된 광을 회절시키기 위한 제 1 회절격자를 포함하며, 제 1 복수의 이미지들을 캡쳐하는 동안, 제 1 복수의 프린지들의 위치가 샘플면 상에 이동되고, 제 2 광학 암은 광을 방출하기 위한 제 2 광이미터 및 샘플면 상에 제 2 복수의 프린지들을 투영하기 위해 제 2 광이미터에 의해 방출된 광을 회절시키기 위한 제 2 회절격자를 포함하며, 제 2 복수의 프린지들은 샘플면 상에 제 1 복수의 프린지로부터 비스듬히 오프셋되고, 제 2 복수의 프린지들을 캡쳐하는 동안, 제 2 복수의 프린지들의 위치가 샘플면 상에 이동된다. 이 방법의 구현에서, 제 1 회절격자 및 제 2 회절격자는 투과형 회절격자이며, 구조화 조명 시스템은 제 1 회절격자에 의해 회절된 광을 반사하고 제 2 회절격자에 의해 회절된 광의 적어도 1차를 통과시키기 위한 홀들을 갖는 미러를 포함한다.
구현에서, 상기 방법은 적어도 제 1 복수의 캡처된 위상 이미지 및 제 2 복수의 캡처된 위상 이미지를 사용하여 제 1 및 제 2 복수의 캡처된 위상 이미지들 각각보다 높은 해상도를 갖는 하나 이상의 이미지를 계산적으로 재구성하는 단계를 더 포함한다. 구현에서, 제 1 복수의 프린지들은 샘플면상의 제 2 복수의 프린지들로부터 약 90°만큼 각도로 오프셋된다.
구현에서, 제 1 복수의 프린지 및 제 2 복수의 프린지는 샘플과 각각의 제 1 및 제 2 격자 사이의 광경로에 위치된 단일 광학 윈도우를 회전시킴으로써 위상 이동되며, 여기서 단일 회전 광학 윈도우는 각각의 격자의 광축으로부터 오프셋된다.
본 방법의 구현에서, 제 1 복수의 위상 이미지를 캡처한 후에, 제 1 광학 암이 턴오프되고 구조화 조명 시스템의 제 2 광학 암이 턴온된다.
본 방법의 구현에서, 제 1 회절격자 및 제 2 회절격자는 이미지 캡처 동안 기계적으로 고정된다.
제 2 구현 세트에서, SIM 이미징 시스템은 다중 빔스플리터 슬라이드 SIM 이미징 시스템으로서 구현될 수 있으며, 여기서 하나의 선형 이동 스테이지는 시스템의 광축에 대하여 대응하는 고정된 배향을 갖는 다중 빔스플리터와 함께 장착된다.
다중 빔스플리터 슬라이드 SIM 이미징 시스템의 일 구현에서, 시스템은: 광을 방출하는 광이미터; 제 1 빔스플리터 및 제 2 빔스플리터가 장착된 선형 이동 스테이지; 및 샘플에 의해 방출된 광을 모으기 위한 이미지 센서를 포함하고, 상기 제 1 빔스플리터는 샘플면 상에 제 1 복수의 프린지를 투영하기 위해 광이미터로부터 방출된 광을 분할할 수 있고, 상기 제 2 빔스플리터는 샘플면 상에 제 2 복수의 프린지를 투영하기 위해 광이미터로부터 방출된 광을 분할할 수 있다. 구현에서, 선형 이동 스테이지는 1차원 선형 이동 스테이지가고, 상기 선형 이동 스테이지는 제 1 빔스플리터 및 제 2 빔스플리터 각각을 광이미터에 광학적으로 결합시키기 위해 1차원을 따라 병진이동하고, 상기 제 1 빔스플리터는 1차원을 따라 상기 제 2 빔스플리터에 인접한다. 구현에서, 제 1 복수의 프린지들은 샘플면상의 제 2 복수의 프린지들로부터 약 90°만큼 각도로 오프셋된다.
구현에서, 제 1 빔스플리터는 제 1 투과형 회절격자를 포함하고, 제 2 빔스플리터는 제 2 투과형 회절격자를 포함한다. 제 1 회절격자 및 제 2 회절격자는 1차원으로부터 비스듬히 오프셋될 수 있다(즉, 광의 전파 방향을 중심으로 회전될 수 있다). 특정 구현에서, 제 1 회절격자 및 제 2 회절격자는 1차원으로부터 약 ±45°만큼 각도로 오프셋된다.
일부 구현들에서, 제 1 회절격자 및 제 2 회절격자는 선형 이동 스테이지 상에 장착된 단일 광학소자에 집적될 수 있다. 회절격자가 단일 광학소자에 집적되는 구현에서, 단일 광학소자는 제 1 회절격자로 패턴화된 제 1 면 및 제 2 회절격자로 패턴화된, 상기 제 1 면에 인접한, 제 2 면을 포함할 수 있다.
일부 구현들에서, 시스템은 제 1 및 제 2 회절격자들 각각에 의해 방출된 0차 광을 차단하기 위한 하나 이상의 광빔 차단기를 더 포함할 수 있다.
일부 구현들에서, 시스템은 선형 이동 스테이지와 대물렌즈 사이의 광경로에 투영렌즈를 더 포함할 수 있다. 투영렌즈는 각각의 제 1 회절격자 및 제 2 회절의 푸리에 변환을 대물렌즈의 입사 동공으로 투영하는 것일 수 있다.
일부 구현들에서, 시스템은 선형 이동 스테이지 상에 장착된 컴포넌트 상에 형성된 정렬 패턴을 더 포함할 수 있으며, 상기 정렬 패턴은 정렬을 이미징하기 위해 샘플면 상에 패턴을 투영하기 위해 광이미터에 의해 방출된 광을 분할한다. 정렬 패턴은 제 1 회절격자 및 제 2 회절격자 중 적어도 하나를 포함하는 기판 상에 형성될 수 있다. 상기 투영 패턴은 상기 제 1 복수의 프린지 및 상기 제 2 복수의 프린지보다 주파수가 더 낮은 라인을 포함할 수 있다.
일부 구현들에서, 시스템은 샘플면 상에 투영되는 제 1 복수의 프린지 및 제 2 복수의 프린지를 위상 이동시키기 위한 광학 위상 변조기를 더 포함할 수 있다. 이러한 구현들에서, 광학 위상 변조기는 선형 이동 스테이지와 별개의 컴포넌트일 수 있다.
다중 빔스플리터 슬라이드 SIM 이미징 시스템의 일 구현에서, 방법은: 제 1 회절격자 및 제 2 회절격자가 장착된 1차원 선형 이동 스테이지를 포함한 구조화 조명 이미징 시스템의 광이미터를 턴온하는 단계; 샘플 상에 제 1 회절격자에 의해 투영된 제 1 복수의 프린지를 위상 이동시키기 위해 1차원을 따라 선형 이동 스테이지를 병진이동시키는 단계; 상기 제 2 회절격자를 상기 광이미터에 광학적으로 결합시키기 위해 상기 선형 이동 스테이지를 병진이동시키하는 단계; 및 상기 제 2 회절격자를 광이미터에 광학적으로 결합시킨 후, 샘플 상에 제 2 회절격자에 의해 투영된 제 2 복수의 프린지를 위상 이동시키기 위해 1차원을 따라 선형 이동 스테이지를 병진이동시키는 단계를 포함하고, 상기 선형 이동 스테이지는 일차원을 따라 병진이동할 수 있한다. 제 1 회절격자 및 제 2 회절격자는 투과형 회절격자일 수 있으며, 1차원 병진이동으로부터 비스듬히 오프셋될 수 있다. 예를 들어, 제 1 회절격자 및 제 2 회절격자는 1차원으로부터 약 ±45°만큼 각도로 오프셋될 수 있다.
구현에서, 상기 방법은, 상기 샘플 상에 상기 제 1 회절격자에 의해 투영된 상기 제 1 복수의 프린지를 여러 번 위상 이동시키기 위해, 상기 1차원을 따라 여러 번 선형 이동 스테이지를 병진이동시키는 단계; 및 제 2 회절격자를 광이미터에 광학적으로 결합시킨 후, 상기 샘플 상에 상기 제 2 회절격자에 의해 투영된 상기 제 2 복수의 프린지를 여러 번 위상 이동시키기 위해, 상기 1차원을 따라 여러 번 선형 이동 스테이지를 병진이동시키는 단계를 더 포함할 수 있다.
구현에서, 상기 방법은 매번 선형 이동 스테이지가 제 1 복수의 프린지를 위상 이동시키도록 병진이동된 다음 샘플의 이미지를 캡처하는 단계; 및 매번 선형 이동 스테이지가 제 2 복수의 프린지들을 위상 이동시키도록 병진이동된 다음 샘플의 이미지를 캡처하는 단계를 포함한다. 캡처된 이미지는 각각의 캡처된 이미지보다 더 높은 해상도를 갖는 이미지를 계산적으로 재구성하는데 사용될 수 있다.
본 방법의 구현에서, 선형 이동 스테이지는 제 1 복수의 프린지 또는 제 2 복수의 프린지가 샘플상에서 위상 이동될 때마다 1차원을 따라 대략 동일한 거리로 이동된다.
특정 구현에서, 선형 운동은 제 2 회절격자가 광이미터에 광학적으로 결합될 때 약 10mm와 15mm 사이에서 병진이동된다.
제 3 구현 세트에서, SIM 이미징 시스템은 패턴 각도 공간 선택 SIM 이미징 시스템으로서 구현될 수 있으며, 이에 의해 고정된 2차원 회절격자가 공간 필터 휠과 함께 조합해 사용되어 샘플 상에 1차원 프린지를 투사한다.
패턴 각도 공간 선택 SIM 이미징 시스템의 일 구현에서, 시스템은: 광을 방출하는 광이미터; 샘플면 상에 제 1 방향으로 배향된 제 1 복수의 프린지를 투영하고 샘플면 상에 제 1 방향에 수직인 제 2 방향으로 배향된 제 2 복수의 프린지를 투영하기 위해 광이미터에 의해 방출된 광을 회절시키기 위한 2차원 회절격자; 및 상기 제 1 또는 제 2 방향들 각각의 하나에서 상기 2차원 회절격자로부터 수신된 회절광을 통과시키고 상기 제 1 또는 제 2 방향들 각각의 하나에서 광을 차단하기 위한 공간 필터 휠을 포함하며, 상기 공간 필터 휠은 제 1 복수의 개구와 상기 제 1 복수의 개구에 직교하는 제 2 복수의 개구를 포함한다. 상기 제 1 복수의 개구는 제 1 방향으로 2차원 회절에 의해 회절된 광을 통과시킬 수 있고, 상기 제 2 복수의 개구는 제 2 방향으로 2차원 회절에 의해 회절된 광을 통과시킬 수 있다.
일부 구현들에서, 시스템은 2차원 회절격자에 의해 투과된 0차 광을 차단하기 위한 빔 차단소자를 더 포함한다. 특정 구현들에서, 빔 차단소자는 상기 소자에 수직인 광을 반사하고 다른 각도로 광을 통과시키도록 패턴화된 회절광학소자를 포함한다.
일부 구현들에서, 공간 필터 휠은 통과되지 않은 2차원 회절격자로부터 수신된 광의 회절 차수를 반사할 수 있다.
일부 구현에서, 2차원 회절격자는 투과형 회절격자이다. 투과형 회절격자는 광이미터로부터 광을 수신하는 고체 광학기의 면에 배치되거나 그 위에 형성될 수 있다. 투과형 회절격자의 분산 각도는 0차 광이 고체 광학기의 먼 측에서 차단되도록 배열될 수 있다. 일부 구현들에서, 고체 광학기는 2차원 투과 회절격자에 의해 회절된 1차 광을 회절시키고 출력하기 위한 각진 면들을 포함한다. 특정 구현들에서, 각진 면들은 집속렌즈를 포함한다. 일부 구현들에서, 투영렌즈는 고체 광학기에 의해 출력된 광을 수신한다.
일부 구현들에서, 2차원 회절격자는 2차원 반사형 회절격자이다. 2차원 반사형 회절격자는 광이미터로부터 광을 수신하는 고체 광학기의 개구와 대향하는 상기 고체 광학기의 면 위에 배치되거나 형성될 수 있다. 고체 광학기는 상기 고체 광학기의 출구면을 통해 2차원 반사형 회절격자에 의해 회절된 1차 광을 반사 및 출력하기 위한 반사성 내부면을 포함할 수 있다. 특정 구현 예에서, 출구면은 회절 집속렌즈를 포함한다. 일부 구현들에서, 투영렌즈는 고체 광학기에 의해 출력된 광을 수신할 수 있다.
일부 구현들에서, 시스템은 제 1 복수의 프린지들 및 제 2 복수의 프린지들을 위상 이동시키기 위한 하나 이상의 광학소자들을 더 포함한다. 특정 구현들에서, 제 1 복수의 프린지들 및 제 2 복수의 프린지들을 위상 이동시키기 위한 하나 이상의 광학소자들은 2개의 수직 방향으로 기울어진 평행판 광학기를 포함한다.
패턴 각도 공간 선택 SIM 이미징 시스템의 일 구현에서, 방법은: 2차원 회절격자를 포함하는 구조화 조명 이미징 시스템의 광이미터를 턴온하는 단계; 제 1 방향으로 배향된 제 1 회절광 및 상기 제 1 방향에 수직으로 제 2 방향으로 배향된 제 2 회절광을 출력하기 위해 상기 2차원 회절격자에서 광이미터에 의해 방출된 광을 수신하는 단계; 공간 필터 휠의 제 1 복수의 개구를 통해 제 1 회절광을 통과시키고 공간 필터 휠에서 제 2 회절광을 차단하는 단계; 샘플면 상에 제 1 복수의 프린지로서 제 1 복수의 홀을 통과한 제 1 회절광을 투영하는 단계; 및 샘플에 의해 방출된 광의 제 1 복수의 위상 이미지를 캡처하는 단계를 포함하고, 제 1 복수의 이미지를 캡처하는 동안, 제 1 복수의 프린지가 샘플면 상에서 위상 이동된다. 제 1 복수의 프린지는 (예를 들어, 이동 스테이지를 사용하여) 샘플을 이동시킴으로써, 투영된 프린지를 이동시킴으로써, 또는 샘플과 투영된 프린지를 둘 다 이동시킴으로써 위상 이동될 수 있다.
구현에서, 상기 방법은 공간 필터 휠이 상기 공간 필터 휠의 제 2 복수의 개구를 통해 제 2 회절광을 통과시키고 공간 필터 휠에서 제 1 회절광을 차단하도록 공간 필터 휠을 회전시키는 단계; 상기 제 1 복수의 프린지에 직교하는 제 2 복수의 프린지로서 상기 제 2 복수의 홀을 통과하는 제 2 회절광을 상기 샘플면 상에 투영하는 단계; 및 샘플에 의해 방출된 광의 제 2 복수의 위상 이미지를 캡처하는 단계를 더 포함하고, 상기 제 2 복수의 이미지를 캡처하는 동안, 제 2 복수의 프린지가 샘플면 상에서 위상 이동된다.
본 방법의 특정 구현에서, 2차원 회절격자는 고체 광학기의 표면 상에 형성되거나 고체 광학기의 면 위에 배치된 2차원 투과형 회절격자이며, 이 방법은 투과형 회절격자에 대향하는 고체 광학기의 측면에서의 투과형 회절격자에 의해 출력된 0차 광을 차단하는 단계; 및 상기 2차원 투과형 회절격자에 의해 회절된 1차 광을 고체 광학기의 각진 면으로부터 회절 및 출력하는 단계를 더 포함한다.
본 방법의 특정 구현에서, 2차원 회절격자는 광이미터로부터 광을 수신하는 고체 광학기의 개구 맞은편에 고체 광학기의 면 상에 형성되거나 그 위에 배치된 2차원 반사형 회절격자이며, 상기 방법은 고체 광학기의 면에서 2차원 반사형 회절격자에 의해 회절된 1차 광을 반사시키는 단계를 더 포함한다.
개시된 기술의 다른 특징 및 태양은 첨부도면과 관련하여 하기의 상세한 설명으로부터 명백해질 것이며, 이는 개시된 기술의 본 명세서에 기술된 일부 구현에 따른 특징을 예로서 도시한 것이다. 요약은 청구범위 및 등가물에 의해 정의되는 본원에 기재된 임의의 발명의 범위를 제한하려는 것이 아니다.
(이러한 개념이 서로 일치하지 않는 경우) 상술한 개념의 모든 조합은 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려되는 것을 이해해야 한다. 특히, 본 개시의 말미에 나타나는 청구된 주제의 모든 조합은 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려된다.
본 발명의 내용에 포함됨.
하나 이상의 구현에 따라, 하기의 도면을 참조로 본 발명을 상세히 설명한다. 도면은 단지 예시용으로 제공되며 단지 예시적인 구현을 도시한 것이다. 더욱이, 예시의 명확성과 용이함을 위해, 도면의 요소는 반드시 축척대로 그려진 것은 아니라는 점에 유의해야 한다.
본 명세서에 포함된 도면 중 일부는 상이한 시야각으로부터 개시된 기술의 다양한 구현을 도시한 것이다. 첨부된 설명문은 "상단", "하단" 또는 "측면" 보기와 같은 보기를 언급할 수 있지만, 이러한 참조는 단지 설명을 위한 것이며, 개시된 기술이 명시적으로 달리 언급되지 않는 한 특정 공간 방향으로 구현되거나 사용될 것을 암시하거나 요구하지는 않는다.
도 1은 본원에 기술된 일부 구현들에 따라 공간적으로 구조화된 광으로 샘플을 조명하는 구조화 조명 이미징 시스템을 도시한 것이다.
도 2는 본 명세서에 설명된 일부 구현들에 따른, 2-암 구조화 조명 현미경(SIM) 이미징 시스템의 하나의 예시적인 광학 구성을 도시하는 광학 다이어그램이다.
도 3은 본 명세서에 설명된 일부 구현들에 따른, 2-암 SIM 이미징 시스템의 다른 예시적인 광학 구성을 예시하는 광학 다이어그램이다.
도 4는 본 명세서에 설명된 일부 구현들에 따른, 2-암 SIM 이미징 시스템의 다른 예시적인 광학 구성을 예시하는 광학 다이어그램이다.
도 5는 본 명세서에 설명된 일부 구현들에 따라, 고해상도 이미지를 생성하기 위해 구조화된 광을 사용하도록 하나의 이미징 사이클 동안 멀티-암 SIM 이미징 시스템에 의해 수행될 수 있는 예시적인 방법을 예시하는 동작 흐름도이다.
도 6은 본 명세서에 설명된 일부 구현들에 따른, 이미지 캡처 동안 2-암 SIM 이미징 시스템의 수직 격자 및 수평 격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다.
도 7은 본 명세서에 설명된 일부 구현들에 따라, 편광 빔스플리터를 사용하여 수직-편광된 광으로 수직 격자를 그리고 수평-편광된 광으로 수평 격자를 조명하는 2-암 SIM 이미징 시스템의 예시적인 실험 설계를 도시한 것이다.
도 8a는 20x/0.75 NA 현미경을 이용해 도 7의 예시적인 SIM 이미징 시스템을 사용하여 캡처된 무초점 미러 이미지 및 형광 슬라이드를 도시한 것이다.
도 8b는 비드 플로우 셀과 함께 도 7의 시스템을 사용하여 획득된 프린지 변조 측정을 도시한 것이다. 그래프는 도 7의 평행판(W2)의 각도가 변함에 따라 이 예에서 위상 조정 사이클 동안 전형적인 특징 이미지 강도 변화를 도시한 것이다.
도 9는 본 명세서에 설명된 일부 구현들에 따른 2-암 SIM 이미징 시스템의 다른 예시적인 광학 구성을 도시한 것이다.
도 10a는 본 명세서에 설명된 일부 구현들에 따른, 제 1 회절격자 위치에서 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 10b는 본 명세서에 기술된 일부 구현들에 따른, 제 2 회절격자 위치에서 도 10a의 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 11은 본 명세서에 기술된 일부 구현들에 따라, 구조화된 광을 사용하여 고해상도 이미지를 생성하기 위해 하나의 이미징 사이클 동안 다중 광학 격자 슬라이드 SIM 이미징 시스템에 의해 수행될 수 있는 예시적인 방법을 도시한 동작 흐름도이다.
도 12는 본 명세서에 설명된 일부 구현들에 따른, 이미지 캡처 동안 이중 광학 격자 슬라이드 SIM 이미징 시스템의 제 1 회절격자 및 제 2 회절격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다.
도 13은 본 명세서에 설명된 일부 구현들에 따른 예시적인 이중 광학 격자 슬라이드 SIM 이미징 구성을 도시하는 도면이다.
도 14는 본 명세서에 설명된 일부 구현들에 따른, 패턴 각도 공간 선택 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 15는 본 명세서에 설명된 일부 구현들에 따른, 패턴 각도 공간 선택 SIM 이미징 시스템의 다른 예시적인 광학 구성을 도시하는 개략도이다.
도 16은 본 명세서에 설명된 일부 구현들에 따른, 패턴 각도 공간 선택 SIM 이미징 시스템의 다른 예시적인 광학 구성을 도시하는 개략도이다.
도 17은 다수의 광학 격자 슬라이드 SIM 이미징 시스템의 일부 구현에 사용될 수 있는 정렬 패턴의 일례를 도시한 것이다.
도 18은 본 명세서에 설명된 일부 구현에 따라 SIM 이미징 시스템의 이미지 센서 어셈블리 위에 형성될 수 있는 샘플을 도시한 것이다.
도 19는 본 명세서에 설명된 일부 구현에 따른 예시적인 이중 광학 격자 슬라이드 SIM 이미징 시스템의 일부 구성요소를 도시한 것이다.
도면은 완전한 것이 아니며, 본 발명을 개시된 정확한 형태로 제한하지 않는다.
본 명세서에 포함된 도면 중 일부는 상이한 시야각으로부터 개시된 기술의 다양한 구현을 도시한 것이다. 첨부된 설명문은 "상단", "하단" 또는 "측면" 보기와 같은 보기를 언급할 수 있지만, 이러한 참조는 단지 설명을 위한 것이며, 개시된 기술이 명시적으로 달리 언급되지 않는 한 특정 공간 방향으로 구현되거나 사용될 것을 암시하거나 요구하지는 않는다.
도 1은 본원에 기술된 일부 구현들에 따라 공간적으로 구조화된 광으로 샘플을 조명하는 구조화 조명 이미징 시스템을 도시한 것이다.
도 2는 본 명세서에 설명된 일부 구현들에 따른, 2-암 구조화 조명 현미경(SIM) 이미징 시스템의 하나의 예시적인 광학 구성을 도시하는 광학 다이어그램이다.
도 3은 본 명세서에 설명된 일부 구현들에 따른, 2-암 SIM 이미징 시스템의 다른 예시적인 광학 구성을 예시하는 광학 다이어그램이다.
도 4는 본 명세서에 설명된 일부 구현들에 따른, 2-암 SIM 이미징 시스템의 다른 예시적인 광학 구성을 예시하는 광학 다이어그램이다.
도 5는 본 명세서에 설명된 일부 구현들에 따라, 고해상도 이미지를 생성하기 위해 구조화된 광을 사용하도록 하나의 이미징 사이클 동안 멀티-암 SIM 이미징 시스템에 의해 수행될 수 있는 예시적인 방법을 예시하는 동작 흐름도이다.
도 6은 본 명세서에 설명된 일부 구현들에 따른, 이미지 캡처 동안 2-암 SIM 이미징 시스템의 수직 격자 및 수평 격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다.
도 7은 본 명세서에 설명된 일부 구현들에 따라, 편광 빔스플리터를 사용하여 수직-편광된 광으로 수직 격자를 그리고 수평-편광된 광으로 수평 격자를 조명하는 2-암 SIM 이미징 시스템의 예시적인 실험 설계를 도시한 것이다.
도 8a는 20x/0.75 NA 현미경을 이용해 도 7의 예시적인 SIM 이미징 시스템을 사용하여 캡처된 무초점 미러 이미지 및 형광 슬라이드를 도시한 것이다.
도 8b는 비드 플로우 셀과 함께 도 7의 시스템을 사용하여 획득된 프린지 변조 측정을 도시한 것이다. 그래프는 도 7의 평행판(W2)의 각도가 변함에 따라 이 예에서 위상 조정 사이클 동안 전형적인 특징 이미지 강도 변화를 도시한 것이다.
도 9는 본 명세서에 설명된 일부 구현들에 따른 2-암 SIM 이미징 시스템의 다른 예시적인 광학 구성을 도시한 것이다.
도 10a는 본 명세서에 설명된 일부 구현들에 따른, 제 1 회절격자 위치에서 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 10b는 본 명세서에 기술된 일부 구현들에 따른, 제 2 회절격자 위치에서 도 10a의 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 11은 본 명세서에 기술된 일부 구현들에 따라, 구조화된 광을 사용하여 고해상도 이미지를 생성하기 위해 하나의 이미징 사이클 동안 다중 광학 격자 슬라이드 SIM 이미징 시스템에 의해 수행될 수 있는 예시적인 방법을 도시한 동작 흐름도이다.
도 12는 본 명세서에 설명된 일부 구현들에 따른, 이미지 캡처 동안 이중 광학 격자 슬라이드 SIM 이미징 시스템의 제 1 회절격자 및 제 2 회절격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다.
도 13은 본 명세서에 설명된 일부 구현들에 따른 예시적인 이중 광학 격자 슬라이드 SIM 이미징 구성을 도시하는 도면이다.
도 14는 본 명세서에 설명된 일부 구현들에 따른, 패턴 각도 공간 선택 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 15는 본 명세서에 설명된 일부 구현들에 따른, 패턴 각도 공간 선택 SIM 이미징 시스템의 다른 예시적인 광학 구성을 도시하는 개략도이다.
도 16은 본 명세서에 설명된 일부 구현들에 따른, 패턴 각도 공간 선택 SIM 이미징 시스템의 다른 예시적인 광학 구성을 도시하는 개략도이다.
도 17은 다수의 광학 격자 슬라이드 SIM 이미징 시스템의 일부 구현에 사용될 수 있는 정렬 패턴의 일례를 도시한 것이다.
도 18은 본 명세서에 설명된 일부 구현에 따라 SIM 이미징 시스템의 이미지 센서 어셈블리 위에 형성될 수 있는 샘플을 도시한 것이다.
도 19는 본 명세서에 설명된 일부 구현에 따른 예시적인 이중 광학 격자 슬라이드 SIM 이미징 시스템의 일부 구성요소를 도시한 것이다.
도면은 완전한 것이 아니며, 본 발명을 개시된 정확한 형태로 제한하지 않는다.
회절격자에 의해 회절된 광을 지칭하기 위해 본 명세서에서 사용된 바와 같이, "차" 또는 "차수"라는 용어는 보강간섭을 위한 회절격자의 인접한 슬릿 또는 구조물로부터의 광의 경로 길이 차이를 나타내는 정수 파장의 수를 의미하는 것으로 의도된다. 반복되는 일련의 격자 구조 또는 다른 빔 분할 구조상의 입사 광선의 상호 작용은 광빔의 일부를 원래의 빔으로부터 예측 가능한 각도 방향으로 방향전환하거나 회절시킬 수 있다. "0차" 또는 "0차 최대"라는 용어는 회절이 없는 회절격자에 의해 방출되는 중앙의 밝은 프린지를 의미하도록 되어 있다. "1차"라는 용어는 경로 길이 차이가 ±1 파장인 0차 프린지의 어느 한쪽으로 회절된 2개의 밝은 프린지를 의미하는 것으로 되어 있다. 더 높은 차수들은 원래 빔으로부터 더 큰 각도로 회절된다. 격자의 특성은 빔 강도의 대부분이 다양한 차수로 향하는 정도를 제어하기 위해 조작될 수 있다. 예를 들어, 위상 격자는 ±1차수의 투과를 최대화하고 0차 빔의 투과를 최소화하기 위해 제조될 수 있다.
본 명세서에서 샘플을 지칭하기 위해 사용되는 바와 같이, "피처"라는 용어는 상대 위치에 따라 다른 점 또는 영역과 구별될 수 있는 패턴의 점 또는 영역을 의미하는 것으로 의도된다. 개별 피처는 특정 유형의 하나 이상의 분자를 포함할 수 있다. 예를 들어, 피처는 특정 서열을 갖는 단일 표적 핵산 분자를 포함할 수 있거나, 피처는 동일한 서열(및/또는 이의 상보적 서열)을 갖는 다수의 핵산 분자를 포함할 수 있다.
본원에 사용된 바와 같이, "xy 평면"이라는 용어는 직교 좌표계에서 직선 축 x 및 y에 의해 정의된 2차원 영역을 의미하는 것으로 의도된다. 감지기 및 상기 감지기에 의해 관찰된 물체와 관련하여 사용될 때, 영역은 빔 축에 직교하는 것으로, 또는 감지기와 피감지 물체 사이의 관찰 방향으로 더 특정될 수 있다.
본원에서 사용되는 바와 같이, "z 좌표"라는 용어는 xy 평면에 직교하는 축을 따라 점, 선 또는 영역의 위치를 지정하는 정보를 의미하는 것으로 의도된다. 특정 구현들에서, z축은 감지기에 의해 관찰되는 물체의 영역에 직교한다. 예를 들어, 광학 시스템에 대한 초점의 방향은 z축을 따라 지정될 수 있다.
본 명세서에서 사용되는 바와 같이, "광학적으로 결합된"이라는 용어는 하나의 요소가 다른 요소에 직접 또는 간접적으로 광을 부여하도록 구성되는 것을 의미하는 것으로 되어 있다.
상술한 바와 같이, 기존의 SIM 시스템의 구현은 평행이동 스테이지 상에 회절격자를 장착하고, 차례로 회전 스테이지 상에 장착된다. 또한, 이러한 시스템은 종종 격자에 수용되기 전에 광원을 편광시키기 위해 선형 편광기를 사용한다. 이 기존의 설계는 고 처리량 현미경 시스템에 사용하기 위한 많은 단점이 있다. 먼저, 회전 스테이지는 이미지 세트를 획득하는 동안 격자를 여러 번(예를 들어, 3 번) 회전시켜야 하기 때문에, 기기 속도가 느려지고 안정성에 영향을 준다. 일반적으로 가장 빠른 격자 스테이지는 수십 밀리초(ms) 정도이며, 이는 이미징 속도에 대한 기계적 처리량 제한을 부과한다. 둘째, 기존 설계는 회전 스테이지의 기계적 허용오차가 하나의 이미지 획득 세트에서 다음 이미지 획득 세트로 구조화 조명 패턴의 반복성을 제한하기 때문에 반복성이 좋지 않다. 이는 또한 매우 정확한 회전 스테이지가 필요하므로 SIM 시스템에 더 높은 비용을 부과한다.
셋째로, 기존의 SIM 설계는 격자를 회전시키기 위해 수행되는 다수의 작동 때문에 고처리량 현미경 시스템에서 사용하기에 가장 신뢰할 수 없다. 예를 들어, 1초마다 하나의 SIM 이미지 세트가 획득되면, 회전 스테이지는 매년 수백만 내지 수천만 번의 동작이 필요할 수 있다. 넷째, 기존의 SIM 설계는 선형 편광기가 격자에서 수신된 광의 적어도 50%를 차단하기 때문에 광학 효율이 낮다.
이를 위해, 본 명세서에 개시된 기술의 구현은 개선된 SIM 시스템 및 방법에 관한 것이다.
본 명세서에 개시된 기술의 제 1 구현 세트에 따르면, SIM 이미징 시스템은 멀티-암 SIM 이미징 시스템으로서 구현될 수 있으며, 이에 의해 시스템의 각 암은 광이미터 및 빔스플리터(예를 들어, 시스템의 광축에 대해 특정한 고정된 배향을 갖는 투과형 회절격자)를 포함한다. 이러한 구현에 따르면, SIM 이미징 시스템의 빔스플리터는 회전 가능하게 고정되어(즉, 기계적 회전이 필요치 않아), 개선된 시스템 속도, 신뢰성 및 반복성을 제공할 수 있다. 이미징되는 물체가 주로 2개의 직각축(즉, 수직축 및 수평축)을 따라 배향되는 시스템의 경우, 무지향 물체에 일반적으로 사용되는 3개의 각도 대신 2개의 패턴 각도를 사용하여 향상된 공간 해상도를 달성할 수 있다. 특정 구현들에서, 시스템은 이미지화된 샘플 상에 각각의 프린지 패턴들을 투영하기 위해 고정된 수직 격자 및 고정된 수평 격자를 포함하는 2-암 SIM 이미징 시스템으로서 구현될 수 있다. 샘플 물체의 방향과 정렬되는 경우, 다른 직교 격자 쌍과 패턴 각도들이 사용될 수 있다. 또한, 시스템은 무손실 방식으로 2개의 암을 광경로에 결합시키기 위한 홀들을 갖는 미러를 포함할 수 있다.
본 명세서에 개시된 기술의 제 2 구현 세트에 따르면, SIM 이미징 시스템은 다중 빔스플리터 슬라이드 SIM 이미징 시스템으로서 구현될 수 있으며, 여기서 하나의 선형 이동 스테이지가 시스템의 광축에 대해 대응하는 고정된 배향을 갖는 복수의 빔스플리터(예를 들어, 회절격자)과 함께 장착된다. 특정 구현들에서, SIM 이미징 시스템은 듀얼 광학 격자 슬라이드 SIM 이미징 시스템으로서 구현될 수 있고, 이에 의해 이미징된 샘플 상에 투영된 격자 패턴의 모든 위상 이동 또는 회전은 2개의 격자 중 하나를 선택하거나 선택된 격자에 의해 생성된 패턴의 위상 이동을 달성하기 위해 단일 이동 축을 따라 모션 스테이지를 선형적으로 병진이동시킴으로써 이루어질 수 있다. 이러한 구현에서, 샘플을 조명하기 위해 요구되는 하나의 이미터 및 하나의 선형 이동 스테이지를 갖는 하나의 광학 암만이 필요하며, 이는 속도, 복잡성 및 비용을 개선하기 위해 이동 시스템 부품의 개수를 감소시키는 것과 같은 시스템 이점을 제공할 수 있다. 또한, 이러한 구현들에서, 편광기의 부재는 높은 광학효율의 이점을 제공할 수 있다.
본 명세서에 개시된 기술의 제 3 구현 세트에 따르면, SIM 이미징 시스템은 패턴 각도 공간 선택 SIM 이미징 시스템으로서 구현될 수 있으며, 이에 의해 고정된 2차원 회절격자가 공간 필터 휠과 조합하여 사용되어 샘플에 1차원 회절 패턴을 투영한다. 이러한 구현에서, 이미징 시스템의 주요 광학 구성소자는 정지 상태로 유지될 수 있으며, 이는 광학 시스템(및 조명 패턴)의 안정성을 향상시키고 시스템의 이동 요소의 무게, 진동 출력 및 비용을 최소화할 수 있다.
본 명세서에 개시된 시스템 및 방법의 다양한 구현을 설명하기 전에, 본 명세서에 개시된 기술이 구현될 수 있는 예시적인 환경을 설명하는 것이 유용하다. 이러한 예시적인 환경 중 하나는 공간적으로 구조화된 빛으로 샘플을 비추는 도 1에 도시된 구조화 조명 이미징 시스템(100)의 환경이다. 예를 들어, 시스템(100)은 생물학적 샘플을 이미지화하기 위해 공간적으로 구조화된 여기 광을 이용하는 구조적 조명 형광 현미경 시스템일 수 있다.
도 1의 예에서, 광이미터(150)는 시준 렌즈(151)에 의해 시준된 광빔을 출력하도록 구성된다. 시준된 광은 광 구조화 광학 어셈블리(155)에 의해 구조화되고(패턴화되고) 다이크로익 미러(160)에 의해 대물렌즈(142)를 거쳐 이동 스테이지(170) 상에 위치된 샘플 컨테이너(110)의 샘플에 지향된다. 형광 샘플의 경우, 샘플은 구조화된 여기 광에 응답하여 형광을 발하고, 결과적인 광이 대물렌즈(142)에 의해 수집되어 카메라 시스템(140)의 이미지 센서로 지향되어 형광을 감지한다.
이하에 추가로 설명되는 다양한 구현들에서의 광 구조화 광학 어셈블리(155)는 광의 패턴(예를 들어, 프린지, 전형적으로 정현파)을 생성하기 위한 하나 이상의 광 회절격자 또는 다른 빔 분할소자(예를 들어, 빔스플리터 큐브 또는 플레이트)를 포함한다. 회절격자는 1차원 또는 2차원 투과형 또는 반사 격자일 수 있다. 회절격자는 정현파 진폭 격자 또는 정현파 위상 격자일 수 있다.
특정 구현을 참조로 하기에 더 기술된 바와 같이, 시스템(100)에서 회절격자는 상술한 기존 시스템의 전형적인 구조화 조명 현미경 시스템과 같은 회전 스테이지를 필요로 하지 않는다. 일부 구현들에서, 회절격자들은 이미징 시스템의 동작 동안 고정될 수 있다(즉, 회전 또는 선형 운동을 필요로 하지 않는다). 예를 들어, 아래에 추가로 설명된 특정 구현에서, 회절격자는 서로 직각으로 배향된 2개의 고정된 1차원 투과형 회절격자(예를 들어, 수평 회절격자 및 수직 회절격자)를 포함할 수 있다.
도 1에 도시된 바와 같이, 광 구조화 광학 어셈블리(155)는 0차 차수를 포함하여 다른 모든 차수를 차단 또는 최소화하면서 회절된 광빔의 1차수(예를 들어, m = ±1차수)를 출력한다. 그러나, 대안적인 구현에서, 추가의 광 차수가 샘플에 투사될 수 있다.
각각의 이미징 사이클 동안, 이미징 시스템(100)은 프린지 패턴이 변조 방향으로 측방향으로 (예를 들어, xy 평면에서 프린지에 수직으로) 변위된 다양한 위상에서 복수의 이미지를 획득하기 위해 광 구조화 광학 어셈블리(155)를 이용하며, 이 절차는 광축에 대하여(즉, 샘플의 xy 평면에 대해) 패턴 배향을 회전시킴으로써 1 회 이상 반복된다. 그 후, 캡처된 이미지는 더 높은 해상도 이미지(예를 들어, 개별 이미지의 측면 공간 해상도의 약 2배를 갖는 이미지)를 생성하도록 계산적으로 재구성될 수 있다.
시스템(100)에서, 광이미터(150)는 비간섭성 광이미터일 수 있거나(예를 들어, 하나 이상의 여기 다이오드에 의해 출력된 광빔을 방출할 수 있거나), 하나 이상의 레이저 또는 레이저 다이오드에 의해 출력된 광의 이미터와 같은 간섭성 광이미터일 수 있다. 시스템(100)의 예에 도시된 바와 같이, 광이미터(150)는 피출력 광빔을 가이드하기 위한 광섬유(152)를 포함한다. 그러나, 광이미터(150)의 다른 구성도 사용될 수 있다. 멀티 채널 이미징 시스템(예를 들어, 다중 파장의 광을 이용하는 멀티 채널 형광 현미경)에서 구조화 조명을 이용하는 구현에서, 광섬유(152)는 복수의 상이한 광원(미도시)에 광학적으로 결합될 수 있으며, 각각의 광원은 다른 파장의 광을 방출한다. 시스템(100)이 하나의 광이미터(150)를 갖는 것으로 도시되어 있지만, 일부 구현에서 여러 광이미터들(150)이 포함될 수 있다. 예를 들어, 다수의 암을 이용하는 구조화 조명 이미징 시스템의 경우 다수의 광이미터가 포함될 수 있으며, 하기에 더 언급된다.
일부 구현들에서, 시스템(100)은 구조화된 빔 형상 및 경로를 조정하기 위해 z-축을 따라 관절식으로 되는 렌즈 소자를 포함할 수 있는 투영렌즈(156)를 포함할 수 있다. 예를 들어, 투영렌즈의 구성요소는 용기(110) 내의 샘플의 샘플 두께 범위(예를 들어, 상이한 커버 유리 두께)를 설명하기 위해 관절식일 수 있다.
시스템(100)의 예에서, 유체 전달 모듈 또는 장치(190)는 시약(예를 들어, 형광 표지된 뉴클레오타이드, 버퍼, 효소, 절단 시약 등)의 유량을 샘플 용기(110) 및 폐기물 밸브로(및 통해) 보낼 수 있다. 샘플 용기(110)는 샘플이 제공되는 하나 이상의 기판을 포함할 수 있다. 예를 들어, 매우 많은 상이한 핵산 서열을 분석하기 위한 시스템의 경우, 샘플 용기(110)는 시퀀싱될 핵산이 결합, 부착 또는 관련되는 하나 이상의 기판을 포함할 수 있다. 기판은 핵산이 부착될 수 있는 임의의 불활성 기판 또는 매트릭스, 예를 들어 유리 표면, 플라스틱 표면, 라텍스, 덱스 트란, 폴리스티렌 표면, 폴리프로필렌 표면, 폴리아크릴아미드 겔, 금 표면 및 실리콘 웨이퍼를 포함할 수 있다. 일부 응용에서, 기판은 샘플 용기(110)를 가로 질러 매트릭스 또는 어레이로 형성된 복수의 위치에서 채널 또는 다른 영역 내에 있다. 시스템(100)은 샘플 용기(110) 내의 유체의 온도 조건을 선택적으로 제어할 수 있는 온도 조절기(130) 및 가열기/냉각기(135)를 선택적으로 조절할 수 있다.
특정 구현들에서, 샘플 용기(110)는 반투명 커버 플레이트, 기판, 및 그 사이에 함유된 액체를 포함하는 패턴화된 플로우 셀로서 구현될 수 있고, 생물학적 샘플은 반투명 커버 플레이트의 내부면 또는 기판의 내부면에 위치될 수 있다. 플로우 셀은 기판에 정의된 어레이(예를 들어, 육각형 어레이, 직사각형 어레이 등)로 패터닝된 매우 많은 (예를 들어, 수천, 수백만 또는 수십억)의 웰 또는 영역을 포함할 수 있다. 각 영역은 예를 들어 합성에 의한 시퀀싱을 사용하여 시퀀싱될 수 있는 DNA, RNA 또는 다른 게놈 물질과 같은 생물학적 샘플의 클러스터(예를 들어, 모노클론 클러스터)를 형성할 수 있다. 플로우 셀은 다수의 이격된 레인(예를 들어, 8개의 레인)으로 더 분할될 수 있으며, 각 레인은 육각형 클러스터 어레이를 포함한다. 본 명세서에 개시된 구현에 사용될 수 있는 예시적인 플로우 셀은 미국 특허번호 제8,778,848호에 기재되어 있다.
샘플 용기(110)는 대물렌즈(142)에 대한 상기 샘플 용기(110)의 이동 및 정렬을 제공하기 위해 샘플 스테이지(170)에 장착될 수 있다. 샘플 스테이지는 3차원 중 어느 하나의 차원으로 이동할 수 있게 하는 하나 이상의 액추에이터를 가질 수 있다. 예를 들어, 직교 좌표계의 관점에서, 스테이지가 대물렌즈에 대해 X, Y 및 Z 방향으로 이동하도록 액추에이터가 제공될 수 있다. 이는 샘플 용기(110)상의 하나 이상의 샘플 위치가 대물렌즈(142)와 광학적으로 정렬되도록 위치될 수 있게 한다. 대물렌즈(142)에 대한 샘플 스테이지(170)의 이동은 샘플 스테이지 자체, 대물렌즈, 이미징 시스템의 일부 다른 구성요소 또는 상술한 바의 임의의 조합을 이동시킴으로써 달성될 수 있다. 일부 구현들에서, 샘플 스테이지(170)의 이동은 위상을 변경하기 위해 샘플에 대해 구조화 조명 프린지를 이동시키기 위해 구조화 조명 이미징 동안 구현될 수 있다. 추가 구현은 또한 전체 이미징 시스템을 정지 샘플 위로 이동시키는 것을 포함할 수 있다. 대안으로, 샘플 용기(110)는 이미징 동안 고정될 수 있다.
일부 구현들에서, 초점(z-축) 구성요소(175)는 초점방향(전형적으로 z 축 또는 z 방향으로 지칭됨)에서의 샘플 용기(110)에 대한 광학적 구성요소들의 위치를 제어하도록 포함될 수 있다. 초점 구성요소(175)는 이미징 시행을 위한 적절한 포커싱을 제공하기 위해 광학 스테이지(예를 들어, 대물렌즈(142))에 대해 샘플 스테이지(170)상의 샘플 컨테이너(110)를 이동시키기 위한 광학 스테이지 또는 샘플 스테이지, 또는 둘 모두에 물리적으로 결합된 하나 이상의 액츄에이터를 포함할 수 있다. 예를 들어, 액츄에이터는 가령 스테이지에 직간접적으로 또는 스테이지와의 함께 기계적, 자기적, 유체적 또는 기타 부착이나 접촉과 같이 각 스테이지에 물리적으로 결합될 수 있다. 하나 이상의 액츄에이터들은 동일면에 동일 스테이지를 유지하면서 (가령, 광축에 직각인 수위 또는 수평 높이를 유지하면서) z 방향으로 스테이지를 이동시키도록 구성될 수 있다. 하나 이상의 액추에이터는 또한 스테이지를 기울이도록 구성될 수 있다. 이는 예를 들어 샘플 용기(110)가 표면의 임의의 경사를 고려하기 위해 동적으로 레벨링될 수 있도록 수행될 수 있다.
비록 도 1은 간섭 프린지 패턴으로서 이미지화된 샘플 상에 2개의 빔 차수를 결합 및 투영하기 위한 대물렌즈(142)의 사용을 도시한 것이지만, 다른 적합한 수단이 2개의 빔을 결합하고/하거나 샘플 상에 간섭 패턴을 투영하는데 사용될 수 있음을 이해해야 한다. 빔에 의해 가로 지르는 경로 길이가 빔의 시간적 코히어런스 길이 내에 있다면, (예를 들어, 미러를 사용한) 빔을 재지향시키는 임의의 수단으로 충분할 수 있다. 또한, 일부 구현들에서, 2개의 빔 차수는 빔스플리터(예를 들어, 회절격자)를 넘어선 거리에 대해 자동으로 오버레이될 수 있다. 이러한 구현들에서, 회절격자가 샘플에 충분히 가까이 위치된다면 간섭 패턴이 격자 근처에 나타날 수 있고, 추가 투영 시스템의 필요성을 없앤다. 이와 같이, 본 명세서에 설명된 SIM에 대한 구현은 간섭 패턴을 투영하기 위해 대물렌즈 시스템에 의존하지 않는 시스템에 적용될 수 있음을 이해해야 한다.
이미징되는 샘플 위치에서 테스트 샘플로부터 나오는 구조화된 광은 다이크로익 미러(160)를 통해 카메라 시스템(140)의 하나 이상의 감지기로 지향될 수 있다. 일부 구현에서, 하나 이상의 방출 필터를 갖는 필터 스위칭 어셈블리(165)가 포함될 수 있고, 상기 하나 이상의 방출 필터는 특정 방출 파장을 통과시키고 다른 방출 파장을 차단(또는 반사)하기 위해 사용될 수 있다. 예를 들어, 하나 이상의 방출 필터는 이미징 시스템의 상이한 채널 사이를 전환하는데 사용될 수 있다. 특정 구현에서, 방출 필터는 상이한 파장의 방출 광을 카메라 시스템(140)의 상이한 이미지 센서로 지향시키는 다이크로익 미러로서 구현될 수 있다.
카메라 시스템(140)은 샘플 용기(110)의 이미징(예를 들어, 시퀀싱)을 모니터링 및 추적하기 위한 하나 이상의 이미지 센서를 포함할 수 있다. 카메라 시스템(140)은 예를 들어, CCD(charge-coupled device) 이미지 센서 카메라로서 구현될 수 있으나, 능동 픽셀 센서(예를 들어, CMOS(complementary metal-oxide-semiconductor) 이미지 센서)와 같은 다른 이미지 센서 기술이 사용될 수 있다. 일부 구현들에서, 구조화 조명 이미징 시스템(100)은 샘플의 활성면에서 이미지 센서(예를 들어, 활성 픽셀 센서)를 이용할 수 있다. 이러한 구현에서, 이미지화된 샘플은 이미지 센서 위에 패턴화 및/또는 정렬될 수 있다.
카메라 시스템(140)으로부터의 출력 데이터(예를 들어, 이미지)는 아래에 추가로 설명되는 바와 같이 각각 이미징 사이클 동안 캡처된 이미지를 재구성하여 더 높은 공간 해상도를 갖는 이미지를 생성할 수 있는 소프트웨어 애플리케이션으로서 구현될 수 있는 실시간 분석 모듈(미도시)과 통신될 수 있다. 대안으로, 출력 데이터는 나중에 재구성을 위해 저장될 수 있다.
도시하지는 않았으나, 시스템(100)의 다양한 광학 구성요소를 동기화하는 것을 포함하여 구조화 조명 이미징 시스템(100)의 동작을 제어하기 위해 컨트롤러가 제공될 수 있다. 컨트롤러는, 예를 들어, 광 구조화 광학 어셈블리(155)의 구성(예를 들어, 회절격자의 선택 및/또는 선형 병진이동), 투영렌즈(156)의 이동, 포커싱, 스테이지 이동 및 이미징 작업과 같이 시스템 작업의 태양을 제어하도록 구현될 수 있다. 다양한 구현에서, 컨트롤러는 하드웨어, 알고리즘(예를 들어, 기계 실행 가능 명령어) 또는 상술한 바의 조합을 사용하여 구현될 수 있다. 예를 들어, 일부 구현들에서, 컨트롤러는 연관된 메모리를 갖는 하나 이상의 CPU 또는 프로세서를 포함할 수 있다. 다른 예로서, 컨트롤러는 컴퓨터 프로세서 및 수록된 기계 판독 가능 명령어들을 갖는 비일시적 컴퓨터 판독 가능매체와 같은 동작을 제어하기 위한 하드웨어 또는 기타 회로를 포함할 수 있다. 예를 들어, 이 회로는 FPGA(Field Programmable Gate Array), ASIC(application specific integrated circuit), PLD(programmable logic device), CPLD(complex programable logic device), PLA(programmable logic array), PAL(programmable array logic) 또는 기타 유사한 처리 장치 또는 회로 중 하나 이상을 포함할 수 있다. 또 다른 예로서, 컨트롤러는 이 회로와 하나 이상의 프로세서의 조합을 포함할 수 있다.
멀티-암 구조화 조명 현미경 이미징 시스템
본 명세서에 개시된 기술의 일부 구현들에 따르면, SIM 이미징 시스템은 멀티-암 SIM 이미징 시스템으로서 구현될 수 있으며, 시스템의 각각의 암은 광이미터 및 시스템의 광축에 대해 특정한 고정 방향을 갖는 격자를 포함한다.
도 2는 본 명세서에 기술된 일부 구현들에 따른 2-암 SIM 이미징 시스템(200)의 하나의 예시적인 광학 구성을 도시한 광학 다이어그램이다. 시스템(200)의 제 1 암은 광이미터(210A), 광이미터(210A)에 의해 출력된 광을 시준하기 위한 광콜리메이터(220A), 광축에 대한 제 1 배향의 회절격자(230A), 회전 윈도우(240A) 및 투영렌즈(250A)를 포함한다. 시스템(200)의 제 2 암은 광이미터(210B), 광이미터(210B)에 의해 출력된 광을 시준하기 위한 광콜리메이터(220B), 광축에 대한 제 2 배향의 회절격자(230B), 회전 윈도우(240B) 및 투영렌즈(250B)를 포함한다. 이 예에서는 회절격자가 도시되어 있지만, 다른 구현에서는 빔스플리터 큐브 또는 플레이트와 같은 다른 빔 분할소자가 SIM 이미징 시스템(200)의 각각의 암에서 수신된 광을 분할하기 위해 사용될 수 있다.
각각의 광이미터(210A-210B)는 비간섭성 광이미터일 수 있거나(예를 들어, 하나 이상의 발광 다이오드(LED)에 의해 출력된 광선을 방출할 수 있거나), 하나 이상의 레이저 또는 레이저 다이오드에 의해 출력된 광이미터와 같은 간섭성 이미터일 수 있다. 시스템(200)의 예에서, 각각의 광이미터(210A-210B)는 각각의 콜리메이터(220A-220B)에 의해 시준된 광빔을 출력하는 광섬유이다.
일부 구현들에서, 각각의 광섬유는 레이저와 같은 대응하는 광원(미도시)에 광학적으로 결합될 수 있다. 이미징 동안, 각각의 광섬유는 상기 광섬유와 광원 사이의 광경로에 위치된 고속 셔터(미도시)를 사용하거나, 이미징 동안 광섬유의 대응하는 광원을 미리 결정된 주파수로 펄싱함으로써 스위치 온오프할 수 있다. 일부 구현들에서, 각각의 광섬유는 동일한 광원에 광학적으로 결합될 수 있다. 이러한 구현에서, 빔스플리터 또는 다른 적합한 광학소자가 광원으로부터의 광을 각각의 광섬유로 가이드하기 위해 사용될 수 있다. 이러한 예에서, 각각의 광섬유는 광섬유와 빔스플리터 사이의 광경로에 위치된 고속 셔터(미도시)를 사용하여 스위치 온 또는 오프될 수 있다.
예시적인 SIM 이미징 시스템(200)에서, 제 1 암은 샘플 상에 제 1 배향(예를 들어, 수직 프린지 패턴)으로 격자 패턴을 투영하기 위한 고정된 수직 격자(230A)를 포함하고, 제 2 암은 샘플 상에 제 2 배향(예를 들어, 수평 프린지 패턴)으로 격자 패턴을 투영하기 위한 고정된 수평 격자(230B)를 포함한다. 기존의 SIM 이미징 시스템과는 달리, SIM 이미징 시스템(200)의 격자는 기계적으로 회전되거나 병진이동될 필요가 없으며, 이는 향상된 시스템 속도, 안정성 및 반복성을 제공할 수 있다.
도 2의 예에서 예시된 바와 같이, 격자(230A-230B)는 유리 기판 또는 다른 적절한 표면에 형성된 복수의 회절요소(예를 들어, 평행 슬릿 또는 그루브)를 포함하는 투과형 회절격자일 수 있다. 격자는 격자 재료의 굴절률의 주기적인 변화를 제공하는 위상 격자로서 구현될 수 있다. 그루브 또는 피처 간격은 적절한 각도에서 광을 회절시키도록 선택될 수 있고 SIM 이미징 시스템(200)의 작동을 위해 이미징된 샘플의 최소 분해가능한 피처 크기로 조정될 수 있다. 다른 구현에서, 격자는 반사형 회절격자일 수 있다.
SIM 이미징 시스템(200)의 예에서, 수직 및 수평 패턴은 약 90도 오프셋된다. 다른 구현에서, 격자의 다른 배향은 약 90도의 오프셋을 생성하는데 사용될 수 있다. 예를 들어, 격자는 샘플(271)의 x 또는 y 평면으로부터 ±45도 오프셋된 이미지를 투사하도록 배향될 수 있다. 예시적인 SIM 이미징 시스템(200)의 구성은 단지 2개의 직각 격자(예를 들어, 수직 격자 및 수평 격자)만 사용하여 구조적 해상도 향상을 달성할 수 있으므로 직사각형 격자에 피처가 있는 규칙적으로 패턴화된 샘플(271)의 경우에 특히 유리할 수 있다.
시스템(200)의 예에서, 격자(230A-230B)는 입력 빔을 많은 차수(예를 들어, 0차, ±1차, ±2차 등)로 회절시키도록 구성되며, 이 중 ±1차가 샘플(271)에 투영될 수 있다. 이 예에 도시된 바와 같이, 수직 격자(230A)는 시준된 광빔을 1차 회절빔(±1차)으로 회절시키고 1차를 페이지 면에 확산시키며, 수평 격자(230B)는 시준된 광빔을 1차 회절빔으로 회절시키고 1차를 페이지 면 위아래로(즉, 페이지에 직각인 면으로) 확산시킨다. 시스템의 효율을 향상시키기 위해, 0차 빔 및 다른 모든 고차 빔(즉, ±2차 이상)은 차단될 수 있다(즉, 샘플(271)에 투영된 조명 패턴으로부터 필터링될 수 있다). 예를 들어, 차수 필터(order filter)와 같은 빔 차단소자(미도시)는 0차 빔 및 고차 빔을 차단하기 위해 각각의 회절격자 다음의 광경로에 삽입될 수 있다. 일부 구현들에서, 회절격자들(230A-230B)은 빔들을 1차로만 회절시키도록 구성될 수 있고, 0차(회절되지 않은 빔)는 일부 빔 차단소자에 의해 차단될 수 있다.
각각의 암은 각각의 격자(230)에 의해 출력된 회절광을 위상 이동시키기 위해 광학 위상 변조기 또는 위상 시프터(240A-240B)를 포함한다. 예를 들어, 구조화된 이미징 동안, 각각의 회절빔의 광학 위상은 구조화된 패턴의 각 프린지의 피치(λ)의 약간의 비율(가령, 1/2, 1/3, 1/4 등)로 시프트될 수 있다. 도 2의 예에서, 위상 변조기(240A, 240B)는 각각의 회절빔의 광경로 길이를 회전 및 변조하기 위해 검류계 또는 다른 회전 액추에이터를 사용할 수 있는 회전 윈도우로서 구현된다. 예를 들어, 윈도우(240A)는 수직축을 중심으로 회전하여 샘플(271)상의 수직 격자(230A)에 의해 투영된 이미지를 좌우로 이동시킬 수 있고, 윈도우(240B)는 수평축을 중심으로 회전하여 샘플(271)상의 수평 격자(230B)에 의해 투영된 이미지를 위로 또는 아래로 이동시킬 수 있다.
하기에 더 설명된 다른 구현들에서, 회절된 광의 광경로 길이를 변경하는 다른 위상 변조기들(예를 들어, 선형 병진 스테이지들, 웨지들 등)이 사용될 수 있다. 또한, 광학 위상 변조기(240A-240B)는 격자(230A-230B) 이후에 배치되는 것으로 도시되어 있지만, 다른 구현에서는 조명 시스템의 다른 위치에 배치될 수 있다. 일부 구현들에서, 단일 위상 변조기는 상이한 프린지 패턴들에 대해 2개의 상이한 방향들로 동작될 수 있거나, 단일 위상 변조기는 후술하는 바와 같이 단일 이동을 이용하여 경로 길이들 모두를 조절할 수 있다.
예시적인 시스템(200)에서, 홀들(261)을 갖는 미러(260)는 손실없이 (예를 들어, 반사 코팅에서의 작은 흡수 이외에, 광출력의 큰 손실없이) 2개의 암을 광경로로 결합시킨다. 미러(260)는 각각의 격자로부터의 회절된 차수들이 공간적으로 분해되고, 원하지 않는 차수들이 차단될 수 있도록 위치될 수 있다. 미러(260)는 홀(261)을 통해 제 1 암에 의해 출력된 1차 광을 통과시킨다. 미러(260)는 제 2 암에 의해 출력된 1차 광을 반사한다. 이와 같이, 구조화 조명 패턴은 각각의 이미터를 턴온 또는 턴오프하거나 광섬유 케이블을 통해 광원의 광을 지향시키는 광학 셔터를 개폐함으로써 수직 배향(예를 들어, 격자(230A))에서 수평 배향(예를 들어, 격자(230B))으로 전환될 수 있다. 다른 구현에서, 구조화 조명 패턴은 샘플을 조명하는 암을 변경하기 위해 광학 스위치를 사용하여 전환될 수 있다.
또한 예시적인 이미징 시스템(200)에는 투영렌즈(265), 세미-반사 미러(280), 대물렌즈(270) 및 카메라(290)가 도시되어 있다. 투영렌즈(265)는 렌즈(250A)와 연계해 이용되어 격자(230A)의 푸리에 변환을 대물렌즈(270)의 입사 동공에 투영할 수 있다. 유사하게, 투영렌즈(265)는 렌즈(250B)와 연계해 이용되어 격자(230B)의 푸리에 변환을 대물렌즈(270)의 입사 동공에 투영할 수 있다. 투영렌즈(265)는 또한 z 축을 따라 관절식 연결하여 샘플면의 격자 초점을 조정하도록 구현될 수 있다. 세미-반사 미러(280)는 샘플(271) 상으로의 투영을 위해 각각의 암으로부터 수신된 구조화 조명광을 대물렌즈(270)로 반사시키고 샘플(271)에 의해 방출된 광(예를 들어, 여기와는 상이한 파장에서 방출되는 형광 빛)을 카메라(290)로 통과시키는 다이크로익 미러일 수 있다.
시스템(200)의 예는 편광기의 부재로 인해 높은 광학 효율을 제공할 수 있다는 점에 주목할 가치가 있다. 또한, 비편광된 광의 사용은 대물렌즈(270)의 개구 수 설정에 따라 패턴 콘트라스트에 큰 영향을 미치지 않을 수 있다.
간략히 하기 위해, SIM 이미징 시스템(200)의 광학 구성요소는 상술한 설명에서 생략될 수 있음에 유의해야 한다. 또한, 시스템(200)이 이 예에서 단일 채널 시스템으로서 도시되어 있지만, 다른 구현들에서 (예를 들어, 2개의 상이한 카메라들 및 2개의 상이한 파장들로 방출하는 광원들을 사용함으로써) 멀티 채널 시스템으로서 구현될 수 있다.
도 3은 본 명세서에 설명된 일부 구현들에 따른 2-암 SIM 이미징 시스템(300)의 다른 예시적인 광학 구성을 도시하는 광학 다이어그램이다. 시스템(300)에서, 큰 회전 광학 윈도우(310)는 홀(261)을 갖는 미러(260) 뒤에 배치될 수 있다. 이 경우에, 윈도우(310)는 수직 및 수평 회절격자에 의해 출력되 회절된 빔의 세트들 모두의 위상을 변조하기 위해 윈도우(240A 및 240B) 대신에 사용될 수 있다. 격자들 중 하나의 광축에 대해 평행하지 않는 대신, 회전 윈도우(310)에 대한 회전축은 상기 윈도우(310)의 하나의 공통 회전축을 따른 양 방향을 따라 위상 변이를 허용하기 위해 수직 및 수평 격자 각각의 광축으로부터 45°오프셋(또는 일부 다른 각도로 오프셋)될 수 있다. 일부 구현에서, 회전 윈도우(310)는 공칭 빔축을 중심으로 회전하는 웨지형 광학기로 대체될 수 있다.
도 4는 본 명세서에 설명된 일부 구현들에 따른 2-암 SIM 이미징 시스템(400)의 다른 예시적인 광학 구성을 예시하는 광학 다이어그램이다. 시스템(400)에서, 격자(230A 및 230B)는 상기 격자(230A 및 230B)에 의해 방출된 광의 광경로 길이(및 그에 따라 위상)를 변경하도록 병진이동될 수 있는 각각의 선형 이동 스테이지(410A 및 410B) 상에 장착된다. 선형 이동 스테이지(410A-410B)의 이동 축은 샘플(271)을 따라 격자 패턴의 병진이동을 실현하기 위해 각각의 격자의 배향으로부터 수직으로 또는 다르게 오프셋될 수 있다. 구현에서, 스테이지(410A 및 410B)는 각각 크로스형 롤러 베어링, 선형 모터, 고정밀 선형 인코더 및/또는 기타 기술을 이용하여 투영된 이미지를 위상 이동시키기 위해 격자의 정확한 선형 병진이동을 제공할 수 있다.
도 5는 본 명세서에 설명된 일부 구현들에 따라 구조화된 광을 사용하여 고해상도 이미지를 생성하기 위해 하나의 이미징 사이클 동안 멀티-암 SIM 이미징 시스템에 의해 수행될 수 있는 예시적인 방법(500)을 예시하는 동작 흐름도이다. 구현에서, 방법(500)은 전체 샘플 또는 더 큰 샘플의 위치를 이미징하기 위해 수행될 수 있다. 이미지 캡처 동안 2-암 SIM 이미징 시스템의 수직 격자 및 수평 격자에 의해 샘플(271)면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 도 6과 연계하여 방법(500)을 설명할 것이다. 예를 들어, SIM 이미징 시스템(200)은 도 6에 도시된 수평 및 수직 조명 패턴을 생성하기 위해 수직 격자(230A) 및 수평 격자(230B)를 사용할 수 있는 한편, 위상 변조기(230A 및 230B)는 도시된 3개의 위상 이동을 생성하기 위해 3개의 상이한 위치에 설정될 수 있다.
단계(510)에서, 제 1 격자 방향에 대응하는 제 1 암이 턴온되어 상기 제 1 암을 이용해 조명 패턴을 생성하기 시작한다. 예를 들어, 이미징 시스템(200)의 구현에서, 광섬유(210A)와 광원 사이의 경로에 위치된 고속 셔터는 광원이 차단되지 않도록 개방되거나 달리 작동될 수 있다. 대안으로, 하나 이상의 광원이 켜지거나 꺼질 수 있거나(예를 들어, 펄스될 수 있거나), 광 스위치가 제 1 암의 광경로를 통해 (예를 들어, 제 1 또는 제 2 이미터 중 하나를 통해) 광원을 지향시키기 위해 사용될 수 있다. 일부 예에서, 동작(510)은 또한 (예를 들어, 제 1 이미징 사이클의 경우) 광원을 턴온하는 단계를 포함할 수 있다.
일단 제 1 암이 켜지면, 동작(520)에서 제 1 격자 패턴이 샘플 상에 투영될 수 있고 이미지가 캡처될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 수직 격자(230A)는 샘플(271) 상에 1차 조명 프린지를 투영할 수 있다. 샘플에 의해 방출된 임의의 광은 카메라(290)에 의해 캡쳐될 수 있고 제 1 패턴(예를 들어, 수직 패턴)의 제 1 위상 이미지가 캡쳐될 수 있다. 예를 들어, 샘플(271)의 상이한 피처에 위치한 형광 염료들이 형광을 발할 수 있고, 결과적인 광이 대물렌즈(270)에 의해 수집될 수 있고 카메라(290)의 이미지 센서로 지향되어 형광을 감지할 수 있다.
추가적인 위상 이동된 이미지가 캡처될 필요가 있는 경우(결정 530), 동작(540)에서 격자에 의해 투영된 패턴은 상기 패턴의 다음 위상 이미지를 캡처하기 위해 위상 이동될 수 있다. 예를 들어, 시스템(200)의 구현에서, 수직 격자(230A)에 의해 투영된 패턴의 위상은 광학 윈도우(240A)를 회전시킴으로써 위상 이동될 수 있다. 대안으로, 병진 스테이지 또는 회전 광학 웨지와 같은 다른 광학 위상 변조기도 위상을 이동시키는데 사용될 수 있다. 예를 들어, 도 6의 예에 도시된 바와 같이, 위상은 프린지 패턴의 피치(λ)의 1/3만큼 이동되어 샘플 상에 투영된 패턴이 캡처된 이전 이미지로부터 1/3λ만큼 오프셋될 수 있다. 일부 구현에서, 격자에 의해 투영된 패턴은 투영된 프린지가 고정된 상태로 있는 동안 (예를 들어, 모션 스테이지를 사용하여) 샘플을 이동시킴으로써 위상 이동될 수 있다. 일부 구현들에서, 격자에 의해 투영된 패턴은 샘플과 투영된 프린지를 모두 이동시킴으로써 위상 이동될 수 있다. 동작(520 내지 540)은 제 1 패턴의 모든 위상 이미지(예를 들어, 도 6의 경우 수직 패턴의 3개의 위상 이동된 이미지)가 캡처될 때까지 반복될 수 있다.
패턴의 모든 위상 이미지가 캡처되면, 동작(560)에서 SIM 이미징 시스템의 제 2 격자 방향에 대응하는 제 2 암이 턴온될 수 있다. 예를 들어, 이미징 시스템(200)의 구현에서, 광섬유(210B)와 광원 사이의 경로에 위치된 고속 셔터는 광원이 차단되지 않도록 개방되거나 달리 작동될 수 있다. 대안으로, 하나 이상의 광원이 켜지거나 꺼질 수 있거나(예를 들어, 펄스될 수 있거나), 광 스위치가 제 2 암의 광경로를 통해 광원을 지향시키기 위해 사용될 수 있다. 추가로, 다른 암이 턴오프될 수 있다. 동작(520-540)을 반복함으로써 다음 암에 대해 일련의 위상 이미지가 캡처될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 수평 격자(230B)는 샘플(271) 상에 1차 조명 프린지를 투영할 수 있고, 투영된 프린지는 수평 패턴의 3개 위상 이미지를 캡처하기 위해 1/3λ만큼 위치에서 이동될 수 있다. 다른 예로서, 격자에 의해 투영된 패턴은 투영된 프린지가 고정된 상태로 있는 동안 (예를 들어, 모션 스테이지를 사용하여) 샘플을 이동시킴으로써 또는 샘플과 투영된 프린지를 둘 다를 이동시킴으로써 위상 이동될 수 있다.
이미징 사이클 동안 모든 이미지가 캡처되면, 동작(570)에서, 캡처된 이미지로부터 고해상도 이미지가 구성될 수 있다. 예를 들어, 도 6에 도시된 6개의 이미지로부터 고해상도 이미지가 재구성될 수 있다. 적절한 알고리즘을 사용하여 이러한 다양한 이미지를 결합해 샘플의 단일 이미지를 개별 구성요소 이미지들 중 어느 하나보다 훨씬 더 나은 공간 해상도로 합성할 수 있다.
방법(500)이 단일 채널 이미징(예를 들어, 단일 파장을 갖는 광원을 사용하여 샘플을 이미징하는 것)과 관련하여 주로 설명하였지만, 일부 구현에서 방법(500)은 멀티-채널 이미징(예를 들어, 상이한 파장을 갖는 광원을 사용하여 샘플을 이미징하는 것)에 적합할 수 있음에 유의해야한다. 이러한 구현들에서, 방법(500)은 각각의 채널에 대한 고해상도 이미지들을 생성하기 위해 이미징 시스템의 각각의 채널에 대해 (예를 들어, 순차적으로 또는 동시에) 반복될 수 있다.
본 명세서에 설명된 2-암 SIM 이미징 시스템(200)의 구현은 2개 암의 광경로를 무손실로 결합하기 위해 홀(261)을 갖는 미러(260)를 이용한 시스템(200)과 관련하여 지금까지 설명되었지만, 대안적인 구현에서, 수평 및 수직 격자들(230A-230B)의 2개의 이미지들이 홀들을 갖는 미러 대신에 수직 편광으로 수직 격자를 조명하고 수평으로 편광된 광으로 수평 격자를 조명하기 위해 편광 빔스플리터를 사용하여 무손실로 결합될 수 있다. 이러한 구현에서, 구조화 조명 패턴은 대응하는 편광된 조명 소스를 온오프함으로써 수평에서 수직으로 전환될 수 있다.
예로써, 도 7은 암의 광경로를 결합하기 위해 편광 빔스플리터를 사용하고 수직 편광된 광으로 수직 격자를 그리고 수평 편광된 광으로 수평 격자를 조명하는 2-암 SIM 이미징 시스템(700)의 예시적인 실험 설계를 도시한 것이다. 도 7의 구현에서, 수평 및 수직 격자는 G1 및 G2이고, 수평 및 수직 회전 윈도우는 W1 및 W2이며, 수평 및 수직 격자 이미지를 결합하기 위한 편광 빔스플리터는 PBS2이다. 광섬유 결합 모드 스크램블링된 다중 모드 레이저의 출력은 Fiber1이다.
도 8a는 20x/0.75 NA 현미경을 이용해 예시적인 SIM 이미징 시스템(700)을 사용하여 캡처된 무초점 미러 이미지 및 형광 슬라이드를 도시한 것이다. 무초점 미러 이미지는 프린지 가시성이 84%이다. 형광 슬라이드 이미지는 프린지 가시성이 6.6 %이다.
도 8b는 비드 플로우 셀을 갖는 시스템(700)을 사용하여 획득된 프린지 변조 측정을 도시한 것이다. 그래프는 도 7의 평행판(W2)의 각도가 변함에 따라 위상 조정 사이클 동안 전형적인 피처 이미지 강도 변화를 도시한 것이다.
도 9는 본 명세서에 설명된 일부 구현에 따른 2-암 SIM 이미징 시스템(900)의 다른 예시적인 광학 구성을 도시한 것이다. 시스템(900)의 제 1 암은 광이미터(910A)(예를 들어, 광섬유), 상기 광이미터(910A)에 의해 출력된 광을 시준하기 위한 광콜리메이터(920A), 광축에 대한 제 1 배향의 회절격자(930A) 및 릴레이 렌즈(940A)를 포함한다. 시스템(900)의 제 2 암은 광이미터(910B), 광이미터(910B)에 의해 출력된 광을 시준하기 위한 광콜리메이터(920B), 광축에 대한 제 2 배향의 회절격자(930B) 및 릴레이 렌즈(940B)를 포함한다.
시스템(900)은 또한 광학 시스템의 2개의 암을 결합하기 위한 빔 결합소자(950)를 포함한다. 도시된 바와 같이, 빔 결합소자(950)는 시스템의 제 2 암으로부터 구조화된 광을 통과시키기 위한 홀을 갖는 45°프리즘 및 제 1 암으로부터 수신된 구조화된 광을 반사하기 위한 미러면을 포함한다. 빔 결합소자(950)에 입사하기 전에, 각각의 구조화된 광빔은 ±1차수를 통과시키고 다른 차수를 차단하기 위한 한 쌍의 개구를 갖는 공간 필터를 통과한다. 제 1 평면에서 제 1 암으로부터 방출되는 구조화된 광은 반사 광학기(945)에 의해 빔 콤빙소자(950)로 지향될 수 있다. 시스템(900)에서, 평행판 광학소자(960)는 위상 조정기로서 기능하고, 빔 결합소자(950) 이후에 어느 한 방향으로 구조화된 광을 시프트시키기 위해 회전될 수 있다
본 명세서에 설명된 구현들이 지금까지 2개의 상이한 각도로 배향된 2개의 격자를 포함하는 2-암 구조화 조명 이미징 시스템과 관련하여 설명되었지만, 다른 구현에서, 2개보다 더 많은 암을 갖는 시스템이 구현될 수 있음을 알아야 한다. 직사각형 격자 상에 피처를 갖는 규칙적으로 패턴화된 샘플의 경우, 상술한 바와 같이 단지 2개의 직각(예를 들어, 수직 격자 및 수평 격자)으로 해상도 향상이 달성될 수 있다. 한편, 다른 샘플들(예를 들어, 육각형 패턴 샘플들)에 대한 모든 방향에서의 이미지 해상도 향상을 위해, 3개의 격자 각도도 사용될 수 있다. 예를 들어, 3-암 시스템은 3개의 광이미터 및 (암당 1개씩) 3개의 고정 회절격자를 포함할 수 있으며, 각각의 회절격자는 샘플 상에 각각의 패턴 배향(예를 들어 0°패턴, 120°패턴 또는 240°패턴)을 투영하도록 시스템의 광축 주위로 배향된다. 이러한 시스템에서, 추가 격자의 추가 이미지가 무손실 방식으로 시스템에 결합시키기 위해 홀을 갖는 추가 미러가 사용될 수 있다. 대안으로, 이러한 시스템은 하나 이상의 편광 빔스플리터를 이용하여 각 격자의 이미지를 결합할 수 있다.
다수의 광학 격자 슬라이드 구조화 조명 현미경 이미징 시스템
본 명세서에 개시된 기술의 일부 구현에 따르면, SIM 이미징 시스템은 다중 광학 격자 슬라이드 SIM 이미징 시스템으로서 구현될 수 있으며, 여기서 하나의 선형 이동 스테이지에는 시스템의 광축에 대해 대응하는 고정된 배향을 갖는 소자를 갖는 복수의 회절격자(또는 다른 빔 분할 광학소자)가 장착된다.
도 10a-10b는 본 명세서에 설명된 일부 구현들에 따른 이중 광학 격자 슬라이드 SIM 이미징 시스템(1000)의 예시적인 광학 구성을 도시하는 개략도이다. 아래에서 더 설명되는 바와 같이, 시스템(1000)의 구성에서, 샘플(1070) 상에 투영된 격자 패턴(예를 들어, 패턴 위상 이동 또는 회전)에 대한 모든 변경은 격자(1031 또는 1032)를 선택하거나(즉, 격자 배향을 선택하거나) 격자(1031-1032) 중 하나를 위상 이동시키기 위해 단일 모션 축을 따라 모션 스테이지(1030)를 선형으로 병진이동시킴으로써 행해질 수 있다.
시스템(1000)은 광이미터(1010)(예를 들어, 광원에 광학적으로 결합된 광섬유), 상기 광이미터(1010)에 의해 출력된 광을 시준하기 위한 제 1 광콜리메이터(1020)(예를 들어, 시준 렌즈), 제 1 회절격자(1031)(예를 들어, 수평 격자) 및 제 2 회절격자(1032)(예를 들어, 수직 격자)를 갖는 선형 이동 스테이지(1030), 투영렌즈(1040), 세미-반사 미러(1050)(예를 들어, 다이크로익 미러), 대물렌즈(1060), 샘플(1070) 및 카메라(1080)를 포함한다. 간략히 하기 위해, SIM 이미징 시스템(1000)의 광학 구성요소는 도 10a에서 생략될 수 있다. 또한, 시스템(1000)이 이 예에서 단일 채널 시스템으로서 도시되어 있지만, 다른 구현들에서, (예를 들어, 2개의 상이한 카메라들 및 2개의 상이한 파장들로 방출하는 광원들을 사용함으로써) 멀티-채널 시스템으로서 구현될 수 있다.
도 10a에 도시된 바와 같이, 격자(1031)(예를 들어, 수평 회절격자)는 시준된 광빔을 제 1 차 회절광빔(페이지의 평면)으로 회절시킬 수 있다. 도 10b에 의해 도시된 바와 같이, 회절격자(1032)(예를 들어, 수직 회절격자)는 빔을 1차(페이지의 평면 위 및 아래)로 회절시킬 수 있다. 이 구성에서, 샘플(1070)을 이미지화하기 위해 단일 이미터(1010)(예를 들어, 광섬유) 및 단일 선형 이동 스테이지를 갖는 단일 광학 암만이 필요하며, 이는 속도, 복잡도 및 비용을 개선시키기 위해 이동 시스템 부품의 수를 감소시키는 것과 같은 시스템 이점을 제공할 수 있다. 또한, 시스템(1000)에서, 편광기의 부재로 인해 높은 광학 효율의 상술한 이점이 제공될 수 있다. 예시적인 SIM 이미징 시스템(200)의 구성은 2개의 직각 격자(예를 들어, 수직 격자 및 수평 격자)만을 사용하여 구조화된 해상도 향상이 달성될 수 있기 때문에 직사각형 격자 상에 피처들을 갖는 규칙적으로 패턴화된 샘플(1070)의 경우에 특히 유리할 수 있다.
시스템의 효율을 향상시키기 위해, 각각의 격자에 의해 출력된 0차 빔 및 다른 모든 고차 회절빔(즉, ±2 차 이상)은 차단될 수 있다(즉, 샘플(1070) 상에 투영된 조명 패턴으로부터 필터링될 수 있다). 예를 들어, 차수 필터와 같은 빔 차단소자(미도시)는 이동 스테이지(1030) 후의 광경로에 삽입될 수 있다. 일부 구현에서, 회절격자(1031-1032)는 빔을 1차로만 회절시키도록 구성될 수 있고 일부 빔 차단소자에 의해 0차(회절되지 않은 빔)는 차단될 수 있다.
시스템(1000)의 예에서, 2개의 격자는 운동 축으로부터 약 ±45°로(또는 약 + 40°/-50°, 약 +30°/-60°등과 같이 운동 축으로부터 오프셋된 다른 각도로) 배열될 수 있어 단일 선형 운동 축을 따라 각각의 격자(1031-1032)에 대해 위상 이동이 실현될 수 있다. 일부 구현들에서, 2개의 격자들은 하나의 물리적 광학소자로 결합될 수 있다. 예를 들어, 물리적 광학소자의 일 측면은 제 1 방향으로 격자 패턴을 가질 수 있고, 물리적 광학소자의 인접한 측면은 제 1 방향에 직교하는 제 2 방향으로 격자 패턴을 가질 수 있다.
단일 축 선형 이동 스테이지(1030)는 샘플면에 대해 X 축을 따라 또는 샘플면에 대해 Y 축을 따라 이동할 수 있게 하는 하나 이상의 액추에이터를 포함할 수 있다. 동작 동안, 선형 이동 스테이지(1030)는 효율적인 이미지 재구성을 위해 정확한 조명 패턴이 투영되도록 하기에 충분한 이동(예를 들어, 약 12-15 mm) 및 정확도(예를 들어, 약 0.5㎛ 미만의 반복성)를 제공할 수 있다. 모션 스테이지(1030)가 형광 현미경과 같은 자동화된 이미징 시스템에서 이용되는 구현에서, 고속 작동, 최소 진동 발생 및 긴 작동 수명을 제공하도록 구성될 수 있다. 구현에서, 선형 이동 스테이지(1030)는 크로스형 롤러 베어링, 선형 모터, 고정밀 선형 인코더 및/또는 다른 구성요소를 포함할 수 있다. 예를 들어, 이동 스테이지(1030)는 컨트롤러를 사용하여 병진이동될 수 있는 고정밀 스테퍼 또는 피에조 모션 스테이지(piezo motion stage)로서 구현될 수 있다.
도 11은 본 명세서에 설명된 일부 구현들에 따라 구조화된 광을 사용하여 고해상도 이미지를 생성하기 위해 하나의 이미징 사이클 동안 다중 광학 격자 슬라이드 SIM 이미징 시스템에 의해 수행될 수 있는 예시적인 방법(1100)을 도시한 동작 흐름도이다. 구현에 따라, 방법(1100)은 전체 샘플 또는 더 큰 샘플의 위치를 이미징하기 위해 수행될 수 있다. 방법(1100)은 이미지 캡처 동안 이중 광학 격자 슬라이드 SIM 이미징 시스템의 제 1 회절격자 및 제 2 회절격자에 의해 샘플(1070)의 평면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 도 12과 관련하여 설명될 것이다. 예를 들어, SIM 이미징 시스템(1000)은 도 12에 도시된 조명 패턴을 생성하기 위해 제 1 회절격자(1031) 및 제 2 회절격자(1032)를 사용할 수 있다. 도 12의 예에 도시된 바와 같이, 2개의 격자는 샘플(1070)의 표면 상에 직각 프린지 패턴을 투영하고 선형 이동 스테이지(1030)의 운동 축으로부터 약 ±45°로 배열된다.
동작(1110)에서, 광원이 켜진다. 예를 들어, 광 셔터는 광이미터(1010)의 광섬유를 광원에 광학적으로 결합시키도록 작동될 수 있다. 다른 예로서, 광원이 펄싱될 수 있거나 광 스위치가 광이미터의 광경로를 통해 광원을 지향시키기 위해 사용될 수 있다. 동작(1120)에서, 제 1 격자 패턴이 샘플 상에 투영될 수 있고 이미지가 캡처될 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 제 1 격자(예를 들어, 격자(1031))는 샘플(1070) 상에 1차 조명 프린지를 투영할 수 있다. 샘플에 의해 방출된 임의의 광은 카메라(1080)에 의해 켭처될 수 있고 제 1 패턴의 제 1 위상 이미지(예를 들어, + 45°)가 캡처될 수 있다. 예를 들어, 샘플(1070)의 상이한 피처에 위치된 형광 염료가 형광을 발할 수 있고, 결과적인 광이 대물렌즈(1060)에 의해 수집될 수 있고 카메라(1080)의 이미지 센서로 보내져 형광을 검출할 수 있다.
추가적인 위상 이동된 이미지를 캡처하기 위해, 동작(1140)에서, 격자에 의해 투영된 패턴은 선형 이동 스테이지를 병진이동시킴으로써 위상 이동될 수 있다. 도 12의 예에서, 이러한 위상 이동 움직임이 단계 1 및 2로 도시되어 있다. 위상 이동 움직임은 격자 상에 투영된 프린지 패턴을 약간 이동시키기 위해 격자의 작은(예를 들어, 약 3 내지 5㎛ 이하) 움직임을 제공할 수 있다.
특정 예로서, 도 11의 샘플에서 프린지의 피치(λ)가 2100nm인 경우를 고려하자. 이 경우, λ/3 또는 700nm의 투영된 프린지의 위상 이동을 필요로 하는 3개의 위상 이동된 이미지가 샘플에서 캡처된다. 10X의 대물 조명 배율을 가정하면, 단일 축 선형 이동 스테이지에 필요한 위상이동 단계(선형 병진이동)는 700nm * 10 * sqrt(2) 또는 약 9.9μm로 계산될 수 있다. 이 경우, sqrt(2) 팩터는 격자 방향과 모션 스테이지의 운동 축 간에 45°오프셋 때문이다. 보다 일반적으로, 이 예시적인 구성에서 각각의 위상 편이 단계 동안 선형 이동 스테이지의 병진 거리는 λ/3 × MAG × √2로 기술될 수 있으며, 여기서 MAG는 조명 배율이다.
회절격자(결정 1130)에 대한 모든 위상 이동된 이미지의 캡처 후에, 동작(1160)에서, 시스템은 선형 이동 스테이지를 병진이동시켜 다른 회절격자를 이미징 시스템의 광원에 광학적으로 결합시킴으로써(예를 들어, 도 10a에서 도 10b로 변환) 회절격자를 스위칭할 수 있다. 이 동작은 도 12의 예에서 단계 3으로 도시되어있다. 회절격자 변화의 경우, 선형 이동 스테이지는 비교적 큰 병진이동(예를 들어, 12-15mm 정도)을 제공할 수 있다.
동작(1120-1140)을 반복함으로써 다음 격자에 대해 일련의 위상 이미지가 캡처될 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 제 2 회절격자는 샘플(271) 상에 1차 조명 프린지를 투영할 수 있고, 투영된 프린지는 격자 패턴의 3개 위상 이미지를 캡처하기 위해 선형 이동 스테이지를 병진이동시킴으로써 (예를 들어, 도 12의 단계 4 및 5) λ/3만큼 위치에 이동될 수 있다.
이미지 사이클 동안 모든 이미지가 캡처되면, 동작(1170)에서, 캡처된 이미지로부터 고해상도 이미지가 구성될 수 있다. 예를 들어, 도 12에 개략적으로 도시된 6개의 이미지로부터 고해상도 이미지가 재구성될 수 있다. 상술한 예에 도시된 바와 같이, 다중 광학 격자 슬라이드 SIM 이미징 시스템은 유리하게는 단일 선형 액추에이터로 프린지 각도와 위상 간에 스위치될 수있어, 구조화 조명 이미징 시스템의 비용 및 복잡도를 절감할 수 있다.
도 13은 예시적인 이중 광학 격자 슬라이드 SIM 이미징 구성(1300)을 도시한 다이어그램이다. 도시된 바와 같이, 구성(1300)은 광을 방출하는 광섬유(1310), 콜리메이터(1320), 제 1 및 제 2 회절격자들(1331-330)이 장착된 선형 이동 스테이지(1330), 투영렌즈(1340), 및 터닝 미러(1350)를 포함할 수 있다. 이 예에서, 격자들(1331-1332)은 스테이지(1330)의 운동 축을 따라 서로 인접한 동일한 물체에 매립된다. 도시되지 않은 다른 구성요소들은 다이크로익 미러(1050), 대물렌즈(1060) 및 샘플(1070)과 같이 도 10a에 도시된 것들과 유사할 수 있다.
일부 구현들에서, 이중 광학 격자 슬라이드 SIM 이미징 시스템의 선형 이동 스테이지 또는 슬라이드가 하나 이상의 추가적인 저주파 패턴들과 함께 장착되어 이미징 격자들에 의해 샘플 상에 투영되는 프린지 패턴의 정렬을 돕는다(예를 들어, 2개의 격자는 선형 이동 스테이지의 운동 축으로부터 약 ±45°에 배열된다). 예를 들어, 도 10a 내지 도 10b의 선형 이동 스테이지(1030)는 추가 정렬 패턴, 또는 도 13의 선형 이동 스테이지(1330)와 함께 장착될 수 있다. 2개의 이미징 격자가 도 13에 도시된 바와 동일한 기판에 매립되는 경우에, 정렬 격자도 또한 그 기판에 매립될 수 있거나, 별도의 기판에 통합될 수 있다. 정렬 패턴은 2개의 이미징 격자들 사이 또는 이동 스테이지상의 다른 적절한 위치에 배치될 수 있다.
정렬 패턴은, 조명될 때, 샘플에 더 낮은 주파수 및/또는 더 큰 피치를 갖는 패턴을 투영하도록 구성될 수 있다. 이러한 특성으로 인해, 샘플에 대한 격자의 거친 정렬이 촉진될 수 있다. 정렬 패턴은 평행선, 직교선, 및/또는 다른 격자보다 낮은 슬릿 주파수를 갖는 격자로 구현될 수 있다. 일부 구현들에서, 다수의 정렬 패턴들이 사용될 수 있다. 도 17은 본 개시의 구현에 사용될 수 있는 정렬 패턴의 일례를 도시한 것이다. 이 예에 도시된 바와 같이, 정렬 패턴 마크(1605)는 투명 개구(1625) 외부의 격자(1615)와 동일한 기판 상에 구현된다. 이 예에서, 정렬 패턴은 두 세트의 직교 라인들로 구현된다. 이 구현에 의해, 격자 경사가 체크될 수 있다. 일부 구현들에서, 예시된 정렬 패턴은 다수의 영역들(예를 들어, 기판의 4 개의 코너들)에서 구현될 수 있다.
사용 동안, 정렬 패턴은 패턴을 투영하기 위해 조명될 수 있다. 정렬 패턴은 SIM 이미징 시스템 제조 동안, 현장 설치 후 또는 현장 서비스 엔지니어 점검 동안 이용될 수 있다. 일부 구현들에서, 정렬 패턴은 이중 광학 격자 슬라이드 SIM 이미징 시스템의 동작 동안 이용될 수 있다. 예를 들어, 정렬 패턴은 샘플의 이미징을 시작하기 전에 정렬 패턴을 투영하도록 조명될 수 있다.
이중 광학 격자 슬라이드 SIM 이미징 시스템의 일부 구현에서, 선형 이동 스테이지와 별개의 구성요소인 광학 위상 변조기(예를 들어, 회전 윈도우)가 위상 튜닝에 이용될 수 있다. 이러한 구현들에서, 광학 위상 변조기는 선형 이동 스테이지 대신 위상 튜닝을 위해 사용될 수 있다(예를 들어, 선형 이동 스테이지는 2개의 격자들 사이의 스위칭을 위해서만 사용될 수 있다). 그러한 구현으로 인해, 모션 스테이지에 의해 시간에 따라 요구되는 병진이동 횟수를 실질적으로 감소시키고 위상을 선택하기 위해 (예를 들어, μm 정도의) 미세한 병진이동을 하기 위해 모션 스테이지를 사용할 필요성을 제거함으로써 시스템의 속도, 정확도 및/또는 신뢰도가 잠재적으로 개선될 수 있다.
광학 위상 변조기는 격자 후(예를 들어, 이동 스테이지 직후) 광원과 샘플 사이의 광로에 배치될 수 있다. 도 19는 이러한 구현에 따른 하나의 예시적인 이중 광학 격자 슬라이드 SIM 이미징 시스템(1900)의 일부 구성요소를 도시한 것이다. 도시된 바와 같이, 시스템(1900)은 광이미터(1910)(예를 들어, 광원에 광학적으로 결합된 광섬유), 상기 광이미터(1910)에 의해 출력된 광을 시준하기 위한 제 1 광콜리메이터(1920)(예를 들어, 시준 렌즈), 제 1 회절격자(1931)(예를 들어, 수평 격자) 및 제 2 회절격자(1932)(예를 들어, 수직 격자)가 장착된 선형 이동 스테이지(1930), 및 각각의 격자에 의해 출력된 회절광을 위상 이동시키기 위한 광학 위상 변조기(1940)를 포함한다.
패턴 각도 공간 선택 구조화 조명 현미경 이미징 시스템
본 명세서에 개시된 기술의 일부 구현에 따르면, SIM 이미징 시스템은 패턴 각도 공간 선택 SIM 이미징 시스템으로서 구현될 수 있으며, 이에 의해 고정된 2차원 회절격자가 공간 필터 휠과 결합해 사용되어 샘플상에 1차원 회절 패턴을 투영한다.
도 14는 본 명세서에 설명된 일부 구현들에 따른 패턴 각도 공간 선택 SIM 이미징 시스템(1400)의 예시적인 광학 구성을 도시하는 개략도이다. 간략히 하기 위해, SIM 이미징 시스템(1400)의 광학소자는 도 14에서 생략될 수 있다. 또한, 시스템(1400)은 이 예에서 단일 채널 시스템으로서 도시되어 있지만, 다른 구현들에서, (예를 들어, 2개의 서로 다른 파장으로 방출하는 2개의 서로 다른 카메라 및 광원을 사용함으로써) 멀티 채널 시스템으로서 구현될 수 있다.
도시된 바와 같이, 시스템(1400)은 광이미터(1410)(예를 들어, 광섬유), 상기 이미터(1410)에 의해 방출된 광을 시준하기 위한 콜리메이터(1420), 2차원 격자(1430), 0차 빔 차단기(1440), 광학 위상 변조기(1450), 투영렌즈(1460), 공간 필터 휠(1470), 다이크로익 미러(1480), 대물렌즈(1490), 샘플(1491) 및 카메라(1495)를 포함한다.
이 예시적인 구성에서, 격자(1430)는 입력 빔을 2개의 수직 방향으로 다수의 차수들(예를 들어, 0차수, ±1차수, ±2차수 등)로 회절시키도록 구성된 2차원 투과형 회절격자이다. 시스템의 효율 및 성능을 개선하기 위해, 0차 빔 및 다른 모든 고차 빔(즉, ±2차 이상)이 차단될 수 있다(즉, 샘플(1491)에 투영된 조명 패턴으로부터 필터링될 수 있다). 더 높은 차수는 다양한 필터소자를 사용하여 여과될 수 있는 넓은 각도로 회절될 수 있지만, 0차 성분은 빔 경로에서 격자를 통해 샘플을 향해 곧장 통과한다. 0차 성분을 차단하기 위해, 빔 차단소자(1440)는 2차원 회절격자(1430) 다음의 광경로에 삽입될 수 있다. 예를 들어, 빔 차단소자(1440)는 VBG(볼륨 브래그 격자)일 수 있고, 이 회절 광학소자는 (예를 들어, 0차 광과 같은) 상기 소자에 수직인 광을 반사하고 +1 및 -1차와 같은 다른 각도의 광을 통과하도록 패턴화될 수 있다. 0차가 제거되면, 더 작고 더 컴팩트한 광학기를 사용하여 +1 및 -1 차수를 대물렌즈 아래에 집중시킬 수 있다.
광학 위상 변조기(1450)(예를 들어, 회전 윈도우)는 샘플(1491)상의 패턴 위상 위치를 조정하기 위해 입사광의 위상을 변경하는데 사용될 수 있다. 예를 들어, 광학 위상 변조기(1450)는 광축에 대해 가변 각도로 기울어진 평행판 광학기, 광축을 중심으로 회전된 웨지 광학기, 빔을 병진이동시키기 위해 기울어진 미러, 전기 광학소자 또는 음향 광학소자를 포함해 다양한 이동 광학소자를 포함할 수 있다. 일 특정 구현에서, 광학 위상 변조기(1450)는 2개의 상이한 격자 각도 패턴의 위상을 조정하기 위해 2개의 수직 방향으로 기울어진 평행판 광학기로서 구현될 수 있다. 대안으로, 일부 구현들에서, 패턴 위상 위치는 투영된 패턴이 정지 상태로 유지되는 동안 샘플을 이동시킴으로써(예를 들어, 모션 스테이지를 사용하여), 또는 샘플과 투영된 패턴 모두를 이동시킴으로써 조정될 수 있다.
시스템(1400)의 예에서, 회전식 공간 필터 휠(1470)은 샘플(1491) 상에 투영을 위해 수직 격자 이미지 또는 수평 격자 이미지를 선택하기 위해 2개의 수직 방향으로 배향된 복수의 홀(예를 들어 홀들의 수직 세트(1471) 및 홀들의 수평 세트(1472))를 포함할 수 있다. 예를 들어, 공간 필터 휠을 회전시킴으로써, 격자 패턴들 중 하나의 ±1차가 샘플(1491) 상에 수평 또는 수직 프린지를 생성하기 위해 홀 세트 중 하나를 통과할 수 있다. 구현에서, 공간 필터 휠(1470)은 경량 마스크 또는 공간 필터(예를 들어, 복수의 포트 또는 개구를 포함하는 회전 디스크)로서 구현될 수 있다.
시스템(1400)의 구성에서, 시스템(1400)의 주요 광학 구성요소는 정지 상태로 유지될 수 있으며, 이는 광학 시스템(및 조명 패턴)의 안정성을 향상시키고 이동 소자의 무게, 진동 출력 및 비용을 최소화할 수 있다. 빔 강도의 일부(예를 들어, 최대 50%)가 공간 필터 휠(1470)의 어느 한 방향으로 필터링될 필요가 있을 수 있기 때문에, 일부 구현에서, 공간 필터는 적절한 열 관리를 위해 불필요한 빔(예를 들어, 통과되지 않는 회절격자 패턴의 차수)을 빔 덤프로 반사하도록 구성될 수 있다 .
도 15는 본 명세서에 설명된 일부 구현들에 따른 패턴 각도 공간 선택 SIM 이미징 시스템(1500)의 다른 예시적인 광학 구성을 도시하는 개략도이다. 예시적인 이미징 시스템(1500)에서, 2차원 투과형 격자 및 빔 차단소자의 기능이 고체 광학기(1510)에 통합될 수 있다. 추가로, 투영렌즈의 기능이 고체 광학기(1510)에 통합될 수 있다. 이 예시적 구현에서, 2차원 투과형 격자(1511)가 이미터(1410)(광학기(1510)의 입력부)로부터 시준된 광을 수신하는 광학기(1510)의 면 상에 제조되거나 그렇지 않으면 배치된다. 격자(1511)의 분산 각도는 0차 광이 광학기의 먼 측에서 차단될 수 있도록 배열될 수 있다. 양방향으로 원하는 +1 및 -1 차수는 광학적으로 바람직한 방향으로 +1 및 -1 차수를 회절시키는 각진 면(1512)(광학기(1510)의 출력부)을 통해 광학기(1510)로부터 나올 수 있다. 이러한 출력면은 회절 집속렌즈를 포함할 수 있다. 대안으로, 빔을 대물렌즈(1490) 상에 포커싱하기 위한 투영렌즈로서 별도의 광학기가 사용될 수 있다. 시스템(1500)에서, 위상 시프터(1450) 및 회전 공간 필터 마스크(1470)가 상술한 바와 같이 사용될 수 있다.
도 16은 본 명세서에 설명된 일부 구현들에 따른 패턴 각도 공간 선택 SIM 이미징 시스템(1600)의 다른 예시적인 광학 구성을 도시하는 개략도이다. 예시적인 이미징 시스템(1600)에서, 2차원 격자 및 빔 차단소자의 기능을 통합하기 위해 고체 광학기(1610)가 다시 사용될 수 있다. 추가로, 이는 투영렌즈의 기능을 통합할 수 있다. 예시적인 이미징 시스템(1600)과 대조적으로, 고체 광학기(1610)의 입력부는 수신된 광을 2차원 반사 격자(1611)로 가이드하는 유입구 윈도우 또는 개구(1614)이다. 격자(1611)는 이 예에서 반사적이므로, 0차 광이, 유입구 윈도우(1614)를 통해 다시 반사될 수 있다. 각각의 수직 방향으로, 원하는 +1 및 -1 차수의 회절광은 광학기(1610)의 각각의 반사 코팅된 내부면(1613)으로부터 반사되어 출구면(1612)을 통해 빠져 나갈 수 있다. 구현에서, 이러한 출구면은 회절 집속렌즈를 포함할 수 있다. 대안으로, 빔을 대물렌즈(1490) 상에 포커싱하기 위해 별도의 투영렌즈 광학기(1615)가 사용될 수 있다. 시스템(1600)에서, 위상 시프터(1450) 및 회전 공간 필터 마스크(1470)가 상술한 바와 같이 사용될 수 있다.
본 개시의 일부 구현이 하나 이상의 광학을 사용하여 수집된 여기 광(예를 들어, 대물렌즈에 의해 재수집된 광)을 이미지 센서(예를 들어, CCD 카메라 센서)로 재 이미징하는 SIM 이미징 시스템과 관련하여 도면에 도시되어 있지만, 본원에 기술된 다양한 구현은 이미지화된 샘플의 활성면에 있는 이미지 센서(예를 들어, CMOS 센서)를 이용하는 SIM 이미징 시스템에 적용될 수 있음을 이해해야 한다. 예시적인 예로서, 도 18은 본 명세서에 설명된 일부 구현에 따라 SIM 이미징 시스템의 이미지 센서 어셈블리(1740) 위에 형성될 수 있는 샘플(1710)을 도시한 것이다. 예를 들어, 샘플의 특징은 이미지 센서의 픽셀과 포토리소그래피로 정렬될 수 있다. 구조화 조명에 응답하여 패턴화된 샘플(1710)에 의해 방출된 임의의 광은 이 예에서 샘플(1710) 바로 아래에 위치된 이미지 센서 어셈블리(1740)에 의해 수집된다. 이미지 센서 어셈블리(1740) 위에 샘플(1710)을 형성하는 것은 샘플(1710)의 패턴화된 피처(1711)가 이미징 동안 이미지 센서 어셈블리(1740)의 특정 포토사이트(예를 들어, 픽셀)에 대해 정렬된 상태를 유지되는 것을 보장하는 이점을 제공할 수 있다.
샘플(1710)은 이미지 센서(1740)의 각각의 광 센서(예를 들어, 픽셀)가 그 위에 형성 및/또는 장착되는 하나 이상의 피처(1711)를 갖도록 이미지 센서 어셈블리(1740)와 패턴화되고 정렬될 수 있다. 도 18의 예에 도시된 바와 같이, 샘플(1710)은 이미지 센서 어셈블리(1740)의 픽셀 어레이의 각각의 픽셀 위에 하나의 피처(1711)가 형성되도록 이미지 센서 어셈블리(1740) 위에 패턴화된다. 다른 구현에서, 하나 이상의 특징이 각 픽셀 위에 형성될 수 있다.
형광 샘플의 경우, 예를 들어, 샘플의 조명된 피처(1711)는 구조화된 여기 광(1760)에 응답하여 형광을 발할 수 있으며, 피처(1711)에 의해 방출된 결과적인 광(1761)이 이미지 센서 어셈블리(1740)의 포토사이트(예를 들어, 픽셀)에 의해 수집되어 형광을 감지할 수 있다. 예를 들어, 도 18에 도시된 바와 같이, 이미지 센서 어셈블리(1740)의 픽셀(1, 1) 및(1, 3)은 그 위에 위치되거나 패턴화된 샘플의 피처(1711)에 의해 방출되는 광(1761)을 수집할 수 있다. 일부 구현들에서, 층(미도시)은 (예를 들어, 샘플의 유체 환경으로부터 이미지 센서 어셈블리를 차폐하기 위해) 샘플(1710)과 이미지 센서 어셈블리(1740) 사이에 분리를 제공할 수 있다. 다른 구현에서, 샘플(1710)은 이미지 센서 어셈블리(1740) 위에 장착 및 정렬될 수 있다.
도 18은 SIM 프린지가 샘플의 피처와 올바른 방향으로 정렬되는 SIM 이미징 시스템의 예시적인 도면을 도시한 것이나, 실제로는 이는 반드시 SIM 이미징의 경우에 필요하거나 통상적인 것은 아니다. 예를 들어, 시간 및/또는 공간에 걸쳐, 인접한 프린지들 사이의 간격, 구조화 조명 패턴의 위상 또는 각도, 및/또는 조명된 샘플에 대한 프린지 패턴의 배향이 변할 수 있다. SIM 파라미터의 이러한 변형으로 인해, 일부 경우에, 일부 조명된 특징은 80% "온"일 수 있는 반면, 다른 특징은 60% "온"일 수 있고, 다른 특징은 20% "온"일 수 있다. 이러한 시스템에서, 이미지 재구성 동안 이들 프로세스 변형을 고려하기 위해 SIM 이미징 알고리즘이 이용될 수 있다. 예를 들어, 구조화 조명 파라미터의 변화는 이러한 변화를 설명하기 위해 시간이 지남에 따라 추정 및/또는 예측될 수 있다.
본 명세서에서 사용되는 바와 같이, 모듈이라는 용어는 본 출원의 하나 이상의 구현에 따라 수행될 수 있는 주어진 기능 단위를 기술할 수 있다. 본 명세서에서 사용되는 바와 같이, 모듈은 임의의 형태의 하드웨어, 소프트웨어 또는 이들의 조합을 이용하여 구현될 수 있다. 예를 들어, 하나 이상의 프로세서, 컨트롤러, ASICs, PLAs, PALs, CPLDs, FPGAs, 논리 컴포넌트, 소프트웨어 루틴 또는 기타 메커니즘이 모듈을 구성하도록 구현될 수 있다. 구현에서, 본 명세서에 기술된 다양한 모듈은 개별 모듈로서 구현될 수 있거나, 기술된 기능 및 특징은 하나 이상의 모듈 사이에서 부분적으로 또는 전체적으로 공유될 수 있다. 다시 말해서, 본 명세서를 읽은 후 당업자에게 명백한 바와 같이, 본 명세서에 기술된 다양한 특징 및 기능은 임의의 주어진 애플리케이션에서 구현될 수 있고, 하나 이상의 개별 또는 공유 모듈에서 다양한 조합 및 순열로 구현될 수 있다. 기능의 다양한 특징 또는 요소가 개별 모듈로서 개별적으로 설명되거나 청구될 수 있지만, 당업자는 이들 특징 및 기능이 하나 이상의 공통 소프트웨어 및 하드웨어 요소 간에 공유될 수 있다는 것을 이해할 것이며, 그러한 설명은 이러한 특징 또는 기능을 구현하기 위해 별도의 하드웨어 또는 소프트웨어 구성요소가 사용됨을 요구하거나 암시하는 것은 아니다.
본 문서에서, "컴퓨터 판독 가능 매체", "컴퓨터 사용 가능 매체" 및 "컴퓨터 프로그램 매체"라는 용어는 예를 들어 메모리, 저장장치 및 미디어와 같이 휘발성 또는 비휘발성의 비일시적 매체를 일반적으로 지칭하기 위해 사용된다. 이들 및 다른 다양한 형태의 컴퓨터 프로그램 매체 또는 컴퓨터 사용 가능 매체는 하나 이상의 명령들의 하나 이상의 시퀀스를 실행을 위한 처리 장치로 전달하는 데 관여할 수 있다. 매체에 구현된 이러한 명령어는 일반적으로 (컴퓨터 프로그램 또는 다른 그룹의 형태로 그룹화될 수 있는) "컴퓨터 프로그램 코드" 또는 "컴퓨터 프로그램 제품"으로 지칭된다.
다양한 예시적인 구현 및 구현의 관점에서 위에서 설명되었지만, 하나 이상의 개별 구현에서 설명된 다양한 특징, 태양 및 기능은 이들이 기술된 특정 구현에 대한 적용에 국한되지 않고, 대신 그러한 구현이 기술되는지 여부와 그러한 특징이 기술된 구현의 일부로서 제공되는지의 여부에 관계없이, 단독으로 또는 다양한 조합으로, 애플리케이션의 다른 구현들 중 하나 이상에 적용될 수 있다는 것을 이해해야 한다. 따라서, 본 출원의 폭 및 범위는 상술된 예시적인 구현들 중 어느 하나에 국한되지 않아야 한다.
(이러한 개념이 서로 일치하지 않는 경우) 상술한 개념의 모든 조합이 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려된다는 것을 이해해야 한다. 특히, 본 개시의 말미에 나타난 청구된 주제의 모든 조합은 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려된다.
청구범위를 포함하여 본 개시 전반에 걸쳐 사용된 "실질적으로" 및 "약"이라는 용어는 처리에 있어 변화로 인한 작은 변동을 기술하고 설명하기 위해 사용된다. 예를 들어, 이들은 ±5% 이하, 예컨대 ±2% 이하, 예컨대 ±1% 이하, 예컨대 ±0.5% 이하, 예컨대 ±0.2 % 이하, 예컨대 ±0.1 % 이하, 예컨대 ±0.05 % 이하를 나타낼 수 있다.
적용 가능한 범위에서, 본 명세서에서 "제 1", "제 2", "제 3"등의 용어는 이들 용어에 의해 설명된 각각의 목적을 별개의 실체로서 나타내기 위해 사용되며 명시적으로 다르게 명시되지 않는 한 연대순의 의미를 수반하는 것으로 의도되어 있지 않다.
달리 명시되지 않는 한, 본 문서에 사용된 용어 및 문구 및 그 변형은 제한이 아니라 개방된 것으로 해석되어야 한다. 상기의 예로서: "포함하는"이라는 용어는 "제한없이 포함하는" 등을 의미하는 것으로 이해되어야 하고; "예"라는 용어는 그 전체 목록 또는 제한 목록이 아니라 논의중인 항목의 일부 예를 제공하기 위해 사용되며; "a" 또는 "an"이라는 용어는 "적어도 하나", "하나 이상" 등을 의미하는 것으로 이해되어야 하고; "전통적", "종래적", "일반적", "표준의", "기지(旣知)의"와 같은 형용사 및 유사한 의미의 용어는 주어진 기간 또는 주어진 시간으로서 현재 사용 가능한 항목으로 제한되는 것으로 해석되지 않아야 하며 대신에 현재 또는 미래에 언제든지 이용 가능하거나 알려진 기존의, 전통적, 일반적 또는 표준 기술을 포괄하도록 읽혀져야 한다. 마찬가지로, 이 문서가 당업자에게 명백하거나 알려진 기술을 언급하는 경우, 이러한 기술은 현재 또는 미래에 언제든지 당업자에게 명백하거나 알려진 기술을 포함한다.
일부 경우에 "하나 이상", "적어도", "그러나 이에 국한되지 않는" 또는 다른 유사한 문구와 같은 확장형 단어 및 문구의 존재는 그러한 확장형 문구가 없을 수 있는 경우에 더 좁은 경우가 의도되거나 요구되는 것을 의미하는 것으로 해석되지 않아야 한다. "모듈"이라는 용어의 사용은 모듈의 일부로서 기술되거나 청구된 구성요소 또는 기능이 모두 공통 패키지로 구성되는 것을 의미하지는 않는다. 실제로, 제어 로직이든 다른 구성요소이든, 모듈의 다양한 구성요소 중 일부 또는 전부는 단일 패키지로 결합되거나 개별적으로 유지될 수 있고, 다수의 그룹화 또는 패키지로 또는 다수의 위치들에 분산될 수 있다.
또한, 본 명세서에 제시된 다양한 구현은 예시적인 블록도, 흐름도 및 다른 예시의 관점에서 설명된다. 본 명세서를 읽은 후 당업자에게 명백한 바와 같이, 예시된 구현 및 그들의 다양한 대안은 예시된 예에 국한됨이 없이 구현될 수 있다. 예를 들어, 블록 다이어그램 및 해당 설명은 특정 아키텍처 또는 구성을 요구하는 것으로 해석되지 않아야 한다.
본 개시의 다양한 구현들을 상술하였지만, 이들은 제한이 아니라 단지 예로서 제시된 것으로 이해되어야 한다. 마찬가지로, 다양한 다이어그램은 본 개시에 대한 예시적인 아키텍처 또는 다른 구성을 도시할 수 있으며, 이는 본 개시에 포함될 수 있는 특징 및 기능을 이해하는 것을 돕기 위해 행해진다. 본 개시는 도시된 예시적인 아키텍처 또는 구성으로 국한되는 것이 아니라, 다양한 대안적인 아키텍처 및 구성을 사용하여 원하는 대안적인 특징이 구현될 수 있다. 실제로, 대안적인 기능적, 논리적 또는 물리적 분할 및 구성이 본 개시의 원하는 특징을 구현하기 위해 어떻게 구현될 수 있는지가 당업자에게 명백할 것이다. 또한, 본 명세서에 도시된 것 이외의 다수의 상이한 구성 모듈 이름이 다양한 부분에 적용될 수 있다. 또한, 흐름도, 동작 설명 및 방법 청구 범위와 관련하여, 본 명세서에 제시된 단계의 순서는 문맥이 달리 지시하지 않는 한 인용된 기능을 수행하기 위해 다양한 구현이 동일한 순서로 구현되도록 요구하지 않아야 한다.
Claims (25)
- 광을 방출하는 제 1 광이미터 및 샘플면 상에 제 1 복수의 프린지를 투영하기 위해 상기 제 1 광이미터에 의해 방출된 광을 분할하는 제 1 빔스플리터를 포함하는 제 1 광 암;
광을 방출하는 제 2 광이미터 및 상기 샘플면 상에 제 2 복수의 프린지를 투영하기 위해 상기 제 2 광이미터에 의해 방출된 광을 분할하기 위한 제 2 빔스플리터를 포함하는 제 2 광 암; 및
상기 제 1 암 및 상기 제 2 암의 광경로를 결합시키기 위한 광학소자를 포함하는 구조화 조명 이미징 시스템. - 제 1 항에 있어서,
제 1 빔 스플리터는 제 1 투과형 회절격자를 포함하고 제 2 빔 스플리터는 제 2 투과형 회절격자를 포함하는 구조화 조명 이미징 시스템. - 제 2 항에 있어서,
제 1 및 제 2 광이미터는 비편광된 광을 방출하고, 제 1 및 제 2 투과형 회절격자는 상기 제 1 및 제 2 광이미터 각각의 하나에 의해 방출된 비편광된 광을 회절시키는 구조화 조명 이미징 시스템. - 제 2 항에 있어서,
제 1 복수의 프린지 및 제 2 복수의 프린지의 광경로를 결합하기 위한 상기 광학소자는 홀을 갖는 미러를 포함하고, 상기 미러는 상기 제 1 회절격자에 의해 회절된 광을 반사시키도록 배열되며, 상기 홀은 제 2 회절격자에 의해 회절된 광의 적어도 1차수의 광을 통과시키도록 배열된 구조화 조명 이미징 시스템. - 제 4 항에 있어서,
제 1 복수의 프린지 및 제 2 복수의 프린지를 위상 이동시키기 위한 하나 이상의 광학소자를 더 포함하는 구조화 조명 이미징 시스템. - 제 5 항에 있어서,
제 1 복수의 프린지 및 제 2 복수의 프린지를 위상 이동시키기 위한 상기 하나 이상의 광학소자들은 상기 제 1 복수의 프린지를 위상 이동시키기 위한 제 1 회전 광학 윈도우 및 제 2 복수의 광학 프린지들을 위상 이동시키기 위한 제 2 회전 광학 윈도우를 포함하는 구조화 조명 이미징 시스템. - 제 5 항에 있어서,
제 1 복수의 프린지 및 제 2 복수의 프린지를 위상 이동하기 위한 하나 이상의 광학소자는 제 1 회절격자를 병진이동시키기 위한 제 1 선형 이동 스테이지 및 제 2 회절격자를 병진이동시키기 위한 제 2 선형 이동 스테이지를 포함하는 구조화 조명 이미징 시스템. - 제 5 항에 있어서,
제 1 복수의 프린지 및 제 2 복수의 프린지를 위상 이동하기 위한 하나 이상의 광학소자는 단일 회전 광학 윈도우를 포함하고, 상기 단일 회전 광학 윈도우는 샘플의 광경로에 홀을 가진 미러 뒤에 위치되는 구조화 조명 이미징 시스템. - 제 8 항에 있어서,
단일 회전 광학 윈도우의 회전축은 각각의 격자의 광축으로부터 약 45°만큼 오프셋된 구조화 조명 이미징 시스템. - 제 5 항에 있어서,
제 1 복수의 프린지는 샘플 면상의 제 2 복수의 프린지로부터 약 90°만큼 각도로 오프셋된 구조화 조명 이미징 시스템. - 제 10 항에 있어서,
상기 샘플은 직사각형 어레이 또는 육각형 어레이로 규칙적으로 패턴화된 복수의 피처를 포함하는 구조화 조명 이미징 시스템. - 제 5 항에 있어서,
샘플 상에 제 1 복수의 프린지 및 제 2 복수의 프린지를 각각 투영하기 위한 대물렌즈를 더 포함하는 구조화 조명 이미징 시스템. - 제 5 항에 있어서,
제 1 및 제 2 회절격자 각각에 의해 방출되는 0차 광을 차단하기 위한 하나 이상의 광빔 차단기를 더 포함하는 구조화 조명 이미징 시스템. - 제 13 항에 있어서,
하나 이상의 광빔 차단기는 브래그 격자를 포함하는 구조화 조명 이미징 시스템. - 제 2 항에 있어서,
제 1 암 및 제 2 암의 광경로를 결합하는 광학소자는 편광 빔스플리터를 포함하고, 상기 제 1 회절격자는 수직으로 편광된 광을 회절시키고 상기 제 2 회절격자는 수평으로 편광된 광을 회절시키는 구조화 조명 이미징 시스템. - 제 1 항에 있어서,
제 1 및 제 2 빔 스플리터는 각각 빔 스플리터 큐브 또는 플레이트를 포함하는 구조화 조명 이미징 시스템. - 제 1 항에 있어서,
제 1 빔 스플리터는 제 1 반사형 회절격자를 포함하고, 제 2 빔 스플리터는 제 2 반사형 회절격자를 포함하는 구조화 조명 이미징 시스템. - 구조화 조명 시스템의 제 1 광학 암을 턴온하는 단계;
샘플의 제 1 복수의 위상 이미지를 캡처하는 단계;
구조화 조명 시스템의 제 2 광학 암을 턴온하는 단계; 및
제 2 복수의 프린지로 조명된 샘플의 제 2 복수의 위상 이미지를 캡처하는 단계를 포함하고,
상기 제 1 광학 암은 광을 방출하는 제 1 광이미터 및 샘플 면 상에서 특정 방향으로 배향된 제 1 복수의 프린지를 투영하기 위해 상기 제 1 광이미터에 의해 방출된 광을 회절시키는 제 1 회절격자를 포함하며,
상기 제 1 복수의 이미지를 캡처하는 동안, 상기 제 1 복수의 프린지의 위치가 샘플 면에서 이동되고,
상기 제 2 광학 암은 광을 방출하는 제 2 광이미터 및 샘플 면 상에서 제 2 복수의 프린지를 투영하기 위해 상기 제 2 광이미터에 의해 방출된 광을 회절시키는 제 2 회절격자를 포함하며, 상기 제 2 복수의 프린지는 샘플 면 상에 제 1 복수의 프린지로부터 비스듬히 오프셋되고,
상기 제 2 복수의 프린지의 캡처 동안, 상기 제 2 복수의 프린지의 위치가 샘플 면에서 이동되는 방법. - 제 18 항에 있어서,
제 1 회절격자 및 제 2 회절격자는 투과형 회절격자이며, 상기 구조화 조명 시스템은 상기 제 1 회절격자에 의해 회절된 광을 반사하고 제 2 회절격자에 의해 회절된 광의 적어도 1차수를 통과시키는 홀을 갖는 미러를 포함하는 방법. - 제 19 항에 있어서,
제 1 및 제 2 복수의 캡처된 위상이동된 이미지 각각보다 더 높은 해상도를 갖는 하나 이상의 이미지를 계산적으로 재구성하기 위해 적어도 제 1 복수의 캡처된 위상 이미지 및 제 2 복수의 캡처된 위상 이미지를 사용하는 단계를 더 포함하는 방법. - 제 20 항에 있어서,
제 1 복수의 프린지들은 샘플 면상의 제 2 복수의 프린지들로부터 약 90°만큼 각도로 오프셋되는 방법. - 제 21 항에 있어서,
샘플이 직사각형 어레이 또는 육각형 어레이로 규칙적으로 패턴화된 복수의 피처를 포함하는 방법. - 제 18 항에 있어서,
제 1 복수의 프린지 및 제 2 복수의 프린지는 샘플과 각각의 제 1 및 제 2 격자 사이의 광경로에 위치된 단일 광학 윈도우를 회전시킴으로써 위상 이동되며, 상기 단일 회전 광학 윈도우의 회전축은 격자들 각각의 광축으로부터 오프셋되는 방법. - 제 18 항에 있어서,
제 1 복수의 위상 이미지를 캡처한 후에, 상기 구조화 조명 시스템의 제 1 광학 암이 턴오프되고 제 2 광학 암이 턴온되는 방법. - 제 19 항에 있어서,
제 1 회절격자 및 제 2 회절격자는 이미지 캡처 동안 기계적으로 고정되는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862618068P | 2018-01-16 | 2018-01-16 | |
| US62/618,068 | 2018-01-16 | ||
| PCT/US2019/013480 WO2019143556A1 (en) | 2018-01-16 | 2019-01-14 | Multi-arm structured illumination imaging |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200019147A true KR20200019147A (ko) | 2020-02-21 |
| KR102303506B1 KR102303506B1 (ko) | 2021-09-17 |
Family
ID=67274105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197037643A KR102303506B1 (ko) | 2018-01-16 | 2019-01-14 | 멀티-암 구조화 조명 이미징 |
Country Status (16)
| Country | Link |
|---|---|
| US (1) | US11675175B2 (ko) |
| EP (1) | EP3740804A4 (ko) |
| JP (1) | JP6983916B2 (ko) |
| KR (1) | KR102303506B1 (ko) |
| CN (2) | CN209841688U (ko) |
| AU (1) | AU2019209199C1 (ko) |
| CA (1) | CA3066732C (ko) |
| IL (1) | IL271125A (ko) |
| MX (1) | MX2019014570A (ko) |
| MY (1) | MY202303A (ko) |
| NZ (1) | NZ759863A (ko) |
| RU (1) | RU2747380C1 (ko) |
| SA (1) | SA519410828B1 (ko) |
| SG (1) | SG11201911655VA (ko) |
| TW (2) | TWI699559B (ko) |
| WO (1) | WO2019143556A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018115001A1 (de) * | 2018-06-21 | 2019-12-24 | Carl Zeiss Microscopy Gmbh | Verfahren zum Kalibrieren einer Phasenmaske und Mikroskop |
| WO2021063865A1 (en) * | 2019-09-30 | 2021-04-08 | Universite D'aix-Marseille | Devices and methods for the characterization of the 3d orientation of light emitting dipoles |
| DE102019129932B4 (de) * | 2019-11-06 | 2023-12-21 | Technische Universität Braunschweig | Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung |
| US11053540B1 (en) * | 2020-01-17 | 2021-07-06 | Element Biosciences, Inc. | High performance fluorescence imaging module for genomic testing assay |
| CN111369464B (zh) * | 2020-03-04 | 2021-11-09 | 深圳市商汤科技有限公司 | 去除图像中的反光的方法及装置、电子设备和存储介质 |
| CN112485899B (zh) * | 2020-12-04 | 2023-03-28 | 上海交通大学医学院附属第九人民医院 | 一种设置紧凑型结构光光路的方法 |
| CN113334567B (zh) * | 2021-05-31 | 2022-11-29 | 山东建筑大学 | 一种预制构件用钢筋绑扎定位装置 |
| TWI799265B (zh) * | 2022-05-12 | 2023-04-11 | 瑞昱半導體股份有限公司 | 超解析度裝置及方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030086067A1 (en) * | 2000-08-08 | 2003-05-08 | Volker Gerstner | Assembly for increasing the depth discrimination of an optical imaging system |
| JP2007127625A (ja) * | 2005-09-15 | 2007-05-24 | Asml Netherlands Bv | 位置測定ユニット、測定システム、および該位置測定ユニットを備えたリソグラフィ装置 |
| JP2009503442A (ja) * | 2005-07-22 | 2009-01-29 | カール ツァイス マイクロイメージング ゲーエムベーハー | 解像度を高めたルミネセンス顕微鏡検査 |
| JP2009505105A (ja) * | 2005-08-18 | 2009-02-05 | ティーエイティー、インヴェストマンツ、Ｉｉ、シー、ヴィー | 改良型ホログラフィ撮像のためのシステムおよび方法 |
| US20100108873A1 (en) * | 2007-04-13 | 2010-05-06 | Michael Schwertner | Method and assembly for optical reproduction with depth discrimination |
| KR101117501B1 (ko) * | 2010-02-12 | 2012-03-07 | 한국과학기술원 | 십자형 구조 조명 선형 패턴을 이용한 구조 조명 공초점 현미경 |
| US20140104407A1 (en) * | 2011-06-29 | 2014-04-17 | Nikon Corporation | Structured illumination optical system and structured illumination microscope device |
| US20140192365A1 (en) * | 2013-01-07 | 2014-07-10 | Si-Ware Systems | Spatial splitting-based optical mems interferometers |
| US20150185463A1 (en) * | 2012-07-19 | 2015-07-02 | Nikon Corporation | Structured illuminating microscopy apparatus |
| US20150253559A1 (en) * | 2012-09-11 | 2015-09-10 | Carl Zeiss Microscopy Gmbh | Optical arrangement and light microscope |
| US20150377777A1 (en) * | 2014-06-29 | 2015-12-31 | OPTICS 3D Ltd. | Dual structured illumination modulated in phase and intensity |
| US20160124208A1 (en) * | 2013-05-10 | 2016-05-05 | Forschungszentrum Mikroskopie (FZM), LuciaOptics gemeinnützige UG | Method and apparatus for combination of localization microscopy and structured illumination microscopy |
Family Cites Families (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3856986A (en) | 1968-12-06 | 1974-12-24 | American Express Invest | Scanned holography systems using temporal modulation |
| JPS5915748B2 (ja) | 1973-06-02 | 1984-04-11 | 株式会社ダイヘン | 不活性ガス消耗電極ア−ク溶接方法 |
| US4213706A (en) | 1977-08-19 | 1980-07-22 | The University Of Arizona Foundation | Background compensating interferometer |
| KR900003521B1 (ko) * | 1986-02-28 | 1990-05-21 | 삼성전자 주식회사 | 광테이프 기록재생용 레이저 드럼 |
| JPH0315002A (ja) * | 1989-03-06 | 1991-01-23 | Toshihiro Kubota | 光分割器 |
| US5231432A (en) * | 1991-12-03 | 1993-07-27 | Florida Atlantic University | Projector utilizing liquid crystal light-valve and color selection by diffraction |
| US5761085A (en) | 1996-11-12 | 1998-06-02 | The United States Of America As Represented By The Secretary Of The Navy | Method for monitoring environmental parameters at network sites |
| US6188478B1 (en) | 1998-10-21 | 2001-02-13 | Philips Electronics North America Corporation | Method and apparatus for film-thickness measurements |
| US7274446B2 (en) | 2001-04-07 | 2007-09-25 | Carl Zeiss Jena Gmbh | Method and arrangement for the deep resolved optical recording of a sample |
| JP5048899B2 (ja) | 2001-09-28 | 2012-10-17 | オリンパス株式会社 | 顕微鏡 |
| US6947127B2 (en) | 2001-12-10 | 2005-09-20 | Carl Zeiss Jena Gmbh | Arrangement for the optical capture of excited and/or back scattered light beam in a sample |
| KR100489431B1 (ko) | 2002-06-28 | 2005-05-12 | 학교법인연세대학교 | 스캔식 위상천이 3차원 형상측정 장치 및 측정 방법 |
| JP2005080181A (ja) | 2003-09-03 | 2005-03-24 | Nikon Corp | 画像読み取り装置および画像読み取りプログラム |
| US7532323B2 (en) | 2003-10-28 | 2009-05-12 | Cha-Min Tang | Spatial light modulator apparatus and method |
| EP1687587B1 (en) * | 2003-11-28 | 2020-01-08 | The General Hospital Corporation | Method and apparatus for three-dimensional spectrally encoded imaging |
| US20050221351A1 (en) | 2004-04-06 | 2005-10-06 | Affymetrix, Inc. | Methods and devices for microarray image analysis |
| CN1292227C (zh) | 2005-07-12 | 2006-12-27 | 中国科学院上海光学精密机械研究所 | 高分辨数字干涉仪空间分辨率的标定方法 |
| WO2007044612A2 (en) | 2005-10-07 | 2007-04-19 | Bioptigen, Inc. | Imaging systems using unpolarized light and related methods and controllers |
| WO2007061632A2 (en) | 2005-11-09 | 2007-05-31 | Geometric Informatics, Inc. | Method and apparatus for absolute-coordinate three-dimensional surface imaging |
| JP4844137B2 (ja) | 2006-01-30 | 2011-12-28 | 株式会社ニコン | 顕微鏡装置 |
| US7803609B2 (en) | 2006-07-21 | 2010-09-28 | Affymetrix, Inc. | System, method, and product for generating patterned illumination |
| DE102006044229B4 (de) | 2006-09-20 | 2023-09-28 | Carl Zeiss Microscopy Gmbh | Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters |
| DE102006047912A1 (de) | 2006-10-06 | 2008-04-10 | Carl Zeiss Microimaging Gmbh | Verfahren und Anordnung zur parallelisierten mikroskopischen Bildgebung |
| JP5136422B2 (ja) | 2006-12-12 | 2013-02-06 | 株式会社ニコン | 顕微鏡装置及び画像処理方法 |
| US8848199B2 (en) | 2007-07-10 | 2014-09-30 | Massachusetts Institute Of Technology | Tomographic phase microscopy |
| KR101538246B1 (ko) * | 2007-07-18 | 2015-07-20 | 가부시키가이샤 니콘 | 계측 방법, 스테이지 장치, 및 노광 장치 |
| US8759077B2 (en) | 2007-08-28 | 2014-06-24 | Lightspeed Genomics, Inc. | Apparatus for selective excitation of microparticles |
| WO2009028494A1 (ja) * | 2007-08-28 | 2009-03-05 | Nikon Corporation | 位置検出装置、位置検出方法、露光装置、およびデバイス製造方法 |
| US8222040B2 (en) | 2007-08-28 | 2012-07-17 | Lightspeed Genomics, Inc. | Nucleic acid sequencing by selective excitation of microparticles |
| US8509879B2 (en) | 2007-11-06 | 2013-08-13 | The Regents Of The University Of California | Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging |
| US8537461B2 (en) | 2007-11-26 | 2013-09-17 | Carl Zeiss Microimaging Gmbh | Method and configuration for the optical detection of an illuminated specimen |
| US20090219607A1 (en) * | 2008-01-17 | 2009-09-03 | Baylor College Of Medicine | Method and apparatus for enhanced resolution microscopy of living biological nanostructures |
| DE102008009216A1 (de) | 2008-02-13 | 2009-08-20 | Carl Zeiss Microimaging Gmbh | Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe |
| US8253746B2 (en) * | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
| US8261212B2 (en) * | 2009-10-20 | 2012-09-04 | Microsoft Corporation | Displaying GUI elements on natural user interfaces |
| US9465228B2 (en) | 2010-03-19 | 2016-10-11 | Optical Biosystems, Inc. | Illumination apparatus optimized for synthetic aperture optics imaging using minimum selective excitation patterns |
| US8502867B2 (en) | 2010-03-19 | 2013-08-06 | Lightspeed Genomics, Inc. | Synthetic aperture optics imaging method using minimum selective excitation patterns |
| US8600123B2 (en) * | 2010-09-24 | 2013-12-03 | General Electric Company | System and method for contactless multi-fingerprint collection |
| US8796185B2 (en) | 2011-03-08 | 2014-08-05 | Lightspeed Genomics, Inc. | Self-assembling high density ordered patterned biomolecule array and method for making and using the same |
| US8817362B2 (en) | 2011-04-29 | 2014-08-26 | Lightspeed Genomics, Inc. | Modular pattern illumination and light beam multiplexing for selective excitation of microparticles |
| JP5804441B2 (ja) * | 2011-05-18 | 2015-11-04 | 株式会社ニコン | 顕微鏡システム |
| EP2718465B1 (en) | 2011-06-09 | 2022-04-13 | Illumina, Inc. | Method of making an analyte array |
| US20130086067A1 (en) | 2011-09-30 | 2013-04-04 | University Of Washington Through Its Center For Commercialization | Context-aware suggestions for structured queries |
| US9628843B2 (en) * | 2011-11-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Methods for controlling electronic devices using gestures |
| TWI546518B (zh) | 2012-04-20 | 2016-08-21 | 德律科技股份有限公司 | 三維量測系統與三維量測方法 |
| US9075013B2 (en) * | 2012-04-29 | 2015-07-07 | Periodic Structures, Inc. | Apparatus and methods for microscopy having resolution beyond the Abbe limit |
| EP2852932A1 (en) * | 2012-05-22 | 2015-04-01 | Telefónica, S.A. | A method and a system for generating a realistic 3d reconstruction model for an object or being |
| JP5915748B2 (ja) * | 2012-07-27 | 2016-05-11 | 株式会社ニコン | 構造化照明装置及び構造化照明顕微鏡 |
| DE102012017920B4 (de) | 2012-09-11 | 2023-11-30 | Carl Zeiss Microscopy Gmbh | Optikanordnung und Lichtmikroskop |
| DE102012020877A1 (de) | 2012-10-17 | 2014-04-17 | Carl Zeiss Microscopy Gmbh | Optikanordnung und Lichtmikroskop |
| US10378053B2 (en) | 2017-03-17 | 2019-08-13 | Apton Biosystems, Inc. | Sequencing and high resolution imaging |
| EP2905575B1 (en) | 2014-02-06 | 2018-10-31 | Mitutoyo Corporation | Image sequence and evaluation method, system and computer program for structured illumination microscopy for measuring a 3D height map |
| CN106030427B (zh) * | 2014-02-20 | 2020-09-08 | M·奥利尼克 | 用于在机器人烹饪厨房中制备食物的方法和系统 |
| JP2017522066A (ja) * | 2014-06-10 | 2017-08-10 | カール ツァイス メディテック インコーポレイテッドＣａｒｌ Ｚｅｉｓｓ Ｍｅｄｉｔｅｃ Ｉｎｃ． | 改善された周波数領域干渉法による撮像システムおよび方法 |
| CN104102017B (zh) | 2014-07-07 | 2017-09-29 | 西安电子科技大学 | 基于结构光照的随机散射光学超衍射极限成像系统及方法 |
| US10518409B2 (en) * | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
| US10247672B2 (en) * | 2014-09-29 | 2019-04-02 | Howard Hughes Medical Institute | Non-linear structured illumination microscopy |
| WO2016149397A1 (en) | 2015-03-16 | 2016-09-22 | Pacific Biosciences Of California, Inc. | Integrated devices and systems for free-space optical coupling |
| JP6928623B2 (ja) | 2016-07-01 | 2021-09-01 | シライト プロプライエタリー リミテッド | 分散型構造化照明を使用する共焦点顕微鏡法のための装置及び方法 |
| CN107014795B (zh) | 2017-05-10 | 2020-04-10 | 中国科学院苏州生物医学工程技术研究所 | 一种基于均匀结构光照明的共聚焦并行显微成像系统 |
| US11345040B2 (en) * | 2017-07-25 | 2022-05-31 | Mbl Limited | Systems and methods for operating a robotic system and executing robotic interactions |
-
2018
- 2018-12-19 TW TW107145891A patent/TWI699559B/zh active
- 2018-12-19 TW TW109120258A patent/TWI725875B/zh active
-
2019
- 2019-01-14 JP JP2019571668A patent/JP6983916B2/ja active Active
- 2019-01-14 RU RU2019140436A patent/RU2747380C1/ru active
- 2019-01-14 KR KR1020197037643A patent/KR102303506B1/ko active IP Right Grant
- 2019-01-14 CN CN201920056399.3U patent/CN209841688U/zh active Active
- 2019-01-14 AU AU2019209199A patent/AU2019209199C1/en active Active
- 2019-01-14 CN CN201910032692.0A patent/CN110045493A/zh active Pending
- 2019-01-14 MY MYPI2019007746A patent/MY202303A/en unknown
- 2019-01-14 CA CA3066732A patent/CA3066732C/en active Active
- 2019-01-14 MX MX2019014570A patent/MX2019014570A/es unknown
- 2019-01-14 EP EP19741931.0A patent/EP3740804A4/en active Pending
- 2019-01-14 US US16/626,116 patent/US11675175B2/en active Active
- 2019-01-14 SG SG11201911655VA patent/SG11201911655VA/en unknown
- 2019-01-14 WO PCT/US2019/013480 patent/WO2019143556A1/en active Application Filing
- 2019-01-14 NZ NZ759863A patent/NZ759863A/en not_active IP Right Cessation
- 2019-12-02 IL IL271125A patent/IL271125A/en unknown
- 2019-12-16 SA SA519410828A patent/SA519410828B1/ar unknown
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030086067A1 (en) * | 2000-08-08 | 2003-05-08 | Volker Gerstner | Assembly for increasing the depth discrimination of an optical imaging system |
| JP2009503442A (ja) * | 2005-07-22 | 2009-01-29 | カール ツァイス マイクロイメージング ゲーエムベーハー | 解像度を高めたルミネセンス顕微鏡検査 |
| JP2009505105A (ja) * | 2005-08-18 | 2009-02-05 | ティーエイティー、インヴェストマンツ、Ｉｉ、シー、ヴィー | 改良型ホログラフィ撮像のためのシステムおよび方法 |
| JP2007127625A (ja) * | 2005-09-15 | 2007-05-24 | Asml Netherlands Bv | 位置測定ユニット、測定システム、および該位置測定ユニットを備えたリソグラフィ装置 |
| US20100108873A1 (en) * | 2007-04-13 | 2010-05-06 | Michael Schwertner | Method and assembly for optical reproduction with depth discrimination |
| KR101117501B1 (ko) * | 2010-02-12 | 2012-03-07 | 한국과학기술원 | 십자형 구조 조명 선형 패턴을 이용한 구조 조명 공초점 현미경 |
| US20140104407A1 (en) * | 2011-06-29 | 2014-04-17 | Nikon Corporation | Structured illumination optical system and structured illumination microscope device |
| US20150185463A1 (en) * | 2012-07-19 | 2015-07-02 | Nikon Corporation | Structured illuminating microscopy apparatus |
| US20150253559A1 (en) * | 2012-09-11 | 2015-09-10 | Carl Zeiss Microscopy Gmbh | Optical arrangement and light microscope |
| JP2015527618A (ja) * | 2012-09-11 | 2015-09-17 | カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ | 光学装置および光学顕微鏡 |
| US20140192365A1 (en) * | 2013-01-07 | 2014-07-10 | Si-Ware Systems | Spatial splitting-based optical mems interferometers |
| US20160124208A1 (en) * | 2013-05-10 | 2016-05-05 | Forschungszentrum Mikroskopie (FZM), LuciaOptics gemeinnützige UG | Method and apparatus for combination of localization microscopy and structured illumination microscopy |
| US20150377777A1 (en) * | 2014-06-29 | 2015-12-31 | OPTICS 3D Ltd. | Dual structured illumination modulated in phase and intensity |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2019209199B2 (en) | 2021-06-24 |
| TW202043852A (zh) | 2020-12-01 |
| MX2019014570A (es) | 2020-09-09 |
| US20200218052A1 (en) | 2020-07-09 |
| CN110045493A (zh) | 2019-07-23 |
| KR102303506B1 (ko) | 2021-09-17 |
| WO2019143556A1 (en) | 2019-07-25 |
| SG11201911655VA (en) | 2020-01-30 |
| TWI725875B (zh) | 2021-04-21 |
| CA3066732C (en) | 2022-06-21 |
| RU2747380C1 (ru) | 2021-05-04 |
| TW201932923A (zh) | 2019-08-16 |
| EP3740804A1 (en) | 2020-11-25 |
| SA519410828B1 (ar) | 2023-02-21 |
| EP3740804A4 (en) | 2021-05-19 |
| JP6983916B2 (ja) | 2021-12-17 |
| NZ759863A (en) | 2022-07-01 |
| TWI699559B (zh) | 2020-07-21 |
| MY202303A (en) | 2024-04-23 |
| CN209841688U (zh) | 2019-12-24 |
| US11675175B2 (en) | 2023-06-13 |
| IL271125A (en) | 2020-01-30 |
| CA3066732A1 (en) | 2019-07-25 |
| JP2021502582A (ja) | 2021-01-28 |
| BR112020005414A2 (pt) | 2020-09-29 |
| AU2019209199A1 (en) | 2020-01-02 |
| AU2019209199C1 (en) | 2023-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102312777B1 (ko) | 패턴 각도 공간 선택 구조화 조명 이미징 | |
| KR102303506B1 (ko) | 멀티-암 구조화 조명 이미징 | |
| KR102308470B1 (ko) | 이중 광학격자 슬라이드 구조화 조명 이미징 | |
| CN110044854B (zh) | 图样角度空间选择结构照明成像 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |