KR20210143332A - 구조화 조명 파라미터 예측 - Google Patents
구조화 조명 파라미터 예측 Download PDFInfo
- Publication number
- KR20210143332A KR20210143332A KR1020217037455A KR20217037455A KR20210143332A KR 20210143332 A KR20210143332 A KR 20210143332A KR 1020217037455 A KR1020217037455 A KR 1020217037455A KR 20217037455 A KR20217037455 A KR 20217037455A KR 20210143332 A KR20210143332 A KR 20210143332A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- structured
- structured lighting
- parameter
- sample
- Prior art date
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 150
- 238000003384 imaging method Methods 0.000 claims description 115
- 238000000034 method Methods 0.000 claims description 82
- 230000008859 change Effects 0.000 claims description 38
- 238000013213 extrapolation Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 15
- 230000000704 physical effect Effects 0.000 claims description 5
- 239000000523 sample Substances 0.000 description 163
- 230000003287 optical effect Effects 0.000 description 70
- 230000033001 locomotion Effects 0.000 description 32
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 239000013307 optical fiber Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 239000000758 substrate Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005284 excitation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 5
- 150000007523 nucleic acids Chemical class 0.000 description 5
- 230000010363 phase shift Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 102000039446 nucleic acids Human genes 0.000 description 4
- 108020004707 nucleic acids Proteins 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000012472 biological sample Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003954 pattern orientation Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 229920002307 Dextran Polymers 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 229920002401 polyacrylamide Polymers 0.000 description 1
- -1 polypropylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
본 개시의 구현은 구조화 조명 시스템에 의해 캡처된 구조화 조명 이미지로부터 얻은 구조화 조명 파라미터의 추정치를 사용하여 시간, 공간 및/또는 온도의 특정 지점에 대한 구조화 조명 파라미터를 예측하는 것에 관한 것이다. 특정 구현은 구조화 조명 주파수, 위상, 배향 및/또는 변조 차수 파라미터를 예측하는 것에 관한 것이다.
Description
본 출원은 2018년 6월 29일자로 출원되고 발명의 명칭이 "PREDICTING STRUCTURED ILLUMINATION PARAMETERS"인 미국 가출원 제62/692,303호의 우선권을 주장한다.
구조화 조명 현미경법(SIM)은 공간적으로 구조화된(즉, 패턴화된) 광을 이용해 샘플을 이미지화하여 현미경의 측면 해상도를 2이상의 인수만큼 증가시키는 기술을 설명한다. 일부 경우에, 샘플의 이미징 동안, 샘플의 프린지 패턴의 3개의 이미지가 다양한 패턴 위상(예를 들어, 0°, 120° 및 240°)에서 획득되므로, 샘플 상의 각각의 위치가 광축을 중심으로 패턴 배향을 3개의 별개의 각도(예를 들어, 0°, 60° 및 120°)로 회전시킴으로써 절차가 반복되는 조명 강도의 범위에 노출된다. 캡처된 이미지들(예를 들어, 9개의 이미지들)은 확장된 공간 주파수 대역폭을 갖는 단일 이미지로 어셈블리될 수 있으며, 이는 종래의 현미경에 의해 캡처된 것보다 더 높은 해상도를 갖는 이미지를 생성하기 위해 실제 공간으로 재변환될 수 있다.
현재의 SIM 시스템의 일부 구현에서, 선형 편광된 광빔은 빔을 정현파 강도 변화와 함께 간섭 프린지 패턴으로서 이미징된 샘플 상에 결합되고 투영될 수 있는 2개 이상의 별개의 차수로 분할시키는 광 빔스플리터를 통해 보내진다. 회절격자는 고도의 코히어런스 및 안정적인 전파 각도를 갖는 빔을 생성할 수 있는 빔스플리터의 예이다. 이러한 2개의 빔이 결합될 때, 이들 사이의 간섭으로 인해 간섭 빔들 간에 각도를 포함한 요인들에 의해 간격이 결정되는 균일하고 규칙적으로 반복되는 프린지 패턴이 생성될 수 있다.
확장된 공간 주파수 대역폭을 갖는 단일 이미지로의 이미지의 캡처 및/또는 후속 어셈블리 또는 재구성 동안, 다음의 구조화 조명 파라미터들, 즉, 인접한 프린지 사이의 간격(즉, 프린지 패턴의 주파수), 구조화 조명 패턴의 위상 또는 각도, 및 조명된 샘플에 대한 프린지 패턴의 배향을 고려할 필요가 있을 수 있다. 기계적 불안정성 및 열 변화와 같은 요인들에 영향을 받지 않는 이상적인 이미징 시스템에서, 이러한 각각의 파라미터는 시간이 지나도 표류하거나 달리 변하지 않으며, 주어진 이미지 샘플과 관련된 정확한 SIM 주파수, 위상 및 방향 파라미터가 공지될 수 있다. 그러나, 여기 광경로의 기계적 불안정성 및/또는 이미지화된 샘플의 열 팽창/수축과 같은 요인으로 인해, 이들 파라미터는 시간이 지남에 따라 드리프트되거나 달리 변할 수 있다.
이와 같이, SIM 이미징 시스템은 시간에 따른 파라미터들의 분산을 설명하기 위해 구조화 조명 파라미터를 추정할 필요가 있을 수 있다. 많은 SIM 이미징 시스템이 실시간으로 SIM 이미지 처리를 수행하지 않기 때문에(예를 들어, SIM 이미징 시스템은 캡처된 이미지를 오프라인으로 처리하기 때문에), 그러한 SIM 시스템은 SIM 이미지를 처리하여 그 이미지에 대한 구조화 조명 파라미터를 추정하기 위해 상당한 양의 계산 시간을 소비할 수 있다.
본 개시의 구현은 구조적 조명 시스템에 의해 캡처된 구조적 조명 이미지로부터 획득된 구조화 조명 파라미터의 추정치를 사용하여 시간, 공간 및/또는 온도의 특정 지점에 대한 구조화 조명 파라미터를 예측하는 것에 관한 것이다.
일 예에서, 방법은: 샘플의 제 1 이미지를 캡처하기 위해 구조화 조명 시스템을 사용하는 단계; 적어도 캡처된 상기 제 1 이미지를 사용하여 제 1 구조화 조명 파라미터를 추정하기 위해 컴퓨팅 디바이스를 사용하는 단계; 샘플의 제 2 이미지를 캡처하기 위해 구조화 조명 시스템을 사용하는 단계; 적어도 캡처된 상기 제 2 이미지를 사용하여 제 2 구조화 조명 파라미터를 추정하기 위해 컴퓨팅 디바이스를 사용하는 단계; 및 적어도 상기 제 1 구조화 조명 파라미터 또는 상기 제 2 구조화 조명 파라미터를 사용하여, 제 3 이미지에 대응하는 제 3 구조화 조명 파라미터를 예측하기 위해 컴퓨터 장치를 사용하는 단계를 포함한다. 각각의 제 1, 제 2 및 제 3 구조화 조명 파라미터는 위상, 주파수, 방향 또는 변조 차수를 포함할 수 있다.
일부 구현들에서, 상기 제 1 이미지는 제 1 시간에 캡처되고, 상기 제 2 이미지는 상기 제 1 시간 후 제 2 시간에 캡처되며, 상기 제 3 이미지는 상기 제 1 시간과 상기 제 2 시간 사이의 제 3 시간에 캡처되고, 상기 제 3 구조화 조명 파라미터는 적어도 보간법을 사용하여 제 3 시간에 예측된다. 상기 보간법은 제 1 시간에서의 제 1 구조화 조명 파라미터로부터 제 2 시간에서의 제 2 구조화 조명으로의 변화율을 결정하기 위해 컴퓨팅 디바이스를 사용하는 단계; 및 적어도 상기 결정된 변화율을 사용하여, 제 3 시간에서의 제 3 구조화 조명 파라미터를 예측하기 위해 컴퓨팅 디바이스를 사용하는 단계를 포함할 수 있다.
일부 구현들에서, 방법은 적어도 제 3 이미지 및 제 3 구조화 조명 파라미터를 사용하여 고해상도 이미지를 구성하기 위해 컴퓨팅 디바이스를 사용하는 단계를 더 포함한다.
일부 구현들에서, 상기 제 1 이미지는 제 1 시간에 캡처되고, 상기 제 2 이미지는 상기 제 1 시간 이후에 제 2 시간에 캡처되며, 상기 제 3 이미지는 상기 제 1 시간 및 제 2 시간 전후의 제 3 시간에 캡처되고, 상기 제 3 구조화 조명 파라미터는 적어도 외삽법을 이용하여 제 3 시간에 예측된다.
일부 구현들에서, 방법은 상기 제 3 시간에 상기 제 3 이미지를 캡처하기 전에 구조화 조명 파라미터의 변화를 보상하기 위해 상기 구조화 조명 시스템의 하드웨어 구성요소를 조정하도록 적어도 상기 제 3 구조화 조명 파라미터를 사용하는 단계를 더 포함한다. 하드웨어 구성요소를 조정하는 단계는 구조화 조명 패턴의 위상 또는 배향을 조정하기 위한 회전 미러, 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 회절격자를 운반하는 병진 스테이지, 및 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 샘플 병진 스테이지 중 하나 이상을 조정하는 단계를 포함할 수 있다.
일부 구현들에서, 방법은 구조화 조명 시스템의 메모리에 제 1 구조화 조명 파라미터, 제 2 구조화 조명 파라미터 및 제 3 구조화 조명 파라미터를 저장하는 단계: 및 제 4 이미지용의 제 4 구조화 조명 파라미터에 대한 검색 공간을 감소시키기 위해 저장된 제 1 구조화 조명 파리미터, 저장된 제 2 구조화 조명 파라미터, 저장된 제 3 구조화 조명 파라미터, 및 상기 구조화 조명 시스템의 공지의 물리적 특성에 기초한 저장된 값 중 하나 이상을 사용하는 단계를 더 포함한다.
일부 구현들에서, 상기 제 3 이미지에 대응하는 상기 제 3 구조화 조명 파라미터를 예측하는 단계는 적어도 상기 제 1 구조화 조명 파라미터 및 상기 제 2 구조화 조명 파라미터에 최소 자승 피팅을 적용하는 단계를 포함한다. 일부 구현에서, 상기 제 3 이미지에 대응하는 상기 제 3 구조화 조명 파라미터를 예측하는 단계는 상기 제 2 구조 조명 파라미터를 사용하는 단계를 포함한다.
일부 구현들에서, 샘플의 제 1 이미지는 제 1 샘플 온도에서 캡처되고; 제 1 구조화 조명 파라미터는 상기 제 1 샘플 온도에서 추정되며; 샘플의 제 2 이미지는 제 2 샘플 온도에서 캡처되고; 제 2 구조화 조명 파라미터는 상기 제 2 샘플 온도에서 추정되며; 제 3 구조화 조명 파라미터는 제 3 샘플 온도에서 예측된다.
일부 구현들에서, 방법은 샘플의 제 1 이미지를 복수의 이미지 서브 섹션으로 분할하는 단계; 상기 복수의 이미지 서브 섹션 중 적어도 제 1 이미지 서브 섹션을 사용하여 제 4 구조화 조명 파라미터를 추정하기 위해 상기 컴퓨팅 디바이스를 사용하는 단계; 상기 복수의 이미지 서브 섹션 중 적어도 제 2 이미지 서브 섹션을 사용하여 제 5 구조화 조명 파라미터를 추정하기 위해 상기 컴퓨팅 디바이스를 사용하는 단계; 및 적어도 상기 제 4 구조화 조명 파라미터 또는 상기 제 5 구조화 조명 파라미터를 사용하여, 상기 복수의 이미지 서브 섹션의 제 3 이미지 서브 섹션에 대응하는 제 6 구조화 조명 파라미터를 예측하기 위해 컴퓨팅 디바이스를 사용하는 단계를 더 포함한다.
일부 구현들에서, 방법은 샘플의 제 1 이미지를 복수의 이미지 서브 섹션으로 분할하는 단계; 상기 복수의 이미지 서브 섹션 중 적어도 제 1 이미지 서브 섹션을 사용하여 제 4 구조화 조명 파라미터를 추정하기 위해 상기 컴퓨팅 디바이스를 사용하는 단계; 및 복수의 이미지 서브 섹션의 제 2 이미지 서브 섹션의 예측된 구조화 조명 파라미터로서 추정된 제 4 구조화 조명 파라미터를 이용하는 단계를 더 포함한다.
일 예에서, 비일시적 컴퓨터 판독 가능 매체는 프로세서에 의한 실행시, 상기 프로세서로 하여금: 샘플의 제 1 이미지를 캡처하기 위해 구조화 조명 시스템을 사용하는 단계; 적어도 캡처된 상기 제 1 이미지를 사용하여 제 1 구조화 조명 파라미터를 추정하는 단계; 샘플의 제 2 이미지를 캡처하기 위해 구조화 조명 시스템을 사용하는 단계; 적어도 캡처된 상기 제 2 이미지를 사용하여 제 2 구조화 조명 파라미터를 추정하는 단계; 및 적어도 상기 제 1 구조화 조명 파라미터 또는 제 2 구조화 조명 파라미터를 사용하여, 제 3 이미지에 대응하는 제 3 구조화 조명 파라미터를 예측하는 단계의 동작을 수행하게 하는 저장된 실행 가능한 명령어를 가질 수 있다.
일부 구현에서, 상기 제 1 이미지는 제 1 샘플 위치에서 캡처되고, 상기 제 2 이미지는 제 2 샘플 위치에서 캡처되며, 상기 제 3 이미지는 상기 제 1 샘플 위치 및 제 2 샘플 위치 사이의 제 3 샘플 위치에 캡처되고, 상기 제 3 구조화 조명 파라미터는 적어도 외삽법을 이용하여 제 3 샘플 위치에서 예측된다. 상기 보간법은 제 1 샘플 위치에서의 제 1 구조화 조명 파라미터로부터 제 2 샘플 위치에서의 제 2 구조화 조명 파라미터로의 변화율을 결정하는 단계; 및 적어도 상기 결정된 변화율을 사용하여, 제 3 샘플 위치에서의 제 3 구조화 조명 파라미터를 예측하는 단계를 포함할 수 있다.
일부 구현들에서, 상기 프로세서에 의한 실행시, 상기 명령어는 상기 프로세서로 하여금 적어도 상기 제 3 이미지 및 상기 제 3 구조화 조명 파라미터를 사용하여 고해상도 이미지를 구성하는 동작을 더 수행하게 한다.
일부 구현들에서, 제 3 샘플 위치는 상기 제 1 샘플 위치 및 상기 제 2 샘플 위치 이후에 있고, 상기 제 3 구조화 조명 파라미터는 상기 제 3 샘플 위치에서 적어도 외삽법을 사용하여 예측된다.
일부 구현들에서, 상기 프로세서에 의한 실행시, 상기 명령어는 상기 프로세서로 하여금 적어도 제 3 샘플 위치에서 이미지를 캡처하기 전에 구조화 조명 시스템의 하드웨어 구성요소가 구조화 조명 파라미터에서의 변화를 보상하도록 조정되게 하도록 적어도 제 3 구조화 조명 파라미터를 사용하는 동작을 더 수행하게 한다.
일부 구현들에서, 상기 프로세서에 의한 실행시, 상기 명령어는 상기 프로세서로 하여금: 구조화 조명 시스템의 메모리에 제 1 구조화 조명 파라미터, 제 2 구조화 조명 파라미터 및 제 3 구조화 조명 파라미터를 저장하는 단계; 및 제 4 이미지용의 제 4 구조화 조명 파라미터에 대한 검색 공간을 감소시키기 위해 저장된 제 1 구조화 조명 파리미터, 저장된 제 2 구조화 조명 파라미터, 저장된 제 3 구조화 조명 파라미터, 및 상기 구조화 조명 시스템의 공지의 물리적 특성에 기초한 저장된 값 중 하나 이상을 사용하는 단계의 동작을 더 수행하게 한다.
일 예에서, 구조화 조명 이미징 시스템은: 광을 방출하는 광이미터; 샘플면 상에 구조화 조명 패턴을 투영하기 위해 상기 광이미터에 의해 방출된 광을 분할하는 빔 스플리터; 프로세서; 및 상기 프로세서에 의한 실행시, 상기 프로세서로 하여금: 샘플의 제 1 이미지를 캡처하는 단계, 적어도 캡처된 상기 제 1 이미지를 사용하여 제 1 구조화 조명 파라미터를 추정하는 단계, 샘플의 제 2 이미지를 캡처하는 단계, 적어도 캡처된 상기 제 2 이미지를 사용하여 제 2 구조화 조명 파라미터를 추정하는 단계 및 적어도 상기 제 1 구조화 조명 파라미터 또는 상기 제 2 구조화 조명 파라미터를 사용하여, 제 3 이미지에 대응하는 제 3 구조화 조명 파라미터를 예측하는 단계의 동작을 수행하게 하는 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독 가능 매체를 포함한다.
일 예에서, 방법은 샘플의 제 1 복수의 이미지를 캡처하기 위해 구조화 조명 시스템을 사용하는 단계; 적어도 캡처된 상기 제 1 복수의 이미지를 사용하여 제 1 구조화 조명 파라미터를 추정하기 위해 컴퓨팅 디바이스를 사용하는 단계; 샘플의 제 2 복수의 이미지를 캡처하기 위해 구조화 조명 시스템을 사용하는 단계; 적어도 캡처된 상기 제 2 복수의 이미지를 사용하여 제 2 구조 조명 파라미터를 추정하기 위해 컴퓨팅 디바이스를 사용하는 단계; 및 적어도 상기 제 1 구조화 조명 파라미터 또는 상기 제 2 구조화 조명 파라미터를 사용하여, 하나 이상의 이미지에 대응하는 제 3 구조화 조명 파라미터를 예측하기 위해 컴퓨팅 디바이스를 사용하는 단계를 포함한다.
개시된 기술의 다른 특징 및 태양은 첨부도면과 관련하여 하기의 상세한 설명으로부터 명백해질 것이며, 이는 개시된 기술의 본 명세서에 기술된 일부 구현에 따른 특징을 예로서 도시한 것이다. 요약은 청구범위 및 등가물에 의해 정의되는 본원에 기재된 임의의 발명의 범위를 제한하려는 것이 아니다.
(이러한 개념이 서로 일치하지 않는 경우) 상술한 개념의 모든 조합은 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려되는 것을 이해해야 한다. 특히, 본 개시의 말미에 나타나는 청구된 주제의 모든 조합은 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려된다.
본 발명의 내용 중에 포함되어 있다.
하나 이상의 구현에 따라, 하기의 도면을 참조로 본 발명을 상세히 설명한다. 도면은 단지 예시용으로 제공되며 단지 예시적인 구현을 도시한 것이다. 더욱이, 예시의 명확성과 용이함을 위해, 도면의 요소는 반드시 축척대로 그려진 것은 아니라는 점에 유의해야 한다.
본 명세서에 포함된 도면 중 일부는 상이한 시야각으로부터 개시된 기술의 다양한 구현을 도시한 것이다. 첨부된 설명문은 "상단", "하단" 또는 "측면" 보기와 같은 보기를 언급할 수 있지만, 이러한 참조는 단지 설명을 위한 것이며, 개시된 기술이 명시적으로 달리 언급되지 않는 한 특정 공간 방향으로 구현되거나 사용될 것을 암시하거나 요구하지는 않는다.
도 1a는 일 예에서 샘플 상에 1D 구조화 조명 패턴을 투영하는 SIM 이미징 시스템에서 시간이 지남에 따라 발생할 수 있는 바람직하지 않은 주파수 변화를 도시한 것이다.
도 1b는 일 예에서 샘플 상에 1D 구조화 조명 패턴을 투영하는 SIM 이미징 시스템에서 시간이 지남에 따라 발생할 수 있는 바람직하지 않은 위상 변화를 도시한 것이다.
도 1c는 일 예에서 샘플 상에 1D 구조화 조명 패턴을 투영하는 SIM 이미징 시스템에서 시간이 지남에 따라 발생할 수 있는 배향의 바람직하지 않은 변화를 도시한 것이다.
도 2는 일 예에서 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 SIM 이미징 시스템을 도시한 것이다.
도 3은 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 2-암 SIM 이미징 시스템의 예시적인 광학 구성을 도시한 광학 다이어그램이다.
도 4는 일 예에서 고해상도 이미지를 생성하기 위해 구조화 광을 사용하여 한 번의 이미징 사이클 동안 도 3의 SIM 이미징 시스템의 수직 격자 및 수평 격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다.
도 5a는 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 5b는 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 6은 일 예에서 구조화 조명 이미징 사이클을 위한 이미지 캡처 동안 도 5a 및 도 5b의 SIM 이미징 시스템의 제 1 회절격자 및 제 2 회절격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다..
도 7은 일 예에서 공간(X) 및 시간(T)상 변하는 위상 파라미터의 추정치를 도시한 것이다.
도 8은 일 예에서 x의 함수로서 파라미터의 추정 변동의 경향을 도시한 것이다.
도 9는 본 명세서에 기술된 일부 구현들에 따라 시점 전후에 캡처된 이미지들로부터 획득된 구조화 조명 파라미터들의 추정치를 사용하여 특정 시점에 대한 구조화 조명 파라미터를 예측하기 위한 예시적인 보간법을 도시한 동작 흐름도이다.
도 10은 본 명세서에 기술된 일부 구현들에 따라 시점 이전에 캡처된 2이상의 이미지들로부터 획득된 구조화 조명 파라미터들의 추정치를 사용하여 특정 시점에 대한 구조화 조명 파라미터를 예측하기 위한 예시적인 외삽법을 도시하는 동작 흐름도이다.
도 11은 본 명세서에 기술된 일부 구현에 따라 시간에 따른 구조화 조명 파라미터의 바람직하지 않은 변화를 보상하기 위해 고해상도 이미지 재구성 동안 예측된 구조화 조명 파라미터를 사용하는 예시적인 방법을 도시하는 동작 흐름도이다.
도 12는 본 명세서에 기술된 일부 구현들에 따라 시간에 따른 구조화 조명 파라미터 변화를 보상하기 위해 SIM 이미징 시스템 하드웨어 구성요소들의 예측된 구조화 조명 파라미터 조정을 사용하는 예시적인 방법을 도시하는 동작 흐름도이다.
도 13은 본 개시의 다양한 구현과 관련하여 사용될 수 있는 컴퓨팅 컴포넌트의 예이다.
도면은 완전한 것이 아니며, 본 발명을 개시된 정확한 형태로 제한하지 않는다.
본 명세서에 포함된 도면 중 일부는 상이한 시야각으로부터 개시된 기술의 다양한 구현을 도시한 것이다. 첨부된 설명문은 "상단", "하단" 또는 "측면" 보기와 같은 보기를 언급할 수 있지만, 이러한 참조는 단지 설명을 위한 것이며, 개시된 기술이 명시적으로 달리 언급되지 않는 한 특정 공간 방향으로 구현되거나 사용될 것을 암시하거나 요구하지는 않는다.
도 1a는 일 예에서 샘플 상에 1D 구조화 조명 패턴을 투영하는 SIM 이미징 시스템에서 시간이 지남에 따라 발생할 수 있는 바람직하지 않은 주파수 변화를 도시한 것이다.
도 1b는 일 예에서 샘플 상에 1D 구조화 조명 패턴을 투영하는 SIM 이미징 시스템에서 시간이 지남에 따라 발생할 수 있는 바람직하지 않은 위상 변화를 도시한 것이다.
도 1c는 일 예에서 샘플 상에 1D 구조화 조명 패턴을 투영하는 SIM 이미징 시스템에서 시간이 지남에 따라 발생할 수 있는 배향의 바람직하지 않은 변화를 도시한 것이다.
도 2는 일 예에서 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 SIM 이미징 시스템을 도시한 것이다.
도 3은 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 2-암 SIM 이미징 시스템의 예시적인 광학 구성을 도시한 광학 다이어그램이다.
도 4는 일 예에서 고해상도 이미지를 생성하기 위해 구조화 광을 사용하여 한 번의 이미징 사이클 동안 도 3의 SIM 이미징 시스템의 수직 격자 및 수평 격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다.
도 5a는 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 5b는 본 명세서에 기술된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 이중 광학 격자 슬라이드 SIM 이미징 시스템의 예시적인 광학 구성을 도시하는 개략도이다.
도 6은 일 예에서 구조화 조명 이미징 사이클을 위한 이미지 캡처 동안 도 5a 및 도 5b의 SIM 이미징 시스템의 제 1 회절격자 및 제 2 회절격자에 의해 샘플면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다..
도 7은 일 예에서 공간(X) 및 시간(T)상 변하는 위상 파라미터의 추정치를 도시한 것이다.
도 8은 일 예에서 x의 함수로서 파라미터의 추정 변동의 경향을 도시한 것이다.
도 9는 본 명세서에 기술된 일부 구현들에 따라 시점 전후에 캡처된 이미지들로부터 획득된 구조화 조명 파라미터들의 추정치를 사용하여 특정 시점에 대한 구조화 조명 파라미터를 예측하기 위한 예시적인 보간법을 도시한 동작 흐름도이다.
도 10은 본 명세서에 기술된 일부 구현들에 따라 시점 이전에 캡처된 2이상의 이미지들로부터 획득된 구조화 조명 파라미터들의 추정치를 사용하여 특정 시점에 대한 구조화 조명 파라미터를 예측하기 위한 예시적인 외삽법을 도시하는 동작 흐름도이다.
도 11은 본 명세서에 기술된 일부 구현에 따라 시간에 따른 구조화 조명 파라미터의 바람직하지 않은 변화를 보상하기 위해 고해상도 이미지 재구성 동안 예측된 구조화 조명 파라미터를 사용하는 예시적인 방법을 도시하는 동작 흐름도이다.
도 12는 본 명세서에 기술된 일부 구현들에 따라 시간에 따른 구조화 조명 파라미터 변화를 보상하기 위해 SIM 이미징 시스템 하드웨어 구성요소들의 예측된 구조화 조명 파라미터 조정을 사용하는 예시적인 방법을 도시하는 동작 흐름도이다.
도 13은 본 개시의 다양한 구현과 관련하여 사용될 수 있는 컴퓨팅 컴포넌트의 예이다.
도면은 완전한 것이 아니며, 본 발명을 개시된 정확한 형태로 제한하지 않는다.
구조화 조명 파라미터를 지칭하기 위해 본 명세서에서 사용되는 바와 같이, "주파수"라는 용어는 구조화 조명 패턴의 프린지 또는 라인들 사이의 간격(예를 들어, 프린지 또는 그리드 패턴)을 가리키는 것으로 의도된다. 예를 들어, 프린지들 사이의 간격이 더 큰 패턴은 프린지들 사이의 간격이 더 작은 패턴보다 주파수가 더 낮을 것이다.
구조화 조명 파라미터를 지칭하기 위해 본 명세서에서 사용되는 바와 같이, "위상"이라는 용어는 샘플을 조명하는 구조화 조명 패턴의 위상을 의미하는 것으로 의도된다. 예를 들어, 조명된 샘플에 대해 구조화 조명 패턴을 병진이동시킴으로써 위상이 변경될 수 있다.
구조화 조명 파라미터를 지칭하기 위해 본 명세서에서 사용되는 바와 같이, "배향"이라는 용어는 구조화 조명 패턴(예를 들어, 프린지 또는 그리드 패턴)과 상기 패턴에 의해 조명된 샘플 사이의 상대적인 배향을 지칭하도록 의도된다. 예를 들어, 조명된 샘플에 대해 구조화 조명 패턴을 회전시킴으로써 배향이 변경될 수 있다.
구조화 조명 파라미터를 지칭하기 위해 본 명세서에서 사용되는 바와 같이, "예측한다" 또는 "예측하는"이라는 용어는 파라미터를 직접 측정하거나 상기 파리미터에 해당하는 캡처된 이미지로부터 파라미터를 추정하지 않고 파라미터의 값(들)을 계산하는 것을 의미하는 것으로 의도된다. 예를 들어, 구조화 조명 패턴의 위상은 시간 t2 및 t3에서 (예를 들어, 캡처된 위상 이미지로부터) 직접 측정되거나 추정된 위상 값들 간의 보간에 의해 시간 t1에서 예측될 수 있으며, 여기서 t2 < t1 < t3이다. 다른 예로서, 구조화 조명 패턴의 주파수는 시간 t2 및 t3에서 (예를 들어, 캡처된 위상 이미지로부터) 직접 측정되거나 추정된 주파수 값들로부터 외삽에 의해 시간 t1에서 예측될 수 있고, 여기서 t2 < t3 < t1이다.
회절격자에 의해 회절된 광을 지칭하기 위해 본 명세서에서 사용되는 바와 같이, "차" 또는 "차수" 용어는 보강간섭을 위한 회절격자의 인접한 슬릿 또는 구조물로부터의 광의 경로길이 차를 나타내는 정수 파장의 수를 의미하는 것으로 의도된다. 반복되는 일련의 격자 구조 또는 다른 빔 분할 구조상에 입사 광빔의 상호 작용은 상기 광빔의 일부를 원래 빔으로부터 예측 가능한 각도 방향으로 방향 전환하거나 회절시킬 수 있다. "0차" 또는 "최대 0차"라는 용어는 회절이 전혀 없는 회절격자에 의해 방출되는 중앙의 밝은 프린지를 의미한다. "1차"라는 용어는 경로길이 차가 ±1 파장인 0차 프린지의 어느 한쪽으로 회절된 2개의 밝은 프린지를 의미하는 것으로 되어 있다. 더 높은 차수는 원래 빔에서 더 큰 각도로 회절된다. 격자의 특성은 얼마나 많은 빔 강도가 다양한 차수로 향하는 지를 제어하기 위해 조작될 수 있다. 예를 들어, 위상 격자는 ±1 차수의 전송을 최대화하고 0차 빔의 투과를 최소화하도록 제조될 수 있다.
본 명세서에서 샘플을 지칭하기 위해 사용되는 바와 같이, "피처"라는 용어는 상대 위치에 따라 다른 점 또는 영역과 구별될 수 있는 패턴의 점 또는 영역을 의미하는 것으로 의도된다. 개별 피처는 특정 유형의 하나 이상의 분자를 포함할 수 있다. 예를 들어, 피처는 특정 서열을 갖는 단일 표적 핵산 분자를 포함할 수 있거나, 피처는 동일한 서열(및/또는 이의 상보적 서열)을 갖는 몇몇 핵산 분자를 포함할 수 있다.
본원에 사용된 바와 같이, "xy 평면"이라는 용어는 직교 좌표계에서 직선 축 x 및 y에 의해 정의된 2차원 영역을 의미하는 것으로 의도된다. 감지기 및 상기 감지기에 의해 관찰된 물체와 관련하여 사용될 때, 영역은 빔 축에 직교하는 것으로, 또는 감지기와 피감지 물체 사이의 관찰 방향으로 더 특정될 수 있다.
본원에서 사용되는 바와 같이, "z 좌표"라는 용어는 xy 평면에 직교하는 축을 따라 점, 선 또는 영역의 위치를 지정하는 정보를 의미하는 것으로 의도된다. 특정 구현들에서, z축은 감지기에 의해 관찰되는 물체의 영역에 직교한다. 예를 들어, 광학 시스템에 대한 초점의 방향은 z축을 따라 지정될 수 있다.
본 명세서에서 사용되는 바와 같이, "광학적으로 결합된"이라는 용어는 하나의 요소가 다른 요소에 직접 또는 간접적으로 광을 부여하도록 구성되는 것을 의미하는 것으로 되어 있다.
상술한 바와 같이, SIM 이미지 처리를 위한 파라미터 추정은 시간에 따른 구조화 조명 파라미터의 바람직하지 않은 변화를 보정하기 위해 필요할 수 있다. 예를 들어, 도 1a 내지 1c는 규칙적으로 패턴화된 샘플 상에 1차원 구조화 조명 패턴을 투영하는 SIM 이미징 시스템에서 시건이 지남에 따라 발생할 수 있는 주파수(도 1a), 위상(도 1b) 및 배향(도 1c)의 바람직하지 않은 변화를 도시한 것이다. 특히, 도 1a는 주파수 변이 전후에 프린지(60)를 갖는 1차원 구조화 조명 패턴에 의해 조명되는 피처(51)를 갖는 샘플(50)을 도시한 것이다. 임의의 주파수 변이 전에, 인접한 프린지(60)는 초기 주파수 f에 대응하는 P의 피치 또는 중심간 간격을 갖는다. 시간이 걸쳐, 시스템의 온도 변화에 따라, 피치(P)가 증가 또는 감소할 수 있다. 예를 들어, 열팽창은 피치(P)를 P + ΔP1로 증가시켜 이에 따라 주파수(f)를 f - Δf1로 감소시킬 수 있다. 반대로, 열수축은 피치(P)를 P - ΔP1로 감소시켜 이에 따라 주파수(f)를 f + Δf2로 증가시킬 수 있다
도 1b는 위상 변화 전후에 프린지(60)를 갖는 1차원 구조화 조명 패턴에 의해 조명된 샘플(50)을 도시한 것이다. 도시된 바와 같이, 위상 드리프트 이전에, 제 1 위상 상태(Φ)는 샘플(50)의 피처(51)의 제 2 열마다 완전히 조명되는 프린지에 대응할 수 있다. 시간이 지남에 따라, 샘플(50)에 대한 프린지(60)의 위치는 모든 위상 이미지가 ΔΦ만큼 오프셋되도록 이동될 수 있다. 예를 들어, SIM 이미징 시스템(예를 들어, 여기 빔경로)에서의 기계적 진동, 그레이팅 또는 샘플 스테이지에 의해 사용되는 병진 스테이지에서의 부정확성, 열 변화 및/또는 기타 요인들이 위상에서 바람직하지 않은 드리프트를 유발할 수 있다. 위상이 ΔΦ만큼 드리프트한 후 제 1 위상 상태는 Φ + ΔΦ로 바뀌고, 프린지가 더 이상 피처의 매 제 2 열의 중심에 집중되지 않는다.
도 1c는 배향 변화 전후에 프린지(60)를 갖는 1차원 구조화 조명 패턴에 의해 조명된 샘플(50)을 도시한 것이다. 도시된 바와 같이, 배향의 변화 이전에, 샘플(50)에 대한 프린지의 배향은 완전히 수직이다. 시간이 지남에 따라, 여기 빔경로의 변화, 샘플의 이동, 열 변화 및/또는 기타 요인들과 같은 요인들로 인해 배향이 바뀔 수 있다. 배향이 각도 Δθ만큼 회전한 후에, 프린지는 더 이상 샘플에 대해 완전히 수직이 아니다.
상술한 바와 같이 구조화 조명 파라미터의 변화를 정확하게 설명하기 위해, SIM 이미징 프로세스 동안 파라미터 추정은 일련의 샘플링된 이미지로부터 이미지의 아티팩트가 없고 정확한 재구성을 보장하는 것을 돕는다. 그러나, 이러한 프로세스는 계산 비용이 많이 들며 이미지 획득 후에 빈번하게 수행된다. 이미지의 실시간 처리 및 재구성과, 이에 따라 주파수, 위상, 배향 및 변조 순서와 같은 파라미터의 실시간 추정을 포함하는 시간이 중요한 SIM 이미징 시스템의 경우, 이러한 계산 요건으로 인해 데이터 처리량이 손실될 수 있다(예를 들어, 단위 시간당 더 적은 데이터가 처리될 수 있다). 이러한 시스템에서, 샘플이 이미징되는 속도는 샘플화된 이미지로부터 구조화 조명 파라미터가 직접 추정될 수 있는 속도를 초과할 수 있다. 따라서, 복잡도가 낮고 처리시간이 짧은 파라미터 추정치를 생성하는 방법이 필요하다.
이를 위해, 본 명세서에 개시된 기술의 구현은 구조화 조명 시스템에 의해 캡처된 이미지로부터 획득된 구조화 조명 파라미터의 추정치를 사용하여 시간, 공간 및/또는 온도의 특정 지점에 대한 구조화 조명 파라미터를 예측하는 것에 관한 것이다. 특정 구현은 구조화 조명 주파수, 위상, 배향 및/또는 변조 차수 파라미터를 예측하는 것에 관한 것이다.
일부 구현들에 따르면, 구조화 조명 파라미터는 이미지 캡처들로부터 구조화 조명 파라미터의 추정치를 보간함으로써 주어진 시간, 공간 및/또는 온도에 대해 예측될 수 있다. 예를 들어, 제 1 샘플링된 이미지로부터 제 1 주파수가 추정될 수 있고, 제 2 샘플링된 이미지로부터 제 2 주파수가 추정될 수 있으며, 캡처된 제 1 이미지와 캡처된 제 2 이미지 사이의 시점에 대응하는 주파수(예를 들어, 제 1 이미지와 제 2 이미지 사이에서 촬영된 이미지에 대한 주파수)는 적어도 제 1 캡처된 이미지와 제 2 캡처된 이미지 사이의 주파수의 결정된 변화율을 사용하여 보간함으로써 예측될 수 있다.
일부 구현들에 따르면, 2개의 이미지 캡처로부터 획득된 구조화 조명 파라미터의 추정치를 사용하여 외삽법에 의해 시간, 공간 및/또는 온도에서 주어진 지점에 대해 구조화 조명 파라미터가 예측될 수 있다. 예를 들어, 제 1 방향은 제 1 샘플링된 이미지로부터 추정될 수 있고, 제 2 방향은 제 2 샘플링된 이미지로부터 추정될 수 있으며, 캡처된 제 1 및 제 2 이미지 이후의 시점에 대응하는 배향(예를 들어, 제 1 및 제 2 이미지 이후에 촬영된 제 3 이미지에 대한 배향)은 적어도 캡처된 제 1 이미지로부터 캡처된 제 2 이미지로의 배향의 결정된 변화율을 사용하여 외삽법에 의해 예측될 수 있다. 제 2 예로서, 제 1 배향은 제 1 샘플링된 이미지로부터 추정될 수 있고, 제 2 배향은 제 2 샘플링된 이미지로부터 추정될 수 있으며, 캡처된 제 1 및 제 2 이미지 이후의 시점에 대응하는 배향(예를 들어, 제 1 및 제 2 이미지 이후에 촬영된 제 3 이미지에 대응하는 배향)은 제 2 캡처된 이미지로부터의 값을 유지함으로써 예측될 수 있다.
구현에서, 추정 및 예측된 구조화 조명 파라미터는 예측되는 다른 구조화 조명 파라미터에 대한 검색 공간을 좁히기 위해 사용될 수 있다. 예를 들어, 시간, 공간 및/또는 온도의 제 1 지점에 대한 구조화 조명 파라미터의 추정값이 주어지면, 상기 시간, 공간 및/또는 온도의 제 1 지점에 근사한 시간, 공간 및/또는 온도의 제 2 지점에 대한 구조화 조명 파라미터의 값이 상기 시간, 공간 및/또는 온도의 제 1 지점에서의 예측된 또는 추정된 값을 고려하여 예측될 수 있다.
구현에서, 추정 및 예측된 구조화 조명 파라미터는 시스템에 의해 나중에 사용하기 위해 구조화 조명 시스템의 메모리에 저장될 수 있다. 예를 들어, 예측 및 추정 파라미터는 룩업 테이블과 같은 히스토리 파일에 저장될 수 있다. 메모리에 저장된 예측된 파라미터는 추정된 파라미터로부터 결정될 수 있거나, 구조화 조명 시스템의 물리적 특성에 기초하여 설정될 수 있다. 예를 들어, 구조화 조명 시스템의 공칭 그리드 간격이 저장될 수 있다. 그 후, 저장된 파라미터는 교정된 이미지 재구성, 구조화 조명 파라미터의 변화를 보정하기 위해 하드웨어 구성요소에 피드백을 제공, 및 추가의 구조화 조명 파라미터를 예측할 때 검색 공간을 협소화와 같은 동작을 수행하도록 참조될 수 있다.
구조화 조명 파라미터를 예측하기 위해 본 명세서에 개시된 기술의 다양한 구현을 설명하기 전에, 이들 기술이 구현될 수 있는 예시적인 SIM 이미징 시스템을 설명하는 것이 유용하다. 도 2-6은 3개의 그러한 SIM 이미징 시스템의 예를 도시한 것이다. 이들 시스템은 1D 조명 패턴을 생성하는 SIM 이미징 시스템과 관련하여 주로 기술되지만, 본 명세서에 개시된 기술은 더 높은 차원의 조명 패턴(예를 들어, 2차원 그리드 패턴)을 생성하는 SIM 이미징 시스템으로 구현될 수 있음에 유의해야 한다.
도 2는 본 명세서에 설명된 일부 구현들에 따라 구조화 조명 파라미터 예측을 구현할 수 있는 SIM 이미징 시스템(100)을 도시한 것이다. 예를 들어, 시스템(100)은 생물학적 샘플을 이미지화하기 위해 공간적으로 구조화된 여기광을 이용하는 구조화 조명 형광 현미경 사용 시스템일 수 있다.
도 2의 예에서, 광이미터(150)는 시준 렌즈(151)에 의해 시준된 광선을 출력하도록 구성된다. 시준된 광은 광 구조화 광학 어셈블리(155)에 의해 구조화되고(패턴화되고) 다이크로익 미러(160)에 의해 대물렌즈(142)를 거쳐 이동 스테이지(170) 상에 위치된 샘플 용기(110)의 샘플에 지향된다. 형광 샘플의 경우, 샘플은 구조화된 여기광에 응답하여 형광을 발하고, 결과적인 광이 대물렌즈(142)에 의해 수집되어 카메라 시스템(140)의 이미지 센서로 지향되어 형광을 감지한다.
광 구조화 광학 어셈블리(155)는 하나 이상의 광학 회절격자 또는 다른 빔 스플리팅 소자(예를 들어, 빔 스플리터 큐브 또는 플레이트)를 포함하여 샘플 용기(110)의 샘플 상에 투영되는 광의 패턴(예를 들어, 전형적으로 정현파의 프린지)을 생성한다. 회절격자는 1차원 또는 2차원 투과형 또는 반사형 격자일 수 있다. 회절격자는 정현파 진폭 격자 또는 정현파 위상 격자일 수 있다.
일부 구현에서, 회절격자(들)는 구조화 조명 패턴의 배향을 변경하기 위해 회전 스테이지를 이용하지 않을 수 있다. 다른 구현들에서, 회절격자(들)는 회전 스테이지 상에 장착될 수 있다. 일부 구현들에서, 회절격자들은 이미징 시스템의 동작 동안 고정될 수 있다(즉, 회전 또는 선형 운동이 필요치 않을 수 있다). 예를 들어, 아래에 추가로 설명되는 특정 구현에서, 회절격자는 서로 직교하게 배향된 2개의 고정된 1차원 투과형 회절격자(예를 들어, 수평 회절격자 및 수직 회절격자)를 포함할 수 있다.
도 2의 예에 도시된 바와 같이, 광 구조화 광학 어셈블리(155)는 0차를 포함하여 다른 모든 차수를 차단 또는 최소화하는 반면 회절된 광빔의 제 1 차수(예를 들어, m = ±1 차수)를 출력한다. 그러나, 대안적인 구현에서, 광의 추가 차수가 샘플에 투영될 수 있다.
각각의 이미징 사이클 동안, 이미징 시스템(100)은 프린지 패턴이 변조방향으로 측방향으로 (예를 들어, xy 평면에서 프린지에 수직으로) 변위된 다양한 위상에서 복수의 이미지를 획득하기 위해 광 구조화 광학 어셈블리(155)를 이용하며, 이 절차는 광축에 대하여(즉, 샘플의 xy 평면에 대해) 패턴 배향을 회전시킴으로써 1회 이상 반복된다. 그 후, 캡처된 이미지는 더 높은 해상도 이미지(예를 들어, 개별 이미지의 측면 공간 해상도의 약 2배를 갖는 이미지)를 생성하도록 계산상 재구성될 수 있다.
시스템(100)에서, 광이미터(150)는 비간섭성 광이미터일 수 있거나(예를 들어, 하나 이상의 여기 다이오드에 의해 출력된 광빔을 방출할 수 있거나), 하나 이상의 레이저 또는 레이저 다이오드에 의해 출력된 광의 이미터와 같은 간섭성 광이미터일 수 있다. 시스템(100)의 예에 도시된 바와 같이, 광이미터(150)는 피출력 광빔을 가이드하기 위한 광섬유(152)를 포함한다. 그러나, 광이미터(150)의 다른 구성도 사용될 수 있다. 멀티 채널 이미징 시스템(예를 들어, 다중 파장의 광을 이용하는 멀티 채널 형광 현미경)에서 구조화 조명을 이용하는 구현에서, 광섬유(152)는 복수의 상이한 광원(미도시)에 광학적으로 결합될 수 있으며, 각각의 광원은 다른 파장의 광을 방출한다. 시스템(100)이 하나의 광이미터(150)를 갖는 것으로 도시되어 있지만, 일부 구현에서 여러 광이미터들(150)이 포함될 수 있다. 예를 들어, 다수의 암을 이용하는 구조화 조명 이미징 시스템의 경우 다수의 광이미터가 포함될 수 있으며, 하기에 더 언급된다.
일부 구현들에서, 시스템(100)은 구조화된 빔 형상 및 경로를 조정하기 위해 z-축을 따라 관절식으로 되는 렌즈 소자를 포함할 수 있는 튜브렌즈(156)를 포함할 수 있다. 예를 들어, 튜브렌즈의 구성요소는 용기(110) 내의 샘플의 샘플 두께 범위(예를 들어, 상이한 커버 유리 두께)를 설명하기 위해 관절식일 수 있다.
시스템(100)의 예에서, 유체 전달 모듈 또는 장치(190)는 시약(예를 들어, 형광 표지된 뉴클레오타이드, 버퍼, 효소, 절단 시약 등)의 유량을 샘플 용기(110) 및 폐기물 밸브로(및 통해) 보낼 수 있다. 샘플 용기(110)는 샘플이 제공되는 하나 이상의 기판을 포함할 수 있다. 예를 들어, 매우 많은 상이한 핵산 서열을 분석하기 위한 시스템의 경우, 샘플 용기(110)는 시퀀싱될 핵산이 결합, 부착 또는 관련되는 하나 이상의 기판을 포함할 수 있다. 기판은 핵산이 부착될 수 있는 임의의 불활성 기판 또는 매트릭스, 예를 들어 유리 표면, 플라스틱 표면, 라텍스, 덱스 트란, 폴리스티렌 표면, 폴리프로필렌 표면, 폴리아크릴아미드 겔, 금 표면 및 실리콘 웨이퍼를 포함할 수 있다. 일부 응용에서, 기판은 샘플 용기(110)를 가로 질러 매트릭스 또는 어레이로 형성된 복수의 위치에서 채널 또는 다른 영역 내에 있다. 시스템(100)은 또한 샘플 용기(110) 내의 유체의 온도 조건을 선택적으로 제어할 수 있는 온도 조절기(130) 및 가열기/냉각기(135)를 선택적으로 포함할 수 있다.
특정 구현들에서, 샘플 용기(110)는 반투명 커버 플레이트, 기판, 및 그 사이에 함유된 액체를 포함하는 패턴화된 플로우 셀로서 구현될 수 있고, 생물학적 샘플은 반투명 커버 플레이트의 내부면 또는 기판의 내부면에 위치될 수 있다. 플로우 셀은 기판에 정의된 어레이(예를 들어, 육각형 어레이, 직사각형 어레이 등)로 패터닝된 매우 많은 (예를 들어, 수천, 수백만 또는 수십억)의 웰 또는 영역을 포함할 수 있다. 각 영역은 예를 들어 합성에 의한 시퀀싱을 사용하여 시퀀싱될 수 있는 DNA, RNA 또는 다른 게놈 물질과 같은 생물학적 샘플의 클러스터(예를 들어, 모노클론 클러스터)를 형성할 수 있다. 플로우 셀은 다수의 이격된 레인(예를 들어, 8개의 레인)으로 더 분할될 수 있으며, 각 레인은 육각형 클러스터 어레이를 포함한다.
샘플 용기(110)는 대물렌즈(142)에 대한 상기 샘플 용기(110)의 이동 및 정렬을 제공하기 위해 샘플 스테이지(170)에 장착될 수 있다. 샘플 스테이지는 3차원 중 어느 하나의 차원으로 이동할 수 있게 하는 하나 이상의 액추에이터를 가질 수 있다. 예를 들어, 직교 좌표계의 관점에서, 스테이지가 대물렌즈에 대해 X, Y 및 Z 방향으로 이동하도록 액추에이터가 제공될 수 있다. 이는 샘플 용기(110)상의 하나 이상의 샘플 위치가 대물렌즈(142)와 광학적으로 정렬되도록 위치될 수 있게 한다. 대물렌즈(142)에 대한 샘플 스테이지(170)의 이동은 샘플 스테이지 자체, 대물렌즈, 이미징 시스템의 일부 다른 구성요소 또는 상술한 바의 임의의 조합을 이동시킴으로써 달성될 수 있다. 추가 구현은 또한 전체 이미징 시스템을 정지 샘플 위로 이동시키는 것을 포함할 수 있다. 대안으로, 샘플 용기(110)는 이미징 동안 고정될 수 있다.
일부 구현들에서, 초점(z-축) 구성요소(175)는 (전형적으로 z축 또는 z방향으로 지칭되는) 초점방향에서의 샘플 용기(110)에 대한 광학적 구성요소들의 위치를 제어하도록 포함될 수 있다. 초점 구성요소(175)는 이미징 시행을 위한 적절한 포커싱을 제공하기 위해 광학 구성소자(예를 들어, 대물렌즈(142))에 대해 샘플 스테이지(170)상의 샘플 용기(110)를 이동시키기 위한 광학 스테이지 또는 샘플 스테이지, 또는 둘 모두에 물리적으로 결합된 하나 이상의 액츄에이터를 포함할 수 있다. 예를 들어, 액츄에이터는 가령 스테이지에 직간접적으로 또는 스테이지와의 함께 기계적, 자기적, 유체적 또는 기타 부착이나 접촉과 같이 각 스테이지에 물리적으로 결합될 수 있다. 하나 이상의 액츄에이터들은 동일면에 동일 스테이지를 유지하면서 (가령, 광축에 직각인 수위 또는 수평 높이를 유지하면서) z방향으로 스테이지를 이동시키도록 구성될 수 있다. 하나 이상의 액추에이터는 또한 스테이지를 기울이도록 구성될 수 있다. 이는 예를 들어 샘플 용기(110)가 표면의 임의의 경사를 고려하기 위해 동적으로 레벨링될 수 있도록 수행될 수 있다.
이미징되는 샘플 위치에서 테스트 샘플로부터 나오는 구조화된 광은 다이크로익 미러(160)를 통해 카메라 시스템(140)의 하나 이상의 감지기로 지향될 수 있다. 일부 구현에서, 하나 이상의 방출 필터를 갖는 필터 스위칭 어셈블리(165)가 포함될 수 있고, 상기 하나 이상의 방출 필터는 특정 방출 파장을 통과시키고 다른 방출 파장을 차단(또는 반사)하기 위해 사용될 수 있다. 예를 들어, 하나 이상의 방출 필터는 이미징 시스템의 상이한 채널 사이를 전환하는데 사용될 수 있다. 특정 구현에서, 방출 필터는 상이한 파장의 방출 광을 카메라 시스템(140)의 상이한 이미지 센서로 지향시키는 다이크로익 미러로서 구현될 수 있다.
카메라 시스템(140)은 샘플 용기(110)의 이미징(예를 들어, 시퀀싱)을 모니터링 및 추적하기 위한 하나 이상의 이미지 센서를 포함할 수 있다. 카메라 시스템(140)은 예를 들어, CCD(charge-coupled device) 이미지 센서 카메라로서 구현될 수 있으나, (가령, 능동 픽셀 센서와 같은) 다른 이미지 센서 기술이 사용될 수 있다.
카메라 시스템(140)으로부터의 출력 데이터(예를 들어, 이미지)는 아래에 추가로 설명되는 바와 같이 각각 이미징 사이클 동안 캡처된 이미지를 재구성하여 더 높은 공간 해상도를 갖는 이미지를 생성할 수 있는 소프트웨어 애플리케이션으로서 구현될 수 있는 실시간 SIM 이미징 구성요소(191)와 통신될 수 있다. 재구성된 이미지는 시간에 걸쳐 예상되는 구조화 조명 파라미터의 변화를 고려할 수 있다. 또한, SIM 이미징 구성요소(191)는 예측된 SIM 파라미터를 추적하고/하거나 이전에 추정 및/또는 예측된 SIM 파라미터가 주어진 경우 SIM 파리미터를 예측하는데 사용될 수 있다.
컨트롤러(195)는 시스템(100)의 다양한 광학 구성소자를 동기화하는 것을 포함하여 구조화 조명 이미징 시스템(100)의 동작을 제어하기 위해 제공될 수 있다. 컨트롤러는 예를 들어 광 구조화 광학 어셈블리(155)의 구성(예를 들어, 회절격자의 선택 및/또는 선형 병진이동), 튜브 렌즈(156)의 이동, 포커싱, 스테이지 이동 및 이미징 작업과 같은 시스템 동작의 태양을 제어하도록 구현될 수 있다. 컨트롤러는 또한 시간에 따른 구조화 조명 파라미터의 변화를 보정하기 위해 시스템(100)의 하드웨어 요소를 제어하도록 구현될 수 있다. 예를 들어, 컨트롤러는 시간에 걸쳐 구조화 조명 위상, 주파수 및/또는 배향의 변화를 보정 또는 보상하기 위해 광 구조화 광학 어셈블리(155), 이동 스테이지(170) 또는 시스템(100)의 일부 다른 구성을 제어하는 제어 신호를 모터 또는 다른 장치에 전송하도록 구성될 수 있다. 구현에서, 이들 신호는 SIM 이미징 구성요소(191)를 사용하여 예측된 구조화 조명 파라미터에 따라 전송될 수 있다. 일부 구현에서, 컨트롤러(195)는 상이한 시간 및/또는 샘플 위치에 대응하는 예측 및/또는 추정된 구조화 조명 파라미터를 저장하기 위한 메모리를 포함할 수 있다.
다양한 구현에서, 컨트롤러(195)는 하드웨어, 알고리즘(예를 들어, 기계 실행 가능 명령어) 또는 상술한 바의 조합을 사용하여 구현될 수 있다. 예를 들어, 일부 구현들에서, 컨트롤러는 연관된 메모리를 갖는 하나 이상의 CPU, GPU 또는 프로세서를 포함할 수 있다. 다른 예로서, 컨트롤러는 컴퓨터 프로세서 및 수록된 기계 판독 가능 명령어들을 갖는 비일시적 컴퓨터 판독 가능매체와 같은 동작을 제어하기 위한 하드웨어 또는 기타 회로를 포함할 수 있다. 예를 들어, 이 회로는 FPGA(Field Programmable Gate Array), ASIC(application specific integrated circuit), PLD(programmable logic device), CPLD(complex programable logic device), PLA(programmable logic array), PAL(programmable array logic) 또는 기타 유사한 처리 장치 또는 회로 중 하나 이상을 포함할 수 있다. 또 다른 예로서, 컨트롤러는 이 회로와 하나 이상의 프로세서의 조합을 포함할 수 있다.
도 3은 본 명세서에 기술된 일부 구현들에 따른 구조화 조명 파라미터 예측을 구현할 수 있는 2-암 SIM 이미징 시스템(200)의 하나의 예시적인 광학 구성을 도시한 광학 다이어그램이다. 시스템(200)의 제 1 암은 광이미터(210A), 광이미터(210A)에 의해 출력된 광을 시준하기 위한 제 1 광콜리메이터(220A), 광축에 대한 제 1 배향의 회절격자(230A), 회전 윈도우(240A) 및 제 2 광콜리메이터(250A)를 포함한다. 시스템(200)의 제 2 암은 광이미터(210B), 광이미터(210B)에 의해 출력된 광을 시준하기 위한 제 1 광콜리메이터(220B), 광축에 대한 제 2 배향의 회절격자(230B), 회전 윈도우(240B) 및 제 2 광콜리메이터(250B)를 포함한다. 이 예에서는 회절격자가 도시되어 있지만, 다른 구현에서는 빔스플리터 큐브 또는 플레이트와 같은 다른 빔 분할소자가 SIM 이미징 시스템(200)의 각각의 암에서 수신된 광을 분할하기 위해 사용될 수 있다.
각각의 광이미터(210A-210B)는 비간섭성 광이미터일 수 있거나(예를 들어, 하나 이상의 발광 다이오드(LED)에 의해 출력된 광선을 방출할 수 있거나), 하나 이상의 레이저 또는 레이저 다이오드에 의해 출력된 광이미터와 같은 간섭성 이미터일 수 있다. 시스템(200)의 예에서, 각각의 광이미터(210A-210B)는 각각의 콜리메이터(220A-220B)에 의해 시준된 광빔을 출력하는 광섬유이다.
일부 구현들에서, 각각의 광섬유는 레이저와 같은 대응하는 광원(미도시)에 광학적으로 결합될 수 있다. 이미징 동안, 각각의 광섬유는 상기 광섬유와 광원 사이의 광경로에 위치된 고속 셔터(미도시)를 사용하거나, 이미징 동안 광섬유의 대응하는 광원을 미리 결정된 주파수로 펄싱함으로써 스위치 온오프할 수 있다. 일부 구현들에서, 각각의 광섬유는 동일한 광원에 광학적으로 결합될 수 있다. 이러한 구현에서, 빔스플리터 또는 다른 적합한 광학소자가 광원으로부터의 광을 각각의 광섬유로 가이드하기 위해 사용될 수 있다. 이러한 예에서, 각각의 광섬유는 광섬유와 빔스플리터 사이의 광경로에 위치된 고속 셔터(미도시)를 사용하여 스위치 온 또는 오프될 수 있다.
예시적인 SIM 이미징 시스템(200)에서, 제 1 암은 샘플 상에 제 1 배향(예를 들어, 수직 프린지 패턴)으로 격자 패턴을 투영하기 위한 고정된 수직 격자(230A)를 포함하고, 제 2 암은 샘플 상에 제 2 배향(예를 들어, 수평 프린지 패턴)으로 격자 패턴을 투영하기 위한 고정된 수평 격자(230B)를 포함한다. SIM 이미징 시스템(200)의 격자는 기계적으로 회전되거나 병진이동될 필요가 없으며, 이는 향상된 시스템 속도, 안정성 및 반복성을 제공할 수 있다.
대안적인 구현으로, 격자(230A-230B)는 상기 격자(230A 및 230B)에 의해 방출된 광의 광 경로길이(및 그에 따른 위상)를 변경하도록 병진이동될 수 있는 각각의 선형 운동 스테이지에 장착될 수 있다. 상기 스테이지(271)를 따라 격자 패턴의 병진이동을 실현하기 위해 상기 스테이지의 선형 운동의 이동 축은 각각의 격자의 배향으로부터 수직이거나 그렇지 않으면 오프셋될 수 있다.
격자(230A-230B)는 유리 기판 또는 다른 적절한 표면에 형성된 복수의 회절요소(예를 들어, 평행 슬릿 또는 그루브)를 포함하는 투과형 회절격자일 수 있다. 격자는 격자 재료의 굴절률의 주기적인 변화를 제공하는 위상 격자로서 구현될 수 있다. 그루브 또는 피처 간격은 적절한 각도에서 광을 회절시키도록 선택될 수 있고 SIM 이미징 시스템(200)의 작동을 위해 이미징된 샘플의 최소 분해가능한 피처 크기로 조정될 수 있다. 다른 구현에서, 격자는 반사형 회절격자일 수 있다.
SIM 이미징 시스템(200)의 예에서, 수직 및 수평 패턴은 약 90°오프셋된다. 다른 구현에서, 격자의 다른 배향은 약 90°의 오프셋을 생성하는데 사용될 수 있다. 예를 들어, 격자는 샘플(271)의 x 또는 y 평면으로부터 ±45°오프셋된 이미지를 투영하도록 배향될 수 있다. 예시적인 SIM 이미징 시스템(200)의 구성은 단지 2개의 직각 격자(예를 들어, 수직 격자 및 수평 격자)만 사용하여 구조적 해상도 향상을 달성할 수 있으므로 직사각형 격자에 피처가 있는 규칙적으로 패턴화된 샘플(271)의 경우에 특히 유리할 수 있다.
시스템(200)의 예에서, 격자(230A-230B)는 입력 빔을 많은 차수(예를 들어, 0차, ±1차, ±2차 등)로 회절시키도록 구성되며, 이 중 ±1차가 샘플(271)에 투영될 수 있다. 이 예에 도시된 바와 같이, 수직 격자(230A)는 시준된 광빔을 1차 회절빔(±1차)으로 회절시키고 1차를 페이지 면에 확산시키며, 수평 격자(230B)는 시준된 광빔을 1차 회절빔으로 회절시키고 1차를 페이지 면 위아래로(즉, 페이지에 직각인 면으로) 확산시킨다. 시스템의 효율을 향상시키기 위해, 0차 빔 및 다른 모든 고차 빔(즉, ±2차 이상)은 차단될 수 있다(즉, 샘플(271)에 투영된 조명 패턴으로부터 필터링될 수 있다). 예를 들어, 차수 필터(order filter)와 같은 빔 차단소자(미도시)는 0차 빔 및 고차 빔을 차단하기 위해 각각의 회절격자 다음의 광경로에 삽입될 수 있다. 일부 구현들에서, 회절격자들(230A-230B)은 빔들을 1차로만 회절시키도록 구성될 수 있고, 0차(회절되지 않은 빔)는 일부 빔 차단소자에 의해 차단될 수 있다.
각각의 암은 각각의 격자(230)에 의해 출력된 회절광을 위상 이동시키기 위해 광학 위상 변조기 또는 위상 시프터(240A-240B)를 포함한다. 예를 들어, 구조화된 이미징 동안, 각각의 회절빔의 광학 위상은 구조화된 패턴의 각 프린지의 피치(λ)의 약간의 비율(가령, 1/2, 1/3, 1/4 등)로 시프트될 수 있다. 도 3의 예에서, 위상 변조기(240A, 240B)는 각각의 회절빔의 광경로 길이를 회전 및 변조하기 위해 검류계 또는 다른 회전 액추에이터를 사용할 수 있는 회전 윈도우로서 구현된다. 예를 들어, 윈도우(240A)는 수직축을 중심으로 회전하여 샘플(271)상의 수직 격자(230A)에 의해 투영된 이미지를 좌우로 이동시킬 수 있고, 윈도우(240B)는 수평축을 중심으로 회전하여 샘플(271)상의 수평 격자(230B)에 의해 투영된 이미지를 위로 또는 아래로 이동시킬 수 있다.
다른 구현들에서, 회절된 광의 광경로 길이를 변경하는 다른 위상 변조기들(예를 들어, 선형 병진 스테이지들, 웨지들 등)이 사용될 수 있다. 또한, 광학 위상 변조기(240A-240B)는 격자(230A-230B) 이후에 배치되는 것으로 도시되어 있지만, 다른 구현에서는 조명 시스템의 다른 위치에 배치될 수 있다.
다른 구현들에서, 단일 위상 변조기는 상이한 프린지 패턴들에 대해 2개의 상이한 방향들로 동작될 수 있거나, 단일 위상 변조기는 단일 이동을 이용하여 경로 길이들 모두를 조절할 수 있다. 예를 들어, 큰 윈도우가 윈도우(240A 및 240B) 대신 사용되어 수직 및 수평 회절격자에 의해 출력된 회절된 빔의 양 세트의 위상을 변경할 수 있다. 격자들 중 하나의 광축에 대해 평행한 대신, 상기 큰 회전 윈도우에 대한 회전축은 상기 큰 윈도우의 하나의 공통 회전축을 따른 양방향을 따라 위상이동하도록 하기 위해 상기 수직 및 수평 회절격자 각각의 광축으로부터 45°오프셋(또는 몇몇 다른 각도로 오프셋)될 수 있다.
예시적인 시스템(200)에서, 홀들(261)을 갖는 미러(260)는 손실없이 (예를 들어, 반사 코팅에서의 작은 흡수 이외에, 광출력의 큰 손실없이) 2개의 암을 광경로로 결합시킨다. 미러(260)는 각각의 격자로부터의 회절된 차수들이 공간적으로 분해되고, 원하지 않는 차수들이 차단될 수 있도록 위치될 수 있다. 미러(260)는 홀(261)을 통해 제 1 암에 의해 출력된 1차 광을 통과시킨다. 미러(260)는 제 2 암에 의해 출력된 1차 광을 반사한다. 이와 같이, 구조화 조명 패턴은 각각의 이미터를 턴온 또는 턴오프하거나 광섬유 케이블을 통해 광원의 광을 지향시키는 광학 셔터를 개폐함으로써 수직 배향(예를 들어, 격자(230A))에서 수평 배향(예를 들어, 격자(230B))으로 전환될 수 있다. 다른 구현에서, 구조화 조명 패턴은 샘플을 조명하는 암을 변경하기 위해 광학 스위치를 사용하여 전환될 수 있다.
또한 예시적인 이미징 시스템(200)에는 튜브렌즈(265), 세미-반사 미러(280), 대물렌즈(270) 및 카메라(290)가 도시되어 있다. 예를 들어, 튜브렌즈(265)는 z 축을 따라 관절식 연결하여 구조화 빔 형상 및 경로를 조정하도록 구현될 수 있다. 세미-반사 미러(280)는 샘플(271) 상으로의 투영을 위해 각각의 암으로부터 수신된 구조화 조명광을 대물렌즈(270)로 반사시키고 샘플(271)에 의해 방출된 광(예를 들어, 여기와는 상이한 파장에서 방출되는 형광 빛)을 카메라(290)로 통과시키는 다이크로익 미러일 수 있다.
카메라(290)로부터의 출력 데이터(예를 들어, 이미지)는 실시간 SIM 이미징 구성요소(미도시)에 전달될 수 있으며, 이는 아래에 추가로 설명되는 바와 같이 더 높은 공간 해상도를 갖는 이미지를 생성하기 위해 각각 이미징 사이클 동안 캡처된 이미지를 재구성할 수 있는 소프트웨어 애플리케이션으로서 구현될 수 있다. 재구성된 이미지는 시간에 따라 예측되는 구조화 조명 파라미터의 변화를 고려할 수 있다. 또한, 실시간 SIM 이미징 구성요소는 예측된 SIM 파라미터를 추적하고/하거나 이전에 추정된 및/또는 예측된 SIM 파라미터가 주어진 SIM 파라미터를 예측하는데 사용될 수 있다.
시스템(200)의 다양한 광학 구성소자를 동기화하는 것을 포함하여, 구조화 조명 이미징 시스템(200)의 동작을 제어하기 위해 컨트롤러(미도시)가 제공될 수 있다. 컨트롤러는 예를 들어 각각의 광학 암의 구성(예를 들어, 위상 이미지의 캡처 동안 각 광학 암, 위상 변조기(240A-240B)의 작동의 턴온/턴오프), 튜브렌즈(265)의 이동, (임의의 스테이지가 사용되는 경우)샘플(271)의 스테이지 이동, 및 이미징 작업과 같은 시스템 동작의 태양를 제어하도록 구현될 수 있다. 컨트롤러는 또한 시간에 따른 구조화 조명 파라미터의 변화를 보정하기 위해 시스템(200)의 하드웨어 요소를 제어하도록 구현될 수 있다. 예를 들어, 컨트롤러는 시간에 걸쳐 구조화 조명 위상, 주파수 및/또는 배향의 변화를 정정하거나 보상하기 위해 시스템(100)의 각각의 다른 광학소자 또는 일부 다른 요소의 구성을 제어하는 제어신호를 장치(예를 들어, 위상 변조기(240A-240B))에 전송하도록 구성될 수 있다. 다른 예로서, 격자(230A-230B)가 (예를 들어, 위상 변조기(240A-240B)를 사용하는 대신) 선형 이동 스테이지에 장착될 때, 컨트롤러는 위상 변화를 정정 또는 보상하기 위해 선형 이동 스테이지를 제어하도록 구성될 수 있다. 구현에서, 이들 신호는 SIM 이미징 컴포넌트를 사용하여 예측된 구조화 조명 파라미터에 따라 전송될 수 있다. 일부 구현들에서, 컨트롤러는 상이한 시간들 및/또는 샘플 위치들에 대응하는 예측 및/또는 추정된 구조화 조명 파라미터들을 저장하기 위한 메모리를 포함할 수 있다.
간략히 하기 위해, SIM 이미징 시스템(200)의 광학 구성소자는 상술한 설명에서 생략될 수 있음에 유의해야 한다. 또한, 시스템(200)이 이 예에서 단일 채널 시스템으로서 도시되어 있지만, 다른 구현들에서 (예를 들어, 2개의 상이한 카메라들 및 2개의 상이한 파장들로 방출하는 광원들을 사용함으로써) 멀티 채널 시스템으로서 구현될 수 있다.
도 4는 고해상도 이미지를 생성하기 위해 구조화된 광을 사용하기 위해 하나의 이미징 사이클 동안 SIM 이미징 시스템(200)의 수직 격자(230A) 및 수평 격자(230B)에 의해 샘플(271)면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다. 이 예에서, 수직 격자(230A)를 사용하여 수직 조명 배향을 갖는 3개의 위상 이미지가 캡처될 수 있고, 수평 격자(230B)를 사용하여 수평 조명 배향을 갖는 3개의 위상 이미지가 캡처될 수 있다. 각각의 배향에 대해, 투영된 프린지가 배향 패턴의 3개 위상 이미지를 포착하기 위해 (예를 들어, 위상 변조기(230A 또는 230B)를 3개의 다른 위치로 설정함으로써) 1/3λ의 단계들로 위치상 위상이동될 수 있다
각각의 위상 이미지의 캡처 동안, 샘플에 의해 방출된 임의의 광은 카메라(290)에 의해 캡처될 수 있다. 예를 들어, 샘플(271)의 상이한 피처에 위치된 형광 염료가 형광을 발할 수 있고 결과적인 광이 대물렌즈(270)에 의해 수집될 수 있어 카메라(290)의 이미지 센서로 지향되어 형광을 감지한다. 캡처된 6개의 이미지는 전체 샘플 또는 더 큰 샘플의 위치를 이미징하게 될 수 있다.
모든 이미지가 이미징 사이클 동안 (이 예에서는 6개의 이미지가) 캡처되면, 고해상도 이미지는 캡처된 이미지로부터 구성될 수 있다. 예를 들어, 도 4에 도시된 6개의 이미지로부터 고해상도 이미지가 재구성될 수 있다. 적절한 알고리즘을 사용하여 이들 다양한 이미지를 조합하여 샘플의 단일 이미지를 임의의 개별 성분 이미지 중 어느 하나보다 훨씬 더 나은 공간 해상도로 합성할 수 있다.
고해상도 이미지의 구성 동안, 구조화 조명 파라미터(예를 들어, 위상, 주파수, 배향)에서의 바람직하지 않은 이동 또는 변화는 본 개시에 따라 예측된 구조화 조명 파라미터(예를 들어, 예측된 위상, 주파수, 배향의 변화)를 사용하기 위해 알고리즘적으로 보상될 수 있다. 예를 들어, 수직 조명 이미지 및/또는 수평 조명 이미지의 위상, 방향 및/또는 주파수에서의 오프셋이 보상될 수 있다.
일부 구현들에서, SIM 이미징 시스템에서의 그러한 변화들을 보상하기 위해 시스템(200)의 하나 이상의 하드웨어 요소들을 제어함으로써 구조화 조명 파라미터들의 바람직하지 않은 이동 또는 변화가 이미지 캡쳐 이전에 보상될 수 있다. 예를 들어, 이미징 시퀀스 이전에 및/또는 이미징 시퀀스의 이미지 캡처 사이에, 위상 이동소자(예를 들어, 회전 미러, 선형 액추에이터 등)를 조정함으로써 각각의 광학 암에 대해 위상 드리프트가 보상될 수 있다. 일부 구현들에서, 하드웨어 및 알고리즘 보상의 조합이 구현될 수 있다.
시스템(200)이 2개의 상이한 각도로 배향된 2개의 격자를 포함하는 2-암 구조화 조명 이미징 시스템과 관련하여 설명되었지만, 다른 구현에서, 본 명세서에 설명된 기술은 2개보다 더 많은 암을 갖는 시스템으로 구현될 수 있음을 알아야 한다. 직사각형 격자 상에 피처를 갖는 규칙적으로 패턴화된 샘플의 경우, 상술한 바와 같이 단지 2개의 직각(예를 들어, 수직 격자 및 수평 격자)으로 해상도 향상이 달성될 수 있다. 한편, 다른 샘플들(예를 들어, 육각형 패턴 샘플들)에 대한 모든 방향에서의 이미지 해상도 향상을 위해, 3개의 격자 각도도 사용될 수 있다. 예를 들어, 3-암 시스템은 3개의 광이미터 및 (암당 1개씩) 3개의 고정 회절격자를 포함할 수 있으며, 각각의 회절격자는 샘플 상에 각각의 패턴 배향(예를 들어 0°패턴, 120°패턴 또는 240°패턴)을 투영하도록 시스템의 광축 주위로 배향된다. 이러한 시스템에서, 추가 격자의 추가 이미지를 무손실 방식으로 시스템에 결합시키기 위해 홀을 갖는 추가 미러가 사용될 수 있다. 대안으로, 이러한 시스템은 하나 이상의 편광 빔스플리터를 이용하여 각 격자의 이미지를 결합할 수 있다.
도 5a-5b는 본 명세서에 설명된 일부 구현들에 따라 구조화 조명 파라미터를 구현할 수 있는 이중 광학 격자 슬라이드 SIM 이미징 시스템(1000)의 예시적인 광학 구성을 도시한 개략도이다. 예시적인 시스템(500)에서, 샘플(570) 상에 투영된 격자 패턴(예를 들어, 패턴 위상 이동 또는 회전)에 대한 모든 변경은 격자(531 또는 532)를 선택하거나(즉, 격자 배향을 선택하거나) 격자(531-532) 중 하나를 위상 이동시키기 위해 단일 모션 축을 따라 이동 스테이지(1030)를 선형으로 병진이동시킴으로써 행해질 수 있다.
시스템(500)은 광이미터(510)(예를 들어, 광원에 광학적으로 결합된 광섬유), 광이미터(510)에 의해 출력된 광을 시준하기 위한 제 1 광학 콜리메이터(520)(예를 들어, 시준 렌즈), 제 1 회절격자(531)(예를 들어, 수평 격자) 및 제 2 회절격자(532)(예를 들어, 수직 격자)가 장착된 선형 이동 스테이지(530), 튜브렌즈(540), 세미-반사 미러(550)(예를 들어, 다이크로익 미러), 대물렌즈(560), 샘플(570) 및 카메라(680)를 포함한다. 간략히 하기 위해, SIM 이미징 시스템(500)의 광학 구성소자는 도 5a에서 생략될 수 있다. 추가로, 시스템(500)이 이 예에서 단일 채널 시스템으로서 도시되어 있지만, 다른 구현들에서, (예를 들어, 2개의 상이한 카메라들 및 2개의 상이한 파장으로 방출되는 광원들을 사용함으로써) 멀티 채널 시스템으로서 구현될 수 있다.
도 5a에 도시된 바와 같이, 격자(531)(예를 들어, 수평 회절격자)는 시준된 광빔을 1차 회절 광빔(페이지 면)으로 회절시킬 수 있다. 도 5b에 의해 도시된 바와 같이, 회절격자(532)(예를 들어, 수직 회절격자)는 빔을 1차(페이지의 평면 위 및 아래)로 회절시킬 수 있다. 이 구성에서, 샘플(570)을 이미지화하기 위해 단일 이미터(510)(예를 들어, 광섬유) 및 단일 선형 이동 스테이지를 갖는 단일 광학 암만이 필요하며, 이는 이동 시스템 부품의 수를 감소시키는 것과 같은 시스템 이점을 제공할 수 있어 속도, 복잡성 및 비용을 개선시킨다. 또한, 시스템(500)에서, 편광기의 부재로 광학 효율이 높은 상술한 이점이 제공될 수 있다. SIM 이미징 시스템(200)의 예시는 2개의 직각 격자(예를 들어, 수직 격자 및 수평 격자)만을 사용하여 구조화 해상도 향상이 달성될 수 있기 때문에, 직사각형 격자 상에 피처를 갖는 규칙적으로 패턴화된 샘플(570)의 경우에 특히 유리할 수 있다.
시스템의 효율을 향상시키기 위해, 각각의 격자에 의해 출력된 0차 빔 및 다른 모든 고차 회절 빔(즉, ±2차 이상)은 차단될 수 있다(즉, 샘플(570) 상에 투영된 조명 패턴으로부터 필터링될 수 있다). 예를 들어, 차수 필터와 같은 빔 차단소자(미도시)는 이동 스테이지(530) 후에 광경로에 삽입될 수 있다. 일부 구현에서, 회절격자(531-532)는 빔을 1차로만 회절시키도록 구성될 수 있고 일부 빔 차단소자에 의해 0차(굴절되지 않은 빔)가 차단될 수 있다.
시스템(500)의 예에서, 2개의 격자는 운동 축으로부터 약 ±45°(또는 약 + 40°/-50°, 약 +30°/-60° 등)로 배열될 수 있어 선형 이동의 단일 축을 따라 각 격자(531-532)에 대해 위상 이동이 구현될 수 있다. 일부 구현들에서, 2개의 격자들은 하나의 물리적 광학소자에 결합될 수 있다. 예를 들어, 물리적 광학소자의 일 측면은 제 1 배향으로 격자 패턴을 가질 수 있고, 상기 물리적 광학소자의 인접한 측면은 제 1 배향에 직교하는 제 2 배향으로 격자 패턴을 가질 수 있다.
단일 축 선형 이동 스테이지(530)는 샘플면에 대해 X축을 따라 또는 샘플면에 대해 Y축을 따라 이동할 수 있도록 하는 하나 이상의 액추에이터를 포함할 수 있다. 동작 동안, 선형 이동 스테이지(530)는 효율적인 이미지 재구성을 위해 정확한 조명 패턴이 투영되도록 충분한 이동(예를 들어, 약 12-15㎜) 및 정확도(예를 들어, 약 0.5㎛ 미만의 반복성)를 제공할 수 있다. 이동 스테이지(530)가 형광 현미경과 같은 자동화된 이미징 시스템에서 이용되는 구현에서, 고속 작동, 최소 진동 발생 및 긴 작동 수명을 제공하도록 구성될 수 있다. 구현에서, 선형 이동 스테이지(530)는 크로스 롤러 베어링, 선형 모터, 고정밀 선형 인코더 및/또는 다른 구성요소를 포함할 수 있다. 예를 들어, 이동 스테이지(530)는 컨트롤러를 사용하여 병진이동될 수 있는 고정밀 스테퍼 또는 압전 이동 스테이지로서 구현될 수 있다.
카메라(580)로부터의 출력 데이터(예를 들어, 이미지)는 아래에서 추가로 설명되는 바와 같이 더 높은 공간 해상도를 갖는 이미지를 생성하기 위해 각각의 이미징 사이클 동안 캡처된 이미지를 재구성할 수 있는 소프트웨어 애플리케이션으로서 구현될 수 있는 실시간 SIM 이미징 컴포넌트(미도시)와 통신될 수 있다. 재구성된 이미지는 시간에 따라 예측되는 구조화 조명 파라미터의 변화를 고려할 수 있다. 또한, 실시간 SIM 이미징 컴포넌트는 예측된 SIM 파라미터를 추적하고/하거나 이전에 추정된 및/또는 예측된 SIM 파라미터가 주어진 SIM 파라미터를 예측하는데 사용될 수 있다.
시스템(500)의 다양한 광학 구성소자를 동기화하는 것을 포함하여, 구조화 조명 이미징 시스템(500)의 동작을 제어하기 위해 컨트롤러(미도시)가 제공될 수 있다. 컨트롤러는 예를 들어 선형 이동 스테이지(530)의 병진이동, 튜브렌즈(540)의 이동, (임의의 스테이지가 사용되는 경우) 샘플(570)의 스테이지 이동, 및 이미징 동작과 같은 시스템 동작의 태양을 제어하도록 구현될 수 있다. 컨트롤러는 또한 시간에 따른 구조화 조명 파라미터의 변화를 보정하기 위해 시스템(500)의 하드웨어 요소를 제어하도록 구현될 수 있다. 예를 들어, 컨트롤러는 시간에 따른 구조화된 조명 위상, 주파수 및/또는 배향의 변화를 보정 또는 보상하기 위해 제어신호를 장치(예를 들어, 선형 이동 스테이지(530))에 전송하도록 구성될 수 있다. 구현에서, 이들 신호는 SIM 이미징 컴포넌트를 사용하여 예측된 구조화 조명 파라미터에 따라 전송될 수 있다. 일부 구현들에서, 컨트롤러는 상이한 시간들 및/또는 샘플 위치들에 대응하는 예측 및/또는 추정 구조화 조명 파라미터들을 저장하기 위한 메모리를 포함할 수 있다.
도 5a-5b가 구조화 조명 파라미터 예측을 구현할 수 있는 이중 광학 격자 슬라이드 이미징 시스템을 도시하고 있으나, 구조화 조명 파라미터 예측은 2개 이상의 회절격자가 장착된 선형 모션 액추에이터를 사용하는 SIM 이미징 시스템에서 구현될 수 있다.
도 6은 구조화 조명 이미징 사이클을 위한 이미지 캡처 동안 이중 광학 격자 슬라이드 SIM 이미징 시스템(500)의 제 1 회절격자 및 제 2 회절격자에 의해 샘플(570)면 상에 투영될 수 있는 단순화된 조명 프린지 패턴을 도시한 것이다. 예를 들어, SIM 이미징 시스템(500)은 도 6에 도시된 조명 패턴을 생성하기 위해 제 1 회절격자(531) 및 제 2 회절격자(532)를 사용할 수 있다. 도 6의 예에 도시된 바와 같이, 2개의 격자는 샘플(570)표면 상에 수직 프린지 패턴을 투영하고 선형 이동 스테이지(530)의 이동축으로부터 약 ±45°로 배열된다.
예를 들어, 제 1 격자(예를 들어, 격자(531))는 샘플(570) 상에 1차 조명 프린지를 투영할 수 있다. 샘플에 의해 방출된 임의의 광은 카메라(580)에 의해 캡처될 수 있고, 제 1 위상 이미지를 생성하기 위해 제 1 패턴의 제 1 위상 이미지(예를 들어, +45°패턴)는 캡처될 수 있다. 추가적 위상 이동된 이미지를 캡처하기 위해, 격자에 의해 투영된 패턴은 선형 이동 스테이지를 병진이동시킴으로써 위상이동될 수 있다. 이러한 위상이동 움직임은 도 6의 단계 1 및 2로 도시되어 있다. 위상이동 움직임은 격자 상에 투영된 프린지 패턴을 약간 이동시키기 위해 격자의 작은(예를 들어, 약 3 내지 5㎛ 이하) 움직임을 제공할 수 있다.
회절격자에 대한 모든 위상이동된 이미지의 캡처 후에, 시스템(500)은 다른 회절격자를 이미징 시스템의 광원에 광학적으로 결합시키기 위해 선형 운동 스테이지(530)를 병진이동(예를 들어, 도 5a로부터 도 5b로 병진이동)시킴로써 회절격자를 스위칭할 수 있다. 이 동작은 도 6의 예에서 단계 3으로 도시되어 있다. 회절자의 변하는 경우, 선형 이동 스테이지는 상대적으로 큰 병진이동(12-15㎜ 정도)을 제공할 수 있다.
이어서, 다음 격자를 위해 일련의 위상 이미지가 캡처될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 제 2 회절격자는 샘플상에 1차 조명 프린지를 투영할 수 있고, 투영된 프린지는 격자의 패턴의 3개 위상 이미지를 캡처하기 위해 선형 이동 스테이지(530)를 병진이동시킴으로써 위치상 이동될 수 있다(예를 들어, 도 6의 4 및 5 단계).
일단 모든 이미지가(이 예에서, 6개 이미지) 이미징 사이클 동안 캡처된 후에, 고해상도 이미지가 상기 캡처된 이미지로부터 생성될 수 있다. 예를 들어, 도 6에 도시된 6개의 이미지로부터 고해상도 이미지가 재구성될 수 있다. 적절한 알고리즘은 이러한 다양한 이미지들을 결합하여 개별 구성요소의 이미지들 중 어느 하나보다 훨씬 더 나은 공간 해상도로 샘플의 단일 이미지를 합성하는데 사용될 수 있다.
고해상도 이미지의 구성 동안, 구조화 조명 파라미터(예를 들어, 위상, 주파수, 배향)의 바람직하지 않은 이동 또는 변화는 본 개시에 따라 예측된 구조화 조명 파라미터(예를 들어, 위상, 주파수, 배향에서 예측된 변화)를 사용하기 위해 알고리즘적으로 보상될 수 있다. 예를 들어, 수직 조명 이미지 및/또는 수평 조명 이미지의 위상, 배향 및/또는 주파수에서의 오프셋이 보상될 수 있다.
일부 구현들에서, 구조화 조명 파라미터들의 바람직하지 않은 이동 또는 변화는 SIM 이미징 시스템에서의 그러한 변화들을 보상하기 위해 시스템(500)의 하나 이상의 하드웨어 요소들을 제어함으로써 이미지 캡쳐 이전에 보상될 수 있다. 예를 들어, 이미징 시퀀스 이전에 및/또는 이미징 시퀀스의 이미지들의 캡처 사이에, 위상 드리프트가 선형 운동 스테이지(530) 병진이동에 의해 보상될 수 있다. 일부 구현 예에서, 하드웨어와 알고리즘 보상의 조합이 구현될 수 있다.
본 명세서에 기술된 구현에 따르면, 구조화 조명 파라미터는 시간적으로 이전 및/또는 그 시점 이후에 캡처된 이미지로부터 얻어지는 구조화 조명 파라미터들의 추정을 이용하여 특정 시점에 대해 예측될 수 있다 설명한다. 예를 들어, 연산 리소스 제한은 SIM 이미징 시스템(예를 들어, 시스템(100, 200, 500))이 캡쳐된 이미지로부터 위상, 주파수, 및/또는 배향과 같은 구조화 조명 파라미터를 직접 추정할 수 있는 비율을 제한할 수 있다. 일부 경우에, SIM 이미징 시스템은 위상 이미지마다 구조화 조명 파라미터를 직접 추정하거나 측정할 수 있으며, 이 경우 구조화 조명 파라미터를 예측할 필요가 없을 수 있다. 그러나, 다른 경우에, SIM 이미징 시스템은 단지 이미징 사이클 마다 한 번 또는 (예를 들어, 3, 5, 10, 50 또는 100 이미징 사이클마다) 훨씬 덜 빈번하게 이미징 사이클의 일부 위상 이미지에 대해 구조화 조명 파라미터를 직접 추정하거나 측정할 수있다. 그러한 경우에, 시스템의 이미지 샘플링 레이트를 유지하기 위해, 시간 및/또는 공간의 특정 지점에 대해 획득된 구조화 조명 파라미터의 직접적인 추정을 레버리지하여 시간 및/또는 공간상 다른 지점에서 구조화된 조명 파라미터에 대해 예측하는 것이 유리할 수 있다.
이 원리의 일례를 수학적으로 도시하기 위해, 기준에 대한 상관관계가 구조화 조명 파라미터를 추정하는 한 가지 방법이다.
여기서, h(x)는 이미지 데이터로부터 알려지거나 유도될 수 있는 기준이고, c(x)는 기준과 상관되는 이미지 데이터로부터 유도되며, f는 추정되는 값(이 예에서는 주파수)이다. 다른 대안적인 추정 기술이 본 개시에 따라 이용될 수 있음에 유의해야 한다.
수학식(1)의 예에서, f의 많은 가상의 값들 각각에 대해 하나의 상관 출력이 생성될 수 있다. 파라미터 추정값 f는 상관의 크기를 최대화하는 f의 값으로서 얻어질 수 있다. 그러나, 많은 경우에, 상관 출력을 최대화하기 위해 매우 많은 수의 가상값 f가 시도될 필요가 있을 수 있다. 검색 공간이 크면 계산 요건이 증가하여 결과적으로 시스템 처리량이 감소될 수 있다(즉, 단위시간당 처리되는 데이터가 줄어 감소된다).
이 문제를 회피하기 위해, 이전의 f 추정치로부터의 정보가 결정될 새로운 f 값의 "이웃"을 확인하는데 사용될 수 있다. 예로서, 공간(X) 및 시간(T)에서 변하는 추정치(φ)를 도시한 도 7을 고려하라. 도 7에 도시된 바와 같이, A 블록에 대응하는 X 및 T 좌표에 대해 φ의 초기값을 획득할 수 있다. 추정치가 공간 또는 시간에서 느리게 변한다고 가정하면, A 블록으로부터의 추정치(φA)는 B 또는 E 블록에 대한 초기치로서 사용될 수 있다. 보다 구체적으로, B 및 E 블록에 대한 검색 공간은 A 블록으로부터 획득된 φ값의 "이웃"에 있는 값으로 제한될 수 있다. 이러한 접근법으로, φ를 식별하는데 필요한 시간이 상당히 감소될 수 있고, 결과적으로, 시간 단위로 처리되는 데이터의 량이 이에 따라 증가될 수 있다.
이 개념을 확장하기 위해, 공간(X) 또는 시간(T) 차원에서 추정 변동의 경향이 예측될 수 있다. 예를 들어, 블록 당 추정치가 공간 차원에서 ΔφX 만큼 증가하고 시간 차원에서 ΔφT만큼 증가하는 도 7을 고려하라.
이러한 관찰이 주어지면, 블록 B에 대한 초기 추정치는 도 8에 도시된 바와 같이 φA + Δφx로 도출될 수 있다. 또한, 블록 E의 초기 추정치는 φA + ΔφT로 도출될 수 있다. 여러 블록의 값을 사용하여 X 및 T 차원 모두에서 다른 예측변수도 구현할 수 있다.
도 9는 구조화 조명 시스템에 의해 캡처된 다수의 이미지로부터 획득된 구조화 조명 파라미터의 추정치를 사용하여 구조적 조명을 예측하기 위한 예시적인 보간 방법(900)을 도시한 동작 흐름도이다. 구현들에서, 방법(700)은 SIM 이미징 시스템(예를 들어, 시스템(100, 200 또는 500))의 메모리에 저장된 기계 판독 가능 명령어를 실행함으로써 구현될 수 있다.
단계(910)에서, 제 1 SIM 이미지 샘플이 획득될 수 있다. 예를 들어, 샘플의 위상 이미지는 제 1 시점에서 캡처될 수 있다. 단계(920)에서, 구조화 조명 파라미터는 캡처된 제 1 이미지를 사용하여 추정될 수 있다. 예를 들어, 구조화 조명 위상, 주파수, 배향 또는 변조 차수 중 어느 하나가 추정될 수 있다. 추정은 시간, 공간 및/또는 온도의 특정 지점에서 획득될 수 있다.
단계(930)에서, 제 2 SIM 이미지 샘플이 획득될 수 있다. 예를 들어, 샘플의 위상 이미지는 제 1 SIM 이미지 샘플이 캡처될 때 제 1 시점 이후에 제 2 시점에서 캡처될 수 있다. 일부 구현들에서, 샘플의 제 1 이미지 및 샘플의 제 2 이미지는 동일한 이미징 시퀀스 동안(예를 들어, 더 높은 해상도 이미지로 구성된 6개의 위상 이미지 또는 9개의 위상 이미지를 생성하는 이미징 시퀀스의 일부로서) 캡처될 수 있다. 다른 구현들에서, 제 1 이미지 및 제 2 이미지는 상이한 이미징 시퀀스 동안 캡처될 수 있다. 단계(940)에서, 구조화 조명 파라미터는 캡처된 제 2 이미지를 사용하여 추정될 수 있다. 예를 들어, 구조화 조명 위상, 주파수, 배향 또는 변조 차수 중 어느 하나가 추정될 수 있다. 추정은 특정 시간, 공간 및/또는 온도의 특정 지점에서 획득될 수 있다.
단계(950)에서, 적어도 제 1 이미지로부터의 구조화 조명 파라미터의 추정치 및 제 2 이미지로부터의 구조화 조명의 추정치를 이용하여, 제 3 이미지에 대응하는 구조화 조명 파라미터가 예측될 수 있고, 여기서 제 3 이미지는 제 1 이미지와 제 2 이미지 사이의 시간, 공간(예를 들어, 샘플 위치) 및/또는 온도(예를 들어, 샘플 온도)의 한 지점이다. 예를 들어, 제 3 이미지는 제 1 이미지 이후에 그리나 제 2 이미지 전에 캡처되었을 수 있다. 다른 예로서, 제 3 이미지는 제 1 이미지와 제 2 이미지 사이의 한 위치에서 나중에 캡처될 수 있다.
일부 구현들에서, 이 예측은 2개의 시점들 사이에서 구조화 조명 파라미터의 적어도 결정된 변화율에 기초할 수 있다. 수학적 예시로서, 제 1 시간(T1) 및 제 2 시간(T2)에 대해, 구조화 조명 위상이 ΔφT만큼 드리프트된 것으로 결정되면, 위상의 변화(예를 들어, 드리프트)율은 ΔφT / (T2 - T1)로 표현될 수 있다. 보간을 사용하여, 시간 T3 동안의 위상 드리프트 양이 예측될 수 있다. 예를 들어, 위상이 시간(T1)에서 5도 오프셋으로부터 시간(T2)에서 15도 오프셋으로 드리프트되면, 위상이 이들 두 시간 사이의 중간 시간(T3)에서 10도 오프셋된 것으로 예측될 수 있다.
방법(900)은 구조화 조명 파라미터의 2개의 공지된 추정치가 주어진 시간, 공간 및/또는 온도의 특정 지점에서 구조화 조명 파라미터를 예측하기 위해 보간을 적용하는 맥락에서 주로 설명되지만, 방법(900)은 2이상의 알려진 추정치가 있는 경우로 확장될 수 있음에 주목해야 한다. 그러한 경우에, 적절한 추세 추정 함수가 구조화 조명 파라미터를 예측하는데 사용될 수 있다. 예를 들어, 선형 추세 추정의 경우, 시간, 공간 및/또는 온도의 특정 지점에서 구조화 조명 파라미터를 보간하고 예측하기 위해 알려진 추정치에 최소 자승 피팅(least-squares fitting)이 적용될 수 있다. 일부 구현들에서, 추가 추정치들이 수집될 때 구조화 조명 파라미터의 예측이 시간에 따라 업데이트될 수 있다. 또한, 방법(900)은 제 1 이미지 및 제 2 이미지로부터의 추정치를 사용하여 제 3 이미지에 대응하는 파라미터를 예측하는 것으로 설명되지만, 일부 구현에서, 매개 변수를 예측하기 위해 2개의 추정치 중 하나만이 (예를 들어, 추정을 유지함으로써) 사용될 수 있다.
또한, 방법(900)이 상이한 시간에 구조화 조명 파라미터의 2개의 공지된 추정치가 주어지면 특정 시간에서 구조화 조명 파라미터를 예측하기 위해 보간을 적용하는 맥락에서 설명되나, 방법(900)은 또한 공간(예를 들어, 이미지화된 샘플의 위치 또는 서브 세트) 및 온도의 차원을 고려하도록 확장될 수 있다. 일부 예에서, 다수의 파라미터(예를 들어, 공간, 시간 및/또는 온도)를 고려하는 결합 예측(joint prediction)이 적용될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 구조화 조명 파라미터를 예측함에 있어서 시간 및 공간 모두의 경향이 고려될 수 있다. 대안으로, 단지 공간에서의 구조화 조명 파라미터의 경향만이 고려될 수 있다.
도 10은 2이상의 이미지로부터 획득된 구조화 조명 파라미터의 추정치를 사용하여 구조화 조명 파라미터를 예측하기 위한 예시적인 외삽 방법(1000)을 도시하는 동작 흐름도이다. 구현에서, 방법(700)은 SIM 이미징 시스템(예를 들어, 시스템(100, 200 또는 500))의 메모리에 저장된 기계 판독 가능 명령어를 실행함으로써 구현될 수 있다.
방법(1000)의 동작(910-940)은 방법(900)을 참조하여 상술한 바와 같이 수행될 수 있다. 예를 들어, 구조화된 조명 주파수는 캡처된 이미지를 이용하여 제 1 시점 및 제 2 시점에서 추정될 수 있다.
단계(1050)에서, 적어도 제 1 이미지로부터의 구조화 조명 파라미터의 추정치 및 제 2 이미지로부터의 구조화 조명 파파미터의 추정치를 이용하여, 제 3 이미지에 대응하는 구조화 조명 파라미터가 예측될 수 있고, 여기서 제 3 이미지는 제 1 이미지와 제 2 이미지 모두 이후에, 또는 제 1 이미지와 제 2 이미지 모두 이전의 시간, 공간(예를 들어, 샘플 위치) 및/또는 온도(예를 들어, 샘플 온도)의 한 지점이다. 일부 구현들에서, 이 예측은 2개의 시점들 사이에서 구조화 조명 파라미터의 적어도 결정된 변화율에 기초할 수 있다. 수학적 예시로서, 제 1 시간(T1) 및 제 2 시간(T2) 동안, 구조화 조명 주파수가 Δf양만큼 드리프트된 것으로 결정되면, 위상의 변화(예를 들어, 드리프트)율은 Δf / (T2 - T1)로 표현될 수 있다. 외삽법을 사용하여, 나중에 시간 T3에서의 총 주파수 드리프트 량을 예측할 수 있다.
방법(1000)이 구조화 조명 파라미터의 2개의 공지된 추정치가 주어진 시간, 공간 및/또는 온도의 특정 지점에서 구조화 조명 파라미터를 예측하기 위해 외삽을 적용하는 맥락에서 설명되나, 방법(900)의 경우에서와 같이, 방법(1000)은 2개 이상의 알려진 추정치가 있는 경우로 확장될 수 있음에 유의해야 한다. 그러한 경우에, 적절한 추세 추정 함수가 구조화 조명 파라미터를 예측하는데 사용될 수 있다. 예를 들어, 선형 추세 추정의 경우, 구조화 조명 파라미터를 외삽하고 예측하기 위해 알려진 추정치에 최소 자승 피팅이 적용될 수 있다. 일부 구현들에서, 추가 추정치들이 수집될 때 구조화 조명 파라미터의 예측이 시간에 따라 업데이트될 수 있다.
또한, 방법(1000)이 제 1 이미지 및 제 2 이미지로부터의 추정치를 사용하여 제 3 이미지에 대응하는 파라미터를 예측하는 것으로 설명되었지만, 일부 구현에서, 파라미터를 예측하기 위해 (예를 들어, 추정을 유지함으로써) 2개의 추정치 중 하나만이 사용될 수 있다.
추가로, 방법(1000)이 상이한 시간에 구조화 조명 파라미터의 2개의 공지된 추정치가 주어지면 특정 시간에 구조화 조명 파라미터를 예측하기 위해 외삽법을 적용하는 맥락으로 설명되지만, 방법(900)의 경우에서와 같이, 방법(1000)은 또한 공간과 온도와 같은 다른 차원도 고려하도록 확장될 수 있다.
방법(900 및 1000)의 구현에서, 제 1 이미지를 사용하여 추정된 구조화 조명 파라미터, 제 2 이미지를 사용하여 추정된 구조화 조명 파라미터 및/또는 제 3 이미지를 위해 예측된 구조화 조명 파라미터는 SIM 이미징 시스템의 메모리에 저장될 수 있다. 예를 들어, 추정된/예측된 파라미터는 고해상도 이미지 구성 동안, 구조화 조명 파라미터 변화를 보상하기 위해 및/또는 시간, 공간 및/또는 온도의 다른 지점에서 다른 구조화 조명 파라미터의 예측을 용이하게 하기 위해 SIM 이미징 시스템 하드웨어 구성요소의 조정 동안 기준이 될 룩업 테이블과 같은 히스토리 파일에 저장될 수 있다. 구현에서, 각각의 추정 또는 예측에 대응하는 시간, 샘플 위치 및 샘플 온도가 저장될 수 있다.
방법(900 및 1000)의 구현에서, 구조화 조명 파라미터를 예측하는데 사용된 제 1 및 제 2 추정치는 복수의 이미지를 사용하여 생성될 수 있다. 이와 같이, 이미징 시퀀스에서 제 1 세트의 이미지들(예를 들어, 1, 2, 3, 4, 5, 6 등)로부터의 하나 이상의 이미지들이 제 1 추정치를 생성하기 위해 사용될 수 있고, 이미징 시퀀스에서의 제 2 세트의 이미지들(예를 들어, 1, 2, 3, 4, 5)은 제 2 추정치를 생성하는데 사용될 수 있다.
도 11은 시간에 따른 구조화 조명 파라미터의 바람직하지 않은 변화를 보상하기 위해 고해상도 이미지 재구성 동안 예측된 구조화 조명 파라미터를 사용하는 예시적인 방법(1100)을 도시하는 동작 흐름도이다. 구현들에서, 방법(1100)은 SIM 이미징 시스템(예를 들어, 시스템(100, 200 또는 500))의 메모리에 저장된 기계 판독 가능 명령어들을 실행함으로써 구현될 수 있다.
단계(1110)에서, 보간법을 사용하여 캡처된 이미지(예를 들어, 위상 이미지)에 대해 구조화 조명 파라미터가 예측될 수 있다. 예를 들어, 구조화 조명 파라미터는 방법(900)을 구현함으로써 캡처된 이미지에 대응하는 시점에서 예측될 수 있다. 단계(1120)에서, 캡처된 이미지(예를 들어, 위상 이미지) 및 다른 캡처된 이미지(예를 들어, 다른 캡처된 위상 이미지)를 이용하여 고해상도 이미지 구성이 수행될 수 있다. 고해상도 이미지 재구성 동안, 예측된 구조화 조명 파라미터는 시간, 공간 및/또는 온도 차원에 걸친 구조화 조명 파라미터의 변화를 보상하기 위해 사용될 수 있다. 예를 들어, 주파수, 위상 및/또는 배향의 변화가 보상될 수 있다. 일부 경우에, 단계(1120)는 다수의 예측된 구조화 조명 파라미터를 사용하는 것을 포함할 수 있다. 예를 들어, 구조화 조명 파라미터는 하나 이상의 위상 이미지에 대해 예측될 수 있다. 또한, 주어진 위상 이미지에 대해 2이상의 위상, 주파수 및 배향이 예측될 수 있다.
도 12는 시간에 따른 구조화 조명 파라미터 변화를 보상하기 위해 SIM 이미징 시스템 하드웨어 구성요소의 예측된 구조화 조명 파라미터 조정을 이용하는 방법(1200)의 예시적인 동작 흐름도이다. 단계(1210)에서, 외삽법을 사용하여 구조화 조명 파라미터가 예측될 수 있다. 예를 들어, 구조화 조명 파라미터는 방법(1000)을 구현함으로써 미래의 시점에서 예측될 수 있다.
단계(1220)에서, SIM 이미징 장치의 기계적 및/또는 광학 구성소자는 적어도 예측된 구조화 조명 파라미터를 사용하여 조정될 수 있다. 예를 들어, 시점(T)에서의 예측된 위상 드리프트에 기초하여, 시간(T)에서의 위상 이미지 캡처 전에 SIM 이미징 시스템의 하드웨어 구성요소가 조정될 수 있다.
예를 들어, 광 구조화 광학 어셈블리(155)의 하나 이상의 구성요소는 SIM 이미징 시스템(100)에 대해 다가오는 시간에 대해 예측되는 위상 및/또는 배향 변화를 보상하도록 조정될 수 있다. 다른 예로서, 회전 미러(240A 또는 240B)는 SIM 이미징 시스템(200)에 대해 다가오는 시간에 대해 예측되는 위상 변화를 보상하도록 조정될 수 있다. 다른 예로서, 선형 병진이동 스테이지(530)는 SIM 이미징 시스템(500)에 대해 다가올 것으로 예측되는 위상 변화를 보상하도록 병진이동된다. 다른 예로서, SIM 이미징 시스템에 대해 예측되는 배향 변화는 샘플을 운반하는 병진 스테이지 및 광원으로부터 샘플까지의 광경로 중 하나 이상을 조정함으로써 보상될 수 있다.
일부 구현들에서, 구조화 조명 파라미터 예측을 위해 본 명세서에 설명된 기술들은 캡처된 이미지 샘플을 복수의 이미지 서브 섹션들로 분할함으로써 단일 캡처된 이미지 샘플에 적용될 수 있다. 예를 들어, 일부 구현들에서, 방법은 이미지 샘플을 획득하는 단계; 이미지 샘플을 복수의 이미지 서브 섹션(예를 들어, 3개 이상의 서브 섹션)으로 분할하는 단계; 복수의 이미지 서브 섹션의 제 1 이미지 서브 섹션을 사용하여 제 1 구조화 조명 파라미터를 추정하는 단계; 복수의 이미지 서브 섹션의 제 2 이미지 서브 섹션을 사용하여 제 2 구조화 조명 파라미터를 추정하는 단계; 및 적어도 제 1 이미지 서브 섹션으로부터의 구조화 조명 파라미터의 추정치 및 제 2 이미지 서브 섹션으로부터의 구조화 조명 파라미터의 추정치를 이용하여, 복수의 이미지 서브 섹션의 제 3 이미지 서브 섹션에 대응하는 구조화 조명 파라미터를 예측하는 단계를 포함한다. 제 3 이미지 서브 섹션에 대해 예측되는 구조화 조명 파라미터는 구조화 조명 위상, 주파수, 배향 또는 변조 차수 중 어느 하나 일 수 있다. 일부 구현들에서, 2개 이상의 이미지 서브 섹션들로부터 획득된 구조화 조명 파라미터들은 다른 이미지 서브 섹션에 대한 구조화 조명 파라미터를 예측하기 위해 사용될 수 있다. 예를 들어, 다른 이미지 서브 섹션에 대한 구조화 조명 파라미터를 예측하기 위해 추세 추정 함수 또는 다른 적절한 피팅 함수가 다른 이미지 서브 섹션으로부터의 알려진 추정치에 적용될 수 있다. 다른 구현들에서, 제 1 이미지 서브 섹션으로부터 획득된 구조화 조명 파라미터의 추정치는 제 2 이미지 서브 섹션에 대한 예측된 구조화 조명 파라미터로서 사용될 수 있다.
본 명세서에 기술된 보간 기술을 적용하면, 제 3 이미지 서브 섹션은 제 1 이미지 서브 섹션과 제 2 이미지 서브 섹션 사이의 공간(예를 들어, 샘플 위치) 또는 온도(예를 들어, 샘플 온도)의 한 지점에 놓일 수 있다. 예를 들어, 제 3 이미지 서브 섹션은 직교 축을 따라 제 1 이미지 서브 섹션과 제 2 이미지 서브 섹션 사이에 놓일 수 있다. 2차원 직교 공간에서, 서브 섹션은 이미지를 동일한 면적을 갖는 직사각형으로 분할하는 격자에 의해 정의될 수 있지만, 서브 섹션의 다른 정의도 가능하다. 다른 예로서, 제 3 이미지 서브 섹션은 제 1 이미지 서브 섹션의 샘플 온도보다 크지만 제 2 이미지 서브 섹션의 샘플 온도보다 낮은 샘플 온도일 수 있다.
본 명세서에 설명된 외삽 기술을 적용하면, 제 3 이미지 서브 섹션은 제 1 이미지 서브 섹션 및 제 2 이미지 서브 섹션 이후 또는 이전의 공간(예를 들어, 샘플 위치) 또는 온도(예를 들어, 샘플 온도)의 한 지점에 놓일 수 있다. 예를 들어, 제 3 이미지 서브 섹션은 직교 축을 따라 제 1 이미지 서브 섹션 및 제 2 이미지 서브 섹션 모두 뒤에 놓일 수 있다. 다른 예로서, 제 3 이미지 서브 섹션은 제 1 이미지 서브 섹션의 샘플 온도보다 낮고 제 2 이미지 서브 섹션의 샘플 온도보다 낮은 샘플 온도일 수 있다.
구현에서, 이미지의 다른 서브 섹션(들)에 대한 구조화 조명 파라미터를 예측하기 위해 이미지의 서브 섹션을 사용하는 이들 기술은 다른 이미지에 대한 구조화 조명 파라미터를 예측하기 위해 하나 이상의 이미지로부터 추정된 구조화 조명 파라미터를 사용하기 위한 본 명세서에 기술된 기술과 조합하여 사용될 수 있다.
본 명세서에 사용된 바와 같이, 구성요소라는 용어는 본 출원의 하나 이상의 구현에 따라 수행될 수 있는 주어진 기능성 단위를 설명할 수 있다. 본 명세서에서 사용되는 바와 같이, 컴포넌트는 임의의 형태의 하드웨어, 소프트웨어 또는 이들의 조합을 이용하여 구현될 수 있다. 예를 들어, 하나 이상의 프로세서, 컨트롤러, FPGA, CPU, GPU, ASIC, PLA, PAL, CPLD, 논리 구성요소, 소프트웨어 루틴 또는 기타 메커니즘이 구성요소를 구성하기 위해 구현될 수 있다. 구현에서, 여기에 설명된 다양한 구성요소는 개별 구성요소로서 구현될 수 있거나 설명된 기능 및 특징은 하나 이상의 구성요소 사이에 부분적으로 또는 전체적으로 공유될 수 있다. 다시 말해서, 본 명세서를 읽은 후 당업자에게 명백한 바와 같이, 본 명세서에 설명된 다양한 특징 및 기능은 임의의 주어진 애플리케이션에서 구현될 수 있고 다양한 조합 및 순열로 하나 이상의 개별 또는 공유 구성요소로 구현될 수 있다. 기능의 다양한 특징 또는 요소가 개별 구성요소로서 개별적으로 설명되거나 청구될 수 있지만, 당업자는 이러한 특징 및 기능이 하나 이상의 공통 소프트웨어 및 하드웨어 요소 사이에서 공유될 수 있다는 것을 이해할 것이며, 이러한 설명은 이러한 특징 또는 기능을 구현하기 위해 별도의 하드웨어 또는 소프트웨어 구성요소가 사용됨을 요구하거나 암시하는 것은 아니다.
도 13은 본 명세서에 개시된 방법의 다양한 특징을 구현하는데 사용될 수 있는 예시적인 컴퓨팅 컴포넌트(1300)를 도시한 것이다. 컴퓨팅 컴포넌트(1300)는 예를 들어 이미징 장치; 데스크탑 및 랩탑; 휴대용 컴퓨팅 디바이스(태블릿, 스마트 폰 등); 메인 프레임, 슈퍼 컴퓨터, 워크 스테이션 또는 서버; 또는 주어진 애플리케이션 또는 환경에 바람직하거나 적절할 수 있는 임의의 다른 유형의 특수용 또는 범용 컴퓨팅 디바이스 내에서 발견된 컴퓨팅 또는 프로세싱 능력을 나타낼 수 있다. 컴퓨팅 컴포넌트(1300)는 또한 주어진 디바이스 내에 내장되거나 또는 그렇지 않으면 이용 가능한 계산 능력을 나타낼 수 있다. 본 명세서에서 사용되는 "컴퓨팅 디바이스"라는 용어는 컴퓨팅 컴포넌트의 하드웨어를 지칭할 수 있다.
컴퓨팅 컴포넌트(1300)는 예를 들어 하나 이상의 프로세서, 컨트롤러, 컨트롤 컴포넌트, 또는 프로세서(1304)와 같은 다른 처리 장치를 포함할 수 있다. 프로세서(1304)는 예를 들어, 마이크로 프로세서, 컨트롤러 또는 기타 컨트롤 로직과 같은 범용 또는 특수용 엔진을 사용하여 구현될 수 있다. 프로세서(1304)는 컴퓨팅 장치의 한 유형일 수 있다. 도시된 예에서, 프로세서(1304)는 버스(1302)에 연결되지만, 임의의 통신 매체는 컴퓨팅 컴포넌트(1300)의 다른 컴포넌트와의 상호 작용을 용이하게 하거나 외부와 통신하기 위해 사용될 수 있다.
컴퓨팅 컴포넌트(1300)는 또한 본 명세서에서 간단히 메인 메모리(1308)로 지칭되는 하나 이상의 메모리 컴포넌트를 포함할 수 있다. 예를 들어, 바람직하게는 랜덤 액세스 메모리(RAM) 또는 다른 동적 메모리가 정보 및 프로세서(1304)에 의해 실행될 명령어를 저장하기 위해 사용될 수 있다. 메인 메모리(1308)는 또한 프로세서(1304)에 의해 실행될 명령어의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하는데 사용될 수 있다. 컴퓨팅 컴포넌트(1300)는 마찬가지로 정적 정보 및 프로세서(1304)에 대한 명령어를 저장하기 위해 버스(1302)에 결합된 읽기 전용 메모리("ROM") 또는 다른 정적 저장장치를 포함할 수 있다.
컴퓨팅 컴포넌트(1300)는 또한 예를 들어 매체 드라이브(1312) 및 저장 유닛 인터페이스(1320)를 포함할 수 있는 하나 이상의 다양한 형태의 정보 저장 메커니즘(1310)을 포함할 수 있다. 매체 드라이브(1312)는 고정식 또는 이동식 저장 매체(1314)를 지원하기 우한 드라이브 또는 다른 메커니즘을 포함할 수 있다. 예를 들어, 하드 디스크 드라이브, 솔리드 스테이트 드라이브, 광 디스크 드라이브, CD, DVD 또는 BLU-RAY 드라이브(R 또는 RW) 또는 기타 이동식 또는 고정식 매체 드라이브가 제공될 수 있다. 따라서, 저장 매체(1314)는 예를 들어, 하드 디스크, 솔리드 스테이트 드라이브, 카트리지, 광 디스크, CD, DVD, BLU-RAY, 또는 매체 드라이브(1312)에 의해 읽히거나, 기록되거나 액세스되는 기타 이동식 또는 고정식 매체 드라이브를 포함할 수 있다. 이들 예가 예시하는 바와 같이, 저장 매체(1314)는 컴퓨터 소프트웨어 또는 데이터가 저장된 컴퓨터 사용 가능한 저장 매체를 포함할 수 있다.
대안적인 실시예에서, 정보 저장 메커니즘(1310)은 컴퓨터 프로그램 또는 다른 명령어 또는 데이터가 컴퓨팅 컴포넌트(1300)에 로딩될 수 있게 하는 다른 유사한 수단을 포함할 수 있다. 이러한 수단은 예를 들어 고정식 또는 이동식 저장 유닛(1322) 및 인터페이스(1320)를 포함할 수 있다. 이러한 저장 유닛(1322) 및 인터페이스(1320)의 예는 프로그램 카트리지 및 카트리지 인터페이스, 이동식 메모리(예를 들어, 플래시 메모리 또는 기타 이동식 메모리 구성요소) 및 메모리 슬롯, PCMCIA 슬롯 및 카드, 및 소프트웨어 및 데이터가 이동식 저장 유닛(1322)으로부터 컴퓨팅 컴포넌트(1300)로 전송될 수 있게 하는 기타 고정식 또는 이동식 저장 유닛(1322) 및 인터페이스(1320)를 포함할 수 있다.
컴퓨팅 컴포넌트(1300)는 또한 통신 인터페이스(1324)를 포함할 수 있다. 통신 인터페이스(1324)는 소프트웨어 및 데이터가 컴퓨팅 컴포넌트(1300)와 외부 장치 사이에서 전송될 수 있게 하는데 사용될 수 있다. 통신 인터페이스(1324)의 예는 PCI(Peripheral Component Interconnect Express) 인터페이스, 모뎀 또는 소프트모뎀, (이더넷, 네트워크 인터페이스 카드, WiMedia, IEEE 802.XX 또는 기타 인터페이스와 같은) 네트워크 인터페이스, BLUETOOTH 인터페이스, (예를 들어, USB 포트, USB-C 포트, THUNDERBOLT 포트 또는 기타 포트와 같은) 통신 포트 또는 기타 통신 인터페이스와 같은 주변 장치 인터페이스를 포함할 수 있다. 통신 인터페이스(1324)를 통해 전송된 소프트웨어 및 데이터는 전형적으로 전자, 전자기(광학 포함) 또는 주어진 통신 인터페이스(1324)에 의해 교환될 수 있는 다른 신호일 수 있는 신호를 통해 전달될 수 있다. 이들 신호는 채널(1328)을 통해 통신 인터페이스(1324)에 제공될 수 있다. 이 채널(1328)은 신호를 전달할 수 있고 유선 또는 무선 통신 매체를 사용하여 구현될 수 있다. 채널의 일부 예는 전화선, 셀룰러 링크, RF 링크, 광 링크, 네트워크 인터페이스, 근거리 또는 광역 네트워크 및 기타 유무선 통신 채널을 포함할 수 있다.
본 문서에서, "컴퓨터 판독 가능 매체", "컴퓨터 사용 가능 매체" 및 "컴퓨터 프로그램 매체"라는 용어는 예를 들어, 메모리, 저장장치 및 미디어와 같이 휘발성 또는 비휘발성의 비일시적 매체를 일반적으로 지칭하기 위해 사용된다. 이들 및 다른 다양한 형태의 컴퓨터 프로그램 매체 또는 컴퓨터 사용 가능 매체는 하나 이상의 명령들의 하나 이상의 시퀀스를 실행을 위한 처리 장치로 전달하는 데 관여할 수 있다. 매체에 구현된 이러한 명령어는 일반적으로 (컴퓨터 프로그램 또는 다른 그룹의 형태로 그룹화될 수 있는) "컴퓨터 프로그램 코드" 또는 "컴퓨터 프로그램 제품"으로 지칭된다.
다양한 예시적인 구현 및 구현의 관점에서 위에서 설명되었지만, 하나 이상의 개별 구현에서 설명된 다양한 특징, 태양 및 기능은 이들이 기술된 특정 구현에 대한 적용에 국한되지 않고, 대신 그러한 구현이 기술되는지 여부와 그러한 특징이 기술된 구현의 일부로서 제공되는지의 여부에 관계없이, 단독으로 또는 다양한 조합으로, 애플리케이션의 다른 구현들 중 하나 이상에 적용될 수 있다는 것을 이해해야 한다. 따라서, 본 출원의 폭 및 범위는 상술된 예시적인 구현들 중 어느 하나에 국한되지 않아야 한다.
달리 명시되지 않는 한, 본 문서에 사용된 용어 및 문구 및 그 변형은 제한이 아니라 개방된 것으로 해석되어야 한다. 상기의 예로서: "포함하는"이라는 용어는 "제한없이 포함하는" 등을 의미하는 것으로 이해되어야 하고; "예"라는 용어는 그 전체 목록 또는 제한 목록이 아니라 논의중인 항목의 일부 예를 제공하기 위해 사용되며; "a" 또는 "an"이라는 용어는 "적어도 하나", "하나 이상" 등을 의미하는 것으로 이해되어야 하고; "전통적", "종래적", "일반적", "표준의", "기지(旣知)의"와 같은 형용사 및 유사한 의미의 용어는 주어진 기간 또는 주어진 시간으로서 현재 사용 가능한 항목으로 제한되는 것으로 해석되지 않아야 하며 대신에 현재 또는 미래에 언제든지 이용 가능하거나 알려진 기존의, 전통적, 일반적 또는 표준 기술을 포괄하도록 읽혀져야 한다. 마찬가지로, 이 문서가 당업자에게 명백하거나 알려진 기술을 언급하는 경우, 이러한 기술은 현재 또는 미래에 언제든지 당업자에게 명백하거나 알려진 기술을 포함한다.
일부 경우에 "하나 이상", "적어도", "그러나 이에 국한되지 않는" 또는 다른 유사한 문구와 같은 확장형 단어 및 문구의 존재는 그러한 확장형 문구가 없을 수 있는 경우에 더 좁은 경우가 의도되거나 요구되는 것을 의미하는 것으로 해석되지 않아야 한다.
또한, 본 명세서에 제시된 다양한 구현은 예시적인 블록도, 흐름도 및 다른 예시의 관점에서 설명된다. 본 명세서를 읽은 후 당업자에게 명백한 바와 같이, 예시된 구현 및 그들의 다양한 대안은 예시된 예에 국한됨이 없이 구현될 수 있다. 예를 들어, 블록 다이어그램 및 해당 설명은 특정 아키텍처 또는 구성을 요구하는 것으로 해석되지 않아야 한다.
청구범위를 포함하여 본 개시 전반에 걸쳐 사용된 "실질적으로" 및 "약"이라는 용어는 처리에 있어 변화로 인한 작은 변동을 기술하고 설명하기 위해 사용된다. 예를 들어, 이들은 ±5% 이하, 예컨대 ±2% 이하, 예컨대 ±1% 이하, 예컨대 ±0.5% 이하, 예컨대 ±0.2 % 이하, 예컨대 ±0.1 % 이하, 예컨대 ±0.05 % 이하를 나타낼 수 있다.
적용 가능한 범위에서, 본 명세서에서 "제 1", "제 2", "제 3"등의 용어는 이들 용어에 의해 설명된 각각의 목적을 별개의 실체로서 나타내기 위해 사용되며 명시적으로 다르게 명시되지 않는 한 연대순의 의미를 수반하는 것으로 의도되어 있지 않다.
본 개시의 다양한 구현들을 상술하였지만, 이들은 제한이 아니라 단지 예로서 제시된 것으로 이해되어야 한다. 마찬가지로, 다양한 다이어그램은 본 개시에 대한 예시적인 아키텍처 또는 다른 구성을 도시할 수 있으며, 이는 본 개시에 포함될 수 있는 특징 및 기능을 이해하는 것을 돕기 위해 행해진다. 본 개시는 도시된 예시적인 아키텍처 또는 구성으로 국한되는 것이 아니라, 다양한 대안적인 아키텍처 및 구성을 사용하여 원하는 대안적인 특징이 구현될 수 있다. 실제로, 대안적인 기능적, 논리적 또는 물리적 분할 및 구성이 본 개시의 원하는 특징을 구현하기 위해 어떻게 구현될 수 있는지가 당업자에게 명백할 것이다. 또한, 본 명세서에 도시된 것 이외의 다수의 상이한 구성 모듈 이름이 다양한 부분에 적용될 수 있다. 또한, 흐름도, 동작 설명 및 방법 청구 범위와 관련하여, 본 명세서에 제시된 단계의 순서는 문맥이 달리 지시하지 않는 한 인용된 기능을 수행하기 위해 다양한 구현이 동일한 순서로 구현되도록 요구하지 않아야 한다.
본 개시가 다양한 예시적인 구현 및 구현의 관점에서 위에서 설명되었지만, 하나 이상의 개별 구현에서 설명된 다양한 특징, 태양 및 기능은 이들이 기술된 특정 구현에 대한 적용에 국한되지 않고, 대신 그러한 구현이 기술되는지 여부와 그러한 특징이 기술된 구현의 일부로서 제공되는지의 여부에 관계없이, 단독으로 또는 다양한 조합으로, 애플리케이션의 다른 구현들 중 하나 이상에 적용될 수 있다는 것을 이해해야 한다. 따라서, 본 출원의 폭 및 범위는 상술된 예시적인 구현들 중 어느 하나에 국한되지 않아야 한다.
(이러한 개념이 서로 일치하지 않는 경우) 상술한 개념의 모든 조합이 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려된다는 것을 이해해야 한다. 특히, 본 개시의 말미에 나타난 청구된 주제의 모든 조합은 본 명세서에 개시된 본 발명의 주제의 일부인 것으로 고려된다.
Claims (20)
- 구조화 조명 시스템이, 샘플의 제 1 이미지를 캡처하는 단계;
컴퓨팅 디바이스가, 적어도 캡처된 상기 제 1 이미지를 사용하여 제 1 구조화 조명 파라미터를 추정하는 단계;
구조화 조명 시스템이, 샘플의 제 2 이미지를 캡처하는 단계;
컴퓨팅 디바이스가, 캡처된 상기 제 2 이미지를 사용하여 제 2 구조화 조명 파라미터를 추정하는 단계; 및
컴퓨팅 디바이스가, 적어도 상기 제 1 구조화 조명 파라미터 또는 상기 제 2 구조화 조명 파라미터를 사용하여 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하고,
상기 제 3 구조화 조명 파라미터는 제 3 이미지에 대응하며,
상기 제 3 구조화 조명 파라미터를 예측하는 단계는 적어도 제 1 구조화 조명 파라미터 또는 제 2 구조화 조명 파라미터에 최소 자승 피팅(least-squares fit)을 적용하는 단계를 포함하는, 방법. - 제 1 항에 있어서,
상기 제 1 이미지는 제 1 시간에 캡처되고, 상기 제 2 이미지는 상기 제 1 시간 후 제 2 시간에 캡처되며, 상기 제 3 이미지는 상기 제 1 시간과 상기 제 2 시간 사이의 제 3 시간에 캡처되고,
상기 제 3 구조화 조명 파라미터를 예측하는 단계는 제 3 시간에 보간법을 사용하여 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하는 방법. - 제 1 항에 있어서,
컴퓨팅 디바이스가, 제 1 시간에서의 제 1 구조화 조명 파라미터로부터 제 2 시간에서의 제 2 구조화 조명으로의 변화율을 결정하는 단계; 및
적어도 상기 결정된 변화율을 사용하여, 컴퓨팅 디바이스가, 제 3 시간에서의 제 3 구조화 조명 파라미터를 예측하는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
컴퓨팅 디바이스가, 적어도 상기 제 3 이미지 및 상기 제 3 구조화 조명 파라미터를 사용하여 고해상도 이미지를 구성하는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
상기 제 1 이미지는 제 1 시간에 캡처되고, 상기 제 2 이미지는 상기 제 1 시간 이후에 제 2 시간에 캡처되며, 상기 제 3 이미지는 상기 제 1 시간 및 제 2 시간 이후의 제 3 시간에 캡처되고, 상기 제 3 구조화 조명 파라미터를 예측하는 단계는 제 3 시간에 적어도 외삽법을 이용하여 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하는 방법. - 제 5 항에 있어서,
상기 제 3 시간에 상기 제 3 이미지를 캡처하기 전에 구조화 조명 파라미터의 변화를 보상하기 위해, 적어도 상기 제 3 구조화 조명 파라미터를 사용하여 상기 구조화 조명 시스템의 하드웨어 구성요소를 조정하는 단계를 더 포함하는 방법. - 제 6 항에 있어서,
상기 하드웨어 구성요소를 조정하는 단계는: 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 회전 미러를 조정하는 단계; 또는 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 회절격자를 운반하는 병진 스테이지를 조정하는 단계; 또는 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 샘플 병진 스테이지를 조정하는 단계를 포함하는 방법. - 제 1 항에 있어서,
구조화 조명 시스템의 메모리에 제 1 구조화 조명 파라미터, 제 2 구조화 조명 파라미터 및 제 3 구조화 조명 파라미터를 저장하는 단계: 및
저장된 제 1 구조화 조명 파리미터, 저장된 제 2 구조화 조명 파라미터, 저장된 제 3 구조화 조명 파라미터, 또는 상기 구조화 조명 시스템의 공지의 물리적 특성에 기초한 저장된 값 중 하나 이상을 사용하여, 제 4 이미지용의 제 4 구조화 조명 파라미터에 대한 검색 공간을 감소시키는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
샘플의 제 1 이미지는 제 1 샘플 온도에서 캡처되고;
제 1 구조화 조명 파라미터는 상기 제 1 샘플 온도에서 추정되며;
샘플의 제 2 이미지는 제 2 샘플 온도에서 캡처되고;
제 2 구조화 조명 파라미터는 상기 제 2 샘플 온도에서 추정되며;
제 3 구조화 조명 파라미터를 예측하는 단계는 제 3 샘플 온도에서 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하는 방법. - 제 1 항에 있어서,
샘플의 제 1 이미지를 복수의 이미지 서브 섹션으로 분할하는 단계;
적어도 상기 복수의 이미지 서브 섹션 중 제 1 이미지 서브 섹션을 사용하여, 컴퓨팅 디바이스가 제 4 구조화 조명 파라미터를 추정하는 단계;
적어도 상기 복수의 이미지 서브 섹션 중 제 2 이미지 서브 섹션을 사용하여, 컴퓨팅 디바이스가 제 5 구조화 조명 파라미터를 추정하는 단계; 및
적어도 상기 제 4 구조화 조명 파라미터 또는 상기 제 5 구조화 조명 파라미터를 사용하여, 컴퓨팅 디바이스가 상기 복수의 이미지 서브 섹션의 제 3 이미지 서브 섹션에 대응하는 제 6 구조화 조명 파라미터를 예측하는 단계를 더 포함하는 방법. - 제 1 항에 있어서,
샘플의 제 1 이미지를 복수의 이미지 서브 섹션으로 분할하는 단계;
적어도 상기 복수의 이미지 서브 섹션 중 제 1 이미지 서브 섹션을 사용하여, 컴퓨팅 디바이스가 제 4 구조화 조명 파라미터를 추정하는 단계; 및
복수의 이미지 서브 섹션의 제 2 이미지 서브 섹션의 예측된 구조화 조명 파라미터로서 추정된 제 4 구조화 조명 파라미터를 이용하는 단계를 더 포함하는 방법. - 프로세서에 의한 실행시, 구조화 조명 시스템으로 하여금:
샘플의 제 1 이미지를 캡처하는 단계;
적어도 캡처된 상기 제 1 이미지를 사용하여 제 1 구조화 조명 파라미터를 추정하는 단계;
샘플의 제 2 이미지를 캡처하는 단계;
적어도 캡처된 상기 제 2 이미지를 사용하여 제 2 구조화 조명 파라미터를 추정하는 단계; 및
적어도 상기 제 1 구조화 조명 파라미터 또는 제 2 구조화 조명 파라미터를 사용하여, 제 3 이미지에 대응하는 제 3 구조화 조명 파라미터를 예측하는 단계의 동작들을 수행하게 하는 실행 가능한 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체로서,
상기 제 3 구조화 조명 파라미터를 예측하는 단계는 적어도 제 1 구조화 조명 파라미터 또는 제 2 구조화 조명 파라미터에 최소 자승 피팅(least-squares fit)을 적용하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 매체. - 제 12 항에 있어서,
상기 제 1 이미지는 제 1 샘플 위치에서 캡처되고, 상기 제 2 이미지는 제 2 샘플 위치에서 캡처되며, 상기 제 3 이미지는 상기 제 1 샘플 위치 및 제 2 샘플 위치 사이의 제 3 샘플 위치에 캡처되고,
상기 제 3 구조화 조명 파라미터를 예측하는 단계는 적어도 보간법을 이용하여 제 3 샘플 위치에서 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 매체. - 제 13 항에 있어서,
상기 보간법은:
제 1 샘플 위치에서의 제 1 구조화 조명 파라미터로부터 제 2 샘플 위치에서의 제 2 구조화 조명 파라미터로의 변화율을 결정하는 단계; 및
적어도 상기 결정된 변화율을 사용하여, 제 3 샘플 위치에서 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 매체. - 제 12 항에 있어서,
상기 동작들은 적어도 상기 제 3 이미지 및 상기 제 3 구조화 조명 파라미터를 사용하여 고해상도 이미지를 구성하는 단계를 더 포함하는 비일시적 컴퓨터 판독 가능 매체. - 제 12 항에 있어서,
제 1 이미지는 제 1 샘플 위치에서 캡처되고, 제 2 이미지는 제 2 샘플 위치에서 캡처되며, 제 3 이미지는 상기 제 1 샘플 위치 및 상기 제 2 샘플 위치 전이나 이후에 제 3 샘플 위치에서 캡처되고,
상기 제 3 구조화 조명 파라미터를 예측하는 단계는 상기 제 3 샘플 위치에서 적어도 외삽법을 사용하여 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 매체. - 제 16 항에 있어서,
상기 동작들은 제 3 샘플 위치에서 제 3 이미지를 캡처하기 전에 구조화 조명 파라미터에서의 변화를 보상하도록 적어도 제 3 구조화 조명 파라미터를 사용하여 구조화 조명 시스템의 하드웨어 구성요소를 조정하는 단계를 더 포함하는 비일시적 컴퓨터 판독 가능 매체. - 제 17 항에 있어서,
상기 하드웨어 구성요소를 조정하는 단계는: 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 회전 미러를 조정하는 단계; 또는 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 회절격자를 운반하는 병진 스테이지를 조정하는 단계; 또는 구조화 조명 패턴의 위상 또는 배향을 조정하기 위해 샘플 병진 스테이지를 조정하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 매체. - 제 12 항에 있어서,
상기 동작들은:
구조화 조명 시스템의 메모리에 제 1 구조화 조명 파라미터, 제 2 구조화 조명 파라미터 및 제 3 구조화 조명 파라미터를 저장하는 단계; 및
저장된 제 1 구조화 조명 파리미터, 저장된 제 2 구조화 조명 파라미터, 저장된 제 3 구조화 조명 파라미터, 또는 구조화 조명 시스템의 공지의 물리적 특성에 기초한 저장된 값 중 하나 이상을 사용하여 제 4 이미지용의 제 4 구조화 조명 파라미터에 대한 검색 공간을 감소시키는 단계를 더 포함하는 비일시적 컴퓨터 판독 가능 매체. - 광을 방출하는 광이미터;
샘플면 상에 구조화 조명 패턴을 투영하기 위해 상기 광이미터에 의해 방출된 광을 분할하는 빔 스플리터;
프로세서; 및
상기 프로세서에 의한 실행시, 구조화 조명 이미징 시스템으로 하여금:
샘플의 제 1 이미지를 캡처하는 단계;
적어도 캡처된 상기 제 1 이미지를 사용하여 제 1 구조화 조명 파라미터를 추정하는 단계;
샘플의 제 2 이미지를 캡처하는 단계;
적어도 캡처된 상기 제 2 이미지를 사용하여 제 2 구조화 조명 파라미터를 추정하는 단계; 및
적어도 상기 제 1 구조화 조명 파라미터 또는 상기 제 2 구조화 조명 파라미터를 사용하여, 제 3 이미지에 대응하는 제 3 구조화 조명 파라미터를 예측하는 단계를 포함하는 동작들을 수행하게 하는 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독 가능 매체를 포함하는 구조화 조명 이미징 시스템으로서,
상기 제 3 구조화 조명 파라미터를 예측하는 단계는 적어도 제 1 구조화 조명 파라미터 또는 제 2 구조화 조명 파라미터에 최소 자승 피팅(least-squares fit)을 적용하는 단계를 포함하는, 구조화 조명 이미징 시스템.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862692303P | 2018-06-29 | 2018-06-29 | |
| US62/692,303 | 2018-06-29 | ||
| KR1020197038431A KR102329661B1 (ko) | 2018-06-29 | 2019-06-20 | 구조화 조명 파라미터 예측 |
| PCT/US2019/038293 WO2020005718A1 (en) | 2018-06-29 | 2019-06-20 | Predicting structured illumination parameters |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197038431A Division KR102329661B1 (ko) | 2018-06-29 | 2019-06-20 | 구조화 조명 파라미터 예측 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210143332A true KR20210143332A (ko) | 2021-11-26 |
| KR102422076B1 KR102422076B1 (ko) | 2022-07-18 |
Family
ID=68987431
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217037455A KR102422076B1 (ko) | 2018-06-29 | 2019-06-20 | 구조화 조명 파라미터 예측 |
| KR1020197038431A KR102329661B1 (ko) | 2018-06-29 | 2019-06-20 | 구조화 조명 파라미터 예측 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197038431A KR102329661B1 (ko) | 2018-06-29 | 2019-06-20 | 구조화 조명 파라미터 예측 |
Country Status (17)
| Country | Link |
|---|---|
| US (3) | US10831012B2 (ko) |
| EP (1) | EP3814824A4 (ko) |
| JP (2) | JP6909315B2 (ko) |
| KR (2) | KR102422076B1 (ko) |
| CN (2) | CN115308893B (ko) |
| AU (2) | AU2019283788B2 (ko) |
| BR (1) | BR112019027945B8 (ko) |
| CA (1) | CA3065029C (ko) |
| IL (1) | IL271419B (ko) |
| MX (1) | MX2019014804A (ko) |
| MY (1) | MY201229A (ko) |
| NZ (1) | NZ760225A (ko) |
| RU (1) | RU2740050C9 (ko) |
| SA (1) | SA520410974B1 (ko) |
| SG (1) | SG11201913694RA (ko) |
| TW (2) | TWI718557B (ko) |
| WO (1) | WO2020005718A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10901202B2 (en) * | 2018-09-19 | 2021-01-26 | Illumina, Inc. | Structured illumination of a sample |
| WO2021158642A1 (en) * | 2020-02-03 | 2021-08-12 | Arizona Board Of Regents On Behalf Of The University Of Arizona | System and method for measuring distorted illumination patterns and correcting image artifacts in structured illumination imaging |
| CN111580260B (zh) * | 2020-05-12 | 2023-08-01 | 西安交通大学 | 一种高速光学三维光切片显微系统及方法 |
| CN112730354B (zh) * | 2020-12-14 | 2022-11-01 | 南方科技大学 | 一种结构光成像方法、成像图及在生化检测中的应用 |
| CN113433681B (zh) * | 2021-06-25 | 2023-03-24 | 清华大学 | 结构光照明显微成像系统、方法 |
| CN114169224A (zh) * | 2021-11-15 | 2022-03-11 | 歌尔股份有限公司 | 获取光栅结构数据的方法、装置及可读存储介质 |
| KR102599457B1 (ko) * | 2022-08-03 | 2023-11-08 | 한국기초과학지원연구원 | 구조조명을 생성하는 현미경 장치 및 이의 동작 방법 |
| CN116045836B (zh) * | 2023-04-03 | 2023-06-02 | 成都太科光电技术有限责任公司 | 一种Φ1200mm极大口径平面光学干涉测试装置 |
| CN116774417B (zh) * | 2023-08-25 | 2023-10-27 | 长春理工大学 | 一种基于级联柔性光栅的多点激光扫描显微镜系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050280832A1 (en) * | 2000-08-10 | 2005-12-22 | Johnson Kenneth C | Database interpolation method for optical measurement of diffractive microstructures |
| JP2009098215A (ja) * | 2007-10-12 | 2009-05-07 | Nikon Corp | 顕微鏡装置、及び顕微鏡装置における位相変化量の算出方法。 |
| JP2012504252A (ja) * | 2008-09-30 | 2012-02-16 | カール ツァイス マイクロイメージング ゲーエムベーハー | 構造化照明を備えた顕微鏡法のための改良された方法および装置 |
| KR20150138226A (ko) * | 2013-04-04 | 2015-12-09 | 일리노이즈 툴 워크스 인코포레이티드 | 나선 컴퓨터 단층 촬영 |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3856986A (en) | 1968-12-06 | 1974-12-24 | American Express Invest | Scanned holography systems using temporal modulation |
| US4213706A (en) | 1977-08-19 | 1980-07-22 | The University Of Arizona Foundation | Background compensating interferometer |
| US5761085A (en) | 1996-11-12 | 1998-06-02 | The United States Of America As Represented By The Secretary Of The Navy | Method for monitoring environmental parameters at network sites |
| US6188478B1 (en) | 1998-10-21 | 2001-02-13 | Philips Electronics North America Corporation | Method and apparatus for film-thickness measurements |
| US7274446B2 (en) | 2001-04-07 | 2007-09-25 | Carl Zeiss Jena Gmbh | Method and arrangement for the deep resolved optical recording of a sample |
| DE10131508A1 (de) * | 2001-07-02 | 2003-01-16 | Leica Microsystems | Verfahren und Mikroskop zur Detektion eines Objekts |
| JP5048899B2 (ja) | 2001-09-28 | 2012-10-17 | オリンパス株式会社 | 顕微鏡 |
| US6947127B2 (en) | 2001-12-10 | 2005-09-20 | Carl Zeiss Jena Gmbh | Arrangement for the optical capture of excited and/or back scattered light beam in a sample |
| KR100489431B1 (ko) | 2002-06-28 | 2005-05-12 | 학교법인연세대학교 | 스캔식 위상천이 3차원 형상측정 장치 및 측정 방법 |
| US7324214B2 (en) * | 2003-03-06 | 2008-01-29 | Zygo Corporation | Interferometer and method for measuring characteristics of optically unresolved surface features |
| US7376079B2 (en) | 2003-05-28 | 2008-05-20 | Symbol Technologies, Inc. | Backup cell controller |
| JP2005080181A (ja) | 2003-09-03 | 2005-03-24 | Nikon Corp | 画像読み取り装置および画像読み取りプログラム |
| WO2005043197A2 (en) | 2003-10-28 | 2005-05-12 | University Of Maryland, Baltimore | Spatial light modulator apparatus and method |
| US20050221351A1 (en) | 2004-04-06 | 2005-10-06 | Affymetrix, Inc. | Methods and devices for microarray image analysis |
| CN1292227C (zh) | 2005-07-12 | 2006-12-27 | 中国科学院上海光学精密机械研究所 | 高分辨数字干涉仪空间分辨率的标定方法 |
| US20080158668A1 (en) * | 2005-10-07 | 2008-07-03 | Nikon Corporation | Microscope and Image Generation Method |
| JPWO2007043382A1 (ja) * | 2005-10-07 | 2009-04-16 | 株式会社ニコン | 顕微鏡装置及び画像生成方法 |
| WO2007061632A2 (en) | 2005-11-09 | 2007-05-31 | Geometric Informatics, Inc. | Method and apparatus for absolute-coordinate three-dimensional surface imaging |
| US7803609B2 (en) | 2006-07-21 | 2010-09-28 | Affymetrix, Inc. | System, method, and product for generating patterned illumination |
| DE102006044229B4 (de) | 2006-09-20 | 2023-09-28 | Carl Zeiss Microscopy Gmbh | Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters |
| DE102006047912A1 (de) | 2006-10-06 | 2008-04-10 | Carl Zeiss Microimaging Gmbh | Verfahren und Anordnung zur parallelisierten mikroskopischen Bildgebung |
| EP2093601B1 (en) | 2006-12-12 | 2013-03-13 | Nikon Corporation | Microscope device and image processing method |
| WO2009009081A2 (en) | 2007-07-10 | 2009-01-15 | Massachusetts Institute Of Technology | Tomographic phase microscopy |
| US8759077B2 (en) | 2007-08-28 | 2014-06-24 | Lightspeed Genomics, Inc. | Apparatus for selective excitation of microparticles |
| US8222040B2 (en) | 2007-08-28 | 2012-07-17 | Lightspeed Genomics, Inc. | Nucleic acid sequencing by selective excitation of microparticles |
| US8509879B2 (en) | 2007-11-06 | 2013-08-13 | The Regents Of The University Of California | Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging |
| US20090219607A1 (en) | 2008-01-17 | 2009-09-03 | Baylor College Of Medicine | Method and apparatus for enhanced resolution microscopy of living biological nanostructures |
| DE102008009216A1 (de) | 2008-02-13 | 2009-08-20 | Carl Zeiss Microimaging Gmbh | Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe |
| EP2110697B1 (en) * | 2008-04-17 | 2016-02-10 | Ruprecht-Karls-Universität Heidelberg | Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions |
| US9465228B2 (en) | 2010-03-19 | 2016-10-11 | Optical Biosystems, Inc. | Illumination apparatus optimized for synthetic aperture optics imaging using minimum selective excitation patterns |
| US8502867B2 (en) | 2010-03-19 | 2013-08-06 | Lightspeed Genomics, Inc. | Synthetic aperture optics imaging method using minimum selective excitation patterns |
| US8796185B2 (en) | 2011-03-08 | 2014-08-05 | Lightspeed Genomics, Inc. | Self-assembling high density ordered patterned biomolecule array and method for making and using the same |
| NL2008414A (en) * | 2011-03-21 | 2012-09-24 | Asml Netherlands Bv | Method and apparatus for determining structure parameters of microstructures. |
| US8817362B2 (en) | 2011-04-29 | 2014-08-26 | Lightspeed Genomics, Inc. | Modular pattern illumination and light beam multiplexing for selective excitation of microparticles |
| JP5849231B2 (ja) * | 2012-04-23 | 2016-01-27 | パナソニックＩｐマネジメント株式会社 | 表面形状測定装置及び方法 |
| EP4220256A1 (en) | 2015-03-16 | 2023-08-02 | Pacific Biosciences of California, Inc. | Analytical system comprising integrated devices and systems for free-space optical coupling |
| US20180045937A1 (en) * | 2016-08-10 | 2018-02-15 | Zeta Instruments, Inc. | Automated 3-d measurement |
| JP7305611B2 (ja) | 2017-03-17 | 2023-07-10 | アプトン バイオシステムズ インコーポレイテッド | 配列決定および高分解能画像化の方法 |
| NL2020620B1 (en) * | 2018-01-16 | 2019-07-25 | Illumina Inc | Pattern angle spatial selection structured illumination imaging |
-
2019
- 2019-06-13 TW TW108120487A patent/TWI718557B/zh active
- 2019-06-13 TW TW110100820A patent/TWI792150B/zh active
- 2019-06-20 MY MYPI2019007779A patent/MY201229A/en unknown
- 2019-06-20 EP EP19817112.6A patent/EP3814824A4/en active Pending
- 2019-06-20 US US16/447,729 patent/US10831012B2/en active Active
- 2019-06-20 KR KR1020217037455A patent/KR102422076B1/ko active IP Right Grant
- 2019-06-20 CA CA3065029A patent/CA3065029C/en active Active
- 2019-06-20 WO PCT/US2019/038293 patent/WO2020005718A1/en active Application Filing
- 2019-06-20 RU RU2019140878A patent/RU2740050C9/ru active
- 2019-06-20 KR KR1020197038431A patent/KR102329661B1/ko active IP Right Grant
- 2019-06-20 AU AU2019283788A patent/AU2019283788B2/en active Active
- 2019-06-20 JP JP2019571743A patent/JP6909315B2/ja active Active
- 2019-06-20 BR BR112019027945A patent/BR112019027945B8/pt active IP Right Grant
- 2019-06-20 SG SG11201913694RA patent/SG11201913694RA/en unknown
- 2019-06-20 CN CN202210923324.7A patent/CN115308893B/zh active Active
- 2019-06-20 CN CN201980003321.8A patent/CN111108425B/zh active Active
- 2019-06-20 NZ NZ760225A patent/NZ760225A/en unknown
- 2019-12-12 IL IL271419A patent/IL271419B/en unknown
- 2019-12-29 MX MX2019014804A patent/MX2019014804A/es unknown
-
2020
- 2020-01-06 SA SA520410974A patent/SA520410974B1/ar unknown
- 2020-11-05 US US17/090,775 patent/US11119302B2/en active Active
-
2021
- 2021-07-02 JP JP2021110726A patent/JP6984065B2/ja active Active
- 2021-08-06 US US17/396,478 patent/US11525993B2/en active Active
- 2021-09-06 AU AU2021229139A patent/AU2021229139B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050280832A1 (en) * | 2000-08-10 | 2005-12-22 | Johnson Kenneth C | Database interpolation method for optical measurement of diffractive microstructures |
| JP2009098215A (ja) * | 2007-10-12 | 2009-05-07 | Nikon Corp | 顕微鏡装置、及び顕微鏡装置における位相変化量の算出方法。 |
| JP2012504252A (ja) * | 2008-09-30 | 2012-02-16 | カール ツァイス マイクロイメージング ゲーエムベーハー | 構造化照明を備えた顕微鏡法のための改良された方法および装置 |
| KR20150138226A (ko) * | 2013-04-04 | 2015-12-09 | 일리노이즈 툴 워크스 인코포레이티드 | 나선 컴퓨터 단층 촬영 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102329661B1 (ko) | 구조화 조명 파라미터 예측 | |
| KR102303506B1 (ko) | 멀티-암 구조화 조명 이미징 | |
| KR102312777B1 (ko) | 패턴 각도 공간 선택 구조화 조명 이미징 | |
| KR102308470B1 (ko) | 이중 광학격자 슬라이드 구조화 조명 이미징 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |