KR20220110589A - 다중 형광 인시튜 하이브리드화 이미지들의 획득 및 프로세싱을 위한 시스템 및 방법 - Google Patents

다중 형광 인시튜 하이브리드화 이미지들의 획득 및 프로세싱을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220110589A
KR20220110589A KR1020227024710A KR20227024710A KR20220110589A KR 20220110589 A KR20220110589 A KR 20220110589A KR 1020227024710 A KR1020227024710 A KR 1020227024710A KR 20227024710 A KR20227024710 A KR 20227024710A KR 20220110589 A KR20220110589 A KR 20220110589A
Authority
KR
South Korea
Prior art keywords
image
images
instructions
pixel
view
Prior art date
Application number
KR1020227024710A
Other languages
English (en)
Inventor
윈-칭 창
단 시에
클로에 킴
Original Assignee
어플라이드 머티어리얼스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어플라이드 머티어리얼스, 인코포레이티드 filed Critical 어플라이드 머티어리얼스, 인코포레이티드
Publication of KR20220110589A publication Critical patent/KR20220110589A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/10—Signal processing, e.g. from mass spectrometry [MS] or from PCR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6813—Hybridisation assays
    • C12Q1/6841—In situ hybridisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G16B50/40—Encryption of genetic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N2021/755—Comparing readings with/without reagents, or before/after reaction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N21/03—Cuvette constructions
    • G01N21/05—Flow-through cuvettes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/127—Calibration; base line adjustment; drift compensation
    • G01N2201/12746—Calibration values determination
    • G01N2201/12761—Precalibration, e.g. for a given series of reagents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

형광 인시튜 하이브리드화 이미징 시스템은 내포 루프들로서, 다음을 수행하는데: (1) 밸브가 복수의 상이한 시약 소스들에 플로우 셀을 순차적으로 결합하여 복수의 상이한 시약들에 샘플을 노출시키고, (2) 복수의 상이한 시약들의 각각의 시약에 대해, 모터가 복수의 상이한 시야들에서 샘플에 대해 형광 현미경을 순차적으로 포지셔닝하고, (3) 복수의 상이한 시야들의 각각의 시야에 대해, 가변 주파수 여기 광원이 복수의 상이한 파장들을 순차적으로 방출하고, (4) 복수의 상이한 파장들의 각각의 파장에 대해, 액추에이터가 복수의 상이한 수직 높이들에서 샘플에 대해 형광 현미경을 순차적으로 포지셔닝하고, 그리고 (5) 복수의 상이한 수직 높이들의 각각의 수직 높이에 대해, 이미지가 획득된다.

Description

다중 형광 인시튜 하이브리드화 이미지들의 획득 및 프로세싱을 위한 시스템 및 방법
본 명세서는 다중 형광 인시튜 하이브리드화 이미징(multiplexed fluorescence in-situ hybridization imaging)에 관한 것이다.
생물학적 샘플― 예컨대, 조직 절제술, 생검, 배양균에서 성장된 셀들 ― 내에서 다수의 생물학적 피분석물들― 예컨대, DNA, RNA 및 단백질 ―을 시각화하고 정량화하기 위한 방법들을 개발하는 것이 생명 공학 커뮤니티 및 제약 산업에 큰 관심사이다. 과학자들은 질병을 진단/모니터링하고, 바이오마커(biomarker)들을 검증하고, 치료를 조사하기 위해 그러한 방법들을 사용한다. 현재까지, 예시적인 방법들은 생물학적 샘플에 대한 기능적 도메인으로 표기된 항체들 또는 올리고뉴클레오타이드(oligonucleotide)들(예컨대, RNA 또는 DNA)의 다중 이미징을 포함한다.
다중 형광 인시튜 하이브리드화(mFISH: multiplexed fluorescence in-situ hybridization) 이미징은 공간 전사체학(spatial transcriptomics)에서 유전자 발현을 결정하기 위한 강력한 기법이다. 간단히 말해서, 샘플은 관심 있는 RNA를 표적으로 하는 다수의 올리고뉴클레오타이드 프로브(probe)들에 노출된다. 이러한 프로브들은, 상보적인 형광 표기된 프로브들이 샘플에 도입될 때, 상이한 RNA 종(species)들을 구별할 수 있게 할 상이한 표기 방식들을 갖는다. 이어서, 상이한 파장들의 여기 광에 대한 노출로 형광 이미지들의 순차적인 라운드(round)들이 획득된다. 각각의 주어진 픽셀에 대해, 여기 광의 상이한 파장들에 대한 상이한 이미지들로부터의 형광 강도들이 신호 시퀀스를 형성한다. 그런 다음, 이 시퀀스는 각각의 코드를 유전자와 연관시키는 코드북으로부터의 참조 코드들의 라이브러리와 비교된다. 최상의 매칭의 참조 코드가 이미지의 해당 픽셀에서 발현되는 연관된 유전자를 식별하는 데 사용된다.
일 양상에서, 형광 인시튜 하이브리드화 이미징 시스템은, 시약 내의 형광 프로브들에 노출될 샘플을 포함할 플로우 셀, 복수의 시약 소스들 중 하나로부터 플로우 셀로의 유동을 제어하기 위한 밸브, 플로우 셀을 통한 유체 유동을 야기하기 위한 펌프, 가변 주파수 여기 광원, 및 샘플로부터 형광 방출된 광(fluorescently emitted light)을 수신하도록 포지셔닝된 카메라를 포함하는 형광 현미경, 플로우 셀과 형광 현미경 사이에 상대적인 수직 운동을 야기하기 위한 액추에이터, 플로우 셀과 형광 현미경 사이에 상대적인 측 방향 운동을 야기하기 위한 모터, 및 제어 시스템을 포함한다. 제어 시스템은 내포(nested) 루프들로서, 복수의 상이한 시약들에 샘플을 노출시키기 위해 밸브가 복수의 상이한 시약 소스들에 플로우 셀을 순차적으로 결합하게 하고, 복수의 상이한 시약들의 각각의 시약에 대해, 모터가 복수의 상이한 시야들에서 샘플에 대해 형광 현미경을 순차적으로 포지셔닝하게 하고, 복수의 상이한 시야들의 각각의 시야에 대해, 가변 주파수 여기 광원이 복수의 상이한 파장들을 순차적으로 방출하게 하고, 복수의 상이한 파장들의 각각의 파장에 대해, 액추에이터가 복수의 상이한 수직 높이들에서 샘플에 대해 형광 현미경을 순차적으로 포지셔닝하게 하고, 그리고 복수의 상이한 수직 높이들의 각각의 수직 높이에 대해, 개개의 파장에 의해 여기되는 개개의 시약의 개개의 형광 프로브들을 갖는 샘플의 개개의 시야를 커버하는 개개의 수직 높이에서 이미지를 획득하도록 구성된다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 액추에이터는 압전 액추에이터일 수 있다. 데이터 프로세싱 시스템은 각각의 이미지에 대한 이미지 품질 값을 결정하도록 그리고 이미지 품질 값이 품질 임계치를 충족하는 데 실패한다면 이미지를 차단(screen)하도록 구성될 수 있다. 이미지 품질 값은 선명도 품질 값 또는 밝기 품질 값일 수 있다. 카메라는 CMOS 카메라일 수 있다.
다른 양상에서, 형광 인시튜 하이브리드화 이미징 및 분석 시스템은, 시약 내의 형광 프로브들에 노출될 샘플을 포함할 플로우 셀, 이미징 파라미터들의 복수의 상이한 조합들에서 샘플의 복수의 이미지들을 순차적으로 수집하기 위한 형광 현미경, 및 데이터 프로세싱 시스템을 포함한다. 데이터 프로세싱 시스템은, 이미지들이 수집될 때 형광 현미경으로부터 이미지들을 순차적으로 수신하고, 즉석(on-the-fly) 이미지 사전 프로세싱을 수행하여 이미지의 실험 아티팩트들을 제거하고 RNA 이미지 스폿 선명화를 제공하도록 구성된 온라인 사전 프로세싱 시스템, 및 복수의 이미지들이 수집된 후에, 동일한 시야를 갖는 이미지들의 정합(registration)을 수행하고, 복수의 이미지들 내의 강도 값들을 디코딩하여 발현된 유전자들을 식별하도록 구성된 오프라인 프로세싱 시스템을 포함한다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 데이터 프로세싱 시스템은 선명도 품질 값 또는 밝기 품질 값을 결정하도록 구성될 수 있다. 선명도 품질 값은 이미지에 걸쳐 이미지 밝기의 그라디언트(gradient)의 절대 값을 통합함으로써 결정될 수 있다. 선명도 품질 값이 최소 선명도 값을 초과한다면, 이미지 품질 값이 임계치를 충족하는 것으로 결정될 수 있다. 밝기 품질 값은 이미지에 걸쳐 이미지 밝기를 통합함으로써 결정될 수 있다. 밝기 품질 값이 최소 밝기 값을 초과한다면, 이미지 품질 값이 임계치를 충족하는 것으로 결정될 수 있다.
다른 양상에서, 형광 인시튜 하이브리드화 이미징 시스템은 시약 내의 형광 프로브들에 노출될 샘플을 포함할 플로우 셀, 형광 현미경 및 제어 시스템을 포함한다. 형광 현미경은 샘플을 조명하기 위한 가변 주파수 여기 광원, 필터 휠 상의 복수의 방출 대역 통과 필터들, 필터 휠을 회전시키기 위한 액추에이터, 및 필터 휠 상의 필터를 통과한 샘플로부터 형광 방출된 광을 수신하도록 포지셔닝된 카메라를 포함한다. 제어 시스템은 가변 주파수 여기 광원이 선택된 파장을 갖는 광 빔을 방출하게 하고, 액추에이터가 필터 휠을 회전시켜 샘플과 카메라 사이의 광 경로에 선택된 필터를 포지셔닝하게 하고, 카메라로부터 이미지를 획득하고, 그리고 이미지가 획득된 경우, 선택된 파장에 의해 여기될 때 선택된 필터가 형광 프로브들에 의한 방출과 연관된 방출 통과 대역을 갖도록 가변 주파수 여기 광원과 필터 휠을 조정하도록 구성된다.
다른 양상에서, 컴퓨터 프로그램 제품은 하나 이상의 프로세서들로 하여금, 복수의 필터링된 이미지들을 생성하도록 복수의 이미지들의 각각의 이미지에 하나 이상의 필터들을 적용하고 각각의 이미지에 대해 디컨볼루션(deconvolution)을 수행하게 하고, 복수의 정합되고 필터링된 이미지들을 생성하도록 복수의 필터링된 이미지들의 정합을 수행하게 하고, 복수의 정합되고 필터링된 이미지들의 적어도 2개의 픽셀들의 각각의 픽셀에 대해, 픽셀에 대한 복수의 정합되고 필터링된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 픽셀을 디코딩하게 하고, 그리고 적어도 2개의 픽셀들의 각각의 픽셀에 대해, 코드 워드와 연관된 유전자를 결정하고 그 유전자가 픽셀에서 발현된다는 표시를 저장하게 하기 위한 명령들을 갖는다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 이미지에 대한 밝기 값들의 히스토그램을 결정하고 히스토그램의 변위치(quantile) 한계에서 밝기 값을 결정함으로써 임계치를 결정하기 위한 명령들이 있을 수 있다. 변위치 한계는 99.5% 이상, 예컨대 99.9% 이상일 수 있다. 하나 이상의 필터들을 적용하기 위한 명령들은 저역 통과 필터를 적용하기 위한 명령들을 포함할 수 있다. 디컨볼루션을 수행하기 위한 명령들은 2D 점 확산 함수로 디컨볼루트하기 위한 명령들을 포함할 수 있다.
다른 양상에서, 컴퓨터 프로그램 제품은 샘플의 복수의 초기 이미지들을 수신하기 위한 명령들을 가지며, 복수의 초기 이미지들은 공통 시야를 공유한다. 복수의 초기 이미지들의 각각의 초기 이미지에 대해, 초기 이미지는 동일한 크기의 복수의 서브-이미지들로 분할되고, 서브-이미지의 크기와 동일한 크기의 조합된 이미지가 복수의 서브-이미지들로부터 계산됨으로써 복수의 축소 크기 이미지들이 생성되며, 복수의 이미지들의 각각의 이미지는 대응하는 축소 크기 이미지를 갖고, 복수의 축소 크기 이미지들 중 적어도 하나의 축소 크기 이미지들에 대해, 복수의 축소 크기 이미지들을 정합하기 위한 변환이 결정되고, 적어도 하나의 축소 크기 이미지들 각각에 대해, 축소 크기 이미지에 대해 결정된 변환이 대응하는 초기 이미지에 적용되어 초기 이미지와 동일한 크기의 변환된 이미지가 생성되고 이로써 복수의 변환된 이미지들이 생성되며, 그리고 복수의 변환된 이미지들의 적어도 2개의 픽셀들의 각각의 픽셀에 대해, 픽셀에 대한 복수의 변환된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 픽셀이 디코딩된다. 적어도 2개의 픽셀들의 각각의 픽셀에 대해, 코드 워드와 연관된 유전자가 결정되고, 그 유전자가 픽셀에서 발현된다는 표시가 저장된다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 초기 이미지를 복수의 서브-이미지들로 분할하기 위한 명령들은 복수의 열들 및 복수의 행들을 갖는 직사각형 그리드로 초기 이미지를 분할하기 위한 명령들을 포함할 수 있다. 직사각형 그리드는 동일한 수의 열들 및 행들을 가질 수 있다. 초기 이미지는 정확히 N개의 이미지들로 분할될 수 있으며, 여기서 N=Z2이고 Z는 짝수 정수이다. N은 2일 수 있다. 서브-이미지들은 1024×1024 픽셀들보다 크지 않은 크기를 가질 수 있다.
다른 양상에서, 컴퓨터 프로그램 제품은, 샘플의 공통 시야를 표현하는 복수의 이미지들을 수신하고, 복수의 정합된 이미지들을 생성하도록 복수의 이미지들의 정합을 수행하고, 정합된 이미지들의 복수의 픽셀들의 각각의 픽셀에 대해, 픽셀에 대한 복수의 정합된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 픽셀을 디코딩하고, 그리고 하나 이상의 픽셀들 및 하나 이상의 픽셀들의 각각의 픽셀에 대한 최상의 매칭으로서 식별된 각각의 코드 워드에 대해, 픽셀에 대한 이미지 워드에 대한 비트율(bit ratio)이 코드 워드에 대한 임계치를 충족하는지 여부를 결정하기 위한 명령들을 갖는다. 이미지 워드는 픽셀에 대한 복수의 정합된 이미지들의 데이터 값들로부터 형성된다. 임계치를 충족하는 것으로 결정되는 적어도 하나의 픽셀에 대해, 코드 워드와 연관된 유전자가 결정되고, 그 유전자가 픽셀에서 발현된다는 표시가 저장된다. 비트율이 임계치를 충족하지 않는 픽셀들은 차단된다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 임계치를 결정하는 것은, 샘플의 복수의 이미지들로부터의 비트 값들의 히스토그램에서 제1 변위치 한계의 값을 결정하는 것을 포함할 수 있다. 변위치 한계는 디폴트 값을 가질 수 있다. 임계치를 결정한 후에, 샘플의 복수의 이미지들로부터의 비트 값들의 히스토그램에서 상이한 제2 변위치 한계의 값을 결정함으로써, 업데이트된 임계치가 결정될 수 있다.
다른 양상에서, 컴퓨터 프로그램 제품은, 샘플의 공통 시야를 표현하는 복수의 이미지들을 수신하고, 복수의 정합된 이미지들을 생성하도록 복수의 이미지들의 정합을 수행하고, 정합된 이미지들의 복수의 픽셀들의 각각의 픽셀에 대해, 픽셀에 대한 복수의 정합된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 픽셀을 디코딩하고, 그리고 하나 이상의 픽셀들 및 하나 이상의 픽셀들의 각각의 픽셀에 대한 최상의 매칭으로서 식별된 각각의 코드 워드에 대해, 픽셀에 대한 이미지 워드에 대한 비트 밝기가 코드 워드에 대한 임계치를 충족하는지 여부를 결정하기 위한 명령들을 갖는다. 이미지 워드는 픽셀에 대한 복수의 정합된 이미지들의 데이터 값들로부터 형성된다. 임계치를 충족하는 것으로 결정되는 각각의 픽셀에 대해, 코드 워드와 연관된 유전자가 결정되고, 그 유전자가 픽셀에서 발현된다는 표시가 저장된다. 비트율이 임계치를 충족하지 않는 픽셀들은 차단된다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 임계치를 결정하는 것은, 샘플의 복수의 이미지들로부터의 비트 값들의 히스토그램에서 제1 변위치 한계의 값을 결정하는 것을 포함할 수 있다. 임계치를 결정한 후에, 샘플의 복수의 이미지들로부터의 비트 값들의 히스토그램에서 상이한 제2 변위치 한계의 값을 결정함으로써, 업데이트된 임계치가 결정될 수 있다.
다른 양상에서, 컴퓨터 프로그램 제품은, 샘플의 복수의 초기 이미지들을 수신하기 위한 명령들을 갖는다. 복수의 초기 이미지들은 복수의 상이한 시야들의 각각의 시야에 대한 다수의 이미지들을 포함한다. 시야에 대한 다수의 이미지들의 이미지 필터링 또는 시야에 대한 다수의 이미지들의 정합 중 하나 이상이 수행되는 이미지 프로세싱 알고리즘을 수행하기 위한 명령들이 저장된다. 각각의 시야에 대해, 하나 이상의 초기 파라미터 값들이 결정되며, 여기서 상이한 시야들은 상이한 초기 파라미터 값들을 갖는다. 이미지 프로세싱 알고리즘은 상이한 시야들에 대한 상이한 초기 디코딩 파라미터 값들을 사용하여 각각의 시야에 대해 수행된다. 하나 이상의 후속 디코딩 파라미터 값들이 결정되고, 상이한 시야들에 대해 동일한 후속 파라미터 값들을 사용하여 각각의 시야에 대해 이미지 프로세싱 알고리즘 및 디코딩 알고리즘이 수행되어 한 세트의 공간 전사체학 데이터가 생성된다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 이미지 프로세싱 알고리즘 및 디코딩 알고리즘은 시야에 대한 복수의 픽셀들의 각각의 픽셀에 대해, 복수의 최상의 매칭 코드 워드들을 생성하도록 복수의 이미지들에서 픽셀에 대한 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 픽셀을 디코딩할 수 있다. 각각의 시야에 대해, 각각의 픽셀 워드와 그 픽셀 워드에 대한 최상의 매칭 코드 워드 사이의 적합도(goodnesses of fit)가 결정될 수 있고, 이로써 각각의 시야에 대한 복수의 적합도들을 제공할 수 있다. 적합도를 결정하는 것은 픽셀 워드와 최상의 매칭 코드 워드 사이의 거리를 결정하는 것을 포함할 수 있다. 각각의 시야에 대해, 해당 시야에 대한 복수의 적합도들로부터 평균 적합도가 결정될 수 있고, 이로써 복수의 평균 적합도들을 제공할 수 있다.
다른 양상에서, 컴퓨터 프로그램 제품은 샘플의 복수의 초기 이미지들을 수신하기 위한 명령들을 가지며, 복수의 초기 이미지들은 복수의 상이한 시야들의 각각의 시야에 대한 다수의 이미지들을 포함한다. 각각의 시야에 대해, 시야에 대한 다수의 이미지들에 기반하여 한 세트의 공간 전사체학 데이터가 생성된다. 공간 전사체학 데이터의 각각의 세트는 하나 이상의 데이터 쌍들을 포함하며, 하나 이상의 데이터 쌍들의 각각의 데이터 쌍은 포지션 및 그 포지션에 대한 발현된 유전자를 포함한다. 인접한 시야들로부터의 다수의 이미지들의 중첩 구역들이 결정된다. 각각의 시야에 대한 한 세트의 공간 전사체학 데이터로부터, 복수의 상이한 시야들을 커버하는 조합된 이미지에 대해 조합된 세트의 공간 전사체학 데이터가 생성된다. 조합된 세트의 공간 전사체학 데이터를 생성할 때, 샘플 내의 동일한 위치에서 동일한 발현된 유전자를 나타내는, 상이한 시야들로부터의 적어도 하나의 이중 카운팅된 데이터 쌍이 차단된다.
구현들은 다음 특징들 중 하나 이상의 특징을 포함할 수 있다. 중첩 구역들을 결정하는 것은 각각의 행에 대해, 제1 FOV로부터의 제1 이미지와 인접한 제2 FOV로부터의 제2 이미지 사이의 수평 시프트 추정을 수행하는 것을 포함할 수 있다. 중첩 구역들을 결정하는 것은 각각의 행에 대해, 제1 FOV로부터의 제1 이미지와 인접한 제2 FOV로부터의 제2 이미지 사이의 수직 시프트 추정을 수행하는 것을 포함할 수 있다. 수평 시프트 추정 및 수직 시프트 추정은 각각 제1 이미지와 제2 이미지 사이의 상호 상관을 포함할 수 있다.
다른 양상에서, 컴퓨터 프로그램 제품은 샘플의 복수의 이미지들을 수신하기 위한 명령들을 가지며, 복수의 이미지들은 복수의 상이한 시야들의 각각의 시야에 대한 다수의 이미지들을 포함한다. 복수의 이미지들의 각각의 이미지 상에서, 이미지에 대해 이미지 품질 검사가 수행된다. 이미지 품질 검사를 수행한 후에, 복수의 이미지들의 각각의 이미지로부터 아티팩트들이 제거된다. 아티팩트들을 제거한 후에, 복수의 이미지들의 각각의 이미지에서 이미지 스폿들이 선명화된다. 이미지 스폿들을 선명화한 후에, 각각의 다수의 이미지들에 대해, 복수의 정합된 이미지들을 생성하도록 다수의 이미지들의 정합이 수행된다. 정합을 수행한 후에, 각각의 다수의 이미지들에 대해, 그리고 개개의 다수의 정합된 이미지들의 복수의 픽셀들의 각각의 픽셀에 대해, 픽셀에 대한 개개의 다수의 정합된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 픽셀이 디코딩된다.
구현들의 이점들은 다음 중 하나 이상을 포함할 수 있다(그러나 이에 제한되지 않음).
다중 형광 인시튜 하이브리드화(mFISH) 이미지들의 획득 및 유전자 발현을 결정하기 위한 후속 프로세싱은 산업적 채택에 적합한 방식으로 자동화될 수 있다. 다수의 FOV(field-of-view)들을 요구하는 큰 샘플 크기들은 균일한 이미지 품질로 프로세싱될 수 있다. 다중 샘플 또는 다중 모드 연구에서 런-투-런(run-to-run) 일관성이 개선될 수 있다. 상이한 시점들에 캡처된 동일한 FOV의 형광 이미지들은 개별 기준들을 사용하지 않고, 예컨대 기준 비드(bead)들을 요구하지 않고, 일부 종래 기법들보다 더 적은 계산 자원들을 사용하여 그리고 보다 정확하게 정합될 수 있다.
하나 이상의 실시예들의 세부사항들은 아래 첨부 도면들 및 상세한 설명에서 제시된다. 다른 특징들, 양상들 및 이점들은 설명, 도면들 및 청구항들로부터 자명해질 것이다.
도 1은 다중 형광 인시튜 하이브리드화 이미징을 위한 장치의 개략도이다.
도 2는 데이터 프로세싱 방법의 흐름도이다.
도 3은 상호 정보 알고리즘을 사용하는 이미지 정합 프로세스를 개략적으로 예시한다.
도 4는 이미지에서의 강도들의 로그 히스토그램이다.
도 5a는 수집된 이미지이다.
도 5b는 도 5a의 이미지로부터 생성된 마스크를 예시한다.
도 6a는 필터링되고 디컨볼루트된 이미지로부터의 강도들의 로그 히스토그램이다.
도 6b는 정규화 후의 강도들의 로그 히스토그램이다.
도 7은 디코딩 방법을 예시한다.
도 8a는 샘플 코드 워드에 대해 식별된 픽셀들에 대한 비트율들의 로그 히스토그램이다.
도 8b는 샘플 코드 워드에 대해 식별된 픽셀들에 대한 밝기의 로그 히스토그램이다.
도 9는 스티치(stitching) 방법의 흐름도이다.
도 10은 이미지 프로세싱이 즉석에서 수행되는 데이터 프로세싱 방법의 다른 구현의 흐름도이다.
다양한 도면들에서 유사한 참조 번호들 및 지정들은 유사한 엘리먼트들을 표시한다.
다중 형광 인시튜 하이브리드화(mFISH) 이미징이 강력한 기법이지만, 이는 지금까지 주로 학술적 맥락에서 사용되어왔다. 산업 맥락에서, 예컨대 제품화를 위해 의도된 제약들을 개발하기 위해 공간 전사체학을 위해 mFISH를 사용하여 연구를 수행하는 생명 공학 회사에 의한 공간 전사체학을 위한 기법의 사용은 다양한 문제들을 제기한다. 예를 들어:
Figure pct00001
시스템은 완전히 또는 거의 완전히 자동화되어, 사용자, 예컨대 생물학에는 익숙하지만 이미지 프로세싱 또는 소프트웨어 프로그래밍 기법들에는 익숙하지 않은 연구 과학자가 조사되고 있는 생물학적 양상들과 관련된 파라미터들을 단순히 입력하기만 하면 되고, 이미지 프로세싱과 관련된 결정들을 하거나 프로그래밍 전문 지식을 가질 필요가 없다. 그러한 자동화는 사실상 사소하지 않으며, 다양한 함정들을 포함한다.
Figure pct00002
현재의 최신 기술은 작은 샘플들에 적합한 작은 이미지 크기들을 갖는 일반적인 광학 현미경들로부터 샘플 이미지들을 취한다. 산업적 맥락에서 이용되는 샘플들은 더 클 수 있고, 완전히 이미징하기 위해 다수의 시야들을 요구할 수 있다. 그러한 다수의 FOV들은 수동으로 스티치될 수 있지만, 반자동 접근 방식들은 불량한 이미지 정합, 발현된 유전자들의 오버카운팅, 또는 스티치된 이미지의 상이한 구역들의 프로세싱에서의 불일치로 인한 신뢰성의 부족과 같은 가능한 문제들을 겪는다.
Figure pct00003
프로세스는 산업적으로 실현 가능하도록 충분히 높은 스루풋을 필요로 한다. 그러나 현재의 최신 기술은 상당한 이미징 시간이 걸리며, 데이터 분석에서 많은 수동 단계들을 필요로 한다. 대규모 생명 과학 및 임상 연구를 위해서는 더 높은 이미징 스루풋 및 품질 관리가 필요하다. 더욱이, 데이터 프로세싱의 확장성은 계산 시간에 의해 제한된다.
Figure pct00004
각각의 FOV가 개별적으로 프로세싱되기 때문에, 관심 구역에 걸쳐 상당한 변동이 발견될 수 있다. 추가로, 상이한 기기들로부터의 이미지들은 소프트웨어 파이프라인으로 전송되기 전에 잘 교정되고 변환될 필요가 있다. 종래에는, 시스템 또는 샘플 변동을 수용하기 위해 이미지 프로세싱 파라미터들이 수동으로 조정될 필요가 있다.
Figure pct00005
현재 솔루션들은 완벽한 이미지들에 대한 강력한 가정을 하며, 이는 실험 조건과 교정 방법 간에 갭을 생성한다.
위의 문제들 중 하나 이상을 해결할 수 있는 전체 아키텍처와 다양한 개별 컴포넌트들 및 단계들이 아래에서 논의된다.
일반적으로, 전체 아키텍처와 개별 컴포넌트들 및 단계들은 최소의 수동 단계들을 수반하는 엔드-투-엔드 mFISH 이미징 및 디코딩 프로세스를 가능하게 한다. 시스템은 완전 자동 하드웨어 아키텍처 및 즉석 이미지 프로세싱을 통합한다. 이 방법들은 피드백 제어, 이미지 교정 및 전역적 최적화를 포함한다. 엔드-투-엔드 프로세스 시간이 감소될 수 있고, 샘플당 스루풋이 증가될 수 있다. 이 장치는 산업 맥락에서 연구 과학자가 사용하기에 쉬울 수 있다. 제어 메트릭들은 다운스트림 분석 전에 데이터 품질을 보장할 수 있으며; 조기 검출이 샘플들의 낭비를 감소시킨다. 알고리즘은 균일하고 일관된 공간적 유전자 발현으로 큰 이미징 영역들에 대한 확장성을 가능하게 할 수 있다. 대규모 연구를 위한 데이터 정확도 및 반복성이 개선될 수 있으며; 결과들은 소프트웨어 패키지들에서 쉽게 해석되고 추가로 분석될 수 있다.
도 1을 참조하면, mFISH(multiplexed fluorescent in-situ hybridization) 이미징 및 이미지 프로세싱 장치(100)는 샘플(10)을 홀딩하기 위한 플로우 셀(110), 샘플(10)의 이미지들을 획득하기 위한 형광 현미경(120), 및 mFISH 이미징 및 이미지 프로세싱 장치(100)의 다양한 컴포넌트들의 동작을 제어하기 위한 제어 시스템(140)을 포함한다. 제어 시스템(140)은 제어 소프트웨어를 실행하는, 예컨대 메모리, 프로세서 등을 갖는 컴퓨터(142)를 포함할 수 있다.
형광 현미경(120)은 다수의 상이한 파장들의 여기 광(130)을 생성할 수 있는 여기 광원(122)을 포함한다. 특히, 여기 광원(122)은 상이한 시점들에 상이한 파장들을 갖는 협대역폭 광 빔들을 생성할 수 있다. 예를 들어, 여기 광원(122)은 다파장 연속파 레이저 시스템, 예컨대 상이한 파장들의 레이저 빔들을 생성하도록 독립적으로 활성화될 수 있는 다수의 레이저 모듈들(122a)에 의해 제공될 수 있다. 레이저 모듈들(122a)로부터의 출력은 공통 광 빔 경로로 멀티플렉싱될 수 있다.
형광 현미경(120)은 광원(122)으로부터 플로우 셀(110)로 여기 광을 지향시키기 위한 다양한 광학 컴포넌트들을 포함하는 현미경 바디(124)를 포함한다. 예를 들어, 광원(122)으로부터의 여기 광은 다중 모드 섬유에 결합되고, 한 세트의 렌즈들에 의해 다시 초점이 조정되고 확장된 다음, 코어 이미징 컴포넌트, 이를테면 높은 NA(numerical aperture) 대물 렌즈(136)에 의해 샘플 내로 지향될 수 있다. 여기 채널이 스위칭될 필요가 있을 때, 하나 이상의 마이크로컨트롤러들(144, 146)에 의해 달성된 디바이스들 간의 동기화로, 다수의 레이저 모듈들(122a) 중 하나는 비활성화될 수 있고, 다른 레이저 모듈(122a)은 활성화될 수 있다.
대물 렌즈(136) 또는 전체 현미경 바디(124)는 Z-드라이브 액추에이터에 결합된 수직 이동 가능한 마운트 상에 설치될 수 있다. 예컨대, Z-드라이브 액추에이터를 제어하는 마이크로컨트롤러(146)에 의한 Z-포지션의 조정은 초점 포지션의 미세 튜닝을 가능하게 할 수 있다. 대안으로 또는 추가로, 플로우 셀(110)(또는 플로우 셀(110) 내의 샘플을 지지하는 스테이지(118))은 Z-드라이브 액추에이터(118b), 예컨대 축 방향 피에조(piezo) 스테이지에 의해 수직으로 이동 가능할 수 있다. 그러한 피에조 스테이지는 정밀하고 신속한 다중 평면 이미지 획득을 가능하게 할 수 있다.
이미징될 샘플(10)이 플로우 셀(110)에 포지셔닝된다. 플로우 셀(110)은 약 2㎝ x 2㎝의 (현미경의 물체 또는 이미지 평면에 평행한) 단면적을 갖는 챔버일 수 있다. 샘플(10)은 플로우 셀 내의 스테이지(118) 상에 지지될 수 있고, 스테이지(또는 전체 플로우 셀)는 예컨대, XY 운동을 가능하게 하기 위해 한 쌍의 선형 액추에이터들(118a)에 의해 측 방향으로 이동 가능할 수 있다. 이는 상이한 횡 방향 오프셋 FOV(field of view)들에서 샘플(10)의 이미지들의 획득을 가능하게 한다. 대안으로, 현미경 바디(124)는 측 방향으로 이동 가능한 스테이지 상에서 운반될 수 있다.
플로우 셀(110)로의 입구는 한 세트의 하이브리드화 시약 소스들(112)에 연결된다. 어떤 시약(112a)이 플로우 셀(110)에 공급되는지를 선택하기 위해 소스들 간에 스위칭하도록 다중 밸브 포지셔너(114)가 제어기(140)에 의해 제어될 수 있다. 각각의 시약은 상이한 세트의 하나 이상의 올리고뉴클레오타이드 프로브들을 포함한다. 각각의 프로브는 상이한 관심 RNA 시퀀스를 타깃으로 하며, 파장들의 상이한 조합들에 의해 여기되는 상이한 세트의 하나 이상의 형광 재료들, 예컨대 인광체들을 갖는다. 시약들(112a)에 추가하여, 퍼지 유체(112b), 예컨대 탈이온수(DI water)의 소스가 존재할 수 있다.
플로우 셀(110)에 대한 출구는 펌프(116), 예컨대 연동 펌프에 연결되며, 이는 플로우 셀(110)을 통한 액체, 예컨대 시약 또는 퍼지 유체의 유동을 제어하도록 제어기(140)에 의해 또한 제어된다. 플로우 셀(110)로부터의 사용된 용액은 펌프(116)에 의해 화학 폐기물 관리 서브 시스템(119)으로 전달될 수 있다.
동작 시에, 제어기(140)는 광원(122)으로 하여금 여기 광(130)을 방출하게 하고, 이는 샘플(10) 내의 형광 재료의 형광, 예컨대 샘플 내의 RNA에 결합되고 여기 광의 파장에 의해 여기되는 프로브들의 형광을 야기한다. 방출된 형광 광(132)뿐만 아니라 역 전파 여기 광, 예컨대 샘플, 스테이지 등으로부터 산란된 여기 광이 현미경 바디(124)의 대물 렌즈(136)에 의해 수집된다.
수집된 광은 현미경 바디(124) 내의 다중 대역 이색성 미러(138)에 의해 필터링되어 역 전파 조명 광으로부터 방출된 형광 광을 분리할 수 있고, 방출된 형광 광은 카메라(134)로 전달된다. 다중 대역 이색성 미러(138)는 다양한 여기 파장들 하에서 프로브들로부터 예상되는 각각의 방출 파장에 대한 통과 대역을 포함할 수 있다. (다수의 이색성 미러들 또는 이동 가능 이색성 미러와 비교하여) 단일 다중 대역 이색성 미러의 사용은 개선된 시스템 안정성을 제공할 수 있다.
카메라(134)는 고해상도(예컨대, 2048×2048 픽셀) CMOS(예컨대, 과학용 CMOS) 카메라일 수 있고, 대물 렌즈의 아주 가까운 이미지 평면에 설치될 수 있다. 다른 카메라 타입들, 예컨대 CCD가 가능할 수 있다. 예컨대, 마이크로컨트롤러로부터의 신호에 의해 트리거될 때, 카메라로부터의 이미지 데이터가 캡처되어, 예컨대 이미지 프로세싱 시스템(150)으로 전송될 수 있다. 따라서 카메라(134)는 샘플로부터 이미지들의 시퀀스를 수집할 수 있다.
잔류 여기 광을 추가로 제거하고 여기 채널들 사이의 크로스토크를 최소화하기 위해, 각각의 레이저 방출 파장은 대응하는 대역 통과 방출 필터(128a)와 페어링될 수 있다. 각각의 필터(128a)는 10-50㎚, 예컨대 14-32㎚의 파장을 가질 수 있다. 일부 구현들에서, 필터는 예컨대, 프로브의 형광 재료가 긴 트레일링 스펙트럼 프로파일을 갖는다면, 여기로부터 기인하는 프로브의 형광 재료의 대역폭보다 더 좁다.
필터들은 액추에이터(127b)에 의해 회전 가능한 고속 필터 휠(128) 상에 설치된다. 필터 휠(128)은 이미징 경로에서 광학 수차를 최소화하도록 무한대 공간에 설치될 수 있다. 필터 휠(128)의 방출 필터를 통과한 후에, 세정된 형광 신호들은 튜브 렌즈에 의해 다시 초점이 맞춰지고 카메라(134)에 의해 캡처될 수 있다. 이색성 미러(138)는 대물 렌즈(136)와 필터 휠(128) 사이의 광 경로에 포지셔닝될 수 있다.
시스템의 고속의 동기화된 동작을 가능하게 하기 위해, 제어 시스템(140)은 조정된 방식으로 형광 현미경(120)의 컴포넌트들에 트리거 신호들, 예컨대 TTL 신호들을 전송하기 위해 이용되는 2개의 마이크로컨트롤러들(144, 146)을 포함할 수 있다. 첫 번째 마이크로컨트롤러(144)는 컴퓨터(142)에 의해 직접 실행되며, 상이한 컬러 채널들에서 방출 필터들(128a)을 스위칭하도록 필터 휠(128)의 액추에이터(128b)를 트리거한다. 첫 번째 마이크로컨트롤러(144)는 또한, 어떤 파장의 광이 샘플(10)에 전달되는지를 제어하기 위해 광원(122)에 디지털 신호들을 전송하는 두 번째 마이크로컨트롤러(146)를 트리거한다. 예를 들어, 두 번째 마이크로컨트롤러(146)는 어느 레이저 모듈이 활성인지를 제어하고, 그에 따라 여기 광에 대해 어느 파장의 광이 사용되는지를 제어하기 위해 광원(122)의 개별 레이저 모듈들에 온/오프 신호들을 전송할 수 있다. 새로운 여기 채널로의 스위칭의 완료 후에, 두 번째 마이크로컨트롤러(146)는 이미징 높이를 선택하도록 피에조 스테이지(116)에 대한 모터를 제어한다. 마지막으로, 두 번째 마이크로컨트롤러(146)는 이미지 획득을 위해 트리거 신호를 카메라(134)에 전송한다.
컴퓨터(142)와 장치(100)의 디바이스 컴포넌트들 사이의 통신은 제어 소프트웨어에 의해 조정된다. 이러한 제어 소프트웨어는 모든 디바이스 컴포넌트들의 드라이버들을 단일 프레임워크에 통합할 수 있고, 따라서 사용자가 (많은 디바이스들을 개별적으로 제어할 필요 없이) 단일 기구로서 이미징 시스템을 동작시킬 수 있게 할 수 있다.
제어 소프트웨어는 현미경의 상호 작용 동작들 및 이미징 결과들의 즉각적인 시각화를 지원한다. 추가로, 제어 소프트웨어는 사용자들이 자신들의 이미징 작업 흐름을 설계하고 자동화할 수 있게 하는 프로그래밍 인터페이스를 제공할 수 있다. 한 세트의 디폴트 작업 흐름 스크립트들이 스크립팅 언어로 지정될 수 있다.
일부 구현들에서, 제어 시스템(140)은 루프들에서 (단순히 "수집된 이미지들" 또는 단순히 "이미지들"로도 또한 지칭되는) 형광 이미지들을 (최내측 루프에서부터 최외측 루프까지) 다음의 순서로: z-축, 컬러 채널, 측 방향 포지션 및 시약 순으로, 즉 제어 소프트웨어 및/또는 작업 흐름 스크립트에 의해 획득하도록 구성된다.
이러한 루프들은 다음의 의사 코드로 표현될 수 있다:
Figure pct00006
z-축 루프의 경우, 제어 시스템(140)은 스테이지(118)가 다수의 수직 포지션들을 거쳐 나아가게 한다. 스테이지(118)의 수직 포지션이 압전 액추에이터에 의해 제어되기 때문에, 포지션들을 조정하는 데 필요한 시간이 짧고, 이 루프의 각각의 단계는 극도로 빠르다.
먼저, 샘플은 샘플을 관통하는 다수의 이미지 평면들이 바람직할 수 있을 정도로 충분히 두꺼울 수 있는데, 예컨대 수 미크론일 수 있다. 예를 들어, 셀들의 다수의 층들이 존재할 수 있거나, 심지어 셀 내에서 유전자 발현의 수직 변이가 존재할 수 있다. 더욱이, 얇은 샘플들의 경우, 초점면의 수직 포지션은 예컨대, 열 드리프트로 인해 미리 알려지지 않을 수 있다. 추가로, 샘플(10)은 플로우 셀(110) 내에서 수직으로 드리프트될 수 있다. 다수의 Z-축 포지션들에서의 이미징은 두꺼운 샘플 내의 셀들의 대부분이 커버되는 것을 보장할 수 있고, 얇은 샘플에서 최상의 초점 포지션을 식별하는 것을 도울 수 있다.
컬러 채널 루프의 경우, 제어 시스템(140)은 광원(122)으로 하여금 상이한 파장들의 여기 광을 거쳐 나아가게 한다. 예를 들어, 레이저 모듈들 중 하나가 활성화되고, 다른 레이저 모듈들은 비활성화되며, 샘플(10)과 카메라(134) 사이의 광의 광 경로 내로 적절한 필터를 가져오도록 방출 필터 휠(128)이 회전된다.
측 방향 포지션의 경우, 제어 시스템(140)은 샘플의 상이한 FOV(field of view)들을 획득하기 위해 광원(122)이 상이한 측 방향 포지션들을 거쳐 나아가게 한다. 예를 들어, 루프의 각각의 단계에서, 스테이지(118)를 지지하는 선형 액추에이터들은 스테이지를 측 방향으로 시프트하도록 구동될 수 있다. 일부 구현들에서, 제어 시스템(140)은 누적된 FOV들이 전체 샘플(10)을 커버하도록 단계들의 수 및 측 방향 운동을 선택한다. 일부 구현들에서, 측 방향 운동은 FOV들이 부분적으로 중첩하도록 선택된다.
시약의 경우, 제어 시스템(140)은 장치(100)로 하여금 다수의 상이한 이용 가능한 시약들을 거쳐 나아가게 한다. 예를 들어, 루프의 각각의 단계에서, 제어 시스템(140)은, 플로우 셀(110)을 퍼지 유체(112b)에 연결하도록 밸브(114)를 제어하고, 펌프(116)가 제1 시간 기간 동안 셀을 통해 퍼지 유체를 끌어당겨 현재 시약을 퍼지하게 한 다음, 상이한 새로운 시약에 플로우 셀(110)을 연결하도록 밸브(114)를 제어하고, 이어서 새로운 시약 내의 프로브들이 적절한 RNA 시퀀스들에 결합하기에 충분한 제2 시간 기간 동안 셀을 통해 새로운 시약을 끌어당길 수 있다. 플로우 셀을 퍼지하고 새로운 시약의 프로브들이 결합하는 데 약간의 시간이 요구되기 때문에, 시약들을 조정하는 데 필요한 시간은 측 방향 포지션, 컬러 채널 또는 z-축을 조정하는 것과 비교하여 가장 길다.
그 결과, z-축, 컬러 채널(여기 파장), 측 방향 FOV 및 시약에 대한 가능한 값들의 각각의 조합에 대해 형광 이미지가 획득된다. 최내측 루프는 가장 빠른 조정 시간을 갖고, 연속적으로 둘러싸는 루프들은 연속적으로 더 느린 조정 시간을 갖기 때문에, 이러한 구성은 이러한 파라미터들에 대한 값들의 조합에 대한 이미지들을 획득하기 위해 가장 시간 효율적인 기법을 제공한다.
데이터 프로세싱 시스템(150)은, 이미지들을 프로세싱하고 유전자 발현을 결정하여 공간 전사체학 데이터를 생성하는 데 사용된다. 최소한, 데이터 프로세싱 시스템(150)은 데이터 프로세싱 디바이스(152), 예컨대 컴퓨터 판독 가능 매체 상에 저장된 소프트웨어에 의해 제어되는 하나 이상의 프로세서들, 및 카메라(134)에 의해 획득된 이미지들을 수신하는 로컬 저장 디바이스(154), 예컨대 비휘발성 컴퓨터 판독 가능 매체를 포함한다. 예를 들어, 데이터 프로세싱 디바이스(152)는 GPU 프로세서들 또는 FPGA 보드들이 설치된 워크 스테이션일 수 있다. 데이터 프로세싱 시스템(150)은 또한 네트워크를 통해 원격 저장소(156)에, 예컨대 인터넷을 통해 클라우드 저장소에 연결될 수 있다.
일부 구현들에서, 데이터 프로세싱 시스템(150)은 이미지들이 수신됨에 따라 즉석 이미지 프로세싱을 수행한다. 특히, 데이터 획득이 진행 중인 동안, 데이터 프로세싱 디바이스(152)는, 저장 디바이스(154) 내의 이미지 데이터에 대해 수행될 수 있지만 전체 데이터 세트를 요구하지는 않는 이미지 사전 프로세싱 단계들, 이를테면 필터링 및 디컨볼루션을 수행할 수 있다. 필터링 및 디컨볼루션이 데이터 프로세싱 파이프라인에서 주요 병목 현상이기 때문에, 이미지 획득이 발생하고 있을 때의 사전 프로세싱은 오프라인 프로세싱 시간을 상당히 단축시킬 수 있고, 그에 따라 스루풋을 개선할 수 있다.
도 2는 모든 이미지들이 획득된 후에 프로세싱이 수행되는 데이터 프로세싱 방법의 흐름도를 예시한다. 프로세스는 시스템이 원시 이미지 파일들 및 지원 파일들을 수신하는 것으로 시작된다(단계(202)). 특히, 데이터 프로세싱 시스템은 카메라로부터의 원시 이미지들의 전체 세트, 예컨대 z-축, 컬러 채널(여기 파장), 측 방향 FOV 및 시약에 대한 가능한 값들의 각각의 조합에 대한 이미지를 수신할 수 있다.
추가로, 데이터 프로세싱 시스템은 기준 발현 파일, 예컨대 FPKM(fragments per kilobase of sequence per million mapped reads) 파일, 데이터 스키마 및 하나 이상의 얼룩 이미지들, 예컨대 DAPI 이미지들을 수신할 수 있다. 기준 발현 파일은 통상적인 시퀀스 결과들과 mFISH 결과들 간에 대조 검토하는 데 사용될 수 있다.
카메라로부터 수신된 이미지 파일들은 선택적으로, 이미지가 촬영된 하드웨어 파라미터 값들(이를테면, 스테이지 포지션들, 픽셀 크기들, 여기 채널들 등)인 메타데이터를 포함할 수 있다. 데이터 스키마는 이미지들이 적절한 순서로 하나 이상의 이미지 스택들에 배치되도록 하드웨어 파라미터들에 기반하여 이미지들을 정렬하기 위한 규칙을 제공한다. 메타데이터가 포함되지 않는다면, 데이터 스키마는 이미지들의 순서를 그 이미지를 생성하는 데 사용된 z-축, 컬러 채널, 측 방향 FOV 및 시약에 대한 값들과 연관시킬 수 있다.
얼룩 이미지들은 전사체 정보가 오버레이된 상태로 사용자에게 제시될 것이다.
수집된 이미지들은 불충분한 품질의 이미지들을 거르기 위해 보다 집중적인 프로세싱 전에 하나 이상의 품질 메트릭들을 겪게 될 수 있다(단계(203)). 품질 메트릭(들)을 충족하는 이미지들만이 추가 프로세싱을 위해 전달된다. 이는 데이터 프로세싱 시스템에 대한 프로세싱 로드를 상당히 감소시킬 수 있다.
초점 조정 실패들을 검출하기 위해, 각각의 수집된 이미지에 대해 선명도 품질 값이 결정될 수 있다. 일례로, 선명도 품질은 이미지에 대한 강도의 그라디언트를 합산함으로써 계산될 수 있다:
Figure pct00007
선명도 품질 값이 임계치 미만이라면, 그 이미지는 초점이 맞지 않는 것으로 식별될 수 있다. 임계치는 미리 설정된 경험적으로 결정된 값일 수 있거나, 임계치는 동일한 FOV를 갖는 이미지들에 대한 선명도 값들에 기반하여 계산될 수 있다. 예를 들어, 선명도 품질 값들의 표준 편차가 계산될 수 있고, 임계치는 표준 편차에 기초하여 설정될 수 있다.
위에서 언급된 바와 같이, 초점면의 z-축 포지션은 정확하게 알려지지 않을 수도 있다. 초점이 맞지 않는 이미지들은 걸러질 수 있다. 일부 구현들에서, 각각의 z-축 루프에서, 단일 이미지, 예컨대 최상의 선명도 품질을 갖는 이미지만이 유지된다. 일부 구현들에서, 단일의 각각의 z-축 루프로부터의 다수의 이미지들이 선명도 품질을 충족시킬 수 있고, 다수의 이미지들이 조합, 예컨대 혼합되어 단일 이미지를 형성한다.
관심 구역들을 검출하기 위해, 각각의 수집된 이미지에 대해 밝기 품질 값이 결정될 수 있다. 밝기 품질은 이미지에 임의의 셀들이 존재하는지 여부를 결정하는 데 사용될 수 있다. 예를 들어, 이미지 내의 모든 픽셀들의 강도 값들이 합산되어 임계치와 비교될 수 있다. 총계가 임계치 미만이라면, 이는 이미지에 본질적으로 아무것도 존재하지 않음, 즉 이미지에 어떠한 셀들도 존재하지 않으며, 관심 정보가 없고 이미지가 프로세싱될 필요가 없음을 표시할 수 있다. 다른 예로서, 이미지 내의 강도 값들의 표준 편차가 계산되어 임계치와 비교될 수 있다. 표준 편차가 임계치 미만이라면, 이는 이미지가 상당히 균일하고 여기된 프로브들을 나타내는 밝은 스폿들이 부족할 수 있음을 표시한다. 또, 그러한 수집된 이미지는 관심 정보를 갖지 않으며, 이미지가 프로세싱될 필요가 없다.
위의 2개의 품질 검사들은 예시이며, 다른 품질 메트릭들이 사용될 수 있다. 예를 들어, 스폿 품질을 측정하는 품질 메트릭이 사용될 수 있다.
다른 품질 검사는 하이브리드화 간 시프트(inter-hybridization shift)를 검출할 수 있다. 이미징 라운드들 사이에 상당한 샘플 드리프트가 발생한다면, 후속 정합은 신뢰할 수 없을 수 있다. 샘플 드리프트는 다양한 이미지 프로세싱 알고리즘들, 예컨대 위상 상관에 의해 검출될 수 있다. 특히, 수집된 이미지는 동일한 FOV에 대한 그러나 이전 시약에 대한 이미지와 비교될 수 있다. 이미지들이 충분히 상관되지 않는다면, 예컨대 임계 상관 관계를 충족하지 않는다면, 수집된 이미지는 관심 정보를 갖지 않으며, 이미지가 프로세싱될 필요가 없다.
다음으로, 실험 아티팩트들을 제거하도록 각각의 이미지가 프로세싱된다(단계(204)). 각각의 RNA 분자가 상이한 여기 채널들에서 프로브들과 여러 번 하이브리드화될 것이므로, 다중 채널, 다중 라운드 이미지 스택에 걸친 엄격한 정렬이 전체 FOV에 걸쳐 RNA 아이덴티티들을 드러내는 데 유리하다. 실험 아티팩트들을 제거하는 것은 필드 평탄화 및/또는 색수차 보정을 포함할 수 있다. 일부 구현들에서, 필드 평탄화는 색수차 보정 전에 수행된다.
여기 광에서의 조명 프로파일의 불완전성들(예컨대, FOV에 걸친 균일한 분포 대신에 가우시안 또는 다른 불균등한 분포들)은 FOV에 걸쳐 불균등한 형광 신호 레벨로 이어질 수 있으며, 이러한 공간 불균등성은 흔히 여기 채널들 사이에서 변한다. 그러한 불균일성은 조명 필드로부터 FOV에 걸친 형광 신호 레벨로 전달될 수 있고, 결과적으로 공간 전사체학 분석 결과들을 편향시킬 수 있다. 이러한 아티팩트를 제거하기 위해, FOV 내의 균일한 형광단(fluorophore) 밀도를 갖는 형광 타깃을 사용하여 각각의 컬러 채널에 대해 조명 프로파일, 예컨대 테스트 이미지가 측정된다. 그런 다음, 이러한 측정된 조명 프로파일들은 이미징 데이터에서 채널 특정 정규화 팩터들로서 사용된다. 예를 들어, 각각의 컬러 채널(즉, 측정될 각각의 방출 파장)에 대한 조명 프로파일은 정규화 이미지로서 저장될 수 있고, 컬러 채널에 대해 수집된 이미지 내의 각각의 픽셀에 대한 강도 값은 연관된 컬러 채널의 정규화 이미지 내의 대응하는 픽셀에 대한 강도 값으로 나뉜다.
색수차 보정은 상이한 방출 채널들에 걸쳐 변하는 광학 왜곡들을 설명한다. 즉, 프로브들이 상이한 파장들에 대해 측정되고 있기 때문에, 이미징 경로에서의 색수차들은 존재한다면, 다운스트림 분석 결과들을 상당히 저하시킬 수 있다. 이러한 잠재적인 하드웨어 결함에 대한 분석 결과들의 견고성을 유지하기 위해, 색수차 보정을 위한 소프트웨어 기반 솔루션이 데이터 프로세싱 파이프라인에서 제공될 수 있다. 특히, 알려진 패턴, 예컨대 직사각형 패턴의 형광 스폿들을 갖는 타깃을 사용하여 각각의 컬러 채널에 대해 테스트 이미지가 생성된다. 각각의 컬러 채널에 대해, 테스트 이미지의 측정된 스폿들을 알려진 패턴과 다시 정렬시키는 변환이 계산된다. 이러한 변환들이 저장되고, 통상의 동작에서 샘플의 이미지들이 수집되고 있을 때, 적절한 변환이 선택되며, 수집된 그 이미지에 대한 컬러 채널에 기반하여 각각의 수집된 이미지에 적용된다.
각각의 이미지는 RNA 이미지 스폿 선명화를 제공하도록 프로세싱된다(단계(206)). RNA 이미지 스폿 선명화는, 셀룰러 백그라운드를 제거하기 위한 필터들의 적용 및/또는 RNA 스폿들을 선명화하기 위한 점 확산 함수에 의한 디컨볼루션(deconvolution)을 포함할 수 있다.
비교적 밝은 백그라운드로부터 RNA 스폿들을 구별하기 위해, 저역 통과 필터가 이미지에, 예컨대 필드 평탄화되고 색채 보정된 이미지들에 적용되어, RNA 스폿들 주위의 셀룰러 백그라운드가 제거된다. 필터링된 이미지들은 2-D PSF(point spread function)로 추가로 디컨볼브(de-convolve)되어 RNA 스폿들이 선명화되고, 절반 픽셀 폭을 갖는 2-D 가우시안 커널로 컨볼브되어 스폿들이 약간 평활화된다.
특징들, 예컨대 셀들 또는 그 안의 셀 소기관(organelle)들을 정렬시키기 위해 동일한 FOV를 갖는 이미지들이 정합된다(단계(208)). 이미지 시퀀스들에서 RNA 종을 정확하게 식별하기 위해, 상이한 라운드들의 이미지들 내의 특징들이 예컨대, 서브-픽셀 정밀도로 정렬된다. 그러나 mFISH 샘플이 액상으로 이미징되고 전동화 스테이지에 의해 이리저리 이동되기 때문에, 수 시간의 긴 이미징 프로세스에 걸친 샘플 드리프트들 및 스테이지 드리프트들은 이미지 특징 시프트들로 변환될 수 있으며, 이는 해결되지 않고 방치된다면 전사체 분석을 약화시킬 수 있다. 다시 말해서, 플로우 셀 또는 지지부에 대한 형광 현미경의 정밀한 반복 가능 정렬을 가정하더라도, 샘플은 나중의 이미지에서 더는 동일한 위치에 있지 않을 수 있으며, 이는 디코딩에 에러들을 야기하거나 단순히 디코딩을 불가능하게 할 수 있다.
이미지들을 정합하기 위한 하나의 종래의 기법은 슬라이드 상의 캐리어 재료 내에 기준 마커들, 예컨대 형광 비드들을 배치하는 것이다. 일반적으로, 샘플 및 기준 마커 비드들은 대략 일제히 움직일 것이다. 이러한 비드들은 이미지에서 이들의 크기 및 형상에 기반하여 식별될 수 있다. 비드들의 포지션들의 비교는 2개의 이미지들의 정합, 예컨대 아핀 변환의 계산을 가능하게 한다.
그러나 형광 비드들 또는 유사한 기준 마커들을 사용하는 것이 아니라 단순히 이미지 내의 데이터를 사용하여 이미지들을 정합하는 것이 가능할 수 있다. 특히, 고강도 구역들은 일반적으로 동일한 FOV의 다수의 이미지들에 걸쳐 동일한 포지션에 위치되어야 한다. 이미지들 간의 정합을 위해 사용될 수 있는 기법들은 위상 상관 알고리즘들 및 MI(mutual-information) 알고리즘들을 포함한다. MI 알고리즘은 일반적으로 위상 상관 알고리즘들보다 더 정확하고 견고하다. 따라서 MI(mutual-information) 기반 드리프트 보정 방법이 정렬을 위해 사용될 수 있다. 그러나 정밀도는 높은 계산 시간을 희생시킬 수 있다.
도 3은 계산 로드를 감소시키면서 MI 정합 알고리즘의 높은 정밀도를 보존하는 동일한 FOV를 갖는 수집된 이미지들을 정렬하기 위해 상호 정보 알고리즘을 사용하기 위한 프로세스를 예시한다. 동일한 FOV를 갖는 수집된 이미지들의 세트는 원본 이미지 스택으로 간주될 수 있고; 스택 내의 이미지들의 순서는 위에서 논의된 데이터 스키마에 의해 설정된다. 이미지 스택의 각각의 수집된 이미지(302)는 예를 들어, 2048×2048 픽셀들일 수 있다. 일반적으로, 이러한 크기의 이미지에 대해 상호 정보 알고리즘을 수행하는 것은 과도한 계산 능력을 요구할 수 있다. 수집된 이미지(302)는 4개의 이미지 패치(patch)들(304a, 304b, 304c, 304d)로 균등하게 슬라이스된다. 각각의 수집된 이미지(302)가 2048×2048 픽셀들이라고 가정하면, 이미지 패치들은 1024×1024 픽셀들이다. 각각의 이미지 패치(304a, 304b, 304c, 304d)에는 위상 팩터(φ)가 곱해지고, 위상 시프트된 이미지 패치들은 중첩되고 합산되어 복소 이미지를 생성하며, 복소 이미지의 실수 부분과 허수 부분이 합산되어 합산된 이미지(306)를 생성한다. 이 합산된 이미지(306)는 원본 이미지(302)의 ¼ 크기를 가지며, 예컨대 1024×1024 픽셀들이다.
이 프로세스는 원본 이미지 스택 내의 각각의 원본 이미지(302)에 대해 반복되어, 감소된 측의 이미지들(306)의 스택(308)을 생성한다. 이어서, 스택(306) 내의 각각의 축소 이미지(306)에 대한 변환을 생성하도록 스택(308)을 사용하여 상호 정보 알고리즘이 수행된다. 변환은 평행 이동 및/또는 스케일링 변환을 포함할 수 있다. 원본 스택의 이미지들을 정렬하기 위해, 각각의 축소 이미지에 대해 결정된 변환이 원본 스택의 대응하는 수집된 이미지에 적용된다. 이는 원본 크기, 예컨대 2048×2048 픽셀들의 수집된 이미지들(310)의 스택(312)을 야기해야 하는데, 여기서는 동일한 FOV에 대한 이미지들(310)이 정렬된다.
이러한 슬라이스-중첩 전략은 이미지의 특징들의 대부분을 보존하고, 따라서 여전히 높은 정밀도를 가져야 하지만, 시프트 계산을 위한 임시 이미지 크기를 감소시키고, 그에 따라 감소된 계산 로드를 갖는다. 도 3 및 위의 논의는 원본 이미지의 상부 우측, 하부 우측, 상부 좌측 및 하부 좌측 사분면들에 대응하는 4개의 패치들로 분할하는 것에 초점을 맞추지만, 다른 수의 패치들이 사용될 수 있는데, 예컨대 패치들이 동일한 치수들을 갖는 한, 이미지는 다른 형상들, 예컨대 정사각형보다는 직사각형으로 분할될 수 있다. 예를 들어, 원본 이미지는 256x2048 픽셀들의 8개의 이미지 패치들로 분할될 수 있다. 일반적으로, 이미지는 복수의 열들 및 복수의 행들, 예컨대 동일한 수의 열들 및 행들을 갖는 직사각형 그리드로 분할될 수 있다. 이미지는 N개의 이미지들로 분할될 수 있으며, 여기서 N=Z2이고 Z는 짝수 정수이다(도 3의 예의 경우 N = 2).
도 2로 돌아가면, 단계(206)의 필터링 및 디컨볼루션 프로세스들이 개별 프레임들(즉, 비트들)에 대해 독립적으로 구현되기 때문에, 이러한 프로세스들은 단계(208)의 정합 전에 수행될 수 있다. 더욱이, 정합을 위해 사용되는 이미지 스택들은 RNA 스폿들의 공간적 특징들을 드러내도록 백그라운드 보정되고 선명해지기 때문에, 정합 정밀도가 개선될 수 있다. 후자의 이점을 검증하기 위해, 저 융합(confluency) 셀 샘플, 고 융합 셀 샘플 및 뇌 조직 샘플로부터의 3개의 데이터 세트들이 정합 우선 대 필터 우선(registration first vs. filter first) 접근 방식들에 따른 정합 정밀도에 대해 비교되었다. 모든 층들에 걸쳐 정합된 이미지 스택을 합산한 다음, 합산된 이미지의 최대치 및 최소치를 계산함으로써 정합 품질이 평가되었다. 필터 우선 접근 방식은 일반적으로 평탄화된 이미지의 더 큰 최대치 및 더 작은 최소치를 산출하며, 이는 정합 품질의 개선을 나타낸다.
정합 품질 검사는 정합 후에 수행될 수 있다. 적절하게 정합된다면, 각각의 이미지의 밝은 점들은 중첩되어야 해서, 전체 밝기가 증가된다. 정합되지 않은 이미지들의 스택이 합산될 수 있고, 유사하게, 정합된 이미지들(310)(도 3 참조)의 스택(312)이 합산될 수 있는데, 예컨대 다음과 같다:
Figure pct00008
IU(x,y)의 최대 값은 IR(x,y)의 최대 값과 비교될 수 있다. max(IR(x,y)) > max(IU(x,y))라면, 정합은 성공으로 간주될 수 있다. 다른 한편으로, max(IR(x,y)) ≤ max(IU(x,y))라면, 데이터 프로세싱 시스템은 정합이 실패임을 표시하고 에러 코드를 발행할 수 있다. 이 FOV는 후속 분석에서 제외될 수도 있고 그리고/또는 새로운 이미지들이 획득될 필요가 있을 수 있다.
선택적으로, 정합 후에, 각각의 수집된 이미지에 대해 마스크가 계산될 수 있다. 간단히 말해서, 각각의 픽셀에 대한 강도 값은 임계치 값과 비교된다. 마스크 내의 대응하는 픽셀은 강도 값이 임계치를 초과한다면 1로 설정되고, 강도 값이 임계치 미만이라면 0으로 설정된다. 임계 값은 경험적으로 결정된 미리 결정된 값일 수 있거나, 이미지의 강도 값들로부터 계산될 수 있다. 일반적으로, 마스크는 샘플 내의 셀들의 위치에 대응할 수 있고; 셀들 사이의 공간들은 형광을 발하지 않아야 하고 낮은 강도를 가져야 한다.
마스크들을 생성하기 위해, 각각의 시야에 대해, 압축된 프레임(P(x, y))이 그 FOV에 대한 이미지 시퀀스로부터 생성된다. 압축된 프레임(
Figure pct00009
(x,y))은 그 FOV에 대한 이미지들에 대해 곱 연산을 수행함으로써 생성될 수 있는데, 예컨대 다음과 같고:
Figure pct00010
,
여기서 i는 정합된 이미지들(310)(도 3 참조)의 스택(312) 내의 층 번호를 나타낸다. log
Figure pct00011
(x,y)의 히스토그램에 기초하여 임계치가 생성될 수 있다.
예를 들어, 도 4는 수집된 이미지에서 압축된 프레임 값들(
Figure pct00012
(x,y))의 로그 히스토그램(400)을 예시한다. 일반적으로, 로그 히스토그램은 강도의 초기 급격한 증가(이는 제1 국소 최대치의 선행 에지일 수 있음) 및 강도의 최종 급격한 감소(이는 제2 국소 최대치의 후행 에지일 수 있음)를 포함할 것이다. 히스토그램은 히스토그램의 하부 단부에 가장 가까운 제1 피크(402)(또는 명확한 피크가 없다면 강도의 급격한 증가의 에지) 및 히스토그램의 상부 단부에 가장 가까운 제2 피크(404)(또는 명확한 피크가 없다면 강도의 급격한 감소의 에지)를 식별하기 위해 피크 및/또는 에지 찾기 알고리즘을 거칠 수 있다. 임계치(410)는 2개의 식별된 점들(402, 404)의 강도 값들에 기반하여 설정될 수 있다. 예를 들어, 임계치(410)는 강도 값들의 평균일 수 있다. 피크 찾기 대신에, 히스토그램은 임계치(410)를 결정하기 위해 오츠(Otsu) 임계화 방법을 거칠 수 있다. 히스토그램이 항상 2개의 명확한 피크들을 나타내지는 않기 때문에 이 기법이 유용할 수 있다.
마스크로부터 솔트 앤 페퍼(salt and pepper) 효과들이 제거될 수 있다. "온(on)" 픽셀들의 연속 구역 외부에 있는 단일 "온" 픽셀들, 또는 "온" 픽셀들의 연속 구역 내부에 있는 단일 "오프(off)" 픽셀들은 주변 영역과 매칭하도록 "오프" 또는 "온"으로 변환될 수 있다. 일반적으로, 임계 크기 미만인 마스크 내의 인접한 픽셀들의 클러스터들, 예컨대 50개의 픽셀들은 에러로서 표시될 수 있고, 주변 영역과 매칭하도록 변경될 수 있다. 마스크들을 사용함으로써, 메모리 공간이 보존될 수 있고, 계산 워크로드가 감소될 수 있다.
수집된 이미지는 도 5a에 예시되고, 도 5b는 도 5a의 이미지로부터 기인하는 마스크를 예시한다.
도 2로 돌아가면, FOV에서의 이미지들의 정합 후에, 공간 전사체학 분석이 수행될 수 있다(단계(210)).
히스토그램을 보다 일관되게 만들기 위해 공간 전사체학 분석 전에 FOV 정규화가 수행될 수 있다. 일부 구현들에서, FOV 정규화는 정합 후에 발생한다. 대안으로, FOV 정규화는 정합 전에 발생할 수 있다. FOV 정규화는 필터링의 일부로 간주될 수 있다. 위에서 논의된 필터링 및 디컨볼루션 이후에도, 수집된 이미지에서의 문제는 가장 밝은 픽셀들에서, 예컨대 수십 배에 걸친 밝기의 상당한 변동이 있을 수 있다는 것이다. 예를 들어, 도 6a를 참조하면, 수집된 이미지 내의 강도 값들의 히스토그램(602)은 매우 긴 테일(604)을 갖는다. 이는 디코딩 프로세스에 불확실성을 야기할 수 있다. FOV 정규화는 이러한 에러 소스에 대응할 수 있다.
먼저, 이미지의 모든 강도 값들은 이미지의 최대 강도 값에 대해 정규화된다. 예를 들어, 최대 강도 값이 결정되고, 강도 값들이 0 내지 IMAX, 예컨대 1 사이에서 변하도록 모든 강도 값들이 최대치로 나뉜다.
다음으로, 이미지의 강도 값들이 분석되어 가장 높은 강도 값들을 포함하는 상위 변위치, 예컨대 99% 이상의 변위치(즉, 상위 1%), 99.5% 이상의 변위치, 또는 99.9% 이상의 변위치, 또는 99.95% 이상의 변위치(즉, 상위 0.05%)를 결정한다. 이 변위치에 대한 컷오프는 도 6a에서 파선(610)으로 표시된다. 이 변위치 한계에서의 강도 값, 예컨대 도 6a의 예에서 99.95% 변위치에서의 log(-2)의 강도 값이 결정되고 저장될 수 있다. 상위 변위치 내의 강도 값들을 갖는 모든 픽셀들은 최대 강도 값, 예컨대 1을 갖도록 재설정된다. 그런 다음, 나머지 픽셀들의 강도 값들은 동일한 최대치로 실행되도록 스케일링된다. 이를 달성하기 위해, 상위 변위치에 있지 않았던 픽셀들에 대한 강도 값들은 변위치 한계에 대한 저장된 강도 값으로 나뉜다. 도 6b는 FOV 정규화로부터 기인하는 강도 값들의 히스토그램(620)을 예시한다.
디코딩은 도 7을 참조하여 설명된다. 그러나 도 3으로 잠깐 돌아가면, 특정 FOV에 대한 정렬된 이미지들은 다수의 이미지 층들(310)을 포함하는 스택(312)으로 간주될 수 있으며, 각각의 이미지 층은 X×Y 픽셀들, 예컨대 2048×2048 픽셀들이다. 이미지 층들의 수(B)는 컬러 채널들의 수(예컨대, 여기 파장들의 수)와 하이브리드화들의 수(예컨대, 반응물들의 수)의 조합에 의존하는데, 예컨대 B = N_hybridization * N_channels이다.
도 7을 참조하면, 정규화 후에, 이 이미지 스택은 픽셀 워드들의 2-D 행렬(702)로서 평가될 수 있다. 행렬(702)은 P개의 행들(704)(여기서 P = X * Y) 및 B개의 열들(706)(여기서 B는 주어진 FOV에 대한 스택의 이미지들의 수)을 가질 수 있는데, 예컨대 N_hybridization * N_channels이다. 각각의 행(704)은 픽셀들 중 하나(스택 내의 다수의 이미지에 걸쳐 동일한 픽셀)에 대응하고, 행(704)으로부터의 값들은 픽셀 워드(710)를 제공한다. 각각의 열(706)은 워드(710)의 값들 중 하나, 즉 해당 픽셀에 대한 이미지 층으로부터의 강도 값을 제공한다. 위에서 언급된 바와 같이, 값들은 정규화될 수 있는데, 예컨대 0 내지 IMAX로 변할 수 있다. 상이한 강도 값들은 도 7에서 개개의 셀들의 상이한 음영도들로서 표현된다.
모든 픽셀들이 디코딩 단계로 전달된다면, P개의 모든 워드들은 아래에서 설명되는 바와 같이 프로세싱될 것이다. 그러나 셀 경계들 외부의 픽셀들은 2-D 마스크들(위의 도 4b 참조)에 의해 걸러지고 프로세싱되지 않을 수 있다. 그 결과, 다음의 분석에서 계산 로드가 상당히 감소될 수 있다.
데이터 프로세싱 시스템(150)은 이미지 데이터를 디코딩하여 특정 픽셀에서 발현된 유전자를 식별하는 데 사용되는 코드북(722)을 저장한다. 코드북(722)은 다수의 기준 코드 워드들을 포함하며, 각각의 기준 코드 워드는 특정 유전자와 연관된다. 도 7에 도시된 바와 같이, 코드북(722)은 G개의 행들(724)(여기서 G는 코드 워드들의 수, 예컨대 (동일한 유전자가 다수의 코드 워드들에 의해 표현될 수 있더라도) 유전자들의 수임) 및 B개의 열들(726)을 갖는 2D 행렬로서 표현될 수 있다. 알려진 유전자들의 사전 교정 및 테스트에 의해 설정된 바와 같이, 각각의 행(724)은 기준 코드 워드들(730) 중 하나에 대응하고, 각각의 열(706)은 기준 코드 워드(730)의 값들 중 하나를 제공한다. 각각의 열에 대해, 기준 코드(730)의 값들은 이진, 즉, "온" 또는 "오프"일 수 있다. 예를 들어, 각각의 값은 0 또는 IMAX, 예컨대, 1일 수 있다. 온 및 오프 값들은 도 7에서 개개의 셀들의 명암 음영으로 표현된다.
디코딩될 각각의 픽셀에 대해, 픽셀 워드(710)와 각각의 기준 코드 워드(730) 사이의 거리(d(p, i))가 계산된다. 예를 들어, 픽셀 워드(710)와 기준 코드 워드(730) 사이의 거리는 유클리드(Euclidean) 거리, 예컨대 픽셀 워드의 각각의 값과 기준 코드 워드의 대응하는 값 사이의 차이들의 제곱의 합으로서 계산될 수 있다. 이 계산은 다음과 같이 표현될 수 있으며:
Figure pct00013
여기서 Ip,x는 픽셀 워드들의 행렬(702)로부터의 값들이고, Ci,x는 기준 코드 워드들의 행렬(722)로부터의 값들이다. 다른 메트릭들, 예컨대 차이들의 절대 값의 합, 코사인 각도, 상관 관계 등이 유클리드 거리 대신에 사용될 수 있다.
주어진 픽셀에 대해 각각의 코드 워드에 대한 거리 값들이 계산되면, 가장 작은 거리 값이 결정되고, 그 가장 작은 거리 값을 제공하는 코드 워드가 최상의 매칭 코드 워드로서 선택된다. 달리 말하면, 데이터 프로세싱 장치는 min (d(p,1), d(p,2), … d(p,B))를 결정하고, 최소치를 제공한 값 b를 (1 내지 B의) i에 대한 값으로서 결정한다. 그 최상의 매칭 코드 워드에 대응하는 유전자는 예컨대, 코드 워드들을 유전자들과 연관시키는 룩업 테이블로부터 결정되고, 픽셀이 그 유전자를 발현하는 것으로 태그된다.
도 2로 돌아가면, 데이터 프로세싱 장치는 잘못된 호출(callout)들을 필터링할 수 있다. 잘못된 호출들을 필터링하기 위한 하나의 기법은 유전자의 발현을 표시한 거리 값(d(p, b))이 임계 값보다 큰 경우, 예컨대 d(p,b) > D1MAX라면, 태그들을 폐기하는 것이다.
잘못된 호출들을 필터링하기 위한 또 다른 기법은 계산된 비트율이 임계치 아래로 떨어지는 코드 워드들을 거부하는 것이다. 비트율은 (코드 워드로부터 결정된 바와 같이) 온이 되어야 하는 층들에 대한 이미지 워드로부터의 강도 값들의 평균을 (다시 코드 워드로부터 결정된 바와 같이) 오프가 되어야 하는 층들에 대한 이미지 워드로부터의 강도 값들의 평균으로 나눈 값으로서 계산된다. 예를 들어, 도 7에 도시된 코드 워드(730)에 대해, 열들 3-6 및 12-14에 대응하는 비트들은 온이고, 열들 1-2 및 7-11에 대응하는 비트들은 오프이다. 따라서 이 코드 워드가 픽셀(p)에 대한 최상의 매칭으로서 선택된다고 가정하면, 비트율(BR)은 다음과 같이 계산될 수 있다:
Figure pct00014
.
비트율(BR)은 임계 값(THBR)과 비교된다. 일부 구현들에서, 임계 값(THBR)은 이전 측정들로부터 경험적으로 결정된다. 그러나 일부 구현들에서, 임계 값(THBR)은 샘플로부터 획득된 측정들에 기반하여 특정 코드 워드에 대해 자동으로 계산될 수 있다. 도 8a는 특정 코드 워드로 태그된 모든 픽셀들에 대한 강도 값들의 비트율들의 로그 히스토그램(802)을 예시한다. 이 히스토그램(802)에 기초하여 임계 값(804)이 계산된다. 예를 들어, 초기 임계 값(802)을 계산하기 위해 디폴트 변위치, 예컨대 50%가 사용될 수 있다. 그러나 변위치는 아래에서 논의되는 최적화 동안 조정될 수 있다.
잘못된 호출들을 필터링하기 위한 또 다른 기법은 계산된 비트 밝기가 임계치 아래로 떨어지는 코드 워드들을 거부하는 것이다. 비트 밝기는 (코드 워드로부터 결정된 바와 같이) 온이 되어야 하는 층들에 대한 이미지 워드로부터의 강도 값들의 평균으로서 계산된다. 예를 들어, 도 7에 도시된 코드 워드(730)에 대해, 열들 3-6 및 12-14에 대응하는 비트들은 온이다. 따라서 이 코드 워드가 픽셀(p)에 대한 최상의 매칭으로서 선택된다고 가정하면, 비트 밝기(BB)는 다음과 같이 계산될 수 있다:
BB = [I(p,3)+I(p,4)+I(p,5)+I(p,6)+I(p,12)+I(p,13)+I(p,14)]/7
비트 밝기(BB)는 임계 값(THBB)과 비교된다. 일부 구현들에서, 임계 값(THBB)은 이전 측정들로부터 경험적으로 결정된다. 그러나 일부 구현들에서, 임계 값(THBB)은 샘플로부터 획득된 측정들에 기반하여 특정 코드 워드에 대해 자동으로 계산될 수 있다. 도 8b는 특정 코드 워드로 태그된 모든 픽셀들에 대한 비트 밝기 값들의 로그 히스토그램(812)을 예시한다. 이 히스토그램(812)에 기초하여 임계 값(814)이 계산된다. 예를 들어, 초기 임계 값(814)을 계산하기 위해 디폴트 변위치, 예컨대 80% 또는 90%가 사용될 수 있다. 그러나 변위치는 아래에서 논의되는 최적화 동안 조정될 수 있다.
도 2로 돌아가면, 데이터 프로세싱 장치는 이제 최적화 및 재-디코딩을 수행할 수 있다(단계(212)). 최적화는 디코딩 파라미터들의 기계 학습 기반 최적화를 포함할 수 있고, 이어서 공간 전사체학 분석을 업데이트하기 위해 업데이트된 디코딩 파라미터들로 단계(210)로 돌아간다. 이 사이클은 디코딩 파라미터들이 안정화될 때까지 반복될 수 있다.
디코딩 파라미터들의 최적화는 메리트(merit) 함수, 예컨대 FPKM/TPM 상관, 공간 상관 또는 신뢰비를 사용할 것이다. 메리트 함수에서 변수들로서 포함될 수 있는 파라미터들은, 셀룰러 백그라운드를 제거하기 위해 사용되는 필터들의 형상(예컨대, 주파수 범위의 시작과 끝 등), RNA 스폿들을 선명하게 하기 위해 사용되는 점 확산 함수에 대한 개구 수 값, FOV의 정규화에 사용되는 변위치 경계(Q), 비트율 임계치(THBR), 비트 밝기 임계치(THBB)(또는 비트율 임계치(THBR) 및 비트 밝기 임계치(THBB)를 결정하는 데 사용된 변위치들), 및/또는 픽셀 워드가 코드 워드와 매칭하는 것으로 간주될 수 있는 최대 거리(D1max)를 포함한다.
이 메리트 함수는 효과적인 불연속 함수일 수 있으므로, 종래의 그라디언트 추종 알고리즘은 최적의 파라미터 값들을 식별하기에 불충분할 수 있다. 파라미터 값들에 수렴하는 데 기계 학습 모델이 사용될 수 있다.
다음으로, 데이터 프로세싱 장치는 모든 FOV들에 걸친 파라미터 값들의 통합을 수행할 수 있다. 각각의 FOV가 개별적으로 프로세싱되기 때문에, 각각의 필드는 상이한 정규화, 임계화 및 필터링 설정을 겪을 수 있다. 그 결과, 높은 콘트라스트 이미지가 콰이어트(quiet) 영역들에서 허위 긍정 호출들을 야기하는 변동을 갖는 히스토그램을 야기할 수 있다. 통합의 결과는 모든 FOV들이 동일한 파라미터 값들을 사용한다는 것이다. 이는 콰이어트 영역에서 백그라운드 잡음으로부터의 호출들을 상당히 제거할 수 있고, 큰 샘플 영역에서 명확하고 편향되지 않은 공간 패턴을 제공할 수 있다.
모든 FOV들에 걸쳐 사용될 파라미터 값을 선택하기 위한 다양한 접근 방식들이 가능하다. 하나의 옵션은 미리 결정된 FOV, 예컨대 처음 측정된 FOV 또는 샘플의 중심 근처의 FOV를 단순히 선택하고, 그 미리 결정된 FOV에 대한 파라미터 값을 사용하는 것이다. 다른 옵션은 다수의 FOV에 걸쳐 파라미터에 대한 값들을 평균한 다음, 평균된 값을 사용하는 것이다. 다른 옵션은 어느 FOV가 자신의 픽셀 워드들과 태그된 코드 워드들 사이에 최적합을 야기했는지를 결정하는 것이다. 예를 들어, 태그된 코드 워드들과 그러한 코드 워드들에 대한 픽셀 워드들 사이의 가장 작은 평균 거리(d(p, b1))를 갖는 FOV가 결정된 다음, 선택될 수 있다.
대안으로, 공간 전사체학 분석 전에, 예컨대 단계들(208, 210) 사이에 통합이 수행될 수 있다. 이 경우, 통합은 단계(210) 이전에 선택된 파라미터들, 예컨대 단계들(204 또는 206)에서 사용된 파라미터들에 대해 수행될 것이지만, 단계들(210, 212)에서의 파라미터들에 대해서는 수행되지 않을 것이다.
데이터 프로세싱 장치는 이제 스티치 및 세그먼트화를 수행할 수 있다(단계(214)). 스티치는 다수의 FOV를 단일 이미지로 조합한다. 다양한 기법들을 사용하여 스티치가 수행될 수 있다. 도 9를 참조하면, 하나의 접근 방식은 샘플의 조합된 이미지를 함께 형성할 FOV의 각각의 행 및 행 내의 각각의 FOV에 대해, 각각의 FOV에 대한 수평 시프트를 결정한다. 수평 시프트가 계산되면, FOV의 각각의 행에 대해 수직 시프트가 계산된다. 수평 및 수직 시프트들은 상호 상관, 예컨대 위상 상관에 기반하여 계산될 수 있다. 각각의 FOV에 대한 수평 및 수직 시프트에 의해, 단일 조합된 이미지가 생성될 수 있고, 수평 및 수직 시프트에 기반하여, 유전자 좌표들이 조합된 이미지에 전달될 수 있다.
(FOV의 좌표 및 그 FOV에 대한 수평 및 수직 시프트로부터 결정된 바와 같이) 조합된 형광 이미지의 특정 좌표에서 유전자가 발현된다는 표시가 예컨대, 메타데이터로서 추가될 수 있다. 이러한 표시는 "호출"로 지칭될 수 있다.
얼룩 이미지들, 예컨대 DAPI 이미지들은 도 9와 관련하여 논의된 기법을 사용하여 함께 스티치되어, 조합된 얼룩 이미지를 생성할 수 있다. 일부 구현들에서, 수집된 형광 이미지들로부터 조합된 형광 이미지를 생성할 필요가 없고; 각각의 FOV에 대한 수평 및 수직 시프트가 결정되면, 조합된 얼룩 이미지 내의 유전자 좌표들이 계산될 수 있다. 얼룩 이미지는 수집된 형광 이미지(들)에 정합될 수 있다. (FOV의 좌표 및 그 FOV에 대한 수평 및 수직 시프트로부터 결정된 바와 같이) 조합된 얼룩 이미지의 특정 좌표에서 유전자가 발현된다는 표시가 예컨대, 메타데이터로서 추가되어 호출을 제공할 수 있다.
스티치된 이미지에는 잠재적인 문제가 남아있다. 특히, 일부 유전자들은 중첩 영역에서 이중 카운팅될 수 있다. 이중 카운팅을 제거하기 위해, 유전자를 발현하는 것으로 태그된 각각의 픽셀과 동일한 유전자를 발현하는 것으로 태그된 다른 인근 픽셀들 사이에서 거리, 예컨대 유클리드 거리가 계산될 수 있다. 거리가 임계 값 미만이라면 호출들 중 하나가 제거될 수 있다. 픽셀들의 클러스터가 유전자를 발현하는 것으로 태그된다면, 더 복잡한 기법들이 사용될 수 있다.
조합된 이미지, 예컨대 착색된 셀의 이미지를 셀들에 대응하는 구역들로 세그먼트화하는 것은 다양한 공지된 기법들을 사용하여 수행될 수 있다. 세그먼트화는 통상적으로 이미지들의 스티치 후에 수행되지만, 호출들이 조합된 이미지에 추가되기 전 또는 후에 발생할 수 있다.
이제, 유전자 발현의 포지션들을 나타내는 호출들을 갖는 세그먼트화된 이미지가 저장되고, 분석을 위해 예컨대, 시각적 디스플레이 상에서 사용자에게 제시될 수 있다.
위의 논의는 각각의 FOV에 대해 단일 z-축 이미지가 사용되는 것으로 가정하지만, 이것이 필요한 것은 아니다. 상이한 z-축 포지션들로부터의 이미지들은 개별적으로 프로세싱될 수 있으며; 상이한 z-축 포지션들은 효과적으로 FOV들의 새로운 세트를 제공한다.
위에서 언급된 바와 같이, 하나의 문제는, 이미지 프로세싱 단계들을 포함하는 데이터 프로세싱이 계산상 까다롭고 상당한 양의 시간을 요구할 수 있다는 것이다. 하나의 문제는 종래의 기법들에서, 이미지 프로세싱이 시작되기 전에 모든 이미지들이 획득된다는 것이다. 그러나 이미지들이 수신될 때, 즉석 이미지 프로세싱을 수행하는 것이 가능하다.
도 10은 이미지 프로세싱이 즉석에서 수행되는 수정된 데이터 프로세싱 방법을 예시한다. 구체적으로 논의되지 않는 단계들은 도 2의 방법과 유사한 방식으로 수행될 수 있다. 초기에, 데이터 프로세싱 시스템은 지원 파일들을 수신할 수 있지만(단계(202a)), 이 단계는 이미지 획득 이후까지 연기될 수 있다. 이미지 프로세싱이 수행되도록 일부 파일들, 예컨대 데이터 스키마가 데이터 프로세싱 시스템에 로딩될 필요가 있을 수 있다.
이 장치는 새로운 이미지들을 획득하는 프로세스(단계(202b)), 예컨대 z-축, 컬러 채널, 측 방향 포지션 및 시약을 조정하기 위해 루프들을 거쳐 나아가고, 이러한 파라미터들에 대한 가능한 값들의 각각의 조합에서 이미지를 획득하는 프로세스를 시작한다.
각각의 이미지가 획득된 경우, 이미지가 사전 프로세싱되기에 충분한 품질인지 여부를 결정하기 위해 QC(quality control) 테스트가 수행된다(단계(203)). 그러한 테스트가 수행된다면, 획득된 이미지의 즉석 사전 프로세싱이 수행된다(단계(252)). 이러한 맥락에서, "즉석"은 하나의 이미지의 프로세싱이 후속 이미지들의 획득과 병렬로 수행될 수 있음을 나타낸다. 즉석 사전 프로세싱은 실험 아티팩트들을 제거하는 것(단계(204)) 그리고 RNA 이미지 스폿 선명화(단계(206))를 포함할 수 있다. 이러한 이미지 사전 프로세싱 단계들은 각각의 이미지에 대해 개별적으로 수행되고, 동일한 FOV 내의 다른 이미지들 또는 다른 FOV에 대한 이미지들에 의존하지 않기 때문에, 이러한 방식으로의 시프트 프로세싱은 프로세싱의 품질에 악영향을 주지 않는다는 것이 주목될 수 있다. 일반적으로, 시약이 변경되고 있는 시점들로 상당한 계산 로드가 시프트될 수 있다. 그 결과, 플로우 셀 내로의 샘플의 로딩에서부터 호출들을 갖는 세그먼트화된 이미지를 수신하기까지의 전체 시간이 상당히 감소되며, 이는 스루풋 및 연구 속도를 상당히 개선할 수 있다.
일부 구현들에서, 이미지들은 "실시간"으로 사전 프로세싱되는데, 즉 하나의 이미지의 프로세싱은 장치에 의한 후속 이미지의 수집과 병렬로 수행되고, 후속 이미지가 데이터 프로세싱 시스템에서 수신되기 전에 완료된다.
본 명세서는 시스템들 및 컴퓨터 프로그램 컴포넌트들과 관련하여 "구성된"이라는 용어를 사용한다. 하나 이상의 컴퓨터들의 시스템이 특정 동작들 또는 액션들을 수행하도록 구성되는 것은, 시스템이 동작 시에 시스템으로 하여금 동작들 또는 액션들을 수행하게 하는 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 시스템 상에 설치했다는 것을 의미한다. 하나 이상의 컴퓨터 프로그램들이 특정 동작들 또는 액션들을 수행하도록 구성되는 것은, 하나 이상의 프로그램들이 데이터 프로세싱 장치에 의해 실행될 때, 장치로 하여금 동작들 또는 액션들을 수행하게 하는 명령들을 포함한다는 것을 의미한다.
본 명세서에서 설명한 기능적 동작들 및 청구 대상의 실시예들은 디지털 전자 회로에, 유형적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어에, 본 명세서에 개시된 구조들 및 이들의 구조적 등가물들을 포함하는 컴퓨터 하드웨어에, 또는 이들 중 하나 이상에 대한 조합들에 구현될 수 있다. 본 명세서에서 설명한 청구 대상의 실시예들은 하나 이상의 컴퓨터 프로그램들, 즉 데이터 프로세싱 장치에 의한 실행을 위해 또는 그 연산을 제어하기 위해 유형의 비일시적 저장 매체 상에 인코딩되는 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다. 컴퓨터 저장 매체는 기계 판독 가능 저장 디바이스, 기계 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 이들 중 하나 이상에 대한 조합일 수 있다. 대안으로 또는 추가로, 프로그램 명령들은 데이터 프로세싱 장치에 의한 실행을 위해 적당한 수신기 장치로의 송신을 위한 정보를 인코딩하도록 발생되는 인공적으로 발생한 전파 신호, 예컨대 기계 발생 전기, 광 또는 전자기 신호에 대해 인코딩될 수 있다.
"데이터 프로세싱 장치"라는 용어는 데이터 프로세싱 하드웨어를 의미하며, 예로서 프로그래밍 가능 프로세서, 컴퓨터 또는 다수의 프로세서들이나 컴퓨터들을 포함하여, 데이터를 프로세싱하기 위한 모든 종류들의 장치, 디바이스들 및 기계들을 포괄한다. 이 장치는 또한, 특수 목적 로직 회로, 예컨대 FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)일 수 있거나 이를 추가로 포함할 수 있다. 장치는 하드웨어뿐만 아니라, 컴퓨터 프로그램들에 대한 실행 환경을 생성하는 코드, 예컨대 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 또는 이들 중 하나 이상에 대한 조합을 구성하는 코드를 선택적으로 포함할 수 있다.
프로그램, 소프트웨어, 소프트웨어 애플리케이션, 앱, 모듈, 소프트웨어 모듈, 스크립트 또는 코드로 또한 지칭되거나 이로서 설명될 수 있는 컴퓨터 프로그램은 컴파일링된 또는 해석된 언어들, 또는 서술적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 이는 독립형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에 사용하기에 적당한 다른 유닛으로서의 형태를 포함하는 임의의 형태로 전개될 수 있다. 프로그램은 파일 시스템 내의 파일에 대응할 수 있지만 필요한 것은 아니다. 프로그램은 다른 프로그램들 또는 데이터, 예컨대 마크업 언어 문서에 저장된 하나 이상의 스크립트들을 보유하는 파일의 일부에, 해당 프로그램에 전용된 단일 파일에, 또는 다수의 조정된 파일들, 예컨대 하나 이상의 모듈들, 하위 프로그램들, 또는 코드의 부분들을 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 한 사이트에 로케이팅되거나 다수의 사이트들에 걸쳐 분포되어 데이터 통신 네트워크에 의해 상호 접속되는 다수의 컴퓨터들 상에서 실행되도록 전개될 수 있다.
본 명세서에서 설명한 프로세스들 및 로직 흐름들은 입력 데이터에 대해 작동하여 출력을 생성함으로써 기능들을 수행하도록 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래밍 가능 컴퓨터들에 의해 수행될 수 있다. 프로세스들 및 로직 흐름들은 또한, 특수 목적 로직 회로, 예컨대 FPGA 또는 ASIC에 의해, 또는 특수 목적 로직 회로와 하나 이상의 프로그래밍된 컴퓨터들의 조합에 의해 수행될 수 있다.
컴퓨터 프로그램의 실행에 적합한 컴퓨터들은 범용 또는 특수 목적 마이크로프로세서들 또는 이 둘 다, 또는 임의의 다른 종류의 중앙 프로세싱 유닛에 기반할 수 있다. 일반적으로, 중앙 프로세싱 유닛은 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 이 둘 다로부터 명령들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령들을 수행 또는 실행하기 위한 중앙 프로세싱 유닛 그리고 명령들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 중앙 프로세싱 유닛 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 특수 목적 로직 회로에 포함될 수 있다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스들, 예컨대 자기, 마그네토 광 디스크들, 또는 광 디스크들을 포함하거나, 이들로부터 데이터를 수신하거나 이들에 데이터를 전송하도록, 또는 둘 다를 위해 동작 가능하게 연결될 것이다. 그러나 컴퓨터가 이러한 디바이스들을 가질 필요는 없다.
컴퓨터 프로그램 명령들 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체들은 예로서 반도체 메모리 디바이스들, 예컨대 EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크들, 예컨대 내부 하드 디스크들 또는 착탈식 디스크들; 마그네토 광 디스크들; 그리고 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태들의 비휘발성 메모리, 매체들 및 메모리 디바이스들을 포함한다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에서 설명한 요지의 실시예들은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예컨대 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 및 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드와 포인팅 디바이스, 예컨대 마우스 또는 트랙볼을 갖는 컴퓨터 상에 구현될 수 있다. 다른 종류들의 디바이스들이 사용자와의 상호 작용을 제공하는데 역시 사용될 수 있는데; 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백, 예컨대 시각 피드백, 청각 피드백 또는 촉각 피드백일 수 있고; 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서들을 전송하고 이러한 디바이스로부터 문서들을 수신함으로써; 예를 들어, 웹 브라우저로부터 수신된 요청들에 대한 응답으로 사용자의 디바이스 상의 웹 브라우저에 웹 페이지들을 전송함으로써 사용자와 상호 작용할 수 있다. 또한, 컴퓨터는 텍스트 메시지들 또는 다른 형태들의 메시지를 개인 디바이스, 예컨대 메시징 애플리케이션을 실행하고 있는 스마트폰에 전송하고, 답신으로 사용자로부터 응답 메시지들을 수신함으로써 사용자와 상호 작용할 수 있다.
기계 학습 모델들을 구현하기 위한 데이터 프로세싱 장치는 또한, 예를 들어 기계 학습 훈련 또는 생산의 공통 및 컴퓨팅 집약적 부분들, 즉 추론, 작업 로드들을 프로세싱하기 위한 특수 목적 하드웨어 가속기 유닛들을 포함할 수 있다.
기계 학습 모델들은 기계 학습 프레임워크, 예컨대 TensorFlow 프레임워크, Microsoft Cognitive Toolkit 프레임워크, Apache Singa 프레임워크 또는 Apache MXNet 프레임워크를 사용하여 구현 및 전개될 수 있다.
본 명세서에서 설명한 요지의 실시예들은 예를 들어, 데이터 서버로서 백엔드 컴포넌트를 포함하는, 또는 미들웨어 컴포넌트, 예컨대 애플리케이션 서버를 포함하는, 또는 프론트엔드 컴포넌트, 예컨대 본 명세서에서 설명한 요지의 구현과 사용자가 상호 작용할 수 있게 하는 그래픽 사용자 인터페이스, 웹 브라우저 또는 앱을 갖는 클라이언트 컴퓨터를 포함하는 컴퓨팅 시스템, 또는 이러한 하나 이상의 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 조합으로 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신, 예컨대 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크들의 예들은 LAN(local area network) 및 WAN(wide area network), 예컨대 인터넷을 포함한다.
본 명세서는 많은 특정 구현 세부사항들을 포함하지만, 이들은 청구될 수 있는 것의 또는 임의의 발명의 범위에 대한 한정들로서가 아니라, 그보다는 특정 발명들의 특정 실시예들에 특정할 수 있는 특징들의 설명으로서 해석되어야 한다. 개별 실시예들과 관련하여 본 명세서에 설명되는 특정 특징들은 또한 단일 실시예로 조합하여 구현될 수 있다. 반대로, 단일 실시예와 관련하여 설명되는 다양한 특징들은 또한 다수의 실시예들로 개별적으로 또는 임의의 적절한 하위 결합으로 구현될 수 있다. 아울러, 특징들이 특정한 조합들로 작용하는 것으로 앞서 설명되고 심지어 초기에 이와 같이 청구될 수 있다 하더라도, 어떤 경우들에는 청구된 조합으로부터의 하나 이상의 특징들이 그 조합으로부터 삭제될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관련될 수 있다.
마찬가지로, 동작들이 특정 순서로 도면들에 도시되고 청구항들에서 언급되지만, 이는 바람직한 결과들을 달성하기 위해 이러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행될 것을, 또는 예시된 모든 동작들이 수행될 것을 요구하는 것으로 이해되지는 않아야 한다. 특정 상황들에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 앞서 설명한 실시예들에서 다양한 시스템 모듈들 및 컴포넌트들의 분리는 모든 실시예들에서 이러한 분리를 필요로 하는 것으로 이해되지 않아야 하며, 설명한 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키지화될 수 있다고 이해되어야 한다.
청구 대상의 특정 실시예들이 설명되었다. 다른 실시예들이 다음의 청구항들의 범위 내에 있다. 예를 들어, 청구항들에서 언급되는 동작들은 다른 순서로 수행되며 그럼에도 바람직한 결과들을 달성할 수 있다. 일례로, 첨부 도면들에 도시된 프로세스들은 바람직한 결과들을 달성하기 위해 반드시 도시된 특정 순서 또는 순차적인 순서를 필요로 하는 것은 아니다. 일부 경우들에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다.

Claims (45)

  1. 형광 인시튜 하이브리드화 이미징 시스템(fluorescent in-situ hybridization imaging system)으로서,
    시약 내의 형광 프로브(probe)들에 노출될 샘플을 포함할 플로우 셀(flow cell);
    복수의 시약 소스들 중 하나로부터 상기 플로우 셀로의 유동을 제어하기 위한 밸브;
    상기 플로우 셀을 통한 유체 유동을 야기하기 위한 펌프;
    가변 주파수 여기 광원, 및 상기 샘플로부터 형광 방출된 광(fluorescently emitted light)을 수신하도록 포지셔닝된 카메라를 포함하는 형광 현미경;
    상기 플로우 셀과 상기 형광 현미경 사이에 상대적인 수직 운동을 야기하기 위한 액추에이터;
    상기 플로우 셀과 상기 형광 현미경 사이에 상대적인 측 방향 운동을 야기하기 위한 모터; 및
    제어 시스템을 포함하며,
    상기 제어 시스템은 내포 루프(nested loop)들로서,
    복수의 상이한 시약들에 상기 샘플을 노출시키기 위해 상기 밸브가 복수의 상이한 시약 소스들에 상기 플로우 셀을 순차적으로 결합하게 하고,
    상기 복수의 상이한 시약들의 각각의 시약에 대해, 상기 모터가 복수의 상이한 시야들에서 샘플에 대해 상기 형광 현미경을 순차적으로 포지셔닝하게 하고,
    상기 복수의 상이한 시야들의 각각의 시야에 대해, 상기 가변 주파수 여기 광원이 복수의 상이한 파장들을 순차적으로 방출하게 하고,
    상기 복수의 상이한 파장들의 각각의 파장에 대해, 상기 액추에이터가 복수의 상이한 수직 높이들에서 샘플에 대해 상기 형광 현미경을 순차적으로 포지셔닝하게 하고, 그리고
    상기 복수의 상이한 수직 높이들의 각각의 수직 높이에 대해, 개개의 파장에 의해 여기되는 개개의 시약의 개개의 형광 프로브들을 갖는 샘플의 개개의 시야를 커버하는 개개의 수직 높이에서 이미지를 획득하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 시스템.
  2. 제1 항에 있어서,
    상기 가변 주파수 여기 광원은 복수의 레이저 모듈들을 포함하고, 상기 제어 시스템은 상기 레이저 모듈들을 순차적으로 활성화하여 상기 복수의 상이한 파장들을 순차적으로 방출하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 시스템.
  3. 제2 항에 있어서,
    상기 제어 시스템은 상기 밸브 및 상기 모터를 제어하기 위한 컴퓨터, 및 상기 레이저 모듈 및 상기 액추에이터를 제어하기 위한 마이크로컨트롤러를 포함하는,
    형광 인시튜 하이브리드화 이미징 시스템.
  4. 제1 항에 있어서,
    상기 플로우 셀에서 상기 샘플을 지지하기 위한 스테이지를 포함하며,
    상기 모터는 한 쌍의 수직 축들을 따라 상기 스테이지를 구동하도록 구성된 한 쌍의 선형 액추에이터들을 포함하는,
    형광 인시튜 하이브리드화 이미징 시스템.
  5. 제1 항에 있어서,
    상기 복수의 상이한 시야들 중 적어도 2개의 시야들의 각각의 시야에 대해 그리고 상기 시야의 이미지들에서 공유되는 적어도 2개의 픽셀들의 각각의 픽셀에 대해, 상기 시야에 대한 복수의 이미지들에서 상기 픽셀에 대한 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 상기 픽셀을 디코딩하도록 구성된 데이터 프로세싱 시스템을 더 포함하는,
    형광 인시튜 하이브리드화 이미징 시스템.
  6. 형광 인시튜 하이브리드화 이미징 및 분석 시스템으로서,
    시약 내의 형광 프로브들에 노출될 샘플을 포함할 플로우 셀;
    이미징 파라미터들의 복수의 상이한 조합들에서 상기 샘플의 복수의 이미지들을 순차적으로 수집하기 위한 형광 현미경; 및
    데이터 프로세싱 시스템을 포함하며,
    상기 데이터 프로세싱 시스템은,
    상기 이미지들이 수집될 때 상기 형광 현미경으로부터 상기 이미지들을 순차적으로 수신하고, 즉석(on-the-fly) 이미지 사전 프로세싱을 수행하여 상기 이미지의 실험 아티팩트들을 제거하고 RNA 이미지 스폿 선명화를 제공하도록 구성된 온라인 사전 프로세싱 시스템, 및
    상기 복수의 이미지들이 수집된 후에, 동일한 시야를 갖는 이미지들의 정합(registration)을 수행하고, 상기 복수의 이미지들 내의 강도 값들을 디코딩하여 발현된 유전자들을 식별하도록 구성된 오프라인 프로세싱 시스템을 포함하는,
    형광 인시튜 하이브리드화 이미징 및 분석 시스템.
  7. 제6 항에 있어서,
    상기 데이터 프로세싱 시스템은 각각의 이미지에 대한 이미지 품질 값을 결정하도록 그리고 상기 이미지 품질 값이 품질 임계치를 충족하는 데 실패한다면 상기 이미지를 사전 프로세싱으로부터 차단(screen)하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 및 분석 시스템.
  8. 제6 항에 있어서,
    상기 데이터 프로세싱 시스템은 각각의 이미지에 대한 복수의 이미지 품질 값들을 결정하도록 그리고 상기 이미지 품질 값 중 임의의 이미지 품질 값이 연관된 품질 임계치를 충족하는 데 실패한다면 상기 이미지를 사전 프로세싱으로부터 차단하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 및 분석 시스템.
  9. 형광 인시튜 하이브리드화 이미징 시스템으로서,
    시약 내의 형광 프로브들에 노출될 샘플을 포함할 플로우 셀;
    형광 현미경 ― 상기 형광 현미경은,
    상기 샘플을 조명하기 위한 가변 주파수 여기 광원,
    필터 휠 상의 복수의 방출 대역 통과 필터들,
    상기 필터 휠을 회전시키기 위한 액추에이터,
    상기 필터 휠 상의 필터를 통과한 샘플로부터 형광 방출된 광을 수신하도록 포지셔닝된 카메라를 포함함 ―;
    제어 시스템을 포함하며,
    상기 제어 시스템은,
    상기 가변 주파수 여기 광원이 선택된 파장을 갖는 광 빔을 방출하게 하고,
    상기 액추에이터가 상기 필터 휠을 회전시켜 상기 샘플과 상기 카메라 사이의 광 경로에 선택된 필터를 포지셔닝하게 하고,
    상기 카메라로부터 이미지를 획득하고, 그리고
    상기 이미지가 획득된 경우, 상기 선택된 파장에 의해 여기될 때 상기 선택된 필터가 상기 형광 프로브들에 의한 방출과 연관된 방출 통과 대역을 갖도록, 상기 가변 주파수 여기 광원과 필터 휠을 조정하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 시스템.
  10. 제9 항에 있어서,
    상기 제어 시스템은 제1 트리거 신호에 대한 응답으로 상기 액추에이터가 상기 필터 휠을 회전시키게 하는 제1 마이크로컨트롤러를 포함하는,
    형광 인시튜 하이브리드화 이미징 시스템.
  11. 제10 항에 있어서,
    상기 제어 시스템은 제2 트리거 신호에 대한 응답으로 상기 가변 주파수 여기 광원이 상기 선택된 파장을 갖는 광 빔을 방출하게 하는 제2 마이크로컨트롤러를 포함하는,
    형광 인시튜 하이브리드화 이미징 시스템.
  12. 제11 항에 있어서,
    상기 제1 마이크로컨트롤러는 상기 제2 트리거 신호를 생성하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 시스템.
  13. 제12 항에 있어서,
    상기 제2 마이크로컨트롤러는 이미지 획득을 야기하기 위해 상기 카메라에 제3 트리거 신호를 전송하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 시스템.
  14. 제9 항에 있어서,
    상기 샘플과 상기 카메라 사이의 광 경로에 또는 상기 샘플과 상기 필터 휠 사이의 광 경로에 이색성 필터를 포함하는,
    형광 인시튜 하이브리드화 이미징 시스템.
  15. 제14 항에 있어서,
    이색성 미러는 상기 형광 프로브들에 대한 각각의 방출 파장에 대한 통과 대역을 갖는 다중 통과 이색성 미러인,
    형광 인시튜 하이브리드화 이미징 시스템.
  16. 제9 항에 있어서,
    상기 복수의 방출 대역 통과 필터들의 각각의 필터는 고유 대역을 갖고, 상기 가변 주파수 여기 광원에 대한 고유 파장과 연관되는,
    형광 인시튜 하이브리드화 이미징 시스템.
  17. 제9 항에 있어서,
    상기 가변 주파수 여기 광원은 상기 샘플에 수직인 여기 광으로 상기 샘플을 조명하도록 구성되는,
    형광 인시튜 하이브리드화 이미징 시스템.
  18. 컴퓨터 프로그램 제품으로서,
    명령들을 갖는 비-일시적 컴퓨터 판독 가능 매체들을 포함하며,
    상기 명령들은 하나 이상의 프로세서들로 하여금:
    복수의 필터링된 이미지들을 생성하도록 복수의 이미지들의 각각의 이미지에 하나 이상의 필터들을 적용하고 상기 각각의 이미지에 대해 디컨볼루션(deconvolution)을 수행하게 하고;
    복수의 정합되고 필터링된 이미지들을 생성하도록 상기 복수의 필터링된 이미지들의 정합을 수행하게 하고;
    상기 복수의 정합되고 필터링된 이미지들의 적어도 2개의 픽셀들의 각각의 픽셀에 대해, 상기 픽셀에 대한 복수의 정합되고 필터링된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 상기 픽셀을 디코딩하게 하고; 그리고
    적어도 2개의 픽셀들의 각각의 픽셀에 대해, 상기 코드 워드와 연관된 유전자를 결정하고 상기 유전자가 상기 픽셀에서 발현된다는 표시를 저장하게 하는,
    컴퓨터 프로그램 제품.
  19. 제18 항에 있어서,
    상기 정합을 수행하기 위한 명령들은,
    상기 복수의 필터링된 이미지들의 각각의 필터링된 이미지에 대해,
    상기 필터링된 이미지를 동일한 크기의 복수의 서브-이미지들로 분할하고,
    상기 복수의 서브-이미지들로부터 서브-이미지의 크기와 동일한 크기의 조합된 이미지를 계산하고, 이로써 복수의 축소 크기 이미지들을 생성하며 ― 상기 복수의 이미지들의 각각의 이미지는 대응하는 축소 크기 이미지를 가짐 ―,
    상기 복수의 축소 크기 이미지들 중 적어도 하나의 축소 크기 이미지들에 대해, 상기 복수의 축소 크기 이미지들을 정합하기 위한 변환을 결정하고;
    상기 적어도 하나의 축소 크기 이미지들 각각에 대해, 상기 필터링된 이미지와 동일한 크기의 변환된 이미지를 생성하고 이로써 복수의 변환된 이미지들을 생성하도록, 상기 축소 크기 이미지에 대해 결정된 변환을 대응하는 필터링된 이미지에 적용하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  20. 제18 항에 있어서,
    상기 복수의 이미지들의 각각의 이미지에 대해, 임계치를 초과하는 밝기 값들을 최대 밝기 값으로 설정하고 상기 최대 값에 기초하여 상기 임계치 미만으로 나머지 밝기 값들을 스케일링하기 위한 명령들을 더 포함하는,
    컴퓨터 프로그램 제품.
  21. 제18 항에 있어서,
    상기 복수의 이미지들의 각각의 이미지에 대해, 필드 평탄화 및/또는 색수차 보정을 수행하기 위한 명령들을 더 포함하는,
    컴퓨터 프로그램 제품.
  22. 컴퓨터 프로그램 제품으로서,
    명령들을 갖는 비-일시적 컴퓨터 판독 가능 매체들을 포함하며,
    상기 명령들은 하나 이상의 프로세서들로 하여금:
    샘플의 복수의 초기 이미지들을 수신하게 하고 ― 상기 복수의 초기 이미지들은 공통 시야를 공유함 ―;
    상기 복수의 초기 이미지들의 각각의 초기 이미지에 대해,
    상기 초기 이미지를 동일한 크기의 복수의 서브-이미지들로 분할하게 하고,
    상기 복수의 서브-이미지들로부터 서브-이미지의 크기와 동일한 크기의 조합된 이미지를 계산하고, 이로써 복수의 축소 크기 이미지들을 생성하게 하며 ― 상기 복수의 이미지들의 각각의 이미지는 대응하는 축소 크기 이미지를 가짐 ―,
    상기 복수의 축소 크기 이미지들 중 적어도 하나의 축소 크기 이미지들에 대해, 상기 복수의 축소 크기 이미지들을 정합하기 위한 변환을 결정하게 하고;
    상기 적어도 하나의 축소 크기 이미지들 각각에 대해, 상기 초기 이미지와 동일한 크기의 변환된 이미지를 생성하고 이로써 복수의 변환된 이미지들을 생성하도록, 상기 축소 크기 이미지에 대해 결정된 변환을 대응하는 초기 이미지에 적용하게 하고;
    상기 복수의 변환된 이미지들의 적어도 2개의 픽셀들의 각각의 픽셀에 대해, 상기 픽셀에 대한 복수의 변환된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 상기 픽셀을 디코딩하게 하고; 그리고
    적어도 2개의 픽셀들의 각각의 픽셀에 대해, 상기 코드 워드와 연관된 유전자를 결정하고 상기 유전자가 상기 픽셀에서 발현된다는 표시를 저장하게 하는,
    컴퓨터 프로그램 제품.
  23. 제22 항에 있어서,
    상기 조합된 이미지를 계산하기 위한 명령들은 위상 시프트된 축소 크기 이미지들을 생성하기 위해 상기 축소 크기 이미지들을 상이한 위상 시프트 양들만큼 위상 시프트하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  24. 제23 항에 있어서,
    상기 조합된 이미지를 계산하기 위한 명령들은 복소 이미지를 생성하기 위해 상기 위상 시프트된 축소 크기 이미지를 합산하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  25. 제24 항에 있어서,
    상기 조합된 이미지를 계산하기 위한 명령들은 상기 조합된 이미지를 형성하기 위해 상기 복소 이미지의 실수 부분과 허수 부분을 합산하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  26. 컴퓨터 프로그램 제품으로서,
    명령들을 갖는 비-일시적 컴퓨터 판독 가능 매체들을 포함하며,
    상기 명령들은 하나 이상의 프로세서들로 하여금:
    샘플의 복수의 이미지들을 수신하게 하고 ― 상기 복수의 이미지들은 공통 시야를 표현함 ―;
    복수의 정합된 이미지들을 생성하도록 상기 복수의 이미지들의 정합을 수행하게 하고;
    상기 복수의 정합된 이미지들의 복수의 픽셀들의 각각의 픽셀에 대해, 상기 픽셀에 대한 복수의 정합된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 상기 픽셀을 디코딩하게 하고;
    하나 이상의 픽셀들 및 상기 하나 이상의 픽셀들의 각각의 픽셀에 대한 최상의 매칭으로서 식별된 각각의 코드 워드에 대해, 상기 픽셀에 대한 이미지 워드에 대한 비트율(bit ratio)이 상기 코드 워드에 대한 임계치를 충족하는지 여부를 결정하게 하고 ― 상기 이미지 워드는 상기 픽셀에 대한 상기 복수의 정합된 이미지들의 데이터 값들로부터 형성됨 ―; 그리고
    상기 임계치를 충족하는 것으로 결정된 적어도 하나의 픽셀에 대해, 상기 코드 워드와 연관된 유전자를 결정하고, 상기 유전자가 상기 픽셀에서 발현된다는 표시를 저장하며, 상기 비트율이 상기 임계치를 충족하지 않는 픽셀들을 차단하게 하는,
    컴퓨터 프로그램 제품.
  27. 제26 항에 있어서,
    상기 코드 워드는 코드 값들의 시퀀스를 포함하고, 상기 이미지 워드는 데이터 값들의 시퀀스를 포함하며, 상기 시퀀스 내의 각각의 데이터 값은 상기 코드 값들의 시퀀스에서 대응하는 코드 값을 갖는,
    컴퓨터 프로그램 제품.
  28. 제27 항에 있어서,
    상기 비트율을 결정하기 위한 명령들은 상기 코드 워드 내의 어느 코드 값들이 온(on) 상태를 표시하는지 그리고 상기 코드 워드 내의 어느 코드 값들이 "오프(off)" 상태를 표시하는지를 결정하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  29. 제28 항에 있어서,
    상기 비트율을 결정하기 위한 명령들은 상기 코드 워드에서 온 상태를 표시하는 코드 값들에 대응하는, 상기 이미지 워드 내의 데이터 값들의 제1 평균을 결정하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  30. 제29 항에 있어서,
    상기 비트율을 결정하기 위한 명령들은 상기 코드 워드에서 오프 상태를 표시하는 코드 값들에 대응하는, 상기 이미지 워드 내의 데이터 값들의 제2 평균을 결정하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  31. 제30 항에 있어서,
    상기 비트율을 결정하기 위한 명령들은 상기 제1 평균을 상기 제2 평균으로 나누기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  32. 컴퓨터 프로그램 제품으로서,
    명령들을 갖는 비-일시적 컴퓨터 판독 가능 매체들을 포함하며,
    상기 명령들은 하나 이상의 프로세서들로 하여금:
    샘플의 복수의 이미지들을 수신하게 하고 ― 상기 복수의 이미지들은 공통 시야를 표현함 ―;
    복수의 정합된 이미지들을 생성하도록 상기 복수의 이미지들의 정합을 수행하게 하고;
    상기 복수의 정합된 이미지들의 복수의 픽셀들의 각각의 픽셀에 대해, 상기 픽셀에 대한 복수의 정합된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 상기 픽셀을 디코딩하게 하고;
    하나 이상의 픽셀들 및 상기 하나 이상의 픽셀들의 각각의 픽셀에 대한 최상의 매칭으로서 식별된 각각의 코드 워드에 대해, 상기 픽셀에 대한 이미지 워드에 대한 비트 밝기가 상기 코드 워드에 대한 임계치를 충족하는지 여부를 결정하게 하고 ― 상기 이미지 워드는 상기 픽셀에 대한 상기 복수의 정합된 이미지들의 데이터 값들로부터 형성됨 ―; 그리고
    상기 임계치를 충족하는 것으로 결정되는 각각의 픽셀에 대해, 상기 코드 워드와 연관된 유전자를 결정하고 상기 유전자가 상기 픽셀에서 발현된다는 표시를 저장하고, 상기 비트 밝기가 상기 임계치를 충족하지 않는 픽셀들을 차단하게 하는,
    컴퓨터 프로그램 제품.
  33. 제32 항에 있어서,
    상기 코드 워드는 코드 값들의 시퀀스를 포함하고, 상기 이미지 워드는 데이터 값들의 시퀀스를 포함하며, 상기 시퀀스 내의 각각의 데이터 값은 상기 코드 값들의 시퀀스에서 대응하는 코드 값을 갖는,
    컴퓨터 프로그램 제품.
  34. 제33 항에 있어서,
    상기 비트 밝기를 결정하기 위한 명령들은 상기 코드 워드 내의 어느 코드 값들이 온 상태를 표시하는지 그리고 상기 코드 워드 내의 어느 코드 값들이 오프 상태를 표시하는지를 결정하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  35. 제34 항에 있어서,
    상기 비트 밝기를 결정하기 위한 명령들은 상기 코드 워드에서 온 상태를 표시하는 코드 값들에 대응하는, 상기 이미지 워드 내의 데이터 값들의 평균을 결정하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  36. 제32 항에 있어서,
    상기 하나 이상의 픽셀들 및 상기 하나 이상의 픽셀들의 각각의 픽셀에 대한 최상의 매칭으로서 식별된 각각의 코드 워드에 대해, 상기 픽셀에 대한 이미지 워드에 대한 비트율이 상기 코드 워드에 대한 제2 임계치를 충족하는지 여부를 결정하고, 상기 비트율이 상기 제2 임계치를 충족하지 않는 픽셀들을 차단하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  37. 제36 항에 있어서,
    상기 샘플의 복수의 이미지들로부터의 비트 값들의 히스토그램에서 제1 변위치 한계(quantile limit)의 값을 결정함으로써 상기 임계치를 결정하고, 그리고 상기 샘플의 복수의 이미지들로부터의 비트 값들의 히스토그램에서의 제2 변위치 한계의 제2 값을 결정함으로써 상기 제2 임계치를 결정하기 위한 명령들을 포함하며,
    상기 제2 변위치 한계는 상기 제1 변위치 한계보다 더 높은,
    컴퓨터 프로그램 제품.
  38. 컴퓨터 프로그램 제품으로서,
    명령들을 갖는 비-일시적 컴퓨터 판독 가능 매체들을 포함하며,
    상기 명령들은 하나 이상의 프로세서들로 하여금:
    샘플의 복수의 초기 이미지들을 수신하게 하고 ― 상기 복수의 초기 이미지들은 복수의 상이한 시야들의 각각의 시야에 대한 다수의 초기 이미지들을 포함함 ―;
    상기 시야에 대한 다수의 이미지들의 이미지 필터링 또는 상기 시야에 대한 다수의 이미지들의 정합 중 하나 이상이 수행되는 이미지 프로세싱 알고리즘을 수행하기 위한 명령들을 저장하게 하고;
    각각의 시야에 대해, 하나 이상의 초기 파라미터 값들을 결정하게 하고 ― 상이한 시야들은 상이한 초기 파라미터 값들을 가짐 ―;
    상기 상이한 시야들에 대한 상이한 초기 디코딩 파라미터 값들을 사용하여 각각의 시야에 대해 상기 이미지 프로세싱 알고리즘을 수행하게 하고;
    하나 이상의 후속 디코딩 파라미터 값들을 결정하게 하고; 그리고
    한 세트의 공간 전사체학(spatial transcriptomic) 데이터를 생성하도록 상기 상이한 시야들에 대해 동일한 후속 파라미터 값들을 사용하여 각각의 시야에 대해 상기 이미지 프로세싱 알고리즘 및 디코딩 알고리즘을 수행하게 하는,
    컴퓨터 프로그램 제품.
  39. 제38 항에 있어서,
    상기 하나 이상의 후속 파라미터 값들을 결정하기 위한 명령들은 각각의 시야에 대해 상기 하나 이상의 초기 파라미터 값들 중 적어도 하나에 기초하여 상기 하나 이상의 후속 파라미터 값들을 결정하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  40. 제38 항에 있어서,
    복수의 평균 적합도(goodnesses of fit)들로부터 최상의 평균 적합도를 결정하기 위한 명령들을 포함하며,
    상기 하나 이상의 후속 파라미터 값들을 결정하기 위한 명령들은 상기 최상의 평균 적합도와 연관된 시야에 대해 상기 초기 디코딩 파라미터들 중에서 하나 이상의 디코딩 파라미터들을 선택하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  41. 제38 항에 있어서,
    시야들의 어레이 내의 미리 결정된 포지션에서 시야를 선택하기 위한 명령들을 포함하며,
    상기 하나 이상의 후속 디코딩 파라미터 값들을 결정하기 위한 명령들은 상기 미리 결정된 포지션에서 상기 시야에 대해 상기 초기 디코딩 파라미터들 중에서 하나 이상의 디코딩 파라미터들을 선택하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  42. 제38 항에 있어서,
    상기 하나 이상의 후속 디코딩 파라미터 값들을 결정하기 위한 명령들은 상기 복수의 시야들로부터의 디코딩 파라미터들을 평균하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  43. 컴퓨터 프로그램 제품으로서,
    명령들을 갖는 비-일시적 컴퓨터 판독 가능 매체들을 포함하며,
    상기 명령들은 하나 이상의 프로세서들로 하여금:
    샘플의 복수의 초기 이미지들을 수신하게 하고 ― 상기 복수의 초기 이미지들은 복수의 상이한 시야들의 각각의 시야에 대한 다수의 초기 이미지들을 포함함 ―;
    각각의 시야에 대해, 상기 시야에 대한 다수의 이미지들에 기반하여 한 세트의 공간 전사체학 데이터를 생성하게 하고 ― 상기 공간 전사체학 데이터의 각각의 세트는 하나 이상의 데이터 쌍들을 포함하며, 상기 하나 이상의 데이터 쌍들의 각각의 데이터 쌍은 포지션 및 상기 포지션에 대한 발현된 유전자를 포함함 ―;
    인접한 시야들로부터 다수의 이미지들의 중첩 구역들을 결정하게 하고; 그리고
    각각의 시야에 대한 한 세트의 공간 전사체학 데이터로부터, 상기 복수의 상이한 시야들을 커버하는 조합된 이미지에 대해 조합된 세트의 공간 전사체학 데이터를 생성하게 하며,
    상기 조합된 세트의 공간 전사체학 데이터를 생성하기 위한 명령들은 상기 샘플 내의 동일한 위치에서 동일한 발현된 유전자를 나타내는, 상이한 시야들로부터의 적어도 하나의 이중 카운팅된 데이터 쌍을 중첩 구역에서 차단하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  44. 제43 항에 있어서,
    상기 차단하기 위한 명령들은 동일한 유전자의 발현들을 위한 포지션들 간의 거리를 결정하기 위한 그리고 상기 거리가 임계 값 미만인지 여부를 결정하기 위한 명령들을 포함하는,
    컴퓨터 프로그램 제품.
  45. 컴퓨터 프로그램 제품으로서,
    명령들을 갖는 비-일시적 컴퓨터 판독 가능 매체들을 포함하며,
    상기 명령들은 하나 이상의 프로세서들로 하여금:
    샘플의 복수의 이미지들을 수신하게 하고 ― 상기 복수의 이미지들은 복수의 상이한 시야들의 각각의 시야에 대한 다수의 이미지들을 포함함 ―;
    상기 복수의 이미지들의 각각의 이미지 상에서, 상기 이미지에 대해 이미지 품질 검사를 수행하게 하고;
    상기 이미지 품질 검사를 수행한 후에, 상기 복수의 이미지들의 각각의 이미지 상에서, 상기 이미지로부터 아티팩트들을 제거하게 하고;
    아티팩트들을 제거한 후에, 상기 복수의 이미지들의 각각의 이미지 상에서, 상기 이미지의 이미지 스폿들을 선명화하게 하고;
    상기 이미지 스폿들을 선명화한 후에, 각각의 다수의 이미지들에 대해, 정합된 이미지들을 생성하도록 상기 다수의 이미지들의 정합을 수행하게 하고; 그리고
    정합을 수행한 후에, 각각의 다수의 이미지들에 대해, 개개의 다수의 정합된 이미지들의 복수의 픽셀들의 각각의 픽셀에 대해, 상기 픽셀에 대한 개개의 다수의 정합된 이미지들에서 데이터 값들에 대한 최상의 매칭을 제공하는 코드 워드를 코드북 내의 복수의 코드 워드들로부터 식별함으로써 상기 픽셀을 디코딩하게 하는,
    컴퓨터 프로그램 제품.
KR1020227024710A 2019-12-17 2020-12-16 다중 형광 인시튜 하이브리드화 이미지들의 획득 및 프로세싱을 위한 시스템 및 방법 KR20220110589A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962949391P 2019-12-17 2019-12-17
US62/949,391 2019-12-17
PCT/US2020/065371 WO2021127019A1 (en) 2019-12-17 2020-12-16 System and method for acquisition and processing of multiplexed fluorescence in-situ hybridization images

Publications (1)

Publication Number Publication Date
KR20220110589A true KR20220110589A (ko) 2022-08-08

Family

ID=76316250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227024710A KR20220110589A (ko) 2019-12-17 2020-12-16 다중 형광 인시튜 하이브리드화 이미지들의 획득 및 프로세싱을 위한 시스템 및 방법

Country Status (7)

Country Link
US (5) US20210182531A1 (ko)
EP (1) EP4078151A4 (ko)
JP (1) JP7420950B2 (ko)
KR (1) KR20220110589A (ko)
CN (1) CN114868010A (ko)
TW (1) TWI782368B (ko)
WO (1) WO2021127019A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
EP3644044B1 (en) * 2018-10-24 2020-12-23 Leica Biosystems Imaging, Inc. Camera exposure control when acquiring fluorescence in situ hybridization images
JP7280107B2 (ja) * 2019-05-10 2023-05-23 株式会社エビデント 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
JP7420950B2 (ja) 2019-12-17 2024-01-23 アプライド マテリアルズ インコーポレイテッド 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法
US20220084629A1 (en) 2020-09-16 2022-03-17 10X Genomics, Inc. Systems and methods for barcode design and decoding
JP2022051094A (ja) * 2020-09-18 2022-03-31 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置および撮像装置
WO2023078527A1 (en) * 2021-11-02 2023-05-11 Leica Microsystems Cms Gmbh Method for providing position information for retrieving a target position in a microscopic sample, method for examining and/or processing such a target position and means for implementing these methods
WO2023108139A2 (en) 2021-12-10 2023-06-15 10X Genomics, Inc. Multi-resolution in situ decoding
WO2023172915A1 (en) 2022-03-08 2023-09-14 10X Genomics, Inc. In situ code design methods for minimizing optical crowding
WO2023192302A1 (en) 2022-03-29 2023-10-05 10X Genomics, Inc. Spectral unmixing combined with decoding for super-multiplexed in situ analysis
KR102483745B1 (ko) * 2022-04-06 2023-01-04 주식회사 포트래이 공간전사체정보 분석장치 및 이를 이용한 분석방법
CN115602245B (zh) * 2022-09-09 2023-10-03 郑州思昆生物工程有限公司 一种荧光图筛选的方法、装置、设备以及存储介质

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224860B2 (ja) 1992-06-19 2001-11-05 ポーラ化成工業株式会社 顕微鏡画像評価システム
US6007994A (en) * 1995-12-22 1999-12-28 Yale University Multiparametric fluorescence in situ hybridization
US6404906B2 (en) 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US5880473A (en) * 1997-07-28 1999-03-09 Applied Imaging, Inc. Multifluor-fluorescence in-situ hybridization (M-FISH) imaging techniques using multiple multiband filters with image registration
US5834203A (en) * 1997-08-25 1998-11-10 Applied Spectral Imaging Method for classification of pixels into groups according to their spectra using a plurality of wide band filters and hardwire therefore
US6900435B1 (en) * 1999-02-14 2005-05-31 Nanoptics, Inc. Deconvolving far-field images using scanned probe data
US6834122B2 (en) * 2000-01-22 2004-12-21 Kairos Scientific, Inc. Visualization and processing of multidimensional data using prefiltering and sorting criteria
US6995841B2 (en) * 2001-08-28 2006-02-07 Rice University Pulsed-multiline excitation for color-blind fluorescence detection
JP2003088399A (ja) 2001-09-14 2003-03-25 Fuji Photo Film Co Ltd ハイブリダイゼーション方法および装置ならびに生化学解析用ユニット
JP3902939B2 (ja) 2001-10-26 2007-04-11 株式会社日立ハイテクノロジーズ 標本中の微小領域測定装置及び方法
JP4497923B2 (ja) 2001-12-05 2010-07-07 ザ ジェイ． デビッド グラッドストーン インスティテューツ ロボット顕微鏡検査システム
KR100437253B1 (ko) 2002-05-13 2004-06-23 학교법인 한양학원 마이크로어레이 모사 이미지 생성 시스템 및 그 방법
CA2492071A1 (en) 2002-06-18 2003-12-24 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
EP1556506A1 (en) 2002-09-19 2005-07-27 The Chancellor, Masters And Scholars Of The University Of Oxford Molecular arrays and single molecule detection
FR2849196B1 (fr) 2002-12-23 2006-09-15 Imstar Image Et Modelisation S Lecteur de puces de type biopuces, et procedes associes
JP4111099B2 (ja) 2003-08-21 2008-07-02 ソニー株式会社 生化学分析方法及び装置
US20050265588A1 (en) * 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
WO2006076432A2 (en) * 2005-01-11 2006-07-20 University Of Central Florida Interactive multiple gene expression map system
US20070031043A1 (en) 2005-08-02 2007-02-08 Perz Cynthia B System for and method of intelligently directed segmentation analysis for automated microscope systems
SG10201405158QA (en) * 2006-02-24 2014-10-30 Callida Genomics Inc High throughput genome sequencing on dna arrays
KR20090074155A (ko) * 2006-08-04 2009-07-06 아이코니시스 인코포레이티드 현미경 시스템의 이미지 처리 방법
US7826977B2 (en) 2006-08-25 2010-11-02 The Trustees Of Columbia University In The City Of New York Systems and methods for high-speed image scanning
US20120082978A1 (en) * 2006-09-15 2012-04-05 Linda Pilarski Cell Analysis On Microfluidic Chips
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
WO2009059022A1 (en) 2007-10-30 2009-05-07 Complete Genomics, Inc. Apparatus for high throughput sequencing of nucleic acids
US20100034444A1 (en) * 2008-08-07 2010-02-11 Helicos Biosciences Corporation Image analysis
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US20100330555A1 (en) * 2009-06-25 2010-12-30 General Electric Company Accuracy fluorescence in-situ hybridization assay of samples with apoptotic cells
WO2011080670A1 (en) * 2009-12-30 2011-07-07 Koninklijke Philips Electronics N.V. Sensor for microscopy.
JP5497587B2 (ja) 2010-03-23 2014-05-21 株式会社日立ハイテクノロジーズ マイクロ流路チップ及びマイクロアレイチップ
ES2490965T3 (es) 2011-04-29 2014-09-04 F. Hoffmann-La Roche Ag Procedimiento para la operación de una celda de trabajo para muestras automatizadas
AU2013240127B2 (en) 2012-03-30 2018-07-12 Leica Microsystems Cms Gmbh Immunofluorescence and fluorescent-based nucleic acid analysis on a single sample
CN102719357B (zh) 2012-05-31 2014-07-09 博奥生物集团有限公司 一种实时监控微阵列芯片分析过程的杂交系统
TW201831881A (zh) 2012-07-25 2018-09-01 美商提拉諾斯股份有限公司 影像分析及生物樣本之量測
JP5663541B2 (ja) 2012-09-19 2015-02-04 株式会社日立ハイテクノロジーズ 反応容器，並列処理装置、及びシーケンサ
US9064304B2 (en) * 2013-03-18 2015-06-23 General Electric Company Image quality assessment of microscopy images
US10168259B2 (en) * 2014-06-12 2019-01-01 University Of Notre Dame Microfluidic devices, systems, and methods for imaging tissue samples
CN106715768B (zh) 2014-07-30 2020-06-16 哈佛学院院长及董事 用于测定核酸的系统和方法
CN107209934B (zh) * 2014-12-03 2021-03-30 文塔纳医疗系统公司 用于定量分析异质生物标志物分布的方法、系统和装置
WO2016115537A2 (en) 2015-01-15 2016-07-21 Massachusetts Institute Of Technology Systems, methods, and apparatus for in vitro single-cell identification and recovery
EP3251087B1 (en) * 2015-01-29 2018-11-28 Ventana Medical Systems, Inc. Dot detection, color classification of dots and counting of color classified dots
WO2016120442A1 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Foreground segmentation and nucleus ranking for scoring dual ish images
EP3252452A1 (en) * 2016-05-25 2017-12-06 The Board of Trustees of the Leland Stanford Junior University Method for imaging and analysis of a biological specimen
US10203491B2 (en) 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
SG10201609334WA (en) 2016-11-08 2018-06-28 Delta Electronics Intl Singapore Pte Ltd Multi-Channel Fluorescence Detection Device
CN116242687A (zh) 2016-11-08 2023-06-09 哈佛学院院长及董事 使用merfish、扩展显微术和相关技术进行多重成像
EP3559902A1 (en) * 2016-12-22 2019-10-30 Ventana Medical Systems, Inc. Computer scoring based on primary stain and immunohistochemistry images
US10573003B2 (en) 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
EP3586181B1 (en) 2017-06-13 2021-09-22 Google LLC Augmented reality microscope for pathology
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
EP3794548A1 (en) * 2018-05-15 2021-03-24 Ventana Medical Systems, Inc. Quantitation of signal in stain aggregates
JP2021531790A (ja) * 2018-07-27 2021-11-25 ベンタナ メディカル システムズ， インコーポレイテッド 自動化された原位置ハイブリッド形成分析のためのシステム
CN112823376A (zh) * 2018-10-15 2021-05-18 文塔纳医疗系统公司 图像增强以实现改善的核检测和分割
CN113424050A (zh) * 2019-02-13 2021-09-21 文塔纳医疗系统公司 用于计算多通道图像中的自体荧光贡献的系统和方法
JP7420950B2 (ja) 2019-12-17 2024-01-23 アプライド マテリアルズ インコーポレイテッド 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法

Also Published As

Publication number Publication date
US20210181111A1 (en) 2021-06-17
JP2023507595A (ja) 2023-02-24
TWI782368B (zh) 2022-11-01
US11783916B2 (en) 2023-10-10
CN114868010A (zh) 2022-08-05
US11624708B2 (en) 2023-04-11
WO2021127019A1 (en) 2021-06-24
US20210182531A1 (en) 2021-06-17
TW202138564A (zh) 2021-10-16
JP7420950B2 (ja) 2024-01-23
US20230253073A1 (en) 2023-08-10
US20210183034A1 (en) 2021-06-17
US11630067B2 (en) 2023-04-18
US20210199584A1 (en) 2021-07-01
EP4078151A4 (en) 2024-01-03
TW202307420A (zh) 2023-02-16
EP4078151A1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
KR20220110589A (ko) 다중 형광 인시튜 하이브리드화 이미지들의 획득 및 프로세싱을 위한 시스템 및 방법
CA2802420C (en) Method and apparatus for single-particle localization using wavelet analysis
Racine et al. Visualization and quantification of vesicle trafficking on a three‐dimensional cytoskeleton network in living cells
US10073258B2 (en) Microscope system
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
EP2941663A1 (en) A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
JP2018530823A (ja) 病理学的明視野画像における自動染色検出
EP3884327A1 (en) Real-time focusing in a slide-scanning system
TWI835323B (zh) 用於多工螢光原位雜合影像之獲取及處理的系統及方法
US20230230234A1 (en) Cell body segmentation using machine learning
US20220064718A1 (en) Alignment beads for mfish
De Mey et al. Fast 4D microscopy
US20220310202A1 (en) Utilization of sparce codebook in multiplexed fluorescent in-situ hybridization imaging
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム