JP2023507595A - 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法 - Google Patents

多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法 Download PDF

Info

Publication number
JP2023507595A
JP2023507595A JP2022537620A JP2022537620A JP2023507595A JP 2023507595 A JP2023507595 A JP 2023507595A JP 2022537620 A JP2022537620 A JP 2022537620A JP 2022537620 A JP2022537620 A JP 2022537620A JP 2023507595 A JP2023507595 A JP 2023507595A
Authority
JP
Japan
Prior art keywords
image
images
instructions
pixel
computer program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022537620A
Other languages
English (en)
Other versions
JP7420950B2 (ja
Inventor
ユン-チン チャン,
タン シエ,
クロイ キム,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Inc
Original Assignee
Applied Materials Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Inc filed Critical Applied Materials Inc
Publication of JP2023507595A publication Critical patent/JP2023507595A/ja
Application granted granted Critical
Publication of JP7420950B2 publication Critical patent/JP7420950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/10Signal processing, e.g. from mass spectrometry [MS] or from PCR
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6813Hybridisation assays
    • C12Q1/6841In situ hybridisation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00ICT programming tools or database systems specially adapted for bioinformatics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00ICT programming tools or database systems specially adapted for bioinformatics
    • G16B50/40Encryption of genetic data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6419Excitation at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N2021/755Comparing readings with/without reagents, or before/after reaction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N21/03Cuvette constructions
    • G01N21/05Flow-through cuvettes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/127Calibration; base line adjustment; drift compensation
    • G01N2201/12746Calibration values determination
    • G01N2201/12761Precalibration, e.g. for a given series of reagents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

蛍光インシトゥハイブリダイゼーションイメージングシステムは、ネステッドループとして、(1)サンプルを複数の異なる試薬に曝露するために、バルブが、フローセルを複数の異なる試薬源に順次連結すること、(2)複数の異なる試薬の各試薬につき、モータが、サンプルに対して、複数の異なる視野に蛍光顕微鏡を順次位置付けること、(3)複数の異なる視野の各視野につき、可変周波数励起光源が、複数の異なる波長を順次放出すること、(4)複数の異なる波長の各波長につき、アクチュエータが、サンプルに対して、複数の異なる垂直高さに蛍光顕微鏡を順次位置付けること、及び(5)複数の異なる垂直高さの各垂直高さにつき、画像が取得されること、を実施する。【選択図】図1

Description

この明細書は、多重蛍光インシトゥ(その場)ハイブリダイゼーションイメージングに関する。
生体サンプル(例えば組織切除、生検、培養細胞)における複数の生体分析物(例えばDNA、RNA、及びタンパク質)を可視化し、定量化するための方法を開発することに、バイオテクノロジー界及び製薬業界は多大な興味を抱いている。科学者は、疾患の診断/モニタリング、バイオマーカーの検証、及び治療法の検討を行うために、かかる方法を使用する。現在までのところ、例示的な方法は、生体サンプルに対して機能的ドメインで標識された抗体又はオリゴヌクレオチド(例えばRNA又はDNA)の多重イメージングを含むものである。
多重蛍光インシトゥハイブリダイゼーション(mFISH)イメージングは、空間トランスクリプトミクスにおける遺伝子発現を判定するための強力な技法である。要約すると、サンプルは、対象のRNAを標的とする複数のオリゴヌクレオチドプローブに曝露される。かかるプローブは異なる標識スキームを有し、その標識スキームにより、相補的な蛍光標識されたプローブがサンプルに導入される時に、種々のRNA種を識別することが可能になる。その後、種々の波長の励起光への曝露により、蛍光画像の連続ラウンドが獲得される。所与のピクセルの各々につき、励起光の種々の波長に対する種々の画像からの蛍光強度が、信号配列を形成する。この配列は次いで、コードブック(これにより、各コードが遺伝子に関連付けられる)からの参照コードのライブラリと比較される。画像中のそのピクセルで発現する関連遺伝子を特定するために、最良一致の参照コードが使用される。
一態様では、蛍光インシトゥハイブリダイゼーションイメージングシステムは、試薬中の蛍光プローブに曝露されるべきサンプルを包含するためのフローセルと、複数の試薬源のうちの1つからフローセルへの流れを制御するためのバルブと、フローセルを通るように流体を流すためのポンプと、可変周波数励起光源及びサンプルから蛍光放出された光を受信するよう位置付けられたカメラを含む、蛍光顕微鏡と、フローセルと蛍光顕微鏡とを垂直方向に相対運動させるためのアクチュエータと、フローセルと蛍光顕微鏡とを横方向に相対運動させるためのモータと、制御システムと、を含む。この制御システムは、ネストされたループとして、バルブに、サンプルが複数の異なる試薬に曝露されるようにフローセルを複数の異なる試薬源に順次連結させ、複数の異なる試薬の各試薬につき、モータに、サンプルに対して、複数の異なる視野に蛍光顕微鏡を順次位置付けさせ、複数の異なる視野の各視野につき、可変周波数励起光源に、複数の異なる波長を順次放出させ、複数の異なる波長の各波長につき、アクチュエータに、サンプルに対して、複数の異なる垂直高さに蛍光顕微鏡を順次位置付けさせ、複数の異なる垂直高さの各垂直高さにつき、それぞれの波長によって励起されたそれぞれの試薬のそれぞれの蛍光プローブを有するサンプルのそれぞれの視野をカバーするそれぞれの垂直高さで、画像を取得するよう、構成される。
実行形態は、以下の特徴のうちの一又は複数を含みうる。アクチュエータはピエゾアクチュエータでありうる。データ処理システムは、各画像の画質値を決定し、画質値が画質閾値を満たさなければ画像を選別排除するよう構成されうる。画質値は鮮鋭度品質値又は輝度品質値でありうる。カメラはCMOSカメラでありうる。
別の態様では、蛍光インシトゥハイブリダイゼーションイメージング・解析システムは、試薬中の蛍光プローブに曝露されるべきサンプルを包含するためのフローセルと、イメージングパラメータの複数の異なる組み合わせで、サンプルの複数の画像を順次収集するための蛍光顕微鏡と、データ処理システムと、を含む。このデータ処理システムは、画像が収集される際に蛍光顕微鏡から画像を順次受信するよう、かつ、画像の実験的アーチファクトを除去し、RNA画像スポット鮮鋭化を提供するために、オンザフライ(on-the-fly)画像前処理を実施するよう構成された、オンライン前処理システムと、複数の画像が収集された後に、同じ視野を有する複数の画像の位置決め(registration)を実施するよう、かつ、複数の画像内の強度値を復号して、発現した遺伝子を特定するよう構成された、オフライン処理システムと、を含む。
実行形態は、以下の特徴のうちの一又は複数を含みうる。データ処理システムは、鮮鋭度品質値又は輝度品質値を決定するよう構成されうる。鮮鋭度品質値は、画像全体の画像輝度の勾配の絶対値を積分することによって決定されうる。画質値は、鮮鋭度品質値が最小鮮鋭度値を上回った場合に閾値を満たすよう決定されうる。輝度品質値は、画像全体の画像輝度を積分することによって決定されうる。画質値は、輝度品質値が最小輝度値を上回った場合に閾値を満たすよう決定されうる。
別の態様では、蛍光インシトゥハイブリダイゼーションイメージングシステムは、試薬中の蛍光プローブに曝露されるべきサンプルを包含するためのフローセルと、蛍光顕微鏡と、制御システムとを含む。この蛍光顕微鏡は、サンプルを照射するための可変周波数励起光源と、フィルタホイール上の複数の発光バンドパスフィルタと、フィルタホイールを回転させるためのアクチュエータと、フィルタホイール上のフィルタを通過した、サンプルから蛍光放出された光を、受信するよう位置付けられたカメラと、を含む。制御システムは、可変周波数励起光源に、選択された波長を有する光ビームを放出させ、アクチュエータに、選択されたフィルタがサンプルとカメラとの間の光路内に位置付けられるよう、フィルタホイールを回転させ、カメラから画像を取得し、かつ、選択されたフィルタが、画像が取得される時に、選択された波長によって励起された時の蛍光プローブによる発光に関連付けられた発光バンドパスを有するように、可変周波数励起光源とフィルタホイールとを協調させるよう、構成される。
別の態様では、コンピュータプログラム製品は、命令であって、一又は複数のプロセッサに、複数の画像の各画像に対して、一又は複数のフィルタを適用し、逆畳み込み(deconvolution)を実施して、複数のフィルタリング済みの画像を生成することと、複数のフィルタリング済みの画像の位置決めを実施して、複数の位置決め済みでフィルタリング済みの画像を生成することと、複数の位置決め済みでフィルタリング済みの画像の少なくとも2つのピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、そのピクセルについて、複数の位置決め済みでフィルタリング済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、ピクセルを復号することと、少なくとも2つのピクセルの各ピクセルにつき、コードワードに関連付けられた遺伝子を決定して、この遺伝子がそのピクセルで発現しているという指示を記憶することと、を実行させるための、命令を有する。
実行形態は、以下の特徴のうちの一又は複数を含みうる。画像の輝度値のヒストグラムを決定すること、及びこのヒストグラム中の分位限界における輝度値を決定することによって、閾値を決定するための命令が存在しうる。分位限界は99.5%以上(例えば99.9%以上)でありうる。一又は複数のフィルタを適用するための命令は、ローパスフィルタを適用するための命令を含みうる。逆畳み込みを実施するための命令は、2D点広がり関数を用いて逆畳み込みを行うための命令を含みうる。
別の態様では、コンピュータプログラム製品は、サンプルの複数の初期画像であって、共通の視野を共有する複数の初期画像を受信するための命令を有する。複数の初期画像の各初期画像につき、初期画像は、均等なサイズの複数のサブ画像に分割され、かかる複数のサブ画像から、サブ画像のサイズに等しいサイズの合成画像が計算されることにより、複数の縮小サイズ画像が生成され、複数の画像の各画像は、対応する縮小サイズ画像を有し、複数の縮小サイズ画像のうちの少なくとも1つの縮小サイズ画像につき、複数の縮小サイズ画像を位置決めするための変換が決定され、少なくとも1つの縮小サイズ画像の各々につき、その縮小サイズ画像について決定された変換が対応する初期画像に適用されて、初期画像に等しいサイズの変換された画像が生成されることにより、複数の変換された画像が生成され、複数の変換された画像の少なくとも2つのピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、そのピクセルについて、複数の変換された画像におけるデータ値との最良一致を提供するコードワードを特定することによって、ピクセルが復号される。少なくとも2つのピクセルの各ピクセルにつき、コードワードに関連付けられた遺伝子が決定され、この遺伝子がそのピクセルで発現しているという指示が記憶される。
実行形態は、以下の特徴のうちの一又は複数を含みうる。初期画像を複数のサブ画像に分割するための命令は、初期画像を、複数の列及び複数の行を有する矩形格子に分割するための命令を含みうる。この矩形格子は均等な数の列と行とを有しうる。初期画像は、正確にN個の画像に分割されうる(ここで、N=Zであり、Zは偶数の整数である)。Nは2でありうる。サブ画像は、1024×1024ピクセル以下のサイズを有しうる。
別の態様では、コンピュータプログラム製品は命令であって、サンプルのある共通の視野を表わす複数の画像を受信し、複数の画像の位置決めを実施して、複数の位置決め済みの画像を生成し、位置決め済みの画像の複数のピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、そのピクセルについて、複数の位置決め済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、ピクセルを復号し、一又は複数のピクセル及び一又は複数のピクセルの各ピクセルの最良一致として特定された各コードワードにつき、そのピクセルについての画像ワードのビット比がコードワードの閾値を満たすかどうかを判定する、ための命令を有する。画像ワードは、そのピクセルについての、複数の位置決め済みの画像におけるデータ値から形成される。閾値を満たしていると決定された少なくとも1つのピクセルにつき、コードワードに関連付けられた遺伝子が決定され、この遺伝子がそのピクセルで発現しているという指示が記憶される。ビット比が閾値を満たしていないピクセルは選別排除される。
実行形態は、以下の特徴のうちの一又は複数を含みうる。閾値を決定することは、サンプルの複数の画像からのビット値のヒストグラム中の、第1分位限界における値を決定することを含みうる。分位限界はデフォルト値を有しうる。閾値を決定した後、サンプルの複数の画像からのビット値のヒストグラム中の、異なる第2分位限界における値を決定することによって、更新された閾値が決定されうる。
別の態様では、コンピュータプログラム製品は、命令であって、サンプルのある共通の視野を表わす複数の画像を受信し、複数の画像の位置決めを実施して、複数の位置決め済みの画像を生成し、位置決め済みの画像の複数のピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、そのピクセルについて、複数の位置決め済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、ピクセルを復号し、一又は複数のピクセル及び一又は複数のピクセルの各ピクセルについて最良一致として特定された各コードワードにつき、そのピクセルについての画像ワードのビット輝度がコードワードの閾値を満たしているかどうかが判定されるための、命令を有する。画像ワードは、そのピクセルについての、複数の位置決め済みの画像におけるデータ値から形成される。閾値を満たしていると決定された各ピクセルにつき、コードワードに関連付けられた遺伝子が決定され、この遺伝子がそのピクセルで発現しているという指示が記憶される。ビット比が閾値を満たしていないピクセルは選別排除される。
実行形態は、以下の特徴のうちの一又は複数を含みうる。閾値を決定することは、サンプルの複数の画像からのビット値のヒストグラム中の、第1分位限界における値を決定することを含みうる。閾値を決定した後、サンプルの複数の画像からのビット値のヒストグラム中の、異なる第2分位限界における値を決定することによって、更新された閾値が決定されうる。
別の態様では、コンピュータプログラム製品は、サンプルの複数の初期画像を受信するための命令を有する。複数の初期画像は、複数の異なる視野の各視野での多数の(multiplicity of)画像を含む。命令は、画像処理アルゴリズムであって、その視野での多数の画像の画像フィルタリング又はその視野での多数の画像の位置決めのうちの一又は複数が実施される、画像処理アルゴリズムを実施するために記憶される。各視野につき、一又は複数の初期パラメータ値が決定され、別々の視野は別々の初期パラメータ値を有する。画像処理アルゴリズムは、別々の視野に別々の初期復号パラメータ値を使用して、各視野につき実施される。一又は複数の後続復号パラメータ値が決定され、画像処理アルゴリズム及び復号化アルゴリズムが、異なる視野に同じ後続パラメータ値を使用して各視野で実施されて、空間トランスクリプトミクスデータ(spatial transcriptomic data)のセットが生成される。
実行形態は、以下の特徴のうちの一又は複数を含みうる。画像処理アルゴリズム及び復号化アルゴリズムは、ある視野での複数のピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、複数の画像内のそのピクセルについて、データ値との最良一致を提供するコードワードを特定することによって、ピクセルを復号し、複数の最良一致コードワードを生成する。各視野につき、各ピクセルワードとそのピクセルワードについての最良一致コードワードとの間の適合度(goodness of fit)が決定されることにより、各視野につき複数の適合度が提供されうる。適合度を決定することは、ピクセルワードと最良一致コードワードとの間の距離を決定することを含みうる。各視野につき、その視野についての複数の適合度から平均適合度が決定されることにより、複数の平均適合度が提供されうる。
別の態様では、コンピュータプログラム製品は、サンプルの複数の初期画像であって、複数の異なる視野の各視野での多数の画像を含む、複数の初期画像を受信するための命令を有する。各視野につき、その視野での多数の画像に基づいて、空間トランスクリプトミクスデータのセットが生成される。空間トランスクリプトミクスデータの各セットは一又は複数のデータペアを含み、一又は複数のデータペアの各データペアは、位置とその位置で発現した遺伝子とを含む。隣接した視野からの多数の画像のオーバーラップ領域が決定される。各視野についての空間トランスクリプトミクスデータのセットから、複数の異なる視野をカバーする合成画像のための、空間トランスクリプトミクスデータの合成セットが生成される。空間トランスクリプトミクスデータの合成セットの生成において、異なる視野からの少なくとも1つの二重計数されたデータペア(これは、サンプル内の同じ箇所に同じ遺伝子が発現していることを表わす)は選別排除される。
実行形態は、以下の特徴のうちの一又は複数を含みうる。オーバーラップ領域を決定することは、各行につき、第1FOVからの第1画像と隣接した第2FOVからの第2画像との間で水平シフト推定を実施することを含みうる。オーバーラップ領域を決定することは、各行につき、第1FOVからの第1画像と隣接した第2FOVからの第2画像との間で垂直シフト推定を実施することを含みうる。水平シフト推定及び垂直シフト推定は各々、第1画像と第2画像との相互相関を含みうる。
別の態様では、コンピュータプログラム製品は、サンプルの複数の画像であって、複数の異なる視野の各視野での多数の画像を含む、複数の画像を受信するための命令を有する。複数の画像の各画像に対して、その画像の画質チェックが実施される。画質チェックを実施した後に、複数の画像の各画像からアーチファクトが除去される。アーチファクトを除去した後に、複数の画像の各画像において画像スポットが鮮鋭化される。画像スポットを鮮鋭化した後に、多数の画像の各々につき、多数の画像の位置決めが実施され、複数の位置決め済みの画像が生成される。位置決めを実施した後に、多数の画像の各々、及び多数の画像の各セットのうちの位置決め済みの画像の複数のピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、そのピクセルについて、対応する多数の位置決め済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、ピクセルが復号される。
実行形態の利点は、以下に示すもののうちの一又は複数を含みうるが、それらに限定されるわけではない。
遺伝子発現を判定するための多重蛍光インシトゥハイブリダイゼーション(mFISH)画像の獲得及びその後の処理は、産業分野での採用に適した様態で自動化されうる。複数の視野(FOV)を必要とする大きなサンプルサイズが、均一な画質で処理されうる。マルチサンプル又はマルチモーダルの研究におけるランツーラン(Run-to-run)の整合性が改善されうる。別々の時間に捕捉された同じFOVの蛍光画像が、別個の基準(fiducials)を使用せずに(例えば、基準ビーズを必要とせずに)、かつ従来的技法の一部よりも少ない計算資源を使用して、かかる従来的技法よりも正確に、位置決めされうる。
一又は複数の実施形態の詳細事項について、添付図面及び以下の説明において記述する。その他の特徴、態様、及び利点についても、かかる説明、図面、及び特許請求の範囲から自明となろう。
多重蛍光インシトゥハイブリダイゼーションイメージングのための装置の概略図である。 データ処理の方法のフロー図である。 相互情報アルゴリズムを使用する画像位置決めプロセスを概略的に示している。 画像内の強度の対数ヒストグラムである。 収集された画像である。 図5Aの画像から生成されたマスクを示している。 フィルタリング済みで逆畳み込み済みの画像からの強度の対数ヒストグラムである。 正規化後の強度の対数ヒストグラムである。 復号の方法を示している。 あるサンプルコードワードについて特定された複数のピクセルのビット比の対数ヒストグラムである。 あるサンプルコードワードについて特定された複数のピクセルの輝度の対数ヒストグラムである。 ステッチング(stitching)の方法のフロー図である。 オンザフライで画像処理が実施されるデータ処理の方法の別の実行形態のフロー図である。
様々な図面における類似の参照番号及び記号表示は、同様の要素を示している。
多重蛍光インシトゥハイブリダイゼーション(mFISH)イメージングは強力な技法であるが、これまでは、主に学術分野において使用されてきた。この技法を産業分野における空間トランスクリプトミクスのために使用すること、例えば、研究を実施しているバイオテクノロジー企業が、製品化を意図する医薬品を開発するために空間トランスクリプトミクスにmFISHを使用することは、数多くの問題を提起する。例えば、以下のようなことである。
・このシステムは完全に又はほぼ完全に自動化されるものであり、これにより、ユーザ(例えば、生物学に精通しているが、画像処理又はソフトウェアプログラミングの技法には通じていない研究科学者)に必要になるのは、調査対象の生物学的態様に関連するパラメータを入力することだけであり、画像処理に関連する決定を行う必要も、プログラミングの専門知識を有する必要もなくなる。かかる自動化は、実際には、簡単なことではなく、数多くの落とし穴を包含している。
・既存の最新技術では、一般的な光学顕微鏡から、小さなサンプルに適した小さな画像サイズを有するサンプル画像が取得される。産業分野で利用されるサンプルは、もっと大型であることがあり、完全にイメージングするためには複数の視野が必要になりうる。かかる複数のFOVは、手作業でステッチングされうるが、半自動アプローチには、不十分な画像位置決め、発現した遺伝子の過剰計数、又はステッチングされた画像の異なる領域の処理における不整合による信頼性の欠如といった、問題が発生する可能性がある。
・このプロセスには、産業上実現可能になるのに十分なほど高いスループットが必要になる。しかし、既存の最新技術では、イメージングに多大な時間がかかり、データ解析に多数の手作業のステップが必要になる。大規模なライフサイエンス・臨床研究には、より高いイメージングスループット及び品質制御が必要である。更に、データ処理のスケーラビリティは計算時間によって限定される。
・各FOVは個別に処理されるので、関心領域全体にわたる有意な変動が見いだされうる。加えて、種々の機器からの画像は、ソフトウェアパイプラインに送信される前に、十分に較正され、変換される必要がある。従来的には、画像処理パラメータは、システム又はサンプルのばらつきに適応するよう手作業で調整される必要がある。
・既存のソリューションは、完全画像(perfect images)の強固な仮定を有しており、これにより、実験条件と較正方法の間にギャップが生じる。
上記の問題のうちの一又は複数に対処することが可能な、全体アーキテクチャならびに数多くの個々の構成要素及びステップについて、以下で説明する。
一般に、かかる全体アーキテクチャならびに個々の構成要素及びステップが、最小限の手作業のステップを伴う、エンドツーエンドのmFISHイメージング・復号プロセスを可能にする。システムは、完全自動ハードウェアアーキテクチャとオンザフライ画像処理とを統合する。方法は、フィードバック制御、画像較正、及び大域的最適化を含む。エンドツーエンドのプロセス時間を削減すること、及び1サンプルあたりのスループットを向上させることが可能になる。装置は、産業分野において研究科学者が容易に使用しうる。制御メトリックにより下流解析前のデータ品質が確保されうる。早期検出が、サンプルの無駄を削減する。アルゴリズムにより、均一で整合性のある空間的遺伝子発現を伴う、大きなイメージングエリアへのスケーラビリティが可能になりうる。大規模研究のためのデータの精度及び再現性が向上しうる。その結果は、容易に解釈されること、及びソフトウェアパッケージにおいて更に解析されることが可能である。
図1を参照するに、多重蛍光インシトゥハイブリダイゼーション(mFISH)イメージング・画像処理装置100は、サンプル10を保持するためのフローセル110と、サンプル10の画像を取得するための蛍光顕微鏡120と、mFISHイメージング・画像処理装置100の様々な構成要素の動作を制御するための制御システム140と、を含む。制御システム140は、例えば制御ソフトウェアを実行する、メモリやプロセッサなどを有するコンピュータ142を含みうる。
蛍光顕微鏡120は、複数の異なる波長の励起光130を生成しうる励起光源122を含む。詳細には、励起光源122は、別々の時間に別々の波長を有する狭帯域幅の光ビームを生成しうる。例えば、励起光源122は、マルチ波長連続波レーザシステム(例えば、別々の波長のレーザビームを生成するために個別に作動しうる複数のレーザモジュール122a)によって提供されうる。レーザモジュール122aからの出力は、共通の光ビーム経路に多重送信されうる。
蛍光顕微鏡120は、光源122からの励起光をフローセル110に導くための様々な光学部品を含む、顕微鏡本体124を含む。例えば、光源122からの励起光は、マルチモードファイバ内に連結され、レンズのセットによって再集束され、拡張されてから、コアイメージング構成要素(高開口数(NA)対物レンズ136など)によって、サンプル内へと導かれうる。励起チャネルを切り替える必要がある場合、複数のレーザモジュール122aのうちの1つを作動停止させて、別のレーザモジュール122aを作動させることが可能であり、デバイス間の同期は、一又は複数のマイクロコントローラ144、146によって実現される。
対物レンズ136又は顕微鏡本体124全体は、Z駆動アクチュエータに連結された垂直可動マウントに設置されうる。例えばZ駆動アクチュエータを制御するマイクロコントローラ146による、Z位置の調整によって、焦点位置の微細チューニングが可能になりうる。代替的又は追加的には、フローセル110(又はフローセル110内のサンプルを支持するステージ118)は、Z駆動アクチュエータ118bによって垂直可動である可能性もある(例えば軸方向ピエゾステージ)。かかるピエゾステージは、精密かつ迅速な多面画像の獲得を可能にしうる。
イメージングされるべきサンプル10が、フローセル110内に位置付けられる。フローセル110は、面積が約2cm×2cmの(顕微鏡の物体面又は画像面に平行な)断面積を有するチャンバでありうる。サンプル10は、フローセル内のステージ118上に支持されてよく、ステージ(又はフローセル全体)は、例えばXY運動を可能にするためのリニアアクチュエータの対118aによって、横方向に可動でありうる。これにより、横方向にオフセットした別々の視野(FOV)におけるサンプル10の画像の獲得が可能になる。あるいは、顕微鏡本体124が、横方向に可動なステージ上に保持されることもある。
フローセル110への入口は、ハイブリダイゼーション試薬源112のセットに接続される。マルチバルブポジショナ114は、供給源を切り替えて、どの試薬112aがフローセル110に供給されるかを選択するよう、コントローラ140によって制御されうる。各試薬は、一又は複数のオリゴヌクレオチドプローブの異なるセットを含む。各プローブは、異なる対象のRNA配列を標的とし、波長の異なる組み合わせによって励起される一又は複数の蛍光物質(例えば蛍光体)の異なるセットを有する。試薬112aに加えて、パージ流体112b(例えばDI水)の供給源も存在しうる。
フローセル110の出口はポンプ116(例えば蠕動ポンプ)に接続され、ポンプ116は、フローセル110を通る液体(例えば試薬又はパージ流体)の流れを制御するよう、同じくコントローラ140によって制御される。フローセル110からの使用済み溶液は、ポンプ116によって化学廃棄物管理サブシステム119に送られうる。
稼働中、制御装置140は、光源122に励起光130を放出させ、これにより、サンプル10中の蛍光物質の蛍光(例えば、サンプル中のRNAに結合されるプローブであって、励起光の波長によって励起されるプローブの蛍光)が生じる。放出された蛍光132とともに、後方伝播励起光(例えば、サンプルやステージなどから散乱した励起光)も、顕微鏡本体124の対物レンズ136によって収集される。
収集された光は、放出された蛍光を後方伝播照明光から分離するために、顕微鏡本体124内のマルチバンドダイクロイックミラー138によってフィルタリングされてよく、放出された蛍光はカメラ134に送られる。マルチバンドダイクロイックミラー138は、数多くの励起波長のもとでプローブから予期される各発光波長の、通過帯域を含みうる。単一のマルチバンドダイクロイックミラーを使用することで、(複数のダイクロイックミラー又は可動ダイクロイックミラーと比較して)システム安定性の向上がもたらされうる。
カメラ134は、高解像度の(例えば2048x2048ピクセルの)CMOSカメラ(例えば科学用CMOSカメラ)であってよく、対物レンズの直近(immediate)画像平面に設置されうる。他のカメラの種類(例えばCCD)も使用可能でありうる。カメラからの画像データは、(例えばマイクロコントローラからの)信号によってトリガされると捕捉されうる(例えば、画像処理システム150に送信されうる)。ゆえに、カメラ134は、サンプルから画像のシーケンスを収集しうる。
残留励起光を更に除去し、励起チャネル間のクロストークを最小化するために、レーザ発光波長の各々は、対応するバンドパス発光フィルタ128aと対にされうる。各フィルタ128aは、10~50nm(例えば14~32nm)の波長を有しうる。一部の実行形態では、例えばプローブの蛍光物質が、立ち下がりが長い(long trailing)スペクトルプロファイルを有する場合、フィルタは、励起から生じるプローブの蛍光物質の帯域幅よりも狭くなる。
フィルタは、アクチュエータ127bによって回転可能な高速フィルタホイール128上に設置される。フィルタホイール128は、イメージング経路内の光学収差を最小化するために、無限遠空間に設置されうる。フィルタホイール128の発光フィルタを通過した後の浄化された蛍光信号は、管レンズによって再集束され、カメラ134によって捕捉されうる。ダイクロイックミラー138は、対物レンズ138とフィルタホイール128との間の光路内に位置付けられうる。
制御システム140は、システムの高速同期動作を容易にするために、協調した様態で蛍光顕微鏡120の構成要素にトリガ信号(例えばTTL信号)を送信するために用いられる、2つのマイクロコントローラ144、146を含みうる。第1マイクロコントローラ144は、コンピュータ142によって直接実行され、フィルタホイール128のアクチュエータ128bをトリガして、別々の色チャネルにおける発光フィルタ128aを切り替える。第1マイクロコントローラ144は更に、第2マイクロコントローラ146をトリガし、第2マイクロコントローラ146は、どの波長の光がサンプル10に送られるかを制御するために、光源122にデジタル信号を送信する。例えば、第2マイクロコントローラ146は、どのレーザモジュールを作動させるかを制御し、ひいては、どの波長の光が励起光に使用されるかを制御するために、光源122の個々のレーザモジュールにオン/オフ信号を送信しうる。新たな励起チャネルへの切り替えが完了した後、第2マイクロコントローラ146は、ピエゾステージ116のモータを制御して、イメージング高さを選択する。最後に、第2マイクロコントローラ146は、画像を獲得するために、カメラ134にトリガ信号を送信する。
コンピュータ142と装置100のデバイス構成要素との間の通信は、制御ソフトウェアによって調整される。この制御ソフトウェアは、全てのデバイス構成要素のドライバを単一のフレームワークに統合し、ひいては、ユーザが(多くのデバイスを別個に制御しなければならないのではなく)イメージングシステムを単一の機器として操作することを可能にしうる。
制御ソフトウェアは、顕微鏡の相互作用動作及びイメージング結果の即時可視化をサポートする。加えて、制御ソフトウェアはプログラミングインタフェースを提供してよく、このプログラミングインタフェースにより、ユーザがそのイメージングワークフローを設計し、自動化することが可能になる。デフォルトワークフロースクリプトのセットはスクリプト言語で指定されうる。
一部の実行形態では、制御システム140は、ループ内の蛍光画像(単に「収集画像」又は単に「画像」とも称される)を、(最内ループから最外ループへと)z軸、色チャネル、横方向位置、そして試薬という順序で、(すなわち制御ソフトウェア及び/又はワークフロースクリプトによって)獲得するよう構成される。
これらのループは、以下の擬似コードで表わされうる。

for h = 1:N_hybridization
% multiple hybridizations
for f = 1:N_FOVs
% multiple lateral field-of-views
for c = 1:N_channels
% multiple color channels
for z = 1:N_planes
% multiple z planes
Acquire image(h, f, c, z);
end % end for z
end % end for c
end % end for f
end % end for h
z軸ループにつき、制御システム140は、ステージ118に、複数の垂直位置をステップスルー(step through)させる。ステージ118の垂直位置はピエゾアクチュエータによって制御されるので、位置の調整に必要な時間は短く、このループにおける各ステップは極めて高速である。
第1に、サンプルは、サンプルを通る複数の画像平面が望ましいものになりうるのに十分な厚さ(例えば数ミクロン)でありうる。例えば、細胞の複数の層が存在することがあり、一細胞内でさえも、遺伝子発現の垂直変異が存在しうる。更に、薄いサンプルでは、焦点面の垂直位置は、例えば熱ドリフトのせいで、事前には未知でありうる。加えて、サンプル10はフローセル110内で垂直にドリフトすることがある。複数のZ軸位置でイメージングすることで、厚いサンプル内の細胞の大部分がカバーされることを確実にすること、及び、薄いサンプル内の最良焦点位置の特定を支援することが可能になる。
色チャネルループにつき、制御システム140は、光源122に、種々の波長の励起光をステップスルーさせる。例えば、レーザモジュールのうちの1つを作動させ、その他のレーザモジュールを作動停止させる。更に、サンプル10とカメラ134との間の光の光路内に好適なフィルタを移動させるよう、発光フィルタホイール128を回転させる。
横方向位置につき、制御システム140は、サンプルの別々の視野(FOV)を獲得するために、光源122に、種々の横方向位置をステップスルーさせる。例えば、ループの各ステップにおいて、ステージを横方向にシフトさせるために、ステージ118を支持しているリニアアクチュエータが駆動されうる。一部の実行形態では、ステップの数及び横方向運動は、蓄積されたFOVがサンプル10全体をカバーするように選択される。一部の実行形態では、横方向運動は、FOVが部分的にオーバーラップするように選択される。
試薬につき、制御システム140は、装置100に、複数の異なる利用可能な試薬をステップスルーさせる。例えば、ループの各ステップにおいて、制御システム140は、フローセル110をパージ流体112bに接続するよう、バルブ114を制御することと、現在の試薬をパージするための第1期間にわたって、ポンプ116に、セルを通るようにパージ流体を引き込ませることと、次いで、フローセル110を異なる新たな試薬に接続するよう、バルブ114を制御することと、次いで、新たな試薬中のプローブが好適なRNA配列に結合するのに十分な第2期間にわたって、セルを通るように新たな試薬を引き込むことと、を行いうる。フローセルをパージするため、及び新たな試薬中のプローブが結合するためにはいくらかの時間が必要になるので、試薬を調節するのに必要な時間は、横方向位置、色チャネル、又はz軸を調節することと比較して、最も長くなる。
その結果として、z軸、色チャネル(励起波長)、横方向FOV、及び試薬についての可能な値の組み合わせごとに、蛍光画像が獲得される。最内ループが最速の調整時間を有し、それを順次囲むループの調整時間は順次遅くなっていくので、この構成は、上記のパラメータの値の組み合わせにつき、画像を獲得する上で最も時間効率の良い技法を提供する。
データ処理システム150は、画像を処理し、遺伝子発現を判定して、空間トランスクリプトミクスデータを生成するために使用される。少なくとも、データ処理システム150は、データ処理デバイス152(例えば、コンピュータ可読媒体に記憶されたソフトウェアによって制御される一又は複数のプロセッサ)と、カメラ134によって獲得された画像を受信するローカル記憶デバイス154(例えば不揮発性コンピュータ可読媒体)とを含む。例えば、データ処理デバイス152は、GPUプロセッサを有するか又はFPGAボードがインストールされた、ワークステーションでありうる。データ処理システム150は、ネットワークを通じてリモートストレージ156に(例えば、インターネットを通じてクラウドストレージに)接続されることもある。
一部の実行形態では、データ処理システム150は、画像が受信される際にオンザフライ画像処理を実施する。詳細には、データ獲得の進行中に、データ処理デバイス152は画像前処理ステップ(フィルタリングや逆畳み込みなど)を実施してよく、かかる画像前処理ステップは記憶デバイス154内の画像データに対して実施可能であるが、データセット全体が必要とされるわけではない。フィルタリング及び逆畳み込みは、データ処理パイプラインにおける主要なボトルネックであるので、画像獲得が行われる際の前処理を行うことにより、オフライン処理時間を大幅に短縮すること、ひいては、スループットを向上させることが可能になる。
図2は、全ての画像が獲得された後に処理が実施される、データ処理の方法のフロー図を示している。このプロセスは、システムが、生画像ファイル及び支援ファイルを受信すること(ステップ202)で始まる。詳細には、データ処理システムは、カメラから生画像のフルセット(例えば、z軸、色チャネル(励起波長)、横方向FOV、及び試薬の可能な値の組み合わせの各々についての画像)を受信しうる。
加えて、データ処理システムは、参照発現ファイル(例えば、FPKM:fragments per kilobase of sequence per million mapped reads)ファイル、データスキーマ、及び、DAPI画像といった一又は複数の染色画像)を受信しうる。参照発現ファイルは、従来の配列結果とmFISHの結果とを照合確認するために使用されうる。
カメラから受信された画像ファイルは、オプションで、メタデータ、すなわち、画像が取得されたハードウェアパラメータ値(例えばステージ位置、ピクセルサイズ、励起チャネルなど)を含みうる。データスキーマは、イメージが一又は複数のイメージスタック内に好適な順序で配置されるように、かかるハードウェアパラメータに基づいてイメージを順序付けるための規則を提供する。メタデータが含まれない場合、データスキーマは、画像の順序と、その画像を生成するために使用されたz軸、色チャネル、横方向FOV、及び試薬の値とを関連付けるうる。
染色画像は、トランスクリプトミクス情報が重なった状態でユーザに提示されることになる。
品質が不十分な画像を選別排除するために、収集された画像は、より集中的な処理の前に一又は複数の品質メトリックと照合されることがある(ステップ203)。品質メトリック(複数可)を満たす画像のみが、更なる処理に送られる。これにより、データ処理システムにかかる処理負荷が大幅に削減されうる。
合焦不良を検出するために、収集された画像ごとに鮮鋭度品質値が決定されうる。例としては、鮮鋭度品質は、画像全体にわたる強度の勾配を合算することによって計算されうる。
Figure 2023507595000002
鮮鋭度品質値が閾値を下回る場合、その画像は焦点が合っていないと特定されうる。閾値は、予め設定された、経験的に決定された値でありうるか、又は、同じFOVを有する複数の画像の鮮鋭度値に基づいて計算されうる。例えば、鮮鋭度品質値の標準偏差が計算され、この標準偏差に基づいて閾値が設定されうる。
上述したように、焦点面のz軸位置は、正確には分からないことがある。焦点が合っていない画像は選別排除されうる。一部の実行形態では、z軸ループの各々において、単一の画像(例えば最良鮮鋭度品質を有する画像)のみが保持される。一部の実行形態では、z軸ループのそれぞれ1つからの複数の画像が鮮鋭度品質を満たしていることがあり、かかる複数の画像が合成されて(例えば混合されて)、単一の画像を形成する。
関心領域を検出するために、収集された各画像について、輝度品質値が決定されうる。輝度品質は、画像内に細胞が存在するかどうかを判定するために使用されうる。例えば、画像内の全てのピクセルの強度値が合算され、閾値と比較されうる。合計が閾値を下回る場合、このことは、画像内には実質的に何も存在しないこと(すなわち、画像内に細胞が存在しないこと)、関心情報が存在しないこと、及びこの画像が処理される必要はないことを示しうる。別の例としては、画像内の強度値の標準偏差が計算され、閾値と比較されうる。この標準偏差が閾値を下回る場合、このことは、画像が相当程度均一であること、及び励起されたプローブを示す輝点が欠けている可能性があることを示す。この場合も、かかる収集された画像は、関心情報を有しておらず、この画像が処理される必要はない。
上述した2つの品質チェックは例示的なものであり、その他の品質メトリックも使用されうる。例えば、スポット品質を測定する品質メトリックが使用されることもある。
別の品質チェックは、ハイブリダイゼーション間シフトを検出しうる。イメージングのラウンドとラウンドとの間に著しいサンプルドリフトが生じた場合には、後続の位置決めが不確実になることがある。サンプルドリフトは、数多くの画像処理アルゴリズム(例えば位相相関)によって検出されうる。詳細には、収集された画像は、同じFOVについての(ただし先の試薬についての)画像と比較されうる。画像が十分に相関していない場合(例えば、閾値相関を満たしていない場合)、収集された画像は関心情報を有しておらず、この画像が処理される必要はない。
次に、各画像は、実験的アーチファクトを除去するよう処理される(ステップ204)。各RNA分子は、種々の励起チャネルのプローブで複数回ハイブリダイズされることになるので、マルチチャネルでマルチラウンドの画像スタック全体における厳密な位置合わせ(alignment)は、FOV全体にわたるRNA同定を明らかにする上で有益である。実験的アーチファクトを除去することは、視野平坦化(field flattening)及び/又は色収差補正を含みうる。一部の実行形態では、視野平坦化は色収差補正の前に実施される。
励起光における照明プロファイルの不完全性(例えばガウス分布、又はその他の、FOV全体における均一な分布ではない不均一な分布)が、FOV全体における不均一な蛍光信号レベルにつながることがあり、この空間的不均一性は、励起チャネル間で変動することが多い。かかる不均一性は、照明場からFOV全体における蛍光信号レベルへと転送され、結果的に、空間トランスクリプトミクス解析結果を偏らせる。このアーチファクトを排除するために、照明プロファイル(例えば試験画像)が、各色チャネルにつき、FOV内の蛍光体密度が均一な蛍光ターゲットを使用して測定される。測定された照明プロファイルは次いで、イメージングデータにおける、チャネル固有の正規化係数として使用される。例えば、各色チャネルの照明プロファイル(すなわち、測定されるべき発光波長の各々)は、正規化画像として記憶されてよく、ある色チャネルについて収集された画像内の各ピクセルの強度値が、関連付けられた色チャネルの正規化画像内の対応するピクセルの強度値で除算される。
色収差補正は、種々の発光チャネルにわたって変動する光学的歪みに対処するものである。つまり、プローブは種々の波長につき測定を行うので、イメージング経路内の色収差は、もし存在すれば、その下流の解析結果を著しく劣化させうる。この潜在的なハードウェア欠陥に抗して解析結果のロバスト性を維持するために、色収差補正のためのソフトウェアベースのソリューションが、データ処理パイプラインにおいて提供されうる。詳細には、既知のパターン(例えば矩形パターン)の蛍光スポットを有するターゲットを使用して、各色チャネルにつき、テスト画像が生成される。各色チャネルにつき、このテスト画像内の測定されたスポットの位置を既知のパターンに合わせるように戻す、変換が計算される。かかる変換は記憶され、サンプルの画像が収集されている時の通常動作においては、収集された画像の色チャネルに基づいて、好適な変換が選択され、収集された画像の各々に適用される。
各画像は処理されて、RNA画像スポット鮮鋭化が提供される(ステップ206)。RNA画像スポット鮮鋭化は、セルラーバックグラウンドを除去するためにフィルタを適用すること、及び/又は、RNAスポットを鮮鋭化するために点広がり関数を用いて逆畳み込みを行うことを含みうる。
比較的輝度の高いバックグラウンドからRNAスポットを識別するために、RNAスポットの周囲のセルラーバックグラウンドを除去するよう、画像(例えば視野平坦化され、色補正された画像)にローパスフィルタが適用される。フィルタリング済みの画像には更に、RNAスポットを鮮鋭化するための、2-D点広がり関数(PSF)による逆畳み込み、及び、スポットを若干平滑化するための、半ピクセル幅を有する2-Dガウスカーネルによる畳み込みが行われる。
同じFOVを有する画像は、その中の特徴(例えば細胞又は細胞小器官)を位置合わせするよう、位置決めされる(ステップ208)。画像シーケンス内のRNA種を正確に特定するために、画像の種々のラウンドにおける特徴が(例えばサブピクセル精度まで)位置合わせされる。しかし、mFISHサンプルは水相でイメージングされ、モータ動力のステージによってあちこちに動かされるので、数時間にわたるイメージングプロセスの間に、サンプルドリフト及びステージドリフトが画像特徴シフトに変換されることがあり、このことは、対処されないままであれば、トランスクリプトミクス解析を損なうことになりうる。換言すると、蛍光顕微鏡とフローセル又は支持体との位置合わせが正確かつ反復可能であると仮定したとしても、サンプルが、後の画像では同じ箇所になくなっていることがあり、これにより、復号にエラーが導入されうるか、又は、単に復号が不可能になりうる。
画像を位置決めするための従来型の一技法は、スライド上のキャリア物質内に基準マーカー(例えば蛍光ビーズ)を配置することである。一般に、サンプルと基準マーカービーズとはほぼ一緒に動く。かかるビーズは、それらのサイズ及び形状に基づいて、画像内で特定されうる。ビーズの位置を比較することで、2つの画像の位置決めが可能になる(例えばアフィン変換の計算)。
しかし、蛍光ビーズ又は類似の基準マーカーを使用せずに、単に画像内のデータを使用して、画像を位置決めすることも可能でありうる。詳細には、高強度領域は、一般に、同じFOVの複数の画像にわたって、同じ位置に配置されるものである。画像同士の位置決めに使用されうる技法は、位相相関アルゴリズム及び相互情報(MI)アルゴリズムを含む。MIアルゴリズムは、一般に、位相相関アルゴリズムよりも精密かつロバストである。したがって、相互情報(MI)ベースのドリフト補正法が位置合わせに使用されうる。しかし、この精度を得るには多大な計算時間が必要になりうる。
図3は、同じFOVを有する収集された画像を位置合わせするために相互情報アルゴリズムを使用するプロセスであって、MI位置決めアルゴリズムの高精度を保持しつつ計算負荷を低減する、プロセスを示している。同じFOVを有する収集された画像のセットは、オリジナルの画像スタックと見なされてよい。このスタック内の画像の順序は、上述したデータスキーマによって設定される。画像スタック内の収集された画像302の各々は、例えば2048×2048ピクセルでありうる。一般に、このサイズの画像に対して相互情報アルゴリズムを実施するには、過大な計算能力が必要とされうる。収集された画像302は、4つの画像パッチ304a、304b、304c、304dに均等にスライスされる。収集された画像302の各々が2048×2048ピクセルであると仮定すれば、画像パッチは1024×1024ピクセルとなる。画像パッチ304a、304b、304c、304dの各々は位相係数φで乗算される。位相シフトされた画像パッチはオーバーラップされ、合算されて、複素画像が生成され、複素画像の実部と虚部とが積算されて、積算画像306が作成される。この積算画像306は、オリジナル画像302の1/4のサイズ(例えば1024×1024ピクセル)を有する。
このプロセスは、縮小されたサイズの画像306のスタック308を生成するために、オリジナルの画像スタック内のオリジナル画像302の各々について反復される。次いで、スタック308を使用して相互情報アルゴリズムが実施されて、スタック308内の縮小画像306の各々につき、変換が生成される。この変換は、並進変換及び/又はスケーリング変換を含みうる。オリジナルのスタック内の画像を位置合わせするために、縮小画像の各々につき決定された変換が、オリジナルのスタック内の対応する収集された画像に適用される。これにより、オリジナルのサイズ(例えば2048x2048ピクセル)の収集された画像310のスタック312が得られることとなり、このスタック内では、同じFOVでの複数の画像310は位置合わせされている。
このスライスアンドオーバーラップストラテジにより、画像内の特徴の大部分が保持され、したがって、高い精度が保たれるはずであるが、シフト計算用の一時的画像サイズは減少し、ひいては計算負荷も減少している。図3及び上記の説明は、オリジナル画像の右上、右下、左上、及び左下の象限に対応する4つのパッチに分割することを対象としているが、別の数のパッチが使用されることもある。例えば、画像は、パッチ同士が同じ寸法を有する限り、他の形状(正方形ではない長方形など)に分割されてもよい。例えば、オリジナルの画像は、256×2048ピクセルの8つの画像パッチに分割されることも可能である。一般に、画像は、複数の列及び複数の行(例えば均等な数の列と行)を有する矩形格子に分割されうる。画像はN個の画像に分割されてよく、ここでN=Zであり、Zは偶数の整数である(図3の例ではN=2)。
図2を再度参照するに、ステップ206のフィルタリングプロセス及び逆畳み込みプロセスは、個々のフレーム(すなわちビット)に対して個別に実施されるので、ステップ208の位置決めに先だって行われうる。更に、位置決めに使用される画像スタックは、RNAスポットの空間的特徴を明らかにするために背景補正され、鮮鋭化されるので、位置決め精度が向上しうる。後者の利点を検証するために、低集密度の細胞サンプル、高集密度の細胞サンプル、及び脳組織サンプルからの3つのデータセットの位置決め精度を、位置決め先行アプローチの場合とフィルタリング先行アプローチの場合とで比較した。位置決め品質は、全てのレイヤにわたる位置決め済みの画像スタックを積算してから、積算画像の最大値と最小値とを計算することによって評価された。フィルタリング先行アプローチの方が、一般に、平坦化された画像の最大値は大きくなり、最小値は小さくなる(これは位置決め品質の向上を示す)。
位置決め後に、位置決め品質チェックが実施されうる。位置決めが適切であれば、各画像内の輝点がオーバーラップすることにより、総輝度が増大することになる。位置決めされていない画像のスタックが合算されうることには言及したが、同様に、位置決め済みの画像310のスタック312(図3参照)も、例えば以下のように合算されうる。
Figure 2023507595000003
(x,y)の最大値が、I(x,y)の最大値と比較されうる。max(I(x,y))>max(I(x,y))であれば、位置決めは成功したと見なされうる。これに対して、max(I(x,y))≦max(I(x,y))であれば、データ処理システムは、位置決めが失敗したことを示し、エラーコードを発出しうる。このFOVは後続の解析から除外される可能性があり、かつ/又は、新たな画像が取得されることが必要になりうる。
オプションで、位置決め後に、収集された画像の各々につき、マスクが計算されうる。つまり、各ピクセルの強度値が閾値と比較される。マスク内の対応するピクセルは、その強度値が閾値を上回る場合には1に設定され、強度値が閾値を下回る場合には0に設定される。閾値は、経験的に決定された所定の値であっても、画像内の強度値から計算されてもよい。一般に、マスクは、サンプル内の細胞の場所に対応しうる。細胞間の空間は、蛍光を発することはなく、低い強度を有するはずである。
マスクを作成するために、各視野につき、そのFOVの画像シーケンスから圧縮フレームP(x,y)が作成される。圧縮フレームP(x,y)は、そのFOVの画像に対して積算演算を実施することによって生成されうる。
例えば、
Figure 2023507595000004
であり、ここで、iは、位置決め済みの画像310のスタック312(図3参照)におけるレイヤ番号を表わす。閾値は、ログのヒストグラムP(x,y)に基づいて生成されうる。
例えば、図4は、収集された画像における圧縮フレーム値(P(x,y))の対数ヒストグラム400を示している。一般に、対数ヒストグラムは、強度の初期大幅増加部(第1の局所的最大値の前縁部でありうる)、及び強度の最終大幅減少部(第2の局所的最大値の後縁部でありうる)を含むことになる。ヒストグラムの下端に最も近い第1ピーク402(又は、明確なピークがなければ、強度の大幅増加の縁部)と、ヒストグラムの上端に最も近い第2ピーク404(又は、明確なピークがなければ、強度の大幅減少の縁部)とを特定するために、ヒストグラムに、ピーク及び/又は縁部を検出するアルゴリズムが使用されうる。閾値410は、特定された2つの点402、404の強度値に基づいて設定されうる。例えば、閾値410は強度値の平均でありうる。閾値410を決定するために、ヒストグラムには、ピーク検出法の代わりにOtsu閾値法が使用されることもある。この技法は有用でありうる。ヒストグラムは常に2つの明確なピークを示すわけではないからである。
ごま塩効果(Salt and pepper effect)はマスクから除去されうる。「オン」ピクセルの連続領域の外部にある単一の「オン」ピクセル、又は、「オン」ピクセルの連続領域の内部にある単一の「オフ」ピクセルは、周囲のエリアと一致するよう、「オフ」又は「オン」に転換されうる。一般に、閾値サイズ(例えば50ピクセル)を下回る、マスク内の隣接したピクセルのクラスタは、エラーとして示され、周囲のエリアと一致するよう変更されうる。マスクを使用することによって、メモリスペースの節約が可能になり、計算作業負荷が削減されうる。
収集された1つの画像を図5Aに示しており、図5Bは、図5Aの画像から得られたマスクを示している。
図2を再度参照するに、あるFOV内の画像を位置決めした後に、空間トランスクリプトミクス解析が実施されうる(ステップ210)。
ヒストグラムの整合性を高めるために、空間トランスクリプトミクス解析の前にFOV正規化が実施されうる。一部の実行形態では、FOV正規化は位置決め後に行われる。あるいは、FOV正規化は、位置決めの前に行われることもある。FOV正規化は、フィルタリングの一部と見なされることも可能である。収集された画像における問題は、上述したフィルタリング及び逆畳み込みの後であっても、最も輝度の高いピクセルにおける輝度に著しい(例えば数桁にわたる)変動がありうるということである。例えば、図6Aを参照するに、収集された画像における強度値のヒストグラム602は、非常に長いテール部604を有する。これにより、復号プロセスに不確実性が導入されうる。FOV正規化はこのエラー源を相殺しうる。
まず、画像内の全ての強度値が、画像内の最大強度値に対して正規化される。例えば、最大強度値が決定され、全ての強度値がこの最大値で除算されることにより、強度値は0とIMAX(例えば1)との間で変動することになる。
次に、画像中の強度値が解析されて、最高強度値を含む上位分位数(例えば、99%以上の分位数(すなわち上位1%)、99.5%以上の分位数、又は99.9%以上の分位数、又は99.95%以上の分位数(すなわち上位0.05%))が決定される。この分位数のカットオフを、図6Aの破線610で示している。この分位数限界における強度値(例えば、図6Aの例の99.95%分位数におけるlog(-2)という強度値)が決定され、記憶されうる。上位分位数内の強度値を有する全てのピクセルは、最大強度値(例えば1)を有するよう再設定される。次いで、残りのピクセルの強度値が、同じ最大値に達するようスケーリングされる。これを実現するためには、上位分位数内になかったピクセルの強度値が、記憶された分位数限界の強度値で除算される。図6Bは、FOV正規化から得られる強度値のヒストグラム620を示している。
復号について、図7を参照して説明する。しかし、図3を少しだけ再度参照するに、特定のFOVの位置合わせされた複数の画像は、複数の画像レイヤ310を含むスタック312と見なされてよく、この場合、各画像レイヤは、X×Yピクセル(例えば2048×2048ピクセル)である。画像レイヤの数(B)は、色チャネルの数(例えば励起波長の数)とハイブリダイゼーションの数(例えば反応体の数)との組み合わせに依拠する(例えば、B=N_ハイブリダイゼーション×N_チャネル)。
ここで図7を参照するに、正規化の後、この画像スタックは、ピクセルワードの2‐Dマトリクス702として評価されうる。マトリクス702は、数Pの行704(ここでP=X×Y)及び数Bの列706を有してよく、ここでBは所与のFOVのスタック内の画像の数(例えばN_ハイブリダイゼーション×N_チャネル)である。各行704は、ピクセルのうちの1つ(スタック内の複数の画像にわたる同じピクセル)に対応し、行704からの値がピクセルワード710を提供する。各列706は、ワード710内の値のうちの1つ(すなわち、そのピクセルの画像レイヤからの強度値)を提供する。上述したように、値は正規化されうる(例えば、0とIMAXとの間で変動する)。図7では、種々の強度値が、それぞれのセルの異なる濃淡の度合いとして表わされている。
全てのピクセルが復号ステップに送られれば、全てのPワードは、後述するように処理されることになる。しかし、セル境界の外部のピクセルは、2‐Dマスク(上記図4B参照)によって選別排除され、処理されないことがある。結果として、後述する解析において、計算負荷が大幅に削減されうる。
データ処理システム150は、画像データを復号して特定のピクセルにおいて発現した遺伝子を特定するために使用される、コードブック722を記憶している。コードブック722は複数の参照コードワード(reference code word)を含み、各参照コードワードは、特定の遺伝子に関連付けられている。図7に示しているように、コードブック722は、数Gの行724及び数Bの列726を有する2Dマトリクスとして表わされてよく、ここで、Gはコードワードの数(例えば遺伝子の数)である(ただし、同じ遺伝子が複数のコードワードによって表わされる可能性がある)。各行724は参照コードワード730のうちの1つに対応し、各列706は、既知の遺伝子の事前の較正及び試験によって確立されている、参照コードワード730内の値のうちの1つを提供する。各列につき、参照コード730内の値はバイナリ(すなわち「オン」又は「オフ」)でありうる。例えば、値の各々は0かIMAX(例えば1)のいずれかでありうる。図7では、かかるオン及びオフの値は、それぞれのセルの明るさと暗さの濃淡によって表わされている。
復号されるべき各ピクセルにつき、ピクセルワード710と各参照コードワード730との間の距離d(p,i)が計算される。例えば、ピクセルワード710と参照コードワード730との間の距離は、ユークリッド距離(例えば、ピクセルワード内の値の各々と参照コードワード内の対応する値との平方差の和)として計算されうる。この計算は、次のように表わされうる。
Figure 2023507595000005
ここで、Ip,xはピクセルワードのマトリクス702からの値であり、Ci,xは参照コードワードのマトリクス722からの値である。ユークリッド距離の代わりに、その他のメトリック(例えば差の絶対値の和、余弦角、相関など)が使用されることもある。
所与のピクセルについて各コードワードの距離値が計算されると、最小距離値が決定され、この最小距離値を提供するコードワードが、最良一致コードワードとして選択される。換言すると、データ処理装置は、min(d(p,1),d(p,2)、…、d(p,B))を決定し、最小値を提供するiの値(1とBとの間)として値bを決定する。この最良一致コードワードに対応する遺伝子が、例えばコードワードを遺伝子に関連付けるルックアップテーブルから決定され、そのピクセルは、遺伝子を発現させるものとしてタグ付けされる。
図2を再度参照するに、データ処理装置は偽のコールアウトを除外しうる。偽のコールアウトを除外する一技法は、遺伝子の発現を示す距離値d(p,b)が閾値を上回る場合(例えばd(p,b)>D1MAXの場合)に、タグを破棄することである。
偽のコールアウトをフィルタリングするための別の技法は、計算されたビット比が閾値を下回る場合にコードワードを却下することである。このビット比は、オンであると(コードワードから決定されたと)想定されるレイヤの画像ワードからの強度値の平均値を、オフであると(これもコードワードから決定されたと)想定されるレイヤの画像ワードからの強度値の平均値で除算したものとして、計算される。例えば、図7に示しているコードワード730の場合、列3~6及び12~14に対応するビットはオンであり、列1~2及び7~11に対応するビットはオフである。ゆえに、このコードワードがピクセルpの最良一致として選択されると仮定すれば、ビット比BRは、次のように計算されうる。
Figure 2023507595000006
ビット比BRは、閾値THBRと比較される。一部の実行形態では、閾値THBRは、事前測定値から経験的に決定される。しかし、一部の実行形態では、閾値THBRは、サンプルから取得された測定値に基づいて、特定のコードワードについて自動的に計算されうる。図8Aは、特定のコードワードにタグ付けされた全てのピクセルのビット比強度値の対数ヒストグラム802を示している。閾値804は、このヒストグラム802に基づいて計算される。例えば、初期閾値802を計算するために、デフォルトの分位数(例えば50%)が使用されうる。しかし、この分位数は、後述する最適化において調整されうる。
偽のコールアウトをフィルタリングするための更に別の技法は、計算されたビット輝度が閾値を下回る場合に、コードワードを却下することである。ビット輝度は、オンであると(コードワードから決定されたと)想定されるレイヤの画像ワードからの強度値の平均値として計算される。例えば、図7に示しているコードワード730では、列3~6及び12~14に対応するビットがオンになっている。ゆえに、このコードワードがピクセルpの最良一致として選択されると仮定すれば、ビット輝度BBは、次のように計算されうる。

BB=[I(p,3)+I(p,4)+I(p,5)+I(p,6)+I(p,12)+I(p,13)+I(p,14)]/7
ビット輝度BBは、閾値THBBと比較される。一部の実行形態では、閾値THBBは、事前測定値から経験的に決定される。しかし、一部の実行形態では、閾値THBBは、サンプルから取得された測定値に基づいて、特定のコードワードについて自動的に計算されうる。図8Bは、特定のコードワードにタグ付けされた全てのピクセルのビット輝度値の対数ヒストグラム812を示している。閾値814は、このヒストグラム812に基づいて計算される。例えば、初期閾値814を計算するために、デフォルトの分位数(例えば80%又は90%)が使用されうる。しかし、この分位数は、後述する最適化において調整されうる。
図2を再度参照するに、データ処理装置はここで、最適化及び再復号を実施しうる(ステップ212)。最適化は機械学習ベースの復号パラメータの最適化を含んでよく、その後、空間トランスクリプトミクス解析を更新するために、復号パラメータが更新された状態でステップ210に戻る。このサイクルは、復号パラメータが安定化するまで反復されうる。
復号パラメータの最適化には、メリット関数(例えばFPKM/TPM相関、空間相関、又は信頼比(confidence ratio))が使用される。メリット関数における変数として含まれうるパラメータは、セルラーバックグラウンドを除去するために使用されるフィルタの形状(例えば、周波数範囲の始まりと終わりなど)、RNAスポットを鮮鋭化するために使用される点広がり関数の開口数値、FOVの正規化で使用される分位境界Q、ビット比閾値THBR、ビット輝度THBB(又は、ビット比閾値THBR若しくはビット輝度THBBを決定するために使用される分位数)、及び/又は、ピクセルワードがコードワードと一致すると見なされうる最大距離D1max、を含む。
このメリット関数は、事実上不連続な関数でありうるので、従来型の勾配追従アルゴリズムは、最適なパラメータ値を特定するのに不十分でありうる。パラメータ値に収束させるためには、機械学習モデルが使用されうる
次に、データ処理装置は、全てのFOVにわたるパラメータ値の統合(unification)を実施しうる。各FOVは個別に処理されるので、各視野には、異なる正規化、二値化(thresholding)、及びフィルタリングの設定が行われうる。その結果として、高コントラスト画像は、クワイエットエリア(quiet area)において偽のポジティブなコールアウトを引き起こす変動を有する、ヒストグラムを生じさせうる。統合の結果は、全てのFOVが同じパラメータ値を使用するということである。これにより、クワイエットエリアの背景ノイズからコールアウトを大幅に除去すること、及び大サンプルエリアにおける明瞭かつ不偏な空間パターンが提供されることが可能になる。
全てのFOVにわたって使用されることになるパラメータ値を選択するには、数多くのアプローチが実行可能である。1つの選択肢は、単に、所定のFOV(例えば、最初に測定されたFOV、又はサンプルの中心付近のFOV)を選び、この所定のFOVのパラメータ値を使用することである。別の選択肢は、複数のFOVにわたるパラメータの値を平均化してから、この平均値を使用することである。別の選択肢は、どのFOVが、そのピクセルワードとタグ付けられたコードワードとの間の最良適合をもたらしたかを、決定することである。例えば、タグ付けされたコードワードこのコードワードのためのピクセルワードとの間に最小平均距離d(p,b1)を有するFOVが決定されてから、このFOVが選択されうる。
あるいは、統合は、空間トランスクリプトミクス解析の前に(例えば、ステップ208と210との間に)実施されうる。この場合、統合は、ステップ210の前に選択されたパラメータ(例えば、ステップ204又は206で使用されたパラメータ)について実施されるが、ステップ210及び212におけるパラメータについては実施されない。
ここで、データ処理装置は、ステッチング及びセグメンテーションを実施しうる(ステップ214)。ステッチングにより、複数のFOVが合成されて単一の画像になる。ステッチングは、数多くの技法を使用して実施されうる。図9を参照するに、1つのアプローチは、FOVの各行であって、まとまってサンプルの合成画像を形成することになるFOVの各行、及び行内の各FOVにつき、各FOVの水平シフトを決定することである。水平シフトが計算されると、FOVの各行につき、垂直シフトが計算される。水平シフト及び垂直シフトは、相互相関(例えば位相相関)に基づいて計算されうる。各FOVの水平シフト及び垂直シフトにより、単一の合成画像が生成されてよく、遺伝子座標は、水平シフト及び垂直シフトに基づいて、この合成画像に転送されうる。
遺伝子が合成蛍光画像内の(FOV中の座標及びこのFOVの水平シフトと垂直シフトから決定された)特定の座標で発現しているという指示が、例えばメタデータとして、追加されうる。この指示は「コールアウト(callout)」と称されうる。
染色画像(例えばDAPI画像)は、合成された染色画像を生成するよう、図9に関連して上述した技法を使用してひとまとめにステッチングされうる。一部の実行形態では、収集された複数の蛍光画像から1つの合成蛍光画像を作成する必要はない。各FOVの水平シフト及び垂直シフトが決定されれば、合成染色画像内の遺伝子座標が計算されうる。染色画像は、収集された蛍光画像(複数可)に対して位置決めされうる。遺伝子が(FOVにおける座標及びこのFOVの水平シフトと垂直シフトから決定された)合成染色画像内の特定の座標で発現しているという指示は、例えばメタデータとして追加され、コールアウトが提供されうる。
ステッチングされた画像には潜在的な問題が残る。詳細には、一部の遺伝子は、オーバーラップエリアにおいて二重計数されることがある。二重計数を除去するために、遺伝子を発現するものとしてタグ付けされた各ピクセルと、同じ遺伝子を発現するものとしてタグ付けされた他の近傍のピクセルとの間の距離(例えばユークリッド距離)が計算されうる。この距離が閾値を下回る場合、コールアウトのうちの1つが除去されうる。ピクセルのクラスタが遺伝子を発現するものとしてタグ付けされていれば、より複雑な技法が使用されることもある。
合成画像(例えば染色された細胞の画像)を細胞に対応する複数の領域へとセグメンテーションすることは、様々な既知の技法を使用して実施されうる。セグメンテーションは、典型的には、画像のステッチングの後に実施されるが、合成画像にコールアウトが追加される前又は追加された後に行われることもある。
遺伝子発現の位置を示すコールアウトを有するセグメンテーションされた画像はここで、記憶され、解析のために、例えば視覚的ディスプレイ上でユーザに提示されうる。
上記の記述は、各FOVにつき単一のz軸画像が使用されると仮定しているが、これが必須というわけではない。別々のz軸位置からの画像は別個に処理されうる。事実上、異なるz軸位置はFOVの新たなセットを提供する。
上述したように、データ処理(画像処理の複数のステップを含む)は、要求される計算が多く、多大な時間量を要しうることが、問題の1つである。従来的な技法では、画像処理が始まる前に全ての画像が獲得されることが問題である。しかし、画像が受信される際にオンザフライ画像処理を実施することが可能である。
図10は、画像処理がオンザフライで実施される、修正後のデータ処理方法を示している。具体的に記述してはいないステップが、図2の方法と同様な様態で実施されることもある。最初に、データ処理システムはサポートファイルを受信しうる(ステップ202a)。ただし、このステップは、画像が獲得された後まで延期されることも可能である。一部のファイル(例えばデータスキーマ)が、画像処理の実施のために、データ処理システムにローディングされることが必要な場合もある。
装置は、新たな画像を獲得するプロセス(ステップ202b)を開始して(例えば、z軸、色チャネル、横方向位置、及び試薬を調整するためにループをステップスルーして)、これらのパラメータの実現可能な値の組み合わせの各々で、画像を獲得する。
各画像が獲得される際に、画像が前処理されるのに十分な品質のものであるかどうかを判定するために、品質管理(QC)テストが実施される(ステップ203)。品質が十分であれば、獲得された画像のオンザフライ前処理が実施される(ステップ252)。この文脈において、「オンザフライ(on-the-fly)」とは、1つの画像の処理が後続の画像の獲得と並行して実施されうることを示す。このオンザフライ前処理は、実験的アーチファクトの除去(ステップ204)、及びRNA画像スポット鮮鋭化(ステップ206)を含みうる。かかる画像前処理ステップは、各画像につき個別に実施されるものであり、同じFOV内の他の画像又は他のFOVでの画像に依拠しないので、このようなシフト処理は処理の品質に悪影響を与えることはないと言える。一般に、多大な計算負荷が、試薬が交換されている間の時間にシフトされうる。その結果として、フローセルへのサンプルのローディングから、コールアウトを有するセグメンテーションされた画像の受信までの時間全体が大幅に短縮されることにより、著しくスループットが改善され、研究が加速されうる。
一部の実行形態では、画像は「リアルタイム(real time)」で前処理される。すなわち、1つの画像の処理は、装置による後続の画像の収集と並行して実施され、後続の画像がデータ処理システムで受信される前に完了する。
この明細書では、システム及びコンピュータプログラム構成要素に関連して、「構成された(configured)」という語が使用されている。一又は複数のコンピュータのシステムが、特定の工程又は動作を実施するよう構成されるということは、システムに、稼働中にシステムに工程又は動作を実施させるソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせがインストールされていることを意味する。一又は複数のコンピュータプログラムが特定の工程又は動作を実施するよう構成されるということは、この一又は複数のプログラムが命令を含み、かかる命令は、データ処理装置によって実行されると、装置に工程又は動作を実施させることを意味する。
この明細書に記載している主題及び機能的動作の実施形態は、デジタル電子回路、有形に具現化されたコンピュータソフトウェア若しくはファームウェア、コンピュータハードウェア(この明細書で開示している構造物及びそれらの構造的等価物を含む)、又はこれらのうちの一又は複数の組合せにおいて、実装されうる。この明細書に記載している主題の実施形態は、一又は複数のコンピュータプログラム(すなわち、データ処理装置による実行又はデータ処理装置の動作の制御のために、有形の非一時的記憶媒体上の符号化されたコンピュータプログラム命令の一又は複数のモジュール)として実装されうる。このコンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムアクセスメモリデバイス若しくはシリアルアクセスメモリデバイス、又はこれらのうちの一又は複数の組み合わせ、でありうる。代替的に又は追加的に、プログラム命令は、人工的に生成された伝播信号(例えば、機械生成された電気信号、光信号、又は電磁信号)であって、データ処理装置による実行に適したレシーバ装置に送信される情報を符号化するために生成される、伝播信号上で符号化されうる。
「データ処理装置(data processing apparatus)」という語は、データ処理ハードウェアのことを指し、データを処理するためのあらゆる種類の装置、デバイス、及び機械(例としてはプログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む)を包含する。装置は、特殊用途ロジック回路(例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路))であってもよいか、又はかかる回路を更に含みうる。この装置は、オプションで、ハードウェアに加えて、コンピュータプログラム向けの実行環境を創出するコード(例えば、プロセッサファームウェアを構成するコード、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はこれらのうちの一又は複数の組み合わせ)も含みうる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、モジュール、ソフトウェアモジュール、スクリプト、若しくははコードとも称されうるか、又はそのように説明されうる)は、コンパイル型言語若しくはインタプリタ型言語、又は宣言型言語若しくは手続型言語を含む任意の形態のプログラミング言語で書かれてよい。更に、コンピュータプログラムは、スタンドアローンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境での使用に適したその他のユニットとしてのものを含む、任意の形態でデプロイされうる。プログラムはファイルシステム内のファイルに対応しうるが、それが必要なわけではない。プログラムは、例えば、一又は複数のスクリプトがマークアップ言語文書に、対象のプログラム専用の単一のファイルに、又は複数の連携ファイル(例えば一又は複数のモジュール、サブプログラム、若しくはコードの一又は複数の部分を記憶している複数のファイル)に記憶されるように、他のプログラム又はデータを保持するファイルの一部分に記憶されうる。コンピュータプログラムは、一箇所に位置しているか、又は複数箇所にわたって分置されてデータ通信ネットワークによって相互接続されている、一又は複数のコンピュータで実行されるよう、デプロイされうる。
この明細書に記載しているプロセス及びロジックフローは、一又は複数のプログラマブルコンピュータであって、入力データに作用すること及び出力を生成することによって機能を果たすために一又は複数のコンピュータプログラムを実行する、一又は複数のプログラマブルコンピュータによって実施されうる。かかるプロセス及びロジックフローは、特殊用途ロジック回路(例えばFPGA又はASIC)によって、又は特殊用途ロジック回路と一又は複数のプログラミングされたコンピュータとの組み合わせによって、実施されることもある。
コンピュータプログラムの実行に適したコンピュータは、汎用マイクロプロセッサ若しくは特殊用途マイクロプロセッサ、又はこの両方、あるいは他の任意の種類の中央処理装置に基づきうる。一般に、中央処理装置は、読取専用メモリ若しくはランダムアクセスメモリ、又はこの両方から、命令及びデータを受信することになる。コンピュータの必須要素は、命令を実施又は実行するための中央処理ユニット、及び命令及びデータを記憶するための一又は複数のメモリデバイスである。かかる中央処理ユニット及びメモリは、特殊用途ロジック回路によって補完されうるか、又は特殊用途ロジック回路に組み込まれうる。一般に、コンピュータは更に、データを記憶するための一又は複数の大容量記憶デバイス(例えば磁気ディスク、光磁気ディスク、若しくは光ディスク)を含むか、あるいは、かかる大容量記憶デバイスからデータを受信するか、若しくは大容量記憶デバイスにデータを送信するか、又はその両方を行うよう、大容量記憶デバイスに動作可能に連結される。しかし、コンピュータが上述したデバイスを有することが必要なわけではない。
コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、媒体、及びメモリデバイス(例としては、EPROM、EEPROM、及びフラッシュメモリデバイスといった半導体メモリデバイス、内蔵ハードディスク若しくは取り外し可能ディスクといった磁気ディスク、光磁気ディスク、ならびにCD-ROM及びDVD-ROMディスクを含む)を含む。
ユーザとの相互作用のために、この明細書に記載している主題の実施形態は、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタといった、ユーザに情報を表示するためのディスプレイデバイスと、キーボードと、マウス又はトラックボールといったポインティングデバイス(これにより、ユーザはコンピュータに入力を行いうる)とを有するコンピュータで、実装されうる。ユーザとの相互作用のために、他の種類のデバイスも使用されうる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック(例えば視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってよく、ユーザからの入力は、音響入力、音声入力、又は触覚入力を含む任意の形態で受信されうる。加えて、コンピュータは、ユーザによって使用されるデバイスとの間で文書を送受信することによって(例えば、ウェブブラウザから受信した要求に応答して、ユーザのデバイス上のこのウェブブラウザにウェブページを送信することによって)、ユーザと相互作用しうる。また、コンピュータは、テキストメッセージ又は他の形式のメッセージをパーソナルデバイス(例えば、メッセージアプリケーションを実行しているスマートフォン)に送信し、それに応じてユーザから応答メッセージを受信することによって、ユーザと相互作用しうる。
機械学習モデルが実装されるデータ処理装置は更に、例えば、機械学習のトレーニング又はプロダクション(すなわち推論)の作業負荷のうち共通の計算集約的部分を処理するための、特定用途ハードウェアアクセラレータユニットを含みうる。
機械学習モデルは、機械学習フレームワーク(例えばTensorFlowフレームワーク、Microsoft Cognitive Toolkitフレームワーク、Apache Singaフレームワーク、又はApache MXNetフレームワーク)を使用して実装され、デプロイされうる。
この明細書に記載している主題の実施形態はコンピューティングシステムにおいて実装されてよく、このコンピューティングシステムは、(例えばデータサーバとしての)バックエンド構成要素を含むか、又はミドルウェア構成要素(例えばアプリケーションサーバ)を含むか、又はフロントエンド構成要素(例えば、グラフィカルユーザインターフェース、ウェブブラウザ、若しくはアプリであって、それを通じてユーザがこの明細書に記載している主題の実行形態と相互作用しうるグラフィカルユーザインターフェース、ウェブブラウザ、若しくはアプリを有するクライアントコンピュータ)を含むか、あるいは、一又は複数のかかるバックエンド構成要素、ミドルウェア構成要素、又はフロントエンド構成要素の任意の組み合わせを含む。このシステムの構成要素同士は、任意の形態のデジタルデータ通信(例えば通信ネットワーク)又はかかるデジタルデータ通信の任意の媒体によって、相互接続されうる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)及びワイドエリアネットワーク(WAN)(例えばインターネット)を含む。
この明細書は、多数の具体的な実行形態の詳細事項を包含しているが、これらは、いかなる発明の範囲又は特許請求されうる範囲に対する限定として解釈すべきではなく、むしろ、特定の発明の特定の実施形態に特有でありうる特徴の説明として解釈すべきである。別個の実施形態を踏まえてこの明細書で説明しているある種の特徴は、単一の実施形態において組み合わされて実装されることもある。反対に、単一の実施形態を踏まえて説明している様々な特徴が、複数の実施形態において別個に、又は任意の好適なサブコンビネーションで、実装されることもある更に、特徴は、特定の組み合わせで作用するものとして上述されていることがあり、そのようなものとして最初に特許請求されることすらあるが、特許請求される組み合わせの一又は複数の特徴は、場合によっては、その組み合わせから削除されてよく、この特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションの変形例を対象とすることもある。
同様に、工程は、特定の順序で図面に示され、特許請求の範囲に列挙されているが、これは、望ましい結果を実現するために、かかる工程が示されている特定の順序で又は順次実施されること、又は示されている全ての工程が実施されることが必須であると、理解すべきではない。ある種の状況においては、マルチタスク動作及び並行処理を行うことが有利になりうる。更に、上述した、実施形態における様々なシステムモジュール及び構成要素の分離は、全ての実施形態においてかかる分離が必須であると理解すべきではなく、記載しているプログラム構成要素及びシステムは、一般に、単一のソフトウェア製品内で互いに一体化されること、又は複数のソフトウェア製品内にパッケージ化されることも可能であると、理解すべきである。
本発明の主題の特定の実施形態について説明してきた。その他の実施形態も、以下の特許請求の範囲に含まれる。例えば、特許請求の範囲に列挙される動作は、異なる順序で実施されてよく、それでも望ましい結果を実現しうる。一例としては、添付の図に示しているプロセスは、望ましい結果を実現するために、必ずしも示している特定の順序で又は順次行われることを必要としない。場合によっては、マルチタスク及び並行処理を行うことが有利になりうる。

Claims (45)

  1. 蛍光インシトゥハイブリダイゼーションイメージングシステムであって、
    試薬中の蛍光プローブに曝露されるべきサンプルを包含するためのフローセルと、
    複数の試薬源のうちの1つから前記フローセルへの流れを制御するためのバルブと、
    前記フローセルを通るように流体を流すためのポンプと、
    可変周波数励起光源及び前記サンプルから蛍光放出された光を受信するよう位置付けられたカメラを含む、蛍光顕微鏡と、
    前記フローセルと前記蛍光顕微鏡とを垂直方向に相対運動させるためのアクチュエータと、
    前記フローセルと前記蛍光顕微鏡とを横方向に相対運動させるためのモータと、
    制御システムと、を備え、前記制御システムが、ネストされたループとして、
    前記サンプルを複数の異なる試薬に曝露するために、前記バルブに、前記フローセルを複数の異なる試薬源に順次連結させることと、
    前記複数の異なる試薬の各試薬につき、前記モータに、サンプルに対して、複数の異なる視野に前記蛍光顕微鏡を順次位置付けさせることと、
    前記複数の異なる視野の各視野につき、前記可変周波数励起光源に、複数の異なる波長を順次放出させることと、
    前記複数の異なる波長の各波長につき、前記アクチュエータに、サンプルに対して、複数の異なる垂直高さに前記蛍光顕微鏡を順次位置付けさせることと、
    前記複数の異なる垂直高さの各垂直高さにつき、それぞれの波長によって励起されたそれぞれの試薬のそれぞれの蛍光プローブを有するサンプルのそれぞれの視野をカバーするそれぞれの垂直高さで、画像を取得することと、を行うよう構成される、
    蛍光インシトゥハイブリダイゼーションイメージングシステム。
  2. 前記可変周波数励起光源が複数のレーザモジュールを含み、前記制御システムは、前記複数の異なる波長を順次放出するために前記レーザモジュールを順次作動させるよう構成される、請求項1に記載のシステム。
  3. 前記制御システムが、前記バルブ及び前記モータを制御するためのコンピュータと、前記レーザモジュール及び前記アクチュエータを制御するためのマイクロコントローラとを含む、請求項2に記載のシステム。
  4. 前記フローセル内の前記サンプルを支持するめのステージを備え、前記モータが、前記ステージを直行する軸の対に沿って駆動するよう構成されたリニアアクチュエータの対を備える、請求項1に記載のシステム。
  5. 前記複数の異なる視野のうちの少なくとも2つの視野の各視野、及び前記視野の複数の画像において共有される少なくとも2つのピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、前記視野での前記複数の画像における前記ピクセルについてのデータ値との最良一致を提供するコードワードを特定することによって、前記ピクセルを復号するよう構成された、データ処理システムを更に備える、請求項1に記載のシステム。
  6. 蛍光インシトゥハイブリダイゼーションイメージング・解析システムであって、
    試薬中の蛍光プローブに曝露されるべきサンプルを包含するためのフローセルと、
    イメージングパラメータの複数の異なる組み合わせで、前記サンプルの複数の画像を順次収集するための蛍光顕微鏡と、
    データ処理システムと、を備え、前記データ処理システムが、
    前記画像が収集される際に前記蛍光顕微鏡から前記画像を順次受信するよう、かつ、前記画像の実験的アーチファクトを除去し、RNA画像スポット鮮鋭化を提供するために、オンザフライ画像前処理を実施するよう構成された、オンライン前処理システムと、
    前記複数の画像が収集された後に、同じ視野を有する画像の位置決めを実施し、前記複数の画像内の強度値を復号して、発現した遺伝子を特定するよう構成された、オフライン処理システムと、を含む、
    蛍光インシトゥハイブリダイゼーションイメージング・解析システム。
  7. 前記データ処理システムが、各画像につき画質値を決定し、前記画質値が画質閾値を満たさなければ前記画像を前処理から選別排除するよう構成される、請求項6に記載のシステム。
  8. 前記データ処理システムが、各画像につき複数の画質値を決定し、前記画質値のいずれかが関連する画質閾値を満たさなければ、前記画像を前処理から選別排除するよう構成される、請求項6に記載のシステム。
  9. 蛍光インシトゥハイブリダイゼーションイメージングシステムであって、
    試薬中の蛍光プローブに曝露されるべきサンプルを包含するためのフローセルと、
    蛍光顕微鏡であって、
    前記サンプルを照射するための可変周波数励起光源、
    フィルタホイール上の複数の発光バンドパスフィルタ、
    前記フィルタホイールを回転させるためのアクチュエータ、及び
    前記フィルタホイール上のフィルタを通過した、前記サンプルから蛍光放出された光を受信するよう位置付けられたカメラ、を含む、蛍光顕微鏡と、
    制御システムと、を備え、前記制御システムが、
    前記可変周波数励起光源に、選択された波長を有する光ビームを放出させ、
    前記アクチュエータに、選択されたフィルタが前記サンプルと前記カメラとの間の光路内に位置付けられるよう、前記フィルタホイールを回転させ、
    前記カメラから画像を取得し、かつ
    前記画像が取得される時に、前記選択されたフィルタが、前記選択された波長によって励起された時の前記蛍光プローブによる発光に関連付けられた発光バンドパスを有するように、前記可変周波数励起光源と前記フィルタホイールとを協調させる、よう構成される、
    蛍光インシトゥハイブリダイゼーションイメージングシステム。
  10. 前記制御システムが、第1トリガ信号に応答して前記アクチュエータに前記フィルタホイールを回転させるための、第1マイクロコントローラを備える、請求項9に記載のシステム。
  11. 前記制御システムが、第2トリガ信号に応答して前記可変周波数励起光源に前記選択された波長を有する光ビームを放出させるための、第2マイクロコントローラを備える、請求項10に記載のシステム。
  12. 前記第1マイクロコントローラが前記第2トリガ信号を生成するよう構成される、請求項11に記載のシステム。
  13. 前記第2マイクロコントローラが、前記カメラに第3トリガ信号を送信して画像を獲得させるよう構成される、請求項12に記載のシステム。
  14. 前記サンプルと前記カメラとの間の光路内又は前記サンプルと前記フィルタホイールとの間の光路内に、ダイクロイックフィルタを備える、請求項9に記載のシステム。
  15. 前記ダイクロイックミラーが、前記蛍光プローブの各発光波長につき1つの通過帯域を有するマルチパスダイクロイックミラーである、請求項14に記載のシステム。
  16. 前記複数の発光バンドパスフィルタの各フィルタが、固有の帯域を有し、前記可変周波数励起光源の固有の波長に関連付けられる、請求項9に記載のシステム。
  17. 前記可変周波数励起光源が、前記サンプルに対して垂直な励起光で前記サンプルを照射するよう構成される、請求項9に記載のシステム。
  18. 命令を有する非一過性のコンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、一又は複数のプロセッサに、
    複数の画像の各画像に対して一又は複数のフィルタを適用し、逆畳み込みを実施して、複数のフィルタリング済みの画像を生成することと、
    前記複数のフィルタリング済みの画像の位置決めを実施して、複数の位置決め済みでフィルタリング済みの画像を生成することと、
    前記複数の位置決め済みでフィルタリング済みの画像の少なくとも2つのピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、前記ピクセルについて、前記複数の位置決め済みでフィルタリング済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、前記ピクセルを復号することと、
    少なくとも2つのピクセルの各ピクセルにつき、前記コードワードに関連付けられた遺伝子を決定し、前記遺伝子が前記ピクセルで発現しているという指示を記憶することと、を実行させる、
    コンピュータプログラム製品。
  19. 位置決めを実施するための前記命令が、
    前記複数のフィルタリング済みの画像の、フィルタリング済みの画像の各々につき、
    前記フィルタリング済みの画像を均等なサイズの複数のサブ画像に分割することと、
    前記複数のサブ画像から、サブ画像のサイズに等しいサイズの合成画像を計算することにより、複数の縮小サイズ画像を生成することであって、前記複数の画像の各画像が対応する縮小サイズ画像を有する、複数の縮小サイズ画像を生成することと、
    前記複数の縮小サイズ画像のうちの少なくとも1つの縮小サイズ画像につき、前記複数の縮小サイズ画像を位置決めするための変換を決定することと、
    前記少なくとも1つの縮小サイズ画像の各々につき、前記縮小サイズ画像について決定された前記変換を対応するフィルタリング済みの画像に適用して、初期の前記画像に等しいサイズの変換された画像を生成することにより、複数の変換された画像を生成することと、を行うための命令を含む、請求項18に記載のコンピュータプログラム製品。
  20. 前記複数の画像の各画像につき、閾値を上回る輝度値を最大輝度値に設定し、前記最大値に基づいて、前記閾値を下回る残りの輝度値をスケーリングするための命令を更に含む、請求項18に記載のコンピュータプログラム製品。
  21. 前記複数の画像の各画像につき、視野平坦化及び/又は色収差補正を実施するための命令を更に含む、請求項18に記載のコンピュータプログラム製品。
  22. 命令を有する非一過性のコンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、一又は複数のプロセッサに、
    サンプルの複数の初期画像であって、共通の視野を共有する複数の初期画像を受信することと、
    前記複数の初期画像の各初期画像につき、
    前記初期画像を均等なサイズの複数のサブ画像に分割することと、
    前記複数のサブ画像から、サブ画像のサイズに等しいサイズの合成画像を計算することにより、複数の縮小サイズ画像を生成することであって、前記複数の画像の各画像が対応する縮小サイズ画像を有する、複数の縮小サイズ画像を生成することと、
    前記複数の縮小サイズ画像のうちの少なくとも1つの縮小サイズ画像につき、前記複数の縮小サイズ画像を位置決めするための変換を決定することと、
    前記少なくとも1つの縮小サイズ画像の各々につき、前記縮小サイズ画像について決定された前記変換を対応する初期画像に適用して、前記初期画像に等しいサイズの変換された画像を生成することにより、複数の変換された画像を生成することと、
    前記複数の変換された画像の少なくとも2つのピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、前記ピクセルについて、前記複数の変換された画像内のデータ値との最良一致を提供するコードワードを特定することによって、前記ピクセルを復号することと、
    少なくとも2つのピクセルの各ピクセルにつき、前記コードワードに関連付けられた遺伝子を決定し、前記遺伝子が前記ピクセルで発現しているという指示を記憶することと、を実行させる、
    コンピュータプログラム製品。
  23. 前記合成画像を計算するための前記命令が、異なる位相シフト量だけ前記縮小サイズ画像を位相シフトさせて、位相シフトされた縮小サイズ画像を生成するための命令を含む、請求項22に記載のコンピュータプログラム製品。
  24. 前記合成画像を計算するための前記命令が、前記位相シフトされた縮小サイズ画像を合算して複素画像を生成するための命令を含む、請求項23に記載のコンピュータプログラム製品。
  25. 前記合成画像を計算するための前記命令が、前記複素画像の実部と虚部とを合算して前記合成画像を形成するための命令を含む、請求項24に記載のコンピュータプログラム製品。
  26. 命令を有する非一過性のコンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、一又は複数のプロセッサに、
    共通の視野を表わす、サンプルの複数の画像を受信することと、
    前記複数の画像の位置決めを実施して、複数の位置決め済みの画像を生成することと、
    前記位置決め済みの画像の複数のピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、前記ピクセルについて、前記複数の位置決め済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、前記ピクセルを復号することと、
    一又は複数のピクセル及び前記一又は複数のピクセルの各ピクセルの最良一致として特定された各コードワードにつき、前記ピクセルについての画像ワードのビット比が前記コードワードの閾値を満たすかどうかを判定することであって、前記画像ワードは、前記ピクセルについての、前記複数の位置決め済みの画像における前記データ値から形成される、ビット比が閾値を満たすかどうかを判定することと、
    前記閾値を満たしていると判定された少なくとも1つのピクセルにつき、前記コードワードに関連付けられた遺伝子を決定し、前記遺伝子が前記ピクセルで発現しているという指示を記憶し、前記ビット比が前記閾値を満たしていないピクセルを選別排除することと、を実行させる、
    コンピュータプログラム製品。
  27. 前記コードワードがコード値のシーケンスを含み、前記画像ワードがデータ値のシーケンスを含み、前記シーケンス内の各データ値が前記コード値のシーケンス内に対応するコード値を有する、請求項26に記載のコンピュータプログラム製品。
  28. 前記ビット比を判定するための前記命令が、前記コードワード内のどのコード値が「オン」状態を示し、前記コードワード内のどのコード値が「オフ」状態を示しているかを判定するための命令を含む、請求項27に記載のコンピュータプログラム製品。
  29. 前記ビット比を判定するための前記命令が、オン状態を示している前記コードワード内のコード値に対応する前記画像ワード内のデータ値の、第1平均を決定するための命令を含む、請求項28に記載のコンピュータプログラム製品。
  30. 前記ビット比を判定するための前記命令が、オフ状態を示している前記コードワード内のコード値に対応する前記画像ワード内のデータ値の、第2平均を決定するための命令を含む、請求項29に記載のコンピュータプログラム製品。
  31. 前記ビット比を判定するための前記命令が、前記第1平均を前記第2平均で除算するための命令を含む、請求項30に記載のコンピュータプログラム製品。
  32. 命令を有する非一過性のコンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、一又は複数のプロセッサに、
    共通の視野を表わす、サンプルの複数の画像を受信することと、
    前記複数の画像の位置決めを実施して、複数の位置決め済みの画像を生成することと、
    前記位置決め済みの画像の複数のピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、前記ピクセルについて、前記複数の位置決め済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、前記ピクセルを復号することと、
    一又は複数のピクセル及び前記一又は複数のピクセルの各ピクセルの最良一致として特定された各コードワードにつき、前記ピクセルについての画像ワードのビット輝度が前記コードワードの閾値を満たすかどうかを判定することであって、前記画像ワードは、前記ピクセルについての、前記複数の位置決め済みの画像における前記データ値から形成される、ビット輝度が閾値を満たすかどうかを判定することと、
    前記閾値を満たしていると判定された各ピクセルにつき、前記コードワードに関連付けられた遺伝子を決定し、前記遺伝子が前記ピクセルで発現しているという指示を記憶し、前記ビット比が前記閾値を満たしていないピクセルを選別排除することと、を実行させる、
    コンピュータプログラム製品。
  33. 前記コードワードがコード値のシーケンスを含み、前記画像ワードがデータ値のシーケンスを含み、前記シーケンス内の各データ値が前記コード値のシーケンス内に対応するコード値を有する、請求項32に記載のコンピュータプログラム製品。
  34. 前記ビット輝度を判定するための前記命令が、前記コードワード内のどのコード値がオン状態を示し、前記コードワード内のどのコード値がオフ状態を示しているかを判定するための命令を含む、請求項33に記載のコンピュータプログラム製品。
  35. 前記ビット輝度を判定するための前記命令が、オン状態を示している前記コードワード内のコード値に対応する前記画像ワード内のデータ値の平均を決定するための命令を含む、請求項34に記載のコンピュータプログラム製品。
  36. 一又は複数のピクセル及び前記一又は複数のピクセルの各ピクセルの最良一致として特定された各コードワードにつき、前記ピクセルについての画像ワードのビット比が前記コードワードの第2閾値を満たすかどうかを判定し、前記ビット比が前記第2閾値を満たしていないピクセルを選別排除するための命令を含む、請求項32に記載のコンピュータプログラム製品。
  37. 前記サンプルの前記複数の画像からのビット値のヒストグラム中の、第1分位限界における値を決定することによって、前記閾値を決定するため、及び前記サンプルの前記複数の画像からのビット値のヒストグラム中の、前記第1分位限界よりも高い第2分位限界における第2の値を決定することによって、前記第2閾値を決定するための、命令を含む、請求項36に記載のコンピュータプログラム製品。
  38. 命令を有する非一過性のコンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、一又は複数のプロセッサに、
    サンプルの複数の初期画像であって、複数の異なる視野の各視野での多数の画像を含む、複数の初期画像を受信することと、
    画像処理アルゴリズムであって、前記視野での前記多数の画像の画像フィルタリング、又は前記視野での前記多数の画像の位置決め、の一又は複数が実施される、画像処理アルゴリズムを実施するための命令を記憶することと、
    各視野につき、一又は複数の初期パラメータ値を決定することであって、別々の視野は別々の初期パラメータ値を有する、一又は複数の初期パラメータ値を決定することと、
    前記別々の視野に別々の初期復号パラメータ値を使用して、各視野につき前記画像処理アルゴリズムを実施することと、
    一又は複数の後続復号パラメータ値を決定することと、
    前記別々の視野に同じ後続パラメータ値を使用して、各視野につき前記画像処理アルゴリズム及び復号化アルゴリズムを実施して、空間トランスクリプトミクスデータのセットを生成することと、を実行させる、
    コンピュータプログラム製品。
  39. 前記一又は複数の後続パラメータ値を決定するための前記命令が、各視野の前記一又は複数の初期パラメータ値のうちの少なくとも1つに基づいて、前記一又は複数の後続パラメータ値を決定するための命令を含む、請求項38に記載のコンピュータプログラム製品。
  40. 複数の平均適合度から最良平均適合度を決定するための命令を含み、前記一又は複数の後続パラメータ値を決定するための前記命令が、前記最良平均適合度に関連付けられた視野につき、前記初期符号化パラメータから一又は複数の復号パラメータを選択するための命令を含む、請求項38に記載のコンピュータプログラム製品。
  41. 視野のアレイ内の所定の位置におけるある視野を選択するための命令を含み、前記一又は複数の後続復号パラメータ値を決定するための前記命令が、前記所定の位置における前記視野につき、前記初期符号化パラメータから一又は複数の復号パラメータを選択するための命令を含む、請求項38に記載のコンピュータプログラム製品。
  42. 前記一又は複数の後続復号パラメータ値を決定するための前記命令が、複数の視野からの復号パラメータを平均化するための命令を含む、請求項38に記載のコンピュータプログラム製品。
  43. 命令を有する非一過性のコンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、一又は複数のプロセッサに、
    サンプルの複数の初期画像であって、複数の異なる視野の各視野につき多数の画像を含む、複数の初期画像を受信することと、
    各視野につき、前記視野での前記多数の画像に基づいて、空間トランスクリプトミクスデータのセットを生成することであって、空間トランスクリプトミクスデータの各セットが一又は複数のデータペアを含み、前記一又は複数のデータペアの各データペアは、位置及びその位置で発現した遺伝子を含む、空間トランスクリプトミクスデータのセットを生成することと、
    隣接した視野からの多数の画像のオーバーラップ領域を決定することと、
    各視野についての前記空間トランスクリプトミクスデータのセットから、前記複数の異なる視野をカバーする合成画像についての空間トランスクリプトミクスデータの合成セットを生成することと、を実行させ、前記空間トランスクリプトミクスデータの合成セットを生成するための前記命令が、別々の視野からの、前記サンプル内の同じ箇所に同じ遺伝子が発現したことを表わす、少なくとも1つの二重計数データペアをオーバーラップ領域において選別排除するための命令を含む、
    コンピュータプログラム製品。
  44. 選別排除するための前記命令が、同じ遺伝子が発現している位置間の距離を決定し、前記距離が閾値を下回るかどうかを判定するための命令を含む、請求項43に記載のコンピュータプログラム製品。
  45. 命令を有する非一過性のコンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、一又は複数のプロセッサに、
    サンプルの複数の画像であって、複数の異なる視野の各視野につき多数の画像を含む、複数の画像を受信することと、
    前記複数の画像の各画像に対して、画像の画質チェックを実施することと、
    前記画質チェックを実施した後に、前記複数の画像の各画像で、画像からアーチファクトを除去することと、
    アーチファクトを除去した後に、前記複数の画像の各画像で、画像内の画像スポットを鮮鋭化することと、
    前記画像スポットを鮮鋭化した後に、前記多数の画像の各々につき、前記多数の画像の位置決めを実施して、位置決め済みの画像を生成することと、
    位置決めを実施した後に、前記多数の画像の各々と、多数の画像の各セットのうちの前記位置決め済みの画像の複数のピクセルの各ピクセルにつき、コードブック内の複数のコードワードから、前記ピクセルについて、対応する多数の位置決め済みの画像内のデータ値との最良一致を提供するコードワードを特定することによって、前記ピクセルを復号することと、を実行させる、
    コンピュータプログラム製品。
JP2022537620A 2019-12-17 2020-12-16 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法 Active JP7420950B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962949391P 2019-12-17 2019-12-17
US62/949,391 2019-12-17
PCT/US2020/065371 WO2021127019A1 (en) 2019-12-17 2020-12-16 System and method for acquisition and processing of multiplexed fluorescence in-situ hybridization images

Publications (2)

Publication Number Publication Date
JP2023507595A true JP2023507595A (ja) 2023-02-24
JP7420950B2 JP7420950B2 (ja) 2024-01-23

Family

ID=76316250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022537620A Active JP7420950B2 (ja) 2019-12-17 2020-12-16 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法

Country Status (7)

Country Link
US (5) US11783916B2 (ja)
EP (1) EP4078151A4 (ja)
JP (1) JP7420950B2 (ja)
KR (1) KR20220110589A (ja)
CN (1) CN114868010A (ja)
TW (1) TWI782368B (ja)
WO (1) WO2021127019A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
EP3644044B1 (en) * 2018-10-24 2020-12-23 Leica Biosystems Imaging, Inc. Camera exposure control when acquiring fluorescence in situ hybridization images
JP7280107B2 (ja) * 2019-05-10 2023-05-23 株式会社エビデント 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
EP4078151A4 (en) 2019-12-17 2024-01-03 Applied Materials Inc SYSTEM AND METHOD FOR CAPTURE AND PROCESSING MULTIPLEXED FLUORESCENCE IN SITU HYBRIDIZATION IMAGES
EP4214712A2 (en) 2020-09-16 2023-07-26 10X Genomics, Inc. Methods and systems for barcode error correction
JP2022051094A (ja) * 2020-09-18 2022-03-31 株式会社Screenホールディングス 画像処理方法、画像処理装置および撮像装置
WO2023078527A1 (en) * 2021-11-02 2023-05-11 Leica Microsystems Cms Gmbh Method for providing position information for retrieving a target position in a microscopic sample, method for examining and/or processing such a target position and means for implementing these methods
WO2023108139A2 (en) 2021-12-10 2023-06-15 10X Genomics, Inc. Multi-resolution in situ decoding
WO2023172915A1 (en) 2022-03-08 2023-09-14 10X Genomics, Inc. In situ code design methods for minimizing optical crowding
WO2023192302A1 (en) 2022-03-29 2023-10-05 10X Genomics, Inc. Spectral unmixing combined with decoding for super-multiplexed in situ analysis
KR102483745B1 (ko) * 2022-04-06 2023-01-04 주식회사 포트래이 공간전사체정보 분석장치 및 이를 이용한 분석방법
CN115602245B (zh) * 2022-09-09 2023-10-03 郑州思昆生物工程有限公司 一种荧光图筛选的方法、装置、设备以及存储介质

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224860B2 (ja) 1992-06-19 2001-11-05 ポーラ化成工業株式会社 顕微鏡画像評価システム
US6007994A (en) * 1995-12-22 1999-12-28 Yale University Multiparametric fluorescence in situ hybridization
US6404906B2 (en) 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US5880473A (en) * 1997-07-28 1999-03-09 Applied Imaging, Inc. Multifluor-fluorescence in-situ hybridization (M-FISH) imaging techniques using multiple multiband filters with image registration
US5834203A (en) * 1997-08-25 1998-11-10 Applied Spectral Imaging Method for classification of pixels into groups according to their spectra using a plurality of wide band filters and hardwire therefore
US6900435B1 (en) * 1999-02-14 2005-05-31 Nanoptics, Inc. Deconvolving far-field images using scanned probe data
US6834122B2 (en) * 2000-01-22 2004-12-21 Kairos Scientific, Inc. Visualization and processing of multidimensional data using prefiltering and sorting criteria
US6995841B2 (en) * 2001-08-28 2006-02-07 Rice University Pulsed-multiline excitation for color-blind fluorescence detection
JP2003088399A (ja) 2001-09-14 2003-03-25 Fuji Photo Film Co Ltd ハイブリダイゼーション方法および装置ならびに生化学解析用ユニット
JP3902939B2 (ja) 2001-10-26 2007-04-11 株式会社日立ハイテクノロジーズ 標本中の微小領域測定装置及び方法
AU2002357791B9 (en) 2001-12-05 2008-09-25 The J. David Gladstone Institutes Robotic microscopy systems
KR100437253B1 (ko) 2002-05-13 2004-06-23 학교법인 한양학원 마이크로어레이 모사 이미지 생성 시스템 및 그 방법
AU2003245561A1 (en) 2002-06-18 2003-12-31 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
WO2004027093A1 (en) 2002-09-19 2004-04-01 The Chancellor, Master And Scholars Of The University Of Oxford Molecular arrays and single molecule detection
FR2849196B1 (fr) 2002-12-23 2006-09-15 Imstar Image Et Modelisation S Lecteur de puces de type biopuces, et procedes associes
JP4111099B2 (ja) 2003-08-21 2008-07-02 ソニー株式会社 生化学分析方法及び装置
US20050265588A1 (en) * 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
US20080232658A1 (en) * 2005-01-11 2008-09-25 Kiminobu Sugaya Interactive Multiple Gene Expression Map System
US20070031043A1 (en) 2005-08-02 2007-02-08 Perz Cynthia B System for and method of intelligently directed segmentation analysis for automated microscope systems
SG10201405158QA (en) * 2006-02-24 2014-10-30 Callida Genomics Inc High throughput genome sequencing on dna arrays
EP2047251A2 (en) * 2006-08-04 2009-04-15 Ikonisys, Inc. Image processing method for a microscope system
WO2008025016A2 (en) 2006-08-25 2008-02-28 The Trustees Of Columbia University In The City Of New York Systems and methods for high-throughput, minimally-invasive radiation biodosimetry
WO2008031228A1 (en) * 2006-09-15 2008-03-20 The Governors Of The University Of Alberta Automated fish analysis, circulating microfluidic chip, and method for immobilizing cells to a microfluidic chip
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
DK2215209T3 (en) 2007-10-30 2018-09-03 Complete Genomics Inc DEVICE FOR HIGH-THROUGHPUT SEQUENCE OF NUCLEIC ACIDS
US20100034444A1 (en) * 2008-08-07 2010-02-11 Helicos Biosciences Corporation Image analysis
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US20100330555A1 (en) * 2009-06-25 2010-12-30 General Electric Company Accuracy fluorescence in-situ hybridization assay of samples with apoptotic cells
CN102687056B (zh) * 2009-12-30 2015-04-01 皇家飞利浦电子股份有限公司 用于显微镜检查的传感器
JP5497587B2 (ja) 2010-03-23 2014-05-21 株式会社日立ハイテクノロジーズ マイクロ流路チップ及びマイクロアレイチップ
EP2518514B1 (en) 2011-04-29 2014-06-18 F. Hoffmann-La Roche AG A method for operating an automated sample workcell
US20150065371A1 (en) 2012-03-30 2015-03-05 Clarient Diagnostic Services, Inc. Immunofluorescence and fluorescent-based nucleic acid analysis on a simgle sample
CN102719357B (zh) 2012-05-31 2014-07-09 博奥生物集团有限公司 一种实时监控微阵列芯片分析过程的杂交系统
ES2700498T3 (es) 2012-07-25 2019-02-18 Theranos Ip Co Llc Sistema para el análisis de una muestra
JP5663541B2 (ja) 2012-09-19 2015-02-04 株式会社日立ハイテクノロジーズ 反応容器,並列処理装置、及びシーケンサ
US9064304B2 (en) * 2013-03-18 2015-06-23 General Electric Company Image quality assessment of microscopy images
WO2015191978A1 (en) * 2014-06-12 2015-12-17 University Of Notre Dame Microfluidic devices, systems, and methods for imaging tissue samples
EP3174993B1 (en) * 2014-07-30 2023-12-06 President and Fellows of Harvard College Probe library construction
JP6654634B2 (ja) * 2014-12-03 2020-02-26 ベンタナ メディカル システムズ, インコーポレイテッド 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置
US10078778B2 (en) 2015-01-15 2018-09-18 Massachusetts Institute Of Technology Systems, methods, and apparatus for in vitro single-cell identification and recovery
EP3251087B1 (en) * 2015-01-29 2018-11-28 Ventana Medical Systems, Inc. Dot detection, color classification of dots and counting of color classified dots
WO2016120442A1 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Foreground segmentation and nucleus ranking for scoring dual ish images
EP3252452A1 (en) * 2016-05-25 2017-12-06 The Board of Trustees of the Leland Stanford Junior University Method for imaging and analysis of a biological specimen
US10203491B2 (en) 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
EP3538867B1 (en) 2016-11-08 2024-01-03 President and Fellows of Harvard College Multiplexed imaging using merfish, expansion microscopy, and related technologies
SG10201609334WA (en) 2016-11-08 2018-06-28 Delta Electronics Intl Singapore Pte Ltd Multi-Channel Fluorescence Detection Device
CN110088804B (zh) * 2016-12-22 2023-06-27 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
US10573003B2 (en) 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
WO2018231204A1 (en) 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
WO2019219651A1 (en) * 2018-05-15 2019-11-21 Ventana Medical Systems, Inc. Quantitation of signal in stain aggregates
WO2020023213A1 (en) * 2018-07-27 2020-01-30 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
EP3867868A1 (en) * 2018-10-15 2021-08-25 Ventana Medical Systems, Inc. Image enhancement to enable improved nuclei detection and segmentation
CN113424050A (zh) * 2019-02-13 2021-09-21 文塔纳医疗系统公司 用于计算多通道图像中的自体荧光贡献的系统和方法
EP4078151A4 (en) 2019-12-17 2024-01-03 Applied Materials Inc SYSTEM AND METHOD FOR CAPTURE AND PROCESSING MULTIPLEXED FLUORESCENCE IN SITU HYBRIDIZATION IMAGES

Also Published As

Publication number Publication date
TWI782368B (zh) 2022-11-01
US20210199584A1 (en) 2021-07-01
US20230253073A1 (en) 2023-08-10
US20210182531A1 (en) 2021-06-17
EP4078151A1 (en) 2022-10-26
TW202138564A (zh) 2021-10-16
WO2021127019A1 (en) 2021-06-24
CN114868010A (zh) 2022-08-05
US20210183034A1 (en) 2021-06-17
EP4078151A4 (en) 2024-01-03
KR20220110589A (ko) 2022-08-08
US20210181111A1 (en) 2021-06-17
US11783916B2 (en) 2023-10-10
US11630067B2 (en) 2023-04-18
JP7420950B2 (ja) 2024-01-23
US11624708B2 (en) 2023-04-11
TW202307420A (zh) 2023-02-16

Similar Documents

Publication Publication Date Title
JP7420950B2 (ja) 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法
CA2802420C (en) Method and apparatus for single-particle localization using wavelet analysis
CA2658827C (en) System and method for co-registering multi-channel images of a tissue micro array
JP6496708B2 (ja) コンピュータ実装方法、画像解析システム及びデジタル顕微鏡撮像システム
EP2976747B1 (en) Image quality assessment of microscopy images
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP2006520473A (ja) 多軸統合システムおよび方法
CN108140104B (zh) 病理学明场像中的自动化染色查找
TWI835323B (zh) 用於多工螢光原位雜合影像之獲取及處理的系統及方法
Can et al. Multi-modal imaging of histological tissue sections
US20230230234A1 (en) Cell body segmentation using machine learning
WO2019140434A2 (en) Overlapping pattern differentiation at low signal-to-noise ratio
Tang Computational optimisation of optical projection tomography for 3D image analysis
US20220310202A1 (en) Utilization of sparce codebook in multiplexed fluorescent in-situ hybridization imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240111

R150 Certificate of patent or registration of utility model

Ref document number: 7420950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150