JP2023516091A - 自動蛍光イメージング及び単一細胞セグメンテーション - Google Patents
自動蛍光イメージング及び単一細胞セグメンテーション Download PDFInfo
- Publication number
- JP2023516091A JP2023516091A JP2022553083A JP2022553083A JP2023516091A JP 2023516091 A JP2023516091 A JP 2023516091A JP 2022553083 A JP2022553083 A JP 2022553083A JP 2022553083 A JP2022553083 A JP 2022553083A JP 2023516091 A JP2023516091 A JP 2023516091A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image
- cells
- imaging system
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title abstract description 23
- 238000000799 fluorescence microscopy Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 90
- 238000003384 imaging method Methods 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 10
- 230000004075 alteration Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001413 cellular effect Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 1
- 210000004027 cell Anatomy 0.000 description 91
- 239000000523 sample Substances 0.000 description 48
- 238000010186 staining Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000013068 control sample Substances 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000003607 modifier Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 108091023037 Aptamer Proteins 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000011949 advanced processing technology Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 210000002421 cell wall Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical group O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009871 nonspecific binding Effects 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 229920000638 styrene acrylonitrile Polymers 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 1
- 238000010937 topological data analysis Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6402—Atomic fluorescence; Laser induced fluorescence
- G01N21/6404—Atomic fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/127—Calibration; base line adjustment; drift compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Molecular Biology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Dispersion Chemistry (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
蛍光顕微鏡によって生成された画像中の単一細胞及び他のオブジェクトの、自動化された、教師なしの、パラメータフリーであるセグメンテーションのためのシステム及び方法。システム及び方法は、初期画像品質の向上及び画像上の自動セグメンテーションの向上の両方に関する。これらの方法は典型的には、メモリに記憶された適切なソフトウェアを実行するコンピュータ又はプロセッサによってデジタル画像上で実行される。【選択図】図1
Description
関連出願の相互参照
本出願は、2020年3月5日に出願された米国仮特許出願第62/985,539号の利益を主張し、その開示全体が参照により本明細書に組み込まれる。
本出願は、2020年3月5日に出願された米国仮特許出願第62/985,539号の利益を主張し、その開示全体が参照により本明細書に組み込まれる。
技術分野
本開示は、デジタル画像の解析の分野に関し、特に、蛍光顕微鏡によって生成されたデジタル画像に対して単一細胞又は他のオブジェクトのセグメンテーションを実行するための、蛍光顕微鏡によって生成されたデジタル画像の自動解析に関する。
本開示は、デジタル画像の解析の分野に関し、特に、蛍光顕微鏡によって生成されたデジタル画像に対して単一細胞又は他のオブジェクトのセグメンテーションを実行するための、蛍光顕微鏡によって生成されたデジタル画像の自動解析に関する。
フローサイトメータ(FCM)及び蛍光活性化細胞ソータ(FACS)は、現在、細胞の特徴付けのための主要なツールのうちの一部である。両方のシステムは、蛍光抗体又は他の蛍光プローブ(フルオロフォア)を利用して、対象の特定の特徴を有する細胞にタグを付け、次いで、蛍光光を検出して標的細胞を位置付ける。両方のシステムは、生物医学研究及び臨床診断の両方で広く使用されており、細胞の物理的特性(例えば、細胞サイズ及び形状)並びに生化学的特性(例えば、細胞周期分布及びDNA量)を研究するために使用することができる。フローサイトメトリーはまた、ある特定の細胞疾患の進行を監視するための貴重な臨床ツールとなっている。
対象の細胞に関する情報は、典型的には光学的に取得される。FCM/FACSは、ある特定の光入力に露光されたときにある特定の波長で蛍光する特定のタグ付きプローブの導入を伴い、タグ付きプローブを対象の標的に接続させることにより、プローブが付着した個々の細胞の識別を可能にする。FCM/FACSでは、測定された信号が純粋ではないことを認識する必要がある。蛍光は、典型的には、光電子増倍管(PMT)などのデバイスによって光学的に検出され、PMTは、マーカからの光に加えて、細胞の背景信号(光害)及び自己蛍光を受信する。更に、マーカからの特異的な光でさえ、試料中に存在する非特異的に結合したマーカから取得され得る。これは、対象の値である、細胞上又は細胞内の標的分子に付着した、特異的に結合したマーカに追加される。
所望の結果の決定用としては、特異的に結合されたマーカの信号のみが適切であり、測定された信号の残りは「ノイズ」又は誤差とみなされる。この誤差は、特定の信号が多分に所望の感度で測定されることを阻害し、特定の信号の強度が低くかつノイズの強度が比較的高い場合には、特定の信号がノイズの中で「消える」可能性があり、誤った陰性結果につながる。したがって、ノイズ量(信号対ノイズ比)は、測定の検出感度に影響を与える。更に、測定された陽性値及び陰性値が区別不能になる場合があるため、ノイズはまた、陽性細胞集団と陰性細胞集団との間の区別に影響を及ぼし得る。
測定誤差の主な理由は、検出デバイスの小さなダイナミックレンジ内の背景信号(汚れ)、細胞の高い自己蛍光信号、マーカの細胞への非特異的結合、及び染色プロセス中に生じる変動(例えば、異なるマーカ濃度、マーカの標識、又は染色条件)である。非特異的な背景信号を可能な限り減少させることが望ましいが、FCM/FACSベースの方法は、背景信号を減少させる可能性が限られている。原則的に、FCM/FACSデバイスの基本的な背景信号は、干渉信号の蓄積又は検出を避けることによってのみ、減少させることができる。
検出デバイスの背景信号及び細胞の自己蛍光を排除するために、現在知られている方法は、典型的には、調査対象の細胞をフルオロフォアで処理しない対照試料を使用し、この試料からの背景及び自己蛍光の値を実際の測定実行から減算する。しかし、このアプローチには多くの欠点がある。2つの異なる細胞集団を比較することによって、追加の測定誤差がしばしば生じる。これは、集団が、調査したマーカの密度、年齢、発現強度などが異なる場合があることに起因する。更に、(細胞を除く)試料材料の蛍光は、それらの製造プロセス又はそれらの組成物の変動に起因して、異なる試料間で変動する場合がある。最後に、また多くの場合、最も重要なことに、対照試料値は、典型的には、対照試料測定に基づいて計算された平均値であり、個々の細胞間に存在する変動を考慮しない。
FACS、及びより一般的な生物学的システムのデジタル画像の解析の主な問題のうちの1つは、セグメンテーションの必要性である。セグメンテーションは、典型的には、細胞の生成されたデジタル画像内の細胞の境界の識別の必要性を指す。一旦取得されると、それらのフルオロフォアを使用して生成されたなどのデジタル画像は、個々の細胞を識別できるように、例えば、したがってそれらをカウントできるように、セグメンテーションされる必要がある。セグメンテーションは、典型的には、アルゴリズムを使用して実行される。ウォーターシェッド変換は、細胞の画像をセグメンテーションするために使用されてきた1つの画像処理技術である。ウォーターシェッド変換により、デジタル画像は、三次元トポロジカル表面としてモデル化され得、ここでは、画素の強度値が、地理的高さを表す。したがって、より多くのフルオロフォアに関連付けられたアイテム(例えば、細胞の核であり得る)は、ピーク又は「火山」として識別される一方で、細胞壁は、ピーク間の谷となり得る。
しかしながら、多くのセグメンテーションアルゴリズムの問題は、異なる組織型及び細胞の組織構造のばらつきである。したがって、ある特定のアルゴリズムは、特定の種類の細胞への適応又は訓練なしに、正確なセグメンテーションを作成しない場合がある。この違いは、訓練の自動セグメンテーションシステムを非常に困難にする可能性もある。アルゴリズムは、画像をオーバーセグメンテーション(細胞の一部のみが存在する場合に完全な細胞を示す)又はアンダーセグメンテーション(複数の細胞が存在する場合に単一細胞を示す)させる両方の方向に失敗する可能性がある。
問題に対抗するために、米国特許第8,995,740号で論じられたものを含む代替のアルゴリズムが提案されており、その開示全体が参照により本明細書に組み込まれる。しかしながら、これらのシステムは、基礎となる画像キャプチャ品質に起因して依然として問題を抱えていることが多く、最良のアルゴリズムでさえその可能性を最大限に引き出すことができず、更にこの場合でも、それらは依然として、ある特定の細胞画像において一般的であり得るトポロジカル構造(「環礁」など)のトラブルを抱えていることが多い。
この問題は、細胞の自動解析のための訓練方法が、典型的には、多種多様な異種細胞上で訓練されるため、特に深刻となる。したがって、低い自己蛍光を有する細胞及び高い自己蛍光を有する細胞は、典型的には、同じ平均対照試料値(又は訓練データ)に対して較正され、その結果、低い自己蛍光を有する細胞が偽陰性として評価されやすく、高い自己蛍光を有する細胞が偽陽性として評価される可能性が高い。上記の全ては、検出方法の感度を著しく損なう可能性があるため、既存の方法の欠点を克服し、かつより感受性が高く、信頼性の高い細胞解析を可能にする方法を利用可能にすることが望ましい。
その開示全体が参照により本明細書に組み込まれる米国特許出願第15/708,221号は、自己蛍光及び背景ノイズをより効果的にキャンセルするために使用することができるシステム及び方法を提供する。具体的には、これは、一般化された試料又は材料の訓練選択からではなく、テストされる実際の試料から自己蛍光を決定することによって実行される。これは、信号対ノイズ比の実質的な改善を提供する。しかしながら、これらのシステム及び方法は、ハイダイナミックレンジイメージ(HDRI)カメラを利用する高度な較正技術を提供せず、かつ画像がそのように準備されたときに細胞セグメンテーションの精度を向上させることができる高度な処理技術を提供しない。
以下は、本発明のいくつかの態様の基本的な理解を提供するための本発明の要約である。この要約は、本発明の重要又は重大な要素を識別すること、又は本発明の範囲を定めることを意図していない。本節の唯一の目的は、後で提示されるより詳細な説明の前段階として、本発明のいくつかの概念を簡略化された形式で提示することである。
これら及び当技術分野における他の問題のために、とりわけ、細胞イメージングのためのイメージングシステムを較正するための方法が本明細書に記載されており、方法が、幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞をイメージングするためのイメージングシステムを提供することと、自己蛍光のための較正を実行することであって、幅広い自己蛍光波長を有する非染色細胞の試料をイメージングシステムに提供すること、試料に照明源を照明すること、試料を、幅広い蛍光波長の全て、及び幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすること、を含む、実行することと、色収差のための較正を実行することであって、イメージングシステムに細胞の試料を提供すること、試料に照明源を照明すること、細胞の試料の第1の画像を取得すること、細胞の試料に対するイメージングシステムの位置を改めること、及び細胞の試料の新たな画像を取得すること、を含む、実行することと、を含む。
方法の一実施形態では、方法が、方法を実行するための命令を有するメモリを含むデジタルコンピュータによって実行される。
方法の一実施形態では、イメージングシステムの最小光子収集時間が、ダイナミックレンジ内の各波長に対して別々に設定されており、最小光子収集時間が、完全なダイナミックレンジ内の全ての値の検出に対して十分である。
方法の一実施形態では、ダイナミックレンジが、全ての波長イメージングシステム画像を含む。
方法の一実施形態では、イメージングシステムが、デジタルグレースケールカメラを備える。
方法の一実施形態では、カメラが、フルオロフォアに基づいたフィルタセットを備える。
方法の一実施形態では、カメラが、ハイダイナミックレンジイメージング(HDRI)カメラである。
方法の一実施形態では、カメラが、露光融合によってハイダイナミックレンジ(HDR)を生成して、改善されたコントラストを提供する。
方法の一実施形態では、フルオロフォアでタグ付けされた細胞が、非染色細胞とは異なる種類の細胞である。
方法の一実施形態では、細胞の試料が、非染色細胞の試料とは異なる種類の細胞である。
方法の一実施形態では、細胞の試料が、非染色細胞の試料である。
一実施形態における、細胞画像を解析するための方法も本明細書に記載されており、方法が、幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞の試料を提供すること、試料に照明源を照明すること、幅広い蛍光波長にわたって照明された試料をイメージングして、試料画像を作成すること、試料画像から較正画像を減算して、較正された画像を作成すること、画像をトポロジカル曲線として表すことであって、各曲線画素における曲線の高さが、較正された画像内の画像画素における蛍光の強度を表す、表すこと、トポロジカル曲線を、選択された高さを上回る高さを有する画素グループがあるか検索すること、選択された高さよりも低い新たな高さを選ぶこと、選択された高さとして新たな高さを使用して検索することを繰り返すこと、並びに識別された画素グループごとに、画素群から離れたトポロジカル曲線の凸状の境界をたどって、凸状の側面で屈曲が減少している変曲点に達すること、及び凸状の境界を識別することであって、画素群が、較正された画像内の細胞として含まれる、識別すること、を含む。
方法の一実施形態では、方法が、方法を実行するための命令を有するメモリを含むデジタルコンピュータによって実行される。
方法の一実施形態では、較正画像が、幅広い自己蛍光波長を有する非染色細胞の試料をイメージングシステムに提供することと、試料に照明源を照明することと、試料を、幅広い蛍光波長の全て、及び幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすることと、を含む方法によって形成される。
方法の一実施形態では、イメージングシステムの最小光子収集時間が、ダイナミックレンジ内の各波長に対して別々に設定されており、最小光子収集時間が、完全なダイナミックレンジ内の全ての値の検出に対して十分である。
方法の一実施形態では、ダイナミックレンジが、全ての波長イメージングシステム画像を含む。
一実施形態では、方法が、試料画像を取得する前に、イメージングシステム上で色収差のための較正を実行することを更に含み、較正が、細胞の試料を照明源で照明すること、第1の位置においてイメージングシステムから細胞の試料の第1の画像を取得すること、イメージングシステムを、細胞の試料に対して第2の異なる位置に移動させること、細胞の試料の第2の画像を取得すること、並びに試料画像を生成する際に、第1の画像が第2の画像と比較して最適化される場合、イメージングシステムを第1の位置に位置決めすること、及びそうではない場合、イメージングシステムを配置すること、を含む。
方法の一実施形態では、イメージングシステムが、フルオロフォアに基づくフィルタセットを備えたデジタルグレースケールカメラを備える。
方法の一実施形態では、イメージングシステムが、ハイダイナミックレンジイメージング(HDRI)カメラを備える。
方法の一実施形態では、イメージングシステムが、露光融合によってハイダイナミックレンジ(HDR)を生成して、改善されたコントラストを提供する。
方法の一実施形態では、較正された画像が、ニューラルネットワークを訓練するために使用される。
図1は、蛍光顕微鏡によって生成された画像中の単一細胞及び他のオブジェクトの、自動化された、教師なしの、パラメータフリーであるセグメンテーションのための方法の一実施形態のフローチャートを提供する。この方法は、典型的には、メモリに記憶された適切なソフトウェアを実行するコンピュータ又はプロセッサによってデジタル画像上で実行されることとなる。しかしながら、代替の実施形態では、方法は、回路などであるがこれに限定されない電気機械ハードウェアを通じて実装されてもよい。システム及び方法は、典型的には、電荷結合デバイス(CCD)又は相補型金属酸化膜半導体(CMOS)のようなデジタル画像センサを備えた自動顕微鏡の動作の一部として、又はそれとともに提供されることとなる。そのようなソフトウェア又はそのように設計されたハードウェアと組み合わせたコンピュータは、本発明のシステムの一実施形態を含み、細胞又は他の生体組織解析の他の要素と連動したそのような要素も同様である。
本開示全体を通して、「コンピュータ」という用語は、一般に、デジタルコンピューティング技術、特に、マイクロプロセッサに関連するコンピューティング機能によって提供される機能性を実装するハードウェアを説明する。「コンピュータ」という用語は、任意の特定の種類のコンピューティングデバイスに限定されるものではないが、処理デバイス、マイクロプロセッサ、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ワークステーション、端末、サーバ、クライアント、ポータブルコンピュータ、ハンドヘルドコンピュータ、スマートフォン、タブレットコンピュータ、モバイルデバイス、サーバファーム、ハードウェア機器、ミニコンピュータ、メインフレームコンピュータ、ビデオゲームコンソール、ハンドヘルドビデオゲーム製品、並びにアイウェア、リストウェア、ペンダント、及びクリップオンデバイスを含むがこれらに限定されないウェアラブルコンピューティングデバイスを含むが、これらに限定されない、全てのコンピュータによるデバイスを含むことが意図されている。
本明細書で使用される場合、「コンピュータ」は、特定の役割のコンピュータに特有のハードウェア及びアクセサリを装備する単一のコンピュータデバイスによって提供される機能性の抽象的概念である必要がある。限定ではなく例として、ラップトップコンピュータに関しての「コンピュータ」という用語は、マウス又はトラックパッドなどのポインタベースの入力デバイスによって提供される機能性を含むことが当業者によって理解されるであろうが、エンタープライズクラスのサーバに関して使用される「コンピュータ」という用語は、RAIDドライブ及びデュアル電源などの冗長システムによって提供される機能性を含むことが当業者によって理解されるであろう。
単一のコンピュータの機能性がいくつかの個々の機械にわたって分散されてもよいことは、当業者にも周知である。この分散は、特定の機械が特定のタスクを実行する場合のように機能的であってもよく、又は、各機械が、任意の他の機械のほとんど若しくは全ての機能を実行することができ、ある時点でその利用可能なリソースに基づいてタスクを割り当てられる場合のようにバランスが取れていてもよい。したがって、本明細書で使用される場合、「コンピュータ」という用語は、単一の、スタンドアロンの、自己完結型のデバイス、又はネットワークサーバファーム、「クラウド」コンピューティングシステム、サービスとしてのソフトウェア、若しくは他の分散型若しくは協働型コンピュータネットワークを含むがこれらに限定されない、ともに若しくは独立して稼働する複数の機械を指し得る。
当業者はまた、従来「コンピュータ」として考えられていないいくつかのデバイスが、それにもかかわらず、ある特定の文脈において「コンピュータ」の特徴を示すことを理解する。そのようなデバイスが、本明細書に記載の「コンピュータ」の機能を実行している場合、「コンピュータ」という用語は、その程度までのそのようなデバイスを含む。この種類のデバイスには、ネットワークハードウェア、プリントサーバ、ファイルサーバ、NAS及びSAN、ロードバランサ、並びに従来の「コンピュータ」に関する本明細書に記載のシステム及び方法と対話することができる任意の他のハードウェアが含まれるが、これらに限定されない。
本開示全体を通して、「ソフトウェア」という用語は、コードオブジェクト、プログラムロジック、コマンド構造、データ構造及び定義、ソースコード、実行可能かつ/若しくはバイナリファイル、機械コード、オブジェクトコード、コンパイルされたライブラリ、実装、アルゴリズム、ライブラリ、又はコンピュータプロセッサによって実行可能な、若しくは仮想プロセッサを含むがこれらに限定されないコンピュータプロセッサによるか、若しくは実行タイム環境、仮想機械、及び/若しくはインタプリタの使用によって実行可能な形式に変換可能な、任意の命令若しくは命令のセットを指す。当業者は、ソフトウェアがマイクロチップに限定されないものを含むハードウェアに配線又は埋め込まれてもよく、依然として本開示の意味の範囲内の「ソフトウェア」とみなされてもよいことを認識している。本開示の目的に対して、ソフトウェアは、RAM、ROM、フラッシュメモリBIOS、CMOS、マザー及びドーターボード回路、ハードウェアコントローラ、USBコントローラ又はホスト、周辺デバイス及びコントローラ、ビデオカード、オーディオコントローラ、ネットワークカード、Bluetooth(登録商標)及び他の無線通信デバイス、仮想メモリ、記憶デバイス及び関連コントローラ、ファームウェア、並びにデバイスドライバに記憶又は記憶可能な命令を含むが、これらに限定されない。本明細書に記載のシステム及び方法は、典型的には、コンピュータ若しくは機械可読記憶媒体又はメモリに記憶されたコンピュータ及びコンピュータソフトウェアを使用することが企図されている。
本開示全体を通して、「媒体」、「記憶媒体」、及び「メモリ」などの用語を含むが、これらに限定されない、媒体保持ソフトウェアを説明又は参照するために本明細書で使用される用語は、信号及び搬送波などの一過性媒体を含み得るか、又は除外し得る。
本開示全体を通して、「リアルタイム」という用語は、一般に、特定の動作コンテキストに対する時間の経過の通常のユーザの知覚における参照イベントと事実上一般的に同時に発生した動作期限内の、ソフトウェア性能及び/又は応答時間を指す。当業者は、「リアルタイム」が必ずしもシステムが即座に又は瞬時に実行又は応答することを意味しないことを理解する。例えば、当業者は、動作コンテキストがグラフィカルユーザインタフェースである場合、「リアルタイム」は通常、ミリ秒又はマイクロ秒が好ましい、システムからの少なくとも何らかの応答様式のための実際の時間である約1秒の応答時間を意味することを理解する。しかしながら、当業者はまた、他の動作コンテキストの下で、「リアルタイム」で動作するシステムが、複数のデバイス及び/若しくは特定のデバイス上若しくはデバイス間における追加の処理、又はデバイス間でのデータ交換のための複数のポイントツーポイントのラウンドトリップを含み得るネットワーク動作が関与している場合など、1秒よりも長い遅延を示す場合があることを理解する。当業者は、人間又は複数の人間による「リアルタイム」な実行と比較した、コンピュータシステムによる「リアルタイム」な実行の区別を更に理解するであろう。ある特定の方法又は機能をリアルタイムで実行することは、人間には不可能であり得るが、コンピュータには可能であり得る。人間又は複数の人間が最終的にコンピュータ化されたシステムと同じ又は類似の出力を作成し得る場合でも、必要な時間は、出力の消費者が出力を待つ時間よりも長いため、出力を無価値又は無意味なものにすることとなり、又は計算の数及び/若しくは複雑さのため、出力の商業的価値は、それを作成するコストの分だけ上回ることとなる。
米国特許出願第15/708,221号はまた、本明細書の考察に関連しており、これらの定義は、本明細書で使用されるこれらの用語の定義として参照により具体的に組み込まれる。
本画像解析は、典型的には、解析結果が研究及び診断、又は臨床の両方の場面で容易に使用可能になるように、かつ画像解析を介して示される疾患の治療の選択のために、コンピュータによってリアルタイムで実行される。更に、プロセスは典型的には自動化され、それによって、画像解析は、最小限の人間の介入又は人間の介入なしのいずれかで実行することができる。具体的には、画像解析は、典型的には、画像を取得する行為及び/又は画像内の細胞のセグメンテーションのための画像を評価する行為を実行するコンピュータによって、人間が解析を支援する必要なしで実行される。ほとんどの場合、自動化システムは、セグメンテーションされた画像を利用して、人間のユーザに対象の細胞の更なる評価を提供することができる他の自動化システムと更に組み合わせられることとなるが、これは決して必須ではない。
本システム及び方法は、一実施形態では、細胞セグメンテーションの本質において(画像処理ステップのための改善された入力データを提供するための)画像収集のプロセス及び画像処理の両方を改善するためのシステム及び方法を組み合わせる。しかしながら、当業者は、本明細書で論じられる画像収集が、伝統的な画像処理システム及び方法に改善された画像を提供するために使用され得、かつ代替の実施形態では、伝統的な画像収集システムが、データを本画像処理システムに提供するために使用され得ることを認識するであろう。
本明細書で論じられる画像処理要素は、典型的には、細胞セグメンテーションに関連する入力データの高い不均一性を扱うように設計されている。試料内の不均一性は、例えば、基礎となる細胞(例えば、脳、肝臓、脾臓)の異なる試料源、試料の品質、染色の品質、又は他の要因によって引き起こされ得る。他の実施形態では、本明細書のシステム及び方法は、高い又は低い不均一性を有し得る細胞以外のものを対象とした画像を評価するために使用することができる。例えば、本明細書で論じられる画像収集のためのシステムは、ほぼ全ての蛍光ベースの画像に対する信号対ノイズ比を改善するために使用され得る。更に、画像のセグメンテーションは、個々の生体細胞の検出を提供する必要はないが、セグメンテーションが有用であると判定された画像の他のサブ構成要素を検出するために使用されてもよい。しかしながら、考察を容易にするために、本開示は、細胞(具体的には生体細胞)のイメージング及び個々の細胞を検出するためのそれらの画像のセグメンテーションを例示的な実施形態として利用する。
図1に示すように、システムの方法及び動作は、典型的には最初に、固体基板上に典型的には固定化されることとなる細胞の試料を取得すること(101)を含む。これは、当業者に既知の任意の方法によって実行されてもよく、かかる既知の全ての方法が参照により本明細書に組み込まれる。その開示全体が参照により本明細書に組み込まれる、米国特許出願第15/708,221号及び第13/126,116号は、そのような固定化及び試料調製がどのように行われ得るかの実施形態の例を提供する。
試料が取得されると(101)、試料は画像収集システムに露光される(103)。画像収集システムは、典型的にはデジタルグレースケールカメラとなり、カメラは典型的には、イメージングに使用されるフルオロフォアに基づいて選択されるフィルタセットを備えることとなる。カメラは典型的には、ハイダイナミックレンジイメージング(HDRI)カメラ、又は露光融合によってHDRを生成して、改善されたコントラストを提供するようにカメラを制御する、ソフトウェアアルゴリズムの形態となる。本明細書で論じられるシステム及び方法は、HDRIが、選択されたカメラ並びに利用されているシステム及び方法の特定の実施形態に応じて、複数の露光を用いて、又は単一の露光が提供されるカメラを利用することができる。
画像収集システムは、まず、典型的には2つの較正アクション(201)及び(203)で較正され得る(105)。しかしながら、較正(105)は、必ずしも、画像収集(107)中に又は画像収集(107)と同一の広がりにおいて実行される必要はない。代替的に、較正(105)は、システムのセットアップ又はメンテナンス中、イメージングを開始する前の各々の日、又は必要なときに実行することができる。したがって、決定(104)は、システムを較正(105)するか、又は画像収集(107)に直接進むようにされてもよい。更に、較正(105)は、システムが典型的には要素(203)の後で動作を停止し得るシナリオである後続の画像収集(107)なしに実行されてもよい。
第1の較正(201)では、画像収集システムは、染色された試料に対して実際のイメージングを行う際に使用されることとなる任意の光源を利用して、非染色細胞の自己蛍光、及び任意の固有の背景信号に対して較正される。一実施形態では、最小光子収集時間は、自己蛍光+蛍光標識されたディテクタの完全なダイナミックレンジ内の各波長に対して、別々に設定されて、全ての値の検出に対する十分な信号を提供する。別の言い方をすれば、イメージングのダイナミックレンジを選択して、それが、カメラによって検出可能な任意の波長、及び染色のために選択されたフルオロフォアのための特定の波長で検出された、任意の自己蛍光又は背景信号を含むことを保証することができる。
この種類の第1の較正(201)は、一般に、画像収集システムが検出可能であり、かつ存在し得る異なる波長に関して、画像収集システムの感度の差を補償するために使用される。第1の較正は、典型的には、電流測定に基づいて、何が本試料の背景であり、何が自己蛍光であるかを判定することを可能にし、したがって、これによって、信号が対象であるか、それともノイズであるかを判定するための信号サイズへの依存を低減することができる。
例として、図2は、画像収集システムで使用され得る一般的なCCDチップの感度曲線(401)を提供している。図2のチップにおいて、より低い波長及びより高い波長では、より長い露光時間が用いられて、画像収集システムのダイナミックレンジの下限が、用いられた収集波長ごとに、カメラのダイナミックレンジ内の試料内に存在する任意の細胞の自己蛍光を捕捉することができることを保証し得る。システム又は方法の任意の特定のイメージング実行は、カメラの利用可能な範囲のいずれか又は全てを利用し得ることを認識すべきである。この第1の較正(201)は、典型的には、ダイナミックレンジと呼ばれるこの特定の試料の収集実行において使用される全ての波長(又は感度及び時間的制約に応じて選択された波長のサブグループ)で実行されることとなる。
第2の較正(203)では、画像収集システムを色収差に対して較正する。色収差(通常「レインボー効果」と呼ばれる)は、光子及びレンズの波長並びに/又はチップ設計に依存して、検体上の単一の位置からカメラ上の異なる場所への光子の投影をもたらす。補償されない場合、異なる波長間のx軸、y軸、及びz軸オフセットは、画像のぼけ又はオフセットにつながり、したがって、セグメンテーションプロセスのための入力データの品質を低下させる。第2の較正(203)は、典型的には、第1のラウンドで較正されていない画像を撮影することによって実行される。これらの画像は、実施形態に応じて、染色された試料又は染色されていない試料から撮影されてもよい。第2のラウンド及びその後のラウンドでは、イメージャのx、y、及びzの位置が変更され、試料が一定になる。位置移動は、典型的には、異なる波長に使用される単一のフィルタセット間の最適なx、y、及びzオフセットを見つけるための、段階的又は同様に繰り返し可能な方法である。この較正は、実際のイメージング実行中に用いられることとなる。
図3A及び図3Bは、第2の較正(203)がどのように画像品質を改善することができるかの一例を示している。図3Aは、第2の較正で企図されるように画像収集システムが較正された(染色強度を高さとした)トポロジカル表現(601)におけるピークとして、2つの隣接する細胞(501)及び(503)を示している。図3Bは、第2の較正が行われていない同じ2つの隣接する細胞(501)及び(503)を示しており、オフセットイメージングによるぼけを示している。明らかなように、ぼけは、2つの異なる細胞を差別化することをより困難にする。
第2の較正(203)が完了した後、画像収集システムは、典型的には、較正されて、画像収集(107)を開始する準備ができているとみなされることとなる。画像収集(107)は、典型的には、少なくとも2つの、場合によってはより多くの収集パスを含み、次いで、自己蛍光及び背景信号からアーチファクトを除去するための画像の補正(109)を含む。第1の収集パス(301)は、一般に、染色の前に試料上で行われることとなる。
第1の収集パス(301)は、典型的には、イメージングされた全ての波長における自己蛍光の完全なダイナミックレンジをカバーするダイナミックレンジにおいて、したがって、このイメージングのために選択されたカメラのダイナミックレンジ全体を通して実行されることとなる。明らかなように、このダイナミックレンジは、一般には、第1の較正(201)が実行されたダイナミックレンジに対応することとなる。第1の画像収集(301)はまた、典型的には、後の収集と併せて使用される同じ入力光又は光を用いて実行されることとなる。
この第1のパス(301)が完了した後、試料は、フルオロフォア(典型的には、結合剤部分及び蛍光色素部分を有する検出コンジュゲートの形態である)に露光され、所望に応じて染色されることとなる。第2のパス(303)は、本質的に、たった今染色された試料上で第1の画像収集パスのステップを繰り返すことを伴うこととなる。収集は、典型的には、蛍光標識されたディテクタ(例えば、抗体、アプタマー)によって明らかにされる自己蛍光+バイオマーカ発現の完全なダイナミックレンジをカバーするダイナミックレンジにわたって実行されることとなる。簡略化のために、第1の画像収集パス(301)及び第2の画像収集パス(303)の両方のダイナミックレンジは同じであってもよいが、第1の画像収集パス(301)は、自己蛍光のみを求めているため、より小さいダイナミックレンジを利用してもよいことを認識されたい。
図4A及び図4Bは、図4Aのローダイナミックレンジカメラ及び図4BのHDRIカメラで撮影されたセグメンテーション困難なエリアの例を示している。図4A及び図4Bの画像から生成されたヒストグラムが、図5A及び図5Bに示されており、それによって、標準的な8bitのダイナミックレンジを有する標準的な顕微鏡カメラが、約200のダイナミックレンジの値のみをキャプチャすることができるのに対して、図4BのHDRI画像のみが、試料によって発せられた蛍光の完全なダイナミックレンジをカバーすることができることを明らかにしている。図4Aのこのダイナミックレンジの欠如は、アーチファクトの生成、及び画像内の細胞をセグメンテーションする能力を低下させる、鮮明さに欠ける画像をもたらす。
第2の画像収集(303)が完了した後、第1のパス画像(301)は、典型的には、補正(109)において第2の(及び任意の他の後続の)パス画像(303)から減算されることとなる。これを行うための方法論は、上記で参照した米国特許出願第15/708,221号で論じられており、参照により本明細書に組み込まれる。減算は、画像内に現れる光学系の照明アーチファクトを排除するのに役立ち、また、染色自体によって生成された信号を分かりにくくする自己蛍光信号を低減する。図6Aは、補正(109)の前に核を染色した肝臓切片を示しており、図6Bは、補正(109)が実行された同切片を示している。
補正(109)が完了した後、画像は、典型的には、単一のオブジェクト又は細胞のセグメンテーションのために最適化されたとみなされる。セグメンテーション(111)は、当業者に既知の任意のシステム又は方法を使用して実行され得る。しかしながら、オブジェクト形状、試料、及び染色の品質の非常に高い可変性により、オブジェクト認識の高い感度及び特異性を確保するために、堅牢なアルゴリズム又は機械学習アプローチが典型的に好まれることとなる。図7は、形状の可変性及び染色強度に起因する、特にセグメンテーションが困難な画像を示す。
一実施形態では、較正及び最適化されたハイダイナミックレンジ入力画像データが、補正(109)までを含んで図1で論じられたシステム及び方法を利用して、多種多様なソースから取得され得る。これらの画像は次いで、単一のオブジェクト及びオブジェクトの境界を当業者に既知の方法で認識するために、教師あり学習及び逆伝播を伴うニューラルネットワーク(又は同様の処理システム)を訓練するために使用され得る。そのような高品質の画像の生成は、アーチファクト及びソース間の差異の排除を支援するため、提供される画像は、幅広いダイナミックレンジ及び蛍光特性を有する不均一なソースからのものであってもよい。あるいは、ニューラルネットワーク(又は同様のもの)は、それが所望される場合、より均質なソース(例えば、1つの種類の細胞のみ)からの画像を提供されてもよい。次いで、このニューラルネットワークは、一実施形態では、セグメンテーション(111)を実行するために使用されてもよい。
図7及び図8の実施形態では、セグメンテーション(111)は、本明細書では循環シード検出又は「落下水位(falling water level)」解析と呼ばれる形式の逆ウォーターシェッド変換を使用して画像上で実行される。伝統的なウォーターシェッド変換と併せてのシード検出は、例えば、米国特許第8,995,740号に論じられており、その開示全体が参照により本明細書に組み込まれる。
本明細書で使用される循環シード検出システム及び方法では、蛍光の強度が各画素の「高さ」を示すために使用され、したがって、トポロジー内のピークが、典型的には、関連する細胞(例えば、細胞核)の標的要素を示す、ウォーターシェッド変換と同様に、トポロジー解析が実施される。これは、上記の図3A及び図3Bにも企図されている通りである。しかしながら、ウォーターシェッド変換は、「環礁」又は「噴火した火山」のようなオブジェクト(図8のシード(811)のようなオブジェクトであり得る)にとって誤差を生じやすい。これらのようなオブジェクトは、例えば、染色の品質又は自己消失によって生成され得る。実際、伝統的なウォーターシェッド変換には、完璧な「火山」の形状が機能する必要がある。
本明細書で企図されるような逆ウォーターシェッド変換は、トポロジーを水で浸水させる伝統的なウォーターシェッド変換の代わりに、ゆっくりと水を除去する働きをする。図8は、画像の一部からの例示的な2Dトポロジカル曲線を提供して、循環シード検出又は逆ウォーターシェッド変換のプロセスの動作を例示している。まず、「高水位」である第1の強度(801)が選択される。この強度(801)を上回ると識別される任意の画素グループは、シード(811)として提供され、個々の細胞に属すると識別されることとなる。図9は、画像内のシード(711)の一例を提供している。
図8に戻り、次いで、第2のより低い強度(803)が選択され、このより低い強度(803)の新しい「水位」(803)を「上回る」たった今上昇した追加のシード(813)を識別するために、プロセスが繰り返される。この強度の低下及び新たなシードの検索は、典型的には、一貫した段階的な様式で選択された新しいより低いレベルで繰り返されることとなる。図8の実施形態では、2つの追加のレベル(805)及び(807)が選択され、各々が新しいシード(815)及び(817)を示している。図8はまた、より伝統的なウォーターシェッド変換の初期読み取りに対応し得るレベル(809)を示している。このレベルは、3つのシード(811)、(813)、及び(815)の代わりに、単一のシード(819)を生成し得る。
これらのシード(811)、(813)、(815)、及び(817)の各々から、その境界を検出する必要がある関連付けられた細胞が存在すると推定される。したがって、シードは、シード(811)、(813)、(815)、及び(817)に属する細胞の広がりを判定するためのソースとして使用され得る。これは、典型的には、シード(811)、(813)、(815)、及び(817)から離れたトポロジカル曲線の凸状の境界をたどって、凸状の側面で屈曲が減少している屈曲点を探すことによって、「島」の外縁を見つけようとすることによって行われる。図8では、これにより、画像の左側の部分が4つの標的細胞にセグメンテーションされる結果となる。
本発明は、ある特定の実施形態に関連して開示されているが、これは、提供される詳細の全てに限定されるものとみなされるべきではない。記載されている実施形態の修正及び変形は、本発明の趣旨及び範囲から逸脱することなく行われ得、他の実施形態は、当業者によって理解され得るように、本開示に包含されると理解されるべきである。
更に、本開示の任意の単一の構成要素に対して与えられた範囲、値、特性、又は特徴のうちのいずれかは、本明細書全体を通して与えられたように、適合性がある場合、本開示の他の構成要素のうちのいずれかに対して与えられた任意の範囲、値、特性、又は特徴と互換的に使用されて、構成要素の各々に対して定義された値を有する一実施形態を形成してもよいことが理解されよう。更に、属又はカテゴリに提供される範囲は、別段の定めがない限り、属内の種又はカテゴリのメンバーにも適用され得る。
最後に、「一般的に」という修飾語及び本件で使用されている同様の修飾語は、当業者によって、デバイスを修飾された用語に適合させるための認識可能な試みに適応し、それにもかかわらず適合しない場合があると理解され得る。これは、「円形」などの用語は純粋に幾何学的な構成概念であり、現実の構成要素は幾何学的な意味における真の「円」ではないからである。幾何学的及び数学的記述からの変動は、とりわけ、形状変動、欠陥及び不完全性、不均一な熱膨張、及び自然摩耗をもたらす製造公差のために避けられない。更に、オブジェクトごとに、物質の本質に起因して幾何学的及び数学的記述子が失敗するレベルの拡大が存在する。したがって、当業者は、「一般的に」という用語及び本明細書で企図されている関係が、そのような修飾語の包含にかかわらず、これら及び他の考慮事項を考慮して、用語の文字通りの幾何学的意味からの様々な変動を含むことを理解するであろう。
Claims (19)
- 細胞イメージングのためのイメージングシステムを較正するための方法であって、前記方法が、
幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞をイメージングするためのイメージングシステムを提供することと、
自己蛍光のための較正を実行することであって、
幅広い自己蛍光波長を有する非染色細胞の試料を前記イメージングシステムに提供すること、
前記試料に照明源を照明すること、
前記試料を、前記幅広い蛍光波長の全て、及び前記幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすること、を含む、実行することと、
色収差のための較正を実行することであって、
前記イメージングシステムに細胞の試料を提供すること、
前記試料に照明源を照明すること、
前記細胞の試料の第1の画像を取得すること、
前記細胞の試料に対する前記イメージングシステムの位置を改めること、及び
前記細胞の試料の新たな画像を取得すること、を含む、実行することと、を含む、方法。 - 前記イメージングシステムの最小光子収集時間が、前記ダイナミックレンジ内の各波長に対して別々に設定されており、
前記最小光子収集時間が、前記完全なダイナミックレンジ内の全ての値の検出に対して十分である、請求項1に記載の方法。 - 前記ダイナミックレンジが、全ての波長前記イメージングシステム画像を含む、請求項1に記載の方法。
- 前記イメージングシステムが、デジタルグレースケールカメラを備える、請求項1に記載の方法。
- 前記カメラが、前記フルオロフォアに基づくフィルタセットを備える、請求項4に記載の方法。
- 前記カメラが、ハイダイナミックレンジイメージング(HDRI)カメラである、請求項4に記載の方法。
- 前記カメラが、露光融合によってハイダイナミックレンジ(HDR)を生成して、改善されたコントラストを提供する、請求項4に記載の方法。
- 前記フルオロフォアでタグ付けされた前記細胞が、前記非染色細胞とは異なる種類の細胞である、請求項1に記載の方法。
- 前記細胞の試料が、前記非染色細胞の試料とは異なる種類の細胞である、請求項1に記載の方法。
- 前記細胞の試料が、前記非染色細胞の試料である、請求項1に記載の方法。
- 細胞画像を解析するための方法であって、前記方法が、
幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞の試料を提供すること、
前記試料に照明源を照明すること、
前記幅広い蛍光波長にわたって前記照明された試料をイメージングして、試料画像を作成すること、
前記試料画像から較正画像を減算して、較正された画像を作成すること、
前記画像をトポロジカル曲線として表すことであって、各曲線画素における前記曲線の高さが、前記較正された画像内の画像画素における蛍光の強度を表す、表すこと、
前記トポロジカル曲線を、選択された高さを上回る高さを有する画素グループがあるか検索すること、
前記選択された高さよりも低い新たな高さを選ぶこと、
前記選択された高さとして前記新たな高さを使用して前記検索することを繰り返すこと、並びに
識別された画素グループごとに、
前記画素群から離れた前記トポロジカル曲線の凸状の境界をたどって、凸状の側面で屈曲が減少している変曲点に達すること、及び
前記凸状の境界を識別することであって、前記画素群が、前記較正された画像内の細胞として含まれる、識別すること、を含む、方法。 - 前記較正画像が、
幅広い自己蛍光波長を有する非染色細胞の試料を前記イメージングシステムに提供することと、
前記試料に照明源を照明することと、
前記試料を、前記幅広い蛍光波長の全て、及び前記幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすることと、を含む方法によって形成される、請求項11に記載の方法。 - 前記イメージングシステムの最小光子収集時間が、前記ダイナミックレンジ内の各波長に対して別々に設定されており、
前記最小光子収集時間が、前記完全なダイナミックレンジ内の全ての値の検出に対して十分である、請求項12に記載の方法。 - 前記ダイナミックレンジが、全ての波長前記イメージングシステム画像を含む、請求項12に記載の方法。
- 前記試料画像を取得する前に、前記イメージングシステム上で色収差のための較正を実行することを更に含み、前記較正が、
前記細胞の試料を照明源で照明すること、
第1の位置において前記イメージングシステムから前記細胞の試料の第1の画像を取得すること、
前記イメージングシステムを、前記細胞の試料に対して第2の異なる位置に移動させること、
前記細胞の試料の第2の画像を取得すること、並びに
前記試料画像を生成する際に、
前記第1の画像が前記第2の画像と比較して最適化される場合、前記イメージングシステムを前記第1の位置に位置決めすること、及び
そうではない場合、前記イメージングシステムを配置すること、を含む、請求項11に記載の方法。 - 前記イメージングシステムが、前記フルオロフォアに基づくフィルタセットを備えたデジタルグレースケールカメラを備える、請求項11に記載の方法。
- 前記イメージングシステムが、ハイダイナミックレンジイメージング(HDRI)カメラを備える、請求項11に記載の方法。
- 前記イメージングシステムが、露光融合によってハイダイナミックレンジ(HDR)を生成して、改善されたコントラストを提供する、請求項11に記載の方法。
- 前記較正された画像が、ニューラルネットワークを訓練するために使用される、請求項11に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062985539P | 2020-03-05 | 2020-03-05 | |
US62/985,539 | 2020-03-05 | ||
PCT/US2021/021197 WO2021178883A1 (en) | 2020-03-05 | 2021-03-05 | Automated fluorescence imaging and single cell segmentation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023516091A true JP2023516091A (ja) | 2023-04-17 |
Family
ID=77556086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022553083A Pending JP2023516091A (ja) | 2020-03-05 | 2021-03-05 | 自動蛍光イメージング及び単一細胞セグメンテーション |
Country Status (8)
Country | Link |
---|---|
US (2) | US11825069B2 (ja) |
EP (1) | EP4115168A4 (ja) |
JP (1) | JP2023516091A (ja) |
KR (1) | KR20220156564A (ja) |
CN (1) | CN115836212A (ja) |
AU (1) | AU2021232064A1 (ja) |
CA (1) | CA3170385A1 (ja) |
WO (1) | WO2021178883A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116645390B (zh) * | 2023-07-27 | 2023-10-03 | 吉林省星博医疗器械有限公司 | 一种荧光图像细胞快速分割方法和系统 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006003154A (ja) | 2004-06-16 | 2006-01-05 | Olympus Corp | 試料解析装置 |
DE102008053270A1 (de) | 2008-10-27 | 2010-05-12 | Medizinische Hochschule Hannover | Vorrichtung und Verfahren zur Analyse von Zellen |
DE102008062372B3 (de) | 2008-12-17 | 2010-06-17 | Medizinische Hochschule Hannover | Nachweiskonjugat und Verfahren zur Analyse |
US8907312B2 (en) | 2010-08-20 | 2014-12-09 | Bio-Rad Laboratories, Inc. | Cytometry system with solid numerical-aperture-increasing lens |
US20130203082A1 (en) * | 2010-09-02 | 2013-08-08 | Tohoku University | Method for determining cancer onset or cancer onset risk |
CA2865922A1 (en) * | 2012-03-02 | 2013-09-06 | Huron Technologies International Inc. | Scanner with increased dynamic range |
WO2014138197A1 (en) * | 2013-03-06 | 2014-09-12 | General Electric Company | Methods of analyzing an h&e stained biological sample |
US8995740B2 (en) | 2013-04-17 | 2015-03-31 | General Electric Company | System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue |
WO2015157246A2 (en) * | 2014-04-07 | 2015-10-15 | Massachusetts Institute Of Technology | Use of microparticle additives to simultaneously enable artifact-free image registration, auto-focusing, and chromatic aberration correction in microscopy |
US20160178490A1 (en) | 2014-12-22 | 2016-06-23 | Saint-Gobain Performance Plastics Corporation | Capture system of cells and methods |
US20220387127A1 (en) * | 2015-11-05 | 2022-12-08 | Inscopix, Inc. | Systems and methods for optogenetic imaging using semi-kinematic coupling |
ES2822929T3 (es) | 2016-09-19 | 2021-05-05 | Canopy Biosciences Llc | Método de determinación de la presencia y/o cantidad de moléculas diana |
WO2018140298A1 (en) * | 2017-01-27 | 2018-08-02 | Albert Einstein College Of Medicine, Inc. | Co-localization at molecular resolution of multiple fluorescence channels acquired using optical microscopy |
US10466158B2 (en) * | 2017-04-11 | 2019-11-05 | Sony Corporation | Microparticle sorting apparatus and delay time determination method |
US10699163B1 (en) * | 2017-08-18 | 2020-06-30 | Massachusetts Institute Of Technology | Methods and apparatus for classification |
US11307142B2 (en) * | 2018-05-03 | 2022-04-19 | Akoya Biosciences, Inc. | Multispectral sample imaging |
-
2021
- 2021-03-05 KR KR1020227034503A patent/KR20220156564A/ko unknown
- 2021-03-05 JP JP2022553083A patent/JP2023516091A/ja active Pending
- 2021-03-05 EP EP21764120.8A patent/EP4115168A4/en active Pending
- 2021-03-05 CA CA3170385A patent/CA3170385A1/en active Pending
- 2021-03-05 WO PCT/US2021/021197 patent/WO2021178883A1/en unknown
- 2021-03-05 CN CN202180023041.0A patent/CN115836212A/zh active Pending
- 2021-03-05 AU AU2021232064A patent/AU2021232064A1/en active Pending
- 2021-03-05 US US17/193,988 patent/US11825069B2/en active Active
-
2023
- 2023-10-18 US US18/489,435 patent/US12095980B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20240048685A1 (en) | 2024-02-08 |
US20210281806A1 (en) | 2021-09-09 |
AU2021232064A1 (en) | 2022-09-29 |
US12095980B2 (en) | 2024-09-17 |
KR20220156564A (ko) | 2022-11-25 |
EP4115168A1 (en) | 2023-01-11 |
CA3170385A1 (en) | 2021-09-10 |
EP4115168A4 (en) | 2024-08-21 |
WO2021178883A1 (en) | 2021-09-10 |
CN115836212A (zh) | 2023-03-21 |
US11825069B2 (en) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7047059B2 (ja) | 画像処理のための自動アッセイ評価および正規化 | |
US11262571B2 (en) | Determining a staining-quality parameter of a blood sample | |
US20210295507A1 (en) | Image enhancement to enable improved nuclei detection and segmentation | |
CN107209934B (zh) | 用于定量分析异质生物标志物分布的方法、系统和装置 | |
CA2604317C (en) | Methods and system for validating sample images for quantitative immunoassays | |
EP3839812A2 (en) | Systems and methods for generating regions in an image encompassing tumor cells | |
JP2021506003A (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
US10388014B2 (en) | Vessel analysis in multiplexed images | |
JP2005525550A (ja) | 細胞の迅速自動化スクリーニングシステム及び方法 | |
JP7467205B2 (ja) | バイオマーカを光学的に検出するための方法 | |
US11620751B2 (en) | Image analysis algorithms using control slides | |
JP7011035B2 (ja) | 染色された標本画像内で細胞を検出するための自動化された方法およびシステム | |
US12095980B2 (en) | Automated fluorescence imaging and single cell segmentation | |
EP2646976A1 (en) | Methods for scaling images to differing exposure times | |
Höfener et al. | Automated density-based counting of FISH amplification signals for HER2 status assessment | |
JP7011067B2 (ja) | 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法 | |
Niederlein et al. | Image analysis in high content screening | |
Ahmed et al. | State of the art in information extraction and quantitative analysis for multimodality biomolecular imaging | |
Bell et al. | Imaging and Image Processing for Early Cancer Diagnosis on Cytopathological Microscopy Images towards Fully Automatic AgNOR Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240213 |