JP2023549020A - 細胞を分類する方法 - Google Patents

細胞を分類する方法 Download PDF

Info

Publication number
JP2023549020A
JP2023549020A JP2023519004A JP2023519004A JP2023549020A JP 2023549020 A JP2023549020 A JP 2023549020A JP 2023519004 A JP2023519004 A JP 2023519004A JP 2023519004 A JP2023519004 A JP 2023519004A JP 2023549020 A JP2023549020 A JP 2023549020A
Authority
JP
Japan
Prior art keywords
cells
image
cell
images
metrics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023519004A
Other languages
English (en)
Inventor
ポルト,ダニエル
ジャクソン,ティモシー
ラベル,ジリアン
ホルツ,ネヴィン
Original Assignee
ザルトリウス バイオアナリティカル インストゥルメンツ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/099,983 external-priority patent/US20210073513A1/en
Application filed by ザルトリウス バイオアナリティカル インストゥルメンツ, インコーポレイテッド filed Critical ザルトリウス バイオアナリティカル インストゥルメンツ, インコーポレイテッド
Publication of JP2023549020A publication Critical patent/JP2023549020A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20156Automatic seed setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

開示は、生物学的標本の顕微鏡画像における細胞を自動的に又は半自動的に分類する実施形態の例を提供する。これらの実施形態は、分類子モデルの開発のために訓練セットを選択する方法を含む。開示の選択実施形態は、標的標本と同一又は同様の培養条件にかけられている訓練例を用いて分類子モデルの再訓練を可能にする。これらの選択実施形態は、訓練例を指定するのに必要な人間の労力量を減らすことができる。開示の実施形態は、位相差画像及び脱焦明視野画像を用いて細胞に対して判定される計量に基づく個別細胞の分類を更に含む。これらの計量は、サイズ、形状、テクスチャ、及び強度ベースの計量を含むことができる。これらの計量を、基本的な画像の分割に基づいて判定する。幾つかの実施形態において、分割は、生物学的標本の位相差画像及び/又は脱焦明視野画像に基づいている。

Description

関連出願の相互参照
[0001] この出願は、参照により本明細書に引用される、2020年11月17日に出願の米国特許出願第17/099,983号への優先権を主張する国際出願である。また、2019年2月1日に出願の米国特許出願第16/265,910号、及び2020年11月17日に出願の米国特許出願第16/950,368号も参照により引用される。
背景
[0002] 生物学的標本における細胞を分割する現在既知の方法は、蛍光標識タンパク質(例えば、マーカー制御分割アルゴリズム用のヒストンのような核局在化タンパク質を閾値化する)を必要とする。代替の無標識技法、例えば、タイコグラフィーベースの方法、横方向シャーリング干渉法及びデジタルホログラフィー、が存在するが、これらの技法は、複雑な画像収集セットアップ、及び長い処理時間を有する複雑な画像形成アルゴリズムを必要とする。別の無標識技法は、画像の膨大なデータセット及び遅い処理時間での広範な訓練を必要とする深層学習アルゴリズム(例えば、畳み込みニューラルネットワーク)を含む。他の方法は、ピンホール開口のような専用ハードウェアを必要とする焦点外状態で明視野画像を使用し、細胞毎分割を許可しない。
[0003] 顕微鏡画像における細胞(例えば、画像内の位置及び範囲が分割によって判定されている細胞)の分類は、標本に存在する細胞の数の増減、及び/又は様々な条件(例えば、分化対未分化)に対応する細胞の割合の点で実験条件の効果を定量化することによる様々な実験条件の効果の評価を含む様々な用途を容易にすることができる。細胞分類を、手動で実行することができるが、このような手動分割は、時間及び労力の点で高価であることがあり、細胞の不正確な分類になることがある。さらに、自動化方法が利用可能であるが、これらの方法は、細胞の自然な生理を妨げることがある蛍光標識タンパク質を必要とすることがあり、又は自動化アルゴリズムを訓練するために訓練例の大量のセットの提供を必要とすることがある。
概要
[0004] 1つの態様において、細胞の分類のための方法の例が開示される。方法は、(i)複数の生物学的標本の画像のセットを取得することであって、画像のセットは、複数の生物学的標本の各標本の少なくとも1つの画像を含むことと、(ii)複数の生物学的標本内の細胞の第1のセットの表示を取得し、複数の生物学的標本内の細胞の第2のセットの表示を取得することであって、細胞の第1のセットを第1の状態に関連付け、細胞の第2のセットを第2の状態に関連付けることと、(iii)画像のセット、細胞の第1のセットの表示、及び細胞の第2のセットの表示に基づいて、計量の第1の複数のセットを判定することであって、計量の第1の複数のセットは、細胞の第1のセットの各細胞に対する計量のセット、及び細胞の第2のセットの各細胞に対する計量のセットを含むことと、(iv)計量の第1の複数のセットに基づいて、教師あり学習アルゴリズムを使用し、モデルを生成し、細胞の第1のセットにおける細胞と細胞の第2のセットにおける細胞を区別し、これによって、訓練モデルを生成することと、(v)画像のセットに基づいて、計量の第2の複数のセットを判定することであって、計量の第2の複数のセットは、標的標本に存在する各細胞に対する計量のセットを含むことと、(vi)標的標本における細胞を分類することであって、細胞を分類することは、訓練モデルを細胞に対する計量のセットに適用することを含むこととを含む。
[0005] 別の態様において、細胞の分類のための方法の例が提供される。方法は、(i)標的標本の3つ以上の画像を取得することであって、標的標本は、標的標本に対する焦点面を中心とする1つ又は複数の細胞を含み、3つ以上の画像は、位相差画像、第1の明視野画像、及び第2の明視野画像を含み、第1の明視野画像は、焦点面を超える第1の脱焦距離で集束される標的標本の画像を表し、第2の明視野画像は、焦点面未満の第2の脱焦距離で集束される標的標本の画像を表すことと、(ii)第1及び第2の明視野画像に基づいて標的標本の細胞画像を判定することと、(iii)細胞画像及び位相差画像に基づいて標的標本に対する標的分割マップを判定することと、(iv)標的標本の2つ以上の画像及び標的分割マップに基づいて、標的標本に存在する各細胞に対する計量のセットを判定することと、(v)標的標本における細胞を分類することであって、細胞を分類することは、細胞の計量のセットを訓練分類子に適用することを含むこととを含む。
[0006] 更に別の態様において、細胞の分類のための方法の例が提供される。方法は、(i)標的標本の2つ以上の画像を取得することであって、標的標本は、標的標本に対する焦点面を中心とする1つ又は複数の細胞を含み、2つ以上の画像は、位相差画像及び1つ又は複数の明視野画像を含み、1つ又は複数の明視野画像は、焦点面で集束されない標的標本の画像を表す少なくとも1つの明視野画像を含むことと、(ii)2つ以上の画像に基づいて、標的標本に存在する各細胞に対する計量のセットを判定することと、(iii)訓練モデルを細胞に対する計量のセットに適用することによって標的標本における細胞を分類することとを含む。
[0007] 別の態様において、計算デバイスの1つ又は複数のプロセッサによって実行される場合、上述の方法のいずれかを実行する制御器動作を計算デバイスに実行させる少なくともコンピュータ可読命令を記憶するように構成されている非一時的コンピュータ可読媒体を提供する。
[0008] 更に別の態様において、生物学的標本を検定するシステムであって、(i)光学顕微鏡と、(ii)1つ又は複数のプロセッサを含む制御器と、(iii)制御器によって実行される場合、上述の方法のいずれかを実行する制御器動作を制御器に実行させる少なくともコンピュータ可読命令を記憶するように構成されている非一時的コンピュータ可読媒体とを含むシステムを提供する。
[0009] 説明されている特徴、機能、及び利点は、様々な例で独立して達成可能であり、又は、下記の説明及び図面を参照して分かる更なる詳細を、更に他の例で組み合わせてもよい。
図面の簡単な説明
[00010] 特許又は出願書類は、色で作成される少なくとも1つの図面を含む。色図面を有するこの特許又は特許出願公報のコピーは、要求及び必要な手数料の支払いあり次第、特許庁によって提供される。
[00011]実装形態の1つの例による、システムの機能ブロック図である。 [00012]実装形態の例による、計算デバイス及びコンピュータネットワークのブロック図を示す。 [00013]実装形態の例による、方法のフローチャートを示す。 [00014]実装形態の例による、生物学的標本の画像を示す。 [00015]実装形態の例による、別の生物学的標本の画像を示す。 [00016]カンプトテシン(CPT、細胞傷害性)処理に続くHT1080線維肉腫アポトーシスの24時間経過後に細胞画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。 [00017]図6Aの実装形態による、赤色(NucLight Red、細胞健全性指示薬、「NucRed」)及び緑色蛍光(カスパーゼ3/7、アポトーシス指示薬)に基づいて分類された細胞サブセットを示す。 [00018]図6Aの実装形態による、生存細胞の消失を示すCPT処理後の赤色集団の減少、初期アポトーシスを示す赤色及び緑色蛍光の増加、及び後期アポトーシスを示す24時間後の緑色蛍光の増加があったことを示す。 [00019]図6Aの実装形態による、初期アポトーシス集団(赤色及び緑色蛍光を示す総細胞の割合)の濃度応答時間経過を示す。 [00020]シクロヘキサアミド(CHX、細胞増殖抑制性)処理に続くHT1080線維肉腫アポトーシスの24時間経過後に細胞画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。 [00021]図6Eの実装形態による、赤色(NucLight Red、細胞健全性指示薬、「NucRed」)及び緑色蛍光(カスパーゼ3/7、アポトーシス指示薬)に基づいて分類された細胞サブセットを示す。 [00022]図6Eの実装形態による、CHX処理後のアポトーシスの欠如、但し細胞数の減少があったことを示す。 [00023]図6Eの実装形態による、初期アポトーシス集団(赤色及び緑色蛍光を示す総細胞の割合)の濃度応答時間経過を示す。 [00024]実装形態の例によって生成される細胞毎分割解析を用いて付着細胞の無標識細胞計数に対する位相差画像上に押し付けられた細胞毎分割マスクを示す。NucLight Red試薬で標識化されたA549細胞の様々な密度を、無標識細胞毎解析及び経時的な無標識計数を確認する赤核計数解析の両方で解析した。 [00025]背景に位相差画像を有しない図7Aによる細胞毎分割マスクを示す。 [00026]図7Aの実装形態による、密度にわたる位相数及びNucRed数データの時間経過を示す。 [00027]図7Aの実装形態による、48時間にわたる数データの相関関係を示し、1の傾きを有する1のR2値を示す。 [00028]実装形態の例による、方法のフローチャートを示す。 [00029]実装形態の例による、方法のフローチャートを示す。 [00030]実装形態の例による、方法のフローチャートを示す。 [00031]顕微鏡画像の例及び分割マップの関連例を示す。 [00032]注釈付き顕微鏡画像の例を示す。 [00033]注釈付き顕微鏡画像の例を示す。 [00034]マルチウェル標本プレートのウェルの略図の例を示す。 [00035]本明細書に記載の方法の実験予測精度を例示する。 [00035]本明細書に記載の方法の実験予測精度を例示する。 [00036]本明細書に記載の方法の実験予測精度を例示する。 [00036]本明細書に記載の方法の実験予測精度を例示する。 [00037]標識ベースの分類と比較した本明細書に記載の方法の実験予測精度を例示する。 [00037]標識ベースの分類と比較した本明細書に記載の方法の実験予測精度を例示する。 [00037]標識ベースの分類と比較した本明細書に記載の方法の実験予測精度を例示する。
[00038] 図面は、説明に役立つ例のためであり、本発明は、図面に示す構成及び手段に限定されないものとする。
詳細な説明
I.概略
[00039] 生物学的標本の顕微鏡撮像は、標本の内容、及び様々な適用実験条件に対する標本応答の多くの解析を容易にすることができる。このような解析は、適用条件の影響を判定するために、細胞を分類した後の細胞の計数を含むことができる。例えば、標本は、分化細胞のセット及び未分化細胞のセットを含むことができ、標本の解析は、例えば、未分化細胞が分化する際の適用条件の有効性を判定するために、分化される細胞の割合を判定することを含むことができる。このような解析を実行するために、標本で各細胞を局在化し、次に、各細胞を分類する必要がある。このような分類処理を、手動で実行することができる。しかし、手動分類は、非常に高価で、時間のかかることがあり、不正解な分類になることがある。
[00040] 本明細書に記載の実施形態は、細胞の位相差画像、明視野画像、位相差画像及び/又は明視野画像の合成物、又は他の顕微鏡画像に基づいて、細胞を自動的に分類する様々な方法を実証した。これらの実施形態の一部は、細胞を分類するためのモデルを訓練するために、1つ又は複数の生物学的標本内の細胞の指定セットを使用することを含む。次に、このような訓練モデルを、追加細胞に適用し、それらの追加細胞を分類することができる。特定の細胞を分類するために、計量のセットを、細胞を表す1つ又は複数の画像に基づいて細胞に対して判定する。このような計量は、細胞のサイズ及び/又は形状に関連する計量を含むことができる。さらに又は代わりに、このような計量は、1つ又は複数の位相差画像、明視野画像、蛍光画像、又は合成画像に示すような細胞のテクスチャ又は強度に関連してもよい。例えば、計量のうち1つ又は複数の計量は、蛍光画像又は幾つかの他の様々な画像(例えば、位相差、明視野)における細胞のテクスチャ(例えば、細胞の区域にわたる輝度又は強度の変動及び/又は変動の構造)に関連することができる。次に、細胞を分類するために、細胞に対する計量の判定セットを、訓練モデルに適用することができる。
[00041] モデルを訓練するために使用される細胞のセットは、様々な方法で識別されうる。幾つかの例において、細胞を、ユーザによって手動で示すことができる。これは、マルチウェル標本プレートの全ウェルを手動で示すユーザを含むことができる。さらに又は代わりに、ユーザは、1つ又は複数の生物学的標本内の個別細胞を手動で示すことができる。さらに別の例において、ユーザは、時点を指定して細胞のセットを示すことができ、例えば、標本におけるどの全細胞が第1のセット(例えば、未分化セット)に属する前に第1の時点を設定し、標本におけるどの全細胞が第2のセット(例えば、分化セット)に属する後に第2の時点を設定することができる。幾つかの例において、細胞を、自動的に又は半自動的に示すことができる。これは、細胞の蛍光画像に基づいて細胞のセットを識別することを含むことができる(例えば、閾値以上の蛍光信号を、第1の群に割り当てることができる一方、閾値以下の蛍光信号を、第2の群に割り当てることができる)。別の例において、教師なし又は半教師あり学習アルゴリズムは、分類子を訓練するために後で使用可能なセットに細胞を集める又は別の方法で集成することができる。
II.アーキテクチャの例
[00042] 図1は、例えば、光学顕微鏡105、及び1つ又は複数の細胞を有する生物学的標本110を含む又は伴う動作環境100を示すブロック図である。後述の図3~図5、図8、図9及び図10における方法300、800、900及び1000は、この動作環境100内で実施可能な方法の実施形態を示す。
[00043] 図2は、直接又は間接的に動作環境100とインターフェース接続するように構成されている、実装形態の例による、計算デバイス200の例を示すブロック図である。後述の図3~図5、図8、図9及び図10に示す方法の機能を実行するために、計算デバイス200が使用されてもよい。特に、計算デバイス200は、例えば、光学顕微鏡105によって得られる画像に部分的に基づいている画像生成機能を含む1つ又は複数の機能を実行するように構成され得る。計算デバイス200は、通信バス212に各々接続された、プロセッサ202、さらに通信インターフェース204、データ記憶装置206、出力インターフェース208、及び表示器210を有する。さらに、計算デバイス200は、計算デバイス200内で通信を可能にし、計算デバイス200と他のデバイス(例えば、図示せず)との間のハードウェアを含んでもよい。ハードウェアは、例えば、送信器、受信器、及びアンテナを含んでもよい。
[00044] 通信インターフェース204は、1つ又は複数のネットワーク214又は1つ又は複数の遠隔計算デバイス216(例えば、タブレット216a、パーソナルコンピュータ216b、ラップトップコンピュータ216c及びモバイル計算デバイス216d)との短距離通信及び長距離通信の両方を可能にする無線インターフェース及び/又は1つ又は複数の有線インターフェースであってもよい。このような無線インターフェースは、1つ又は複数の無線通信プロトコル、例えば、Bluetooth(登録商標)、WiFi(例えば、電気電子技術者協会(IEEE)802.11プロトコル)、ロングタームエボリューション(LTE)、セルラー通信、近距離通信(NFC)、及び/又は他の無線通信プロトコルの下で通信を提供してもよい。このような有線インターフェースは、イーサネットインターフェース、ユニバーサルシリアルバス(USB)インターフェース、又は、線、ツイストペア線、同軸ケーブル、光リンク、光ファイバーリンク、又は有線ネットワークへの他の物理的接続部を介して通信する同様なインターフェースを含んでもよい。従って、通信インターフェース204は、1つ又は複数のデバイスから入力データを受信するように構成されてもよく、更に、他のデバイスに出力データを送信するように構成されてもよい。
[00045] さらに、通信インターフェース204は、ユーザ入力デバイス、例えば、キーボード、キーパッド、タッチスクリーン、タッチパッド、コンピュータマウス、トラックボール及び/又は他の同様なデバイス、を含んでもよい。
[00046] データ記憶装置206は、プロセッサ202によって読み取り可能又はアクセス可能な1つ又は複数のコンピュータ可読記憶媒体を含んでもよく、又はコンピュータ可読記憶媒体の形をとってもよい。コンピュータ可読記憶媒体は、プロセッサ202と全部又は一部において統合可能な揮発性及び/又は不揮発性記憶構成要素、例えば、光、磁気、有機又は他のメモリ又はディスク記憶装置、を含むことができる。データ記憶装置206は、非一時的コンピュータ可読媒体と考えられる。幾つかの例において、単一物理的デバイス、例えば、1つの光、磁気、有機又は他のメモリ又はディスク記憶ユニット、を用いて、データ記憶装置206を実装することができる一方、他の例において、2つ以上の物理的デバイスを用いて、データ記憶装置206を実装することができる。
[00047] 従って、データ記憶装置206は、非一時的コンピュータ可読記憶媒体であり、データ記憶装置206に実行可能命令218を記憶する。命令218は、コンピュータ実行可能コードを含む。命令218がプロセッサ202によって実行される場合、プロセッサ202が機能を実行する。このような機能は、光学顕微鏡105から明視野画像を受信すること、及び、位相差画像、合流マスク、細胞画像、種マスク、細胞毎分割マスク及び蛍光画像を生成することを含むが、これらに限定されない。
[00048] プロセッサ202は、汎用プロセッサ又は専用プロセッサ(例えば、デジタル信号プロセッサ、特定用途向け集積回路など)であってもよい。プロセッサ202は、通信インターフェース204から入力を受信し、入力を処理し、データ記憶装置206に記憶され、表示器210に出力される出力を生成してもよい。プロセッサ202は、データ記憶装置206に記憶され、ここに記載の計算デバイス200の機能を与えるために実行可能な実行可能命令218(例えば、コンピュータ可読プログラム命令)を実行するように構成され得る。
[00049] 出力インターフェース208は、情報を表示器210又はさらに他の構成要素に出力する。したがって、出力インターフェース208は、通信インターフェース204と同様であってもよく、無線インターフェース(例えば、送信器)又は更に有線インターフェースであることができる。出力インターフェース208は、例えば、1つ又は複数の制御可能デバイスにコマンドを送信してもよい。
[00050] さらに、図2に示す計算デバイス200は、例えば、光学顕微鏡105と通信している動作環境100でローカル計算デバイス200aを表してもよい。このローカル計算デバイス200aは、後述の方法300、800、900及び1000のステップのうち1つ又は複数のステップを実行してもよく、ユーザから入力を受信してもよく、及び/又は、画像データ及びユーザ入力を計算デバイス200に送信し、方法300、800、900及び/又は1000のステップの全部又は一部を実行してもよい。さらに、実施形態の1つの任意選択例において、Incucyte(登録商標)プラットフォームは、方法300、800、900、1000のうち1つ又は複数を実行するために利用されてもよく、計算デバイス200及び光学顕微鏡105の結合機能を含む。
[00051] 図3は、実装形態の例による、生物学的標本110の1つ又は複数の細胞に対する細胞毎分割を達成する方法300の例のフローチャートを示す。図8、図9、及び図10は、実装形態の例による、生物学的標本110の1つ又は複数の細胞の細胞毎分類を達成する方法800、900、及び1000の例のフローチャートをそれぞれ示す。図3、図8、図9、図10に示す方法300、800、900、1000は、例えば、図2の計算デバイス200で使用可能な方法の例を示す。さらに、デバイス又はシステムは、図3、図8、図9、及び/又は図10に示す論理機能を実行するように使用又は構成されてもよい。場合によっては、デバイス及び/又はシステムの構成要素は、このような性能を可能にするようにハードウェア及び/又はソフトウェアで構成要素を構成及び構築するために、機能を実行するように構成されてもよい。デバイス及び/又はシステムの構成要素は、例えば、特定の方法で動作される場合、機能を実行するのに適合され、機能を実行することができ、又は機能を実行するのに適しているように配置されてもよい。方法300、800、900、1000は、数字付きのブロック(例えば、ブロック305~330)のうち1つ又は複数のブロックによって例示のような1つ又は複数の動作、機能、又は作用を含んでもよい。ブロックは各図面において連続的順序で例示されているが、これらのブロックの一部は、並列に、及び/又は本明細書に記載の順序と異なる順序で、実行されてもよい。さらに、様々なブロックを、より少ないブロックに結合してもよく、更なるブロックに分けてもよく、及び/又は所望の実装形態に基づいて除去してもよい。
[00052] 本明細書に開示される、この及び他の処理及び方法のために、フローチャートは、本例の1つの可能な実装形態の機能及び動作を示すと理解されるべきである。この点で、各ブロックは、処理で特定の論理機能又はステップを実施するプロセッサによって実行可能な1つ又は複数の命令を含む、モジュール、セグメント、又はプログラムコードの一部を表してもよい。プログラムコードは、例えば、任意のタイプのコンピュータ可読媒体又はデータ記憶装置、例えば、ディスク又はハードドライブを含む記憶デバイス、に記憶されてもよい。さらに、プログラムコードを、機械可読フォーマットでコンピュータ可読記憶媒体に符号化することができ、又は他の非一時的媒体又は製造品に符号化することができる。コンピュータ可読媒体は、例えば、非一時的コンピュータ可読媒体又はメモリ、例えば、データを短時間記憶するコンピュータ可読媒体、例えば、レジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ(RAM)、を含んでもよい。また、コンピュータ可読媒体は、非一時的媒体、例えば、読み出し専用メモリ(ROM)、光又は磁気ディスク、コンパクトディスク読み出し専用メモリ(CD-ROM)のような二次又は永続的長期記憶装置を含んでもよい。また、コンピュータ可読媒体は、任意の他の揮発性又は不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば有形のコンピュータ可読記憶媒体と考えられてもよい。
[00053] 加えて、ここに開示の他の処理及び方法内で図3、図8、図9及び図10における各ブロックは、処理で特定の論理機能を実行するように配線されている回路を表してもよい。理性的な当業者に理解されるように、含まれる機能に応じて、実質的に同時又は逆の順序を含む、図示又は記載の順序からずれた順序で機能を実行することができる代替の実装形態は、本開示の例の範囲内で含まれる。
III.方法の例
[00054] 本明細書で使用されるように、「明視野画像」は、光波が生物学的標本の透明部分を通過するように下から照明される生物学的標本に基づいて顕微鏡を介して得られる画像を意味する。次に、様々な輝度レベルを、明視野画像に取り込む。
[00055] 本明細書で使用されるように、「位相差画像」は、生物学的標本の異なる部分の屈折率の差のために生物学的標本を通過する光の位相シフトを取り込む下から照明される生物学的標本に基づいて、直接又は間接的に顕微鏡を介して得られる画像を意味する。例えば、光波が生物学的標本を通って進む場合、光波振幅(即ち、輝度)及び位相は、生物学的標本の特性に依存する方法で変化する。その結果、高屈折率を有するより密な領域を、得られる画像でより暗くし、低屈折率を有するより薄い領域を、得られる画像でより明るくするように変化する画素に関連する輝度強度値を、位相差画像は有する。明視野画像のZスタックからを含む多くの技法を介して、位相差画像を生成することができる。
[00056] 本明細書で使用されるように、明視野画像の「Zスタック」又は「Z掃引」は、個別ソース明視野画像のいずれよりも大きい被写界深度(即ち、焦点面の厚さ)を有する合成画像を与えるために異なる焦点距離で撮影される多数の画像を結合するデジタル画像処理方法を意味する。
[00057] 本明細書で使用されるように、「焦点面」は、生物学的標本が最適焦点で観測可能である光学顕微鏡レンズの軸と垂直に配置された平面を意味する。
[00058] 本明細書で使用されるように、「脱焦距離」は、生物学的標本が焦点外で観測可能であるように、焦点面を超える又は焦点面未満の距離を意味する。
[00059] 本明細書で使用されるように、「合流マスク」は、1つ又は複数の細胞に対応する画素に1の値を割り当て、背景に対応する残りの画素に0の値を割り当てるように、又は逆もまた同様であるように、画素を生物学的標本における1つ又は複数の細胞に属すると識別する2値画像を意味する。
[00060] 本明細書で使用されるように、「細胞画像」は、背景に対する細胞コントラストを高めるために異なる平面で得られる少なくとも2つの明視野画像に基づいて生成される画像を意味する。
[00061] 本明細書で使用されるように、「種マスク」(seed mask)は、設定画素強度閾値に基づいて生成される2値画素化を有する画像を意味する。
[00062] 本明細書で使用されるように、「細胞毎分割マスク」は、生物学的標本110の各細胞を異なる関心領域として表示するように、2値画素化(即ち、各画素は、プロセッサによって0又は1の値を割り当てられる)を有する画像を意味する。有利なことに、細胞毎分割マスクは、表示される細胞の無標識計数を可能にし、個別付着細胞の全域の判定を可能にし、細胞テクスチャ計量及び細胞形状記述子に基づく解析を可能にし、及び/又は、各細胞が生物学的標本110で多くの他の隣接細胞と接触することができる、シートに形成される傾向がある付着細胞を含む、個別細胞境界の検出を可能にする。
[00063] 本明細書で使用されるように、「領域拡張反復」は、1つ又は複数の初期識別個別画素又は画素セット(即ち、種(seeds))をとり、隣接画素をセットに追加することによってその種を反復的に拡張することによって、関心領域(「ROI」)を規定する反復画像分割方法における単一ステップを意味する。プロセッサは、類似計量を利用して、どの画素を拡張領域に追加し、停止基準は、プロセッサが、領域拡張が完了するタイミングを判定するために定義される。
[00064] 本明細書で使用されるように、「訓練モデル」は、細胞のクラスメンバーシップ(例えば、生存/死亡、分化/未分化)を予測する出力を生成するために、訓練データのセットに基づいて、パラメータ(例えば、重み、フィルターバンク係数)、構造(例えば、隠れ層及び/又はユニットの数、このようなユニットの相互接続のパターン)、又は構成の他の特性がが(例えば、強化学習によって、勾配降下によって、モデルパラメータの最大尤度値を解析的に判定することによって)訓練されている、予測及び/又は分類用のモデル(例えば、人工ニューラルネットワーク、ベイズ予測子、決定木)を意味する。
[00065] さて、図3~図5について説明する。図1及び図2の計算デバイスを用いて、方法300を例示する。方法300は、ブロック305で、生物学的標本110に対する焦点面を中心とする1つ又は複数の細胞を含む生物学的標本110の少なくとも1つの位相差画像400を生成するプロセッサ202を含む。次に、ブロック310で、プロセッサ202は、少なくとも1つの位相差画像400に基づいて2値画像の形で合流マスク410を生成する。次に、ブロック315で、プロセッサ202は、焦点面を超える脱焦距離で生物学的標本110における1つ又は複数の細胞の第1の明視野画像415、及び焦点面未満の脱焦距離で生物学的標本110における1つ又は複数の細胞の第2の明視野画像420を受信する。次に、ブロック320で、プロセッサ202は、第1の明視野画像415及び第2の明視野画像420に基づいて生物学的標本における1つ又は複数の細胞の細胞画像425を生成する。ブロック325で、プロセッサ202は、細胞画像425及び少なくとも1つの位相差画像400に基づいて種マスク430を生成する。さらに、ブロック330で、プロセッサ202は、種マスク430及び合流マスク410に基づいて細胞毎分割マスク435を示す生物学的標本における1つ又は複数の細胞の画像を生成する。
[00066] 図3に示すように、ブロック305で、生物学的標本110に対する焦点面を中心とする1つ又は複数の細胞を含む生物学的標本110の、少なくとも1つの位相差画像400を生成するプロセッサ202は、明視野画像のZ掃引を受信し、次に、明視野画像のZ掃引に基づいて少なくとも1つの位相差画像400を生成するプロセッサ202を含む。様々な実施形態において、生物学的標本110を、実験セットを表す窪み板における複数の窪み内で分散させてもよい。
[00067] 1つの任意選択実施形態において、方法300は、細胞毎分割マスク435内で、少なくとも1つの蛍光画像を受信し、次に、生物学的標本110における1つ又は複数の細胞の蛍光強度を計算するプロセッサ202を含む。この実施形態において、蛍光強度は、関心のあるタンパク質、例えば、CD20などの細胞表面マーカーを標識化する抗体、又は細胞死に対応する蛍光を誘導するアネキシンV試薬、のレベルに対応する。さらに、個別細胞境界内で蛍光強度を判定することは、部分集団識別を増加し、部分集団固有の計量(例えば、アネキシンVの存在によって定義されるような全瀕死細胞の平均面積及び離心率)の計算を可能にする。
[00068] 別の実施形態において、ブロック310で、少なくとも1つの位相差画像400に基づいて2値画像の形で合流マスク410を生成するプロセッサ202は、生物学的標本110における1つ又は複数の細胞に属する画素の識別を可能にするために局所テクスチャフィルター又は輝度フィルターのうち1つ又は複数のフィルターを適用するプロセッサ202を含む。フィルターの例は、局所範囲フィルター、局所エントロピーフィルター、局所標準偏差フィルター、局所輝度フィルター及びガボールウェーブレットフィルターを含むことができるが、これらに限定されない。合流マスク410の例を、図4及び図5に示す。
[00069] 別の任意選択実施形態において、光学顕微鏡105は、生物学的標本110の焦点面を判定する。さらに、様々な実施形態において、脱焦距離は、20μm~60μmの範囲にあってもよい。最適脱焦距離はを、対物レンズの倍率及び動作距離を含む、使用される対物レンズの光学的特性に基づいて判定される。
[00070] 図5に示す更なる実施形態において、ブロック320で、第1の明視野画像415及び第2の明視野画像420に基づいて細胞画像425を生成するプロセッサ202は、複数の画素に関する数学演算又は特徴検出のうち少なくとも1つを利用して焦点面を中心とする第3の明視野画像405に基づいて第1の明視野画像415及び第2の明視野画像420を向上させるプロセッサ202を含む。画素に関する数学演算の1つの例は、加算、減算、乗算、除算、又はこれらの演算の任意の組み合わせを含む。次に、プロセッサ202は、第1の明視野画像415及び第2の明視野画像420を少なくとも1つの位相差画像400に整列させるために、変換パラメータを計算する。次に、プロセッサ202は、整列された第2の明視野画像420の各画素に対する輝度レベルを、整列された第1の明視野画像415における対応する画素の輝度レベルによって結合し、これによって、細胞画像425を形成する。上述の数学演算のいずれかを介して、各画素に対する輝度レベルの結合を達成することができる。細胞画像425を生成する技術的効果は、明視野アーチファクト(例えば、影)を除去し、種マスク430に対する細胞検出を増加するために、画像コントラストを高めることである。
[00071] 別の任意選択実施形態において、ブロック320で、第1の明視野画像415及び第2の明視野画像420に基づいて生物学的標本110における1つ又は複数の細胞の細胞画像425を生成するプロセッサ202は、1つ又は複数の閾値レベル及び1つ又は複数のフィルターサイズを判定する1つ又は複数のユーザ定義パラメータを受信するプロセッサ202を含む。次に、プロセッサ202は、1つ又は複数のユーザ定義パラメータに基づいて、1つ又は複数の平滑化フィルターを細胞画像425に適用する。平滑化フィルターの技術的効果は、種マスク430における細胞検出の精度を更に増加し、1つの種を細胞毎に割り当てる可能性を増加させることである。異なる付着細胞形態(例えば、平坦対丸い形状、突起細胞、クラスター細胞など)に適合するように、平滑化フィルターパラメータを選択する。
[00072] 更なる任意選択実施形態において、ブロック325で、細胞画像425及び少なくとも1つの位相差画像400に基づいて種マスク430を生成するプロセッサ202は、閾値画素強度における各画素又は閾値画素強度を超える各画素を、細胞種画素として識別し、これによって、2値画素化を有する種マスク430になるように、細胞画像425を修正するプロセッサ202を含む。種マスクの2値画素化の技術的効果は、合流マスクの対応する2値画素化との比較を可能にすることである。さらに、種マスクの2値画素化は、後述の領域拡張反復用の開始点として利用される。例えば、更に別の任意選択実施形態において、種マスク430は、生物学的標本110における単一細胞に各々対応する複数の種を有してもよい。この実施形態において、方法300は、細胞毎分割マスク435を示す生物学的標本における1つ又は複数の細胞の画像を生成するプロセッサ202の前に、種マスク430及び合流マスク410を比較し、合流マスク410の区域に配置されない種マスク430から1つ又は複数の領域を除去し、種マスク430の複数の種のうち1つの種を含まない合流マスク410から1つ又は複数の領域を除去するプロセッサ202を更に含む。これらの除去領域の技術的効果は、種を生成する小さな明るい物体(例えば、細胞破片)を排除し、後述の領域拡張反復に利用される種の識別を高めることである。
[00073] 更なる任意選択実施形態において、ブロック330で、種マスク430及び合流マスク410に基づいて細胞毎分割マスク435を示す生物学的標本110における1つ又は複数の細胞の画像を生成するプロセッサ202は、種の活性セットの各々に対する領域拡張反復を実行するプロセッサ202を含む。次に、プロセッサ202は、所与の種に対する拡張領域が、合流マスク410の1つ又は複数の境界に達する、又は別の種の拡張領域と重複するまで、種の活性セットにおける各種に対する領域拡張反復を繰り返す。種の活性セットは、細胞画像における対応する画素の値の特性に基づいて各反復に対するプロセッサ202によって選択される。さらに、明視野画像415、420、405だけでなく、少なくとも1つの位相差画像400も使用する技術的効果は、種が、細胞画像425における輝点及び位相差画像400における高テクスチャの区域の両方に対応すること(即ち、より詳細に後述の種マスク430との合流マスク410の重複)である。明視野画像415、420、405だけでなく、合流マスク410、少なくとも1つの位相差画像も使用した結果生じる別の技術的効果は、1つの例として、有利なことに、細胞表面タンパク質発現のような特徴を定量化することができる細胞毎分割マスク435における個別細胞位置及び細胞境界の識別の精度増加である。
[00074] 更に別の任意選択実施形態において、方法300は、1つ又は複数の細胞テクスチャ計量及び細胞形状記述子に基づいて物体を除去するために、ユーザ入力に応じて1つ又は複数のフィルターを適用するプロセッサ202を含んでもよい。次に、プロセッサ202は、1つ又は複数のフィルターの適用に応じて細胞毎分割マスクを示す生物学的標本の画像を修正する。細胞テクスチャ計量及び細胞形状記述子の例は、細胞のサイズ、周辺、離心率、蛍光強度、アスペクト比、堅実性、フェレ径、位相差エントロピー及び位相差標準偏差を含むが、これらに限定されない。
[00075] 更なる任意選択実施形態において、方法300は、細胞毎分割マスク435を示す生物学的標本110における1つ又は複数の細胞の画像に基づいて生物学的標本110に対する細胞計数を判定するプロセッサ202を含んでもよい。有利なことに、例えば図4に示す細胞毎分割マスク435に示す明確な細胞境界の結果として、上述の細胞計数を認める。1つの任意選択実施形態において、生物学的標本110における1つ又は複数の細胞は、付着細胞及び非付着細胞のうち1つ又は複数の細胞である。更なる実施形態において、付着細胞は、ヒト肺癌細胞、線維癌細胞、乳癌細胞、卵巣癌細胞を含む様々な癌細胞株、又はヒト臍静脈細胞を含むヒト微小血管細胞株のうち1つ又は複数の細胞株を含んでもよい。任意選択実施形態において、プロセッサ202は、付着細胞に適用されたフィルターと異なる平滑化フィルターを、PMBC及びJurkat細胞のようなヒト免疫細胞を含む非付着細胞に適用し、細胞境界の近似を向上させるような方法で、領域拡張反復を実行する。
[00076] 1つの例として、生物学的標本110に対する焦点面を中心とする少なくとも1つの明視野画像405に基づいて1つ又は複数の細胞を含む生物学的標本110の少なくとも1つの位相差画像400を生成するプロセッサ202を含む動作のセットの性能をプロセッサ202による実行時にもたらすプログラム命令を記憶している非一時的コンピュータ可読媒体。次に、プロセッサ202は、少なくとも1つの位相差画像400に基づいて2値画像の形で合流マスク410を生成する。次に、プロセッサ202は、焦点面を超える脱焦距離で生物学的標本110における1つ又は複数の細胞の第1の明視野画像415、及び焦点面未満の脱焦距離で生物学的標本110における1つ又は複数の細胞の第2の明視野画像420を受信する。次に、プロセッサ202は、第1の明視野画像415及び第2の明視野画像420に基づいて1つ又は複数の細胞の細胞画像425を生成する。さらに、プロセッサ202は、細胞画像425及び少なくとも1つの位相差画像400に基づいて種マスク430を生成する。さらに、プロセッサ202は、種マスク430及び合流マスク410に基づいて細胞毎分割マスク435を示す生物学的標本110における1つ又は複数の細胞の画像を生成する。
[00077] 1つの任意選択実施形態において、非一時的コンピュータ可読媒体は、少なくとも1つの蛍光画像を受信するプロセッサ202、及び細胞毎分割マスク内の生物学的標本における1つ又は複数の細胞の蛍光強度を計算するプロセッサ202を更に含む。
[00078] 別の任意選択実施形態において、非一時的コンピュータ可読媒体は、細胞画像425及び少なくとも1つの位相差画像400に基づいて種マスク430を生成するプロセッサ202を更に含む。さらに、非一時的コンピュータ可読媒体は、閾値画素強度における各画素又は閾値画素強度を超える各画素を、細胞種画素として識別し、これによって、2値画素化を有する種マスク430になるように、細胞画像425を修正するプロセッサ202を更に含む。
[00079] 更なる任意選択実施形態において、種マスク430は、単一細胞に各々対応する複数の種を有する。更に、非一時的コンピュータ可読媒体は、細胞毎分割マスク435を示す生物学的標本110における1つ又は複数の細胞の画像を生成するプロセッサ202の前に、種マスク430及び合流マスク410を比較し、合流マスク410の区域に配置されない種マスク430から1つ又は複数の領域を除去し、種マスク430の複数の種のうち1つの種を含まない合流マスク410から1つ又は複数の領域を除去するプロセッサ202を更に含む。
[00080] 更に別の任意選択実施形態において、種マスク430及び合流マスク410に基づいて細胞毎分割マスク435を示す生物学的標本110における1つ又は複数の細胞の画像をプロセッサ202に生成させるプログラム命令は、種の活性セットの各々に対する領域拡張反復を実行するプロセッサ202を含む。次に、非一時的コンピュータ可読媒体は、所与の種に対する拡張領域が、合流マスク410の1つ又は複数の境界に達する、又は別の種の拡張領域と重複するまで、種の活性セットにおける各種に対する領域拡張反復を繰り返すプロセッサ202を更に含む。
[00081] 非一時的コンピュータ可読媒体は、1つ又は複数の細胞テクスチャ計量及び細胞形状記述子に基づいて物体を除去するために、ユーザ入力に応じて1つ又は複数のフィルターを適用するプロセッサ202を更に含む。さらに、プロセッサ202は、1つ又は複数のフィルターの適用に応じて細胞毎分割マスク435を示す生物学的標本110の画像を修正する。
[00082] さて、図8について説明する。細胞の分類のための例示的な方法800が、図1及び図2の計算デバイスを用いて示されている。方法800は、ブロック805で、複数の生物学的標本の画像のセットを取得するプロセッサ(例えば、プロセッサ202)を含み、画像のセットは、複数の生物学的標本の各標本の少なくとも1つの画像を含む。次に、ブロック810で、プロセッサは、複数の生物学的標本内の細胞の第1のセットの表示を取得し、複数の生物学的標本内の細胞の第2のセットの表示を取得し、細胞の第1のセットを第1の状態に関連付け、細胞の第2のセットを第2の状態に関連付ける。次に、ブロック815で、プロセッサは、画像のセット、細胞の第1のセットの表示、及び細胞の第2のセットの表示に基づいて、計量の第1の複数のセットを判定し、計量の第1の複数のセットは、細胞の第1のセットの各細胞に対する計量のセット、及び細胞の第2のセットの各細胞に対する計量のセットを含む。ブロック820で、プロセッサは、計量の第1の複数のセットに基づいて、教師あり学習アルゴリズムを使用し、モデルを生成し、細胞の第1のセットにおける細胞と細胞の第2のセットにおける細胞を区別し、これによって、訓練モデルを生成する。ブロック825で、プロセッサは、画像のセットに基づいて、計量の第2の複数のセットを判定し、計量の第2の複数のセットは、標的標本に存在する各細胞に対する計量のセットを含む。次に、ブロック830で、プロセッサは、標的標本における細胞を分類し、細胞を分類することは、訓練モデルを細胞に対する計量のセットに適用することを含む。方法800は、追加のステップ又は特徴を含むことができる。
[00083] さて、図9について説明する。細胞の分類のための別の例示的な方法900を、図1及び図2の計算デバイスを用いて示す。方法900は、ブロック905で、標的標本の3つ以上の画像を取得するプロセッサ(例えば、プロセッサ202)を含み、標的標本は、標的標本に対する焦点面を中心とする1つ又は複数の細胞を含み、3つ以上の画像は、位相差画像、第1の明視野画像、及び第2の明視野画像を含み、第1の明視野画像は、焦点面を超える第1の脱焦距離で集束される標的標本の画像を表し、第2の明視野画像は、焦点面未満の第2の脱焦距離で集束される標的標本の画像を表す。次に、ブロック910で、プロセッサは、第1及び第2の明視野画像に基づいて標的標本の細胞画像を判定する。次に、ブロック915で、プロセッサは、細胞画像及び位相差画像に基づいて標的標本に対する標的分割マップを判定する。ブロック920で、プロセッサは、標的標本の2つ以上の画像及び標的分割マップに基づいて、標的標本に存在する各細胞に対する計量のセットを判定する。次に、ブロック925で、プロセッサは、標的標本における細胞を分類し、細胞を分類することは、細胞の計量のセットを訓練分類子に適用することを含む。方法900は、追加のステップ又は特徴を含むことができる。
[00084] さて、図10について説明する。細胞の分類のための別の例示的な方法1000を、図1及び図2の計算デバイスを用いて示す。方法1000は、ブロック1005で、標的標本の2つ以上の画像を取得するプロセッサ(例えば、プロセッサ202)を含み、標的標本は、標的標本に対する焦点面を中心とする1つ又は複数の細胞を含み、2つ以上の画像は、位相差画像及び1つ又は複数の明視野画像を含み、1つ又は複数の明視野画像は、焦点面で集束されない標的標本の画像を表す少なくとも1つの明視野画像を含む。次に、ブロック1010で、プロセッサは、2つ以上の画像に基づいて、標的標本に存在する各細胞に対する計量のセットを判定する。次に、ブロック1015で、プロセッサは、訓練モデルを細胞に対する計量のセットに適用することによって標的標本における細胞を分類する。方法1000は、追加のステップ又は特徴を含むことができる。
[00085] 上述のように、上述の方法の機能のいずれかの性能をもたらすためにプロセッサ202による実行時に利用可能なプログラム命令を記憶している非一時的コンピュータ可読媒体。
IV.実験結果
[00086] 実装形態の例は、経時的な部分集団で細胞健全性を追跡することができる。例えば、図6Aは、カンプトテシン(CPT、細胞傷害性)処理に続くHT1080線維肉腫アポトーシスの24時間経過後に位相差画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。Incucyte(登録商標)NucLight Red(核生存能力マーカー)及び非摂動Incucyte(登録商標)カスパーゼ3/7緑色試薬(アポトーシス指示薬)の多重化読み出し値で、細胞健全性を判定した。図6Bは、Incucyte(登録商標)細胞毎解析ソフトウェアツールを用いた図6Aの実装形態による赤色及び緑色蛍光に基づいて分類された細胞サブセットを示す。図6Cは、図6Aの実装形態による、生存細胞の消失を示すCPT処理後の赤色集団の減少、初期アポトーシスを示す赤色及び緑色蛍光の増加、及び後期アポトーシスを示す24時間後の緑色蛍光の増加があったことを示す。図6Dは、図6Aの実装形態による、初期アポトーシス集団(赤色及び緑色蛍光を示す総細胞の割合)の濃度応答時間経過を示す。図示の値は、3つの窪みの±SEMの平均である。
[00087] 別の例において、図6Eは、シクロヘキサアミド(CHX、細胞増殖抑制性)処理に続くHT1080線維肉腫アポトーシスの24時間経過後に細胞画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。Incucyte(登録商標)NucLight Red(核生存能力マーカー)及び非摂動Incucyte(登録商標)カスパーゼ3/7緑色試薬(アポトーシス指示薬)の多重化読み出し値で、細胞健全性を判定した。図6Fは、Incucyte(登録商標)細胞毎解析ソフトウェアツールを用いた図6Eの実装形態による赤色及び緑色蛍光に基づいて分類された細胞サブセットを示す。図6Gは、図6Eの実装形態による、CHX処理後のアポトーシスの欠如、但し細胞数の減少(データを図示せず)があったことを示す。図6Hは、図6Eの実装形態による、初期アポトーシス集団(赤色及び緑色蛍光を示す総細胞の割合)の濃度応答時間経過を示す。図示の値は、3つの窪みの±SEMの平均である。
[00088] 図7Aは、Incucyte(登録商標)ソフトウェアを介して実装形態の例によって生成される細胞毎分割解析を用いて付着細胞の無標識細胞計数に対する位相差画像上に押し付けられた細胞毎分割マスクを示す。NucLight Red試薬で標識化されたA549細胞の様々な密度を、無標識細胞毎解析及び経時的な無標識計数を確認する赤核計数解析の両方で解析した。図7Bは、背景に位相差画像を有しない図7Aによる細胞毎分割マスクを示す。図7Cは、図7Aの実装形態による、密度にわたる位相数及び赤数データの時間経過を示す。図7Dは、図7Aの実装形態による、48時間にわたる数データの相関関係を示し、1の傾きを有する1のR2値を示す。これは、様々な細胞型にわたって繰り返されている。図示の値は、4つの窪みの±SEMの平均である。
V.細胞の分類の例
[00089] 細胞を含む標本の画像に基づく細胞のアルゴリズム分類は、様々な用途を容易にすることができる。これは、細胞及び/又は細胞標本の特性を定量化すること、適用実験条件に対する細胞標本の応答を定量化すること(例えば、推定薬物又は治療の毒性又は有効性)、又は標本に関する幾つかの他の情報を評価することを含むことができる。細胞の分類は、標本内の各クラスの細胞の数を判定することができることによってこのような用途を容易にする。このような分類は、2クラス分類、又は2つを超えるクラスへの分類を含んでもよい。分類の幾つかの例において、細胞を、生存又は死亡として、幹細胞又は成熟細胞として、未分化細胞又は分化細胞として、野生型細胞又は変異細胞、上皮又は間葉として、正常又は適用化合物によって形態的に変化した(例えば、細胞骨格標的治療化合物の適用によって変化した)細胞として、又は2つ以上の追加又は代替の分類の間で分類してもよい。また、細胞は、クラスの各多数の異なる列挙セットから選択された多数のクラスを、割り当てられてもよい。例えば、細胞を、(「生存」及び「死亡」の可能なクラスから)生存として、及び(「分化」及び「未分化」の可能なクラスから)分化として分類することができる。
[00090] 本明細書に記載の実施形態は、細胞に対する計量のセットを判定することによって、特定の細胞の分類を達成する。計量のセットを、細胞の1つ又は複数の顕微鏡画像から判定する。細胞の1つ又は複数の脱焦明視野画像、又は細胞の顕微鏡画像から及び/又は細胞の位相差画像と組み合わせて判定された合成画像は、このような計量を判定する際に特に有用である。例えば、細胞に対する1つ又は複数の計量を、細胞の位相差画像及び細胞の(上述のように判定された)細胞画像の各々から判定することができる。計量のセットの判定は一般的に、画像のどの部分が細胞に対応するかを判定するために、画像を分割することを含む。本明細書に他所で記載のような画像のうち1つ又は複数の画像に基づいて、分割自体を判定する。さらに、計量のうち1つ又は複数の計量(例えば、細胞のサイズ、細胞の形状に関する1つ又は複数の計量など)を判定するために、分割を使用してもよい。次に、細胞を分類するために、計量のセットをモデルに適用する。
[00091] 図11は、細胞1110の例を含む多くの細胞を含む生物学的標本の位相差画像1100上に押し付けられた細胞毎分割マスク(輝線)の例を示す。細胞毎分割マスクは、細胞1110に対応する位相差画像1100の一部の輪郭を描き、これは、細胞1110の例に対応する細胞毎分割マスクの一部を示す暗線1150で示される。細胞1110の例の輪郭を描く細胞毎分割マスクの一部1150に示すように(例えば、サイズ関連計量、形状関連計量)、細胞1110の例に対する1つ又は複数の計量(例えば、テクスチャ関連計量、強度関連計量)を判定するために、暗線1150内の位相差画像1100の一部を使用することができる。
[00092] 生物学的標本の1つ又は複数の顕微鏡画像を分割してその標本内の細胞を局在化することを、上述の方法のうち1つ又は複数の方法を用いて達成してもよい。さらに又は代わりに、標本の1つ又は複数の顕微鏡画像は、このような分割マップを生成するために訓練されている畳み込みニューラルネットワークに適用されてもよい。これは、標本の位相差画像及び細胞画像を適用することを含んでもよい。
[00093] 細胞に対するサイズ計量を判定するために分割マップが使用されてもよい。これは、細胞の区域、細胞によって占められる画像の多くの画素、細胞によって占められる画像の画素及び/又は区域の割合、細胞の周辺の長さ、細胞の最大フェレ径、又は細胞のサイズに関する幾つかの他の計量を判定するために分割マップを使用することを含んでもよい。
[00094] 細胞に対する1つ又は複数の形状記述子計量を判定するために分割マップが使用されてもよい。このような形状記述子計量は、細胞の円形度、細胞の凸包の真円度、又は細胞によって占められる細胞の凸包の割合、細胞のアスペクト比(即ち、細胞の直交軸に対する細胞の最大長の比)、細胞の地理的重心、細胞の強度加重重心、又はそれらの2つの重心の間の差、又は細胞形状に関する幾つかの他の計量を含むことができる。
[00095] 追加計量は、細胞の1つ又は複数の顕微鏡画像に示すように、細胞のテクスチャ及び/又は強度に関する計量を含むことができる。細胞のこのような顕微鏡画像は、細胞の位相差画像、明視野画像、蛍光画像、又は他の画像を含むことができる。画像は、合成画像を含むことができる。このような合成画像は、生物学的標本の細胞含有物に対してそれぞれの異なる面で集束された2つ以上の明視野画像から、上述のように生成された細胞画像を含むことができる。合成画像の別の例は、位相差画像及び1つ又は複数の明視野画像の合成物(例えば、位相差画像及び細胞画像の合成物)である。このようなテクスチャ又は強度ベースの計量を判定することは、分割マップによる特定の細胞に対応する画像の画素に基づいて計量を判定することを含むことができる。
[00096] テクスチャ計量は、細胞を表す画素のセットにわたって変化及び/又はテクスチャから判定されてもよい。これは、隣接毎に1つ又は複数の計量を計算することを含むことができ、例えば、所与の画素に対して、テクスチャ値を、指定距離内で所与の画素を囲む画素のセットに基づいて判定することができる。次に、このような隣接テクスチャ値が、細胞に対する画素にわたって平均化され得、細胞に対する全テクスチャ値が得られる。このようなテクスチャ値は、画素のセット内の最大及び最小強度値の間の差である範囲値、分散又は標準偏差、エントロピー、画素のセットに存在する局所変化の尺度であるコントラスト値、画素のセットの均一性の尺度である均一性値、及び/又は幾つかのテクスチャベースの測定値を含んでもよい。
[00097] 強度ベースの計量は、画像における細胞の平均輝度、画像における細胞の輝度の標準偏差、画像における細胞の輝度の最小値、画像における細胞の輝度の最大値、画像における細胞の画素の指定パーセンタイルの輝度、画像における細胞にわたる輝度値の分布の尖度又は歪度測定値、又は強度に基づく幾つかの他の計量、又は1つ又は複数の画像における細胞の強度変化を含むことができる。
[00098] 一旦計量のセットが特定の細胞に対して判定されると、計量のセットを使用して、細胞を分類することができる。これは、計量のセットを訓練モデルに適用することを含むことができる。このようなモデルは、主成分分析、独立成分分析、サポートベクターマシン、人工ニューラルネットワーク、ルックアップテーブル、回帰木、回帰木の集合、決定木、決定木の集合、k近傍法、ベイズ推論、又はロジスティック回帰のうち少なくとも1つを含むことができる。
[00099] モデルの出力は、計量のセットをモデルに適用した細胞の判定クラスの標本表示であることができる。代わりに、モデルは、細胞のクラスを示す1つ又は複数の値を出力することができる。次に、細胞を分類するために、このような値を、閾値と比較することができる。例えば、モデル出力値が閾値よりも大きい場合、細胞を、「生存」として分類することができる一方、モデル出力値が閾値よりも小さい場合、細胞を、「死亡」として分類することができる。このような閾値の値を、アルゴリズムによって、例えば、訓練データに基づいてモデルを訓練する処理の一部として判定することができる。さらに又は代わりに、閾値は、ユーザによって設定されてもよい。例えば、ユーザは、画像における細胞の分類を1つ又は複数の顕微鏡画像内で示す視覚フィードバックに基づいて閾値を調整することができる。ユーザは、アルゴリズム処理を介して初期閾値を生成した後、閾値を調整することができる。
[000100] 図12A及び図12Bは、閾値の調整、及び、生物学的標本における細胞の分類に対する調整の効果に関する視覚フィードバックの受信における、ユーザによる実質的にリアルタイムの処理又は別の方法での反復処理の例を示す。図12Aは、第1の時間中のユーザインターフェースの例の要素を示す。ユーザインターフェースの例は、生物学的標本の第1の注釈付き画像1200a(例えば、注釈付き位相差画像)を含む。第1の注釈付き画像1200aには、標本における細胞を示し、閾値の第1の値に従って細胞の分類を示すように、注釈が付けられる。図12Aに示すように、細胞の第1のクラスが、赤色着色によって示され、細胞の第2のクラスが、青色着色によって示される。
[000101] 次に、閾値を、第2の値へのユーザ入力によって更新することができる。このような入力は、閾値の値を増加又は減少するために実際又は仮想のボタンを押すユーザ、閾値用の値を入力するためにキーパッド又は他の手段を操作するユーザ、閾値用の値を調整するためにスライダー又はダイアルを移動させるユーザ、又は閾値を第2の値に調整するために幾つかの他のユーザ入力動作を行うユーザを含むことができる。次に、閾値の第2の値を適用して、標本における細胞を再分類する。次に、この再分類が、図12Bに示す生物学的標本の更新された第2の注釈付き画像1200bの形でユーザに視覚的に与えられる。第2の注釈付き画像1200bには、標本における細胞を示し、閾値の更新された第2の値に従って細胞の分類を示すように、注釈が付けられる。幾つかの細胞の分類は、閾値の調整によって変化し、その結果、第2の注釈付き画像1200bは、この変化を反映する。このような更新処理を、複数回実行することができる。例えば、更新処理を、20ミリ秒に1回の割合又は幾つかの他の割合で実行し、閾値を調整するユーザの結果として細胞分類のリアルタイム更新に近づけることができる。
[000102] 細胞を分類するために使用されるモデルは、教師あり訓練方法及び適切な訓練データセットを用いて訓練され得る。訓練データセットは、訓練細胞の2つ以上の群における各細胞に対して判定される計量のセットを含む。訓練細胞の各群は、区別するようにモデルを訓練することができるそれぞれのクラス又はクラスのセットに対応する。特定の訓練細胞の1つ又は複数の顕微鏡画像に基づいて特定の群における特定の訓練細胞に対して計量のセットを判定することによって、訓練データセットにおける計量のセットを、上述のように判定することができる。
[000103] 幾つかの例において、訓練細胞を、訓練細胞に基づいて分類されるべき標的細胞を含む同じマルチウェル標本プレートのウェル内に配置することができる。これは、多数の個別細胞の手動注釈付けを必要とせずに標的細胞と同じ又は同様な環境又は他の状態に暴露されている訓練細胞に対してモデルを訓練する利点を有する。代わりに、訓練細胞を、第1のマルチウェル標本プレートのウェルに配置することができ、標的細胞を、第2の異なるマルチウェル標本プレートのウェルに配置することができる。このような第1及び第2のマルチウェル標本プレートを、同じ培養器で培養することができ、又は同じ又は同様な環境状態に別の方法で暴露することができる。
[000104] モデルを訓練するために使用される様々な画像及び/又は計量は、未知の細胞を分類するために訓練モデルに適用される様々な画像及び/又は計量と同じである又は異なることができる。例えば、蛍光マーカーは、訓練細胞を含む生物学的標本に存在することができるけれども、分類されるべき未知の標的細胞を含む標本に不在であることができる。これは、モデルの訓練を改善することができる一方、蛍光マーカーを標的標本に追加するという複雑さ又は面倒な事態を回避することができる。さらに又は代わりに、モデルを訓練する前に、蛍光マーカーを使用して、訓練細胞を各群に割り当てることができる。
[000105] 訓練細胞の2つ(以上)の群における訓練細胞は、様々な方法で識別され得る。幾つかの例において、訓練細胞の群を、ユーザによって手動で識別することができる。これは、2つ以上の群の各々に対して個別細胞を手動で示すユーザを含むことができる。既に分割されている画像の有無にかかわらず、生物学的標本内の細胞の画像を示すユーザインターフェースを用いて、このような表示を実行することができる。さらに又は代わりに、ユーザは、訓練用の各クラスに対応するようなマルチウェル標本プレートの全ウェルを手動で示すことができる。このような方法で示されるウェルで検出される任意の細胞を、対応するクラスに割り当て、モデルを訓練する。ユーザは、ウェルの状態に関する知識に基づいてこのようなウェルを示すことができる。例えば、特定のウェルは、細胞死を引き起こす物質を含むことができ、次に、ユーザは、モデルを訓練するために、「死亡」クラスに属する細胞を含むようなウェルを示すことができる。このようなウェル毎の方法で訓練細胞の群を示すことは、(例えば、訓練用の個別細胞を示すユーザと比較して)比較的少量のユーザ時間及び労力を必要とする利点を有する。
[000106] 図13は、区別するようにモデルを後で訓練することができる2つ以上のクラスのうち、1つのクラスに対応するようなマルチウェル標本プレートの1つ又は複数のウェルを示すためにユーザによって使用可能な、ユーザインターフェース1300の例の要素を示す。ユーザインターフェース1300は、各正方形によって表される各ウェルを有するマルチウェル標本プレートのウェルの相対位置を示す。各ウェルに関する追加情報は提供され得る。このような追加情報は、ウェルの内容、ウェルに適用される条件、ウェルの内容の画像に関する情報、又は幾つかの他の情報を含むことができる。次に、ユーザは、各クラスに対応するようなウェルのセットを示すことができる。図示のように、ユーザは、第1のクラス(例えば、「生存」クラス)に対応するようなウェルの第1のセット1310a、及び第2のクラス(例えば、「死亡」クラス)に対応するようなウェルの第2のセット1310bを示している。
[000107] (例えば、個別細胞を示すことによって、マルチウェル標本プレートの全ウェルを示すことによって、自動化又は半自動化方法と協力して細胞を示すことによって、)細胞のセットを示すことは、1つ又は複数の指定の時点で細胞を示すことを含むことができることに留意せよ。例えば、細胞の第1のセットを示すことは、(例えば、ウェルにおける細胞の全部又は大部分が生存している場合、生存細胞のセットを示すために、)第1の時点でウェルを示すことを含むことができ、細胞の第2のセットを示すことは、(例えば、ウェルにおける細胞の全部又は大部分が死亡している場合、死亡細胞のセットを示すために、)第2の時点で同じウェルを示すことを含むことができる。
[000108] 得られる訓練データを使用してモデルを訓練する前に、細胞の示されるセット、又は細胞のセットから判定される計量のセットを、フィルター処理又は別の方法での修正をすることができる。これは、データを適合させるのに必要な反復の時間又は数を減らすために実行可能であり、訓練データを適合させ過ぎることなく、より正確なモデルが得られ、又は訓練モデル及び/又はモデルを訓練する処理を別の方法で改善することができる。このようなフィルター処理又は他の前処理ステップは、細胞の訓練セットを合成的に平衡させること、細胞の訓練セットの副標本をとること、及び/又は判定計量の値を正規化すること(例えば、訓練データにおける全細胞にわたる計量の値の集団が、標準範囲を占める、及び/又は指定分布に適合するように、各判定計量を正規化すること)を含むことができる。
[000109] さらに又は代わりに、訓練細胞の群を、アルゴリズムによって識別することができ、又は別の方法で自動的に又は半自動的に識別することができる。これは、蛍光マーカーの有無を使用して訓練細胞の群を識別することを含むことができる。これは、蛍光マーカーを含む生物学的標本の蛍光画像を取得すること、及び蛍光画像に基づいて、細胞がそれぞれ閾値レベルよりも大きい又は小さい平均蛍光強度を有するかどうかに従って標本における細胞の第1及び第2の群を識別することを含むことができる。
[000110] 別の例において、教師なし訓練処理を使用して、訓練画像における細胞を分類することができる。これは、訓練画像内の細胞の2つ以上の集合を識別することを含むことができる。次に、ユーザは、2つ以上のクラスのセットから選択された各クラスに属するとして、限られた数の細胞を手動で分類することができる。これらの手動分類細胞は、教師なし訓練処理によって既にクラスター化されている細胞であることができ、又は新規細胞であることができる。次に、手動分類を使用して、細胞のクラスターを2つ以上のクラスのセット内の適切なクラスに割り当てることができる。手動分類は、細胞毎、全ウェル毎、又は細胞の手動分類の幾つかの他の方法であることができる。
[000111] 異なる有利な構成の説明は、例示及び説明の目的で提示されており、網羅的である、又は開示の形態における例に限定されるように意図されていない。多くの修正及び変更は、当業者に明らかである。更に、異なる有利な例は、他の有利な例と比べて異なる利点を説明してもよい。例の原理、実際の用途を最も良く説明し、考えられる特定の使用に適しているように様々な修正を有する様々な例に対する開示を当業者が理解することができるために、選択例又は複数の選択例を、選択して説明する。
VI.実験分類結果
[000112] 細胞の細胞画像(即ち、2つ以上の脱焦明視野画像から判定される合成画像)から判定される1つ又は複数の計量を使用する場合、細胞の分類は改善される。図14A及び図14Bは、カンプトテシン(細胞死を引き起こすことができる細胞傷害性化合物、「CMP」)又は実験対照化合物(「VEH」)で処理された多くの標本にわたる生存又は死亡としての細胞の分類の精度を示す。図14Aは、標本の細胞毎分割マスク(例えば、区域、周辺)及び標本の位相差画像(例えば、位相差平均輝度)から判定される計量のセットに基づく分類を示す。図14Bは、標本の細胞画像(例えば、細胞画像平均輝度)から判定される上述の計量及び追加計量に基づく分類を示す。図14A及び図14Bに表す全細胞にわたる全精度は、0.82から0.94に増加し、(「陽性」クラスとして生存細胞を用いて)F1統計値は、0.89から0.96に増加した。
[000113] 図15A及び図15Bは、時間に応じた多くの標本における判定細胞死亡率での生存又は死亡としての細胞の分類のこの改善精度の効果を示す。図15Aは、標本の細胞毎分割マスク(例えば、区域、周辺)及び標本の位相差画像(例えば、位相差平均輝度)から判定されるような経時的判定細胞死亡率の標本を示す。赤線は、訓練モデルによって判定されるような率である一方、青線は、真の率である。図15Bは、標本の細胞画像(例えば、細胞画像平均輝度)から判定される上述の計量及び追加計量を用いて訓練モデルから判定されるような経時的判定細胞死亡率の標本を示す。
[000114] 本明細書に記載の分類方法は、フルオロフォアベースの方法の精度に近い精度を有する細胞の分類を容易にする。これは、蛍光標識の使用に伴うことがある高コスト、複雑さ、又は実験の面倒な影響なしで、正確な分類を可能にする。実験において、アネキシンV試薬の存在下で72時間、細胞傷害性化合物カンプトテシン(0.1~10μM)の濃度を増加して、A549細胞を処理した。細胞を、蛍光アネキシン応答(生存細胞=低蛍光、死亡細胞=高蛍光)に基づいて死亡又は生存として分類した。アネキシンVベースの分類の結果を、図16Aに示す。死亡細胞(10μM、72時間)及び生存細胞(賦形剤、0~72時間)の無標識特徴を用いてモデルを訓練するために、本明細書に記載の計量ベースの方法を使用した。次に、アネキシンV応答と比較できる%死亡細胞を取得するために、このモデルを、生存又は死亡としてクラス細胞に適用した。この無標識分類の結果を、図16Bに示す。図16Cは、アネキシンV又は無標識方法を用いて計算されるような72時間での%死亡の濃度応答曲線のオーバーレイを示し、これは、濃度範囲にわたる予測応答が比較できることを示し、EC50値は、同様であったことを示している(アネキシンV EC50=6.6 E-07;無標識EC50=5.3 E-07 M-1)。

Claims (22)

  1. 細胞の分類のための方法であって、
    複数の生物学的標本の画像のセットを取得することであって、画像の前記セットは、前記複数の生物学的標本の各標本の少なくとも1つの画像を含むことと、
    前記複数の生物学的標本内の細胞の第1のセットの表示を取得し、前記複数の生物学的標本内の細胞の第2のセットの表示を取得することであって、細胞の前記第1のセットを第1の状態に関連付け、細胞の前記第2のセットを第2の状態に関連付けることと、
    画像の前記セット、細胞の前記第1のセットの前記表示、及び細胞の前記第2のセットの前記表示に基づいて、計量の第1の複数のセットを判定することであって、計量の前記第1の複数のセットは、細胞の前記第1のセットの各細胞に対する計量のセット、及び細胞の前記第2のセットの各細胞に対する計量のセットを含むことと、
    計量の前記第1の複数のセットに基づいて、教師あり学習アルゴリズムを使用してモデルを生成し、細胞の前記第1のセットにおける細胞と細胞の前記第2のセットにおける細胞を区別し、これによって、訓練モデルを生成することと、
    画像の前記セットに基づいて、計量の第2の複数のセットを判定することであって、計量の前記第2の複数のセットは、標的標本に存在する各細胞に対する計量のセットを含むことと、
    前記標的標本における細胞を分類することであって、前記細胞を分類することは、前記訓練モデルを前記細胞に対する計量の前記セットに適用することを含むことと、
    を含む方法。
  2. 前記訓練モデルを前記細胞に対する計量の前記セットに適用することは、前記細胞の計量の前記セットに基づいてモデル出力値を生成することを含み、前記細胞を分類することは、前記モデル出力値を閾値と比較することを更に含む、請求項1に記載の方法。
  3. 前記標的標本の注釈付き画像を表示することであって、前記標的標本の前記注釈付き画像は、前記細胞及び前記細胞の前記分類の表示を含むことと、
    更新閾値を示すユーザ入力を受信することと、
    前記モデル出力値を前記更新閾値と比較することによって前記細胞を再分類することと、
    前記標的標本の更新注釈付き画像を表示することであって、前記標的標本の前記更新注釈付き画像は、前記細胞及び前記細胞の前記再分類の表示を含むことと、
    を更に含む、請求項2に記載の方法。
  4. 前記細胞に対する計量の前記セットを判定することは、サイズ計量、形状記述子計量、テクスチャ計量、又は強度ベース計量のうち、少なくとも1つを判定することを含む、請求項1~3のいずれか一項に記載の方法。
  5. 前記訓練モデルは、主成分分析、独立成分分析、サポートベクターマシン、人工ニューラルネットワーク、ルックアップテーブル、回帰木、回帰木の集合、決定木、決定木の集合、k近傍法、ベイズ推論、又はロジスティック回帰のうち、少なくとも1つを含む、請求項1~4のいずれか一項に記載の方法。
  6. 前記標的標本は、前記標的標本に対する焦点面を中心とする1つ又は複数の細胞を含み、前記標的標本を示す画像の前記セットの前記画像は、位相差画像及び1つ又は複数の明視野画像を含み、前記1つ又は複数の明視野画像は、前記焦点面で集束されない前記標的標本の画像を表す少なくとも1つの明視野画像を含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記1つ又は複数の明視野画像は、第1の明視野画像及び第2の明視野画像を含み、前記第1の明視野画像は、前記焦点面を超える第1の脱焦距離で集束される前記標的標本の画像を表し、前記第2の明視野画像は、前記焦点面未満の第2の脱焦距離で集束される前記標的標本の画像を表し、
    前記方法が、前記第1及び第2の明視野画像に基づいて前記標的標本の細胞画像を判定することを更に含み、前記細胞に対する計量の前記セットを判定することは、前記細胞画像に基づいて少なくとも1つの計量を判定することを含む、請求項6に記載の方法。
  8. 蛍光マーカーは、細胞の前記第1のセットの細胞及び細胞の前記第2のセットの細胞に存在し、前記蛍光マーカーは、前記標的標本に存在しない、請求項1~7のいずれか一項に記載の方法。
  9. 細胞の前記第1のセット及び細胞の前記第2のセットの全部を、第1のマルチウェル標本プレートのウェル内に配置し、前記標的標本を、第2のマルチウェル標本プレートのウェル内に配置する、請求項1~8のいずれか一項に記載の方法。
  10. 細胞の前記第1のセット、細胞の前記第2のセット、及び前記標的標本の全部を、マルチウェル標本プレートのウェル内に配置する、請求項1~9のいずれか一項に記載の方法。
  11. 前記マルチウェル標本プレートのウェルの相対位置の表示を表示することを更に含み、細胞の前記第1のセットは、前記マルチウェル標本プレートのウェルの第1のセットに存在し、細胞の前記第2のセットは、前記マルチウェル標本プレートのウェルの第2のセットに存在し、細胞の前記第1のセットの前記表示及び細胞の前記第2のセットの前記表示を取得することは、前記マルチウェル標本プレートのウェルの前記相対位置の前記表示を表示した後、前記マルチウェル標本プレート内でウェルの前記第1のセットの前記相対位置及びウェルの前記第2のセットの前記相対位置を示すユーザ入力を受信することを含む、請求項10に記載の方法。
  12. 前記訓練モデルを生成する前に、計量の前記第1の複数のセットにおける少なくとも1つの計量を正規化すること、細胞の前記第1のセットの各細胞に対する計量の前記セットと細胞の前記第2のセットの各細胞に対する計量の前記セットとの間で計量の前記第1の複数のセットを合成的に平衡させること、及び計量の前記第1の複数のセットの副標本をとることのうち少なくとも1つを実行することによって、計量の前記第1の複数のセットを前処理することを更に含む、請求項1~11のいずれか一項に記載の方法。
  13. 細胞の前記第1のセット及び細胞の前記第2のセットは、蛍光マーカーを含み、前記複数の生物学的標本の画像の前記セットは、細胞の前記第1のセットを示す少なくとも1つの蛍光画像及び細胞の前記第2のセットを示す少なくとも1つの蛍光画像を含み、前記複数の生物学的標本内の細胞の前記第1のセットの前記表示を取得することは、細胞の前記第1のセットを識別するために、細胞の前記第1のセットを示す前記少なくとも1つの蛍光画像を使用することを含み、
    前記複数の生物学的標本内の細胞の前記第2のセットの前記表示を取得することは、細胞の前記第2のセットを識別するために、細胞の前記第2のセットを示す前記少なくとも1つの蛍光画像を使用することを含む、請求項1~12のいずれか一項に記載の方法。
  14. 前記標的における前記細胞を分類することは、生存又は死亡として前記細胞を分類すること、幹細胞又は成熟細胞として前記細胞を分類すること、上皮又は間葉として前記細胞を分類すること、又は未分化細胞又は分化細胞として前記細胞を分類することのうち、少なくとも1つを含む、請求項1~13のいずれか一項に記載の方法。
  15. 細胞の分類のための方法であって、
    標的標本の3つ以上の画像を取得することであって、前記標的標本は、前記標的標本に対する焦点面を中心とする1つ又は複数の細胞を含み、前記3つ以上の画像は、位相差画像、第1の明視野画像、及び第2の明視野画像を含み、前記第1の明視野画像は、前記焦点面を超える第1の脱焦距離で集束される前記標的標本の画像を表し、前記第2の明視野画像は、前記焦点面未満の第2の脱焦距離で集束される前記標的標本の画像を表すことと、
    前記第1及び第2の明視野画像に基づいて前記標的標本の細胞画像を判定することと、
    前記細胞画像及び前記位相差画像に基づいて前記標的標本に対する標的分割マップを判定することと、
    前記標的標本の前記2つ以上の画像及び前記標的分割マップに基づいて、前記標的標本に存在する各細胞に対する計量のセットを判定することと、
    前記標的標本における細胞を分類することであって、前記細胞を分類することは、前記細胞の計量の前記セットを訓練分類子に適用することを含むことと、
    を含む方法。
  16. 前記細胞に対する計量の前記セットを判定することは、サイズ計量、形状記述子計量、テクスチャ計量、又は強度ベース計量のうち、少なくとも1つを判定することを含む、請求項15に記載の方法。
  17. 前記細胞の計量の前記セットを判定することは、前記位相差画像に基づいて前記細胞の計量の前記セットの少なくとも1つの計量を判定することを含む、請求項15又は16に記載の方法。
  18. 前記第1及び第2の明視野画像に基づいて前記標的標本に対する前記標的分割マップを判定することは、少なくとも前記第1及び第2の明視野画像及び前記位相差画像を畳み込みニューラルネットワークに適用することを含む、請求項15~17のいずれか一項に記載の方法。
  19. 細胞の分類のための方法であって、
    標的標本の2つ以上の画像を取得することであって、前記標的標本は、前記標的標本に対する焦点面を中心とする1つ又は複数の細胞を含み、前記2つ以上の画像は、位相差画像及び1つ又は複数の明視野画像を含み、前記1つ又は複数の明視野画像は、前記焦点面で集束されない前記標的標本の画像を表す少なくとも1つの明視野画像を含むことと、
    前記2つ以上の画像に基づいて、前記標的標本に存在する各細胞に対する計量のセットを判定することと、
    訓練モデルを前記細胞に対する計量の前記セットに適用することによって前記標的標本における細胞を分類することと、
    を含む方法。
  20. 前記標的標本の前記2つ以上の画像は、第1の明視野画像及び第2の明視野画像を含み、前記第1の明視野画像は、前記焦点面を超える第1の脱焦距離で集束される前記標的標本の画像を表し、前記第2の明視野画像は、前記焦点面未満の第2の脱焦距離で集束される前記標的標本の画像を表し、
    前記方法が、前記第1及び第2の明視野画像に基づいて前記標的標本の細胞画像を判定することを更に含み、前記細胞に対する計量の前記セットを判定することは、前記細胞画像に基づいて少なくとも1つの計量を判定することを含む、請求項19に記載の方法。
  21. 計算デバイスの1つ又は複数のプロセッサによって実行される場合、請求項1~20のいずれか一項に記載の方法を実行する制御器動作を前記計算デバイスに実行させる少なくともコンピュータ可読命令を記憶するように構成されている非一時的コンピュータ可読媒体。
  22. 生物学的標本を検定するシステムであって、
    光学顕微鏡と、
    1つ又は複数のプロセッサを含む制御器と、
    前記制御器によって実行される場合、請求項1~20のいずれか一項に記載の方法を実行する制御器動作を前記制御器に実行させる少なくともコンピュータ可読命令を記憶するように構成されている非一時的コンピュータ可読媒体と、
    を含むシステム。
JP2023519004A 2020-11-17 2021-11-15 細胞を分類する方法 Pending JP2023549020A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/099,983 US20210073513A1 (en) 2019-02-01 2020-11-17 Method for Classifying Cells
US17/099,983 2020-11-17
PCT/US2021/059419 WO2022108885A1 (en) 2020-11-17 2021-11-15 Method for classifying cells

Publications (1)

Publication Number Publication Date
JP2023549020A true JP2023549020A (ja) 2023-11-22

Family

ID=78844931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023519004A Pending JP2023549020A (ja) 2020-11-17 2021-11-15 細胞を分類する方法

Country Status (5)

Country Link
EP (1) EP4248357A1 (ja)
JP (1) JP2023549020A (ja)
KR (1) KR20230104954A (ja)
CN (1) CN116348921A (ja)
WO (1) WO2022108885A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024056762A1 (en) * 2022-09-15 2024-03-21 Nanolive Sa Digital system for cell assays using label free microscopy
CN116453116B (zh) * 2023-06-20 2023-09-08 杭州济扶科技有限公司 一种高适应性的明场细胞活死分类算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103081B2 (en) * 2008-03-10 2012-01-24 Cambridge Research & Instrumentation, Inc. Classification of samples
WO2015168026A2 (en) * 2014-04-28 2015-11-05 The Broad Institute, Inc. Method for label-free image cytometry
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
US10885631B2 (en) * 2019-02-01 2021-01-05 Essen Instruments, Inc. Label-free cell segmentation using phase contrast and brightfield imaging

Also Published As

Publication number Publication date
EP4248357A1 (en) 2023-09-27
WO2022108885A1 (en) 2022-05-27
CN116348921A (zh) 2023-06-27
KR20230104954A (ko) 2023-07-11

Similar Documents

Publication Publication Date Title
Landau et al. Artificial intelligence in cytopathology: a review of the literature and overview of commercial landscape
US10657643B2 (en) Medical image analysis for identifying biomarker-positive tumor cells
William et al. A pap-smear analysis tool (PAT) for detection of cervical cancer from pap-smear images
Zeune et al. Deep learning of circulating tumour cells
JP7364682B2 (ja) 位相差および明視野イメージングを用いた無標識細胞セグメンテーション
CN111448569B (zh) 存储和检索数字病理学分析结果的方法
Sommer et al. Learning-based mitotic cell detection in histopathological images
US20210073513A1 (en) Method for Classifying Cells
JP2021503666A (ja) 単一チャネル全細胞セグメンテーションのためのシステム及び方法
BenTaieb et al. A structured latent model for ovarian carcinoma subtyping from histopathology slides
WO2015195609A1 (en) Analyzing digital holographic microscopy data for hematology applications
JP2023549020A (ja) 細胞を分類する方法
Goceri et al. Quantitative validation of anti‐PTBP1 antibody for diagnostic neuropathology use: Image analysis approach
Kulikova et al. Nuclei extraction from histopathological images using a marked point process approach
Apou et al. Detection of lobular structures in normal breast tissue
US11803963B2 (en) Computational model for analyzing images of a biological specimen
Sunny et al. Oral epithelial cell segmentation from fluorescent multichannel cytology images using deep learning
Niederlein et al. Image analysis in high content screening
US20230105948A1 (en) Training a machine-learned algorithm for cell counting or for cell confluence determination
CN115689984A (zh) 一种基于线粒体的单细胞特征提取和分析方法及系统
Johny et al. Optimization of CNN model with hyper parameter tuning for enhancing sturdiness in classification of histopathological images
KR20230063147A (ko) 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
Kabir et al. The utility of a deep learning-based approach in Her-2/neu assessment in breast cancer
Hattori et al. Tumor-identification method for predicting recurrence of early-stage lung adenocarcinoma using digital pathology images by machine learning
Mete et al. Automatic identification of angiogenesis in double stained images of liver tissue