JP2023516091A - 自動蛍光イメージング及び単一細胞セグメンテーション - Google Patents

Abstract

蛍光顕微鏡によって生成された画像中の単一細胞及び他のオブジェクトの、自動化された、教師なしの、パラメータフリーであるセグメンテーションのためのシステム及び方法。システム及び方法は、初期画像品質の向上及び画像上の自動セグメンテーションの向上の両方に関する。これらの方法は典型的には、メモリに記憶された適切なソフトウェアを実行するコンピュータ又はプロセッサによってデジタル画像上で実行される。【選択図】図１

Description

関連出願の相互参照
本出願は、２０２０年３月５日に出願された米国仮特許出願第６２／９８５，５３９号の利益を主張し、その開示全体が参照により本明細書に組み込まれる。

技術分野
本開示は、デジタル画像の解析の分野に関し、特に、蛍光顕微鏡によって生成されたデジタル画像に対して単一細胞又は他のオブジェクトのセグメンテーションを実行するための、蛍光顕微鏡によって生成されたデジタル画像の自動解析に関する。

フローサイトメータ（ＦＣＭ）及び蛍光活性化細胞ソータ（ＦＡＣＳ）は、現在、細胞の特徴付けのための主要なツールのうちの一部である。両方のシステムは、蛍光抗体又は他の蛍光プローブ（フルオロフォア）を利用して、対象の特定の特徴を有する細胞にタグを付け、次いで、蛍光光を検出して標的細胞を位置付ける。両方のシステムは、生物医学研究及び臨床診断の両方で広く使用されており、細胞の物理的特性（例えば、細胞サイズ及び形状）並びに生化学的特性（例えば、細胞周期分布及びＤＮＡ量）を研究するために使用することができる。フローサイトメトリーはまた、ある特定の細胞疾患の進行を監視するための貴重な臨床ツールとなっている。

対象の細胞に関する情報は、典型的には光学的に取得される。ＦＣＭ／ＦＡＣＳは、ある特定の光入力に露光されたときにある特定の波長で蛍光する特定のタグ付きプローブの導入を伴い、タグ付きプローブを対象の標的に接続させることにより、プローブが付着した個々の細胞の識別を可能にする。ＦＣＭ／ＦＡＣＳでは、測定された信号が純粋ではないことを認識する必要がある。蛍光は、典型的には、光電子増倍管（ＰＭＴ）などのデバイスによって光学的に検出され、ＰＭＴは、マーカからの光に加えて、細胞の背景信号（光害）及び自己蛍光を受信する。更に、マーカからの特異的な光でさえ、試料中に存在する非特異的に結合したマーカから取得され得る。これは、対象の値である、細胞上又は細胞内の標的分子に付着した、特異的に結合したマーカに追加される。

所望の結果の決定用としては、特異的に結合されたマーカの信号のみが適切であり、測定された信号の残りは「ノイズ」又は誤差とみなされる。この誤差は、特定の信号が多分に所望の感度で測定されることを阻害し、特定の信号の強度が低くかつノイズの強度が比較的高い場合には、特定の信号がノイズの中で「消える」可能性があり、誤った陰性結果につながる。したがって、ノイズ量（信号対ノイズ比）は、測定の検出感度に影響を与える。更に、測定された陽性値及び陰性値が区別不能になる場合があるため、ノイズはまた、陽性細胞集団と陰性細胞集団との間の区別に影響を及ぼし得る。

測定誤差の主な理由は、検出デバイスの小さなダイナミックレンジ内の背景信号（汚れ）、細胞の高い自己蛍光信号、マーカの細胞への非特異的結合、及び染色プロセス中に生じる変動（例えば、異なるマーカ濃度、マーカの標識、又は染色条件）である。非特異的な背景信号を可能な限り減少させることが望ましいが、ＦＣＭ／ＦＡＣＳベースの方法は、背景信号を減少させる可能性が限られている。原則的に、ＦＣＭ／ＦＡＣＳデバイスの基本的な背景信号は、干渉信号の蓄積又は検出を避けることによってのみ、減少させることができる。

検出デバイスの背景信号及び細胞の自己蛍光を排除するために、現在知られている方法は、典型的には、調査対象の細胞をフルオロフォアで処理しない対照試料を使用し、この試料からの背景及び自己蛍光の値を実際の測定実行から減算する。しかし、このアプローチには多くの欠点がある。２つの異なる細胞集団を比較することによって、追加の測定誤差がしばしば生じる。これは、集団が、調査したマーカの密度、年齢、発現強度などが異なる場合があることに起因する。更に、（細胞を除く）試料材料の蛍光は、それらの製造プロセス又はそれらの組成物の変動に起因して、異なる試料間で変動する場合がある。最後に、また多くの場合、最も重要なことに、対照試料値は、典型的には、対照試料測定に基づいて計算された平均値であり、個々の細胞間に存在する変動を考慮しない。

ＦＡＣＳ、及びより一般的な生物学的システムのデジタル画像の解析の主な問題のうちの１つは、セグメンテーションの必要性である。セグメンテーションは、典型的には、細胞の生成されたデジタル画像内の細胞の境界の識別の必要性を指す。一旦取得されると、それらのフルオロフォアを使用して生成されたなどのデジタル画像は、個々の細胞を識別できるように、例えば、したがってそれらをカウントできるように、セグメンテーションされる必要がある。セグメンテーションは、典型的には、アルゴリズムを使用して実行される。ウォーターシェッド変換は、細胞の画像をセグメンテーションするために使用されてきた１つの画像処理技術である。ウォーターシェッド変換により、デジタル画像は、三次元トポロジカル表面としてモデル化され得、ここでは、画素の強度値が、地理的高さを表す。したがって、より多くのフルオロフォアに関連付けられたアイテム（例えば、細胞の核であり得る）は、ピーク又は「火山」として識別される一方で、細胞壁は、ピーク間の谷となり得る。

しかしながら、多くのセグメンテーションアルゴリズムの問題は、異なる組織型及び細胞の組織構造のばらつきである。したがって、ある特定のアルゴリズムは、特定の種類の細胞への適応又は訓練なしに、正確なセグメンテーションを作成しない場合がある。この違いは、訓練の自動セグメンテーションシステムを非常に困難にする可能性もある。アルゴリズムは、画像をオーバーセグメンテーション（細胞の一部のみが存在する場合に完全な細胞を示す）又はアンダーセグメンテーション（複数の細胞が存在する場合に単一細胞を示す）させる両方の方向に失敗する可能性がある。

問題に対抗するために、米国特許第８，９９５，７４０号で論じられたものを含む代替のアルゴリズムが提案されており、その開示全体が参照により本明細書に組み込まれる。しかしながら、これらのシステムは、基礎となる画像キャプチャ品質に起因して依然として問題を抱えていることが多く、最良のアルゴリズムでさえその可能性を最大限に引き出すことができず、更にこの場合でも、それらは依然として、ある特定の細胞画像において一般的であり得るトポロジカル構造（「環礁」など）のトラブルを抱えていることが多い。

この問題は、細胞の自動解析のための訓練方法が、典型的には、多種多様な異種細胞上で訓練されるため、特に深刻となる。したがって、低い自己蛍光を有する細胞及び高い自己蛍光を有する細胞は、典型的には、同じ平均対照試料値（又は訓練データ）に対して較正され、その結果、低い自己蛍光を有する細胞が偽陰性として評価されやすく、高い自己蛍光を有する細胞が偽陽性として評価される可能性が高い。上記の全ては、検出方法の感度を著しく損なう可能性があるため、既存の方法の欠点を克服し、かつより感受性が高く、信頼性の高い細胞解析を可能にする方法を利用可能にすることが望ましい。

その開示全体が参照により本明細書に組み込まれる米国特許出願第１５／７０８，２２１号は、自己蛍光及び背景ノイズをより効果的にキャンセルするために使用することができるシステム及び方法を提供する。具体的には、これは、一般化された試料又は材料の訓練選択からではなく、テストされる実際の試料から自己蛍光を決定することによって実行される。これは、信号対ノイズ比の実質的な改善を提供する。しかしながら、これらのシステム及び方法は、ハイダイナミックレンジイメージ（ＨＤＲＩ）カメラを利用する高度な較正技術を提供せず、かつ画像がそのように準備されたときに細胞セグメンテーションの精度を向上させることができる高度な処理技術を提供しない。

以下は、本発明のいくつかの態様の基本的な理解を提供するための本発明の要約である。この要約は、本発明の重要又は重大な要素を識別すること、又は本発明の範囲を定めることを意図していない。本節の唯一の目的は、後で提示されるより詳細な説明の前段階として、本発明のいくつかの概念を簡略化された形式で提示することである。

これら及び当技術分野における他の問題のために、とりわけ、細胞イメージングのためのイメージングシステムを較正するための方法が本明細書に記載されており、方法が、幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞をイメージングするためのイメージングシステムを提供することと、自己蛍光のための較正を実行することであって、幅広い自己蛍光波長を有する非染色細胞の試料をイメージングシステムに提供すること、試料に照明源を照明すること、試料を、幅広い蛍光波長の全て、及び幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすること、を含む、実行することと、色収差のための較正を実行することであって、イメージングシステムに細胞の試料を提供すること、試料に照明源を照明すること、細胞の試料の第１の画像を取得すること、細胞の試料に対するイメージングシステムの位置を改めること、及び細胞の試料の新たな画像を取得すること、を含む、実行することと、を含む。

方法の一実施形態では、方法が、方法を実行するための命令を有するメモリを含むデジタルコンピュータによって実行される。

方法の一実施形態では、イメージングシステムの最小光子収集時間が、ダイナミックレンジ内の各波長に対して別々に設定されており、最小光子収集時間が、完全なダイナミックレンジ内の全ての値の検出に対して十分である。

方法の一実施形態では、ダイナミックレンジが、全ての波長イメージングシステム画像を含む。

方法の一実施形態では、イメージングシステムが、デジタルグレースケールカメラを備える。

方法の一実施形態では、カメラが、フルオロフォアに基づいたフィルタセットを備える。

方法の一実施形態では、カメラが、ハイダイナミックレンジイメージング（ＨＤＲＩ）カメラである。

方法の一実施形態では、カメラが、露光融合によってハイダイナミックレンジ（ＨＤＲ）を生成して、改善されたコントラストを提供する。

方法の一実施形態では、フルオロフォアでタグ付けされた細胞が、非染色細胞とは異なる種類の細胞である。

方法の一実施形態では、細胞の試料が、非染色細胞の試料とは異なる種類の細胞である。

方法の一実施形態では、細胞の試料が、非染色細胞の試料である。

一実施形態における、細胞画像を解析するための方法も本明細書に記載されており、方法が、幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞の試料を提供すること、試料に照明源を照明すること、幅広い蛍光波長にわたって照明された試料をイメージングして、試料画像を作成すること、試料画像から較正画像を減算して、較正された画像を作成すること、画像をトポロジカル曲線として表すことであって、各曲線画素における曲線の高さが、較正された画像内の画像画素における蛍光の強度を表す、表すこと、トポロジカル曲線を、選択された高さを上回る高さを有する画素グループがあるか検索すること、選択された高さよりも低い新たな高さを選ぶこと、選択された高さとして新たな高さを使用して検索することを繰り返すこと、並びに識別された画素グループごとに、画素群から離れたトポロジカル曲線の凸状の境界をたどって、凸状の側面で屈曲が減少している変曲点に達すること、及び凸状の境界を識別することであって、画素群が、較正された画像内の細胞として含まれる、識別すること、を含む。

方法の一実施形態では、方法が、方法を実行するための命令を有するメモリを含むデジタルコンピュータによって実行される。

方法の一実施形態では、較正画像が、幅広い自己蛍光波長を有する非染色細胞の試料をイメージングシステムに提供することと、試料に照明源を照明することと、試料を、幅広い蛍光波長の全て、及び幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすることと、を含む方法によって形成される。

方法の一実施形態では、イメージングシステムの最小光子収集時間が、ダイナミックレンジ内の各波長に対して別々に設定されており、最小光子収集時間が、完全なダイナミックレンジ内の全ての値の検出に対して十分である。

方法の一実施形態では、ダイナミックレンジが、全ての波長イメージングシステム画像を含む。

一実施形態では、方法が、試料画像を取得する前に、イメージングシステム上で色収差のための較正を実行することを更に含み、較正が、細胞の試料を照明源で照明すること、第１の位置においてイメージングシステムから細胞の試料の第１の画像を取得すること、イメージングシステムを、細胞の試料に対して第２の異なる位置に移動させること、細胞の試料の第２の画像を取得すること、並びに試料画像を生成する際に、第１の画像が第２の画像と比較して最適化される場合、イメージングシステムを第１の位置に位置決めすること、及びそうではない場合、イメージングシステムを配置すること、を含む。

方法の一実施形態では、イメージングシステムが、フルオロフォアに基づくフィルタセットを備えたデジタルグレースケールカメラを備える。

方法の一実施形態では、イメージングシステムが、ハイダイナミックレンジイメージング（ＨＤＲＩ）カメラを備える。

方法の一実施形態では、イメージングシステムが、露光融合によってハイダイナミックレンジ（ＨＤＲ）を生成して、改善されたコントラストを提供する。

方法の一実施形態では、較正された画像が、ニューラルネットワークを訓練するために使用される。

細胞セグメンテーションのための画像を準備するために使用され得る自動画像処理のための方法の一実施形態のフローチャートを示す。 一般的なＣＣＤチップの感度曲線を示す。 画像収集が第１の較正に従って較正された、２つの隣接する細胞のトポロジカル表現を示す。 第１の較正に従って較正された画像収集なしの、図３Ａの２つの隣接する細胞のトポロジカル表現を示す。 標準的なローダイナミックレンジカメラでイメージングされたＦＣＭのセグメンテーション困難なエリアを示す。 ハイダイナミックレンジイメージング（ＨＤＲＩ）カメラでイメージングされた図４Ａのセグメンテーション困難なエリアを示す。 ローダイナミックレンジカメラのヒストグラムを示す。具体的には、８ｂｉｔのダイナミックレンジを有する顕微鏡カメラである。 図５Ａと同じ画像におけるハイダイナミックレンジイメージング（ＨＤＲＩ）カメラのヒストグラムを示す。 対応する自己蛍光画像の減算の前の、核を染色した肝臓切片を示す。 対応する自己蛍光画像の減算後の、図６Ａの肝臓切片を示す。 形状及び染色強度のばらつきにより特にセグメンテーションが困難な画像の一部分を示す。 逆ウォーターシェッド方法論を利用した、異なる「水位」を有するシード及び細胞の識別を示す２Ｄトポロジカル曲線を示す。 シードが識別された画像の一部を示す。

図１は、蛍光顕微鏡によって生成された画像中の単一細胞及び他のオブジェクトの、自動化された、教師なしの、パラメータフリーであるセグメンテーションのための方法の一実施形態のフローチャートを提供する。この方法は、典型的には、メモリに記憶された適切なソフトウェアを実行するコンピュータ又はプロセッサによってデジタル画像上で実行されることとなる。しかしながら、代替の実施形態では、方法は、回路などであるがこれに限定されない電気機械ハードウェアを通じて実装されてもよい。システム及び方法は、典型的には、電荷結合デバイス（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）のようなデジタル画像センサを備えた自動顕微鏡の動作の一部として、又はそれとともに提供されることとなる。そのようなソフトウェア又はそのように設計されたハードウェアと組み合わせたコンピュータは、本発明のシステムの一実施形態を含み、細胞又は他の生体組織解析の他の要素と連動したそのような要素も同様である。

本開示全体を通して、「コンピュータ」という用語は、一般に、デジタルコンピューティング技術、特に、マイクロプロセッサに関連するコンピューティング機能によって提供される機能性を実装するハードウェアを説明する。「コンピュータ」という用語は、任意の特定の種類のコンピューティングデバイスに限定されるものではないが、処理デバイス、マイクロプロセッサ、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ワークステーション、端末、サーバ、クライアント、ポータブルコンピュータ、ハンドヘルドコンピュータ、スマートフォン、タブレットコンピュータ、モバイルデバイス、サーバファーム、ハードウェア機器、ミニコンピュータ、メインフレームコンピュータ、ビデオゲームコンソール、ハンドヘルドビデオゲーム製品、並びにアイウェア、リストウェア、ペンダント、及びクリップオンデバイスを含むがこれらに限定されないウェアラブルコンピューティングデバイスを含むが、これらに限定されない、全てのコンピュータによるデバイスを含むことが意図されている。

本明細書で使用される場合、「コンピュータ」は、特定の役割のコンピュータに特有のハードウェア及びアクセサリを装備する単一のコンピュータデバイスによって提供される機能性の抽象的概念である必要がある。限定ではなく例として、ラップトップコンピュータに関しての「コンピュータ」という用語は、マウス又はトラックパッドなどのポインタベースの入力デバイスによって提供される機能性を含むことが当業者によって理解されるであろうが、エンタープライズクラスのサーバに関して使用される「コンピュータ」という用語は、ＲＡＩＤドライブ及びデュアル電源などの冗長システムによって提供される機能性を含むことが当業者によって理解されるであろう。

単一のコンピュータの機能性がいくつかの個々の機械にわたって分散されてもよいことは、当業者にも周知である。この分散は、特定の機械が特定のタスクを実行する場合のように機能的であってもよく、又は、各機械が、任意の他の機械のほとんど若しくは全ての機能を実行することができ、ある時点でその利用可能なリソースに基づいてタスクを割り当てられる場合のようにバランスが取れていてもよい。したがって、本明細書で使用される場合、「コンピュータ」という用語は、単一の、スタンドアロンの、自己完結型のデバイス、又はネットワークサーバファーム、「クラウド」コンピューティングシステム、サービスとしてのソフトウェア、若しくは他の分散型若しくは協働型コンピュータネットワークを含むがこれらに限定されない、ともに若しくは独立して稼働する複数の機械を指し得る。

当業者はまた、従来「コンピュータ」として考えられていないいくつかのデバイスが、それにもかかわらず、ある特定の文脈において「コンピュータ」の特徴を示すことを理解する。そのようなデバイスが、本明細書に記載の「コンピュータ」の機能を実行している場合、「コンピュータ」という用語は、その程度までのそのようなデバイスを含む。この種類のデバイスには、ネットワークハードウェア、プリントサーバ、ファイルサーバ、ＮＡＳ及びＳＡＮ、ロードバランサ、並びに従来の「コンピュータ」に関する本明細書に記載のシステム及び方法と対話することができる任意の他のハードウェアが含まれるが、これらに限定されない。

本開示全体を通して、「ソフトウェア」という用語は、コードオブジェクト、プログラムロジック、コマンド構造、データ構造及び定義、ソースコード、実行可能かつ／若しくはバイナリファイル、機械コード、オブジェクトコード、コンパイルされたライブラリ、実装、アルゴリズム、ライブラリ、又はコンピュータプロセッサによって実行可能な、若しくは仮想プロセッサを含むがこれらに限定されないコンピュータプロセッサによるか、若しくは実行タイム環境、仮想機械、及び／若しくはインタプリタの使用によって実行可能な形式に変換可能な、任意の命令若しくは命令のセットを指す。当業者は、ソフトウェアがマイクロチップに限定されないものを含むハードウェアに配線又は埋め込まれてもよく、依然として本開示の意味の範囲内の「ソフトウェア」とみなされてもよいことを認識している。本開示の目的に対して、ソフトウェアは、ＲＡＭ、ＲＯＭ、フラッシュメモリＢＩＯＳ、ＣＭＯＳ、マザー及びドーターボード回路、ハードウェアコントローラ、ＵＳＢコントローラ又はホスト、周辺デバイス及びコントローラ、ビデオカード、オーディオコントローラ、ネットワークカード、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び他の無線通信デバイス、仮想メモリ、記憶デバイス及び関連コントローラ、ファームウェア、並びにデバイスドライバに記憶又は記憶可能な命令を含むが、これらに限定されない。本明細書に記載のシステム及び方法は、典型的には、コンピュータ若しくは機械可読記憶媒体又はメモリに記憶されたコンピュータ及びコンピュータソフトウェアを使用することが企図されている。

本開示全体を通して、「媒体」、「記憶媒体」、及び「メモリ」などの用語を含むが、これらに限定されない、媒体保持ソフトウェアを説明又は参照するために本明細書で使用される用語は、信号及び搬送波などの一過性媒体を含み得るか、又は除外し得る。

本開示全体を通して、「リアルタイム」という用語は、一般に、特定の動作コンテキストに対する時間の経過の通常のユーザの知覚における参照イベントと事実上一般的に同時に発生した動作期限内の、ソフトウェア性能及び／又は応答時間を指す。当業者は、「リアルタイム」が必ずしもシステムが即座に又は瞬時に実行又は応答することを意味しないことを理解する。例えば、当業者は、動作コンテキストがグラフィカルユーザインタフェースである場合、「リアルタイム」は通常、ミリ秒又はマイクロ秒が好ましい、システムからの少なくとも何らかの応答様式のための実際の時間である約１秒の応答時間を意味することを理解する。しかしながら、当業者はまた、他の動作コンテキストの下で、「リアルタイム」で動作するシステムが、複数のデバイス及び／若しくは特定のデバイス上若しくはデバイス間における追加の処理、又はデバイス間でのデータ交換のための複数のポイントツーポイントのラウンドトリップを含み得るネットワーク動作が関与している場合など、１秒よりも長い遅延を示す場合があることを理解する。当業者は、人間又は複数の人間による「リアルタイム」な実行と比較した、コンピュータシステムによる「リアルタイム」な実行の区別を更に理解するであろう。ある特定の方法又は機能をリアルタイムで実行することは、人間には不可能であり得るが、コンピュータには可能であり得る。人間又は複数の人間が最終的にコンピュータ化されたシステムと同じ又は類似の出力を作成し得る場合でも、必要な時間は、出力の消費者が出力を待つ時間よりも長いため、出力を無価値又は無意味なものにすることとなり、又は計算の数及び／若しくは複雑さのため、出力の商業的価値は、それを作成するコストの分だけ上回ることとなる。

米国特許出願第１５／７０８，２２１号はまた、本明細書の考察に関連しており、これらの定義は、本明細書で使用されるこれらの用語の定義として参照により具体的に組み込まれる。

本画像解析は、典型的には、解析結果が研究及び診断、又は臨床の両方の場面で容易に使用可能になるように、かつ画像解析を介して示される疾患の治療の選択のために、コンピュータによってリアルタイムで実行される。更に、プロセスは典型的には自動化され、それによって、画像解析は、最小限の人間の介入又は人間の介入なしのいずれかで実行することができる。具体的には、画像解析は、典型的には、画像を取得する行為及び／又は画像内の細胞のセグメンテーションのための画像を評価する行為を実行するコンピュータによって、人間が解析を支援する必要なしで実行される。ほとんどの場合、自動化システムは、セグメンテーションされた画像を利用して、人間のユーザに対象の細胞の更なる評価を提供することができる他の自動化システムと更に組み合わせられることとなるが、これは決して必須ではない。

本システム及び方法は、一実施形態では、細胞セグメンテーションの本質において（画像処理ステップのための改善された入力データを提供するための）画像収集のプロセス及び画像処理の両方を改善するためのシステム及び方法を組み合わせる。しかしながら、当業者は、本明細書で論じられる画像収集が、伝統的な画像処理システム及び方法に改善された画像を提供するために使用され得、かつ代替の実施形態では、伝統的な画像収集システムが、データを本画像処理システムに提供するために使用され得ることを認識するであろう。

本明細書で論じられる画像処理要素は、典型的には、細胞セグメンテーションに関連する入力データの高い不均一性を扱うように設計されている。試料内の不均一性は、例えば、基礎となる細胞（例えば、脳、肝臓、脾臓）の異なる試料源、試料の品質、染色の品質、又は他の要因によって引き起こされ得る。他の実施形態では、本明細書のシステム及び方法は、高い又は低い不均一性を有し得る細胞以外のものを対象とした画像を評価するために使用することができる。例えば、本明細書で論じられる画像収集のためのシステムは、ほぼ全ての蛍光ベースの画像に対する信号対ノイズ比を改善するために使用され得る。更に、画像のセグメンテーションは、個々の生体細胞の検出を提供する必要はないが、セグメンテーションが有用であると判定された画像の他のサブ構成要素を検出するために使用されてもよい。しかしながら、考察を容易にするために、本開示は、細胞（具体的には生体細胞）のイメージング及び個々の細胞を検出するためのそれらの画像のセグメンテーションを例示的な実施形態として利用する。

図１に示すように、システムの方法及び動作は、典型的には最初に、固体基板上に典型的には固定化されることとなる細胞の試料を取得すること（１０１）を含む。これは、当業者に既知の任意の方法によって実行されてもよく、かかる既知の全ての方法が参照により本明細書に組み込まれる。その開示全体が参照により本明細書に組み込まれる、米国特許出願第１５／７０８，２２１号及び第１３／１２６，１１６号は、そのような固定化及び試料調製がどのように行われ得るかの実施形態の例を提供する。

試料が取得されると（１０１）、試料は画像収集システムに露光される（１０３）。画像収集システムは、典型的にはデジタルグレースケールカメラとなり、カメラは典型的には、イメージングに使用されるフルオロフォアに基づいて選択されるフィルタセットを備えることとなる。カメラは典型的には、ハイダイナミックレンジイメージング（ＨＤＲＩ）カメラ、又は露光融合によってＨＤＲを生成して、改善されたコントラストを提供するようにカメラを制御する、ソフトウェアアルゴリズムの形態となる。本明細書で論じられるシステム及び方法は、ＨＤＲＩが、選択されたカメラ並びに利用されているシステム及び方法の特定の実施形態に応じて、複数の露光を用いて、又は単一の露光が提供されるカメラを利用することができる。

画像収集システムは、まず、典型的には２つの較正アクション（２０１）及び（２０３）で較正され得る（１０５）。しかしながら、較正（１０５）は、必ずしも、画像収集（１０７）中に又は画像収集（１０７）と同一の広がりにおいて実行される必要はない。代替的に、較正（１０５）は、システムのセットアップ又はメンテナンス中、イメージングを開始する前の各々の日、又は必要なときに実行することができる。したがって、決定（１０４）は、システムを較正（１０５）するか、又は画像収集（１０７）に直接進むようにされてもよい。更に、較正（１０５）は、システムが典型的には要素（２０３）の後で動作を停止し得るシナリオである後続の画像収集（１０７）なしに実行されてもよい。

第１の較正（２０１）では、画像収集システムは、染色された試料に対して実際のイメージングを行う際に使用されることとなる任意の光源を利用して、非染色細胞の自己蛍光、及び任意の固有の背景信号に対して較正される。一実施形態では、最小光子収集時間は、自己蛍光＋蛍光標識されたディテクタの完全なダイナミックレンジ内の各波長に対して、別々に設定されて、全ての値の検出に対する十分な信号を提供する。別の言い方をすれば、イメージングのダイナミックレンジを選択して、それが、カメラによって検出可能な任意の波長、及び染色のために選択されたフルオロフォアのための特定の波長で検出された、任意の自己蛍光又は背景信号を含むことを保証することができる。

この種類の第１の較正（２０１）は、一般に、画像収集システムが検出可能であり、かつ存在し得る異なる波長に関して、画像収集システムの感度の差を補償するために使用される。第１の較正は、典型的には、電流測定に基づいて、何が本試料の背景であり、何が自己蛍光であるかを判定することを可能にし、したがって、これによって、信号が対象であるか、それともノイズであるかを判定するための信号サイズへの依存を低減することができる。

例として、図２は、画像収集システムで使用され得る一般的なＣＣＤチップの感度曲線（４０１）を提供している。図２のチップにおいて、より低い波長及びより高い波長では、より長い露光時間が用いられて、画像収集システムのダイナミックレンジの下限が、用いられた収集波長ごとに、カメラのダイナミックレンジ内の試料内に存在する任意の細胞の自己蛍光を捕捉することができることを保証し得る。システム又は方法の任意の特定のイメージング実行は、カメラの利用可能な範囲のいずれか又は全てを利用し得ることを認識すべきである。この第１の較正（２０１）は、典型的には、ダイナミックレンジと呼ばれるこの特定の試料の収集実行において使用される全ての波長（又は感度及び時間的制約に応じて選択された波長のサブグループ）で実行されることとなる。

第２の較正（２０３）では、画像収集システムを色収差に対して較正する。色収差（通常「レインボー効果」と呼ばれる）は、光子及びレンズの波長並びに／又はチップ設計に依存して、検体上の単一の位置からカメラ上の異なる場所への光子の投影をもたらす。補償されない場合、異なる波長間のｘ軸、ｙ軸、及びｚ軸オフセットは、画像のぼけ又はオフセットにつながり、したがって、セグメンテーションプロセスのための入力データの品質を低下させる。第２の較正（２０３）は、典型的には、第１のラウンドで較正されていない画像を撮影することによって実行される。これらの画像は、実施形態に応じて、染色された試料又は染色されていない試料から撮影されてもよい。第２のラウンド及びその後のラウンドでは、イメージャのｘ、ｙ、及びｚの位置が変更され、試料が一定になる。位置移動は、典型的には、異なる波長に使用される単一のフィルタセット間の最適なｘ、ｙ、及びｚオフセットを見つけるための、段階的又は同様に繰り返し可能な方法である。この較正は、実際のイメージング実行中に用いられることとなる。

図３Ａ及び図３Ｂは、第２の較正（２０３）がどのように画像品質を改善することができるかの一例を示している。図３Ａは、第２の較正で企図されるように画像収集システムが較正された（染色強度を高さとした）トポロジカル表現（６０１）におけるピークとして、２つの隣接する細胞（５０１）及び（５０３）を示している。図３Ｂは、第２の較正が行われていない同じ２つの隣接する細胞（５０１）及び（５０３）を示しており、オフセットイメージングによるぼけを示している。明らかなように、ぼけは、２つの異なる細胞を差別化することをより困難にする。

第２の較正（２０３）が完了した後、画像収集システムは、典型的には、較正されて、画像収集（１０７）を開始する準備ができているとみなされることとなる。画像収集（１０７）は、典型的には、少なくとも２つの、場合によってはより多くの収集パスを含み、次いで、自己蛍光及び背景信号からアーチファクトを除去するための画像の補正（１０９）を含む。第１の収集パス（３０１）は、一般に、染色の前に試料上で行われることとなる。

第１の収集パス（３０１）は、典型的には、イメージングされた全ての波長における自己蛍光の完全なダイナミックレンジをカバーするダイナミックレンジにおいて、したがって、このイメージングのために選択されたカメラのダイナミックレンジ全体を通して実行されることとなる。明らかなように、このダイナミックレンジは、一般には、第１の較正（２０１）が実行されたダイナミックレンジに対応することとなる。第１の画像収集（３０１）はまた、典型的には、後の収集と併せて使用される同じ入力光又は光を用いて実行されることとなる。

この第１のパス（３０１）が完了した後、試料は、フルオロフォア（典型的には、結合剤部分及び蛍光色素部分を有する検出コンジュゲートの形態である）に露光され、所望に応じて染色されることとなる。第２のパス（３０３）は、本質的に、たった今染色された試料上で第１の画像収集パスのステップを繰り返すことを伴うこととなる。収集は、典型的には、蛍光標識されたディテクタ（例えば、抗体、アプタマー）によって明らかにされる自己蛍光＋バイオマーカ発現の完全なダイナミックレンジをカバーするダイナミックレンジにわたって実行されることとなる。簡略化のために、第１の画像収集パス（３０１）及び第２の画像収集パス（３０３）の両方のダイナミックレンジは同じであってもよいが、第１の画像収集パス（３０１）は、自己蛍光のみを求めているため、より小さいダイナミックレンジを利用してもよいことを認識されたい。

図４Ａ及び図４Ｂは、図４Ａのローダイナミックレンジカメラ及び図４ＢのＨＤＲＩカメラで撮影されたセグメンテーション困難なエリアの例を示している。図４Ａ及び図４Ｂの画像から生成されたヒストグラムが、図５Ａ及び図５Ｂに示されており、それによって、標準的な８ｂｉｔのダイナミックレンジを有する標準的な顕微鏡カメラが、約２００のダイナミックレンジの値のみをキャプチャすることができるのに対して、図４ＢのＨＤＲＩ画像のみが、試料によって発せられた蛍光の完全なダイナミックレンジをカバーすることができることを明らかにしている。図４Ａのこのダイナミックレンジの欠如は、アーチファクトの生成、及び画像内の細胞をセグメンテーションする能力を低下させる、鮮明さに欠ける画像をもたらす。

第２の画像収集（３０３）が完了した後、第１のパス画像（３０１）は、典型的には、補正（１０９）において第２の（及び任意の他の後続の）パス画像（３０３）から減算されることとなる。これを行うための方法論は、上記で参照した米国特許出願第１５／７０８，２２１号で論じられており、参照により本明細書に組み込まれる。減算は、画像内に現れる光学系の照明アーチファクトを排除するのに役立ち、また、染色自体によって生成された信号を分かりにくくする自己蛍光信号を低減する。図６Ａは、補正（１０９）の前に核を染色した肝臓切片を示しており、図６Ｂは、補正（１０９）が実行された同切片を示している。

補正（１０９）が完了した後、画像は、典型的には、単一のオブジェクト又は細胞のセグメンテーションのために最適化されたとみなされる。セグメンテーション（１１１）は、当業者に既知の任意のシステム又は方法を使用して実行され得る。しかしながら、オブジェクト形状、試料、及び染色の品質の非常に高い可変性により、オブジェクト認識の高い感度及び特異性を確保するために、堅牢なアルゴリズム又は機械学習アプローチが典型的に好まれることとなる。図７は、形状の可変性及び染色強度に起因する、特にセグメンテーションが困難な画像を示す。

一実施形態では、較正及び最適化されたハイダイナミックレンジ入力画像データが、補正（１０９）までを含んで図１で論じられたシステム及び方法を利用して、多種多様なソースから取得され得る。これらの画像は次いで、単一のオブジェクト及びオブジェクトの境界を当業者に既知の方法で認識するために、教師あり学習及び逆伝播を伴うニューラルネットワーク（又は同様の処理システム）を訓練するために使用され得る。そのような高品質の画像の生成は、アーチファクト及びソース間の差異の排除を支援するため、提供される画像は、幅広いダイナミックレンジ及び蛍光特性を有する不均一なソースからのものであってもよい。あるいは、ニューラルネットワーク（又は同様のもの）は、それが所望される場合、より均質なソース（例えば、１つの種類の細胞のみ）からの画像を提供されてもよい。次いで、このニューラルネットワークは、一実施形態では、セグメンテーション（１１１）を実行するために使用されてもよい。

図７及び図８の実施形態では、セグメンテーション（１１１）は、本明細書では循環シード検出又は「落下水位（ｆａｌｌｉｎｇ ｗａｔｅｒ ｌｅｖｅｌ）」解析と呼ばれる形式の逆ウォーターシェッド変換を使用して画像上で実行される。伝統的なウォーターシェッド変換と併せてのシード検出は、例えば、米国特許第８，９９５，７４０号に論じられており、その開示全体が参照により本明細書に組み込まれる。

本明細書で使用される循環シード検出システム及び方法では、蛍光の強度が各画素の「高さ」を示すために使用され、したがって、トポロジー内のピークが、典型的には、関連する細胞（例えば、細胞核）の標的要素を示す、ウォーターシェッド変換と同様に、トポロジー解析が実施される。これは、上記の図３Ａ及び図３Ｂにも企図されている通りである。しかしながら、ウォーターシェッド変換は、「環礁」又は「噴火した火山」のようなオブジェクト（図８のシード（８１１）のようなオブジェクトであり得る）にとって誤差を生じやすい。これらのようなオブジェクトは、例えば、染色の品質又は自己消失によって生成され得る。実際、伝統的なウォーターシェッド変換には、完璧な「火山」の形状が機能する必要がある。

本明細書で企図されるような逆ウォーターシェッド変換は、トポロジーを水で浸水させる伝統的なウォーターシェッド変換の代わりに、ゆっくりと水を除去する働きをする。図８は、画像の一部からの例示的な２Ｄトポロジカル曲線を提供して、循環シード検出又は逆ウォーターシェッド変換のプロセスの動作を例示している。まず、「高水位」である第１の強度（８０１）が選択される。この強度（８０１）を上回ると識別される任意の画素グループは、シード（８１１）として提供され、個々の細胞に属すると識別されることとなる。図９は、画像内のシード（７１１）の一例を提供している。

図８に戻り、次いで、第２のより低い強度（８０３）が選択され、このより低い強度（８０３）の新しい「水位」（８０３）を「上回る」たった今上昇した追加のシード（８１３）を識別するために、プロセスが繰り返される。この強度の低下及び新たなシードの検索は、典型的には、一貫した段階的な様式で選択された新しいより低いレベルで繰り返されることとなる。図８の実施形態では、２つの追加のレベル（８０５）及び（８０７）が選択され、各々が新しいシード（８１５）及び（８１７）を示している。図８はまた、より伝統的なウォーターシェッド変換の初期読み取りに対応し得るレベル（８０９）を示している。このレベルは、３つのシード（８１１）、（８１３）、及び（８１５）の代わりに、単一のシード（８１９）を生成し得る。

これらのシード（８１１）、（８１３）、（８１５）、及び（８１７）の各々から、その境界を検出する必要がある関連付けられた細胞が存在すると推定される。したがって、シードは、シード（８１１）、（８１３）、（８１５）、及び（８１７）に属する細胞の広がりを判定するためのソースとして使用され得る。これは、典型的には、シード（８１１）、（８１３）、（８１５）、及び（８１７）から離れたトポロジカル曲線の凸状の境界をたどって、凸状の側面で屈曲が減少している屈曲点を探すことによって、「島」の外縁を見つけようとすることによって行われる。図８では、これにより、画像の左側の部分が４つの標的細胞にセグメンテーションされる結果となる。

本発明は、ある特定の実施形態に関連して開示されているが、これは、提供される詳細の全てに限定されるものとみなされるべきではない。記載されている実施形態の修正及び変形は、本発明の趣旨及び範囲から逸脱することなく行われ得、他の実施形態は、当業者によって理解され得るように、本開示に包含されると理解されるべきである。

更に、本開示の任意の単一の構成要素に対して与えられた範囲、値、特性、又は特徴のうちのいずれかは、本明細書全体を通して与えられたように、適合性がある場合、本開示の他の構成要素のうちのいずれかに対して与えられた任意の範囲、値、特性、又は特徴と互換的に使用されて、構成要素の各々に対して定義された値を有する一実施形態を形成してもよいことが理解されよう。更に、属又はカテゴリに提供される範囲は、別段の定めがない限り、属内の種又はカテゴリのメンバーにも適用され得る。

最後に、「一般的に」という修飾語及び本件で使用されている同様の修飾語は、当業者によって、デバイスを修飾された用語に適合させるための認識可能な試みに適応し、それにもかかわらず適合しない場合があると理解され得る。これは、「円形」などの用語は純粋に幾何学的な構成概念であり、現実の構成要素は幾何学的な意味における真の「円」ではないからである。幾何学的及び数学的記述からの変動は、とりわけ、形状変動、欠陥及び不完全性、不均一な熱膨張、及び自然摩耗をもたらす製造公差のために避けられない。更に、オブジェクトごとに、物質の本質に起因して幾何学的及び数学的記述子が失敗するレベルの拡大が存在する。したがって、当業者は、「一般的に」という用語及び本明細書で企図されている関係が、そのような修飾語の包含にかかわらず、これら及び他の考慮事項を考慮して、用語の文字通りの幾何学的意味からの様々な変動を含むことを理解するであろう。

Claims (19)

1. 細胞イメージングのためのイメージングシステムを較正するための方法であって、前記方法が、
   幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞をイメージングするためのイメージングシステムを提供することと、
   自己蛍光のための較正を実行することであって、
   幅広い自己蛍光波長を有する非染色細胞の試料を前記イメージングシステムに提供すること、
   前記試料に照明源を照明すること、
   前記試料を、前記幅広い蛍光波長の全て、及び前記幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすること、を含む、実行することと、
   色収差のための較正を実行することであって、
   前記イメージングシステムに細胞の試料を提供すること、
   前記試料に照明源を照明すること、
   前記細胞の試料の第１の画像を取得すること、
   前記細胞の試料に対する前記イメージングシステムの位置を改めること、及び
   前記細胞の試料の新たな画像を取得すること、を含む、実行することと、を含む、方法。
2. 前記イメージングシステムの最小光子収集時間が、前記ダイナミックレンジ内の各波長に対して別々に設定されており、
   前記最小光子収集時間が、前記完全なダイナミックレンジ内の全ての値の検出に対して十分である、請求項１に記載の方法。
3. 前記ダイナミックレンジが、全ての波長前記イメージングシステム画像を含む、請求項１に記載の方法。
4. 前記イメージングシステムが、デジタルグレースケールカメラを備える、請求項１に記載の方法。
5. 前記カメラが、前記フルオロフォアに基づくフィルタセットを備える、請求項４に記載の方法。
6. 前記カメラが、ハイダイナミックレンジイメージング（ＨＤＲＩ）カメラである、請求項４に記載の方法。
7. 前記カメラが、露光融合によってハイダイナミックレンジ（ＨＤＲ）を生成して、改善されたコントラストを提供する、請求項４に記載の方法。
8. 前記フルオロフォアでタグ付けされた前記細胞が、前記非染色細胞とは異なる種類の細胞である、請求項１に記載の方法。
9. 前記細胞の試料が、前記非染色細胞の試料とは異なる種類の細胞である、請求項１に記載の方法。
10. 前記細胞の試料が、前記非染色細胞の試料である、請求項１に記載の方法。
11. 細胞画像を解析するための方法であって、前記方法が、
    幅広い蛍光波長を有するフルオロフォアでタグ付けされた細胞の試料を提供すること、
    前記試料に照明源を照明すること、
    前記幅広い蛍光波長にわたって前記照明された試料をイメージングして、試料画像を作成すること、
    前記試料画像から較正画像を減算して、較正された画像を作成すること、
    前記画像をトポロジカル曲線として表すことであって、各曲線画素における前記曲線の高さが、前記較正された画像内の画像画素における蛍光の強度を表す、表すこと、
    前記トポロジカル曲線を、選択された高さを上回る高さを有する画素グループがあるか検索すること、
    前記選択された高さよりも低い新たな高さを選ぶこと、
    前記選択された高さとして前記新たな高さを使用して前記検索することを繰り返すこと、並びに
    識別された画素グループごとに、
    前記画素群から離れた前記トポロジカル曲線の凸状の境界をたどって、凸状の側面で屈曲が減少している変曲点に達すること、及び
    前記凸状の境界を識別することであって、前記画素群が、前記較正された画像内の細胞として含まれる、識別すること、を含む、方法。
12. 前記較正画像が、
    幅広い自己蛍光波長を有する非染色細胞の試料を前記イメージングシステムに提供することと、
    前記試料に照明源を照明することと、
    前記試料を、前記幅広い蛍光波長の全て、及び前記幅広い自己蛍光波長の全てを含むダイナミックレンジにわたってイメージングすることと、を含む方法によって形成される、請求項１１に記載の方法。
13. 前記イメージングシステムの最小光子収集時間が、前記ダイナミックレンジ内の各波長に対して別々に設定されており、
    前記最小光子収集時間が、前記完全なダイナミックレンジ内の全ての値の検出に対して十分である、請求項１２に記載の方法。
14. 前記ダイナミックレンジが、全ての波長前記イメージングシステム画像を含む、請求項１２に記載の方法。
15. 前記試料画像を取得する前に、前記イメージングシステム上で色収差のための較正を実行することを更に含み、前記較正が、
    前記細胞の試料を照明源で照明すること、
    第１の位置において前記イメージングシステムから前記細胞の試料の第１の画像を取得すること、
    前記イメージングシステムを、前記細胞の試料に対して第２の異なる位置に移動させること、
    前記細胞の試料の第２の画像を取得すること、並びに
    前記試料画像を生成する際に、
    前記第１の画像が前記第２の画像と比較して最適化される場合、前記イメージングシステムを前記第１の位置に位置決めすること、及び
    そうではない場合、前記イメージングシステムを配置すること、を含む、請求項１１に記載の方法。
16. 前記イメージングシステムが、前記フルオロフォアに基づくフィルタセットを備えたデジタルグレースケールカメラを備える、請求項１１に記載の方法。
17. 前記イメージングシステムが、ハイダイナミックレンジイメージング（ＨＤＲＩ）カメラを備える、請求項１１に記載の方法。
18. 前記イメージングシステムが、露光融合によってハイダイナミックレンジ（ＨＤＲ）を生成して、改善されたコントラストを提供する、請求項１１に記載の方法。
19. 前記較正された画像が、ニューラルネットワークを訓練するために使用される、請求項１１に記載の方法。
    
    

Images