JP2023510915A - 腫瘍検出および分析を支援するための非腫瘍セグメンテーション - Google Patents

Abstract

本開示は、腫瘍の検出および分析を支援するために検体画像内の非腫瘍領域をセグメント化するための機械学習技術に関する。特に、本開示の態様は、非標的領域（例えば、非腫瘍領域）および標的領域（例えば、腫瘍領域）を含む１つ以上の画像にアクセスすることと、二次元セグメンテーションモデルによって、１つ以上の画像から符号化された識別特徴に基づいて非標的領域のセグメンテーションマップを予測することと、セグメンテーションマップに基づく１つ以上の画像についてのセグメンテーションマスクと、１つ以上の画像にセグメンテーションマスクを適用して、１つ以上の画像から非標的領域を除外する非標的領域マスク画像を生成することと、画像分析モデルによって、非標的領域マスク画像から抽出された特徴のセットに基づいて標的領域内の生物学的物質または構造体を分類することと、を対象とする。
【選択図】図１

Description

関連出願の相互参照

本出願は、２０２０年１月１９日に出願された米国仮特許出願第６２／９６３，１４５号の利益および優先権を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。

分野
本開示は、デジタル病理学に関し、特に、腫瘍の検出および分析を支援または改善するために検体画像内の非腫瘍領域をセグメント化するための機械学習技術に関する。

背景
デジタル病理は、組織および／または細胞を含む病理スライド（例えば、組織病理または細胞病理ガラススライド）をデジタル画像にスキャンすることを含む。デジタル画像内の組織および／または細胞は、その後、疾患の診断、治療に対する応答の評価、および疾患と戦うための薬剤の開発を含む様々な理由のために、デジタル病理画像分析によって検査され、および／または病理学者によって解釈されることができる。デジタル画像（実質的に透明である）内の組織および／または細胞を検査するために、病理スライドは、組織および／または細胞成分に選択的に結合する着色染色（例えば、免疫染色）を使用して調製されることができる。免疫組織化学（ＩＨＣ）は、免疫染色の一般的な用途であり、生体組織中の抗原に特異的に結合する抗体および他の化合物（または物質）の原理を利用することによって、組織切片の細胞中の抗原（タンパク質）を選択的に識別するプロセスを含む。いくつかのアッセイでは、検体中の染色剤に対する標的抗原は、バイオマーカーと呼ばれることがある。その後、染色された組織および／または細胞のデジタル画像に対してデジタル病理画像分析を実施して、生体組織中の抗原（例えば、腫瘍細胞を示すバイオマーカー）に対する染色を識別および定量することができる。

機械学習技術は、腫瘍領域の識別、転移の検出、および患者の予後などのデジタル病理画像分析において大きな将来性を示している。腫瘍領域および転移検出などの画像分類およびデジタル病理画像分析のために、畳み込みニューラルネットワーク（ＣＮＮ）を含む機械学習技術を備えた多くのコンピューティングシステムが提案されている。例えば、ＣＮＮは、隠れ層として一連の畳み込み層を有することができ、このネットワーク構造は、物体／画像分類およびデジタル病理画像分析のための表現特徴の抽出を可能にする。物体／画像分類に加えて、画像セグメンテーションのために機械学習技術も実装されている。画像セグメンテーションは、デジタル画像を複数のセグメント（画像オブジェクトとしても知られる画素のセット）に分割するプロセスである。セグメンテーションの目的は、画像の表現をより意味があり、より分析しやすいものに単純化および／または変更することである。例えば、画像セグメンテーションは、典型的には、画像内の腫瘍および境界（線、曲線など）などのオブジェクトを見つけるために使用される。大きなデータ（例えば、全スライド病理画像）のための画像セグメンテーションを実行するために、画像、最初に多くの小さなパッチに分割される。機械学習技術を備えたコンピューティングシステムは、これらのパッチを分類するように訓練され、同じクラス内の全てのパッチは、１つのセグメント化された領域に結合される。その後、機械学習技術をさらに実装して、セグメント化された領域に関連する表現特徴に基づいて、セグメント化された領域（例えば、染色発現を有しない陰性腫瘍細胞または腫瘍細胞）を予測または分類することができる。

概要
様々な実施形態では、検体についての複数の画像にアクセスすることであって、複数の画像のうちの１つ以上の画像が非標的領域および標的領域を含む、複数の画像にアクセスすることと、二次元セグメンテーションモデルによって、１つ以上の画像から符号化された識別特徴に基づいて非標的領域のセグメンテーションマップを予測することであって、識別特徴が第１の生物学的物質または構造体に関連付けられている、非標的領域のセグメンテーションマップを予測することと、セグメンテーションマップに基づいて１つ以上の画像についてのセグメンテーションマスクを生成することと、１つ以上の画像にセグメンテーションマスクを適用して、１つ以上の画像から非標的領域を除外する非標的領域マスク画像を生成することと、画像分析モデルによって、非標的領域マスク画像から抽出された特徴のセットに基づいて、標的領域内の第２の生物学的物質または構造体を細胞または細胞核のタイプに分類することと、標的領域に対して、第２の生物学的物質または構造体について分類された細胞または細胞核のタイプを提供することと、を含む、コンピュータ実装方法が提供される。

いくつかの実施形態では、検体は、１つ以上のバイオマーカーについて染色され、第１の生物学的物質または構造体は、免疫細胞のリンパ系凝集体またはクラスターであり、第２の生物学的物質または構造体は、腫瘍細胞または腫瘍細胞のクラスターである。

いくつかの実施形態では、コンピュータ実装方法は、１つ以上の画像を所定のサイズを有する画像パッチに分割することと、二次元セグメンテーションモデルによって、画像パッチを識別特徴に符号化することと、二次元セグメンテーションモデルによって、識別特徴を画素空間上に投影することと、二次元セグメンテーションモデルによって、所定の閾値に基づいて画素空間ごとに第１の生物学的物質または構造体の分類を決定することと、をさらに含む。

いくつかの実施形態では、コンピュータ実装方法は、画像分析モデルによって、非標的領域マスク画像から特徴のセットを抽出することと、特徴のセットに基づいて第２の生物学的物質または構造体についての１つ以上のメトリックを計算することと、をさらに含み、第２の生物学的物質または構造体について分類された細胞または細胞核のタイプを提供することが、第２の生物学的物質または構造体についての１つ以上のメトリックを提供することをさらに含む。

いくつかの実施形態では、二次元セグメンテーションモデルは、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、縮小経路および拡張経路のそれぞれは、最大２５６チャネルを有し、縮小経路の１つ以上の層は、空間ドロップアウトを実施する。

様々な実施形態では、検体についての複数の画像にアクセスすることであって、複数の画像のうちの１つ以上の画像が非標的領域および標的領域を含む、複数の画像にアクセスすることと、二次元セグメンテーションモデルによって、１つ以上の画像から符号化された識別特徴に基づいて非標的領域のセグメンテーションマップを予測することであって、識別特徴が第１の生物学的物質または構造体に関連付けられている、非標的領域のセグメンテーションマップを予測することと、非標的領域のセグメンテーションマップに基づいて、１つ以上の画像についての第１のセグメンテーションマスクを生成することと、画像分析モデルによって、１つ以上の画像から抽出された特徴の第２のセットに基づいて、標的領域内の第２の生物学的物質または構造体を細胞または細胞核のタイプに分類することと、標的領域内の第２の生物学的物質または構造体の分類に基づいて、１つ以上の画像についての第２のセグメンテーションマスクを生成することと、１つ以上の画像に第１のセグメンテーションマスクおよび第２のセグメンテーションマスクを適用して、１つ以上の画像から非標的領域を除外する標的領域および非標的領域マスク画像を生成することと、標的領域および非標的領域マスク画像ならびに第２の生物学的物質または構造体について分類された細胞または細胞核のタイプを提供することと、を含む、コンピュータ実装方法が提供される。

いくつかの実施形態では、検体は、１つ以上のバイオマーカーについて染色され、第１の生物学的物質または構造体は、免疫細胞のリンパ系凝集体またはクラスターであり、第２の生物学的物質または構造体は、腫瘍細胞または腫瘍細胞のクラスターである。

いくつかの実施形態では、コンピュータ実装方法は、１つ以上の画像を所定のサイズを有する画像パッチに分割することと、二次元セグメンテーションモデルによって、画像パッチを識別特徴に符号化することと、二次元セグメンテーションモデルによって、識別特徴を画素空間上に投影することと、二次元セグメンテーションモデルによって、所定の閾値に基づいて画素空間ごとに第１の生物学的物質または構造体の分類を決定することと、をさらに含む。

いくつかの実施形態では、コンピュータ実装方法は、画像分析モデルによって、１つ以上の画像から特徴のセットを抽出することと、特徴のセットに基づいて第２の生物学的物質または構造体についての１つ以上のメトリックを計算することと、をさらに含み、標的領域および非標的領域マスク画像ならびに第２の生物学的物質または構造体について分類された細胞または細胞核のタイプを提供することが、第２の生物学的物質または構造体についての１つ以上のメトリックを提供することをさらに含む。

いくつかの実施形態では、二次元セグメンテーションモデルは、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、縮小経路および拡張経路のそれぞれは、最大２５６チャネルを有し、縮小経路の１つ以上の層は、空間ドロップアウトを実施する。

様々な実施形態では、検体についての複数のタイル画像にアクセスすることであって、複数のタイル画像の１つ以上のタイル画像が非標的領域および標的領域をセグメント化するための注釈を含む、複数のタイル画像にアクセスすることと、１つ以上のタイル画像で二次元セグメンテーションモデルを訓練することであって、訓練することが、反復演算を実行して、二次元セグメンテーションモデルの損失関数を最小化する二次元セグメンテーションモデルのパラメータのセットを見つけることを含み、各反復が、パラメータのセットを使用する損失関数の値が前の反復における別のパラメータのセットを使用する損失関数の値よりも小さくなるように、二次元セグメンテーションモデルのパラメータのセットを見つけることを含み、損失関数が、二次元セグメンテーションモデルを使用して予測された出力と１つ以上のタイル画像に含まれる注釈との間の差を測定するように構築される、二次元セグメンテーションモデルを訓練することと、訓練された二次元セグメンテーションモデルを提供することと、を含む、コンピュータ実装方法が提供される。

いくつかの実施形態では、コンピュータ実装方法は、１つ以上のタイル画像を２５６画素×２５６画素のサイズのパッチに分割することをさらに含み、二次元セグメンテーションモデルは、パッチで訓練される。

いくつかの実施形態では、二次元セグメンテーションモデルは、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、縮小経路および拡張経路のそれぞれは、最大２５６チャネルを有し、縮小経路の１つ以上の層は、空間ドロップアウトを実施する。

いくつかの実施形態では、訓練することは、所定のスケジュールにしたがって学習率を低減することによって修正Ｕ－Ｎｅｔの学習率を調整することをさらに含む。

いくつかの実施形態では、所定のスケジュールは、損失関数を最適化するために所定数のエポックごとに学習率を所定の係数だけ低下させるステップ減衰スケジュールであり、損失関数は、バイナリ交差エントロピー損失関数である。

いくつかの実施形態では、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

本開示は、以下の添付の図面と併せて説明される：

様々な実施形態にかかる同じ画像内の非標的領域（例えば、リンパ系凝集体領域または免疫細胞の群）および標的領域（例えば、陰性腫瘍細胞）を示している。

様々な実施形態にかかる深層畳み込みニューラルネットワークを使用した非腫瘍セグメンテーションおよび画像分析のためのコンピューティング環境を示すブロック図を示している。

様々な実施形態にかかる非標的領域セグメンテーションのためのモデルアーキテクチャを表す例示的な概略図３００を示している。

様々な実施形態にかかるグラウンドトゥルース生成および予測モデル訓練を示している。

様々な実施形態にかかるバッチに関する修正Ｕ－Ｎｅｔ訓練中の損失を示している。

様々な実施形態にかかる最適な性能を達成するための修正Ｕ－Ｎｅｔ訓練中の精度を示している。

様々な実施形態にかかる例示的なＵ－Ｎｅｔを示している。

様々な実施形態にかかる予測モデルを訓練するためのプロセスを示している。

様々な実施形態にかかる画像データ内の非標的領域についてのセグメンテーションマスクを生成するためのプロセスを示している。

様々な実施形態にかかる原画像の例を示している。

様々な実施形態にかかる予測タイルマスクの例を示している。

様々な実施形態にかかる画像分析をサポートまたは改善するためにセグメンテーションマスクを適用するためのプロセスを示している。

様々な実施形態にかかるオーバーレイされた分析結果を有する原画像の例を示している。

様々な実施形態にかかる、本明細書に記載のセグメンテーションフレームワークによって実装されたオーバーレイ分析結果を有する原画像の例を示している。

添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じ種類の様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別されることができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。

詳細な説明
Ｉ．概要
本開示は、自動化された非腫瘍セグメンテーションのための技術を記載する。より具体的には、本開示のいくつかの実施形態は、腫瘍の検出および分析を支援または改善するために、検体画像内の非腫瘍領域をセグメント化するための機械学習技術を提供する。

免疫組織化学的（ＩＨＣ）スライド染色は、組織切片の細胞内のタンパク質を識別するために利用可能であるため、生体組織内の癌性細胞や免疫細胞など、異なるタイプの細胞の研究に広く使用されている。顕微鏡下で組織切片のＩＨＣ染色細胞を高倍率で評価すること、および／またはデジタル病理アルゴリズムを用いて生物学的検体のデジタル画像を自動的に分析することが可能である。多くの場合、全スライド分析において、染色された生物学的検体の評価は、標的領域（例えば、陽性および陰性腫瘍細胞）の識別および非標的領域（例えば、正常組織またはブランクスライド領域）の除外を含む染色された生物学的検体の領域のセグメンテーションを必要とする。いくつかの例では、除外される非標的領域は、標的領域の他の生物学的物質または構造体と区別することが非常に困難であり得る生物学的物質または構造体を含み、したがって生物学的検体の評価から除外する。例えば、リンパ系凝集体は、免疫細胞のクラスターであり、それらの形態および染色特性は、陰性腫瘍細胞に非常に類似することができる。図１は、陰性染色腫瘍細胞のクラスター１１０の隣に位置する免疫細胞のクラスター１０５（例えば、リンパ系凝集体）を含む染色病理スライドの領域１００を示している。免疫細胞のクラスター１０５は、陰性染色腫瘍細胞のクラスター１１０と非常に類似した形態および染色特性を有し、したがって、リンパ系凝集体と陰性染色腫瘍細胞とを区別することは、非常に困難であり得る。結果として、そのような場合、病理学者は、通常、非標的領域を除外しながら手動の腫瘍注釈を提供する。しかしながら、手動の腫瘍注釈は、高倍率での全スライド画像のサイズが大きく、処理されるデータの量が多いため、エラー、病理学者のバイアス、および手間がかかる。

デジタル画像からの腫瘍および下部構造の自動セグメンテーションは、腫瘍および腫瘍細胞の正確且つ再現性のある描写の可能性を有し、腫瘍のより効率的且つ良好な診断、外科的計画および処置評価を助けることができる。ほとんどの自動化された腫瘍セグメンテーション方法は、腫瘍細胞の特徴に焦点を合わせた手作業で設計された特徴を使用する。これらの方法は、画像の特徴が最初に抽出され、次いでそれらの特徴の性質に影響を及ぼさない訓練手順を有する分類器に与えられる古典的な機械学習パイプラインを実装する。タスク適合特徴表現を設計するための代替的な手法は、ドメイン内データから直接ますます複雑になる特徴の階層を学習することである。しかしながら、双方の例において、全スライド画像からの腫瘍または腫瘍細胞の正確な自動化されたセグメンテーションは、いくつかの理由から困難な作業である。第１に、腫瘍と正常組織（特にリンパ系凝集体領域）との間の境界は、特異的および非特異的染色、低解像度画像における不均一性、まばらなシグナル伝達（例えば、画像の約１％未満）、および全スライド画像内で区別されるべき生物学的物質または構造体の圧倒的な量のために曖昧であることが多い。第２に、腫瘍および腫瘍細胞は、サイズ、形状、および局在化に関して患者全体で大きく異なり得る。これは、顔認識またはナビゲーションなどの他の多くの用途で堅牢な画像分析に一般的に使用される形状および位置特定に関する強力な事前情報の使用を禁止する。結果として、従来の画像分析アルゴリズムは、通常、これらの困難な領域（例えば、リンパ系凝集体領域）の望ましくない検出結果（例えば、過剰検出または誤分類）を陰性腫瘍細胞として提供する。

これらの制限および問題に対処するために、本実施形態の自動化された非腫瘍セグメンテーションのための技術は、高速であり、モデルが領域スライド画像および全スライド画像のサイズおよび高度に不均衡な性質の双方に対処することを可能にする機械学習アーキテクチャの使用を含む。本開示の１つの例示的な実施形態は、非標的領域（例えば、リンパ系凝集体領域）を自動的に検出および除外するか、または全スライド画像のこれらの非標的領域をマスクするためのコンピュータ実装方法に関する。いくつかの例では、本方法は、画像内の標的領域（例えば、腫瘍細胞）をセグメント化および分類するために画像分析アルゴリズムを実行する前の前処理の一部として実行される。他の例では、本方法は、画像内の標的領域（例えば、腫瘍細胞）をセグメント化および分類するために画像分析アルゴリズムを実行した後の後処理の一部として実行される。しかしながら、当業者によって理解されるように、本明細書で説明される概念は、前処理または後処理手順に限定されず、様々な実施形態による画像分析処理全体に統合されてもよい。

コンピュータ実装方法は、標的領域を学習および認識するための標準的な画像分析アルゴリズムを実行する前に、生物学的構造または非腫瘍細胞、例えば免疫細胞のクラスターまたはリンパ系凝集体領域を自動的に検出および除外するか、または全スライド画像でこれらの非標的領域をマスクするために、二次元セグメンテーションモデル（修正Ｕ－Ｎｅｔ）を利用する畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャまたはモデルの使用を含むことができる。しかしながら、本開示は、免疫細胞またはリンパ系凝集体領域のクラスターのみをセグメント化することに限定されず、本明細書に記載の技術はまた、他の非標的または非腫瘍領域、例えば、スキャナアーチファクト、麻酔などを区別するために適用されることができる。畳み込みニューラルネットワークアーキテクチャまたはモデルは、非標的領域（例えば、リンパ系凝集体領域、壊死、アーチファクト、および他の細胞）および標的領域（例えば、腫瘍細胞または染色発現標的）の事前にラベル付けされた画像を使用して訓練されることができる。その結果、訓練された畳み込みニューラルネットワークのアーキテクチャまたはモデルが使用されて、非標的領域をセグメント化することができ、これは、次いで、画像分析アルゴリズムに画像を入力する前、間、または後に、全スライド分析からマスクされることができる。画像分析アルゴリズムは、分類タスクを実行し、標的領域の腫瘍読み出しを出力する。有利には、この提案されたアーキテクチャおよび技術は、画像分析アルゴリズムによる腫瘍細胞分類の精度を改善し、これらの困難な非標的領域（例えば、リンパ系凝集体領域）を標的領域（例えば、陰性腫瘍細胞）として過剰検出または誤分類する機会を減らすことができる。

ＩＩ．定義
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられることができ、パーセンテージは、０．１、１、５、および１０％を含む。

本明細書で使用される場合、「試料」、「生物学的試料」または「組織試料」という用語は、ウイルスを含む任意の生物から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意の試料を指す。生物の他の例は、哺乳類（ヒト、ネコ、イヌ、ウマ、ウシ、およびブタなどの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生物学的試料は、組織試料（組織切片や組織の針生検など）、細胞試料（Ｐａｐ塗抹検体もしくは血液塗抹検体などの細胞学的塗抹検体、またはマイクロダイセクションによって得られた細胞の試料など）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られる）を含む。生物学的試料の他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって得られる）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生物学的試料に由来する生体分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生物学的試料」という用語は、被験者から得られた腫瘍またはその一部から調製された試料（均質化または液化された試料など）を指す。

本明細書で使用される場合、「生物学的物質または構造体」という用語は、生物学的構造（例えば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞塊など）の全体または一部を含む天然材料または構造を指す。

本明細書で使用される場合、「非標的領域」という用語は、画像分析プロセスで評価されることを意図されていない画像データを有する画像の領域を指す。非標的領域は、例えばイメージング源からの白色光のみが存在する場合、試料のないガラスなどの基材に対応する画像の非組織領域を含むことができる。非標的領域は、追加的または代替的に、画像分析プロセスで分析されることが意図されていないか、または標的領域内の生物学的物質または構造体と区別することが困難な１つ以上の生物学的物質または構造体に対応する画像の組織領域を含んでもよい（例えば、リンパ系凝集体、免疫細胞のクラスター、壊死、間質細胞、正常細胞、スキャニングアーチファクト）。

本明細書で使用される場合、「標的領域」という用語は、画像分析プロセスで評価されることが意図された画像データを含む画像の領域を指す。標的領域は、画像分析プロセス（例えば、腫瘍細胞または染色発現）において分析されることが意図される画像の組織領域などの任意の領域を含む。

本明細書で使用される場合、「タイル」または「タイル画像」という用語は、画像全体の一部または全スライドに対応する単一の画像を指す。いくつかの実施形態では、「タイル」または「タイル画像」は、全スライドスキャンの領域、または（ｘ，ｙ）画素寸法（例えば、１０００画素×１０００画素）を有する関心領域を指す。例えば、Ｍ列のタイルとＮ行のタイルとに分割された画像全体を考えてみると、Ｍ×Ｎモザイク内の各タイルは、画像全体の一部を含み、すなわち、位置Ｍ１、Ｎ１のタイルは、画像の第１の部分を含み、位置Ｍ３、Ｎ４のタイルは、画像の第２の部分を含み、第１の部分と第２の部分とは異なる。いくつかの実施形態では、タイルは、それぞれ同じ寸法（画素サイズ×画素サイズ）を有することができる。

本明細書で使用される場合、「パッチ」または「画像パッチ」という用語は、タイル画像の一部、画像全体、またはスライド全体に対応する画素のコンテナを指す。いくつかの実施形態では、「パッチ」または「画像パッチ」は、（ｘ，ｙ）画素寸法（例えば、２５６画素×２５６画素）を有するタイル画像の領域または関心領域を指す。例えば、１００画素×１００画素のパッチに分割された１０００画素×１０００画素のタイル画像は、１００パッチを含むことになる（各パッチは、１０００画素を含む）。他の実施形態では、パッチは、（ｘ，ｙ）画素寸法を有し、１つ以上の画素を別の「パッチ」または「画像パッチ」と共有する各「パッチ」または「画像パッチ」と重なり合う。

ＩＩＩ．自動化された非腫瘍セグメンテーションのための技術
画像セグメンテーションは、形状、サイズ、色などの異なる特徴の類似性を示す画像の類似部分を分離する手順である。腫瘍および腫瘍細胞のセグメンテーションは、身体の領域（例えば、脳または肺）内の腫瘍または腫瘍細胞のサイズ、量、および位置の視覚化を可能にし、デジタル画像における染色取り込みの分析の基礎を提供することもできる。腫瘍および腫瘍細胞のセグメンテーションのゴールドスタンダードは、長い間手動のセグメンテーションであり、これは時間がかかり、労働集約的であり、したがって臨床使用および大規模な研究開発努力には適さない。かなりの調査が、腫瘍セグメンテーションのプロセスを完全にまたは部分的に自動化しようとする試みに専念してきた。例えば、閾値化、領域拡大、ファジークラスタリング、ウォーターシェッドアルゴリズムの使用などの画像セグメンテーション技術は、脳の白質（ＷＭ）、灰白質（ＧＭ）、および脳脊髄液（ＣＳＦ）などの正常組織から異常組織（例えば、腫瘍塊）を分離するために使用されてきた。それにもかかわらず、腫瘍または腫瘍細胞を含む標的領域の多様性のためだけでなく、標的領域を非標的領域から区別することが困難であるため（例えば、正常組織またはブランクスライド領域）、セグメンテーションのプロセスは、依然として困難である。

本明細書では、検体スライドの画像から非標的領域（例えば、リンパ系凝集体）をセグメント化およびマスクするために二次元ＣＮＮを使用するモデルと、検体スライドの画像から標的領域（例えば、腫瘍細胞）を分析する画像分析アルゴリズムとを組み込むエンドツーエンド方法について説明する。開発されたモデルは計算的に軽量であり、全スライド画像のサイズ、腫瘍または腫瘍細胞と健常な組織との間の極端な不均衡、および入力画像の異種性に適応するように考案された。このモデルは、ヒトの介入に依存する従来のアルゴリズムと比較して、非腫瘍および腫瘍のセグメンテーションについて同等の性能を有する。

ＩＩＩ．Ａ．例示的なコンピューティング環境
図２は、様々な実施形態にかかる深層畳み込みニューラルネットワークを使用した非腫瘍セグメンテーションおよび画像分析のためのコンピューティング環境２００を示すブロック図を示している。コンピューティング環境２００は、予測モデル、例えば二次元ＣＮＮモデルを訓練して実行するための分析システム２０５を含むことができる。より具体的には、分析システム２０５は、コンピューティング環境２００の他の構成要素によって使用されるそれぞれの予測モデル２１５ａ～ｎ（本明細書では個別に予測モデル２１５として、またはまとめて予測モデル２１５として参照されることができる）を構築および訓練する訓練サブシステム２１０ａ～ｎ（「ａ」および「ｎ」は任意の自然数を表す）を含むことができる。予測モデル２１５は、深層畳み込みニューラルネットワーク（ＣＮＮ）、例えば、初期ニューラルネットワーク、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、またはリカレントニューラルネットワーク、例えば、長期短期記憶（「ＬＳＴＭ」）モデルまたはゲーテッド回帰型ユニット（「ＧＲＵ」）モデルなどの機械学習（「ＭＬ」）モデルとすることができる。予測モデル２１５はまた、非標的領域（例えば、リンパ系凝集体領域）をセグメント化し、標的領域をセグメント化し、または標的領域の画像分析を提供するように訓練された任意の他の適切なＭＬモデル、例えば、二次元ＣＮＮ（「２ＤＣＮＮ」）、マスクＲ－ＣＮＮ、特徴ピラミッドネットワーク（ＦＰＮ）、動的時間伸縮（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）など、またはそのような技術のうちの１つ以上の組み合わせ、例えば、ＣＮＮ－ＨＭＭもしくはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）とすることができる。コンピューティング環境２００は、非標的領域をセグメント化し、標的領域をセグメント化し、または標的領域の画像分析を提供するように訓練された同じタイプの予測モデルまたは異なるタイプの予測モデルを使用することができる。例えば、コンピューティング環境２００は、非標的領域（例えば、リンパ系凝集体領域）をセグメント化するための第１の予測モデル（例えば、Ｕ－Ｎｅｔ）を含むことができる。コンピューティング環境２００はまた、標的領域（例えば、腫瘍細胞の領域）をセグメント化するための第２の予測モデル（例えば、２ＤＣＮＮ）を含むことができる。コンピューティング環境２００はまた、標的領域の画像分析のための第３のモデル（例えば、ＣＮＮ）を含むことができる。コンピューティング環境２００はまた、患者などの被験者の処置または予後診断のための疾患の診断のための第４のモデル（例えば、ＨＭＭ）を含むことができる。本開示にかかる他の例では、さらに他のタイプの予測モデルが実装されてもよい。

様々な実施形態では、訓練サブシステム２１０ａ～ｎに対応する各予測モデル２１５ａ～ｎは、入力画像要素２２０ａ～ｎの１つ以上のセットに基づいて別々に訓練される。いくつかの実施形態では、入力画像要素２２０ａ～ｎのそれぞれは、１つ以上のスキャンされたスライドからの画像データを含む。入力画像要素２２０ａ～ｎのそれぞれは、画像に対応する基礎となる画像データが収集された単一の検体および／または１日からの画像データに対応することができる。画像データは、画像、ならびに画像が生成されたイメージングプラットフォームに関する任意の情報を含むことができる。例えば、組織切片は、明視野イメージングのための発色性染色または蛍光イメージングのためのフルオロフォアに関連する１つ以上の異なるバイオマーカーを含む染色アッセイの適用によって染色される必要があり得る。染色アッセイは、明視野イメージングのための発色性染色、有機フルオロフォア、量子ドット、または有機フルオロフォアを、蛍光イメージングのための量子ドットと一緒に、または染色、バイオマーカー、および観察またはイメージングデバイスの任意の他の組み合わせを使用することができる。さらに、典型的な組織切片は、組織切片に染色アッセイを適用する自動染色／アッセイプラットフォームで処理され、染色された試料が得られる。染色／アッセイプラットフォームとしての使用に適した様々な市販製品が市場に存在し、一例は、譲受人であるＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ ＳＹＭＰＨＯＮＹ製品である。染色された組織切片は、例えば、顕微鏡または顕微鏡および／またはイメージング構成要素を有するホールスライドスキャナ上のイメージングシステムに供給されることができ、一例は、譲受人であるＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ ｉＳｃａｎ Ｃｏｒｅｏ製品である。多重組織スライドは、同等の多重スライドスキャナシステムでスキャンされることができる。イメージングシステムによって提供される追加の情報は、染色に使用される化学物質の濃度、染色において組織に適用される化学物質の反応時間、および／または組織の事前分析条件、例えば組織の年齢、固定方法、期間、切片がどのように埋め込まれたか、切断されたかなどを含む、染色プラットフォームに関する任意の情報を含むことができる。

入力画像要素２２０ａ～ｎは、１つ以上の訓練入力画像要素２２０ａ～ｄ、検証入力画像要素２２０ｅ～ｇ、およびラベルなし入力画像要素２２０ｈ～ｎを含むことができる。訓練グループ、検証グループ、およびラベルなしグループに対応する入力画像要素２２０ａ～ｎは、同時にアクセスされる必要はないことを理解されたい。例えば、訓練および検証入力画像要素２２０ａ～ｎの初期セットは、予測モデル２１５を訓練するために最初にアクセスおよび使用されてもよく、ラベルなし入力画像要素は、続いてアクセスまたは受信され（例えば、単一または複数の後続の時間に）、所望の出力（例えば、非標的領域のセグメンテーション）を提供するために訓練された予測モデル２１５によって使用されてもよい。いくつかの例では、予測モデル２１５ａ～ｎは、教師あり訓練を使用して訓練され、訓練入力画像要素２２０ａ～ｄおよび任意選択の検証入力画像要素２２０ｅ～ｇのそれぞれは、非標的領域、標的領域の「正しい」解釈、ならびに訓練入力画像要素２２０ａ～ｄおよび検証入力画像要素２２０ｅ～ｇ内の様々な生物学的物質および構造の識別を識別する１つ以上のラベル２２５と関連付けられる。ラベルは、代替的または追加的に、正常または異常な生物学的構造（例えば、腫瘍細胞）に関連する染色の存在および／または解釈に関して、対応する訓練入力画像要素２２０ａ～ｄおよび検証入力画像要素２２０ｅ～ｇまたはその中の画素を分類するために使用されてもよい。特定の例では、代替的または追加的に、ラベルが使用されて、下にある画像が撮像された／撮像されたときまたは後続の時点（例えば、これは、画像が撮像された時間に続く所定の期間である）に対応する時点で、対応する訓練入力画像要素２２０ａ～ｄおよび検証入力画像要素２２０ｅ～ｇを分類することができる。

いくつかの実施形態では、分類器サブシステム２１０ａ～ｎは、特徴抽出器２３０、パラメータデータストア２３５、分類器２４０、および訓練器２４５を含み、これらは訓練データ（例えば、訓練入力画像要素２２０ａ～ｄ）に基づいて予測モデル２１５を訓練し、教師ありまたは教師なし訓練中に予測モデル２１５のパラメータを最適化するために集合的に使用される。いくつかの例では、訓練プロセスは、予測モデル２１５の損失関数を最小化する予測モデル２１５のパラメータのセットを見つけるための反復演算を含む。各反復は、パラメータのセットを使用する損失関数の値が前の反復におけるパラメータの別のセットを使用する損失関数の値よりも小さくなるように、予測モデル２１５のパラメータのセットを見つけることを含むことができる。損失関数は、予測モデル２１５を使用して予測された出力と訓練データに含まれるラベル２２５との間の差を測定するように構築されることができる。パラメータのセットが識別されると、予測モデル２１５は訓練されており、設計どおりにセグメンテーションおよび／または予測に利用されることができる。

いくつかの実施形態では、分類器サブシステム２１０ａ－ｎは、入力層において訓練入力画像要素２２０ａ－ｄから訓練データにアクセスする。特徴抽出器２３０は、訓練データを前処理して、訓練入力画像要素２２０ａ～ｄの特定の部分で検出された関連する特徴（例えば、エッジ）を抽出することができる。分類器２４０は、抽出された特徴を受信し、１つ以上の予測モデル２１５内の隠れ層のセットに関連する重みにしたがって、特徴を、非標的領域または標的領域をセグメント化する１つ以上の出力メトリックに変換し、画像分析を提供し、患者などの被験者の処置または予後診断のための疾患の診断を提供し、またはそれらの組み合わせを提供することができる。訓練器２４５は、訓練入力画像要素２２０ａ～ｄに対応する訓練データを使用して、１つ以上のパラメータの学習を容易にすることによって特徴抽出器２３０および／または分類器２４０を訓練することができる。例えば、訓練器２４５は、分類器２４０によって使用される予測モデル２１５の隠れ層のセットに関連する重みの学習を容易にするために、バックプロパゲーション技術を使用することができる。バックプロパゲーションは、例えば、確率的勾配降下（ＳＧＤ）アルゴリズムを使用して、隠れ層のパラメータを累積的に更新することができる。学習されたパラメータは、例えば、重み、バイアス、および／または他の隠れ層関連パラメータを含むことができ、これらは、パラメータデータストア２３５に記憶されることができる。

訓練された予測モデルの個々またはアンサンブルが展開されて、ラベル化されていない入力画像要素２２０ｈ～ｎを処理して非標的領域または標的領域をセグメント化し、画像分析を提供し、患者などの被験者の処置または予後診断のための疾患の診断を提供し、またはそれらの組み合わせを提供することができる。より具体的には、特徴抽出器２３０の訓練バージョンは、次に分類器２４０の訓練バージョンによって処理されることができるラベルなし入力画像要素の特徴表現を生成することができる。いくつかの実施形態では、分類器サブシステム２１０ａ～ｎ内の予測モデル２１５の拡張を活用する１つ以上の畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層に基づいて、ラベルなし入力画像要素２２０ｈ～ｎから画像特徴を抽出することができる。特徴は、画像の特徴ベクトルなどの特徴表現に編成されることができる。予測モデル２１５は、予測モデル２１５の全結合層を含む隠れ層におけるパラメータの分類およびその後の調整に基づいて特徴タイプを学習するように訓練されることができる。

いくつかの実施形態では、畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層によって抽出された画像特徴は、１つ以上の画像処理動作（例えば、エッジ検出、画像解像度の鮮明化）が実行された検体スライドの１つ以上の部分を表す値の行列である特徴マップを含む。これらの特徴マップは、非標的領域マスク、標的領域マスク、または検体スライドに関する現在または将来の予測に対応する１つ以上のメトリックを出力する予測モデル２１５の完全接続層による処理のために平坦化されることができる。例えば、入力画像要素は、予測モデル２１５の入力層に供給されることができる。入力層は、特定の画素に対応するノードを含むことができる。第１の隠れ層は、隠れノードのセットを含むことができ、隠れノードのそれぞれは、複数の入力層ノードに接続される。後続の隠れ層内のノードも同様に、複数の画素に対応する情報を受信するように構成されることができる。したがって、隠れ層は、複数の画素にわたって延びる特徴を検出するように学習するように構成されることができる。１つ以上の隠れ層のそれぞれは、畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層を含むことができる。予測モデル２１５は、１つ以上の完全接続層（例えば、ソフトマックス層）をさらに含むことができる。

訓練入力画像要素２２０ａ～ｄ、検証入力画像要素２２０ｅ～ｇおよび／またはラベルなし入力画像要素２２０ｈ～ｎの少なくとも一部は、分析システム２０５の要素とすることができるが、必ずしもそうである必要はないソースから直接的または間接的に取得されたデータを含むことができ、またはそれらから導出されていてもよい。いくつかの実施形態では、コンピューティング環境２００は、いくつかの（例えば、１０から１６の間などの）チャネルを有するマルチチャネル画像（例えば、マルチチャネル蛍光または明視野画像）などの画像データを取得するために試料をイメージングするイメージング装置２５０を備える。イメージング装置２５０は、限定されるものではないが、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学系（例えば、１つ以上のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど）、イメージングセンサ（例えば、電荷結合素子（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）イメージセンサなど）、写真フィルムなどを含む。デジタル実施形態では、画像撮像装置は、オンザフライフォーカシングを証明するために協働する複数のレンズを含むことができる。イメージセンサ、例えば、ＣＣＤセンサは、検体のデジタル画像を撮像することができる。いくつかの実施形態では、イメージング装置２５０は、明視野イメージングシステム、マルチスペクトルイメージング（ＭＳＩ）システムまたは蛍光顕微鏡システムである。イメージング装置２５０は、不可視電磁放射線（例えばＵＶ光）または他のイメージング技術を利用して画像を撮像することができる。例えば、イメージング装置２５０は、顕微鏡と、顕微鏡によって拡大された画像を撮像するように構成されたカメラとを備えることができる。画像分析システム２０５によって受信された画像データは、イメージング装置２５０によって取り込まれた生画像データと同一であってもよく、および／または生画像データから導出されてもよい。

いくつかの例では、訓練入力画像要素２２０ａ～ｄおよび／または検証入力画像要素２２０ｅ～ｇに関連付けられたラベル２２５は、受信されていてもよく、またはそのそれぞれが特定の被験者に関連付けられた（例えば）医師、看護師、病院、薬剤師などに関連付けられることができる１つ以上のプロバイダシステム２５５から受信されたデータから導出されてもよい。受信データは、（例えば）特定の被験者に対応する１つ以上の医療記録を含むことができる。医療記録は、（例えば）被験者に関連する１つ以上の入力画像要素が収集された時間またはその後の定義された期間に対応する期間に関して、被験者が腫瘍を有したかどうか、および／または被験者の腫瘍の進行の段階（例えば、標準的な尺度に沿って、および／またはメトリックを識別することによって、そのような総代謝腫瘍量（ＴＭＴＶ））を示す専門家の診断または特徴付けを示すことができる。受信データは、被験者に関連する１つ以上の入力画像要素内の腫瘍または腫瘍細胞の位置の画素をさらに含むことができる。したがって、医療記録は、各訓練／検証入力画像要素２２０ａ～ｇに関して、１つ以上のラベルを含むか、または識別するために使用されることができる。医療記録は、被験者が受けていた１つ以上の処置（例えば、薬物）および被験者が処置を受けていた期間のそれぞれをさらに示すことができる。いくつかの例では、１つ以上の分類器サブシステムに入力される画像またはスキャンは、プロバイダシステム２５５から受信される。例えば、プロバイダシステム２５５は、イメージング装置２５０から画像を受信し、次いで画像またはスキャンを（例えば、被験者識別子および１つ以上のラベルとともに）分析システム２０５に送信することができる。

いくつかの実施形態では、イメージング装置２５０のうちの１つ以上で受信または収集されたデータは、プロバイダシステム２５５のうちの１つ以上で受信または収集されたデータと集約されてもよい。例えば、分析システム２０５は、イメージング装置２５０から受信した画像データをプロバイダシステム２５５から受信したラベルデータと関連付けるために、被験者および／または期間の対応するまたは同一の識別子を識別することができる。分析システム２０５は、メタデータまたは自動画像分析をさらに使用してデータを処理し、どの分類器サブシステムに特定のデータ成分を供給するかを判定することができる。例えば、イメージング装置２５０から受信した画像データは、全スライドまたはスライドもしくは組織の複数の領域に対応することができる。メタデータ、自動位置合わせ、および／または画像処理は、各画像について、画像がスライドまたは組織のどの領域に対応するかを示すことができる。例えば、自動アライメントおよび／または画像処理は、画像がスライド基材に対応する画像特性を有するかどうか、または白血球などの特定の細胞に関連する生物学的構造および／または形状を有するかどうかを検出することを含むことができる。プロバイダシステム２５５から受信されるラベル関連データは、スライド固有、領域固有、または被験者固有であってもよい。ラベル関連データがスライド固有または領域固有である場合、メタデータまたは自動分析（例えば、自然言語処理またはテキスト分析を使用する）が使用されて、特定のラベル関連データがどの領域に対応するかを識別することができる。ラベル関連データが被験者固有である場合、（所与の被験者についての）同一のラベルデータが訓練中に各分類器サブシステム２１０ａ～ｎに供給されることができる。

いくつかの実施形態では、コンピューティング環境２００は、分析システム２０５の１回以上の反復（例えば、各反復は、モデルの１回の実行および／またはモデルの出力の１回の生成に対応する）の性能を要求および／または調整しているユーザに関連付けられることができるユーザ装置２６０をさらに含むことができる。ユーザは、医師、調査者（例えば、臨床試験に関連付けられた）、患者、医療専門家などに対応することができる。したがって、いくつかの例では、プロバイダシステム２５５は、ユーザ装置２６０を含み、および／またはユーザ装置として機能してもよいことが理解されよう。各反復は、ユーザと異なる可能性がある（ただし、そうである必要はない）特定の被験者（例えば、人）に関連付けられてもよい。反復の要求は、特定の被験者に関する情報（例えば、識別されていない患者識別子などの被験者の名前または他の識別子）を含むおよび／または伴うことができる。反復の要求は、被験者に対応する入力画像データなどのデータを収集する１つ以上の他のシステムの識別子を含むことができる。いくつかの例では、ユーザ装置２６０からの通信は、特定の被験者のセットに表された各被験者について反復を実行する要求に対応して、セットのそれぞれの識別子を含む。

要求を受信すると、分析システム２０５は、ラベルなし入力画像要素の（例えば、被験者の識別子を含む）要求を、１つ以上の対応するイメージングシステム２５０および／またはプロバイダシステム２５５に送信することができる。次いで、訓練された予測モデル２１５は、ラベル化されていない入力画像要素を処理して、非標的領域または標的領域をセグメント化し、画像分析を提供し、患者などの被験者の処置または予後診断のための疾患の診断を提供し、またはそれらの組み合わせを提供することができる。識別された各被験者の結果は、分類器サブシステム１１０ａ～ｎによって展開された訓練された予測モデル２１５からのセグメント化および／または１つ以上の出力メトリックを含むか、またはそれに基づくことができる。例えば、セグメント化および／または１つ以上の出力メトリックは、１つ以上のＣＮＮの完全接続層によって生成された出力を含むことができ、またはそれに基づくことができる。いくつかの例では、そのような出力は、（例えば）ソフトマックス関数を使用してさらに処理されてもよい。さらに、出力および／またはさらに処理された出力は、次いで、集約技術（例えば、ランダムフォレスト集約）を使用して集約され、１つ以上の被験者特有のメトリックを生成することができる。１つ以上の結果（例えば、プレーン特異的出力および／または１つ以上の被験者特異的出力および／またはそれらの処理されたバージョンを含む）は、ユーザ装置２６０に送信および／または利用されることができる。いくつかの例では、分析システム２０５とユーザ装置２６０との間の通信の一部または全部は、ウェブサイトを介して行われる。ＣＮＮシステム２０５は、認証分析に基づいて結果、データ、および／または処理リソースへのアクセスをゲーティングすることができることが理解されよう。

明示的に示されていないが、コンピューティング環境２００は、開発者に関連付けられた開発者装置をさらに含むことができることが理解されよう。開発者装置からの通信は、分析システム２０５内の各予測モデル２１５にどのタイプの入力画像要素が使用されるべきか、使用されるべきニューラルネットワークの数、隠れ層およびハイパーパラメータの数を含む各ニューラルネットワークの構成、ならびにデータ要求がどのようにフォーマットされるべきか、および／またはどの訓練データが使用されるべきか（例えば、および訓練データへのアクセス方法）を示すことができる。

ＩＩＩ．Ｂ モデルアーキテクチャの概要
図３は、様々な実施形態にかかる、非標的領域セグメンテーションのためのモデルアーキテクチャ（例えば、図２に関して説明した分析システム２０５の一部）を表す例示的な概略図３００を示している。モデルアーキテクチャは、単一画像データ（例えば、それぞれが単一の染色を有する画像）および／または多重画像データ（例えば、複数の染色を有する画像）を含む入力画像を生成または取得するための画像取得モジュール３１０と、さらなる分析のための部分、例えば腫瘍領域または免疫細胞領域を示す部分などの入力画像の一部に電子的に注釈を付けるための任意の画像注釈モジュール３１５と、１つ以上の染色チャネルに対応する画像チャネル画像を生成するための任意の混合解除モジュール３２０とを備える前処理段階３０５を備えることができる。モデルアーキテクチャは、入力画像内（例えば、ヘマトキシリンおよびエオシン染色画像、バイオマーカー画像、または非混合画像チャネル画像内）の特徴に基づいて細胞または核（例えば、腫瘍細胞、間質細胞、リンパ球など）を含む生物学的物質または構造体を検出および／または分類するための画像分析モジュール３３０を備える処理段階３２５をさらに備えることができる。

モデルアーキテクチャは、識別された領域または生物学的構造のそれぞれにおける各バイオマーカーについての発現予測および／またはスコアを導出するための任意のスコアリングモジュール３４０と、異なる領域または生物学的構造における導出された発現予測および／またはスコア間の変動性を記述するメトリックを導出し、任意に患者などの被験者の処置または予後診断のための疾患の診断を提供するための任意のメトリック生成モジュール３４５とを備える後処理段階３３５をさらに備えることができる。モデルアーキテクチャは、入力画像内のリンパ球凝集体または腫瘍細胞のクラスターなどの領域または生物学的構造をセグメント化し、セグメント化された領域または生物学的構造に基づいてマスクを生成するためのセグメンテーションおよびマスキングモジュール３５０と、入力画像内の第１の画像または第１の画像セットからの識別された領域または生物学的構造（例えば腫瘍細胞または免疫細胞）を少なくとも１つの追加の画像または複数の追加の画像にマッピングするための任意の位置合わせモジュール３５５とをさらに備えることができる。セグメンテーションおよびマスキングモジュール３５０および任意の位置合わせモジュール３５５は、前処理段階３０５、処理段階３２５、後処理段階３３５、またはそれらの任意の組み合わせ内に実装されてもよい。

画像取得モジュール３１０は、１つ以上の染色（例えば、画像は、単一画像または多重画像であってもよい）を有する生物学的試料の画像または画像データを生成または取得する。いくつかの実施形態では、生成または取得された画像は、ＲＧＢ画像またはマルチスペクトル画像である。いくつかの実施形態では、生成または取得された画像は、メモリ装置に記憶される。画像または画像データ（本明細書では互換的に使用される）は、イメージング装置（例えば、図２に関して説明したイメージング装置２５０）を使用して、例えばリアルタイムで生成または取得されることができる。いくつかの実施形態では、画像は、本明細書に記載のように、検体を保持する顕微鏡スライドの画像データを撮像することができる顕微鏡または他の機器から生成または取得される。いくつかの実施形態では、画像は、画像タイルを走査することができるものなどの２Ｄスキャナを使用して生成または取得される。あるいは、画像は、以前に生成され（例えば、走査され）、メモリ装置に記憶された（または、その場合には、通信ネットワークを介してサーバから取得された）画像であってもよい。

画像取得モジュール３１０は、生物学的試料の、１つ以上の画像または画像データが取得されるべき部分を選択するために使用される。例えば、画像取得モジュール３１０は、識別された関心領域または視野（ＦＯＶ）を受信することができる。いくつかの実施形態では、関心領域は、本開示のシステム、または本開示のシステムに通信可能に結合された別のシステムのユーザによって識別される。あるいは、他の実施形態では、画像取得モジュール３０５は、記憶装置／メモリ装置から領域または関心の位置または識別を取得する。いくつかの実施形態では、画像取得モジュール３１０は、例えば、その内容があらゆる目的のためにその全体が本明細書に組み込まれるＰＣＴ／ＥＰ２０１５／０６２０１５号に記載されている方法を介して、視野または関心領域（ＲＯＩ）を自動的に生成する。いくつかの実施形態では、ＲＯＩは、画像内または画像のいくつかの所定の基準または特性（例えば、３つ以上の染色で染色された生物学的試料について、２つの染色のみを含む画像の領域を識別すること）に基づいて画像取得モジュール３０５によって自動的に判定される。いくつかの例では、画像取得モジュール３１０は、ＲＯＩを出力する。

いくつかの実施形態では、画像取得モジュール３１０は、入力として少なくとも２つの画像を生成または取得する。いくつかの実施形態では、入力として生成または取得された画像は、連続する組織切片、例えば、同じ組織試料に由来する連続切片から得られる。一般に、入力として受信された少なくとも２つの画像は、それぞれ、染色（クロモゲン、フルオロフォア、量子ドットなどを含む）に対応する信号を含む。いくつかの実施形態では、画像の１つは、少なくとも１つの一次染色（ヘマトキシリンまたはエオシン（Ｈ＆Ｅ））で染色されており、画像の別の１つは、特定のバイオマーカーを識別するためのＩＨＣアッセイまたはｉｎ－ｓｉｔｕハイブリダイゼーション（ＩＳＨ）アッセイの少なくとも１つで染色されている。いくつかの実施形態では、画像の１つは、ヘマトキシリンおよびエオシンの双方で染色されており、画像の別の１つは、特異的バイオマーカーを識別するためのＩＨＣアッセイまたはＩＳＨアッセイの少なくとも１つで染色されている。いくつかの実施形態では、入力画像は多重画像であり、例えば、当業者に公知の方法にかかる多重アッセイで複数の異なるマーカーについて染色される。

生成または取得された画像は、画像注釈モジュール３１５を使用して画像分析のためにユーザ（例えば、病理医などの医療専門家）によって任意に注釈付けされてもよい。いくつかの実施形態では、ユーザは、さらなる分析に適した画像の部分（例えばサブ領域）を識別する。スライドスコアを生成するために注釈が付けられた標的領域または非標的領域（例えば、腫瘍領域または免疫領域）は、組織領域全体またはデジタルスライド上の領域の指定されたセットのいずれかであってもよい。例えば、いくつかの実施形態では、識別された部分は、特定のバイオマーカー、例えば特定のＩＨＣマーカーの過剰発現性腫瘍領域を表す。他の実施形態では、ユーザ、医療専門家、または病理学者は、デジタルスライド内のリンパ球凝集体領域に注釈付けすることができる。いくつかの実施形態では、注釈付き代表フィールドは、病理学者が全体的なスライド解釈に使用するバイオマーカー発現を反映するために、病理学者によって選択されることができる。注釈は、ビューアアプリケーション（例えば、ＶＥＮＴＡＮＡ ＶＩＲＴＵＯＳＯソフトウェア）に設けられた注釈ツールを使用して描かれてもよく、注釈は、任意の倍率または解像度で描かれてもよい。代替的または追加的に、画像分析動作が使用されて、セグメント化、閾値処理、エッジ検出などの自動画像分析動作、および検出された領域に基づいて自動的に生成された視野（ＦＯＶ－所定のサイズおよび／または形状を有する画像部分）を使用して、標的領域および非標的領域または他の領域を自動的に検出することができる。

いくつかの実施形態では、生成または取得された画像は、多重画像であってもよく、すなわち、受信された画像は、２つ以上の染色剤で染色された生物学的試料の画像である。これらの実施形態では、さらなる処理の前に、各多重画像は、まず、混合解除モジュール３２０などを用いてその構成チャネルに混合解除され、各混合解除チャネルは、特定の染色または信号に対応する。いくつかの実施形態では、非混合画像（「チャネル画像」または「画像チャネル画像」と呼ばれることが多い）は、本明細書に記載の各モジュールの入力として使用されることができる。例えば、モデルアーキテクチャは、第１のＨ＆Ｅ画像、複数の分化マーカークラスター（ＣＤ３、ＣＤ８など）について染色された第２の多重画像、および特定のバイオマーカー（例えば、ＥＲ、ＰＲ、Ｋｉ６７など）についてそれぞれ染色された複数の単一画像を用いて判定されたマーカー間不均一性（試料中のバイオマーカーのタンパク質発現不均一性の量の指標）を評価するために実装されることができる。この例では、多重画像は、最初にその構成チャネル画像に混合されず、それらのチャネル画像は、マーカー間の不均一性を判定するためにＨ＆Ｅ画像および複数の単一画像とともに使用されることができる。

画像取得および／または混合解除に続いて、入力画像または混合されていない画像チャネル画像は、画像分析モジュール３３０によって提供される画像分析アルゴリズムによって処理されて、細胞および／または核を識別および分類する。本明細書に記載の手順およびアルゴリズムは、腫瘍細胞、非腫瘍細胞、間質細胞、リンパ球、非標的染色などの識別および分類を含む、入力画像内の特徴に基づいて様々なタイプの細胞または細胞核を識別および分類するように適合されることができる。当業者は、細胞の核、細胞質および膜が異なる特徴を有し、異なる染色組織試料が異なる生物学的特徴を明らかにし得ることを理解すべきである。具体的には、当業者は、特定の細胞表面受容体が、膜に局在する、または細胞質に局在する染色パターンを有し得ることを理解すべきである。したがって、「膜」染色パターンは、「細胞質」染色パターンとは分析的に異なる。同様に、「細胞質」染色パターンと「核」染色パターンは分析的に異なる。これらの別個の染色パターンのそれぞれは、細胞および／または核を識別するための特徴として使用されることができる。例えば、間質細胞は、ＦＡＰによって強く染色されることができるのに対して、腫瘍上皮細胞は、ＥｐＣＡＭによって強く染色されることができるが、サイトケラチンは、ｐａｎＣＫによって染色されることができる。したがって、異なる染色を利用することにより、画像分析中に異なる細胞タイプを識別し区別して、分類解決策を提供することができる。

１つ以上の染色を有する生物学的試料の画像中の核、細胞膜、および細胞細胞質を識別、分類、および／またはスコアリングする方法は、米国特許第７，７６０，９２７号「’９２７特許」に記載されており、その内容はあらゆる目的のためにその全体が本明細書に組み込まれる。例えば、’９２７特許は、細胞質および細胞膜画素の同時識別のために、入力画像の背景部分を除去し且つ入力画像の逆染色された成分を除去するように処理された入力画像の前景にある複数の画素の第１の色平面を考慮することを含む、バイオマーカーで染色された生体組織の入力画像内の複数の画素を同時に識別し、デジタル画像の前景にある細胞質と細胞膜画素との間の閾値レベルを判定し、判定された閾値レベルを使用して、選択された画素が、デジタル画像内の細胞質画素、細胞膜画素、または遷移画素であるかどうかを、選択された画素および前景からのその８つの隣接画素と同時に判定するための自動化された方法を記載している。いくつかの実施形態では、腫瘍核は、最初に候補核を識別し、次に腫瘍核と非腫瘍核を自動的に区別することによって自動的に識別される。組織の画像内の候補核を識別する多くの方法が当該技術分野において知られている。例えば、自動候補核検出は、混合解除後のヘマトキシリン画像チャネルまたはバイオマーカー画像チャネルなどで、放射状対称性に基づく方法であるＰａｒｖｉｎの放射状対称性に基づく方法を適用することによって実行されることができる（Ｐａｒｖｉｎ、Ｂａｈｒａｍら「Ｉｔｅｒａｔｉｖｅ ｖｏｔｉｎｇ ｆｏｒ ｉｎｆｅｒｅｎｃｅ ｏｆ ｓｔｒｕｃｔｕｒａｌ ｓａｌｉｅｎｃｙ ａｎｄ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｕｂｃｅｌｌｕｌａｒ ｅｖｅｎｔｓ」Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ １６．３（２００７）：６１５－６２３を参照、その開示は、参照によりその全体が本明細書に組み込まれる）。

より具体的には、いくつかの実施形態では、入力として取得された画像は、核の中心（シード）を検出するため、および／または核をセグメント化するなどのために処理される。例えば、Ｐａｒｖｉｎ（上記）の技術を使用した放射状対称投票に基づいて核中心を検出するための命令が提供および実行されることができる。いくつかの実施形態では、核は、核の中心を検出するために放射状対称性を使用して検出され、次に、核は、細胞中心の周りの染色の強度に基づいて分類される。いくつかの実施形態では、その内容があらゆる目的のためにその全体が本明細書に組み込まれる、同一出願人による同時係属中の特許出願である国際公開第２０１４１４００８５号パンフレットに記載されているように、放射状対称性に基づく核検出動作が使用される。例えば、画像の大きさは、画像内で計算されることができ、各画素における１つ以上の投票は、選択された領域内の大きさの合計を加算することによって累積される。平均シフトクラスタリングを使用して、領域内の局所中心を見つけることができ、局所中心は、実際の核の場所を表す。放射状対称投票に基づく核検出は、カラー画像強度データに対して実行され、核が様々なサイズと偏心を有する楕円形のブロブであるという先験的なドメイン知識を明示的に利用する。これを実現するために、入力画像の色の強度とともに、画像勾配情報が放射状対称投票で使用され、適応セグメンテーションプロセスと組み合わせて、細胞核を正確に検出して局在化する。本明細書で使用される「勾配」は、例えば、前記特定の画素を取り囲む画素のセットの強度値勾配を考慮に入れることによって前記特定の画素について計算された画素の強度勾配である。各勾配は、そのｘ軸およびｙ軸がデジタル画像の２つの直交するエッジによって定義される座標系に対して特定の「方向」を有することができる。例えば、核シード検出は、細胞核の内側にあると想定され、細胞核を局在化するための開始点として機能する点としてシードを定義することを含む。第１のステップは、放射状対称性に基づく非常にロバストなアプローチを使用して、各細胞核に関連するシード点を検出し、細胞核に似た構造である楕円形のブロブを検出することである。放射状対称性アプローチは、カーネルベースの投票手順を使用して勾配画像に対して動作する。投票応答行列は、投票カーネルを介して投票を蓄積する各画素を処理することによって作成される。カーネルは、その特定の画素で計算された勾配方向と、最小および最大の核サイズの予想範囲、および投票カーネル角度（通常は［ｐ／４、ｐ／８］の範囲）に基づいている。結果の投票空間では、事前定義された閾値よりも高い投票値を有する極大値がシード点として保存される。無関係なシードは、後で後続のセグメンテーションまたは分類プロセス中に破棄されることができる。他の方法は、米国特許出願公開第２０１７／０１４０２４６号明細書に記載されており、その開示は、参照により本明細書に組み込まれる。

候補核が識別された後、候補核がさらに分析されて、腫瘍核を他の候補核と区別することができる。他の候補核は、さらに分類されることができる（例えば、リンパ球核および間質核を識別することによって）。いくつかの実施形態では、本明細書でさらに説明するように、学習された教師あり分類器を適用して腫瘍核を識別する。例えば、学習された教師あり分類器は、核特徴について訓練されて腫瘍核を識別し、次いで検査画像内の核候補を腫瘍核または非腫瘍核のいずれかとして分類するために適用される。場合により、学習された教師あり分類器は、リンパ球核および間質核などの異なるクラスの非腫瘍核を区別するようにさらに訓練されてもよい。いくつかの実施形態では、腫瘍核を識別するために使用される学習された教師あり分類器は、ランダムフォレスト分類器である。例えば、ランダムフォレスト分類器は、以下によって訓練されることができる：（ｉ）腫瘍核と非腫瘍核の訓練セットを作成すること、（ｉｉ）各核の特徴を抽出すること、および（ｉｉｉ）抽出された特徴に基づいて腫瘍核と非腫瘍核とを区別するようにランダムフォレスト分類器を訓練すること。次いで、訓練されたランダムフォレスト分類器が適用されて、試験画像内の核を腫瘍核と非腫瘍核とに分類することができる。場合により、ランダムフォレスト分類器は、リンパ球核および間質核などの異なるクラスの非腫瘍核を区別するようにさらに訓練されてもよい。

核は、当業者に知られている他の技術を使用して識別されることができる。例えば、画像の大きさは、ＦＩ＆ＥまたはＩＨＣ画像の１つの特定の画像チャネルから計算されることができ、指定された大きさの周りの各画素には、画素の周りの領域内の大きさの合計に基づく投票数を割り当てられることができる。あるいは、平均シフトクラスタリング動作を実行して、核の実際の位置を表す投票画像内の局所中心を見つけることができる。他の実施形態では、核セグメンテーションを使用して、形態学的操作および局所閾値処理を介して、現在知られている核の中心に基づいて核全体をセグメント化することができる。さらに他の実施形態では、モデルベースのセグメンテーションを利用して核を検出することができる（すなわち、訓練データセットから核の形状モデルを学習し、それを試験画像内の核をセグメント化するための事前知識として使用する）。

次に、いくつかの実施形態では、核は、その後、各核について個別に計算された閾値を使用してセグメント化される。例えば、Ｏｔｓｕの方法は、核領域の画素強度が変化すると考えられるため、識別された核の周りの領域のセグメンテーションに使用されることができる。当業者によって理解されるように、Ｏｔｓｕの方法は、クラス内分散を最小化することによって最適な閾値を判定するために使用され、当業者に知られている。より具体的には、Ｏｔｓｕの方法は、クラスタリングベースの画像閾値処理、またはグレーレベル画像のバイナリ画像への縮小を自動的に実行するために使用される。このアルゴリズムは、画像がバイモーダルヒストグラムに続く２つのクラスの画素（前景画素および背景画素）を含むことを前提としている。次に、クラス間分散が最大になるように、それらの結合された広がり（クラス内分散）が最小になるか、同等になるように（ペアワイズ二乗距離の合計が一定であるため）、２つのクラスを分離する最適な閾値を計算する。

いくつかの実施形態では、システムおよび方法は、さらに、非腫瘍細胞の核を識別するために、画像内の識別された核のスペクトルおよび／または形状の特徴を自動的に分析することを含む。例えば、ブロブは、第１のステップの第１のデジタル画像において識別されることができる。本明細書で使用される「ブロブ」は、例えば、いくつかの特性、例えば、強度またはグレー値が一定であるかまたは指定された値の範囲内で変化するデジタル画像の領域とすることができる。ブロブ内の全ての画素は、ある意味で互いに類似していると見なすことができる。例えば、ブロブは、デジタル画像上の位置の関数の導関数に基づく微分法、および局所極値に基づく方法を使用して識別されることができる。核ブロブは、その画素および／またはその輪郭形状が、ブロブがおそらく第１の染色によって染色された核によって生成されたことを示すブロブである。例えば、ブロブの放射状対称性を評価して、ブロブを核のブロブとして識別するかまたは任意の他の構造、例えば染色アーチファクトとして識別する必要があるかを判定することができる。例えば、ブロブが長い形状を有し、放射状対称性でない場合、前記ブロブは、核ブロブとしてではなく、むしろ染色アーチファクトとして識別されることができる。実施形態に応じて、「核ブロブ」として識別されるブロブは、候補核として識別され、前記核ブロブが核を表すかどうかを判定するためにさらに分析されることができる画素のセットを表すことができる。いくつかの実施形態では、任意のタイプの核ブロブが「識別された核」として直接使用される。いくつかの実施形態では、フィルタリング動作は、バイオマーカー陽性腫瘍細胞に属さない核を識別するため、および既に識別された核のリストから前記識別された非腫瘍核を除去するため、または最初から識別された核のリストに前記核を追加しないために、識別された核または核ブロブに適用される。例えば、識別された核ブロブの追加のスペクトルおよび／または形状の特徴を分析して、核または核耳ブロブが腫瘍細胞の核であるかどうかを判定することができる。例えば、リンパ球の核は、他の組織細胞、例えば肺細胞の核よりも大きい。腫瘍細胞が肺組織に由来する場合、リンパ球の核は、正常な肺細胞核の平均サイズまたは直径よりも有意に大きい最小サイズまたは直径の全ての核ブロブを識別することによって識別される。リンパ球の核に関連する識別された核ブロブは、既に識別された核のセットを除去する（すなわち、「フィルタにかけて除去する」）ことができる。非腫瘍細胞の核を除去することにより、本方法の精度を高めることができる。バイオマーカーに応じて、非腫瘍細胞もある程度バイオマーカーを発現する可能性があり、したがって、腫瘍細胞に由来しない第１のデジタル画像で強度信号を生成する可能性がある。既に識別された核の全体から腫瘍細胞に属さない核を識別およびフィルタリングすることにより、バイオマーカー陽性腫瘍細胞を識別する精度を高めることができる。これらおよび他の方法は、米国特許出願公開第２０１７／０１０３５２１号明細書に記載されており、その内容はあらゆる目的のためにその全体が本明細書に組み込まれる。いくつかの実施形態では、シードが検出されると、局所的に適応可能な閾値法が使用されることができ、検出された中心の周りのブロブが作成される。いくつかの実施形態では、マーカベースの分水界アルゴリズムもまた使用して、検出された核中心の周りの核ブロブを識別することができるなど、他の方法も組み込むことができる。これらおよび他の方法は、国際公開第２０１６／１２０４４２号パンフレットとして公開されたＰＣＴ／ＥＰ２０１６／０５１９０６号に記載されており、その内容はあらゆる目的のためにその全体が本明細書に組み込まれる。

いくつかの実施形態では、様々なマーカー発現スコアが、スコアリングモジュール３４０を使用して、各画像（多重画像からの単一画像または非混合画像チャネル画像）内の各細胞クラスター内の各染色またはバイオマーカーについて計算される。スコアリングモジュール３４０は、いくつかの実施形態では、画像分析モジュール３３０による細胞の検出および分類中に取得されたデータを利用する。例えば、画像分析モジュール３３０は、一連の画像分析アルゴリズムを含むことができ、本明細書に記載されるように、識別された細胞クラスター内の核、細胞壁、腫瘍細胞、または他の構造のうちの１つ以上の存在を判定するために使用されることができる。いくつかの実施形態では、各視野に対する特定の核の導出された染色強度値およびカウントは、陽性パーセントまたはＨスコアなどの様々なマーカー発現スコアを判定するためにスコアリングモジュール３４０によって使用されることができる。スコアリング方法は、２０１３年１２月１９日に出願された同一出願人による同時係属出願である国際公開第２０１４／１０２１３０号パンフレット「Ｉｍａｇｅ ａｎａｌｙｓｉｓ ｆｏｒ ｂｒｅａｓｔ ｃａｎｃｅｒ ｐｒｏｇｎｏｓｉｓ」および２１０４年３月１２日に出願された国際公開第２０１４／１４００８５号パンフレット「Ｔｉｓｓｕｅ ｏｂｊｅｃｔ－ｂａｓｅｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｃｏｒｉｎｇ ｏｆ ｄｉｇｉｔａｌ ｗｈｏｌｅ ｓｌｉｄｅｓ」にさらに詳細に記載されており、それぞれの内容は参照によりその全体が本明細書に組み込まれる。例えば、画像分析モジュール３３０内の自動画像分析アルゴリズムが使用されて、一連のＩＦＩＣスライドのそれぞれを解釈して、Ｋｉ６７、ＥＲ、ＰＲ、ＦＩＥＲ２などの特定のバイオマーカーについて陽性および陰性に染色された腫瘍核を検出することができる。検出された陽性および陰性の腫瘍核に基づいて、マーカーパーセント陽性、Ｈスコアなどの様々なスライドレベルスコアを、スコアリングモジュール３４０を使用して計算することができる。

いくつかの実施形態では、発現スコアは、「弱 」「中」または「強」と等級付けされた細胞膜染色を有する腫瘍細胞の割合を評価するために使用されるＨスコアである。等級は合計され、３００の全体の最大スコアおよび１００のカットオフポイントを与え、「陽性」および「陰性」を区別する。例えば、膜染色強度（０、１＋、２＋、または３＋）は、固定視野内の各細胞（またはここでは腫瘍または細胞クラスター内の各細胞）に対して判定される。Ｈスコアは、単に優勢な染色強度に基づくことができ、より複雑には、見られる各強度レベルの個々のＨスコアの合計を含むこともできる。他の実施形態では、発現スコアは、Ａｌｌｒｅｄスコアである。Ａｌｌｒｅｄスコアは、ホルモン受容体が陽性であるとテストされた細胞の割合と、染色後に受容体がどれだけよく現れるか（これは「強度」と呼ばれる）を調べるスコアリングシステムである。他の実施形態では、発現スコアは、パーセント陽性である。ＰＲおよびＫｉ－６７スライド対してＰＲおよびＫｉ－６７バイオマーカー、ＰＲおよびＫｉ－６７スライドについて染色された乳癌試料のスコアリングの文脈において、以下のように単一スライドにおけるパーセント陽性が計算される（例えば、スライドのデジタル画像の各視野で陽性に染色された細胞の核の総数（例えば、悪性細胞）は、加算され、デジタル画像の各視野からの陽性および陰性に染色された核の総数で除算される）：パーセント陽性＝陽性に染色された細胞の数／（陽性に染色された細胞の数＋陰性に染色された細胞の数）。他の実施形態では、発現スコアは、ＩＨＣ組み合わせスコアであり、これは、ＩＨＣマーカーの数に基づく予後スコアであり、マーカーの数は、１よりも多い。ＩＨＣ４は、乳癌試料中の４つの測定されたＩＨＣマーカー、すなわちＥＲ、ＨＥＲ２、Ｋｉ－６７およびＰＲに基づく１つのそのようなスコアである（例えば、Ｃｕｚｉｃｋら、Ｊ．Ｃｌｉｎ．Ｏｎｃｏｌ．２９：４２７３－８，２０１１年、およびＢａｒｔｏｎら、Ｂｒ．Ｊ．Ｃａｎｃｅｒ １－６，２０１２年４月２４日、双方とも参照により本明細書に組み込まれる）。

各識別されたクラスターまたはマッピングされたクラスター内の各マーカーの画像分析および任意の発現スコアの判定に続いて、メトリック生成モジュール３４５を使用して、様々な識別されたクラスターおよび生物学的構造からメトリックが導出されることができる。いくつかの例では、核ブロブまたはシードに含まれるかまたは核ブロブまたはシードを取り囲む画素に様々な画像分析アルゴリズムを適用することによって、形態メトリックが計算されることができる。いくつかの実施形態では、形態メトリックは、面積、短軸および長軸の長さ、周囲長、半径、固体度などを含む。細胞レベルでは、そのようなメトリックが使用されて、核を健常な細胞または疾患細胞に属するものとして分類することができる。組織レベルでは、組織全体のこれらの特徴の統計が、組織が罹患しているかどうかの分類に利用される。いくつかの例では、核を識別するために使用される核ブロブまたはシードに含まれるかまたは核ブロブまたはシードを囲む画素の画素強度値を比較することによって、特定の核について外観メトリックが計算されることができ、それにより、比較される画素強度は、異なる画像チャネル（例えば、背景チャネル、バイオマーカーの染色のためのチャネルなど）から導出される。いくつかの実施形態では、外観特徴から導出されたメトリックは、異なる画像チャネルから計算された画素強度および勾配の大きさのパーセンタイル値（例えば、１０パーセンタイル値、５０パーセンタイル値、および９５パーセンタイル値）から計算される。例えば、まず、目的の核を表す核ブロブ内の複数のＩＣの画像チャネル（例えば、３つのチャネル：ＨＴＸ、ＤＡＢ、輝度）のそれぞれの画素値のＸパーセンタイル値の数Ｐ（Ｘ＝１０、５０、９５）が識別される。外観特徴メトリックを計算することは、導出されたメトリックが核領域の特性を記述し、核の周りの膜領域を記述することができるため有利であり得る。

いくつかの例では、背景特徴が画像から抽出された核を含む細胞の細胞質および細胞膜特徴における外観および／または染色の存在を示す背景メトリックが計算されることができる。背景特徴および対応するメトリックは、例えば核を表す核ブロブまたはシードを識別し、計算される、識別された細胞のセットに直接隣接する画素領域（例えば、核ブロブ境界の周りの厚さ約９ミクロンの２０画素のリボン）を分析し、したがって、細胞に直接隣接する領域とともにこの核を用いて細胞の細胞質および膜における外観および染色の存在を撮像することによって、デジタル画像に描写された核および対応する細胞について計算されることができる。いくつかの例では、色メトリックは、色比Ｒ／（Ｒ＋Ｇ＋Ｂ）または色主成分を含む色から導出されてもよい。他の実施形態では、色から導出された色メトリックは、各色の局所統計（平均／中央値／分散／標準偏差）および／または局所画像ウィンドウ内の色強度相関を含む。いくつかの例では、強度メトリックは、画像に表される灰色のセルの暗い色調と白い色調との間に設定される特定の特性値を有する隣接セルのグループから導出されてもよい。色の特徴の相関関係は、サイズクラスのインスタンスを定義することができ、したがって、このようにして、これらの着色細胞の強度が周囲の暗い細胞のクラスターから影響を受ける細胞を判定する。

いくつかの例では、テクスチャ特徴または空間特徴などのメトリックの計算の基礎として、他の特徴が考慮され、使用されてもよい。別の例として、発現スコアリングは、予測的尺度として、または処置を導くために利用されることができる。例えば、乳癌ならびにＥＲおよびＰＲバイオマーカーとの関連において、陽性を検査する試料は、処置過程の間にホルモン療法を提供するという決定を導くことができる。当業者はまた、生物学的試料内の全てのクラスターが任意の特定のマーカーについて同じスコアを有し得るわけではないことを理解するであろう。クラスター間の変動性を記述する不均一性スコアまたはメトリックを判定することができることにより、情報に基づいた処置決定を行うための追加のガイダンスが提供されることができる。いくつかの実施形態では、不均一性は、異なるクラスターが互いにどの程度比較されるかを測定するために判定される。不均一性は、例えば、その内容があらゆる目的のためにその全体が本明細書に組み込まれる国際公開第２０１９１１０５６７号パンフレットに記載されているように、様々な識別およびマッピングされたクラスター間のタンパク質発現レベルが互いにどのように異なるかを説明する可変性メトリックによって測定されることができる。いくつかの実施形態では、不均一性は、識別された全てのクラスター間で測定される。他の実施形態では、不均一性は、識別されたクラスターのサブセット（例えば、特定の所定の基準を満たすクラスター）間でのみ測定される。

いくつかの実施形態では、入力として受信された画像は、セグメンテーションおよびマスキングモジュール３５０によってセグメント化およびマスキングされることができる。例えば、訓練された畳み込みニューラルネットワークのアーキテクチャまたはモデルが使用されて、非標的領域および／または標的領域をセグメント化することができ、次いで、画像を画像分析アルゴリズムに入力する前、入力中、または入力後に分析のためにマスクされることができる。いくつかの実施形態では、入力画像は、組織領域のみが画像内に存在するようにマスクされる。いくつかの実施形態では、組織領域マスクは、組織領域から非組織領域をマスクするために生成される。いくつかの実施形態では、組織領域を識別し、背景領域（例えば、撮像源からの白色光のみが存在する場合など、試料のないガラスに対応する全スライド画像の領域）を除外することによって、組織領域マスクが作成されることができる。

いくつかの実施形態では、セグメンテーション技術を使用して、入力画像内の非組織領域から組織領域をマスクすることによって組織領域マスク画像を生成する。いくつかの実施形態では、画像セグメンテーション技術を利用して、デジタル化された組織データと画像内のスライド、前景に対応する組織、および背景に対応するスライドを区別する。いくつかの実施形態では、セグメンテーションおよびマスキングモジュール３５０は、分析される背景の非組織領域の量を制限しながら、ホールスライド画像の関心領域（ＡＯＩ）内の全ての組織領域を検出するためにＡＯＩを計算する。広範囲の画像セグメンテーション技術（例えば、ＨＳＶカラーベースの画像セグメンテーション、Ｌａｂ画像セグメンテーション、平均シフトカラー画像セグメンテーション、領域成長、レベルセット法、高速マーチング法など）を使用して、例えば、組織データと非組織または背景データとの境界を判定することができる。少なくとも部分的にセグメンテーションに基づいて、セグメンテーションおよびマスキングモジュール３５０は、組織データに対応するデジタル化されたスライドデータのそれらの部分を識別するために使用されることができる組織前景マスクを生成することができる。あるいは、構成要素は、組織データに対応しないデジタル化されたスライドデータの部分を識別するために使用される背景マスクを生成することができる。

この識別は、エッジ検出などの画像分析操作によって可能にされることができる。組織領域マスクを使用して、画像内の非組織背景ノイズ、例えば非組織領域を除去することができる。いくつかの実施形態では、組織領域マスクの生成は、以下の動作のうちの１つ以上を備える（しかしながら、以下の動作に限定されるものではない）：低解像度入力画像の輝度の計算、輝度画像の生成、輝度画像への標準偏差フィルタの適用、フィルタリングされた輝度画像の生成、および、所与の閾値を超える輝度を有する画素が１に設定され、閾値を下回る画素がゼロに設定されるようにフィルタリングされた輝度画像への閾値の適用、組織領域マスクの生成。組織領域マスクの生成に関する追加の情報および例は、「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ ｆｒｏｍ ａ Ｂｉｏｌｏｇｉｃａｌ Ｔｉｓｓｕｅ Ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎｓ」と題されたＰＣＴ／ＥＰ／２０１５／０６２０１５号に開示されており、その内容はあらゆる目的のためにその全体が本明細書に組み込まれる。

組織領域から非組織領域をマスキングすることに加えて、セグメンテーションおよびマスキングモジュール３５０は、必要に応じて、非標的領域または特定の組織タイプ（例えば、リンパ系凝集体領域）に属すると識別された組織の一部、または標的領域または特定の組織タイプ（例えば、疑わしい腫瘍領域）に属すると識別された組織の一部など、他の関心領域もマスクすることができる。様々な実施形態では、リンパ球凝集体領域セグメンテーションなどの非標的領域セグメンテーションは、ＣＮＮモデル（例えば、図２に関して説明した分類器サブシステム２１０ａに関連付けられたＣＮＮモデル）によって行われる。いくつかの実施形態では、ＣＮＮモデルは、二次元セグメンテーションモデルである。例えば、ＣＮＮモデルは、残差ブロック、拡張、および深さ方向の畳み込みを有するＵ－Ｎｅｔであってもよい。前処理または処理された画像データ（例えば、二次元領域または全スライド画像）は、Ｕ－Ｎｅｔへの入力として使用されることができる。Ｕ－Ｎｅｔは、拡張経路で補完された縮小経路を含み、拡張経路内の連続層のプーリング演算は、アップサンプリング演算子で置き換えられる。したがって、これらの連続層は、前の層からの出力の解像度を高め、Ｕ－Ｎｅｔの最終出力が入力画像と同じ解像度を有することを可能にする。セグメンテーションに少なくとも部分的に基づいて、Ｕ－Ｎｅｔは、非標的領域データに対応するデジタル化スライドデータの部分を識別するために使用されることができる非標的領域前景マスクを生成することができる。あるいは、コンポーネントは、非標的領域データに対応しないデジタル化スライドデータの部分を識別するために使用される背景マスクを生成することができる。Ｕ－Ｎｅｔの出力は、下にある画像内に存在する非標的領域の位置を表す前景非標的領域マスク、または非標的領域データに対応しないデジタル化スライドデータの部分（例えば、標的領域）を表す背景非標的領域マスクであってもよい。

いくつかの実施形態では、位置合わせモジュール３５５および位置合わせプロセスを使用して、１つ以上の画像で識別された腫瘍細胞または細胞クラスターなどの生物学的物質または構造体が１つ以上の追加の画像にマッピングされる。位置合わせは、異なるデータセット、ここでは画像、または画像内のセルクラスターを１つの座標系に変換するプロセスである。より具体的には、位置合わせは、２つ以上の画像を位置合わせするプロセスであり、一般に、１つの画像を参照（参照画像または固定画像とも呼ばれる）として指定することと、それらが参照と位置合わせされるように他の画像に幾何学的変換を適用することとを含む。幾何学的変換は、ある画像の場所を別の画像の新たな場所にマッピングする。正しい幾何学的変換パラメータを判定するステップは、画像位置合わせプロセスの鍵である。いくつかの実施形態では、画像位置合わせは、その内容があらゆる目的のためにその全体が本明細書に組み込まれる、２０１４年９月３０日に出願された「Ｌｉｎｅ－Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｃｒｏｓｓ－Ｉｍａｇｅ Ａｎｎｏｔａｔｉｏｎ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ」と題された国際公開第２０１５／０４９２３３号パンフレットに記載されている方法を使用して行われる。国際公開第２０１５／０４９２３３号パンフレットは、単独で、または精緻な位置合わせプロセスと組み合わせて使用される粗い位置合わせプロセスを含む位置合わせプロセスを記載している。いくつかの実施形態では、粗い位置合わせプロセスは、位置合わせのためにデジタル画像を選択することと、選択されたデジタル画像のそれぞれから前景画像マスクを生成することと、結果として生じる前景画像間の組織構造をマッチングすることとを含むことができる。他の実施形態では、前景画像マスクを生成することは、染色された組織切片のホールスライド画像からソフト加重前景画像を生成することと、ソフト加重前景画像にＯＴＳＵ閾値を適用して、バイナリソフト加重画像マスクを生成することとを含む。他のさらなる実施形態では、前景画像マスクを生成することは、染色された組織切片のホールスライド画像からバイナリソフト加重画像マスクを生成することと、同じホールスライド画像から勾配振幅画像マスクを別々に生成することと、勾配画像マスクにＯＴＳＵ閾値を適用して、バイナリ勾配振幅画像マスクを生成することと、バイナリＯＲ演算を使用してバイナリソフト加重画像とバイナリ勾配振幅画像マスクとを組み合わせて前景画像マスクを生成することとを含む。本明細書で使用される「勾配」は、例えば、特定の画素を取り囲む画素のセットの強度値勾配を考慮に入れることによって前記特定の画素について計算された画素の強度勾配である。各勾配は、そのｘ軸およびｙ軸がデジタル画像の２つの直交するエッジによって定義される座標系に対して特定の「方向」を有することができる。「勾配配向特徴」は、前記座標系内の勾配の配向を示すデータ値とすることができる。

いくつかの実施形態では、組織構造のマッチングは、結果として生じる前景画像マスクのそれぞれの境界から線ベースの特徴を計算することと、第１の前景画像マスク上の線特徴の第１のセットと第２の前景画像マスク上の線特徴の第２のセットとの間のグローバル変換パラメータを計算することと、変換パラメータに基づいて第１および第２の画像をグローバルに位置合わせすることとを含む。さらに別の実施形態では、粗い位置合わせプロセスは、グローバル変換パラメータに基づいて選択されたデジタル画像を共通のグリッドにマッピングすることを含み、このグリッドは、選択されたデジタル画像を包含することができる。いくつかの実施形態では、精緻な位置合わせプロセスは、位置合わせされたデジタル画像のセット内の第１のデジタル画像の第１のサブ領域を識別することと、位置合わせされたデジタル画像のセット内の第２のデジタル画像の第２のサブ領域を識別することであって、第２のサブ領域が第１のサブ領域よりも大きく、第１のサブ領域が共通グリッド上の第２のサブ領域内に実質的に位置する、識別することと、第２のサブ領域内の第１のサブ領域についての最適化された位置を計算することとを含むことができる。

ＩＩＩ．Ｃ．二次元セグメンテーションのための例示的なＵ－Ｎｅｔ
二次元セグメンテーションは、修正Ｕ－Ｎｅｔを用いてタイルベースの方法を使用して入力画像（例えば、検体スライドの１つ以上の画像）から個別に特徴を抽出し、高解像度の二次元非標的領域マップを生成する。図４に示すように、タイル画像４００（例えば、ＩＨＣ画像）は、非標的領域（例えば、リンパ系凝集体）および標的領域（例えば、腫瘍および他の細胞）を識別するために、手動注釈４０５を有する修正Ｕネットを訓練する際に使用されることができる。例えば、修正Ｕ－Ｎｅｔは、グラウンドトゥルースセグメンテーションマスク４１０を使用して訓練されてもよく、出力は、Ｕ－Ｎｅｔを使用して予測された画素あたりの前景／背景確率とグラウンドトゥルースセグメンテーションマスク４１０との間の差を測定するために損失関数が構築される画素あたりの前景／背景確率である。グラウンドトゥルースセグメンテーションマスク４１０は、タイル画像４００上の手動注釈４０５を有するタイル画像４００から生成されることができる。タイル画像４００は、対応するグラウンドトゥルースセグメンテーションマスク４１０を生成するために、元の白黒画像またはカラー画像の双方について、２５６×２５６のサイズなどの所定のサイズの比較的小さいパッチ４１５にセグメント化されることができる。白黒またはカラー画像の一対の小さいパッチ４１５、または対応するグラウンドトゥルースセグメンテーションマスク４１０が修正Ｕ－Ｎｅｔに入力される。特定の例では、データは、訓練セットの８０％および試験セットまたは検証セットの２０％に分割されることができる。いくつかの例では、学習率スケジュールは、所定のスケジュールにしたがって学習率を減少させることによって、訓練中に修正Ｕ－Ｎｅｔの学習率を調整するために使用される。特定の例では、学習率スケジュールは、損失関数を最適化するために数エポックごとに学習率を所定の係数だけ低下させるステップ減衰スケジュールである。例えば、ステップ減衰スケジュールが使用されて、学習率を１５エポックごとに１／４だけ下げることができる。特定の例では、バイナリ交差エントロピー損失関数が使用されて、以下のように設定されたハイパーパラメータを使用して修正Ｕ－Ｎｅｔを訓練する。５０エポック、バッチサイズ２、学習率１×１０－５。訓練は、最適な修正Ｕ－Ｎｅｔを見つけるために、例えば２０ｘおよび１０ｘなどの２つの異なる倍率を使用して実行されてもよい。図５Ａは、バッチに関する修正Ｕ－Ｎｅｔ訓練中の損失を示している。図５Ｂは、最適な性能を達成するための修正Ｕ－Ｎｅｔ訓練中の精度を示している。

図６に示すように、Ｕ－Ｎｅｔ ６００は、縮小経路６０５（符号化器）および拡張経路６１０（復号器）を含むことができ、これによりｕ字形アーキテクチャが得られる。縮小経路６０５は、畳み込み（例えば、３×３の畳み込み（パッドなしの畳み込み））の繰り返し適用を含むＣＮＮネットワークであり、それぞれの畳み込みの後に正規化線形ユニット（ＲｅＬＵ）およびダウンサンプリングのための最大プーリング演算（例えば、ストライド２の２×２最大プーリング）が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は２倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路６１０は、縮小経路６０５からの特徴および空間情報を組み合わせるＣＮＮネットワークである（縮小経路６０５からの特徴マップのアップサンプリング）。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップ畳み込み（アップサンプリング演算子）、縮小経路６０５から対応して切り取られた特徴マップとの連結、それぞれが正規化線形ユニット（ＲｅＬＵ）の後に続く畳み込み（例えば、２つの３×３畳み込み）の繰り返し適用、および最終的な畳み込み（例えば、１×１畳み込み）が続き、二次元非標的領域マスクが生成される。局在化するために、縮小経路６０５からの高解像度特徴は、拡張経路６１０からのアップサンプリングされた出力と合成される。

様々な実施形態において、Ｕ－Ｎｅｔ ６００は、従来のＵ－Ｎｅｔアーキテクチャのものから全体的に低減されたいくつかのチャネルを実装する。具体的には、中間活性化出力層のチャネル数は、従来のＵ－Ｎｅｔアーキテクチャで使用される１０２４の代わりに、例えば第二層では２または４（例えば、縮小経路６０５および拡張経路６１０内の太字の数字を参照されたい）などの所定の係数だけ減少し、チャネル数は６４から１６などの係数だけ減少し、最大チャネル数もまた４から２５６の係数だけ減少する。このチャネルの減少は、計算コストおよびモデルの複雑さを低減するために実施される。経験的証拠は、この圧縮されたＵ－Ｎｅｔアーキテクチャが、最大１０２４チャネル数を有し、チャネル数を減少させない従来のＵ－Ｎｅｔアーキテクチャと比較して、より良好な結果を提供することを示している。さらに、Ｕ－Ｎｅｔ ６００は、オーバーフィッティングに対抗するための空間ドロップアウト６１５を備える。空間ドロップアウト６１５は、縮小経路６０５の最後のいくつかの層（すなわち、最後の１つ、２つ、３つ、または４つの層）で実施されることができる。空間ドロップアウト６１５は、従来のドロップアウトによって実行されるような個々の要素ではなく、二次元特徴マップ全体をドロップする。例えば、特徴マップ内の隣接画素が（通常は初期畳み込み層の場合のように）強く相関している場合、従来のドロップアウトは、活性化を規則化せず、そうでなければ有効学習率の低下をもたらす。対照的に、空間ドロップアウト６１５は、活性化を規則化し、特徴マップ間の独立性を促進するのに役立ち、そうでなければ有効学習率の増加をもたらす。

Ｄ セグメンテーションおよび分析のための技術
図７は、様々な実施形態にかかる予測モデルを訓練するためのプロセス７００を示している。

プロセス７００は、ブロック７０５で開始し、そこでは検体についての複数のタイル画像がアクセスされる。複数のタイル画像の１つ以上のタイル画像は、１つ以上のタイル画像の非標的領域および標的領域をセグメント化するための注釈を含む。ブロック７１０において、１つ以上のタイル画像は、所定のサイズの画像パッチに分割される。例えば、タイル画像は、典型的にはランダムなサイズを有し、Ｕ－Ｎｅｔなどの二次元セグメンテーションモデルは、正規化された画像サイズでよりよく学習し、したがって、タイル画像は、訓練を最適化するために特定のサイズを有する画像パッチに分割されることができる。いくつかの実施形態では、１つ以上のタイル画像は、６４画素×６４画素、１２８画素×１２８画素、２５６画素×２５６画素、または５１２画素×５１２画素の所定のサイズを有する画像パッチに分割される。ブロック７１５において、二次元セグメンテーションモデルなどの予測モデルが画像パッチで訓練される。いくつかの例では、二次元セグメンテーションモデルは、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、縮小経路および拡張経路のそれぞれは、最大所定数のチャネルを有し、縮小経路の１つ以上の層は、空間ドロップアウトを実施する。いくつかの実施形態では、チャネルの最大所定数は、６４、１２８、２５６または５１２である。訓練は、予測モデルの損失関数を最小化する予測モデルのパラメータのセットを見つけるために反復演算を実行することを含むことができる。各反復は、パラメータのセットを使用する損失関数の値が前の反復におけるパラメータの別のセットを使用する損失関数の値よりも小さくなるように、予測モデルのパラメータのセットを見つけることを含むことができる。損失関数は、予測モデルを使用して予測された出力と、１つ以上のタイル画像または画像パッチに含まれる注釈との間の差を測定するように構成される。いくつかの例では、訓練は、所定のスケジュールにしたがって学習率を低減することによって修正Ｕ－Ｎｅｔの学習率を調整することをさらに含む。所定のスケジュールは、損失関数を最適化するために所定数のエポックごとに学習率を所定の係数だけ低下させるステップ減衰スケジュールであってもよい。特定の例では、損失関数は、バイナリ交差エントロピー損失関数である。ブロック７２０において、訓練された予測モデルが提供される。例えば、訓練された予測モデルは、図２および図３に関して説明したように、画像分析環境で実行するために展開されることができる。

図８Ａは、様々な実施形態にかかる画像データ内の非標的領域のセグメンテーションマスクを生成するためのプロセス８００を示している。

プロセス８００は、ブロック８０５で開始し、ここで検体の複数の画像がアクセスされる。複数の画像のうちの１つ以上の画像は、非標的領域および標的領域を含む。図８Ｂは、１つ以上の画像の原画像の例を示している。いくつかの例では、検体は、１つ以上のバイオマーカーについて染色される。ブロック８１０において、１つ以上の画像（例えば、タイル画像）は、所定サイズの画像パッチに分割される。いくつかの実施形態では、１つ以上のタイル画像は、６４画素×６４画素、１２８画素×１２８画素、２５６画素×２５６画素、または５１２画素×５１２画素の所定のサイズを有する画像パッチに分割される。ブロック８１５において、画像パッチは、識別特徴に符号化される。識別特徴（例えば、より低い解像度の特徴）は、非標的領域の少なくとも一部である生物学的物質または構造体、例えばリンパ系凝集体または免疫細胞の群に関連付けられることができる。符号化は、二次元セグメンテーションモデルなどの予測モデルによって実行されてもよい。いくつかの例では、二次元セグメンテーションモデルは、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、縮小経路および拡張経路のそれぞれは、最大２５６チャネルを有し、縮小経路の１つ以上の層は、空間ドロップアウトを実施する。縮小経路は、複数の異なるレベルで識別特徴への画像パッチの符号化を実行することができる。

ブロック８２０において、識別特徴が画素空間（例えば、より高い解像度）上に投影され、生物学的物質または構造体の分類が画素空間ごとに判定される。分類の投影および判定は、二次元セグメンテーションモデルなどの予測モデルによって実行されてもよい。いくつかの例では、二次元セグメンテーションモデルは、修正Ｕ－Ｎｅｔモデルである。拡張経路は、識別特徴の投影および複数の異なるレベルでの分類の判定を実行することができる。特定の例では、複数の異なるレベルは、アップサンプリング（すなわち、特徴寸法を入力画像パッチの元のサイズに拡張する）および連結を実行し、続いて規則的な畳み込み演算を実行して識別特徴を投影し、分類を決定する。いくつかの例では、識別特徴は、意味的に投影され、画像パッチ内の全ての単一の画素にクラスを割り当て（密な予測）、生物学的物質または構造体の分類を単一のインスタンスとして判定する。画像パッチ内の各画素の分類は、所定の閾値に基づいて判定されてもよく、いくつかの例では、所定の閾値は、予測モデルの訓練において最適化されるハイパーパラメータである。

ブロック８２５において、非標的領域のセグメンテーションマップが予測され、生物学的物質または構造体の分類に基づいて出力される。セグメンテーションマップは、全画素が分類された（例えば、生物学的物質または構造体の有無）高解像度画像パッチとして出力される。いくつかの実施形態では、セグメンテーションマップは、２５６画素×２５６画素のサイズで出力され、各画素は０～１の範囲の分類を有し、０は生物学的物質または構造体を表さず、１は生物学的物質または構造体の存在を表す。生成は、二次元セグメンテーションモデルなどの予測モデルによって行われてもよい。いくつかの例では、二次元セグメンテーションモデルは、修正Ｕ－Ｎｅｔモデルである。

ブロック８３０において、非標的領域のセグメンテーションマップがスケールアップされて合成され、生物学的物質または構造体を含む１つ以上の画像の非標的領域のセグメンテーションマスクを提供する非標的領域マスク画像が生成される。例えば、非標的領域のセグメンテーションマップを含む２５６×２５６パッチ画像が互いにスティッチングされて、非標的領域のセグメンテーションマスクを提供するタイルマスク画像を作成することができる（例えば、グラウンドトゥルースタイルマスク画像と比較された予測タイルマスク画像を示す図８Ｃを参照されたい）。いくつかの例では、非標的領域マスク画像は、非標的領域が下流処理（例えば、図９に関して説明したような画像分析）から除外されることができるように、１つ以上の画像から非標的領域を除外する。ブロック８３５において、非標的領域マスク画像が提供される。例えば、非標的領域マスク画像は、メモリ記憶装置に提供されてもよく、コンピューティング装置のディスプレイに提供されてもよく、ユーザインターフェースなどの１つ以上の種類の媒体でユーザに提供されてもよい。

図９Ａは、様々な実施形態にかかる、画像分析をサポートまたは改善するためにセグメンテーションマスクを適用するためのプロセス９００を示している。

プロセス９００は、ブロック９０５で開始し、そこで検体の複数の画像がアクセスされる。複数の画像の１つ以上の画像は、非標的領域および標的領域を含む（例えば、図８Ｂを参照）。いくつかの例では、検体は、１つ以上のバイオマーカーについて染色される。いくつかの実施形態では、アクセスされる画像は、ＲＧＢ画像またはマルチスペクトル画像である。いくつかの実施形態では、アクセスされた画像は、メモリ装置に記憶される。画像は、イメージング装置（例えば、図２に関して説明したイメージング装置２５０）を使用して、例えばリアルタイムで生成または取得されることができる。いくつかの実施形態では、画像は、本明細書に記載されたように、検体を保持する顕微鏡スライドの画像データを撮像することができる顕微鏡または他の機器からアクセスされる。いくつかの実施形態では、画像は、画像タイルを走査することができるものなどの２Ｄスキャナからアクセスされる。あるいは、画像は、以前に生成され（例えば、走査され）、メモリ装置に記憶された（または、その場合には、通信ネットワークを介してサーバから取得された）画像であってもよい。いくつかの例では、画像は、リンパ系凝集体または免疫細胞の群などの生物学的物質または構造体を含む非標的領域のセグメンテーションマスクを提供する非標的領域マスク画像である。非標的領域マスク画像は、図８Ａに関して説明したように、アクセスのために生成および／または取得されることができる。

いくつかの実施形態では、アクセスされる画像は、多重画像であり、すなわち、受信される画像は、２つ以上の染色剤で染色された生物学的試料の画像である。これらの実施形態では、ブロック９１０において、さらなる処理の前に、各多重画像は、その構成チャネルに非混合であり、各非混合チャネルは、特定の染色または信号に対応する。画像取得および／または混合解除に続いて、ブロック９１５～９４５において、画像または非混合画像チャネル画像が画像分析アルゴリズムによって処理されて、細胞および／または核を識別および分類する。本明細書に記載のプロセスおよび分析アルゴリズムは、腫瘍細胞、非腫瘍細胞、間質細胞、リンパ球、非標的染色などの識別および分類を含む、入力画像内の特徴に基づいて様々なタイプの細胞または細胞核を識別および分類するように適合されることができる。

ブロック９１５において、候補核が識別される。いくつかの実施形態では、画像は、核中心（シード）を検出するため、および／または核をセグメント化するために画像分析に入力される。例えば、バイオマーカーで染色された画像内の複数の画素を識別することができ、これは、細胞の細胞質および細胞膜画素の同時識別のために入力画像の前景の複数の画素の１つ以上の色平面を考慮することを含む。いくつかの例では、画像は、分析されないか、または標的領域であると判定されない画像の部分、例えば、スライド背景、図８に関して説明した非標的領域、および／または画像の対比成分を除去するために前処理される。その後、デジタル画像の前景内の細胞質画素と細胞膜画素との間の閾値レベルが判定され、選択された画素および前景からのその所定数の隣接画素が処理されて、判定された閾値レベルに基づいて、選択された画素がデジタル画像内の細胞質画素、細胞膜画素、または遷移画素であるかどうかを判定する。いくつかの実施形態では、腫瘍核は、放射状対称性に基づく方法、ヘマトキシリン画像チャネルまたはバイオマーカー画像チャネルなどのＰａｒｖｉｎの放射状対称性に基づく方法を混合解除後に適用することによって自動的に識別される。

ブロック９２０において、候補核から特徴が抽出される。特徴の少なくともいくつかは、腫瘍細胞または腫瘍細胞のクラスターなどの標的領域内の別の生物学的物質または構造体に関連付けられることができる。抽出は、セマンティックまたはインスタンスセグメンテーションが可能なマスクＲ－ＣＮＮなどの画像分析予測モデルによって実行されてもよい。例えば、候補核が識別された後、候補核は、腫瘍核を他の候補核（例えば、リンパ球核）から区別するために画像分析予測モデルによってさらに分析されることができる。特定の例では、他の候補核は、核および／または細胞の特定のクラスを識別する、例えばリンパ球核および間質核を識別するためのさらなるプロセスとすることができる。ブロック９２５において、標的領域内の別の生物学的物質または構造体は、候補核から抽出された特徴に基づいて、細胞または細胞核のタイプに分類される。分類は、画像分析予測モデルによって行われてもよい。いくつかの実施形態では、学習された教師あり分類器が適用されて、候補核から腫瘍核を識別する。例えば、学習された教師あり分類器は、核特徴について訓練されて腫瘍核を識別し、次いで検査画像内の核候補を腫瘍核または非腫瘍核のいずれかとして分類するために適用されることができる。場合により、学習された教師あり分類器は、リンパ球核および間質核などの異なるクラスの非腫瘍核を区別するようにさらに訓練されてもよい。いくつかの実施形態では、腫瘍核を識別するために使用される学習された教師あり分類器は、ランダムフォレスト分類器である。例えば、ランダムフォレスト分類器は、以下によって訓練されることができる：（ｉ）腫瘍核と非腫瘍核の訓練セットを作成すること、（ｉｉ）各核の特徴を抽出すること、および（ｉｉｉ）抽出された特徴に基づいて腫瘍核と非腫瘍核とを区別するようにランダムフォレスト分類器を訓練すること。次いで、訓練されたランダムフォレスト分類器が適用されて、試験画像内の核を腫瘍核と非腫瘍核とに分類することができる。場合により、ランダムフォレスト分類器は、リンパ球核および間質核などの異なるクラスの非腫瘍核を区別するようにさらに訓練されてもよい。

ブロック９３０において、標的領域のセグメンテーションマップが予測され、別の生物学的物質または構造体の分類に基づいて出力される。セグメンテーションマップは、画像分析予測モデルによって出力されてもよい。ブロック９３５において、標的領域のセグメンテーションマップがスケールアップされて合成され、別の生物学的物質または構造体を含む１つ以上の画像の標的領域のセグメンテーションマスクを提供する標的領域マスク画像が生成される。他の例では、（図８Ａを参照して説明したプロセスから得られる）標的領域のセグメンテーションマップおよび非標的領域のセグメンテーションマップは、スケールアップされて合成され、別の生物学的物質または構造体（例えば、腫瘍細胞）を含む標的領域のセグメンテーションマスクおよび生物学的物質または構造体（例えば、リンパ系凝集体または免疫細胞の群）を含む非標的領域のセグメンテーションマスクを提供する標的領域および非標的領域マスク画像を生成する。このようにして、観察者（人間のユーザまたはコンピューティング装置）は、標的領域と非標的領域とを区別することが可能である。

任意のブロック９３５において、本明細書で詳細に説明するように、メトリックは、様々な識別された核、細胞、細胞のクラスター、および／または生物学的物質もしくは構造体から導出される。いくつかの例では、分類された核、細胞、細胞のクラスター、および／または生物学的物質もしくは構造体に含まれるかまたはそれらを取り囲む画素に様々な画像分析アルゴリズムを適用することによって、１つ以上のメトリックが計算されることができる。いくつかの実施形態では、メトリックは、疾患状態、面積、短軸および長軸の長さ、周囲長、半径、硬度などを含む。図９Ｂに示すように、オーバーレイされた分析結果を有する原画像は、実際にはリンパ系凝集体または免疫細胞の群である腫瘍細胞の偽陽性またはオーバーコールを提供する傾向があり得る。しかしながら、図９Ｃに示されるように、オーバーレイされた分析結果を有する原画像および本明細書に記載のセグメンテーションフレームワーク（すなわち、非標的領域マスク画像）の実施は、リンパ系凝集体または免疫細胞の群を検出し、腫瘍細胞の偽陽性またはオーバーコールを除去することができる。ブロック９４０において、標的領域マスク画像または標的領域および非標的領域マスク画像が提供される。例えば、標的領域マスク画像または標的領域および非標的領域マスク画像は、メモリ記憶装置に提供されてもよく、コンピューティング装置のディスプレイに提供されてもよく、ユーザインターフェースなどの１つ以上の種類の媒体でユーザに提供されてもよい。いくつかの例では、標的領域マスク画像または標的領域および非標的領域マスク画像を提供することは、関連するメトリックを提供することを含み、またはメトリックは、別々に提供されてもよい。

ＩＶ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

Claims (21)

1. 検体についての複数の画像にアクセスすることであって、前記複数の画像のうちの１つ以上の画像が非標的領域および標的領域を含む、複数の画像にアクセスすることと、
   二次元セグメンテーションモデルによって、前記１つ以上の画像から符号化された識別特徴に基づいて前記非標的領域のセグメンテーションマップを予測することであって、前記識別特徴が第１の生物学的物質または構造体に関連付けられている、非標的領域のセグメンテーションマップを予測することと、
   前記セグメンテーションマップに基づいて前記１つ以上の画像についてのセグメンテーションマスクを生成することと、
   前記１つ以上の画像に前記セグメンテーションマスクを適用して、前記１つ以上の画像から前記非標的領域を除外する非標的領域マスク画像を生成することと、
   画像分析モデルによって、前記非標的領域マスク画像から抽出された特徴のセットに基づいて、前記標的領域内の第２の生物学的物質または構造体を細胞または細胞核のタイプに分類することと、
   前記標的領域について、前記第２の生物学的物質または構造体について分類された前記細胞または細胞核のタイプを提供することと
   を含む、コンピュータ実装方法。
2. 前記検体が１つ以上のバイオマーカーについて染色され、前記第１の生物学的物質または構造体がリンパ系凝集体であり、前記第２の生物学的物質または構造体が腫瘍細胞または腫瘍細胞のクラスターである、請求項１に記載のコンピュータ実装方法。
3. 前記１つ以上の画像を所定のサイズを有する画像パッチに分割することと、
   前記二次元セグメンテーションモデルによって、前記画像パッチを前記識別特徴に符号化することと、
   前記二次元セグメンテーションモデルによって、前記識別特徴を画素空間上に投影することと、
   前記二次元セグメンテーションモデルによって、所定の閾値に基づいて各画素空間について前記第１の生物学的物質または構造体の分類を決定することと、をさらに含む、請求項１または２に記載のコンピュータ実装方法。
4. 前記画像分析モデルによって、前記非標的領域マスク画像から前記特徴のセットを抽出することと、
   前記特徴のセットに基づいて前記第２の生物学的物質または構造体についての１つ以上のメトリックを計算することと
   をさらに含み、
   前記第２の生物学的物質または構造体について分類された前記細胞または細胞核のタイプを提供することが、前記第２の生物学的物質または構造体についての前記１つ以上のメトリックを提供することをさらに含む、請求項１、２、または３に記載のコンピュータ実装方法。
5. 前記二次元セグメンテーションモデルが、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、前記縮小経路および前記拡張経路のそれぞれが、最大２５６チャネルを有し、前記縮小経路の１つ以上の層が、空間ドロップアウトを実施する、請求項１、２、３、または４に記載のコンピュータ実装方法。
6. コンピュータプロセッサによって実行されると、前記コンピュータプロセッサに請求項１～５のいずれか一項に記載のアクションまたは動作を実行させるコンピュータプログラム命令を含む、非一時的コンピュータ可読記憶媒体。
7. プロセッサと非一時的メモリとを備えるコンピュータシステムであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに請求項１～５のいずれか一項に記載のアクションまたは動作を実行させるコンピュータプログラム命令を含む、コンピュータシステム。
8. 検体についての複数の画像にアクセスすることであって、前記複数の画像のうちの１つ以上の画像が非標的領域および標的領域を含む、複数の画像にアクセスすることと、
   二次元セグメンテーションモデルによって、前記１つ以上の画像から符号化された識別特徴に基づいて前記非標的領域のセグメンテーションマップを予測することであって、前記識別特徴が第１の生物学的物質または構造体に関連付けられている、非標的領域のセグメンテーションマップを予測することと、
   前記非標的領域の前記セグメンテーションマップに基づいて、前記１つ以上の画像についての第１のセグメンテーションマスクを生成することと、
   画像分析モデルによって、前記１つ以上の画像から抽出された特徴の第２のセットに基づいて、前記標的領域内の第２の生物学的物質または構造体を細胞または細胞核のタイプに分類することと、
   前記標的領域内の前記第２の生物学的物質または構造体の前記分類に基づいて、前記１つ以上の画像についての第２のセグメンテーションマスクを生成することと、
   前記１つ以上の画像に前記第１のセグメンテーションマスクおよび前記第２のセグメンテーションマスクを適用して、前記１つ以上の画像から前記非標的領域を除外する標的領域および非標的領域マスク画像を生成することと、
   前記標的領域および非標的領域マスク画像ならびに前記第２の生物学的物質または構造体について分類された前記細胞または細胞核のタイプを提供することと
   を含む、コンピュータ実装方法。
9. 前記検体が１つ以上のバイオマーカーについて染色され、前記第１の生物学的物質または構造体がリンパ系凝集体であり、前記第２の生物学的物質または構造体が腫瘍細胞または腫瘍細胞のクラスターである、請求項８に記載のコンピュータ実装方法。
10. 前記１つ以上の画像を所定のサイズを有する画像パッチに分割することと、
    前記二次元セグメンテーションモデルによって、前記画像パッチを前記識別特徴に符号化することと、
    前記二次元セグメンテーションモデルによって、前記識別特徴を画素空間上に投影することと、
    前記二次元セグメンテーションモデルによって、所定の閾値に基づいて各画素空間について前記第１の生物学的物質または構造体の分類を決定することと、をさらに含む、請求項８または９に記載のコンピュータ実装方法。
11. 前記画像分析モデルによって、前記１つ以上の画像から前記特徴のセットを抽出することと、
    前記特徴のセットに基づいて前記第２の生物学的物質または構造体についての１つ以上のメトリックを計算することと
    をさらに含み、
    前記標的領域および非標的領域マスク画像ならびに前記第２の生物学的物質または構造体について分類された前記細胞または細胞核のタイプを提供することが、前記第２の生物学的物質または構造体についての前記１つ以上のメトリックを提供することをさらに含む、請求項８、９、または１０に記載のコンピュータ実装方法。
12. 前記二次元セグメンテーションモデルが、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、前記縮小経路および前記拡張経路のそれぞれが、最大２５６チャネルを有し、前記縮小経路の１つ以上の層が、空間ドロップアウトを実施する、請求項８、９、１０、または１１に記載のコンピュータ実装方法。
13. コンピュータプロセッサによって実行されると、前記コンピュータプロセッサに請求項８～１２のいずれか一項に記載のアクションまたは動作を実行させるコンピュータプログラム命令を含む、非一時的コンピュータ可読記憶媒体。
14. プロセッサと非一時的メモリとを備えるコンピュータシステムであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに請求項８～１２のいずれか一項に記載のアクションまたは動作を実行させるコンピュータプログラム命令を含む、コンピュータシステム。
15. 検体についての複数のタイル画像にアクセスすることであって、前記複数のタイル画像のうちの１つ以上のタイル画像が、非標的領域および標的領域をセグメント化するための注釈を含む、複数のタイル画像にアクセスすることと、
    前記１つ以上のタイル画像で二次元セグメンテーションモデルを訓練することであって、前記訓練が、反復演算を実行して、前記二次元セグメンテーションモデルの損失関数を最小化する前記二次元セグメンテーションモデルのパラメータのセットを見つけることを含み、各反復が、前記パラメータのセットを使用する前記損失関数の値が前の反復における別のパラメータのセットを使用する前記損失関数の値よりも小さくなるように、前記二次元セグメンテーションモデルの前記パラメータのセットを見つけることを含み、前記損失関数が、前記二次元セグメンテーションモデルを使用して予測された出力と前記１つ以上のタイル画像に含まれる前記注釈との間の差を測定するように構築される、二次元セグメンテーションモデルを訓練することと、
    訓練された前記二次元セグメンテーションモデルを提供することと
    を含む、コンピュータ実装方法。
16. 前記１つ以上のタイル画像をパッチに分割することをさらに含み、前記二次元セグメンテーションモデルが前記パッチで訓練される、請求項１５に記載のコンピュータ実装方法。
17. 前記二次元セグメンテーションモデルが、縮小経路および拡張経路を含む修正Ｕ－Ｎｅｔモデルであり、前記縮小経路および前記拡張経路のそれぞれが、最大２５６個のチャネルを有し、前記縮小経路の１つ以上の層が、空間ドロップアウトを実施する、請求項１５または１６に記載のコンピュータ実装方法。
18. 前記訓練が、所定のスケジュールにしたがって学習率を低減することによって前記修正Ｕ－Ｎｅｔの前記学習率を調整することをさらに含む、請求項１５、１６、または１７に記載のコンピュータ実装方法。
19. 前記所定のスケジュールが、前記損失関数を最適化するために所定数のエポックごとに前記学習率を所定の係数だけ低下させるステップ減衰スケジュールであり、前記損失関数が、バイナリ交差エントロピー損失関数である、請求項１８に記載の方法。
20. コンピュータプロセッサによって実行されると、前記コンピュータプロセッサに請求項１５～１９のいずれか一項に記載のアクションまたは動作を実行させるコンピュータプログラム命令を含む、非一時的コンピュータ可読記憶媒体。
21. プロセッサと非一時的メモリとを備えるコンピュータシステムであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに請求項１５～１９のいずれか一項に記載のアクションまたは動作を実行させるコンピュータプログラム命令を含む、コンピュータシステム。

Images