JP2024513678A - ホールスライド画像についてのアテンションベースの複数インスタンス学習 - Google Patents

Abstract

一実施形態では、方法は、ホールスライド画像を受信することと、ホールスライド画像を複数の画像タイルにセグメント化することと、を含む。本方法は、複数のタイルの各タイルに対応する特徴ベクトルを生成することを含み、タイルのそれぞれの特徴ベクトルは、タイルの埋め込みを表す。本方法は、アテンションネットワークを使用して各埋め込み特徴ベクトルに対応する重み値を計算することを含む。本方法は、埋め込み特徴ベクトルに基づいて画像埋め込みを計算することを含み、各埋め込み特徴ベクトルは、埋め込み特徴ベクトルに対応する重み値に基づいて重み付けされる。本方法は、画像埋め込みに基づいてホールスライド画像の分類を生成することを含む。【選択図】図２

Description

関連出願への相互参照

本出願は、２０２１年３月１２日に出願された「ＡＴＴＥＮＴＩＯＮ－ＢＡＳＥＤ ＭＵＬＴＩＰＬＥ ＩＮＳＴＡＮＣＥ ＬＥＡＲＮＩＮＧ ＦＯＲ ＷＨＯＬＥ ＳＬＩＤＥ ＩＭＡＧＥＳ」と題する米国仮出願第６３／１６０，４９３号の利益および優先権を主張し、その全体があらゆる目的のために参照により本明細書に組み込まれる。

本開示は、一般に、デジタル病理画像を分析および分類するためのツールに関する。

ホールスライド画像（ＷＳＩ）は、サンプルの画像のスキャンまたはデジタルネイティブスキャンから得られる。スキャン、および対応するＷＳＩは、多くの場合非常に大きく、例えば、いくつかの色チャネルのそれぞれにおいて１００，０００画素×１００，０００画素であり、従来の計算方法を使用して全体的なレベルでＷＳＩを効率的に分析することを困難にする。ＷＳＩの大規模フォーマットを処理するための現在のアプローチは、ＷＳＩをより小さな部分にセグメント化することと、複数のプロセッサまたは分散処理を使用して並列分析を実行することとを含む。セグメント化および分散処理は、離散部分の理解を集めるのに有用であり得るが、全体としてＷＳＩの理解を生成することはできない。

病理医または他の訓練された専門家は、多くの場合、示された組織における異常の証拠についてＷＳＩを評価する。ＷＳＩのラベル付けは、画像全体を指す傾向があり、例えば、画像の特定の部分を指す傾向はない。例えば、病理医は、肺の画像内の組織異常（例えば、腫瘍）を識別し、画像を「異常」としてラベル付けし得る。しかしながら、ほとんどの場合、病理医は、組織異常が画像のどこに現れるかを指定するために画像に注釈を付けない。この「全てまたはなし」のラベリングスタイルは、ＷＳＩを評価するためにコンピュータ実装アルゴリズムを訓練するのにあまり有用ではない。しかしながら、全画像ラベリングの下でさえ、病理医による分析は時間がかかる。個々の位置をマークするために病理医に古いサンプルを再評価させることは、非常に時間がかかる。さらに、多くの症状は相互に排他的ではないため、単一のＷＳＩは、複数の症状を同時に示すことがあり、複数の専門家が同時に画像を確認して全ての異常症状がラベル付けされていることを確認する必要がある場合がある。

したがって、「正常画像」または「異常画像」としての画像のバイナリラベルを超える改良を提供するＷＳＩラベルまたは注釈が望まれている。さらに、そのような注釈が、異常を描写する画像の部分または画像内の位置を特定することが望まれている。

特定の実施形態では、コンピュータ実装方法は、ホールスライド画像を受信するか、そうでなければアクセスすることと、ホールスライド画像を複数のタイルにセグメント化することと、を含む。特に、ホールスライド画像は、大規模フォーマットの画像であってもよく、セグメント化されたタイルのサイズは、効率的な管理および処理を容易にするように選択されてもよい。本方法は、複数のタイルの各タイルに対応する埋め込み特徴ベクトルを生成することを含む。特定の実施形態では、埋め込み特徴ベクトルは、自然画像を使用して訓練されたニューラルネットワークを使用して生成される。本方法は、アテンションネットワークを使用して各埋め込み特徴ベクトルに対応する重み値を計算することを含む。本方法は、埋め込み特徴ベクトルから画像埋め込みを計算することを含む。各埋め込み特徴ベクトルは、埋め込み特徴ベクトルに対応する重み値から重み付けされる。特定の実施形態では、本方法は、画像埋め込みを計算する前に重み値を正規化することをさらに含む。本方法は、画像埋め込みからホールスライド画像の分類を生成することを含む。ホールスライド画像の分類は、ホールスライド画像に示される組織における１つまたは複数の生物学的異常の存在を示し得て、肥大、クッパー細胞異常、壊死、炎症、グリコーゲン異常、脂質異常、腹膜炎、異所性核症、細胞浸潤、核腫大、微小肉芽腫、過形成または空胞化を含み得る。ホールスライド画像の分類は、ホールスライド画像に描写された組織に関連付けられた潜在的毒性事象の評価を含み得る。特定の実施形態では、コンピュータは、複数のアテンションネットワークを使用して各埋め込み特徴ベクトルに対応する重み値を計算し、各アテンションネットワークからホールスライド画像のそれぞれの分類を生成し得る。特定の実施形態では、分類は、ホールスライド画像がホールスライド画像に示された組織に関連付けられた１つまたは複数の異常を示すことを示している。特定の実施形態では、本方法は、検証のために病理医にホールスライド画像の分類を提供することを含む。

特定の実施形態では、コンピュータは、ホールスライド画像に対応するヒートマップを生成し得る。ヒートマップは、ホールスライド画像のタイルに対応するタイルを含み得る。ヒートマップの各タイルに関連付けられた強度値は、ホールスライド画像の対応するタイルの埋め込み特徴ベクトルに対応する重み値から決定され得る。特定の実施形態では、本方法は、ホールスライド画像の注釈を生成することをさらに含む。コンピュータは、閾値を超えるなどの所定の基準を満たす１つまたは複数の重み値を識別し、識別された重み値に対応する１つまたは複数の埋め込み特徴ベクトルを識別し、識別された埋め込み特徴ベクトルに対応する１つまたは複数のタイルを識別することによって、ホールスライド画像の注釈を生成する。ホールスライド画像の注釈は、識別されたタイルをマークすることによって、または対話型オーバーレイとして、ホールスライド画像に関連して表示するために提供されてもよい。

特定の実施形態では、コンピュータは、少なくとも重み値からホールスライド画像の分類に関連付けられた信頼スコアを計算し、ホールスライド画像の分類に関連して表示するための信頼スコアを提供し得る。特定の実施形態では、コンピュータは、埋め込み特徴ベクトル、重み値、およびスライド埋め込み特徴ベクトルから、ホールスライド画像の分類に関連する派生特性を識別し得る。特定の実施形態では、コンピュータは、複数のホールスライド画像の複数の分類をそれぞれ生成し、分類をホールスライド画像に関連付けられたグラウンドトゥルースとして使用して、１つまたは複数の症状にそれぞれ関連付けられた重み値を予測するように１つまたは複数のアテンションネットワークを訓練し得る。特定の実施形態では、ホールスライド画像がユーザ装置から受信され、本方法は、表示のためにホールスライド画像の分類をユーザ装置に提供することを含む。特定の実施形態では、ホールスライド画像は、本方法を実行するデジタル病理画像処理システムと通信可能に結合されたデジタル病理画像生成システムから受信される。

なお、本明細書に開示された実施形態は例にすぎず、本開示の範囲はこれらに限定されない。特定の実施形態は、本明細書に開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップの全て、一部、またはいずれも含まなくてもよい。本発明にかかる実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品に関する添付の特許請求の範囲に開示されており、１つの請求項カテゴリ、例えば方法で言及された任意の特徴は、別の請求項カテゴリ、例えばシステムでも特許請求され得る。添付の特許請求の範囲における従属性または参照は、形式的な理由のみのために選択される。しかしながら、請求項とその特徴との任意の組み合わせが開示され、添付の請求項において選択された従属性に関係なく特許請求され得るように、任意の先行する請求項（特に複数の従属性）への意図的な参照から生じる任意の主題も同様に特許請求され得る。特許請求され得る主題は、添付の特許請求の範囲に記載されているような特徴の組み合わせだけでなく、特許請求の範囲内の特徴の任意の他の組み合わせも含み、特許請求の範囲に記載された各特徴は、特許請求の範囲内の任意の他の特徴または他の特徴の組み合わせと組み合わせられ得る。さらにまた、本明細書に記載または図示された実施形態および特徴のいずれも、別個の請求項に、および／または本明細書に記載または図示された任意の実施形態または特徴と、または添付の特許請求の範囲の特徴のいずれかとの任意の組み合わせで特許請求され得る。

複数インスタンス学習を使用したデジタル病理画像分類の例示的な実施形態を示している。

例示的なデジタル病理画像処理システムおよびデジタル病理画像生成システムを示している。

例示的な全結合アテンションネットワークを示している。

ホールスライド画像の例示的なタイルベースのヒートマップを示している。

例示的な注釈付きホールスライド画像を示している。

デジタル病理画像のためのアテンションベースのネットワークおよび分類ネットワークを訓練する例示的な実施形態を示している。

デジタル病理画像分類のための例示的な方法を示している。

例示的なコンピュータシステムを示している。

本明細書に記載されるように、ＷＳＩは、物理的スライドを高解像度画像ファイルにデジタル化することから生じるか、または医療用スキャン装置によって直接出力され得る、非常に大規模フォーマットのデジタル画像である。ＷＳＩは、通常、取り込まれる画像の性質のために可能な限り最高の解像度フォーマットで保存され、通常は画像の圧縮および操作から生じるアーチファクトのためにＷＳＩに示された組織の誤診断を回避する。ＷＳＩは、通常のデジタル画像よりも数桁多い数の画素を含むことが多く、１００，０００画素×１００，０００画素（例えば、１０，０００メガ画素）以上の解像度を含み得る。

ＷＳＩの分析は、ＷＳＩのレビュー、異常の認識および識別、異常の分類、ＷＳＩのラベル付け、および潜在的に組織の診断を行うために、知識および器用さを有する高度に専門化された個人を必要とする労働集約的なプロセスである。さらに、ＷＳＩは広範囲の組織種類に使用されるため、異常を識別する知識および技能を有する人は、正確な分析および診断を提供するためにさらに専門化されなければならない。ＷＳＩから検出され得る組織異常は、ほんの例として、限定されないが、数ある中でも、炎症、色素沈着、変性、異所性核症、肥大、有糸分裂増加、単核細胞浸潤、炎症細胞浸潤、炎症細胞病巣、グリコーゲンの減少、グリコーゲン蓄積（びまん性または濃縮）、髄外骨髄形成、髄外造血、髄外赤血球形成、単一細胞壊死、びまん性壊死、著しい壊死、凝固性壊死、アポトーシス、核肥大、胆管周囲、細胞充実性の増加、グリコーゲン沈着、脂質沈着、微小肉芽腫、鬱血、クッパー細胞色素沈着、ヘモシデリンの増加、組織球症、過形成または空胞化を含む。したがって、作業の労働集約的且つ知識集約的な性質のために、ＷＳＩは特定の機能を自動化するための候補と見なされる。しかしながら、ＷＳＩのサイズが大きいと、典型的な技術は効果がなく、遅く、高価になる。精度を高めるためにＷＳＩの多数のサンプルの複数ラウンドの分析を必要とする標準的な画像認識および深層学習技術を実行することは実用的ではない。本明細書に記載の技術は、ＷＳＩにおける特徴認識を自動化する問題を解決することを目的としており、十分に文書化された制限のためにＷＳＩでは以前は実行することができなかった新規なデータ分析および提示技術の開発を可能にする。

本明細書で開示されるシステムは、標準ＷＳＩラベルに基づいて特徴認識のための訓練データを効率的に生成し得る。さらに、本システムは、ＷＳＩが異常を含むかどうか、およびＷＳＩのどこに異常が位置するかを識別し得る。

図１Ａ～図１Ｂは、複数インスタンス学習を使用してホールスライド画像（ＷＳＩ）を分類するための例示的なプロセス１００を示している。図２は、本開示のいくつかの実施形態にかかる、ニューラルネットワークおよびアテンションベースの技術を使用してホールスライド画像を分類するために、本明細書に記載されるように使用され得る対話型コンピュータシステムのネットワーク２００を示している。図１Ａに示すように、１１０において、デジタル病理画像処理システム２１０は、ホールスライド画像１０５を受信する。単なる例として、限定として、デジタル病理画像処理システム２１０は、デジタル病理画像生成システム２２０またはその１つもしくは複数の構成要素からホールスライド画像１０５を受信し得る。別の例として、デジタル病理画像処理システム２１０は、１つまたは複数のユーザ装置２３０からホールスライド画像１０５を受信してもよい。ユーザ装置２３０は、１つまたは複数のネットワークを介してデジタル病理画像処理システム２１０に接続された病理医または臨床医によって使用されるコンピュータであってもよい。ユーザ装置２３０のユーザは、ユーザ装置２３０を使用してホールスライド画像１０５をアップロードするか、またはホールスライド画像１０５をデジタル病理画像処理システム２１０に提供するように１つまたは複数の他の装置に指示し得る。

１２０において、デジタル病理画像処理システム２１０は、例えばタイル生成モジュール２１１を使用して、ホールスライド画像１０５を複数のタイル１１５ａ、１１５ｂ、．．．１１５ｎにセグメント化する。

１３０において、デジタル病理画像処理システム２１０は、例えばタイル埋め込みモジュール２１２を使用して、埋め込みネットワーク１２５を使用して複数のタイルの各タイルについての埋め込みを生成する。例として、タイル１１５ａの場合、タイル埋め込みモジュール２１２は、対応する埋め込み１３５ａを生成し、タイル１１５ｂの場合、タイル埋め込みモジュール２１２は、対応する埋め込み１３５ｂを生成し、タイル１１５ｎの場合、タイル埋め込みモジュール２１２は、対応する埋め込み１３５ｎを生成する。本明細書で説明されるように、埋め込みは、タイルのコンテンツまたはコンテキストに関するいくつかの情報を保存するタイルの固有の表現を含み得る。タイル埋め込みはまた、タイルを対応するタイル埋め込み空間に変換することから導出されてもよく、タイル埋め込み空間内の異なるものは、タイルの類似性と相関する。例えば、類似の主題を描写する、または類似の視覚的特徴を有するタイルは、異なる主題を描写する、または異なる視覚的特徴を有するタイルよりも埋め込み空間の近くに配置される。タイル埋め込みは、特徴ベクトルとして表され得る。

図１Ｂに示すように、１４０において、デジタル病理画像処理システム２１０は、例えば重み値生成モジュール２１３を使用して、各埋め込み１３５ａ、１３５ｂ、．．．１３５ｎの重み値を生成する。例えば、重み値生成モジュール２１３は、ベクトル１３５ａに対する重み値ａ_１、ｂ_１、およびｃ_１を生成し、ベクトル１３５ｂに対する重み値ａ_２、ｂ_２、およびｃ_３を生成し、ベクトル１３５ｎに対する重み値ａ_ｎ、ｂ_ｎ、およびｃ_ｎを生成する。重み値を生成するために、重み値生成モジュール２１３は、複数のアテンションネットワーク１４５ａ、１４５ｂ、．．．１４５ｃを使用して、埋め込みの前に、本明細書で説明される埋め込みに対するアテンションスコアを生成し、その後、重み値として使用するために正規化され得る。特定の実施形態では、各アテンションネットワークは、各埋め込みに対して生成された重み値の数が、重み値生成モジュール２１３によって使用されるアテンションネットワークの数と等しくなるように、各埋め込みに対する重み値を生成する。

１５０において、デジタル病理画像処理システム２１０は、例えば画像埋め込みモジュール２１４を使用して、それぞれの埋め込みを重み付けするために各埋め込みに対して生成された重み値を使用して、重み付き組み合わせにおいてタイル埋め込みを組み合わせることによってホールスライド画像１０５についての画像埋め込みＶ_１、Ｖ_２、．．．Ｖ_ｎを計算する。いくつかの実施形態では、複数の画像埋め込みＶ_１、Ｖ_２、．．．Ｖ_ｎには、例えば各アテンションネットワーク１４５ａ、１４５ｂ、１４５ｃに対して１つの画像埋め込みが生成されてもよい。画像埋め込みＶ_ｎは、重み付き組み合わせ、

として計算されてもよい。いくつかの実施形態では、全ての重み値（例えば、全てのアテンションネットワークからの重み値）を使用して単一の画像埋め込みが生成されてもよい。

１６０において、デジタル病理画像処理システム２１０は、例えば画像分類モジュール２１５を使用して、画像埋め込みＶ_１、Ｖ_２、．．．Ｖ_ｎを使用してホールスライド画像１０５を分類する。いくつかの実施形態では、画像分類モジュール２１５は、分類ネットワーク１５５を使用して分類を生成する。次いで、分類は、ホールスライド画像の評価として提示され、評価は、ホールスライド画像に存在する１つまたは複数の症状の予測と同等である。例えば、評価は、ホールスライド画像が正常な生物学的症状を示すか、または診断可能な生物学的異常を含むという決定を含み得る。診断可能な生物学的異常は、肥大（例えば、肝細胞肥大、クッパー細胞肥大など）、クッパー細胞（例えば、クッパー細胞の色素沈着、クッパー細胞の肥大など）、壊死（例えば、拡散、焦点、凝固など）、グリコーゲン（例えば、グリコーゲン枯渇、グリコーゲン沈着など）、炎症、脂質（例えば、脂質枯渇、脂質沈着など）、腹膜炎、および他の症状に関連付けられた異常を含み得る。別の例として、評価は、１つまたは複数の症状の指示がホールスライド画像に存在するという決定を含み得る。評価は、レビューのためにデジタル病理画像処理システム２１０のユーザまたはオペレータに提供され得る。評価はまた、１つまたは複数のユーザ装置２３０に提供されてもよい。

本明細書で説明するように、デジタル病理画像処理システム２１０からの出力は、デジタル病理画像処理システムによって行われた評価の単純な列挙を含む、いくつかの形態で提供され得る。より高度な出力も提供され得る。例として、デジタル病理画像処理システム２１０は、ホールスライド画像の「ヒートマップ」を生成してもよく、ヒートマップの各タイルの値は、アテンションネットワークによって生成された重み値のうちの１つまたは複数の値に相関される。例示的なヒートマップが図４Ａおよび図４Ｂに示されている。デジタル病理画像処理システム２１０は、特定のカテゴリに関連するか、そうでなければユーザ装置２３０のユーザによるレビューのために提案される画像の領域をグループ化および識別する画像の注釈オーバーレイをさらに生成し得る。例示的な注釈オーバーレイが図５Ａおよび図５Ｂに示されている。

図２は、本開示のいくつかの実施形態にかかる、ニューラルネットワークおよびアテンションベースの技術を使用してホールスライド画像を分類するために、本明細書に記載されるように使用され得る対話型コンピュータシステムのネットワーク２００を示している。

デジタル病理画像生成システム２２０は、特定のサンプルに対応する、ホールスライド画像を含むがこれに限定されない、１つまたは複数のデジタル病理画像を生成し得る。例えば、デジタル病理画像生成システム２２０によって生成された画像は、生検サンプルの染色された部分を含み得る。別の例として、デジタル病理画像生成システム２２０によって生成された画像は、液体サンプルのスライド画像（例えば、血液フィルム）を含み得る。別の例として、デジタル病理画像生成システム２２０によって生成された画像は、蛍光プローブが標的ＤＮＡまたはＲＮＡ配列に結合した後の蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）を描写するスライド画像などの蛍光顕微鏡法を含み得る。

いくつかの種類のサンプル（例えば、生検、固体サンプルおよび／または組織を含むサンプル）は、サンプル調製システム２２１によって処理されて、サンプルを固定および／または埋め込み得る。サンプル調製システム２２１は、固定剤（例えば、ホルムアルデヒド溶液などの液体固定剤）および／または包埋物質（例えば、組織学的ワックス）をサンプルに浸透させることを容易にし得る。例えば、サンプル固定サブシステムは、少なくとも閾値時間（例えば、少なくとも３時間、少なくとも６時間、または少なくとも１２時間）にわたって、サンプルを固定剤に曝すことによってサンプルを固定し得る。脱水サブシステムは、（例えば、固定サンプルおよび／または固定サンプルの一部を１つまたは複数のエタノール溶液に曝すことによって）サンプルを脱水し、潜在的に、（例えば、エタノールおよび組織学的ワックスを含む）透明化中間剤を使用して脱水されたサンプルを透明化し得る。サンプル埋め込みサブシステムは、加熱された（例えば、液体の）組織学的ワックスをサンプルに浸透させ得る（例えば、対応する所定の期間の１回以上）。組織学的ワックスは、パラフィンワックスおよび潜在的に１つまたは複数の樹脂（例えば、スチレンまたはポリエチレン）を含み得る。次いで、サンプルおよびワックスが冷却され、ワックス浸透サンプルがブロックされ得る。

サンプルスライサー２２２は、固定されて埋め込まれたサンプルを受け取り、切片のセットを作製し得る。サンプルスライサー２２２は、固定されて埋め込まれたサンプルを低温またはさらなる低温に曝し得る。次いで、サンプルスライサー２２２は、冷却されたサンプル（またはそのトリミングされたバージョン）を切断して、切片のセットを作製し得る。各切片は、（例えば）１００μｍ未満、５０μｍ未満、１０μｍ未満、または５μｍ未満の厚さを有し得る。各切片は、（例えば）０．１μｍよりも大きい、１μｍよりも大きい、２μｍよりも大きい、または４μｍよりも大きい厚さを有し得る。冷却されたサンプルの切断は、温水浴（例えば、少なくとも３０℃、少なくとも３５℃または少なくとも４０℃の温度で）中で行われ得る。

自動染色システム２２３は、各切片を１つまたは複数の染色剤に曝すことによって、サンプルの切片の１つまたは複数の染色を容易にし得る。各切片は、所定の期間にわたって所定量の染色剤に曝され得る。場合によっては、単一の切片が複数の染色剤に同時にまたは連続的に曝される。

１つまたは複数の染色された切片のそれぞれは、切片のデジタル画像を取り込み得る画像スキャナ２２４に提示され得る。画像スキャナ２２４は、顕微鏡カメラを含み得る。画像スキャナ２２４は、複数の倍率（例えば、１０倍対物レンズ、２０倍対物レンズ、４０倍対物レンズなどを使用する）でデジタル画像を取り込み得る。画像の操作が使用されて、所望の倍率範囲でサンプルの選択された部分を取り込み得る。画像スキャナ２２４は、人間のオペレータによって識別された注釈および／または形態素をさらに取り込み得る。場合によっては、切片が洗浄され、１つまたは複数の他の染色剤に曝され、再び撮像され得るように、１つまたは複数の画像が取り込まれた後、切片は、自動染色システム２２３に戻される。複数の染色剤が使用される場合、第１の染色剤を大量に吸収した第１の切片に対応する画像の第１の領域が、第２の染色剤を大量に吸収した第２の切片に対応する画像の第２の領域（または異なる画像）と区別され得るように、異なる色プロファイルを有するように染色剤が選択され得る。

デジタル病理画像生成システム２２０の１つまたは複数の構成要素は、場合によっては、人間のオペレータに関連して動作することができることが理解されよう。例えば、人間のオペレータは、様々なサブシステム（例えば、サンプル調製システム２２１またはデジタル病理画像生成システム２２０）にわたってサンプルを移動させ、および／またはデジタル病理画像生成システム２２０の１つまたは複数のサブシステム、システムまたは構成要素の動作を開始または終了させ得る。別の例として、デジタル病理画像生成システムの１つまたは複数の構成要素（例えば、サンプル調製システム２２１の１つまたは複数のサブシステム）の一部または全部は、人間のオペレータの動作によって部分的または全体的に置き換えられ得る。

さらに、デジタル病理画像生成システム２２０の様々な説明および図示された機能および構成要素は、固体および／または生検サンプルの処理に関するが、他の実施形態は、液体サンプル（例えば、血液サンプル）に関し得ることが理解されよう。例えば、デジタル病理画像生成システム２２０は、ベーススライド、汚れた液体サンプルおよびカバーを含む液体サンプル（例えば、血液または尿）スライドを受け取り得る。次いで、画像スキャナ２２４は、サンプルスライドの画像を取り込み得る。デジタル病理画像生成システム２２０のさらなる実施形態は、本明細書に記載のＦＩＳＨなどの高度なイメージング技術を使用してサンプルの画像を取り込むことに関し得る。例えば、蛍光プローブがサンプルに導入され、標的配列に結合することが可能にされると、さらなる分析のためにサンプルの画像を取り込むために適切なイメージングが使用され得る。

所与のサンプルは、処理およびイメージング中に１人以上のユーザ（例えば、１人以上の医師、検査技師および／または医療提供者）と関連付けられ得る。関連するユーザは、限定ではなく例として、とりわけ、撮像されているサンプルを生成した試験または生検を注文した人、試験または生検の結果を受け取る許可を得た人、または試験または生検サンプルの分析を行った人を含み得る。例えば、ユーザは、医師、病理医、臨床医、または被験者に対応し得る。ユーザは、１つまたは複数のユーザ装置２３０を使用して、サンプルがデジタル病理画像生成システム２２０によって処理され、得られた画像がデジタル病理画像処理システム２１０によって処理されるという１つまたは複数の要求（例えば、被験者を識別する）を提出し得る。

デジタル病理画像生成システム２２０は、画像スキャナ２２４によって生成された画像をユーザ装置２３０に送り返し得る。次いで、ユーザ装置２３０は、デジタル病理画像処理システム２１０と通信して、画像の自動処理を開始する。場合によっては、デジタル病理画像生成システム２２０は、画像スキャナ２２４によって生成された画像を、例えばユーザ装置２３０のユーザの指示において、デジタル病理画像処理システム２１０に直接提供する。図示しないが、他の中間装置（例えば、デジタル病理画像生成システム２２０またはデジタル病理画像処理システム２１０に接続されたサーバのデータストア）が使用され得る。さらに、簡単にするために、ネットワーク２００には、ただ１つのデジタル病理画像処理システム２１０、画像生成システム２２０、およびユーザ装置２３０が示されている。本開示は、本開示の教示から必ずしも逸脱することなく、各種のシステムおよびその構成要素のうちの１つまたは複数の使用を予期する。

図２に示すネットワーク２００および関連するシステムは、ホールスライド画像などのデジタル病理画像のスキャンおよび評価が作業の不可欠な構成要素である様々なコンテキストにおいて使用され得る。例として、ネットワーク２００は、ユーザが可能な診断目的でサンプルを評価している臨床環境に関連付けられ得る。ユーザは、デジタル病理画像処理システム２１０に画像を提供する前に、ユーザ装置２３０を使用して画像をレビューし得る。ユーザは、デジタル病理画像処理システム２１０による画像の分析を案内または指示するために使用され得る追加の情報をデジタル病理画像処理システム２１０に提供し得る。例えば、ユーザは、スキャン内の特徴の予測診断または予備評価を提供し得る。ユーザはまた、レビューされる組織の種類などの追加のコンテキストを提供し得る。別の例として、ネットワーク２００は、例えば、薬物の有効性または潜在的な副作用を決定するために組織が検査されている実験室環境に関連付けられ得る。これに関連して、前記薬物の全身に対する効果を決定するために、複数の種類の組織をレビューのために提出することは一般的であり得る。これは、撮像されている組織の種類に大きく依存し得る画像の様々なコンテキストを決定する必要があり得る人間のスキャン検査者に特定の課題を提示し得る。これらのコンテキストは、任意に、デジタル病理画像処理システム２１０に提供され得る。

デジタル病理画像処理システム２１０は、ホールスライド画像を含むデジタル病理画像を処理して、デジタル病理画像を分類し、デジタル病理画像および関連する出力の注釈を生成し得る。タイル生成モジュール２１１は、各デジタル病理画像に対してタイルのセットを定義し得る。タイルのセットを定義するために、タイル生成モジュール２１１は、デジタル病理画像をタイルのセットにセグメント化し得る。本明細書で具現化されるように、タイルは、重なり合わない（例えば、各タイルは、任意の他のタイルに含まれていない画像の画素を含む）か、または重なり合い得る（例えば、各タイルは、少なくとも１つの他のタイルに含まれる画像の画素の一部を含む）。各タイルのサイズおよびウィンドウのストライド（例えば、タイルと後続のタイルとの間の画像距離または画素）に加えて、タイルが重なり合うかどうかなどの特徴は、分析のためのデータセットを増減し得て、より多くのタイル（例えば、重なり合うタイルまたはより小さいタイルを介して）は、最終的な出力および視覚化の潜在的な分解能を高める。場合によっては、タイル生成モジュール２１１は、各タイルが所定のサイズである、および／またはタイル間のオフセットが所定である、画像用のタイルのセットを定義する。さらにまた、タイル生成モジュール２１１は、各画像について、様々なサイズ、重複、ステップサイズなどのタイルの複数のセットを作成し得る。いくつかの実施形態では、デジタル病理画像自体は、イメージング技術から生じ得るタイル重複を含み得る。タイル重複のないセグメンテーションであっても、タイル処理要件のバランスをとり、本明細書で説明する埋め込み生成および重み値生成への影響を回避するための好ましい解決策であり得る。タイルサイズまたはタイルオフセットは、例えば、各サイズ／オフセットについて１つまたは複数の性能メトリック（例えば、適合率、再現率、精度、および／またはエラー）を計算し、所定の閾値を超える１つまたは複数の性能メトリックに関連付けられた、および／または１つまたは複数の最適な（例えば、高適合率、最高の再現率、最高の精度、および／または最低のエラー）性能メトリックに関連付けられたタイルサイズおよび／またはオフセットを選択することによって決定され得る。タイル生成モジュール２１１は、検出されている異常の種類に応じてタイルサイズをさらに定義し得る。例えば、タイル生成モジュール２１１は、デジタル病理画像処理システム２１０が探索する組織異常の種類を認識して構成され得て、検出を最適化するために組織異常に応じてタイルサイズをカスタマイズし得る。例えば、画像生成モジュール２１１は、組織異常が肺組織の炎症または壊死を検索することを含む場合、タイルサイズを縮小してスキャン速度を増加させるべきであり、組織異常が肝臓組織のクッパー細胞の異常を含む場合、タイルサイズを拡大して、デジタル病理画像処理システム２１０がクッパー細胞を全体的に分析する機会を増加させるべきであると決定し得る。場合によっては、タイル生成モジュール２１１は、各画像について、セット内のタイルの数、セットのタイルのサイズ、セットのタイルの解像度、または他の関連するプロパティが定義され、１つまたは複数の画像のそれぞれについて一定に保持される場合、タイルのセットを定義する。

本明細書で具現化されるように、タイル生成モジュール２１１は、さらに、１つまたは複数のカラーチャネルまたは色の組み合わせに沿って各デジタル病理画像のタイルのセットを定義し得る。例として、デジタル病理画像処理システム２１０によって受信されたデジタル病理画像は、いくつかのカラーチャネルのうちの１つに対して指定された画像の各画素の画素色値を有する大規模フォーマットマルチカラーチャネル画像を含み得る。使用され得る色仕様または色空間の例は、ＲＧＢ、ＣＭＹＫ、ＨＳＬ、ＨＳＶ、またはＨＳＢの色仕様を含む。タイルのセットは、カラーチャネルをセグメント化すること、および／または各タイルの輝度マップまたはグレースケール等価物を生成することに基づいて定義され得る。例えば、画像の各セグメントについて、タイル生成モジュール２１１は、赤色タイル、青色タイル、緑色タイル、および／または輝度タイル、または使用される色指定と同等のものを提供し得る。本明細書で説明するように、画像のセグメントおよび／またはセグメントの色値に基づいてデジタル病理画像をセグメント化することは、タイルおよび画像についての埋め込みを生成し、画像の分類を生成するために使用されるネットワークの精度および認識率を改善し得る。さらに、デジタル病理画像処理システム２１０は、例えばタイル生成モジュール２１１を使用して、色仕様間で変換し、および／または複数の色仕様を使用してタイルのコピーを作成し得る。色仕様変換は、所望の種類の画像拡張（例えば、特定のカラーチャネル、飽和レベル、輝度レベルなどの強調または増強）に基づいて選択され得る。色仕様変換はまた、デジタル病理画像生成システム２２０とデジタル病理画像処理システム２１０との間の互換性を改善するように選択され得る。例えば、特定の画像スキャンコンポーネントは、ＨＳＬ色仕様で出力を提供し得て、本明細書に記載のように、デジタル病理画像処理システム２１０において使用されるモデルは、ＲＧＢ画像を使用して訓練され得る。タイルを互換性のある色仕様に変換することは、タイルが依然として分析され得ることを保証し得る。さらに、デジタル病理画像処理システムは、デジタル病理画像処理システムによって使用可能であるように特定の色深度（例えば、８ビット、１６ビットなど）で提供される画像をアップサンプリングまたはダウンサンプリングし得る。さらにまた、デジタル病理画像処理システム２１０は、撮像された画像の種類（例えば、蛍光画像は、色強度またはより広い範囲の色に関するより詳細を含むことができる）に応じてタイルを変換させ得る。

本明細書で説明するように、タイル埋め込みモジュール２１２は、対応する特徴埋め込み空間内の各タイルの埋め込み（例えば、１３５ａ、１３５ｂ、．．．１３５ｎ）を生成し得る。埋め込みは、タイルの特徴ベクトルとしてデジタル病理画像処理システム２１０によって表され得る。タイル埋め込みモジュール２１２は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を使用して、画像の各タイルを表す特徴ベクトルを生成し得る。特定の実施形態では、タイル埋め込みニューラルネットワークは、ＩｍａｇｅＮｅｔデータセットなどの自然（例えば、非医療）画像に基づくデータセットで訓練されたＲｅｓＮｅｔ画像ネットワークに基づき得る。特殊化されていないタイル埋め込みネットワークを使用することにより、タイル埋め込みモジュール２１２は、画像を効率的に処理して埋め込みを生成する際の既知の進歩を活用し得る。さらにまた、自然画像データセットを使用することは、埋め込みニューラルネットワークが、全体論的レベルでタイルセグメント間の違いを識別することを学習することを可能にする。

他の実施形態では、タイル埋め込みモジュール２１２によって使用されるタイル埋め込みネットワークは、デジタル病理ホールスライド画像などの大規模フォーマットの画像の多数のタイルを処理するようにカスタマイズされた埋め込みネットワークであり得る。さらに、タイル埋め込みモジュール２１２によって使用されるタイル埋め込みネットワークは、カスタムデータセットを使用して訓練され得る。例えば、タイル埋め込みネットワークは、ホールスライド画像の様々なサンプルを使用して訓練され得て、または埋め込みネットワークが埋め込みを生成する主題に関連するサンプルを使用して訓練されることさえもできる（例えば、特定の組織型のスキャン）。画像の特殊なセットまたはカスタマイズされたセットを使用してタイル埋め込みネットワークを訓練することは、タイル埋め込みネットワークがタイル間のより細かい違いを識別することを可能にし得て、その結果、画像を取得するための追加の時間、ならびにタイル埋め込みモジュール２１２による使用のために複数のタイル生成ネットワークを訓練する計算コストおよび経済的コストを犠牲にして、埋め込み空間内のタイル間のより詳細で正確な距離をもたらし得る。タイル埋め込みモジュール２１２は、デジタル病理画像処理システム２１０によって処理されている画像の種類に基づいてタイル埋め込みネットワークのライブラリから選択し得る。

本明細書で説明するように、タイル埋め込み（例えば、１３５ａ、１３５ｂ、．．．１３５ｎ）は、タイルの視覚的特徴を使用して深層学習ニューラルネットワークから生成され得る。タイル埋め込みは、タイルに関連するコンテキスト情報から、またはタイルに示されたコンテンツからさらに生成され得る。例えば、タイル埋め込みは、描写されたオブジェクトのサイズ（例えば、示された細胞のサイズまたは収差）および／または描写されたオブジェクトの密度（例えば、示された細胞の密度または収差）を示すおよび／またはそれに対応する１つまたは複数の特徴を含み得る。サイズおよび密度は、絶対的に（例えば、画素単位で表される、または画素からナノメートルに変換された幅）または同じデジタル病理画像から、デジタル病理画像のクラス（例えば、同様の技術を使用して、または単一のデジタル病理画像生成システムもしくはスキャナによって生成される）から、またはデジタル病理画像の関連ファミリーからの他のタイルに対して測定され得る。さらにまた、タイル埋め込みモジュール２１２が埋め込みを準備するときに分類を考慮するように、タイル埋め込みモジュール２１２がタイルの埋め込みを生成する前にタイルが分類され得る。

一貫性のために、タイル埋め込みモジュール２１２は、所定のサイズ（例えば、５１２項目のベクトル、２０４８バイトのベクトルなど）の埋め込みを生成する。タイル埋め込みモジュール２１２は、様々な任意のサイズの埋め込みを生成し得る。タイル埋め込みモジュール２１２は、ユーザ方向に基づいて埋め込みのサイズを調整し得て、または、例えば、計算効率、精度、または他のパラメータを最適化するように選択され得る。特定の実施形態では、埋め込みサイズは、埋め込みを生成した深層学習ニューラルネットワークの制限または仕様に基づき得る。より大きい埋め込みサイズが使用されて、埋め込みに取り込まれる情報の量を増加させ、結果の品質および精度を改善し得る一方で、より小さい埋め込みサイズが使用されて計算効率を改善し得る。

重み値生成モジュール２１３は、タイルおよび対応する埋め込みに関連して使用される各タイルの重み値を生成し得る。本明細書で説明するように、重み値は、タイル埋め込みを入力として受信し、アテンションニューラルネットワークまたは単にアテンションネットワークとも呼ばれる、出力としてアテンションスコアを生成するニューラルネットワークによって生成されたアテンションスコアであってもよい。例えば、アテンションスコアは、所与のタイルが特定の出力を予測する程度であるように定義および／または解釈されてもよい。セット内の他のタイルと比較して高いアテンションスコアを有するタイル、またはタイル埋め込みは、デジタル病理画像の分類において高い影響を有するアテンションネットワークによって識別されたと言える。例えば、アテンションネットワークは、タイルまたはタイル埋め込み内の特定の特徴が、正常もしくは異常として、または炎症もしくは壊死を示すものとして分類されるデジタル病理画像に非常に関連することを学習し得る。重み値生成モジュール２１３は、デジタル病理画像処理システム２１０が検出し得る出力のクラスごとに少なくとも１つを含む、複数のアテンションネットワークを必要に応じて使用し得る。例として、重み値生成モジュール２１３は、デジタル病理画像において検出可能な複数の症状のそれぞれに関連付けられたタイルの重要なインスタンスを決定するために、本明細書に記載されているように、訓練された１つまたは複数のアテンションネットワークを使用してもよい。限定ではなく、例として、重み値生成モジュール２１３は、エンドユーザにとっての有用性の類似性または可能性にしたがってグループ化され得る特定の診断を検出するように訓練されたネットワークを含んでもよい。例えば、ネットワークは、肥大（例えば、肝細胞肥大、クッパー細胞肥大など）、クッパー細胞（例えば、クッパー細胞の色素沈着、クッパー細胞の肥大など）、壊死（例えば、拡散、焦点、凝固など）、グリコーゲン（例えば、グリコーゲン枯渇、グリコーゲン沈着など）、炎症、脂質（例えば、脂質枯渇、脂質沈着など）、腹膜炎、およびデジタル病理画像において検出可能な他の症状を含む症状を検出するように訓練され得る。さらに、重み値生成モジュール２１３は、デジタル病理画像のタイルの異常を決定し、異常対正常の全体的な重み値を割り当てるように訓練されたアテンションネットワークを含み得る。

いくつかの実施形態は、それぞれのアテンションスコアを有する各所与のタイルを含み得るが、他の実施形態は、１つまたは複数のタイルまたはタイルの一部を含むかまたは含み得る画像の領域に対応するアテンションコアを含んでもよい。例えば、そのような画像領域は、単一のタイルの境界を越えて延在してもよく、または単一のタイルの境界よりも小さい周囲を有してもよい。アテンションスコアは、タイルまたは画像領域内の画像関連詳細（例えば、強度および／または色値）の処理から生じ得る。デジタル病理画像内のタイルの位置などのタイルのコンテキスト情報もまた、アテンションスコアを生成するためにアテンションネットワークによって使用され得る。アテンションネットワークは、画素強度のセットまたは埋め込み空間内の位置に対応する一連の埋め込み（例えば、ベクトル表現）を受信する。アテンションネットワークは、例えば、フィードフォワードネットワーク、パーセプトロンネットワーク（例えば、多層パーセプトロン）、および／または１つもしくは複数の全結合層を有するネットワークを含み得る。ニューラルネットワークは、畳み込みニューラルネットワークおよび１つまたは複数の追加の層（例えば、全結合層）をさらに含み得る。

画像埋め込みモジュール２１４は、タイル埋め込み（例えば、１３５ａ、１３５ｂ、．．．１３５ｎ）および重み値を使用してデジタル病理画像（例えば、ホールスライド画像）の埋め込みを生成する。画像埋め込みは、画像を表すために別の特徴ベクトルの形態をとり得る。本明細書で具現化されるように、画像埋め込みは、重み値生成モジュール２１３によって生成された重み値がタイル埋め込みを重み付けするために使用されるタイル埋め込みの組み合わせから生じ得る。換言すれば、画像埋め込みは、各アテンションネットワークからのアテンションスコアにしたがってタイル埋め込みの重み付き組み合わせの結果であってもよい。画像埋め込みを生成する際に、画像埋め込みモジュール２１４は、タイル埋め込み（例えば、１３５ａ、１３５ｂ、．．．１３５ｎ）および重み値にさらなる変換および／または正規化を適用し得る。したがって、１つまたは複数の画像埋め込みが生成され得る。特に、画像埋め込みモジュール２１４は、各アテンションネットワーク（したがって、評価される各症状）に対して１つの画像埋め込みを生成してもよい。画像埋め込みモジュール２１４はまた、アテンションネットワークにわたる埋め込み値および重み値が組み合わされる、１つまたは複数の合成埋め込みを生成してもよい。

次いで、画像分類モジュール２１５は、画像埋め込みを処理して、どの分類がデジタル病理画像に適用されるべきかを決定する。画像分類モジュール２１５は、画像埋め込みからデジタル病理画像を分類するように訓練された１つまたは複数の分類ネットワーク１５５を含み得るか、または使用し得る。例えば、単一の分類ネットワーク１５５が訓練されて、分類を識別および区別し得る。別の例では、各分類ネットワーク１５５が画像埋め込みがその被験者分類または症状を示すか否かを決定するように、関心のある各分類または症状に対して１つの分類ネットワーク１５５が使用され得る。得られた１つまたは複数の分類は、デジタル病理画像の評価およびデジタル病理画像が１つまたは複数の指定された症状の指標を含むという決定として解釈され得る。例えば、画像分類モジュール２１５の出力は、一連の症状に対する一連のバイナリのはいまたはいいえの決定を含み得る。出力は、はい判定またはいいえ判定から構成されるベクトルとしてさらに編成され得る。決定は、例えば、画像分類モジュール２１５またはその構成要素分類ネットワーク１５５が特定の決定において有する信頼度を表す信頼スコアまたは間隔で増強され得る。例えば、画像分類モジュール２１５は、デジタル画像が異常細胞を含む可能性が８５％、肥大を示さない可能性が８０％、炎症を示す可能性が６０％などであることを示し得る。さらに、分類器ネットワークの出力は、各潜在的な分類に関連付けられたスコアのセットを含み得る。次いで、画像分類モジュール２１５は、スコアを評価して信頼性レベルを割り当てる前に、スコアに正規化関数（例えば、ソフトマックス、平均化など）を適用し得る。このようにして、デジタル病理画像処理システム２１０は、ひいてはタイル埋め込みおよび重み値に基づいて、画像埋め込みからデジタル病理画像を自動的にラベル付けし得る。

本明細書で説明するように、画像埋め込みネットワーク、アテンションネットワーク、および分類ネットワークは、特定の機能のために設計および訓練された人工ニューラルネットワーク（「ＡＮＮ」）であってもよい。図３は、例示的なＡＮＮ３００を示している。ＡＮＮは、１つまたは複数のノードを備える計算モデルを指し得る。例示的なＡＮＮ３００は、入力層３１０、隠れ層３２０、３３０、３４０、および出力層３５０を含む。ＡＮＮ３００の各層は、ノード３０５またはノード３１５などの１つまたは複数のノードを含み得る。特定の実施形態では、ＡＮＮの１つまたは複数のノードは、ＡＮＮの別のノードに接続され得る。全結合ＡＮＮでは、ＡＮＮの各ノードは、ＡＮＮの先行層および／または後続層の各ノードに接続される。限定ではなく、例として、入力層３１０の各ノードは、隠れ層３２０の各ノードに接続されてもよく、隠れ層３２０の各ノードは、隠れ層３３０の各ノードに接続されてもよく、以下同様である。特定の実施形態では、１つまたは複数のノードは、バイアスノードであり、バイアスノードは、前の層のいずれのノードにも接続されておらず、前の層のいずれのノードからも入力を受信しないノードであり得る。図３は、特定の数の層、特定の数のノード、およびノード間の特定の接続を有する特定のＡＮＮ３００を示しているが、本開示は、任意の適切な数の層、任意の適切な数のノード、およびノード間の任意の適切な接続を有する任意の適切なＡＮＮを想定している。例として、図３は、入力層３１０の各ノードと隠れ層３２０の各ノードとの間の接続を描写するが、特定の実施形態では、入力層３１０の１つまたは複数のノードは、隠れ層３２０の１つまたは複数のノードに接続されず、同じことがＡＮＮ３００の残りのノードおよび層にも当てはまる。

特定の実施形態において使用されるＡＮＮは、サイクルまたはループを有さず、ノード間の通信が入力層から始まって連続する層に進む一方向に流れるフィードフォワードＡＮＮであり得る。例として、隠れ層３２０の各ノードへの入力は、入力層３１０の１つまたは複数のノードの出力を含み得る。同様に、出力層３５０の各ノードへの入力は、隠れ層３４０のノードの出力を含んでもよい。特定の実施形態において使用されるＡＮＮは、少なくとも２つの隠れ層を有する深層ニューラルネットワークであってもよい。特定の実施形態において使用されるＡＮＮは、残差ブロックに編成された隠れ層を含むフィードフォワードＡＮＮである深層残差ネットワークであってもよい。第１の残差ブロックの後の各残差ブロックへの入力は、前の残差ブロックの出力および前の残差ブロックの入力の関数であり得る。限定ではなく、例として、残差ブロックへの

と表されてもよく、ここで、

は、残差ブロックの

である。本開示は、特定のＡＮＮを記載しているが、本開示は、任意の適切なＡＮＮを想定している。

特定の実施形態では、ＡＮＮの各ノードは、活性化関数を含み得る。ノードの活性化関数は、所与の入力に対するノードの出力を定義または記述する。特定の実施形態では、ノードへの入力は、単数入力であってもよく、または入力のセットを含んでもよい。例示的な活性化関数は、恒等関数、バイナリステップ関数、ロジスティック関数、または任意の他の適切な関数を含み得る。

ノードに対応する活性化関数の入力は、重み付けされてもよい。各ノードは、重み付き入力に基づいて対応する活性化関数を使用して出力を生成し得る。本明細書で具現化されるように、ノード間の各接続は、重みに関連付けられ得る。例えば、ノード３０５とノード３１５との間の接続３２５は、０．４の重み係数を有してもよく、これは、ノード３１５の入力がノード３０５の出力と乗算された０．４（重み係数）であることを示す。より一般的には、

本明細書で具現化されるように、入力層３１０のノードへの入力は、オブジェクトのベクトル表現とも呼ばれるオブジェクトを表すベクトル、対応する埋め込み空間へのオブジェクトの埋め込み、または他の適切な入力に基づき得る。本開示は、ノードへの特定の入力およびノードの出力を記載しているが、本開示は、ＡＮＮにおけるノードへの任意の適切な入力およびノードの出力を想定している。さらに、本開示は、ノード間の特定の接続および重みを記載しているが、本開示は、ノード間の任意の適切な接続および重みを想定している。

特定の実施形態では、ＡＮＮ３００は、訓練データを使用して訓練され得る。限定ではなく、例として、訓練データは、ＡＮＮ３００への入力と、入力に対応するグラウンドトゥルース値のような、予想される出力とを含み得る。例えば、訓練データは、訓練オブジェクトおよび訓練オブジェクトの予想ラベルを表す１つまたは複数のベクトルを含み得る。訓練は、典型的には、同時にまたは連続して複数の訓練オブジェクトによって行われる。ＡＮＮを訓練することは、目的関数を最適化することによって、ＡＮＮのノード間の接続に関連付けられた重みを修正することを含み得る。限定ではなく、例として、誤差値を逆伝播するために訓練方法が使用されてもよい。誤差値は、例えば誤差を最小化するコスト関数、または二乗和誤差などの誤差から導出される値を使用して、訓練対象を表す各ベクトル間の距離として測定され得る。訓練方法の例は、共役勾配法、勾配降下法、確率的勾配降下法などを含むが、これらに限定されない。特定の実施形態では、ＡＮＮは、１つまたは複数のノードが、入力を受信しないか、または出力を生成しないように訓練する間、一時的に省略されるドロップアウト技術を使用して訓練され得る。各訓練オブジェクトについて、ＡＮＮの１つまたは複数のノードは、省略される確率を有する。特定の訓練オブジェクトのために省略されるノードは、他の訓練オブジェクトのために省略されるノードとは異なり得る。本開示は、特定の方式においてＡＮＮを訓練することを記載しているが、本開示は、任意の適切な方式においてＡＮＮを訓練することを想定している。

重み値生成モジュール２１３は、タイルの各埋め込みに関連付けられたアテンションスコアに正規化関数をさらに適用し得る。正規化関数は、タイルにわたる重み値（例えば、アテンションスコア）を正規化するために使用され得る。例えば、適用され得る１つの正規化関数は、以下のソフトマックス関数である：

ここで、

ソフトマックス関数は、入力ベクトルの各要素に標準指数関数を適用し、全ての指数関数の和を除算することによって値を正規化する。正規化は、出力ベクトルの成分の合計が１に等しいことを保証する。正規化関数は、（例えば、異なる指数関数を使用した）ソフトマックス関数に対する修正を含んでもよく、またはソフトマックス関数の代替を完全に使用してもよい。

デジタル病理画像処理システム２１０の出力生成モジュール２１６は、デジタル病理画像、タイル、タイル埋め込み、重み値、画像埋め込み、および分類を使用して、入力として受信したデジタル病理画像に対応する出力を生成し得る。本明細書に記載されるように、デジタル病理画像のラベルおよび注釈に加えて、出力は、様々な視覚化および対話型グラフィックを含み得る。多くの実施形態では、出力は、表示のためにユーザ装置２３０に提供されるが、特定の実施形態では、出力は、デジタル病理画像処理システム２１０から直接アクセスされ得る。

一実施形態では、所与のデジタル病理画像の出力は、デジタル病理画像内の関心領域を識別して強調表示するいわゆるヒートマップを含み得る。ヒートマップは、特定の症状または診断を表示または相関する画像の部分を示すことができ、そのような表示の精度または統計的信頼度を示し得る。図４Ａは、例示的なヒートマップ４００および同じヒートマップの詳細図４０５を示している。ヒートマップは、複数のセルから構成される。セルは、デジタル病理画像から生成されたタイルに直接対応してもよく、または（例えば、ヒートマップに有用であるよりも多数のタイルが生成される場合）タイルのグループに対応してもよい。各セルに強度値が割り当てられ、強度値は全てのセルにわたって正規化され得る（例えば、セルの強度値が０から１、０から１００などの範囲となるように）。ヒートマップを表示する際に、セルの強度値は、異なる色、パターン、または強度の他の視覚的表現などに変換されてもよい。図４Ａに示す例では、セル４０７は、高強度セル（赤色タイルによって表される）であり、セル４０９は、低強度セル（青色タイルによって表される）である。いくつかの実施形態では、異なる強度を示すために色勾配も使用され得る。特定の実施形態では、各セルの強度値は、１つまたは複数のアテンションネットワークによって対応するタイルに対して決定された重み値から導出されるか、またはそれに対応し得る。したがって、ヒートマップが使用されて、デジタル病理画像処理システム２１０、特に重み値生成モジュール２１３が特定の症状の指標を含む可能性が高いと識別したデジタル病理画像のタイルを迅速に識別し得る。図４Ａに示す例では、単一のヒートマップのみが生成されている。このヒートマップは、関心のある分類に基づいてもよく、これは、デジタル病理画像に示される最も可能性の高い症状として選択されたもの、またはレビューのためにユーザによって選択されたものであり得る。単一のヒートマップはまた、１つまたは複数のアテンションネットワークによって生成された重み値の合成を含み得る。

重み値生成モジュール２１３は、複数のアテンションネットワークを使用してアテンションスコアおよび重み値を生成し得るため、出力生成モジュール２１６は、等しい数のヒートマップ（例えば、アテンションネットワークが症状の指標のインスタンスを識別するように構成されている各分類に対応する１つのヒートマップ）を生成し得る。図４Ｂは、単一のデジタル病理画像４１５に対していくつかのヒートマップ４１０ａ～４１０ｉが生成された例を示している。図４Ｂに示すように、異なる色を表示する異なるヒートマップは、アテンションネットワークを使用して、異常（図４Ｂ、４１０ａ；図４Ｃに示す拡大版）、肥大（図４Ｂ、４１０ｂ；図４Ｄに示す拡大版）、クッパー細胞（図４Ｂ、４１０ｃ；図４Ｅに示す拡大版）、壊死（図４Ｂ、４１０ｄ；図４Ｆに示す拡大版）、グリコーゲン（図４Ｂ、４１０ｅ；図４Ｇに示す拡大版）、炎症（図４Ｂ、４１０ｆ；図４Ｈに示す拡大版）、脂質（図４Ｂ、４１０ｇ；図４Ｉに示す拡大版）、腹膜炎（図４Ｂ、４１０ｈ；図４Ｊに示す拡大版）、またはその他（図４Ｂ、４１０ｉ；図４Ｋに示す拡大版）などの異なる種類の細胞、細胞構造、または組織の種類を識別した場合の異なる結果を表す。各ヒートマップは、タイルが対応するアテンションネットワークの関連付けられた症状の指標であるか、またはその指標を含む可能性の高さに基づいて、デジタル病理画像のタイルの相対的な重みを示す。

出力生成モジュール２１６によって生成され得る別の例示的な出力は、デジタル病理画像の注釈である。注釈は、デジタル病理画像内のユーザにとって関心領域（例えば、病理医または臨床医）を自動的に示し得る。本明細書に記載されるように、デジタル病理画像のための注釈の生成は、多くの場合、かなりの量の訓練を受けた個人の入力を必要とする困難で時間のかかるタスクである。アテンションネットワークによって生成された重み値を使用して、デジタル病理画像処理システム２１０は、ユーザが注目すべき領域を、関心のある症状の指標を含むものとして識別し得る。例として、出力生成モジュールは、デジタル病理画像のタイルのセットにわたる重み値を比較し、画像または種類の画像についてのノルム外の重み値を有するタイルを識別し得る。出力生成モジュールは、重み値を、ユーザによって選択され得るか、またはデジタル病理画像処理システム２１０によって予め決定され得る閾値重み値と比較し得る。閾値は、評価されている症状の種類に基づいて異なり得る（例えば、「異常」注釈の閾値は、「壊死」注釈の閾値とは異なり得る）。したがって、入力されたデジタル病理画像の注釈は、デジタル病理画像のタイルのセット内のキーインスタンスの識別に基づき得る。

さらにまた、注釈は、パターンマッチングを適用することによって、例えば画像全体にわたって同じ異常を含むタイルに注意を払うことによって、同じデジタル病理画像内に含まれる視覚的一致を識別するプロセスを単純化し得る。本明細書で具現化されるように、デジタル病理画像処理システム２１０は、（例えば、重み値を使用して）関心のあるタイルを識別した後、識別されたタイルの画素に対して勾配降下を実行して、アテンションネットワークによって見落とされた可能性がある識別されたタイルと同様の視覚的特性を有するタイルの認識および関連付けを最大化し得る。したがって、デジタル病理画像処理システム２１０は、どの視覚パターンが関心のある各タイルの分類決定を最大化するかを学習および識別し得る。この認識は、新たなパターンが検討中の各デジタル病理画像について学習されるアドホックベースで実行されてもよく、または共通パターンのライブラリに基づいてもよい。例えば、デジタル病理画像処理システム２１０は、各分類について頻繁に発生するパターンを記憶し、タイルをそれらのパターンと積極的に比較して、デジタル病理画像のタイルおよび領域の識別を支援し得る。

タイル埋め込みのセット（例えば、１３５ａ、１３５ｂ、．．．１３５ｎ）が注釈付けのために識別されると、デジタル病理画像処理システム２１０は、後方に働き、それらのタイル埋め込みに対応するタイルを識別する。例えば、各埋め込みは、タイル埋め込み内のタイル識別子を介して識別され得るタイルに一意に関連付けられ得る。次いで、デジタル病理画像処理システム２１０は、タイルの集合が同じ症状または表示を提示するように決定された状況で、近接タイルをグループ化しようと試みる。タイルの各グループ化は、収集され、関連する注釈とともに表示する準備がされ得る。

注釈を含むデジタル病理画像の第１の例が図５Ａに示されている。デジタル病理画像５００は、表示のためにユーザ装置２３０（図示せず）に提供され得る。画像５００は、関心領域の周りに描かれたボックスとして示される注釈５０５ａおよび５０５ｂに関連して示され得る。したがって、観察者は、関心領域の周囲の領域の状況を容易に見得る。注釈は、ユーザがオンまたはオフにし得る対話型オーバーレイとして提供され得る。ユーザ装置２３０のインターフェース内で、ユーザはまた、ズーム、パンなどのデジタル病理画像を閲覧する典型的な機能を実行し得る。

注釈を含むデジタル病理画像の第２の例が図５Ｂに示されている。デジタル病理画像５１０は、画像の一部を強調する対話型オーバーレイとともに示されている。例えば領域５１５ａ、５１５ｂ、および５１５ｃなどの強調表示は、強調表示された領域間の類似性および差異を示す色分けまたは他の視覚的表示とともに示されてもよい。例えば、領域５１５ｂおよび５１５ｃは、同じ色によって示され、領域５１５ａとは異なって示されてもよい。これは、例えば、領域５１５ｂおよび５１５ｃが第１の症状に関連付けられ、領域５１５ａが第２の症状に関連付けられていることを示し得る。色分けはまた、例えば、領域に利用可能な詳細情報があること、またはユーザが領域に関するレポートを既に見ていることをユーザに示すために使用されてもよい。オーバーレイインターフェースは、対話型であってもよい。例えば、ユーザは、ユーザ装置２３０の適切なユーザ入力装置を使用して、領域５１５ｃなどの領域を選択し得る。領域選択を検出すると、オーバーレイは、ユーザによる検討のために領域に関する追加の詳細を提供し得る。図示のように、ユーザは、領域５１５ｃを選択している。ユーザの選択を検出すると、デジタル病理画像処理システム２１０は、ユーザ装置２３０のユーザインターフェースに表示される情報ボックス５２５をプロンプトし得る。情報ボックスは、領域５１５ｃに関連付けられた様々な情報を含み得る。例えば、情報ボックスは、検出された症状およびこの症状における情報処理システム２１０の信頼性のレベルに関する詳細なレポートを提供し得る。情報ボックスは、限定されないが、領域内のタイルの数、（絶対的またはサンプルに対する）領域のおおよそのサイズ、同様の症状を示す他のタイルが検出されたこと、および他の適切な情報を含む、領域５１５ｃを構成するタイルに関する情報を提供し得る。情報ボックスは、限定ではなく例として、領域サイズ、細胞サイズ、核サイズ、領域内の細胞間の距離、領域内の核間の距離、異なる細胞種類間の距離（例えば、炎症細胞と正常細胞との間の距離、炎症細胞と腫瘍細胞との間の距離など）、特定の症状を示す領域間の距離（例えば、領域内の壊死領域間の距離）、および領域内の１つまたは複数の細胞と異なる種類の組織またはオブジェクトとの間の距離（例えば、細胞と最も近い血管との間の距離など）を含む、領域に描かれた組織に関する情報をさらに提供し得る。

図６Ａ～図６Ｄは、デジタル病理画像処理システム２１０を訓練するための、特に重み値を生成するために使用されるアテンションネットワークを訓練するための、およびデジタル病理画像処理システム２１０の様々なサブシステムおよびモジュールによって使用される分類ネットワークを訓練するための例示的なプロセス６００を示している。一般に、訓練プロセスは、グラウンドトゥルースラベルを有する訓練データ（例えば、ホールスライド画像）をデジタル病理画像処理システム２１０に提供することと、アテンションネットワークに、正常データを異常データと区別するキーインスタンス（例えば、タイル）を識別することを学習させることと、分類ネットワークに、関心のある分類に正に対応するタイル埋め込み値を識別することを学習させることと、を含む。様々なネットワークおよびモデルの統合された使用は、比較的構造化されていない学習アプローチが一般的に利用可能なラベリング（例えば、正常および異常）から始まり、タイルおよびその分類における異常組織を識別するように学習するため、大きなホールスライド画像などのデジタル病理画像において特に有利である。これは、異常組織の位置の特定、注釈の生成、およびそれらの正の分類に必要な負担を軽減する。

この種の学習構造のモデルは、複数インスタンス学習と呼ばれることがある。複数インスタンス学習では、インスタンスの集合がラベルを有するセットとして一緒に提供される。個々のインスタンスは、多くの場合、セットのみにラベル付けされないことに留意されたい。ラベルは、典型的には、存在する症状に基づく。記載されたシステムによって使用される複数インスタンス学習技術における基本的な仮定は、セットが存在する症状を有するとしてラベル付けされた場合（例えば、ホールスライド画像が異常とラベル付けされた場合）、セット内の少なくとも１つのインスタンスが異常であることである。逆に、セットがインスタンスを有していないとラベル付けされている場合（例えば、ホールスライド画像に通常のラベルが付けられている場合）、セット内のインスタンスは異常ではない。この原理および反復訓練アプローチから、アテンションネットワークは、異常なスライドに相関するタイル（または、より具体的には、タイル埋め込み）の特徴を識別することを学習し得る。

デジタル病理画像処理システム２１０の訓練コントローラ２１７は、デジタル病理画像処理システム２１０によって使用される１つまたは複数のモデル（例えば、ニューラルネットワーク）および／または機能の訓練を制御し得る。場合によっては、デジタル病理画像処理システム２１０によって使用される複数または全てのニューラルネットワーク（例えば、タイル埋め込みを生成するために使用されるアテンションネットワーク、重み値を生成するために使用されるネットワーク、画像埋め込みに基づいて画像を分類するために使用されるネットワーク）は、訓練コントローラ２１７によって一緒に訓練される。場合によっては、訓練コントローラ２１７は、デジタル病理画像処理システム２１０によって使用してモデルを選択的に訓練し得る。例えば、デジタル病理画像処理システム２１０は、タイル埋め込みを生成するために予め構成されたモデルを使用し、重み値を生成するためにアテンションネットワークを訓練することに焦点を合わせ得る。

図６Ａに示すように、６１０において、訓練コントローラ２１７は、デジタル病理画像のセット（例えば、ホールスライド画像６０５ａ、６０５ｂ、６０５ｃ）を含む訓練データを選択、取得、および／またはアクセスし得る。訓練データは、ラベルの対応するセット（例えば、それぞれ「異常」、「異常」、「正常」）をさらに含む。６２０において、訓練コントローラ２１７は、例えばタイル生成モジュール２１１を使用して、デジタル病理画像処理システム２１０に、各ホールスライド画像を複数のタイルにセグメント化させる。例えば、図６Ａに示すように、ホールスライド画像６０５ａをタイル６０６ａ、６０６ｂ、．．．、６０６ｎにセグメント化し、ホールスライド画像６０５ｂをタイル６０７ａ、６０７ｂ、．．．、６０７ｎにセグメント化し、ホールスライド画像６０５ｃをタイル６０８ａ、６０８ｂ、．．．、６０８ｎにセグメント化する。訓練目的のために、異常とラベル付けされたホールスライド画像からセグメント化されたタイルも異常とラベル付けされる。６３０において、訓練コントローラ２１７は、例えばタイル埋め込みモジュール２１２を使用して、デジタル病理画像処理システム２１０に、埋め込みネットワーク６２５を使用して複数のタイルの各タイルの埋め込みを生成させる。例えば、図６Ａに示すように、タイル埋め込みモジュール２１２は、タイル６０６ａの埋め込み６１１ａ、タイル６０７ａの埋め込み６１２ａ、タイル６０８ａの埋め込み６１３ａ、タイル６０６ｂの埋め込み６１１ｂ、タイル６０７ｂの埋め込み６１２ｂ、タイル６０８ｂの埋め込み６１３ｂ、タイル６０６ｎの埋め込み６１１ｎ、タイル６０７ｎの埋め込み６１２ｎ、およびタイル６０８ｎの埋め込み６１３ｎを生成する。

図６Ｂは、各ホールスライド画像から生成された埋め込みからキーインスタンス（例えば、高い注目値）を識別するように重み値生成モジュール２１３のアテンションネットワークを訓練するためのプロセスを示している。このプロセスは、何度も繰り返され、各訓練サイクルは、エポックと呼ばれる。簡単にするために、プロセスは、ただ１つのアテンションネットワーク６３５を使用して示されているが、同じ技術が複数のアテンションネットワークに同時に適用されてもよい。各エポックの間、各ホールスライド画像からランダムにサンプリングされた埋め込みの選択が、アテンションネットワーク６３５への入力として提供される。例えば、訓練コントローラ２１７は、各エポックに使用される埋め込みセットを選択するためにサンプリング関数６３３を使用し得る。アテンションネットワーク６３５は、サンプリングされた各選択から埋め込みのためのアテンションスコアＡ_１、Ａ_２、．．．Ａ_ｎを生成する。

訓練コントローラ２１７は、エポックの間に生成されたアテンションスコアを評価するために、１つまたは複数の損失またはスコアリング関数６３７を使用する。訓練コントローラ２１７は、各個々の画像に対応する埋め込みにわたってアテンションスコアの変動または差にペナルティを課す損失関数を使用し得る。「正常」および「異常」画像の「正常」タイルの差を最小限に抑えるべきであるという直感に基づいて、損失関数は、各ランダムサンプリングに対して生成されたアテンションスコアの分布と基準分布との差にペナルティを課し得る。基準分布は、（例えば）デルタ分布（例えば、ディラックデルタ関数）または一様もしくはガウス分布を含み得る。基準分布および／またはアテンションスコア分布の前処理が実行され得て、これは（例えば）２つの分布の一方または双方を同じ質量中心または平均を有するようにシフトすることを含み得る。あるいは、アテンションスコアは、分布を生成する前に前処理されてもよいことが理解されよう。損失関数は、（例えば）カルバック・ライブラー（ＫＬ）発散を使用して分布間の差を特徴付け得る。アテンションスコア分布が複数の異なるピークを含む場合、デルタ分布または一様分布を有する発散は、より劇的であり得て、これはより高いペナルティをもたらし得る。「正常な」埋め込みのアテンションスコアの差は最小化されるが、損失関数は、「異常な」タイルの差に報酬を与え、アテンションネットワークに、正常なタイルの中から異常なタイルを識別することを学習するように効果的に促し得る。別の技術は、タイルアテンションスコアにわたる変動性の欠如にペナルティを課す損失関数を使用してもよい。例えば、損失関数は、アテンションスコア分布とデルタまたは一様分布との間のＫ－Ｌ発散と逆の方法でペナルティをスケーリングし得る。したがって、場合によっては、異なるラベルに関連付けられたタイルに異なる種類（例えば、反対の種類）の損失が使用される。損失関数の結果Ｒ_１、Ｒ_２、．．．、Ｒ_ｎは、アテンションネットワーク６３５に提供され、アテンションネットワーク６３５に修正を適用または保存してスコアを最適化する。アテンションネットワーク６３５が修正された後、別の訓練エポックは、入力タイルのランダム化されたサンプルによって始まる。

訓練コントローラ２１７は、いつ訓練を中止すべきかを決定する。例えば、訓練コントローラ２１７は、設定された数のエポックに対してアテンションネットワーク６３５を訓練することを決定し得る。別の例として、訓練コントローラ２１７は、損失関数が、アテンションネットワークが分布間の発散の閾値を超えたことを示すまで、アテンションネットワーク６３５を訓練することを決定してもよい。別の例として、訓練コントローラ２１７は、訓練を周期的に一時停止し、適切なラベルが既知であるタイルの試験セットを提供してもよい。訓練コントローラ２１７は、試験セット上の既知のラベルに対してアテンションネットワーク６３５の出力を評価して、アテンションネットワーク６３５の精度を決定し得る。精度が設定閾値に到達すると、訓練コントローラ２１７は、アテンションネットワーク６３５の訓練を中止し得る。

より高いアテンションスコアを異常タイルに関連付けることによって提供されたタイル埋め込みセットのキーインスタンスを識別するように十分に訓練されたアテンションネットワーク６３５を用いて、訓練コントローラ２１７は、分類器ネットワークを訓練し得る。図６Ｃおよび図６Ｄは、埋め込みネットワーク６２５が埋め込みを生成した後、図６Ａに示す例に続く。図６Ｃに示すように、６４０において、訓練コントローラ２１７は、例えば重み値生成モジュール２１３を使用して、デジタル病理画像処理システム２１０に、各画像から埋め込みの重み値を生成させる。例えば、重み値生成モジュール２１３は、画像６０５ａからそれぞれ埋め込み６１１ａ、６１１ｂ、．．．６１１ｎのための重み値ａ_１、ｂ_１、．．．ｎ_１を生成し、画像６０５ｂからそれぞれ埋め込み６１２ａ、６１２ｂ、．．．６１２ｎのための重み値ａ_２、ｂ_２、．．．、ｎ_２を生成し、画像６０５ｃからそれぞれ埋め込み６１３ａ、６１３ｂ、．．．６１３ｎのための重み値ａ_３、ｂ_３、．．．ｎ_３を生成する。重み値を生成するために、重み値生成モジュール２１３は、本明細書で説明されるように、埋め込みのためのアテンションスコアを生成するために、１つまたは複数のアテンションネットワーク６３５を生成し得る。アテンションスコアは、重み値として使用する前にさらに正規化され得る。簡略化のために単一のアテンションネットワーク６３５のみが図６Ｃに示されているが、いくつかのアテンションネットワーク（例えば、異なる症状の指標を識別するように訓練される）が使用されてもよい。

６５０において、訓練コントローラ２１７は、例えば画像埋め込みモジュール２１４を使用して、デジタル病理画像処理システム２１０に、それぞれの埋め込みに重みを付けるために各埋め込みに対して生成された重み値を使用して、重み付き組み合わせにおいてタイル埋め込みを組み合わせることによって各ホールスライド画像の画像埋め込みＶ_１、Ｖ_２、．．．Ｖ_ｎを計算させる。例えば、画像６０５ａの画像ベクトルＶ_１は、重み値ａ１、ｂ１、．．．、ｎ１と組み合わせて埋め込み６１１ａ、６１１ｂ、．．．、６１１ｎから生成されてもよく、画像６０５ｂの画像ベクトルＶ_２は、重み値ａ_２、ｂ_２、．．．、ｎ_２と組み合わせて埋め込み６１２ａ、６１２ｂ、．．．、６１２ｎから生成されてもよく、画像６０５ｃの画像ベクトルＶ_ｎは、重み値ａ_ｎ、ｂ_ｎ、．．．、ｎ_ｎと組み合わせて埋め込み６１３ａ、６１３ｂ、．．．、６１３ｎから生成されてもよい。

図６Ｄに示すように、６６０において、訓練コントローラ２１７は、例えば画像分類モジュール２１５を使用して、デジタル病理画像処理システム２１０に、画像埋め込みＶ_１、Ｖ_２、．．．Ｖ_ｎを使用して画像６０５ａ、６０５ｂ、および６０５ｃを分類させ得る。画像埋め込みは、分類を生成するために、１つまたは複数の分類ネットワーク６５５への入力として提供される。簡略化のために、単一の分類ネットワークのみが示されているが、いくつかの分類ネットワークが一緒に使用され、訓練されてもよい。分類ネットワーク６３５は、画像埋め込みに基づいて画像分類を生成し、例えば、分類Ｃ_１は、画像ベクトルＶ_１から生成され、分類Ｃ_２は、画像ベクトルＶ_２から生成され、分類Ｃ_ｎは、画像ベクトルＶ_ｎから生成される。分類ネットワーク６３５が、画像ベクトルが設定されたクラスに属するか否かのバイナリ判定を行うように訓練される場合、複数の分類ネットワーク６３５は、画像ベクトルがある範囲のクラスに属することを識別するように並列に訓練されてもよい。

６７０において、訓練コントローラ２１７は、分類されている画像のそれぞれについてのグラウンドトゥルース分類にアクセスする。図６Ｄに示すように、グラウンドトゥルース分類Ｔ_１は、画像６０５ａに対応し、グラウンドトゥルース分類Ｔ_２は、画像６０５ｂに対応し、グラウンドトゥルース分類Ｔ_ｎは、画像６０５ｃに対応する。グラウンドトゥルース分類は、正確または理想的な分類であることが知られている分類である。例えば、グラウンドトゥルース分類は、訓練画像のデータセットの一部として提供されてもよく、病理医または他の人間のオペレータによって生成されてもよい。アテンションネットワーク６３５を訓練するのと同様に、損失またはスコアリング関数６７５を使用して、訓練コントローラ２１７は、画像分類をグラウンドトゥルース分類と比較し、各画像の結果Ｒ_１、Ｒ_２、．．．Ｒ_ｎを準備する。スコアリング関数６７５は、不正確な分類にペナルティを課し、正確な分類に報酬を与え得る。さらに、分類ネットワーク６３５が信頼区間を生成する実施形態では、スコアリング関数６７５は、例えば、強く信頼できるが不正確な分類が、軽度に信頼できる分類よりも厳しくペナルティを課されるように、それらの信頼をさらに強化し得る。結果は、分類ネットワーク６３５にフィードバックされ得て、分類ネットワークは、スコアリング結果を最適化するための変更を行うかまたは保存する。分類ネットワークは、指定された数のエポックに到達するまで、またはスコアリング閾値に到達するまで、同じ画像埋め込みセットを繰り返し使用して訓練および更新され得る。訓練コントローラはまた、様々な訓練画像を使用して分類ネットワーク６３５を訓練するために複数の反復を実行し得る。分類ネットワークはまた、画像の予約された試験セットを使用して検証されてもよい。

場合によっては、訓練コントローラ２１７は、特定のラベルに関連付けられた訓練画像を優先的に選択、取得、および／またはアクセスする。したがって、訓練データセットは、特定のラベルに関連付けられたデジタル病理画像に向かってバイアスされ得る。訓練データセットは、正常症状を示すラベルに関連付けられた画像と比較して、異常症状または指定された異常症状（例えば、炎症および壊死）を示すラベルに関連付けられたより多くの画像を含むように定義され得る。これは、より「正常な」画像が容易に利用可能になるという予想を説明するために行われ得るが、デジタル病理画像処理システム２１０は、異常画像を識別することを目的とし得る。

本明細書で説明するように、デジタル病理画像（例えば、ホールスライド画像）のラベルを取得するための従来のプロセスは、困難で時間がかかる。本明細書に記載のデジタル病理画像処理システム２１０ならびに前記システムの使用および訓練方法は、デジタル病理画像処理システムの様々なネットワークを訓練するために利用可能な画像のセットを増加させるために使用され得る。例えば、既知のラベル（潜在的に注釈を含む）を有するデータを使用する初期訓練パスの後、デジタル病理画像処理システム２１０が使用されて、既存のラベルなしで画像を分類し得る。生成された分類は、人間のエージェントによって検証されてもよく、補正が必要な場合、デジタル病理画像処理システム２１０（例えば、分類ネットワーク）は、新たなデータを使用して再訓練されてもよい。このサイクルは繰り返してもよく、これまで見られなかった例では精度率を改善するために観察者の介入が必要になると予想される。さらに、指定された精度レベルに到達すると、デジタル病理画像処理システム２１０によって生成されたラベルは、例えば、重み値生成モジュール２１３によって使用されるアテンションネットワーク６３５など、訓練のためのグラウンドトゥルースとして使用され得る。

図７は、アテンションネットワークおよび分類ネットワークを使用して、ホールスライド画像を含むデジタル病理画像の画像分類のための例示的な方法７００を示している。本方法は、ステップ７１０において開始し得て、デジタル病理画像処理システム２１０において、デジタル病理画像を受信するか、そうでなければアクセスする。本明細書に記載されるように、デジタル病理画像処理システム２１０は、デジタル病理画像生成システムから画像を直接受信してもよく、またはユーザ装置２３０から画像を受信してもよい。他の実施形態では、デジタル病理画像処理システム２１０は、デジタル病理画像処理システム２１０が分析用画像を受信するのを容易にするデジタル病理画像を記憶するためのデータベースまたは他のシステムと通信可能に結合され得る。

ステップ７１５において、デジタル病理画像処理システム２１０は、画像をタイルにセグメント化する。本明細書に記載されるように、デジタル病理画像は、標準的な画像よりも大幅に大きく、標準的な画像認識および分析に通常実行可能であるよりもはるかに大きいと予想される（例えば、１００，０００画素×１００，０００画素程度）。分析を容易にするために、デジタル病理画像処理システムは、画像をタイルにセグメント化する。タイルのサイズおよび形状は、分析の目的のために均一であるが、サイズおよび形状は、可変であってもよい。いくつかの実施形態では、タイルは、デジタル病理画像処理システム２１０によって画像コンテキストが適切に分析される機会を増やすために重複し得る。行われる作業と精度とのバランスをとるために、重複しないタイルを使用することが好ましい場合がある。さらに、画像をタイルにセグメント化することは、画像に関連付けられたカラーチャネルまたは主要な色に基づいて画像をセグメント化することを含み得る。

ステップ７２０において、デジタル病理画像処理システム２１０は、各タイルに対応するタイル埋め込みを生成する。タイル埋め込みは、タイルを適切な埋め込み空間にマッピングし得て、タイルに示された特徴を表すと見なされ得る。埋め込み空間内では、空間的に近接したタイルは類似していると見なされ、埋め込み空間内のタイル間の距離は非類似性を示す。タイル埋め込みは、タイル（例えば、画像）を入力として受信し、埋め込み（例えば、ベクトル表現）を出力として生成する埋め込みネットワークによって生成され得る。埋め込みネットワークは、自然（例えば、非医療）画像で訓練されてもよく、または埋め込みネットワークへの入力と同様であると予想される画像に特化されてもよい。自然な画像を使用すると、利用可能な訓練データの洗練度が向上するが、特殊な画像を使用すると、埋め込みネットワークの弾力性が向上し、画像埋め込みネットワークが入力画像内のより細かい詳細を識別することを学習することを可能にし得る。

ステップ７２５において、デジタル病理画像処理システム２１０は、１つまたは複数のアテンションネットワークを使用して各タイルのアテンションスコアを計算する。アテンションスコアは、１つまたは複数の特別に訓練されたアテンションネットワークによって生成されてもよい。アテンションネットワークは、タイル埋め込みおよび入力を受信し、タイルの相対的な重要度を示す各タイル埋め込みのスコアを生成する。タイルの重要度、したがってアテンションスコアは、「通常の」タイルとは異なるタイルを識別することに基づいている。これは、異常を有する組織を描写するデジタル病理画像であっても、タイルの圧倒的大部分が正常に見える組織を描写するという直感に基づいている。したがって、アテンションネットワークは、各セット内の残りのタイルとは異なるタイル埋め込み（したがって、タイル）を効率的に抽出し得る。複数のアテンションネットワークが同時に使用されてもよく、各アテンションネットワークは、特定の方法で異常なタイル（例えば、異なる種類の異常を示す）を識別するように訓練される。

ステップ７３０において、デジタル病理画像処理システム２１０は、対応するアテンションスコアに基づいて各埋め込みの重み値を計算する。重み値は、アテンションスコアと高度に相関しているが、アテンションスコアの値のバランスをとり、異なるタイル、画像、およびアテンションネットワークにわたるアテンションスコアの比較を容易にするために正規化関数（例えば、ソフトマックス関数）を適用するなどの正規化方法から生じ得る。

ステップ７３５において、デジタル病理画像処理システム２１０は、タイル埋め込みおよび対応する重み値に基づいて画像に対応する画像埋め込みを計算する。画像埋め込みは、（例えば、キータイルを識別するアテンションネットワークに基づいて）画像のコンテキストを失うことなく、通常の大規模フォーマットデジタル病理画像の効率的な表現として機能する。画像埋め込みは、組み合わせにおける重みとして重み値を使用するタイル埋め込みの重み付き組み合わせから生じ得る。複数のアテンションネットワークを使用して複数の症状を識別しようとする実施形態では、デジタル病理画像処理システム２１０は、（それぞれが画像を分類するために使用され得る）複数の画像埋め込みを生成し得て、またはデジタル病理画像処理システム２１０は、タイル埋め込みおよび複数の重み値セットに基づいて統一画像表現を作成し得る。

ステップ７４０において、デジタル病理画像処理システム２１０は、１つまたは複数の分類ネットワークを使用して、画像埋め込みに基づいてデジタル病理画像分類を生成する。分類ネットワークは、入力として画像埋め込みを受信し、画像の予測された分類（例えば、正常、異常、炎症の描写など）または画像が指定された分類に属するという決定のいずれかを生成する人工ニューラルネットワークを含み得る（例えば、複数の分類ネットワークが使用され、それぞれが画像の単一の分類を識別するように訓練される実施形態では）。分類ネットワークはまた、分類ネットワークの確度を示し得る検出された分類の信頼スコアまたは間隔を生成し得る。デジタル病理画像処理システム２１０は、デジタル病理画像処理システムに追加され得る分類の数または種類に限定されず、したがって、新たな分類のための追加の訓練サンプルが識別されると、デジタル病理画像処理システムの能力は、半モジュール式に拡張され得る。

ステップ７４５において、デジタル病理画像処理システム２１０は、デジタル病理画像のための拡張オーバーレイまたは対話型インターフェースを生成し得る。強化されたオーバーレイまたは対話型インターフェースは、デジタル病理画像処理システムの内部動作に対する洞察も提供しながら、画像の観察者の理解を高めるように設計されたデジタル病理画像の視覚化を含み得る。例えば、本明細書で説明するように、デジタル病理画像処理システム２１０は、デジタル病理画像のタイル（または関連するグループ）にマッピングするデジタル病理画像の１つまたは複数の「ヒートマップ」を生成し得る。ヒートマップのセルの強度は、例えば、アテンションネットワークによって生成されたアテンションスコアまたは重み値に対応し得る。したがって、複数のヒートマップ（各アテンションネットワークに対応するヒートマップ）が作成されてもよく、または、様々なアテンションネットワークの出力を示す単一のヒートマップが作成されてもよい。デジタル病理画像処理システム２１０はまた、観察者にとって関心があり得る画像の領域を識別するデジタル病理画像のための注釈を生成し得る。例えば、アテンションスコアまたは重み値を使用して、デジタル病理画像処理システム２１０は、画像の領域を識別し、その領域に関連付けられたタイルの、分類ネットワークによって決定された分類を示し、その領域およびその領域内のタイルに関する追加データを提供し得る。システムはまた、注釈特徴内のタイルを使用して、画像内の他のタイルに対して画像分析および認識を実行し、同様の特徴がどこで見つかるかを示し得る。これらの形態の出力、および他の多くの出力は、ユーザ装置２３０を介して提供されるように設計され得る。

ステップ７５０において、デジタル病理画像処理システム２１０は、タイル埋め込み、画像埋め込み、および／または分類に基づいて、デジタル病理画像またはそこに描写された組織の派生特性を識別し得る。例えば、デジタル病理画像処理システム２１０は、タイル埋め込みにおいて取り込まれた特定の種類の分類または特徴間の関連付けおよび相関を記憶し得る。例えば、デジタル病理画像処理システムは、デジタル病理画像に描写され得る異常の種類間の自然な関連を学習し得る。したがって、派生特性は、デジタル病理画像内の追加の特徴を探すためのユーザへの警告またはリマインダとして機能し得る。派生特性はまた、デジタル病理画像にわたってタイル埋め込みを相関させ得る。例えば、デジタル病理画像処理システム２１０は、タイル埋め込みまたはタイル埋め込みのパターンを記憶し、以前にレビューされた画像間の類似性に注意を払うために評価されている画像とパターンマッチングを実行し得る。したがって、デジタル病理画像処理システム２１０は、基礎となる類似性および特性を識別するためのツールとして機能し得る。

ステップ７５５において、デジタル病理画像処理システム２１０は、表示のために生成された出力を提供する。生成された出力は、例えば、デジタル病理画像分類、拡張オーバーレイもしくは対話型インターフェース、またはそれらの派生特性および統計を含み得る。これらの出力などは、例えば、適切に構成されたユーザ装置２３０を介してユーザに提供され得る。出力は、デジタル病理画像処理システム２１０によって実行された分析をユーザがレビューすることを容易にすると同時に、ユーザの独立した分析もサポートする対話型インターフェースにおいて提供され得る。例えば、ユーザは、出力の様々な特徴をオンまたはオフにし、ズームし、パンし、そうでなければデジタル病理画像を操作し、分類、注釈、および派生特性に関するフィードバックまたはノートを提供し得る。

ステップ７６０において、デジタル病理画像処理システム２１０は、提供された出力に関するフィードバックを受信し得る。ユーザは、分類または注釈の精度に関するフィードバックを提供し得る。ユーザは、例えば、デジタル病理画像処理システム２１０によって以前に識別されなかったユーザにとって関心領域（および関心がある理由）を示すことができる。ユーザは、デジタル病理画像処理システム２１０によってまだ提案されていないかまたは取り込まれていない画像の追加の分類をさらに示し得る。このフィードバックはまた、例えば臨床ノートとして、ユーザの後のアクセスのために記憶され得る。

ステップ７６５において、デジタル病理画像処理システム２１０は、フィードバックを使用して、生成された分類に使用されたネットワーク、例えばアテンションネットワークまたは分類ネットワークのうちの１つまたは複数を再訓練する。デジタル病理画像処理システム２１０は、フィードバックを使用して、デジタル病理画像処理システム２１０に利用可能なデータセットを、フィードバックがその信頼性を高める人間の専門家によって提供されているというさらなる利点で補い得る。デジタル病理画像処理システム２１０は、その分類の精度を高めるとともに、デジタル病理画像処理システムが主要な関心領域（例えば、高いアテンションスコアを非常に記述的なタイルに帰属させる）を識別する速度を高めることを目的として、システムによって提供される分析の基礎となるネットワークを連続的に修正し得る。したがって、デジタル病理画像処理システム２１０は、静的なシステムではなく、継続的な改善を提供し、利益を得てもよい。

特定の実施形態は、適切な場合には、図７の方法の１つまたは複数のステップを繰り返し得る。本開示は、図７の方法の特定のステップを特定の順序で発生するものとして説明および図示しているが、本開示は、任意の適切な順序で発生する図７の方法の任意の適切なステップを想定している。さらに、本開示は、図７の方法の特定のステップを含むアテンションネットワークおよび分類ネットワークを使用したデジタル病理画像の画像分類のための例示的な方法を説明および図示しているが、本開示は、アテンションネットワークおよび分類ネットワークを使用したデジタル病理画像の画像分類のための任意の適切な方法を想定しており、任意の適切なステップは、適切な場合には、図７の方法のステップの全て、一部、またはいずれも含まなくてもよい。さらにまた、本開示は、図７の方法の特定のステップを実行する特定の構成要素、装置、またはシステムを説明および図示しているが、本開示は、図７の方法の任意の適切なステップを実行する任意の適切な構成要素、装置、またはシステムの任意の適切な組み合わせを想定している。

本明細書に記載の一般的な技術は、様々なツールおよび使用事例に統合され得る。例えば、上述したように、ユーザ（例えば、病理学または臨床医）は、デジタル病理画像処理システム２１０と通信するユーザ装置２３０にアクセスし、分析のためのデジタル病理画像を提供し得る。デジタル病理画像処理システム２１０、またはデジタル病理画像処理システムへの接続は、デジタル病理画像に自動的に注釈を付け、および／または分析中の画像を評価するヒートマップを生成するスタンドアロンのソフトウェアツールまたはパッケージとして提供され得る。合理化されたベースで購入またはライセンス付与され得るスタンドアロンツールまたはプラグインとして、ツールは、研究または臨床研究室の能力を増強するために使用され得る。さらに、ツールは、デジタル病理画像生成システムの顧客に利用可能にされたサービスに統合され得る。例えば、ツールは、統一されたワークフローとして提供され得て、作成されるデジタル病理画像を実行または要求するユーザは、注釈付き画像またはヒートマップ同等物を自動的に受け取る。したがって、デジタル病理画像分析を改善することに加えて、これらの技術が既存のシステムに統合されて、以前には考慮されていない、または可能ではない追加の特徴を提供し得る。

さらに、デジタル病理画像処理システム２１０は、特定の設定において使用するために訓練およびカスタマイズされ得る。例えば、デジタル病理画像処理システム２１０は、特定の種類の組織（例えば、肺、心臓、血液、肝臓など）に関する臨床診断を提供する際に使用するために特別に訓練され得る。別の例として、デジタル病理画像処理システム２１０は、例えば、薬物または他の潜在的な治療処置に関連する毒性のレベルまたは程度を決定する際に、安全性評価を支援するように訓練され得る。特定の主題または使用事例における使用のために訓練されると、デジタル病理画像処理システム２１０は、必ずしもその使用事例に限定されない。例えば、デジタル病理画像処理システムは、肝臓組織の毒性評価に使用するために訓練されてもよいが、得られたモデルは、診断設定に適用され得る。訓練は、少なくとも部分的にラベル付けまたは注釈付けされたデジタル病理画像の比較的大きなセットのために、特定の状況、例えば毒性評価において実行され得る。含まれる付録は、一般的な毒性事象を同定することを含む、毒性評価を実行するために本明細書に記載される技術を使用した結果に関し、毒性評価に関連する出力例を例示する。

図８は、例示的なコンピュータシステム８００を示している。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された機能を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム８００上で実行されるソフトウェアは、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実行するか、または本明細書に記載または図示された機能を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム８００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合には、コンピューティング装置を包含し得て、逆もまた同様である。さらに、コンピュータシステムへの言及は、適切な場合には、１つまたは複数のコンピュータシステムを包含し得る。

本開示は、任意の適切な数のコンピュータシステム８００を想定している。本開示は、任意の適切な物理的形態をとるコンピュータシステム８００を想定している。限定ではなく、例として、コンピュータシステム８００は、組み込みコンピュータシステム、システム・オン・チップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）またはシステム・オン・モジュール（ＳＯＭ））、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実装置、またはこれらのうちの複数の組み合わせであり得る。適切な場合には、コンピュータシステム８００は、１つまたは複数のコンピュータシステム８００を含んでもよく、単一であるかまたは分布し、複数の位置にまたがり、複数の機械にまたがり、複数のデータセンタにまたがり、１つまたは複数のネットワーク内の１つまたは複数のクラウドコンポーネントを含み得るクラウド内に存在する。適切な場合には、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実質的な空間的または時間的制限なしに実行し得る。限定ではなく、例として、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップをリアルタイムまたはバッチモードで実行し得る。１つまたは複数のコンピュータシステム８００は、適切な場合には、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを異なる時間または異なる位置で実行し得る。

特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２、メモリ８０４、記憶装置８０６、入力／出力（Ｉ／Ｏ）インターフェース８０８、通信インターフェース８１０、およびバス８１２を含む。本開示は、特定の構成内の特定の数の特定の構成要素を有する特定のコンピュータシステムを記載および図示しているが、本開示は、任意の適切な構成内の任意の適切な数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを想定している。

特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６から命令を取り出し得て（またはフェッチする）、復号して実行し得て、次いで、内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合には、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ８０２を想定している。限定ではなく、例として、プロセッサ８０２は、１つまたは複数の命令キャッシュ、１つまたは複数のデータキャッシュ、および１つまたは複数の変換ルックアサイドバッファ（ＴＬＢ）を含み得る。命令キャッシュ内の命令は、メモリ８０４または記憶装置８０６内の命令のコピーであり得て、命令キャッシュは、プロセッサ８０２によるそれらの命令の取り出しを高速化し得る。データキャッシュ内のデータは、プロセッサ８０２において実行して、プロセッサ８０２において実行される後続の命令によるアクセスのため、またはメモリ８０４もしくは記憶装置８０６への書き込みのためにプロセッサ８０２において実行される先行する命令の結果、または他の適切なデータに対して動作する命令のためのメモリ８０４または記憶装置８０６内のデータのコピーであり得る。データキャッシュは、プロセッサ８０２による読み出し動作または書き込み動作を高速化し得る。ＴＬＢは、プロセッサ８０２の仮想アドレス変換を高速化し得る。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合には、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ８０２を想定している。適切な場合には、プロセッサ８０２は、１つまたは複数の算術論理演算ユニット（ＡＬＵ）を含み得るか、マルチコアプロセッサであり得るか、または１つまたは複数のプロセッサ８０２を含み得る。本開示は、特定のプロセッサを記載および図示しているが、本開示は、任意の適切なプロセッサを想定している。

特定の実施形態では、メモリ８０４は、プロセッサ８０２が実行するための命令またはプロセッサ８０２が動作するためのデータを記憶するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム８００は、記憶装置８０６または別のソース（例えば、別のコンピュータシステム８００など）からメモリ８０４に命令をロードし得る。次いで、プロセッサ８０２は、メモリ８０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ８０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらを復号し得る。命令の実行中または実行後に、プロセッサ８０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。次いで、プロセッサ８０２は、それらの結果のうちの１つまたは複数をメモリ８０４に書き込み得る。特定の実施形態では、プロセッサ８０２は、（記憶装置８０６または他の位置とは対照的に）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ８０４内の命令のみを実行し、（記憶装置８０６または他の位置とは対照的に）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ８０４内のデータのみに対して動作する。（それぞれがアドレスバスおよびデータバスを含み得る）１つまたは複数のメモリバスは、プロセッサ８０２をメモリ８０４に結合し得る。バス８１２は、後述するように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ８０２とメモリ８０４との間に存在し、プロセッサ８０２によって要求されるメモリ８０４へのアクセスを容易にする。特定の実施形態では、メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて揮発性メモリであってもよい。適切な場合には、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、適切な場合には、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の適切なＲＡＭを想定している。メモリ８０４は、適切な場合には、１つまたは複数のメモリ８０４を含み得る。本開示は、特定のメモリを記載および図示しているが、本開示は、任意の適切なメモリを想定している。

特定の実施形態では、記憶装置８０６は、データまたは命令のための大容量記憶装置を含む。限定ではなく、例として、記憶装置８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはこれらのうちの複数の組み合わせを含み得る。記憶装置８０６は、適切な場合には、取り外し可能または取り外し不可能な（または固定された）媒体を含み得る。記憶装置８０６は、適切な場合には、コンピュータシステム８００の内部または外部にあってもよい。特定の実施形態では、記憶装置８０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、記憶装置８０６は、読み出し専用メモリ（ＲＯＭ）を含む。適切な場合には、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的変更可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、またはこれらのうちの２つもしくはそれ以上の組み合わせであってもよい。本開示は、任意の適切な物理的形態をとる大容量記憶装置８０６を想定している。記憶装置８０６は、適切な場合には、プロセッサ８０２と記憶装置８０６との間の通信を容易にする１つまたは複数の記憶制御ユニットを含み得る。適切な場合には、記憶装置８０６は、１つまたは複数の記憶装置８０６を含み得る。本開示は、特定の記憶装置を記載および図示しているが、本開示は、任意の適切な記憶装置を想定している。

特定の実施形態では、Ｉ／Ｏインターフェース８０８は、コンピュータシステム８００と１つまたは複数のＩ／Ｏ装置との間の通信のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。コンピュータシステム８００は、適切な場合には、これらのＩ／Ｏ装置のうちの１つまたは複数を含み得る。これらのＩ／Ｏ装置のうちの１つまたは複数は、人とコンピュータシステム８００との間の通信を可能にし得る。限定ではなく、例として、Ｉ／Ｏ装置は、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なＩ／Ｏ装置、またはこれらのうちの２つもしくはそれ以上の組み合わせを含み得る。Ｉ／Ｏ装置は、１つまたは複数のセンサを含み得る。本開示は、任意の適切なＩ／Ｏ装置およびそれらのための任意の適切なＩ／Ｏインターフェース８０８を想定している。適切な場合には、Ｉ／Ｏインターフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏ装置のうちの１つまたは複数を駆動することを可能にする１つまたは複数の装置ドライバを含み得る。Ｉ／Ｏインターフェース８０８は、適切な場合には、１つまたは複数のＩ／Ｏインターフェース８０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを記載および図示しているが、本開示は、任意の適切なＩ／Ｏインターフェースを想定している。

特定の実施形態では、通信インターフェース８１０は、コンピュータシステム８００と、１つまたは複数の他のコンピュータシステム８００または１つまたは複数のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、通信インターフェース８１０は、イーサネット（登録商標）もしくは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、またはＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含み得る。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース８１０を想定している。限定ではなく、例として、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、またはこれらのうちの複数の組み合わせと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、有線または無線であり得る。例として、コンピュータシステム８００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（例えば、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）ネットワーク）、またはその他の適切な無線ネットワーク、またはこれらのうちの複数の組み合わせと通信し得る。コンピュータシステム８００は、適切な場合には、これらのネットワークのいずれかのための任意の適切な通信インターフェース８１０を含み得る。通信インターフェース８１０は、適切な場合には、１つまたは複数の通信インターフェース８１０を含み得る。本開示は、特定の通信インターフェースを記載および図示しているが、本開示は、任意の適切な通信インターフェースを想定している。

特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに結合するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、バス８１２は、アクセラレーテッドグラフィクスポート（ＡＧＰ）もしくは他のグラフィックスバス、エンハンストインダストリスタンダードアーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）インターコネクト、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、インフィニバンドインターコネクト、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の適切なバス、またはこれらのうちの２つもしくはそれ以上の組み合わせを含み得る。バス８１２は、適切な場合には、１つまたは複数のバス８１２を含み得る。本開示は、特定のバスを記載および図示しているが、本開示は、任意の適切なバスまたは相互接続を想定している。

本明細書では、コンピュータ可読非一時的記憶媒体は、１つまたは複数の半導体ベースもしくは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、任意の他の適切なコンピュータ可読非一時的記憶媒体、または適切な場合にはこれらのうちの２つまたはそれ以上の任意の適切な組み合わせを含み得る。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性と不揮発性との組み合わせであってもよい。

本明細書では、「または」は包括的であり、排他的ではないが、他に明示的に示されているか、またはコンテキストによって他に示されている場合は除く。したがって、本明細書では、「ＡまたはＢ」は、他に明示的に示されない限り、またはコンテキストによって他に示されない限り、「Ａ、Ｂ、またはその双方」を意味する。さらに、「および」は、明示的に別段の指示がない限り、またはコンテキストによって別段の指示がない限り、結合およびいくつかの双方である。したがって、本明細書では、「ＡおよびＢ」は、他に明示的に示されない限り、またはコンテキストによって他に示されない限り、「ＡおよびＢ、一緒にまたは別々に」を意味する。

本開示の範囲は、当業者が理解するであろう、本明細書に記載または図示された例示的な実施形態に対する全ての変形、置換、バリエーション、代替、および変更を包含する。本開示の範囲は、本明細書に記載または図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして本明細書のそれぞれの実施形態を記載および図示しているが、これらの実施形態のいずれも、当業者が理解するであろう本明細書のどこかに記載または図示されている構成要素、要素、特徴、機能、動作、またはステップのいずれかの任意の組み合わせまたは順列を含んでもよい。さらにまた、特定の機能を実行するように適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、または動作する装置またはシステムまたはシステムの構成要素に対する添付の特許請求の範囲における言及は、その装置、システムまたは構成要素がそのように適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、または動作する限り、それまたはその特定の機能が起動され、オンにされ、またはロック解除されているか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を記載または図示しているが、特定の実施形態は、これらの利点の全てを提供しなくてもよく、いくつか、または全てを提供してもよい。

Claims (20)

1. コンピュータ実装方法であって、
   ホールスライド画像を受信することと、
   前記ホールスライド画像を複数のタイルにセグメント化することと、
   前記タイルのそれぞれについての特徴ベクトルを生成することであって、前記タイルのそれぞれについての前記特徴ベクトルが、前記タイルについての埋め込みを表す、特徴ベクトルを生成することと、
   アテンションネットワークを使用して前記特徴ベクトルのそれぞれに対応する重み値を計算することと、
   前記特徴ベクトルに基づいて画像埋め込みを計算することであって、前記特徴ベクトルのそれぞれが、前記特徴ベクトルに対応する前記重み値に基づいて重み付けされる、画像埋め込みを計算することと、
   前記画像埋め込みに基づいて前記ホールスライド画像の分類を生成することと、を含む、方法。
2. 前記ホールスライド画像に対応するヒートマップを生成することであって、前記ヒートマップが、複数の強度値にそれぞれ関連付けられた複数の領域を含み、前記複数の領域のうちの１つまたは複数の領域が、前記ホールスライド画像における症状の表示に関連付けられ、前記１つまたは複数の領域に関連付けられたそれぞれの前記強度値が、前記表示の統計的信頼度に相関する、ヒートマップを生成することをさらに含む、請求項１に記載の方法。
3. 前記ホールスライド画像の前記分類が、前記ホールスライド画像に示される組織における１つまたは複数の生物学的異常の存在を示し、前記１つまたは複数の生物学的異常が、肥大、クッパー細胞異常、壊死、炎症、グリコーゲン異常、脂質異常、腹膜炎、異核症、細胞浸潤、核腫大、微小肉芽腫、過形成または空胞化を含む、請求項１に記載の方法。
4. 前記ホールスライド画像の前記分類が、前記ホールスライド画像に描写された組織に関連付けられた毒性事象の評価を含む、請求項１に記載の方法。
5. 複数のアテンションネットワークの各アテンションネットワークに基づいて前記ホールスライド画像のそれぞれの分類を生成することをさらに含む、請求項１に記載の方法。
6. 所定の基準を満たす１つまたは複数の重み値を識別し、
   識別された前記重み値に対応する１つまたは複数の特徴ベクトルを識別し、
   識別された前記特徴ベクトルに対応する１つまたは複数のタイルを識別することによって、前記重み値に基づいて前記ホールスライド画像に対する注釈を生成することをさらに含む、請求項１に記載の方法。
7. 前記ホールスライド画像に関連して表示するために前記ホールスライド画像に対する前記注釈を提供することをさらに含み、前記注釈を提供することが、前記１つまたは複数の識別されたタイルをマークすることを含む、請求項６に記載の方法。
8. 前記ホールスライド画像の前記分類を検証のために病理医に提供することをさらに含む、請求項１に記載の方法。
9. 少なくとも前記重み値に基づいて、前記ホールスライド画像の前記分類に関連付けられた信頼スコアを計算することと、
   前記ホールスライド画像の前記分類に関連して表示するための前記信頼スコアを提供することと、をさらに含む、請求項１に記載の方法。
10. 前記特徴ベクトル、重み値、およびスライド埋め込み特徴値に基づいて、前記ホールスライド画像の前記分類に関連付けられた１つまたは複数の派生特性を識別することをさらに含む、請求項１に記載の方法。
11. 複数のホールスライド画像についてそれぞれ複数の分類を生成することと、
    前記複数の分類を使用して、１つまたは複数の症状にそれぞれ関連付けられた重み値を予測するように１つまたは複数のアテンションネットワークを訓練することと、をさらに含む、請求項１に記載の方法。
12. 前記分類は、前記ホールスライド画像が前記ホールスライド画像に示された組織に関連付けられた１つまたは複数の異常を示すことを示している、請求項１に記載の方法。
13. 前記ホールスライド画像がユーザ装置から受信され、前記方法が、表示のために前記ホールスライド画像の前記分類を前記ユーザ装置に提供することを含む、請求項１に記載の方法。
14. 前記ホールスライド画像が、前記方法を実行するデジタル病理画像処理システムと通信可能に結合されたデジタル病理画像生成システムから受信される、請求項１に記載の方法。
15. デジタル病理画像処理システムであって、
    １つまたは複数のプロセッサと、
    前記プロセッサのうちの１つまたは複数に結合され、且つ前記プロセッサのうちの１つまたは複数によって実行されると、前記システムに動作を実行させるように動作可能な命令を含む、１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記動作が、
    ホールスライド画像を受信することと、
    前記ホールスライド画像を複数のタイルにセグメント化することと、
    前記タイルのそれぞれについての特徴ベクトルを生成することであって、前記タイルのそれぞれについての前記特徴ベクトルが、前記タイルについての埋め込みを表す、特徴ベクトルを生成することと、
    アテンションネットワークを使用して前記特徴ベクトルのそれぞれに対応する重み値を計算することと、
    前記特徴ベクトルに基づいて画像埋め込みを計算することであって、前記特徴ベクトルのそれぞれが、前記特徴ベクトルに対応する前記重み値に基づいて重み付けされる、画像埋め込みを計算することと、
    前記画像埋め込みに基づいて前記ホールスライド画像の分類を生成することと、を含む、１つまたは複数のコンピュータ可読非一時的記憶媒体と、を備える、デジタル病理画像処理システム。
16. 前記命令が、前記プロセッサのうちの１つまたは複数によって実行されると、前記システムに動作を実行させるようにさらに動作可能であり、前記動作が、さらに、
    前記ホールスライド画像に対応するヒートマップを生成することであって、前記ヒートマップが、複数の強度値にそれぞれ関連付けられた複数の領域を含み、前記複数の領域のうちの１つまたは複数の領域が、前記ホールスライド画像における症状の表示に関連付けられ、前記１つまたは複数の領域に関連付けられたそれぞれの前記強度値が、前記表示の統計的信頼度に相関する、ヒートマップを生成することを含む、請求項１５に記載のデジタル病理画像処理システム。
17. 前記ホールスライド画像の前記分類が、前記ホールスライド画像に示される組織における１つまたは複数の生物学的異常の存在を示し、前記１つまたは複数の生物学的異常が、肥大、クッパー細胞異常、壊死、炎症、グリコーゲン異常、脂質異常、腹膜炎、異核症、細胞浸潤、核腫大、微小肉芽腫、過形成または空胞化を含む、請求項１５に記載のデジタル病理画像処理システム。
18. 命令を含む１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記命令が、１つまたは複数のプロセッサによって実行されると、デジタル病理画像処理システムの前記１つまたは複数のプロセッサに、
    ホールスライド画像を受信することと、
    前記ホールスライド画像を複数のタイルにセグメント化することと、
    前記タイルのそれぞれについての特徴ベクトルを生成することであって、前記タイルのそれぞれについての前記特徴ベクトルが、前記タイルについての埋め込みを表す、特徴ベクトルを生成することと、
    アテンションネットワークを使用して前記特徴ベクトルのそれぞれに対応する重み値を計算することと、
    前記特徴ベクトルに基づいて画像埋め込みを計算することであって、前記特徴ベクトルのそれぞれが、前記特徴ベクトルに対応する前記重み値に基づいて重み付けされる、画像埋め込みを計算することと、
    前記画像埋め込みに基づいて前記ホールスライド画像の分類を生成することと、を含む動作を実行させるように構成される、１つまたは複数のコンピュータ可読非一時的記憶媒体。
19. 前記命令が、前記デジタル病理画像処理システムの前記１つまたは複数のプロセッサに、動作を実行させるようにさらに構成され、前記動作が、さらに、
    前記ホールスライド画像に対応するヒートマップを生成することであって、前記ヒートマップが、複数の強度値にそれぞれ関連付けられた複数の領域を含み、前記複数の領域のうちの１つまたは複数の領域が、前記ホールスライド画像における症状の表示に関連付けられ、前記１つまたは複数の領域に関連付けられたそれぞれの前記強度値が、前記表示の統計的信頼度に相関する、ヒートマップを生成することを含む、請求項１８に記載の１つまたは複数のコンピュータ可読非一時的記憶媒体。
20. 前記ホールスライド画像の前記分類が、前記ホールスライド画像に示される組織における１つまたは複数の生物学的異常の存在を示し、前記１つまたは複数の生物学的異常が、肥大、クッパー細胞異常、壊死、炎症、グリコーゲン異常、脂質異常、腹膜炎、異核症、細胞浸潤、核腫大、微小肉芽腫、過形成または空胞化を含む、請求項１８に記載の１つまたは複数のコンピュータ可読非一時的記憶媒体。
    

Images