JP2024507687A - デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法 - Google Patents
デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2024507687A JP2024507687A JP2023545786A JP2023545786A JP2024507687A JP 2024507687 A JP2024507687 A JP 2024507687A JP 2023545786 A JP2023545786 A JP 2023545786A JP 2023545786 A JP2023545786 A JP 2023545786A JP 2024507687 A JP2024507687 A JP 2024507687A
- Authority
- JP
- Japan
- Prior art keywords
- patch
- biomarker
- status
- biomarker status
- negative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000090 biomarker Substances 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000007170 pathology Effects 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title abstract description 24
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims abstract description 16
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims abstract description 8
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 claims description 41
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 claims description 41
- 206010028980 Neoplasm Diseases 0.000 claims description 37
- 201000011510 cancer Diseases 0.000 claims description 34
- 108010038795 estrogen receptors Proteins 0.000 claims description 7
- 108090000468 progesterone receptors Proteins 0.000 claims description 7
- 238000011065 in-situ storage Methods 0.000 claims 25
- 230000004044 response Effects 0.000 claims 9
- 102000015694 estrogen receptors Human genes 0.000 claims 6
- 102000003998 progesterone receptors Human genes 0.000 claims 6
- 239000003550 marker Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract 1
- 230000002055 immunohistochemical effect Effects 0.000 description 14
- 238000010186 staining Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 206010006187 Breast cancer Diseases 0.000 description 6
- 208000026310 Breast neoplasm Diseases 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 5
- 238000011532 immunohistochemical staining Methods 0.000 description 5
- 210000000481 breast Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100038595 Estrogen receptor Human genes 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 102100025803 Progesterone receptor Human genes 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 238000010626 work up procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
デジタル化された病理サンプルにおけるバイオマーカー検出のための1つの例示の方法は、ヘマトキシリン・エオジン染色(「H&E」)染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信することと、各画像パッチについて、第1の訓練された機械学習(「ML」)モデルを使用して、パッチバイオマーカーステータスを決定することと、第2の訓練されたMLモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む。【選択図】図1
Description
本出願は、概して、組織サンプル内のバイオマーカー検出に関し、より具体的には、デジタル化された病理サンプル内のバイオマーカー検出のためのシステムおよび方法に関する。
がんの存在を決定するための組織サンプルの解釈には、がんを示す可能性がある特徴の特定を含む相当な訓練および経験を必要とする。典型的に、病理学者は、組織の切片を含有するスライドを受け取り、スライド上の特徴を特定するために組織を検討し、そしてこれらの特徴ががん、例えば、腫瘍の存在を示す可能性が高いかどうかを決定する。加えて、病理学者は、がん性腫瘍を診断するために使用される可能性がある、1つ以上のタイプのがんのリスクを予測する可能性がある、または腫瘍に対して効果的である場合がある治療のタイプを示す可能性がある特徴、例えば、バイオマーカーも特定する場合がある。
デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法に対する様々な実施例が記述される。デジタル化された病理サンプルにおけるバイオマーカー検出のための1つの例示の方法は、ヘマトキシリン・エオジン染色(「H&E」)染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信することと、各画像パッチについて、第1の訓練された機械学習(「ML」)モデルを使用して、パッチバイオマーカーステータスを決定することと、第2の訓練されたMLモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む。
1つの例示のシステムは、非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に通信可能に連結された1つ以上のプロセッサと、を含み、1つ以上のプロセッサは、1つ以上のプロセッサに、ヘマトキシリン・エオジン染色(「H&E」)染色乳房組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信させ、各画像パッチについて、第1の訓練された機械学習(「ML」)モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ第2の訓練されたMLモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、乳房組織のサンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成された、非一時的コンピュータ可読媒体内に記憶されたプロセッサ実行可能命令を実行するように構成される。
1つの例示の非一時的コンピュータ可読媒体は、プロセッサに、ヘマトキシリン・エオジン染色(「H&E」)染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信させ、各画像パッチについて、第1の訓練された機械学習(「ML」)モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ第2の訓練されたMLモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成されたプロセッサ実行可能命令を含む。
これらの例示的な実施例は、本開示の範囲を限定または定義するためではなく、むしろその理解を補助するための実施例を提供するために述べられる。例示的な実施例は、「発明を実施するための形態」において考察され、これはさらなる記述を提供する。様々な実施例によって提供される利点は、本明細書を検討することによって、更に理解される場合がある。
本明細書の中へと組み込まれ、またその一部を構成する添付図面は、1つ以上のある特定の実施例を例示し、そして実施例の記述とともに、特定の実施例の原理および実施を説明する役割を果たす。
実施例は、デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法の文脈で本明細書に記述される。当業者であれば、以下の説明は例示に過ぎず、いかなる方法でも限定することを意図するものではないことを理解するであろう。ここで、添付図面に図示する実施例の実施について詳細に説明する。同じまたは同様のアイテムを参照するために、同じ参照標識が、図面および以下の記述全体を通して使用される。
明瞭の目的で、本明細書に記述される実施例の日常的な特徴のすべてが示され、かつ記述されるわけではない。任意のこうした実際の実装の開発において、アプリケーション関連の制約およびビジネス関連の制約とのコンプライアンスなどの、開発者の具体的な目標を達成するために、当然、数多くの実装に特有な決定を行う必要があり、これらの具体的な目標は、実装毎に、また開発者毎に異なることが理解されるであろう。
病理サンプル内のバイオマーカーの検出は困難である可能性があり、そしてサンプルをレビューする病理学者による解釈に供される可能性がある。例えば、検出プロセスには、サンプルの免疫組織化学(IHC)染色が伴う可能性があり、病理学者はその後、顕微鏡下サンプルを直接的に、またはサンプルの捕捉された画像を介して、サンプルの拡大画像を見る。IHC染色サンプルから、病理学者は、特定のバイオマーカーの存在(または不在)を示すサンプルの特徴を特定することができる。しかしながら、IHC染色は、他のタイプの染色、例えばヘマトキシリン・エオジン(「H&E」)染色より実質的に高価である可能性がある。さらに、IHC染色は、すべての場所で容易には利用できない場合がある。これに対処するために、本開示は、ある特定のバイオマーカーを特定するためには、典型的に使用されない場合があるH&E染色などの他の種類の染色を使用して、ある特定のバイオマーカーを検出することを可能にするシステムおよび方法を提供する。より一般的に、本開示は、特定のバイオマーカーを検出するために好ましい染色ではなく、特定の場所で容易に使用可能である、またはコスト効果の高い染色を使用して、バイオマーカーを認識するためにMLモデルを訓練および使用するやり方を提供する。
バイオマーカー、例えば、ヒト乳房から取られた染色組織サンプル中のバイオマーカーを検出するための例示のシステムは、訓練された機械学習(「ML」)モデルを使用して、染色サンプルのデジタル化された画像を分析することを伴う。サンプルをデジタル化するために、組織の薄い切片を染色し、かつスライド上に位置付けられてもよく、ここでサンプルは、典型的に光学的な拡大を使用して撮像される。次いで、染色組織の画像は、いくつかの画像パッチへとセグメント化される。これらの画像パッチの各々は、1つのMLモデルへと入力され、これは画像パッチを分析して、特定のバイオマーカーが存在するかどうかを決定する。例えば、MLモデルは、画像パッチにおけるエストロゲン受容体(「ER」)陽性または陰性の可能性を決定する場合がある。同様に、別のMLモデルを使用して、画像パッチにおける他のバイオマーカー、例えば、プロゲステロン受容体(「PR」)陽性もしくは陰性、またはヒト上皮成長因子受容体2(「HER2」)陽性もしくは陰性の存在を決定してもよい。
モデルを訓練するために、病理学者は、IHC染色組織サンプルの画像と、H&E染色で染色同じ組織サンプルとを提示してもよい。病理学者は、次いで、H&E染色組織の画像上に、IHC染色組織上に位置する1つ以上の対象のバイオマーカーに対応する任意の場所を示すことができる。それ故に、H&E染色サンプル内の領域は、1つ以上のバイオマーカーに対応するものとして特定することができる。次いで、H&E染色サンプルをパッチへとセグメント化し、そしてパッチが特定された領域のうちの1つに収まるかどうかに基づいて、各パッチに標識を割り当てることができる。次いで、標識されたパッチを好適なMLモデルへとフィードして、モデルを訓練してもよい。この例示のシステムでは、3つの異なるMLモデルが訓練されている。1つはER陽性/陰性を検出するように訓練され、1つはPR陽性/陰性を検出するように訓練され、そして1つはHER2陽性/陰性を検出するように訓練される。それ故に、画像パッチの各々は、3つのモデルの各々に対して提示されてもよく、これはその後、対応するバイオマーカーが存在する可能性が高いかどうかを示す情報を出力する。例えば、ER陽性/陰性を検出するように訓練されたモデルは、3つの値を出力してもよい。すなわちパッチがER陽性を示す確率、パッチがER陰性を示す確率、およびパッチがER陽性もER陰性も示さない確率である。その他のモデルは、そのそれぞれのバイオマーカーに対して同じ種類の情報を出力する。
様々なパッチが分析されると、MLモデルのうちの1つからの情報は、組織サンプルを全体として分析するためにさらなるMLモデルへとフィードされてもよい。ER陽性/陰性に関して第1のMLモデルによって分析された様々なパッチについての情報に基づいて、第2のMLモデルは次いで、組織サンプルがER陽性であるか、またはER陰性であるかを決定することができる。同様に、他の2つのMLモデル、すなわち、上記で考察したPRモデルおよびHER2モデルからの出力を、後続のMLモデルへとフィードして、組織サンプルがPR陽性/陰性であるか、またはHER2陽性/陰性であるかを決定することができる。これらの3つのMLモデルの出力を使用して、病理学者または他の医療従事者は、対応する患者に対して使用されてもよい潜在的な治療を決定することができる。
これらの第2段階モデルの訓練は、上記で考察したのと類似のやり方で達成されてもよい。病理学者は、バイオマーカー陽性または陰性の領域を特定することに加えて、組織サンプルが全体としてバイオマーカー陽性または陰性であるかも特定することができる。次いで、様々なパッチから決定された情報を標識し、そしてMLモデルへと提供することができる。複数の異なる組織サンプルでこのプロセスを繰り返すことによって、MLモデルを、画像パッチのバイオマーカー分析に基づいて、スライドがバイオマーカー陽性または陰性を示すかどうかを認識するように訓練することができる。
こうした技法は、がん性組織内のバイオマーカーを特定するために、より安価でより容易に入手可能な染色の使用を可能にする場合がある。上記の実施例はIHCおよびH&Eを染色の例として使用したが、関与する組織のタイプ、特定するべきバイオマーカーのタイプ、および使用可能である可能性が高い染色のタイプに応じて、他の染色を使用してもよい。本開示による実施例はまた、病理学者間の変動性がほとんどない、がん性組織におけるバイオマーカーの特定、およびバイオマーカーを特定するためにはそうでなければ使用されない染色技法の使用も可能にする場合がある。病理学者は、最終的にシステムの出力をレビューしてその決定を確認してもよく、または病理学者は、自身の分析に対するチェックとして出力をレビューしてもよいが、システムが医療従事者の信頼を得たら、ある特定のバイオマーカーの存在(または不在)を決定し、それに応じて患者を治療するために、それを使用してもよい。
この例示的な実施例は、本明細書で考察される一般的な主題を読者に紹介するために与えられ、また本開示は、この実施例に限定されない。以下のセクションでは、様々な追加的な非限定的実施例、およびデジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法の実施例を記述する。
ここで図1を参照すると、図1は、染色組織サンプルを含むスライドの画像の例を示す。臨床環境において、病理学者は、染色組織サンプルを有するスライドをレビューして、特定のバイオマーカーがサンプル中に存在するか否かを決定してもよい。例えば、乳がんの診断精密検査および治療は、臨床バイオマーカーに依存し、ER、PR、およびHER2に最も顕著に依存する。現在の臨床診療では、バイオマーカーステータスは、典型的に、上記で考察したように、染色組織の組織学的検査によって決定される。IHC染色スライドの顕微鏡検査に際して、専門家は多くの場合各サンプルのバイオマーカーステータスを決定することができる。しかしながら、IHC染色は高価である可能性があり、また必ずしも容易に入手可能ではない可能性がある。それ故に、H&E染色などの他の種類の染色を使用してこうした分析を実施することが望ましいことになる。図1に示すスライドの例示の画像は、H&E染色されており、そして本開示によるシステムおよび方法によって使用するためにさらに処理される。
H&E染色は(それだけでなく他のタイプの染色も)、乳がん組織のバイオマーカーを検出するために使用されないため、本開示によるシステムおよび方法は、染色組織サンプルの画像を受け入れ、そして特定のバイオマーカーが存在するかどうかを対象の染色物を使用して決定するために開発された。一部の事例では、染色はIHCではない任意の種類のものとしてもよいが、一部の実施例では、システムはIHC染色組織を分析するために訓練されてもよい。図2および図3に図示したものなどの例示のシステムは、MLを採用して、こうした組織サンプル内のバイオマーカーの存在を認識する。
プロセスを開始するために、染色組織サンプルの画像は、好適な詳細のレベルまたは解像度で、任意の好適な撮像装置を使用して捕捉されてもよい。図1の例示の画像100は、ピクセル当たりおおよそ2ミクロンの解像度で捕捉された。しかし、当然のことながら、任意の好適なサイズまたは解像度が採用されてもよい。
組織サンプルの画像100が得られると、システムは画像100をいくつかの画像パッチ120、例えば、画像パッチ120nへとセグメント化する。この実施例では、画像100は、おおよそ1平方ミリメートルのパッチを表す512×512ピクセルのパッチ(実寸に比例していない)へとセグメント化されているが、任意の好適なサイズまたはパッチの数を使用してもよい。
ここで図2を参照すると、図2は、デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法のための例示のシステム200を示す。図2に示すシステム200は、2つの段階210、220を含む。段階1(210)は、図1に関して上記で考察したものなどの画像パッチを、入力として受け入れ、そして画像パッチに対するバイオマーカーステータスを出力する、訓練されたMLモデル212を含む。
この実施例におけるMLモデルは、画像パッチおよびバイオマーカーの存在または不在を示す対応する訓練ラベルを使用して訓練されている。訓練画像パッチを得るために、従来のIHC染色乳がん組織サンプルを用いたスライドの画像を得た。同じ組織サンプルのIHC染色を洗い落し、望ましい染色、例えば、H&E染色液で再染色し、そして撮像した。次いで、病理学者は、IHC染色サンプルおよびH&E染色サンプルの両方の画像を提示され、そしてIHC染色サンプルのレビューに基づいて、バイオマーカー陽性または陰性を示すH&E染色サンプル内の領域を特定した。次いで、H&E染色組織の画像を画像パッチへとセグメント化し、そしてその後、特定された領域内であるか、または領域の外側かに基づいて画像パッチを標識した。例示のシステム200における第1のMLモデルは、200事例にわたる576枚のスライドからの12億1千万パッチを使用して訓練され、そして64事例にわたる181枚のスライドからのすべてのパッチのテストセットで評価され、一方で、第2のMLモデルは、264事例からの2134枚のスライドを使用して訓練され、そして1249事例からの合計3274枚のスライドを含有するテストセットで評価された。しかしながら、任意の好適な訓練セットを採用してもよい。
異なる実施例に従って、任意の好適なMLモデルが使用されてもよい。図2に示す例示のシステム200は、2つの深い畳み込みニューラルネットワーク(「CNN」)であるが、しかしながら、MOUNTAIN VIEW、CALIFORNIAからのGOOGLE LLCによって提供される残差ニューラルネットワーク(「Resnet」)若しくはNASNET、または回帰型ニューラルネットワーク、例えば、長・短期記憶(「LSTM」)モデル若しくはゲート付き回帰型ユニット(「GRU」)モデル、などの他のMLモデルも使用する。MLモデル212、222はまた、三次元CNN(「3DCNN」)、動的時間反り(「DTW」)技法、隠れマルコフモデル(「HMM」)など、またはこうした技術のうちの1つ以上の組み合わせ、例えば、CNN-HMMまたはMCNN(マルチスケール畳み込みニューラルネットワーク)などの任意の他の好適なMLモデルとすることもできる。さらに、一部の実施例は、敵対的生成ネットワーク(「GAN」)などの敵対的ネットワークを採用してもよく、またはAEGANまたは変分AEGAN(「VAEGAN」)などのMLモデルと併せたオートエンコーダ(「AE」)を採用してもよい。さらに、2つの段階210、220は、同じまたは異なるタイプのMLモデルを採用してもよい。
上記で考察したように、MLモデル212は、画像パッチ202を入力として受け入れ、また各画像パッチ202に対して対応するバイオマーカーステータスを出力する。この実施例におけるバイオマーカーステータスは、3つの別個の値を有するタプルを含む。すなわちバイオマーカー陽性を示す確率、バイオマーカー陰性を示す確率、およびパッチが非侵襲性がんを示す確率(図中では「その他」と特定される)である。これらの確率は、いかなる丸み付け、または浮動小数点の不正確性があるにもかかわらず、合計で100%または1(0~1のスケールの場合)である。それ故に、MLモデルは、画像からセグメント化されたパッチの各々に対してタプルを出力する。これらのタプルは、各々が別個の値のうちの1つを表す、3つの異なる、すなわちバイオマーカー陽性、バイオマーカー陰性、および「その他」に対して各々1つの「ヒートマップ」の構成要素として視覚化されてもよい。こうしたヒートマップ205の実施例を図2に示し、そして画像パッチ204a~nのすべてについて3つのタプル値のうちの1つに対応する値を表す。ここでヒートマップ205は、バイオマーカーの陰性を示し、バイオマーカー陰性の低い確率は青色(またはグレースケールでは、黒色)領域によって表され、バイオマーカー陰性の高い確率は赤色(またはグレースケールでは、灰色)によって表される。その他の2つのヒートマップは図示されていないが、それらの値の視覚化を同様のやり方で提供する。
段階2(220)は、段階1(210)の出力を受け入れ、そしてバイオマーカー陽性および陰性の画像レベル(または「スライドレベル」)の確率を決定する。本実施例では段階2におけるMLモデル222の訓練は、病理学者によって検討され、かつ標識されたIHC染色スライドに基づいて実施され、その後に、上記で一般的に考察したように、組織からの染色の洗浄と、望ましい染色、例えば、H&E染色を使用した再染色とが続く。次いで、段階1の結果(210)を、対応する標識とともにMLモデル222へと提示することができる。好適な数の訓練スライドがMLモデル222に適用されるか、または出力の精度が所定の閾値を満たすと、MLモデル222は、段階2(220)の一部として使用されてもよい。当然のことながら、MLモデルを訓練することは、任意の好適な染色技法を使用して実施されてもよい。この実施例におけるIHCおよびH&E染色の使用は、例示である。
この例示のシステム200では、段階2(220)におけるMLモデル222は、段階1(210)からのヒートマップ205を使用せず、むしろ、パッチバイオマーカーステータス204が、段階2(220)のMLモデル222への入力として提供されるヒストグラムへとバケット化される。
ここで図3を参照すると、図3は、パッチバイオマーカーステータスからヒストグラムのセットを生成するための例示のデータフローを示す。上記で考察したように、段階1(210)は、パッチごとのバイオマーカーステータスのヒートマップを出力し、各パッチは、値の三重項(バイオマーカー陽性、バイオマーカー陰性、その他)によって表される。ヒートマップ312、314を生成するために、陽性であるかまたは陰性であるかにかかわらず、各パッチについてのバイオマーカーステータスが閾値tと比較される。パッチバイオマーカーステータスがtを満たすか、またはそれを超える場合、1の値が割り当てられか、そうでなければ0の値が割り当てられる。バイオマーカー陽性およびバイオマーカー陰性ヒストグラムに対するバケットは、例えば、5%、10%、または任意の好適な幅を有する、等しいサイズ設定された確率範囲を使用して作り出される。次いで、各パッチは、バイオマーカー陽性または陰性のそれぞれの確率に基づいて、各ヒストグラムのバケットに割り当てられる。
それぞれのバケットに対する各パッチの寄与は、上記で考察したように、そのパッチの確率がtを満たすか、またはそれを超えるかどうかに基づく。この実施例では、t=0.42である。それ故に、パッチ1がパッチバイオマーカーステータス(0.57、0.22、0.21)を有する場合、tに基づいて(1、0、0)の値が割り当てられる。次いで、そのバイナリ値が、パッチバイオマーカーステータス確率に対応するヒストグラムバケットに追加される。この実施例では、ヒストグラムは10%幅のバケットを採用する。それ故に、パッチ1は、バイオマーカー陽性ヒストグラム312のバケット0.5~0.59に1を、そしてバイオマーカー陰性バケットのバケット0.2~0.29に0を寄与する。各パッチは同様にバケット化され、そして2つのヒストグラム312、314に寄与する。この実施例では、閾値tを使用することの副次的効果は、0~0.09、0.1~0.19、0.2~0.29、および0.3~0.39の範囲のヒストグラムがすべてゼロになることである。
当然のことながら、上記で考察したデータフローは一例に過ぎない。任意の好適なアプローチを使用して、段階2(220)のMLモデルのために好適なヒストグラムを生成してもよい。例えば、この実施例では閾値tが使用されたが、一部の実施例ではこうした閾値を採用しなくてもよい。さらに、陽性および陰性の両方のバイオマーカーに対して同じ閾値を使用したが、当然のことながら一部の例では異なる閾値が使用されてもよい。同様に、バケット幅は、任意の好適なサイズであってもよく、また一部の実施例では、等しい幅でなくてもよい。
図2を再度参照すると、この実施例では、パッチバイオマーカーステータス204a~nは、ヒストグラムを生成するようにバケット化され、これは、パッチバイオマーカーステータスのよりコンパクトな表現を提供する場合がある。しかし、当然のことながら、パッチバイオマーカーステータスの任意の好適な表現が採用されてもよい。例えば、一部の実施例では、全解像度ヒートマップを段階2(220)のMLモデル222へと提供してもよい。別の方法として、MLモデル出力をパラメータ化するための他のアプローチが、いくつかの実施例に従って使用されてもよい。
図3のヒストグラム312、314によって表されるように、パッチバイオマーカーステータス204a~nがMLモデル222へと入力された後、MLモデル222は、バイオマーカー陽性およびバイオマーカー陰性の確率206a~bを生成する。次いで、これらの2つの確率を使用して、組織サンプルが、バイオマーカー陽性であるか、バイオマーカー陰性であるか、またはその他であるかを決定してもよい。例えば、システム200は、2つの確率206a~bを比較し、そして組織サンプルに対するバイオマーカーステータスを示すとして、より高い確率を選択してもよい。一部の実施例では、システム200は、2つの確率を閾値と比較してもよく、また、確率206a~bのうちの1つが閾値を満たすか、または閾値を超える場合、システム200は、どのバイオマーカーが閾値を満たすかに応じて、組織サンプルをバイオマーカー陽性または陰性として特定してもよい。別の方法として、いずれのバイオマーカー確率も閾値を満たさない場合、システム200は、いずれのバイオマーカーも検出されないことを出力してもよい。
ここで図4を参照すると、図4は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステム400を示す。例示のシステム400は、データ記憶部412へのアクセスを有し、かつネットワーク430を介してサーバー420およびそのデータ記憶部422へと接続される、計算装置410を含む。この実施例では、計算装置410は、データ記憶部412からデジタル化された病理サンプルにアクセスし、そして図2に関して上述したシステム200、または図5に関して後述するシステム500を使用するなど、それらを分析のためにサーバー420へと提供する。分析が完了した後、サーバー420は、計算装置410へと結果を返し、または、例えば、医療従事者によって、後で読み出すためにそれらをデータ記憶部422内に記憶する。
この実施例では、サーバー420は、例えば、病院または研究所などの医療提供者によって維持され、一方で、計算装置410は、例えば、病理学者のオフィスなどの医療オフィスに常駐する。それ故に、こうしたシステム400は、遠隔の場所における医療提供者が、利用可能で、かつコスト効率の高い染色を用いて組織サンプルを得ること、および染色することを可能にする場合があり、またそれらのサンプルを、サンプルの分析を提供することができる遠隔のサーバー420へと提供してもよい。しかし、当然のことながら、本開示による例示のシステムは、遠隔の計算装置と通信することなく、それ自体が分析を実施してもよい計算装置410のみを含んでもよい。
この例示のシステム400によるシステムを実装するために、任意の好適な計算装置が、計算装置410またはサーバー420のために採用されてもよい。さらに、本実施例における計算装置410は、データ記憶部412からのデジタル化された病理サンプルにアクセスする一方で、一部の実施例では、計算装置410は、病理サンプルの画像を捕捉する撮像装置と通信してもよい。こうした構成は、計算装置が、病理サンプルの1つ以上の画像を捕捉し、そして画像を好適なMLモデルを使用して直ちに処理すること、または画像を分析のために遠隔の計算装置、例えば、サーバー420へと提供することを可能にしてもよい。
ここで図5を参照すると、図5は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステム500を示す。この実施例では、システム500は、図2に示す例示のシステム200と同様に、2つの段階510、520を含む。しかしながら、この実施例では、各段階510、520は、3つのMLモデル512~516、522~526を含む。段階1の各モデル512~516は、異なるバイオマーカーを認識するように訓練されている。モデル512は、ER陽性または陰性を決定するように訓練され、モデル514は、PR陽性または陰性を決定するように訓練され、そしてモデル516は、HER2陽性または陰性を判定するように訓練されている。さらに、各々は、段階2(520)において対応するモデル522~526を有し、これは全組織サンプルに対するバイオマーカーステータスを決定するように訓練されている。MLモデル522は、スライドレベルのER陽性または陰性を検出するように訓練され、MLモデル524は、スライドレベルのPR陽性または陰性を検出するように訓練され、MLモデル526は、スライドレベルのHER2陽性または陰性を検出するように訓練されている。
示される実施例では、染色組織サンプル、例えば、H&E染色組織サンプルの画像は、複数の画像パッチ502a~nへとセグメント化され、また各画像パッチのコピーは、段階1(510)において各MLモデル512~516へと提供される。MLモデル512~516は、バイオマーカー陽性、バイオマーカー陰性、またはその他のそれぞれについて各パッチ502a~nを評価し、そして対応するパッチバイオマーカーステータスを出力する。すなわち、ERステータス544a~n、PRステータス554a~n、およびHER2ステータス564a~nである。図2に関して上記で考察したように、バイオマーカーステータスはヒートマップとして視覚化されてもよい。この例示のシステム500では、バイオマーカーステータスを処理して、ER陽性/陰性、PR陽性/陰性、およびHER2陽性/陰性に対して各々2つの、対応するヒストグラムを生成する。しかしながら、上記で考察したように、任意の好適な入力フォーマットが、段階2のMLモデル522~526のために使用されてもよい。
生成されたヒストグラムは、段階2(520)において対応するMLモデル522~526へと入力される。MLモデル522~526は、組織サンプルバイオマーカーステータス546~566として出力される、スライドレベルのバイオマーカー陽性または陰性を決定する。この実施例では、MLモデル522~526は、各々2つの確率を出力する。すなわち、一方はバイオマーカー陽性を示すもの、そしてもう一方はバイオマーカー陰性を示すものである。一部の実施例は、それぞれのMLモデル522~526によって出力される確率に基づいて、スライドレベルのバイオマーカーステータスをさらに決定する。例えば、システム500は、バイオマーカー陽性またはバイオマーカー陰性の確率のうちより大きいものを選択することによって、スライドレベルのバイオマーカーステータスを決定してもよい。一部の実施例では、システム500は、スライドレベルのバイオマーカーステータス確率のうちの1つが閾値を超えるかどうかを決定することによって、スライドレベルのバイオマーカーステータスを決定してもよい。さらに、一部の実施例では、システム500は、いずれのスライドレベルのバイオマーカーステータスも閾値確率を満たさないか、または両方とも閾値確率を満たす場合、いかなるバイオマーカーも存在しない、またはバイオマーカーステータスが決定的でないと決定してもよい。
図5に示す例示のシステム500は、単一の染色乳がん組織サンプルについて3つの異なるバイオマーカー(ER、PR、およびHER2)を評価するために並列して実行される、3つの異なるバイオマーカー分析を採用する。それ故に、システム500は、各バイオマーカーステータスの標識を臨床医に出力する能力を有し、臨床医は、次いで患者に対する治療の方針を決定することができる。別の方法として、病理学者は、システム500を使用して、同じ患者からのIHC染色組織サンプルの分析を実施する前に、組織サンプルの自身の分析を二重にチェックしてもよく、または初期評価を提供してもよい。しかしながら、IHC染色が、制限された供給の状態にある、利用不可能である、または過度に高価であるシナリオでは、システム500は、より従来から利用可能な、また典型的により安価なH&E染色を使用してバイオマーカーステータスを提供することができてもよい。
ここで図6を参照すると、図6は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示の方法600を示す。この例示の方法は、図5に示すシステム500に関して記述するが、図2に示すシステム200などの任意の好適なシステムが採用されてもよい。
ブロック610において、システム500は、組織サンプルを有するスライドの画像を受信する。この実施例では、システム500は、H&E染色乳がん組織サンプルを有するスライドの画像を受信するが、一部の実施例では、任意の好適な染色が使用されてもよい。さらに、当然のことながら、乳がん組織が本実施例で使用されているが、一部の実施例では、任意の好適な組織サンプルが使用されてもよい。
この実施例では、システム500は、その中に記憶された画像のコピーを有するメモリ装置から、組織サンプルの画像を受信する。しかしながら、一部の実施例では、システム500は、撮像装置から、または医療提供者における計算装置などの遠隔の計算装置から画像を受信してもよい。1つのこうした実施例では、システム500は、例えば、図4に示すように、クラウド環境などの医療提供者から遠隔のサーバーによって実行されてもよい。方法600の完了に伴い、システム500は、例えば、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、インターネットなど、通信ネットワーク上でなど、結果を医療提供者に提供してもよい。
ブロック620において、システム500は、画像に対応する複数の画像パッチを受信し、ここで各画像パッチは画像の異なる部分を表す。この実施例では、画像全体が画像パッチ502a~nへとセグメント化されているが、一部の実施例では、画像の部分はセグメント化されない場合がある。例えば、染色の閾値レベルが欠落している画像の部分、例えば、染色が存在しないか、またはほとんどないことを示す色を有するピクセルは、セグメント化されない場合があり、または組織サンプルの境界の外側にあると特定されたピクセルは除外される場合がある。この実施例では、画像は、おおよそ512×512ピクセルのサイズの画像パッチを有する、ピクセル当たりおおよそ2ミクロンの解像度を有するが、任意の好適な解像度、または任意の好適な画像サイズもしくは画像パッチサイズを採用してもよい。
ブロック630において、システム500は、各画像パッチについて、第1の訓練されたMLモデル512を使用して、パッチバイオマーカーステータスを決定する。図5に関して上記で考察したように、MLモデル512は、画像パッチに対するER陽性または陰性(または非浸潤がん)を検出するように訓練されている。それ故に、この実施例では、MLモデルは、各画像パッチに対して3つの値を出力する。すなわち、ER陽性の確率、ER陰性の確率、および非浸潤がんの確率である。しかし、当然のことながら、一部の実施例では、MLモデル512は、バイオマーカー陽性の確率およびバイオマーカー陰性の確率の2つの値のみを出力してもよい。さらに、一部の実施例では、どの指標がより高い確率を有するかを示す単一の値のみを出力してもよい。すなわちバイオマーカー陽性または陰性、または一部の事例では、いずれの確率も所定の閾値を満たさない場合の指標を出力してもよい。
この例示の方法600では、画像パッチに対して単一のバイオマーカーのみが分析されるが、当然のことながらMLモデル512~516などの、複数の訓練されたMLモデルを使用することによって、各パッチに対して複数の異なるバイオマーカーが決定されてもよい。これらは、並行して、または順次(または組み合わせ)で実行されてもよい。さらに、一部の実施例では、単一のMLモデルは、複数の異なるバイオマーカーに対するバイオマーカー陽性/陰性を認識するように訓練されてもよい。こうしたMLモデルを使用するシステムでは、より少ないMLモデルを使用してもよいが、特定の組織サンプルについて検出されるべきバイオマーカーに従って、任意の組み合わせまたは数のMLモデルを使用してもよい。
ブロック640において、システム500は、第2の訓練されたMLモデル522への入力を生成する。この実施例では、システム500は、図3に関して考察した実施例に関して概して上述したように、第1のMLモデル512によって出力されるパッチバイオマーカーステータスを使用してヒストグラムを生成する。しかしながら、一部の実施例では、システム500は、第2の訓練されたMLモデル522への入力を別々に生成することなく、または異なるパラメータ化技法を使用することによらずに、第1のMLモデル522から第2の訓練されたMLモデル522の入力への出力を提供してもよい。
ブロック650において、システム500は、第2の訓練されたMLモデル522を使用して、画像パッチのパッチバイオマーカーステータスに基づいて、乳房組織のサンプルに対する組織サンプルバイオマーカーステータスを決定する。図2および図5に関して上記で考察したように、第2の訓練されたMLモデル522は、スライドレベルのバイオマーカーステータスを決定し、そして2つの値を出力するように訓練されており、各1つはバイオマーカー陽性およびバイオマーカー陰性の確率を示す。一部の実施例では、システム500は、バイオマーカー陽性および陰性の確率に基づいて、単一のスライドレベルのバイオマーカーステータスをさらに決定してもよい。例えば、システム500は、2つの確率を比較し、そして組織サンプルのバイオマーカーステータスを示すとして、より高い確率を特定してもよい。一部の実施例では、システム500は、2つの確率を閾値と比較してもよく、また確率のうちの1つは、閾値を満たす場合、そのバイオマーカーに対応するものとしてバイオマーカーステータスを決定する。さらに、いずれの確率も閾値を満たさない場合、システム500は、バイオマーカーステータスが浸潤がんではないと決定してもよく、または、両方とも閾値を満たす場合、バイオマーカーステータスが決定的でないと決定してもよい。
当然のことながら、上述の方法600は、組織サンプルの単一の画像に対して複数回実行されてもよい。例えば、図5に示すシステム500は、図5のMLモデルの3つの異なるセット512/522、514/524、516/526に対応して、方法600を3回、評価されるべき各バイオマーカーに対して1回ずつ、実施してもよい。さらに、方法600のこれらの異なる実行は、異なる実施例に従って並行して、または順次に実行されてもよい。
ここで図7を参照すると、図7は、本開示による、デジタル化された病理サンプル内のバイオマーカー検出のための例示のシステムまたは方法での使用のために好適な例示の計算装置700を示す。例示の計算装置700は、1つ以上の通信バス702を使用して、メモリ720および計算装置700の他の構成要素と通信する、プロセッサ710を含む。プロセッサ710は、図6に関して上述した例示の方法600の一部またはすべてなどの、異なる実施例に従って、メモリ720内に記憶されたプロセッサ実行可能命令を実行して、デジタル化された病理サンプル内のバイオマーカー検出のための1つ以上の方法を実施するように構成される。この実施例では、メモリ720は、図2または図5に示す例示のシステムなどのバイオマーカー検出システム760を含む。加えて、計算装置700はまた、ユーザ入力を受け入れるための、キーボード、マウス、タッチスクリーン、マイクなどの1つ以上のユーザ入力装置750も含むが、一部の実施例では、計算装置700は、遠隔サーバーまたはクラウドサーバーなどの、こうしたユーザ入力装置がない場合がある。計算装置700はまた、ユーザへと視覚出力を提供するための表示装置740も含む。
計算装置700はまた、通信インターフェース740も含む。一部の実施例では、通信インターフェース730は、ローカルエリアネットワーク(「LAN」)、インターネットなどの広域ネットワーク(「WAN」)、メトロポリタンエリアネットワーク(「MAN」)、ポイントツーポイントまたはピアツーピア接続などを含む、1つ以上のネットワークを使用して通信を可能にする場合がある。他の装置との通信は、任意の好適なネットワーキングプロトコルを使用して達成されてもよい。例えば、1つの好適なネットワーキングプロトコルは、インターネットプロトコル(「IP」)、伝送制御プロトコル(「TCP」)、ユーザデータグラムプロトコル(「UDP」)、またはTCP/IPもしくはUDP/IPなどのそれらの組み合わせを含んでもよい。
本明細書の方法およびシステムの一部の実施例は、様々な機械上で実行されるソフトウェアに関して記述されるが、方法およびシステムはまた、本開示による様々な方法を特異的に実行するための、フィールドプログラマブルゲートアレイ(FPGA)などの、特異的に構成されたハードウェアとして実装されてもよい。例えば、実施例は、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組み合わせで実装することができる。一実施例では、装置は、一つまたは複数のプロセッサを含んでもよい。プロセッサは、プロセッサへと連結されたランダムアクセスメモリ(RAM)などのコンピュータ可読媒体を含む。プロセッサは、1つ以上のコンピュータプログラムを実行するなどの、メモリ内に記憶されたコンピュータ実行可能なプログラム命令を実行する。こうしたプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、および状態機械を含んでもよい。こうしたプロセッサは、PLC、プログラマブル割り込みコントローラ(PIC)、プログラマブル論理装置(PLD)、プログラマブル読み出し専用メモリ(PROM)、電子プログラマブル読み出し専用メモリ(EPROMまたはEEPROM)、またはその他の類似の装置などのプログラマブル電子装置をさらに備えてもよい。
こうしたプロセッサは、プロセッサによって実行された時に、本開示による方法を、プロセッサによって実行または支援されるものとして、プロセッサに実施させることができる、プロセッサ実行可能命令を記憶してもよい、媒体(例えば、1つ以上の非一時的コンピュータ可読媒体)を備えてもよく、またはこうした媒体と通信してもよい。非一時的コンピュータ可読媒体の実施としては、ウェブサーバー内のプロセッサなどのプロセッサに、プロセッサ実行可能命令を提供する能力を有する、電子、光学、磁気、またはその他の記憶装置が挙げられる場合があるが、これらに限定されない。非一時的コンピュータ可読媒体の他の例としては、フロッピーディスク、CD-ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成されたプロセッサ、すべての光学媒体、すべての磁気テープもしくは他の磁気媒体、またはコンピュータプロセッサが読み取ることができる任意の他の媒体が挙げられるが、これらに限定されない。記述されるプロセッサおよびプロセッシングは、1つ以上の構造内にあってもよく、また1つ以上の構造を通して分散されてもよい。プロセッサは、本開示による方法(または方法の一部)を実行するためのコードを含んでもよい。
一部の実施例の前述の記述は、例示および記述の目的のためにのみ提示されており、網羅的であるか、または開示された正確な形態に本開示を限定することを意図するものではない。本開示の趣旨および範囲から逸脱することなく、その数多くの修正および適合が当業者に明らかとなるであろう。
実施例または実装への本明細書の言及は、実施例に関連して記述される特定の特徴、構造、動作、またはその他の特性が、本開示の少なくとも1つの実装に含まれる場合があることを意味する。本開示は、このように記述される特定の実施例または実装に制限されない。「1つの実施例では」、「ある実施例では」、「1つの実装では」、もしくは「ある実装では」という語句の出現、または本明細書内の様々な箇所でのその変形例は、必ずしも同じ実施例または実装を指すものではない。1つの実施例もしくは実装に関連して、本明細書に記述される任意の特定の特徴、構造、動作、またはその他の特性は、任意の他の実施例もしくは実装に関して記述される他の特徴、構造、動作、またはその他の特性と組み合わせられてもよい。
「or(または)」という用語の本明細書での使用は、包括的かつ排他的なOR条件を包含することを意図する。言い換えれば、AまたはBまたはCは、特定の使用に対する必要に応じて、以下の代替的な組み合わせ:A単独、B単独、C単独、AおよびBのみ、AおよびCのみ、BおよびCのみ、ならびにAおよびBおよびCのうちのいずれかまたはすべてを含む。
Claims (24)
- 方法であって、
ヘマトキシリン・エオジン染色(「H&E」)染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチを受信することであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信することと、
各画像パッチについて、第1の訓練された機械学習(「ML」)モデルを使用して、パッチバイオマーカーステータスを決定することと、
第2の訓練されたMLモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む、方法。 - 前記パッチバイオマーカーステータスが、エストロゲン受容体(「ER」)陽性、ER陰性、プロゲステロン受容体(「PR」)陽性、PR陰性、ヒト上皮成長因子受容体2(「HER2」)陽性、HER2陰性、または非浸潤がんのうちの1つ以上を含み、かつ
前記組織サンプルバイオマーカーステータスが、ER陽性、ER陰性、PR陽性、PR陰性、HER2陽性、HER2陰性、または非浸潤がんのうちの1つ以上を含む、請求項1に記載の方法。 - 前記パッチバイオマーカーステータスが、第1のパッチバイオマーカーステータスであり、かつ前記組織サンプルバイオマーカーステータスが、第1の組織サンプルバイオマーカーステータスであり、
各画像パッチについて、第3の訓練されたMLモデルを使用して、第2のパッチバイオマーカーステータスを決定することと、
第4の訓練されたMLモデルを使用して、前記画像パッチの前記第2のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第2の組織サンプルバイオマーカーステータスを決定することと、
各画像パッチについて、第5の訓練されたMLモデルを使用して、第3のパッチバイオマーカーステータスを決定することと、
第6の訓練されたMLモデルを使用して、前記画像パッチの前記第3のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第3の組織サンプルバイオマーカーステータスを決定することと、を含む、請求項1または2に記載の方法。 - 前記第1のパッチバイオマーカーステータスが、エストロゲン受容体(「ER」)陽性、ER陰性、または非浸潤がんのうちの1つを含み、
前記第1の組織サンプルバイオマーカーステータスが、ER陽性ステータス、ER陰性ステータス、および非浸潤がんステータスを含み、
前記第2のパッチバイオマーカーステータスが、プロゲステロン受容体(「PR」)陽性ステータス、PR陰性ステータス、および非浸潤がんステータスを含み、
前記第2の組織サンプルバイオマーカーステータスが、PR陽性ステータス、PR陰性ステータス、または非浸潤がんステータスのうちの1つ以上を含み、
前記第3のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体2(「HER2」)陽性ステータス、HER2陰性ステータス、および非浸潤がんステータスを含み、
前記第3の組織サンプルバイオマーカーステータスが、HER2陽性ステータス、HER2陰性ステータス、または非浸潤がんステータスのうちの1つ以上を含む、請求項3に記載の方法。 - 前記画像パッチの前記パッチバイオマーカーステータスに基づいて1つ以上のヒストグラムを生成することをさらに含み、かつ前記第2の訓練されたMLモデルを使用して、前記組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定することが、前記1つ以上のヒストグラムに基づく、請求項1~4のいずれかに記載の方法。
- 各パッチバイオマーカーステータスが、バイオマーカーに対応する、0%~100%(端点を含む)の確率を含む、請求項1~5のいずれかに記載の方法。
- 組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスが、バイオマーカーに対応する、0%~100%(端点を含む)の確率を含む、請求項1~6のいずれかに記載の方法。
- 各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値tと比較することと、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがt以上であることを決定することに応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定することと、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがt以上であることを決定することに応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定することと、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがt未満であり、かつバイオマーカー陰性に対する前記それぞれのパッチバイオマーカーステータスがt未満であると決定することに応答して、前記パッチバイオマーカーステータスを、非浸潤がんとして決定することと、をさらに含む、請求項1~7のいずれかに記載の方法。 - システムであって、
非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に通信可能に連結された1つ以上のプロセッサであって、前記1つ以上のプロセッサが、前記非一時的コンピュータ可読媒体内に記憶されたプロセッサ実行可能命令を実行して、前記1つ以上のプロセッサに、
ヘマトキシリン・エオジン染色(「H&E」)染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信させ、
各画像パッチについて、第1の訓練された機械学習(「ML」)モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ
第2の訓練されたMLモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成される、プロセッサと、を備える、システム。 - 前記パッチバイオマーカーステータスが、エストロゲン受容体(「ER」)陽性、ER陰性、プロゲステロン受容体(「PR」)陽性、PR陰性、ヒト上皮成長因子受容体2(「HER2」)陽性、HER2陰性、または非浸潤がんのうちの1つを含み、かつ
前記組織サンプルバイオマーカーステータスが、ER陽性、ER陰性、PR陽性、PR陰性、HER2陽性、HER2陰性、または非浸潤がんのうちの1つを含む、請求項9に記載のシステム。 - 前記パッチバイオマーカーステータスが、第1のパッチバイオマーカーステータスであり、また前記組織サンプルバイオマーカーステータスが、第1の組織サンプルバイオマーカーステータスであり、かつ前記1つ以上のプロセッサが、前記1つ以上のプロセッサに、0
各画像パッチについて、第3の訓練されたMLモデルを使用して、第2のパッチバイオマーカーステータスを決定させ、
第4の訓練されたMLモデルを使用して、前記画像パッチの前記第2のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第2の組織サンプルバイオマーカーステータスを決定させ、
各画像パッチについて、第5の訓練されたMLモデルを使用して、第3のパッチバイオマーカーステータスを決定させ、
第6の訓練されたMLモデルを使用して、前記画像パッチの前記第3のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第3の組織サンプルバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶されたさらなるプロセッサ実行可能命令を実行するように構成される、請求項9または10に記載のシステム。 - 前記第1のパッチバイオマーカーステータスが、エストロゲン受容体(「ER」)陽性、ER陰性、または非浸潤がんのうちの1つを含み、
前記第1の組織サンプルバイオマーカーステータスが、ER陽性、ER陰性、または非浸潤がんのうちの1つを含み、
前記第2のパッチバイオマーカーステータスが、プロゲステロン受容体(「PR」)陽性、PR陰性、または非浸潤がんのうちの1つを含み、
前記第2の組織サンプルバイオマーカーステータスが、PR陽性、PR陰性、または非浸潤がんのうちの1つを含み、
前記第3のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体2(「HER2」)陽性、HER2陰性、または非浸潤がんのうちの1つを含み、
前記第3の組織サンプルバイオマーカーステータスが、HER2陽性、HER2陰性、または非浸潤がんのうちの1つを含む、請求項11に記載のシステム。 - 前記1つ以上のプロセッサが、前記1つ以上のプロセッサに、前記画像パッチの前記パッチバイオマーカーステータスに基づいてヒストグラムを生成させ、かつ前記第2の訓練されたMLモデルを使用して、前記ヒストグラムに基づいて、組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶された、さらなるプロセッサ実行可能命令を実行するように構成される、請求項9~12のいずれかに記載のシステム。
- 各パッチバイオマーカーステータスが0%~100%(端点を含む)の確率を含む、請求項9~13のいずれかに記載のシステム。
- 組織の前記サンプルの前記組織サンプルバイオマーカーステータスが、0%~100%の確率(端点を含む)を含む、請求項9~14のいずれかに記載のシステム。
- 前記1つ以上のプロセッサが、前記1つ以上のプロセッサに、
各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値tと比較させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがt以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定させ、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがt以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがt未満であり、かつバイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがt未満であるという決定に応答して、非浸潤がんを含むとして前記パッチバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶されたさらなるプロセッサ実行可能命令を実行するように構成される、請求項9~15のいずれかに記載のシステム。 - プロセッサ実行可能命令を含む、非一時的コンピュータ可読媒体であって、プロセッサに、
ヘマトキシリン・エオジン染色(「H&E」)染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信させ、
各画像パッチについて、第1の訓練された機械学習(「ML」)モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ
第2の訓練されたMLモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成された、非一時的コンピュータ可読媒体。 - 前記パッチバイオマーカーステータスが、エストロゲン受容体(「ER」)陽性、ER陰性、プロゲステロン受容体(「PR」)陽性、PR陰性、ヒト上皮成長因子受容体2(「HER2」)陽性、HER2陰性、または非浸潤がんのうちの1つを含み、かつ
前記組織サンプルバイオマーカーステータスが、ER陽性、ER陰性、PR陽性、PR陰性、HER2陽性、HER2陰性、または非浸潤がんのうちの1つを含む、請求項17に記載の非一時的コンピュータ可読媒体。 - 前記パッチバイオマーカーステータスが、第1のパッチバイオマーカーステータスであり、また前記組織サンプルバイオマーカーステータスが、第1の組織サンプルバイオマーカーステータスであり、かつ前記プロセッサに、
各画像パッチについて、第3の訓練されたMLモデルを使用して、第2のパッチバイオマーカーステータスを決定させ、
第4の訓練されたMLモデルを使用して、前記画像パッチの前記第2のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第2の組織サンプルバイオマーカーステータスを決定させ、
各画像パッチについて、第5の訓練されたMLモデルを使用して、第3のパッチバイオマーカーステータスを決定させ、
第6の訓練されたMLモデルを使用して、前記画像パッチの前記第3のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第3の組織サンプルバイオマーカーステータスを決定させるように構成された、プロセッサ実行可能命令をさらに含む、請求項17または18に記載の非一時的コンピュータ可読媒体。 - 前記第1のパッチバイオマーカーステータスが、エストロゲン受容体(「ER」)陽性、ER陰性、または非浸潤がんのうちの1つを含み、
前記第1の組織サンプルバイオマーカーステータスが、ER陽性、ER陰性、または非浸潤がんのうちの1つを含み、
前記第2のパッチバイオマーカーステータスが、プロゲステロン受容体(「PR」)陽性、PR陰性、または非浸潤がんのうちの1つを含み、
前記第2の組織サンプルバイオマーカーステータスが、PR陽性、PR陰性、または非浸潤がんのうちの1つを含み、
前記第3のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体2(「HER2」)陽性、HER2陰性、または非浸潤がんのうちの1つを含み、
前記第3の組織サンプルバイオマーカーステータスが、HER2陽性、HER2陰性、または非浸潤がんのうちの1つを含む、請求項19に記載の非一時的コンピュータ可読媒体。 - 前記プロセッサに、前記画像パッチの前記パッチバイオマーカーステータスに基づいてヒストグラムを生成させ、かつ前記第2の訓練されたMLモデルを使用して、前記ヒストグラムに基づいて、組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定させるように構成された、プロセッサ実行可能命令をさらに含む、請求項17~20のいずれかに記載の非一時的コンピュータ可読媒体。
- 各パッチバイオマーカーステータスが、0%~100%(端点を含む)の確率を含む、請求項17~21のいずれかに記載の非一時的コンピュータ可読媒体。
- 組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスが、0%~100%(端点を含む)の確率を含む、請求項17~22のいずれかに記載の非一時的コンピュータ可読媒体。
- 前記プロセッサに、
各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値tと比較させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがt以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定させ、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがt以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがt未満であり、かつバイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがt未満であるという決定に応答して、非浸潤がんを含むとして前記パッチバイオマーカーステータスを決定させるように構成されたプロセッサ実行可能命令をさらに含む、請求項17~23のいずれかに記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163149914P | 2021-02-16 | 2021-02-16 | |
US63/149,914 | 2021-02-16 | ||
PCT/US2022/070623 WO2022178497A1 (en) | 2021-02-16 | 2022-02-11 | Systems and methods for biomarker detection in digitized pathology samples |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024507687A true JP2024507687A (ja) | 2024-02-21 |
Family
ID=82931093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023545786A Pending JP2024507687A (ja) | 2021-02-16 | 2022-02-11 | デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240127444A1 (ja) |
EP (1) | EP4295307A1 (ja) |
JP (1) | JP2024507687A (ja) |
CN (1) | CN116868229A (ja) |
WO (1) | WO2022178497A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9488639B2 (en) * | 2013-02-25 | 2016-11-08 | Flagship Biosciences, Inc. | Cell-based tissue analysis |
JP6192747B2 (ja) * | 2013-03-15 | 2017-09-06 | ベンタナ メディカル システムズ, インコーポレイテッド | デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム |
ES2704858T3 (es) * | 2013-09-20 | 2019-03-20 | Transmural Biotech S L | Técnicas de análisis de imágenes para diagnosis de enfermedades |
US9435791B2 (en) * | 2014-06-27 | 2016-09-06 | Verily Life Sciences, LLC | Method for using nanodiamonds to detect nearby magnetic nanoparticles |
GB2545361B (en) * | 2015-04-10 | 2018-01-24 | Applied Proteomics Inc | Methods of assessing colorectal cancer status |
-
2022
- 2022-02-11 EP EP22757157.7A patent/EP4295307A1/en active Pending
- 2022-02-11 US US18/546,567 patent/US20240127444A1/en active Pending
- 2022-02-11 CN CN202280015048.2A patent/CN116868229A/zh active Pending
- 2022-02-11 JP JP2023545786A patent/JP2024507687A/ja active Pending
- 2022-02-11 WO PCT/US2022/070623 patent/WO2022178497A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20240127444A1 (en) | 2024-04-18 |
WO2022178497A1 (en) | 2022-08-25 |
EP4295307A1 (en) | 2023-12-27 |
CN116868229A (zh) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11922626B2 (en) | Systems and methods for automatic detection and quantification of pathology using dynamic feature classification | |
Liu et al. | Detecting cancer metastases on gigapixel pathology images | |
JP2020205063A (ja) | コンテキストフィーチャを用いた画像解析システム | |
JP2021535484A (ja) | 自動的な腫瘍検出及び分類のためのシステム | |
CN109741312A (zh) | 一种肺结节鉴别方法、装置、设备及介质 | |
WO2019223123A1 (zh) | 病变部位识别方法及装置、计算机装置及可读存储介质 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
US20230162515A1 (en) | Assessing heterogeneity of features in digital pathology images using machine learning techniques | |
US10956795B2 (en) | Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei | |
CN110728673A (zh) | 一种目标部位分析方法、装置、计算机设备及存储介质 | |
CN113261012B (zh) | 处理图像的方法、装置及系统 | |
CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
KR20180045473A (ko) | 이미지 분석을 이용한 흑색종 검사 시스템, 방법 및 컴퓨터 프로그램 | |
WO2022258718A1 (en) | Processing multimodal images of tissue for medical evaluation | |
CN112703531A (zh) | 生成组织图像的注释数据 | |
CN117036343B (zh) | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 | |
CN111445456B (zh) | 分类模型、网络模型的训练方法及装置、识别方法及装置 | |
Fu et al. | Deep learning accurately quantifies plasma cell percentages on CD138-stained bone marrow samples | |
JP2024507687A (ja) | デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法 | |
Eliyani et al. | Machine learning assisted medical diagnosis for segmentation of follicle in ovary ultrasound | |
CN111612755A (zh) | 肺部病灶分析方法、装置、电子设备和存储介质 | |
Raghavendra et al. | Electron microscopy images for automatic bacterial trichomoniasis diagnostic classification separating and sorting of overlapping microbes | |
WO2024137801A1 (en) | Gene expression prediction from whole slide images | |
WO2023195924A2 (en) | Method and system for facilitating analysis of a skin condition |