JP7492650B2 - 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別 - Google Patents
多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別 Download PDFInfo
- Publication number
- JP7492650B2 JP7492650B2 JP2023509712A JP2023509712A JP7492650B2 JP 7492650 B2 JP7492650 B2 JP 7492650B2 JP 2023509712 A JP2023509712 A JP 2023509712A JP 2023509712 A JP2023509712 A JP 2023509712A JP 7492650 B2 JP7492650 B2 JP 7492650B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- immunofluorescence
- multiplexed
- machine learning
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010166 immunofluorescence Methods 0.000 title claims description 189
- 230000001338 necrotic effect Effects 0.000 title claims description 149
- 238000010801 machine learning Methods 0.000 claims description 91
- 238000012545 processing Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 49
- 210000004881 tumor cell Anatomy 0.000 claims description 43
- 238000007781 pre-processing Methods 0.000 claims description 23
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims description 10
- 239000000439 tumor marker Substances 0.000 claims description 10
- 230000007170 pathology Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 210000001519 tissue Anatomy 0.000 description 154
- 238000001514 detection method Methods 0.000 description 43
- 238000012549 training Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 24
- 239000000523 sample Substances 0.000 description 22
- 210000004027 cell Anatomy 0.000 description 19
- 206010028980 Neoplasm Diseases 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 13
- 239000000090 biomarker Substances 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000017074 necrotic cell death Effects 0.000 description 8
- 239000012472 biological sample Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 238000010186 staining Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000012620 biological material Substances 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 210000002700 urine Anatomy 0.000 description 5
- QOSSAOTZNIDXMA-UHFFFAOYSA-N Dicylcohexylcarbodiimide Chemical compound C1CCCCC1N=C=NC1CCCCC1 QOSSAOTZNIDXMA-UHFFFAOYSA-N 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 102000018651 Epithelial Cell Adhesion Molecule Human genes 0.000 description 3
- 108010066687 Epithelial Cell Adhesion Molecule Proteins 0.000 description 3
- 108010079337 Tissue Polypeptide Antigen Proteins 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013188 needle biopsy Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 102000008096 B7-H1 Antigen Human genes 0.000 description 2
- 108010074708 B7-H1 Antigen Proteins 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000010171 animal model Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- XJMOSONTPMZWPB-UHFFFAOYSA-M propidium iodide Chemical compound [I-].[I-].C12=CC(N)=CC=C2C2=CC=C(N)C=C2[N+](CCC[N+](C)(CC)CC)=C1C1=CC=CC=C1 XJMOSONTPMZWPB-UHFFFAOYSA-M 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- BZTDTCNHAFUJOG-UHFFFAOYSA-N 6-carboxyfluorescein Chemical compound C12=CC=C(O)C=C2OC2=CC(O)=CC=C2C11OC(=O)C2=CC=C(C(=O)O)C=C21 BZTDTCNHAFUJOG-UHFFFAOYSA-N 0.000 description 1
- 241000243818 Annelida Species 0.000 description 1
- 241000239223 Arachnida Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 206010050337 Cerumen impaction Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241000289419 Metatheria Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005068 bladder tissue Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 210000002939 cerumen Anatomy 0.000 description 1
- VYXSBFYARXAAKO-WTKGSRSZSA-N chembl402140 Chemical compound Cl.C1=2C=C(C)C(NCC)=CC=2OC2=C\C(=N/CC)C(C)=CC2=C1C1=CC=CC=C1C(=O)OCC VYXSBFYARXAAKO-WTKGSRSZSA-N 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000004186 co-expression Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000008098 formaldehyde solution Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000002934 lysing effect Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000001531 micro-dissection Methods 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 210000004882 non-tumor cell Anatomy 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 210000004923 pancreatic tissue Anatomy 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 210000004915 pus Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- CVAVMIODJQHEEH-UHFFFAOYSA-O rhodamine B(1+) Chemical compound C=12C=CC(=[N+](CC)CC)C=C2OC2=CC(N(CC)CC)=CC=C2C=1C1=CC=CC=C1C(O)=O CVAVMIODJQHEEH-UHFFFAOYSA-O 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000002536 stromal cell Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001138 tear Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biodiversity & Conservation Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本出願は、2020年8月13日に出願された米国仮特許出願第63/065,350号の利益および優先権を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。
本開示は、デジタル病理学に関し、特に、多重免疫蛍光染色組織のデジタル画像における壊死組織領域の表示を識別するために機械学習モデルを使用するための技術に関する。
デジタル病理学は、試料(例えば、組織試料、血液試料、尿試料など)のスライドをデジタル画像にスキャンすることを含む。試料は、細胞中の選択されたタンパク質(抗原)が試料の残りの部分に対して示差的に視覚的にマークされるように染色されることができる。検体中の標的タンパク質は、バイオマーカーと呼ばれることがある。異なるバイオマーカーについて複数の染色を有する試料を示すデジタル画像が、組織試料について生成されることができる。複数の染色剤によって染色された試料を示すデジタル画像は、多重免疫蛍光画像と呼ばれることがある。多重免疫蛍光画像は、組織試料中の腫瘍細胞と非腫瘍細胞との間の空間的関係の視覚化を可能にすることができる。
いくつかの実施形態では、方法が提供される。検体のスライスの多重免疫蛍光画像がアクセスされる。多重免疫蛍光画像は、核マーカー用の第1のチャネルおよび上皮腫瘍マーカー用の第2のチャネルを含むことができる。検体のスライスは、1つ以上の壊死組織領域を含むことができる。多重免疫蛍光画像は、機械学習モデル(例えば、U-Netモデル)を使用して処理される。処理の出力は、多重免疫蛍光画像が1つ以上の壊死組織領域を含むかどうかに関する予測に対応することができる。予測は、壊死組織を示すと予測された多重免疫蛍光画像の1つ以上の特定の部分を識別することができる。機械学習モデルの出力に基づいてマスクが生成される。マスクは出力され、多重免疫蛍光画像の後続の画像処理に使用される。
特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化されることができる。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更を行うことができる。
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
図2は、壊死の表示の識別を容易にし、デジタル病理画像を処理するために壊死組織検出機械学習モデルを訓練して使用するための例示的なコンピューティングシステム200を示している。コンピューティングシステム200は、壊死組織検出機械学習モデルを訓練して実行するための分析システム205を含むことができる。壊死組織検出用機械学習モデルの例は、例えば、畳み込みニューラルネットワーク、深層ニューラルネットワーク、U-Net、V-Net、残差ニューラルネットワーク、および/またはリカレントニューラルネットワークを含む。壊死組織検出機械学習モデルは、(例えば)多重免疫蛍光画像が1つ以上の壊死組織領域の表示を含むかどうかを予測するために訓練および/または使用されることができる。分析システム205は、別のタイプの検出(例えば、腫瘍細胞を示す)を実行するために、1つ以上の他の機械学習モデルをさらに訓練および/または使用することができる。他の機械学習モデルは、(例えば)畳み込みニューラルネットワーク、U-Net、V-Net、および/または深層ニューラルネットワークを含むことができる。場合によっては、(例えば、各壊死組織領域を除去または不明瞭にするために)壊死組織検出機械学習モデルからの結果を使用して画像が処理され、他の機械学習モデルは、他のタイプの検出を実行するために処理された画像を受信して使用することができる。場合によっては、壊死組織検出機械学習モデルからの結果は、他のタイプの検出を実行するときに除外されるべきパッチおよび/または画像を識別するために使用される。
図3は、本開示のいくつかの態様にかかる壊死組織領域予測のためのプロセスのブロック図を示している。多重免疫蛍光画像305は、図2のプロバイダシステム230またはイメージング装置235などのプロバイダシステムまたはイメージング装置から受信されることができる。多重免疫蛍光画像305は、少なくとも2つのチャネルを含む検体のスライスを示すことができる。チャネルは、少なくとも核マーカーおよび上皮腫瘍マーカーを含むことができる。
図4に示すように、U-Net400は、縮小経路405(符号化器)および拡張経路410(復号器)を含むことができ、これによりu字形アーキテクチャが得られる。縮小経路405は、畳み込み(例えば、3×3の畳み込み(パッドなしの畳み込み))の繰り返し適用を含むCNNネットワークであり、それぞれの畳み込みの後に正規化線形ユニット(ReLU)およびダウンサンプリングのための最大プーリング演算(例えば、ストライド2の2×2最大プーリング)が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は2倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路410は、縮小経路405からの特徴および空間情報を組み合わせるCNNネットワークである(縮小経路405からの特徴マップのアップサンプリング)。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップ畳み込み(アップサンプリング演算子)、縮小経路405からの対応して切り取られた特徴マップとの連結、それぞれが正規化線形ユニット(ReLU)の後に続く畳み込み(例えば、2つの3×3畳み込み)の繰り返し適用、および最終的な畳み込み(例えば、1×1畳み込み)が続き、二次元非標的領域マスクが生成される。局在化するために、縮小経路405からの高解像度特徴は、拡張経路410からのアップサンプリングされた出力と合成される。
図5は、本開示のいくつかの態様にかかるガンマ補正のグラフ500を示している。デジタルイメージングでは、線510によって示されるように、輝度入力と検出された光出力との間に線形関係がある。例えば、デジタルイメージングシステムがセンサに当たる光子数の3倍を受け取ると、検出される光は3倍高くなる。対照的に、線520によって示されるように、眼は、3倍の光を僅か3倍明るいと知覚する。ガンマ補正が実行されて、眼の光に対する感度とデジタルイメージングシステムの感度との間で画像のビット使用量を変換することができる。
図9は、本開示のいくつかの態様にかかる壊死組織領域の表示を識別するプロセス中の例示的な画像を示している。全スライド画像905は、分析システム(例えば、図2の分析システム205)によってアクセスされることができる。全スライド画像905は、全スライド画像905の画素強度の範囲を低減するためにガンマ補正および/または正規化によって前処理されることができる。場合によっては、前処理はまた、全スライド画像905をタイリングすること(910)を含む。タイリング910は、全スライド画像905を固定サイズ(例えば、1000画素×1000画素)の非重複部分に分割することを含むことができる。パッチは、各タイルから導出されてもよく、各パッチは、タイルの固定サイズよりも小さい固定サイズを有することができる。例えば、各パッチは、512画素×512画素であってもよい。
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
Claims (20)
- デジタル病理画像の壊死組織を識別するための方法であって、
核マーカー用の第1のチャネルおよび上皮腫瘍マーカー用の第2のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記検体のスライスが1つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記多重免疫蛍光画像が前記多重免疫蛍光画像の1つ以上の特定の部分に1つ以上の壊死組織領域を含むという予測に対応する前記機械学習モデルの出力を受信することと、
前記機械学習モデルの前記出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および/またはサイズを特徴付ける、処理結果を出力することと
を含む、方法。 - デジタル病理画像の壊死組織を識別するための方法であって、
核マーカー用の第1のチャネルおよび上皮腫瘍マーカー用の第2のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記検体のスライスが1つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記多重免疫蛍光画像が前記多重免疫蛍光画像の1つ以上の特定の部分に1つ以上の壊死組織領域を含むという予測に対応する前記機械学習モデルの出力を受信することと、
前記機械学習モデルの前記出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記検体のスライスの第2の画像にアクセスすることと、
前記マスクを前記第2の画像に適用することと、
前記マスクを用いて前記第2の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および/またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および/またはサイズを出力することと
を含む、方法。 - 前記核マーカーが4’,6-ジアミジノ-2-フェニルインドール(DAPI)を含み、前記上皮腫瘍マーカーが汎サイトケラチン(PanCK)を含む、請求項1または2に記載の方法。
- 前記機械学習モデルがU-Netモデルを含む、請求項1または2に記載の方法。
- 前記多重免疫蛍光画像を前記機械学習モデルに提供する前に、ガンマ補正および正規化を使用して前記多重免疫蛍光画像を前処理することをさらに含む、請求項1または2に記載の方法。
- 前記多重免疫蛍光画像から複数のタイル画像を生成することと、
前記複数のタイル画像を前記多重免疫蛍光画像として前記機械学習モデルに提供することと
をさらに含む、請求項1または2に記載の方法。 - システムであって、
1つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに動作を実行させる、非一時的コンピュータ可読記憶媒体と
を備え、前記動作が、
少なくとも2つのチャネルを含む検体のスライスの多重免疫蛍光画像を受信することであって、前記多重免疫蛍光画像が1つ以上の壊死組織領域を含む、多重免疫蛍光画像を受信することと、
前記多重免疫蛍光画像をガンマ補正によって前処理することと、
前処理された前記多重免疫蛍光画像を機械学習モデルに提供し、前記1つ以上の壊死組織領域を識別することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および/またはサイズを特徴付ける、処理結果を出力することと
を含む、システム。 - システムであって、
1つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに動作を実行させる、非一時的コンピュータ可読記憶媒体と
を備え、前記動作が、
少なくとも2つのチャネルを含む検体のスライスの多重免疫蛍光画像を受信することであって、前記多重免疫蛍光画像が1つ以上の壊死組織領域を含む、多重免疫蛍光画像を受信することと、
前記多重免疫蛍光画像をガンマ補正によって前処理することと、
前処理された前記多重免疫蛍光画像を機械学習モデルに提供し、前記1つ以上の壊死組織領域を識別することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記検体のスライスの第2の画像にアクセスすることと、
前記マスクを前記第2の画像に適用することと、
前記マスクを用いて前記第2の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および/またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および/またはサイズを出力することと
を含む、システム。 - 前記少なくとも2つのチャネルが、4’,6-ジアミジノ-2-フェニルインドール(DAPI)チャネルおよび汎サイトケラチン(PanCK)チャネルを含む、請求項7または8に記載のシステム。
- 前記機械学習モデルがU-Netモデルを含む、請求項7または8に記載のシステム。
- 前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、該命令が、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに、
前記多重免疫蛍光画像を前記機械学習モデルに提供する前に、ガンマ補正および正規化を使用して前記多重免疫蛍光画像を前処理することを含む動作を実行させる、請求項7または8に記載のシステム。 - 前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、該命令が、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに、
前記多重免疫蛍光画像から複数のタイル画像を生成することと、
前記複数のタイル画像を前記多重免疫蛍光画像として前記機械学習モデルに提供することと
を含む動作を実行させる、請求項7または8に記載のシステム。 - 1つ以上のデータプロセッサに動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
核マーカー用の第1のチャネルおよび上皮腫瘍マーカー用の第2のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記多重免疫蛍光画像が1つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することであって、前記機械学習モデルの出力が、前記多重免疫蛍光画像が前記多重免疫蛍光画像の1つ以上の特定の部分に1つ以上の壊死組織領域を含むという予測に対応する、前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および/またはサイズを特徴付ける、処理結果を出力することと
を含む、コンピュータプログラム。 - 1つ以上のデータプロセッサに動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
核マーカー用の第1のチャネルおよび上皮腫瘍マーカー用の第2のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記多重免疫蛍光画像が1つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することであって、前記機械学習モデルの出力が、前記多重免疫蛍光画像が前記多重免疫蛍光画像の1つ以上の特定の部分に1つ以上の壊死組織領域を含むという予測に対応する、前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記検体のスライスの第2の画像にアクセスすることと、
前記マスクを前記第2の画像に適用することと、
前記マスクを用いて前記第2の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および/またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および/またはサイズを出力することと
を含む、コンピュータプログラム。 - 前記核マーカーが4’,6-ジアミジノ-2-フェニルインドール(DAPI)を含み、前記上皮腫瘍マーカーが汎サイトケラチン(PanCK)を含む、請求項13または14に記載のコンピュータプログラム。
- 前記機械学習モデルがU-Netモデルを含む、請求項13または14に記載のコンピュータプログラム。
- 1つ以上のデータプロセッサに、前記多重免疫蛍光画像を前記機械学習モデルに提供する前に、ガンマ補正および正規化を使用して前記多重免疫蛍光画像を前処理することを含む動作を実行させる
ように構成された命令をさらに含む、請求項13または14に記載のコンピュータプログラム。 - 前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および/またはサイズを特徴付ける、処理結果を出力することと
を含む、請求項13または14に記載のコンピュータプログラム。 - 1つ以上のデータプロセッサに、
前記多重免疫蛍光画像から複数のタイル画像を生成することと、
前記複数のタイル画像を前記多重免疫蛍光画像として前記機械学習モデルに提供することと
を含む動作を実行させる
ように構成された命令をさらに含む、請求項13または14に記載のコンピュータプログラム。 - 前記後続の画像処理が、
前記検体のスライスの第2の画像にアクセスすることと、
前記マスクを前記第2の画像に適用することと、
前記マスクを用いて前記第2の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および/またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および/またはサイズを出力することと
を含む、請求項13または14に記載のコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063065350P | 2020-08-13 | 2020-08-13 | |
US63/065,350 | 2020-08-13 | ||
PCT/US2021/045507 WO2022035943A1 (en) | 2020-08-13 | 2021-08-11 | Automated identification of necrotic regions in digital images of multiplex immunofluorescence stained tissue |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023537971A JP2023537971A (ja) | 2023-09-06 |
JP7492650B2 true JP7492650B2 (ja) | 2024-05-29 |
Family
ID=77543720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023509712A Active JP7492650B2 (ja) | 2020-08-13 | 2021-08-11 | 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4196906A1 (ja) |
JP (1) | JP7492650B2 (ja) |
CN (1) | CN116113983A (ja) |
WO (1) | WO2022035943A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883325B (zh) * | 2023-06-21 | 2024-04-30 | 杭州医策科技有限公司 | 一种免疫荧光图像分析方法和装置 |
CN116824579B (zh) * | 2023-06-27 | 2023-12-22 | 长沙金域医学检验实验室有限公司 | 基于直接免疫荧光染色的耶氏肺孢子菌检测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015514212A (ja) | 2012-03-30 | 2015-05-18 | クラリエント ダイアグノスティック サービシーズ, インコーポレイテッド | 単一試料での免疫蛍光及び蛍光系核酸分析 |
US20190392580A1 (en) | 2018-06-26 | 2019-12-26 | Definiens Ag | Deep Learning Method For Tumor Cell Scoring On Cancer Biopsies |
WO2020025684A1 (en) | 2018-07-31 | 2020-02-06 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Method and system for augmented imaging in open treatment using multispectral information |
-
2021
- 2021-08-11 CN CN202180056819.8A patent/CN116113983A/zh active Pending
- 2021-08-11 WO PCT/US2021/045507 patent/WO2022035943A1/en unknown
- 2021-08-11 JP JP2023509712A patent/JP7492650B2/ja active Active
- 2021-08-11 EP EP21762969.0A patent/EP4196906A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015514212A (ja) | 2012-03-30 | 2015-05-18 | クラリエント ダイアグノスティック サービシーズ, インコーポレイテッド | 単一試料での免疫蛍光及び蛍光系核酸分析 |
US20190392580A1 (en) | 2018-06-26 | 2019-12-26 | Definiens Ag | Deep Learning Method For Tumor Cell Scoring On Cancer Biopsies |
WO2020025684A1 (en) | 2018-07-31 | 2020-02-06 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Method and system for augmented imaging in open treatment using multispectral information |
Non-Patent Citations (2)
Title |
---|
KOHL, S. A. A. et al.,A Probabilistic U-Net for Segmentation of Ambiguous Images,Advances in Neural Information Processing Systems 31 (NeurIPS 2018),2018年,p.1-11 |
SALTZ, J. et al.,Spatial Organization and Molecular Correlation of Tumor-Infiltrating Lymphocytes Using Deep Learning on Pathology Images,Cell Rep.,2018年,Vol.23, No.1,p.181-193,e1-7,doi: 10.1016/j.celrep.2018.03.086 |
Also Published As
Publication number | Publication date |
---|---|
EP4196906A1 (en) | 2023-06-21 |
JP2023537971A (ja) | 2023-09-06 |
CN116113983A (zh) | 2023-05-12 |
WO2022035943A1 (en) | 2022-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2966555C (en) | Systems and methods for co-expression analysis in immunoscore computation | |
JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
JP7487418B2 (ja) | 多重化免疫蛍光画像における自己蛍光アーチファクトの識別 | |
US20220351860A1 (en) | Federated learning system for training machine learning algorithms and maintaining patient privacy | |
US20230186659A1 (en) | Machine learning models for cell localization and classification learned using repel coding | |
US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
JP7492650B2 (ja) | 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別 | |
WO2012041333A1 (en) | Automated imaging, detection and grading of objects in cytological samples | |
JP2024530388A (ja) | 多重免疫蛍光イメージングを使用する組織学的染色のデジタル合成 | |
CN118414640A (zh) | 数字病理学中深度学习模型的对抗鲁棒性 | |
US20230162485A1 (en) | Digital analysis of preanalytical factors in tissues used for histological staining | |
US20240221360A1 (en) | Machine-learning techniques for predicting phenotypes in duplex digital pathology images | |
JP7505116B2 (ja) | デジタル病理画像についてのマルチスキャナにおける相違の深層学習を使用した補正 | |
WO2024025969A1 (en) | Architecture-aware image tiling for processing pathology slides | |
Zhang et al. | Automated scoring system of HER2 in pathological images under the microscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7492650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |