JP2023547169A - 多重化免疫蛍光画像における自己蛍光アーチファクトの識別 - Google Patents
多重化免疫蛍光画像における自己蛍光アーチファクトの識別 Download PDFInfo
- Publication number
- JP2023547169A JP2023547169A JP2023525046A JP2023525046A JP2023547169A JP 2023547169 A JP2023547169 A JP 2023547169A JP 2023525046 A JP2023525046 A JP 2023525046A JP 2023525046 A JP2023525046 A JP 2023525046A JP 2023547169 A JP2023547169 A JP 2023547169A
- Authority
- JP
- Japan
- Prior art keywords
- image
- multiplexed immunofluorescence
- processing
- images
- multiplexed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010166 immunofluorescence Methods 0.000 title claims abstract description 209
- 238000010801 machine learning Methods 0.000 claims abstract description 115
- 238000012545 processing Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 67
- 210000004881 tumor cell Anatomy 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 27
- 239000002131 composite material Substances 0.000 claims description 24
- 239000000090 biomarker Substances 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012512 characterization method Methods 0.000 claims description 12
- 210000003743 erythrocyte Anatomy 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000004044 response Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 40
- 210000001519 tissue Anatomy 0.000 description 34
- 239000000523 sample Substances 0.000 description 24
- 238000001514 detection method Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 14
- 206010028980 Neoplasm Diseases 0.000 description 11
- 102000004169 proteins and genes Human genes 0.000 description 9
- 108090000623 proteins and genes Proteins 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 238000010186 staining Methods 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 210000002700 urine Anatomy 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 239000003925 fat Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 235000018102 proteins Nutrition 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 3
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 239000000427 antigen Substances 0.000 description 3
- 102000036639 antigens Human genes 0.000 description 3
- 108091007433 antigens Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010005003 Bladder cancer Diseases 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- 102000016942 Elastin Human genes 0.000 description 2
- 108010014258 Elastin Proteins 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 2
- 239000012491 analyte Substances 0.000 description 2
- 239000012620 biological material Substances 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 229920002549 elastin Polymers 0.000 description 2
- 150000002211 flavins Chemical class 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 2
- 210000004882 non-tumor cell Anatomy 0.000 description 2
- 201000002528 pancreatic cancer Diseases 0.000 description 2
- 208000008443 pancreatic carcinoma Diseases 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 201000005112 urinary bladder cancer Diseases 0.000 description 2
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 1
- 235000011330 Armoracia rusticana Nutrition 0.000 description 1
- 240000003291 Armoracia rusticana Species 0.000 description 1
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000005068 bladder tissue Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000008098 formaldehyde solution Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004923 pancreatic tissue Anatomy 0.000 description 1
- 150000002978 peroxides Chemical class 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 235000002374 tyrosine Nutrition 0.000 description 1
- 150000003668 tyrosines Chemical class 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Chemical & Material Sciences (AREA)
- Databases & Information Systems (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Artificial Intelligence (AREA)
- Analytical Chemistry (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
Abstract
Description
本出願は、2020年10月27日に出願された米国仮特許出願第63/106,114号の利益および優先権を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。
本明細書に開示される方法およびシステムは、一般に、デジタル病理画像を処理することに関する。具体的には、機械学習および画像処理技術が、多重化免疫蛍光画像における自己蛍光アーチファクトを識別するために使用される。
デジタル病理学は、試料(例えば、組織試料、血液試料、尿試料など)のスライドをデジタル画像にスキャンすることを含む。試料は、細胞中の選択されたタンパク質(抗原)が試料の残りの部分に対して示差的に視覚的にマークされるように染色されることができる。検体中の標的タンパク質は、バイオマーカーと呼ばれることがある。異なるバイオマーカーについて複数の染色を有するデジタル画像が、組織試料について生成されることができる。これらのデジタル画像は、多重化免疫蛍光画像と呼ばれることがある。例えば、多重化免疫蛍光画像は、組織試料中の腫瘍細胞と非腫瘍細胞との間の空間的関係の視覚化を可能にすることができる。画像分析が実行されて、組織試料中のバイオマーカーを識別および定量化することができる。画像分析は、(例えば)疾患の診断、処置計画の決定、または治療に対する反応の評価を知らせるために、(例えば、存在、サイズ、形状および/または位置に関して)バイオマーカーの特性評価を容易にするためにコンピューティングシステムまたは病理医によって実行されることができる。
いくつかの実施形態では、コンピュータ実装方法が提供される。検体のスライスの多重化免疫蛍光画像がアクセスされる。多重化免疫蛍光画像は、1つまたは複数の自己蛍光アーチファクト(例えば、赤血球、脂肪、組織、または結合組織などの自己-蛍光生物学的要素)を含むことができる。多重化免疫蛍光画像は、機械学習モデル(U-Netモデル)を使用して処理される。処理の出力は、多重化免疫蛍光画像が1つまたは複数の自己蛍光アーチファクトを含むかどうかに関する予測に対応することができる。予測は、自己蛍光アーチファクトを描写すると予測された多重化免疫蛍光画像の1つまたは複数の特定の部分を識別することができる。後続の画像処理は、予測に基づいて調整される。後続の画像処理が行われ、後続の画像処理の結果が出力される。結果は、検体の予測される特性評価に対応することができる。
I.概要
本開示は、自動化された自動蛍光アーチファクト識別のための技術を記載する。より具体的には、本開示のいくつかの実施形態は、腫瘍の検出および分析をサポートまたは改善するために、多重化免疫蛍光画像における自己蛍光アーチファクトを識別するための機械学習技術を提供する。
本明細書で使用される場合、「自己蛍光アーチファクト」という用語は、光を吸収すると自然に光を放射する生物学的成分を指す。例えば、赤血球、脂肪、フラビン、エラスチン、結合組織およびコラーゲンは、それらが光を吸収すると自己蛍光を示す。いくつかの実施形態では、「自己蛍光アーチファクト」という用語は、蛍光マーカーによって標的化された構造の検出を妨げる生物学的成分を指す。
図2は、自動蛍光アーチファクト識別の検出を容易にするために機械-学習モデルを訓練および使用し、デジタル病理画像を処理するための例示的なコンピューティングシステム200を示している。コンピューティングシステム200は、機械学習モデルを訓練して実行するための分析システム205を含むことができる。機械学習モデルの例は、深層畳み込みニューラルネットワーク、U-Net、V-Net、残差ニューラルネットワーク、またはリカレントニューラルネットワークとすることができる。機械学習モデルは、多重化免疫蛍光画像が赤血球(RBC)、脂肪、組織、または接続された組織などの1つまたは複数の自己蛍光アーチファクトを含むかどうかを(例えば)予測するために訓練および/または使用されることができる。分析システム205は、別のタイプの検出(例えば、腫瘍細胞を示す)を実行するために、1つまたは複数の他の機械学習モデルをさらに訓練および/または使用することができる。他の機械学習モデルは、(例えば)畳み込みニューラルネットワーク、U-Net、および/または深層ニューラルネットワークを含むことができる。場合によっては、(例えば、各アーチファクトを除去または不明瞭にするために)アーチファクト-検出機械学習モデルからの結果を使用して画像が処理され、他の機械学習モデルは、他のタイプの検出を実行するために処理された画像を受信して使用することができる。場合によっては、アーチファクト検出機械-学習モデルからの結果は、他のタイプの検出を実行するために使用される除外データとなるパッチおよび/または画像を識別するために使用される。
図4に示すように、U-Net400は、縮小経路405(符号化器)および拡張経路410(復号器)を含むことができ、これによりu字形アーキテクチャが得られる。縮小経路405は、畳み込み(例えば、3×3の畳み込み(パッドなしの畳み込み))の繰り返し適用を含むCNNネットワークであり、それぞれの畳み込みの後に正規化線形ユニット(ReLU)およびダウンサンプリングのための最大プーリング演算(例えば、ストライド2の2×2最大プーリング)が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は2倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路410は、縮小経路405からの特徴および空間情報を組み合わせるCNNネットワークである(縮小経路405からの特徴マップのアップサンプリング)。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップコンボリューション(アップサンプリング演算子)、縮小経路405からの対応してトリミングされた特徴マップとの連結、それぞれの後に正規化線形ユニット(ReLU)が続く畳み込み(例えば、2つの3×3畳み込み)の繰り返し適用、および最終的な畳み込み(例えば、1×1畳み込み)が続き、二次元非標的領域マスクが生成される。局在化するために、縮小経路405からの高解像度特徴は、拡張経路410からのアップサンプリングされた出力と合成される。
図5~図8は、訓練された機械学習モデル(例えば、U-Netモデル)を使用して4つの実験から生成された例示的な訓練精度結果を示している。具体的には、結果は、多重化免疫蛍光画像のパッチのデータベースからアクセスされるデータ要素に対応する。図5~図7については、図2に関して説明したように、データがクラスおよび試験および訓練データセットに分割された。データが訓練のために80%および試験のために20%に分割された。この例示的な例では、バイナリ交差エントロピー損失関数が使用されて、50エポック、2のバッチサイズ、および1×10-5の学習率を使用して修正U-Netを訓練した。
図9は、機械学習モデルを使用して多重化免疫蛍光画像内の自己蛍光アーチファクトを識別するプロセス900を示している。ブロック905において、検体のスライスの多重化免疫蛍光画像がアクセスされる。多重化免疫蛍光画像は、全スライド画像または自動蛍光アーチファクトを有する全スライド画像のパッチに対応することができる。多重化免疫蛍光画像は、腫瘍細胞のセットの特性評価を決定するために複数の染色によって染色されることができる。特徴選択のために多重化免疫蛍光画像に対して前処理が行われてもよい。
本開示のいくつかの実施形態は、1つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、1つまたは複数のデータプロセッサ上で実行されると1つまたは複数のデータプロセッサに、本書に開示された1つまたは複数の方法の一部または全部および/または1つまたは複数のプロセスの一部または全部を実行させる、命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つまたは複数のデータプロセッサに、本書に開示された1つまたは複数の方法の一部または全部および/または1つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において、有形に具現化されたコンピュータプログラム製品を含む。
Claims (39)
- コンピュータ実装方法であって、
検体のスライスの多重化免疫蛍光画像にアクセスすることであって、前記多重化免疫蛍光画像が1つまたは複数の自己蛍光アーチファクトを含む、検体のスライスの多重化免疫蛍光画像にアクセスすることと、
機械学習モデルを使用して前記多重化免疫蛍光画像を処理することであって、前記処理の出力が、前記多重化免疫蛍光画像が前記多重化免疫蛍光画像の1つまたは複数の特定の部分に1つまたは複数の自己蛍光アーチファクトを含むという予測に対応する、多重化免疫蛍光画像を処理することと、
前記予測に基づいて後続の画像処理を調整することと、
前記後続の画像処理を実行することと、
前記後続の画像処理の結果を出力することであって、前記結果が前記検体の予測された特性評価に対応する、後続の画像処理の結果を出力することと、
を含む、コンピュータ実装方法。 - 前記1つまたは複数の自己蛍光アーチファクトのそれぞれの前記予測に基づいて前記多重化免疫蛍光画像の修正バージョンを生成することであって、前記後続の画像処理が前記多重化免疫蛍光画像の前記修正バージョンを処理することを含む、多重化免疫蛍光画像の修正バージョンを生成することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記後続の画像処理を調整することが、
前記多重化免疫蛍光画像の1つまたは複数の領域のそれぞれについて、前記多重化免疫蛍光画像の前記1つまたは複数の特定の部分に対応する少なくとも1つのメトリックが所定の閾値を超えることを決定することを含み、前記少なくとも1つのメトリックが、前記処理の前記出力の少なくとも一部を含むか、または前記処理の前記出力に基づいて生成される、請求項1に記載のコンピュータ実装方法。 - 前記後続の画像処理を実行することが、
前記多重化免疫蛍光画像の前記1つまたは複数の特定の部分の位置に基づいて1つまたは複数の他の画像のそれぞれを修正することであって、前記1つまたは複数の他の画像のそれぞれが前記検体の別のスライスに対応する、1つまたは複数の他の画像のそれぞれを修正することと、
前記修正された1つまたは複数の他の画像を処理することと、
を含む、請求項1に記載のコンピュータ実装方法。 - 前記1つまたは複数の自己蛍光アーチファクトが、1つまたは複数の赤血球を描写する、請求項1に記載のコンピュータ実装方法。
- 前記機械学習モデルがU-Netモデルを含む、請求項1に記載のコンピュータ実装方法。
- 前記多重化免疫蛍光画像にアクセスする前に、1つまたは複数のパッチを含む全スライド画像を受信することと、
前記パッチの特徴の識別に基づいて前記1つまたは複数のパッチのうちの1つのパッチを選択することであって、前記パッチが前記多重化免疫蛍光画像に対応する、1つまたは複数のパッチのうちの1つのパッチを選択することと、
をさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記多重化免疫蛍光画像にアクセスする前に、
第1のバイオマーカーについての第1の染色を前記検体の試料スライスに適用することと、
前記第1の染色によって前記試料スライスの第1の画像を生成することと、
第2のバイオマーカーについての第2の染色を前記検体の前記試料スライスに適用することと、
前記第2の染色によって前記試料スライスの第2の画像を生成することと、
前記第1の画像と前記第2の画像とを合成して前記多重化免疫蛍光画像を生成することと、
をさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記後続の画像処理を実行することが、腫瘍細胞のセットの描写を検出することを含み、前記結果が、前記腫瘍細胞のセットの存在、量および/またはサイズを特性評価する、請求項1に記載のコンピュータ実装方法。
- 前記多重化免疫蛍光画像が、前記検体のスライスに対するチラミドベースの染色を含む、請求項1に記載のコンピュータ実装方法。
- 前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記チャネル画像を合成して合成画像を生成することと、
前記機械学習モデルを使用して前記合成画像を処理することと、
を含む、請求項1に記載のコンピュータ実装方法。 - 前記機械学習モデルが第1の機械学習モデルであり、前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記第1の機械学習モデルを使用して前記チャネル画像の第1のチャネル画像を処理することと、
さらなる対応する機械学習モデルを使用して前記チャネル画像のさらなるチャネル画像を処理することと、
を含む、請求項1に記載のコンピュータ実装方法。 - 前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記予測に基づいて前記多重化免疫蛍光画像を調整して調整画像を生成することと、
後続の画像処理のために前記調整画像を出力することと、
をさらに含む、請求項1に記載のコンピュータ実装方法。 - システムであって、
1つまたは複数のデータプロセッサと、
前記1つまたは複数のデータプロセッサ上で実行されると、前記1つまたは複数のデータプロセッサに動作を実行させる、命令を含む非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
検体のスライスの多重化免疫蛍光画像にアクセスすることであって、前記多重化免疫蛍光画像が1つまたは複数の自己蛍光アーチファクトを含む、検体のスライスの多重化免疫蛍光画像にアクセスすることと、
機械学習モデルを使用して前記多重化免疫蛍光画像を処理することであって、前記処理の出力が、前記多重化免疫蛍光画像が前記多重化免疫蛍光画像の1つまたは複数の特定の部分に1つまたは複数の自己蛍光アーチファクトを含むという予測に対応する、多重化免疫蛍光画像を処理することと、
前記予測に基づいて後続の画像処理を調整することと、
前記後続の画像処理を実行することと、
前記後続の画像処理の結果を出力することであって、前記結果が前記検体の予測された特性評価に対応する、後続の画像処理の結果を出力することと、
を含む、システム。 - 前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、前記命令が、前記1つまたは複数のデータプロセッサ上で実行されると、前記1つまたは複数のデータプロセッサに、
前記1つまたは複数の自己蛍光アーチファクトのそれぞれの前記予測に基づいて前記多重化免疫蛍光画像の修正バージョンを生成することであって、前記後続の画像処理が前記多重化免疫蛍光画像の前記修正バージョンを処理することを含む、多重化免疫蛍光画像の修正バージョンを生成することを含む動作を実行させる、請求項14に記載のシステム。 - 前記後続の画像処理を調整することが、
前記多重化免疫蛍光画像の1つまたは複数の領域のそれぞれについて、前記多重化免疫蛍光画像の前記1つまたは複数の特定の部分に対応する少なくとも1つのメトリックが所定の閾値を超えることを決定することを含み、前記少なくとも1つのメトリックが、前記処理の前記出力の少なくとも一部を含むか、または前記処理の前記出力に基づいて生成される、請求項14に記載のシステム。 - 前記後続の画像処理を実行することが、
前記多重化免疫蛍光画像の前記1つまたは複数の特定の部分の位置に基づいて1つまたは複数の他の画像のそれぞれを修正することであって、前記1つまたは複数の他の画像のそれぞれが前記検体の別のスライスに対応する、1つまたは複数の他の画像のそれぞれを修正することと、
前記修正された1つまたは複数の他の画像を処理することと、
を含む、請求項14に記載のシステム。 - 前記1つまたは複数の自己蛍光アーチファクトが、1つまたは複数の赤血球を描写する、請求項14に記載のシステム。
- 前記機械学習モデルがU-Netモデルを含む、請求項14に記載のシステム。
- 前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、前記命令が、前記1つまたは複数のデータプロセッサ上で実行されると、前記1つまたは複数のデータプロセッサに、
前記多重化免疫蛍光画像にアクセスする前に、1つまたは複数のパッチを含む全スライド画像を受信することと、
前記パッチの特徴の識別に基づいて前記1つまたは複数のパッチのうちの1つのパッチを選択することであって、前記パッチが前記多重化免疫蛍光画像に対応する、1つまたは複数のパッチのうちの1つのパッチを選択することと、
を含む動作を実行させる、請求項14に記載のシステム。 - 前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、前記命令が、前記1つまたは複数のデータプロセッサ上で実行されると、前記1つまたは複数のデータプロセッサに、前記多重化免疫蛍光画像にアクセスする前に、
第1のバイオマーカーについての第1の染色を前記検体の試料スライスに適用することと、
前記第1の染色によって前記試料スライスの第1の画像を生成することと、
第2のバイオマーカーについての第2の染色を前記検体の前記試料スライスに適用することと、
前記第2の染色によって前記試料スライスの第2の画像を生成することと、
前記第1の画像と前記第2の画像とを合成して前記多重化免疫蛍光画像を生成することと、
を含む動作を実行させる、請求項14に記載のシステム。 - 前記後続の画像処理を実行することが、腫瘍細胞のセットの描写を検出することを含み、前記結果が、前記腫瘍細胞のセットの存在、量および/またはサイズを特性評価する、請求項14に記載のシステム。
- 前記多重化免疫蛍光画像が、前記検体のスライスに対するチラミドベースの染色を含む、請求項14に記載のシステム。
- 前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記チャネル画像を合成して合成画像を生成することと、
前記機械学習モデルを使用して前記合成画像を処理することと、
を含む、請求項14に記載のシステム。 - 前記機械学習モデルが第1の機械学習モデルであり、前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記第1の機械学習モデルを使用して前記チャネル画像の第1のチャネル画像を処理することと、
さらなる対応する機械学習モデルを使用して前記チャネル画像のさらなるチャネル画像を処理することと、
を含む、請求項14に記載のシステム。 - 前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記予測に基づいて前記多重化免疫蛍光画像を調整して調整画像を生成することと、
後続の画像処理のために前記調整画像を出力することと、
をさらに含む、請求項14に記載のシステム。 - 1つまたは複数のデータプロセッサに動作を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品であって、前記動作が、
検体のスライスの多重化免疫蛍光画像にアクセスすることであって、前記多重化免疫蛍光画像が1つまたは複数の自己蛍光アーチファクトを含む、検体のスライスの多重化免疫蛍光画像にアクセスすることと、
機械学習モデルを使用して前記多重化免疫蛍光画像を処理することであって、前記処理の出力が、前記多重化免疫蛍光画像が前記多重化免疫蛍光画像の1つまたは複数の特定の部分に1つまたは複数の自己蛍光アーチファクトを含むという予測に対応する、多重化免疫蛍光画像を処理することと、
前記予測に基づいて後続の画像処理を調整することと、
前記後続の画像処理を実行することと、
前記後続の画像処理の結果を出力することであって、前記結果が前記検体の予測された特性評価に対応する、後続の画像処理の結果を出力することと、
を含む、コンピュータプログラム製品。 - 1つまたは複数のデータプロセッサに、
前記1つまたは複数の自己蛍光アーチファクトのそれぞれの前記予測に基づいて前記多重化免疫蛍光画像の修正バージョンを生成することであって、前記後続の画像処理が前記多重化免疫蛍光画像の前記修正バージョンを処理することを含む、多重化免疫蛍光画像の修正バージョンを生成することを含む動作を実行させるように構成された命令をさらに含む、請求項27に記載のコンピュータプログラム製品。 - 前記後続の画像処理を調整することが、
前記多重化免疫蛍光画像の1つまたは複数の領域のそれぞれについて、前記多重化免疫蛍光画像の前記1つまたは複数の特定の部分に対応する少なくとも1つのメトリックが所定の閾値を超えることを決定することを含み、前記少なくとも1つのメトリックが、前記処理の前記出力の少なくとも一部を含むか、または前記処理の前記出力に基づいて生成される、請求項27に記載のコンピュータプログラム製品。 - 前記後続の画像処理を実行することが、
前記多重化免疫蛍光画像の前記1つまたは複数の特定の部分の位置に基づいて1つまたは複数の他の画像のそれぞれを修正することであって、前記1つまたは複数の他の画像のそれぞれが前記検体の別のスライスに対応する、1つまたは複数の他の画像のそれぞれを修正することと、
前記修正された1つまたは複数の他の画像を処理することと、
を含む、請求項27に記載のコンピュータプログラム製品。 - 前記1つまたは複数の自己蛍光アーチファクトが、1つまたは複数の赤血球を描写する、請求項27に記載のコンピュータプログラム製品。
- 前記機械学習モデルがU-Netモデルを含む、請求項27に記載のコンピュータプログラム製品。
- 1つまたは複数のデータプロセッサに、
前記多重化免疫蛍光画像にアクセスする前に、1つまたは複数のパッチを含む全スライド画像を受信することと、
前記パッチの特徴の識別に基づいて前記1つまたは複数のパッチのうちの1つのパッチを選択することであって、前記パッチが前記多重化免疫蛍光画像に対応する、1つまたは複数のパッチのうちの1つのパッチを選択することと、を含む動作を実行させるように構成された命令をさらに含む、請求項27に記載のコンピュータプログラム製品。 - 1つまたは複数のデータプロセッサに、前記多重化免疫蛍光画像にアクセスする前に、
第1のバイオマーカーについての第1の染色を前記検体の試料スライスに適用することと、
前記第1の染色によって前記試料スライスの第1の画像を生成することと、
第2のバイオマーカーについての第2の染色を前記検体の前記試料スライスに適用することと、
前記第2の染色によって前記試料スライスの第2の画像を生成することと、
前記第1の画像と前記第2の画像とを合成して前記多重化免疫蛍光画像を生成することと、を含む動作を実行させるように構成された命令をさらに含む、請求項27に記載のコンピュータプログラム製品。 - 前記後続の画像処理を実行することが、腫瘍細胞のセットの描写を検出することを含み、前記結果が、前記腫瘍細胞のセットの存在、量および/またはサイズを特性評価する、請求項27に記載のコンピュータプログラム製品。
- 前記多重化免疫蛍光画像が、前記検体のスライスに対するチラミドベースの染色を含む、請求項27に記載のコンピュータプログラム製品。
- 前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記チャネル画像を合成して合成画像を生成することと、
前記機械学習モデルを使用して前記合成画像を処理することと、
を含む、請求項27に記載のコンピュータプログラム製品。 - 前記機械学習モデルが第1の機械学習モデルであり、前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記第1の機械学習モデルを使用して前記チャネル画像の第1のチャネル画像を処理することと、
さらなる対応する機械学習モデルを使用して前記チャネル画像のさらなるチャネル画像を処理することと、
を含む、請求項27に記載のコンピュータプログラム製品。 - 前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記予測に基づいて前記多重化免疫蛍光画像を調整して調整画像を生成することと、
後続の画像処理のために前記調整画像を出力することと、
をさらに含む、請求項27に記載のコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063106114P | 2020-10-27 | 2020-10-27 | |
US63/106,114 | 2020-10-27 | ||
PCT/US2021/053934 WO2022093510A1 (en) | 2020-10-27 | 2021-10-07 | Identifying auto-fluorescent artifacts in a multiplexed immunofluorescent image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023547169A true JP2023547169A (ja) | 2023-11-09 |
JP7487418B2 JP7487418B2 (ja) | 2024-05-20 |
Family
ID=78483544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023525046A Active JP7487418B2 (ja) | 2020-10-27 | 2021-10-07 | 多重化免疫蛍光画像における自己蛍光アーチファクトの識別 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230251199A1 (ja) |
EP (1) | EP4238052A1 (ja) |
JP (1) | JP7487418B2 (ja) |
CN (1) | CN116547693A (ja) |
WO (1) | WO2022093510A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11858514B2 (en) | 2021-03-30 | 2024-01-02 | Zoox, Inc. | Top-down scene discrimination |
US11810225B2 (en) * | 2021-03-30 | 2023-11-07 | Zoox, Inc. | Top-down scene generation |
CN115902227B (zh) * | 2022-12-22 | 2024-05-14 | 巴迪泰(广西)生物科技有限公司 | 一种免疫荧光试剂盒的检测评估方法及系统 |
-
2021
- 2021-10-07 WO PCT/US2021/053934 patent/WO2022093510A1/en active Application Filing
- 2021-10-07 EP EP21801759.8A patent/EP4238052A1/en active Pending
- 2021-10-07 JP JP2023525046A patent/JP7487418B2/ja active Active
- 2021-10-07 CN CN202180073269.0A patent/CN116547693A/zh active Pending
-
2023
- 2023-04-12 US US18/299,549 patent/US20230251199A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230251199A1 (en) | 2023-08-10 |
CN116547693A (zh) | 2023-08-04 |
JP7487418B2 (ja) | 2024-05-20 |
WO2022093510A1 (en) | 2022-05-05 |
EP4238052A1 (en) | 2023-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
US10755406B2 (en) | Systems and methods for co-expression analysis in immunoscore computation | |
JP7487418B2 (ja) | 多重化免疫蛍光画像における自己蛍光アーチファクトの識別 | |
JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
US20230186659A1 (en) | Machine learning models for cell localization and classification learned using repel coding | |
CN115088022A (zh) | 用于训练机器学习算法和维护患者隐私的联邦学习系统 | |
US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
JP2022547722A (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
WO2023121846A1 (en) | Adversarial robustness of deep learning models in digital pathology | |
EP4196906A1 (en) | Automated identification of necrotic regions in digital images of multiplex immunofluorescence stained tissue | |
US20240112341A1 (en) | Digital synthesis of histological stains using multiplexed immunofluorescence imaging | |
WO2023107844A1 (en) | Label-free virtual immunohistochemical staining of tissue using deep learning | |
JP7492650B2 (ja) | 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別 | |
US20230230242A1 (en) | Correcting differences in multi-scanners for digital pathology images using deep learning | |
US20240046473A1 (en) | Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images | |
JP2024520354A (ja) | 病理組織画像におけるアーチファクトの自動セグメンテーション | |
WO2024025969A1 (en) | Architecture-aware image tiling for processing pathology slides | |
WO2023043709A1 (en) | Machine-learning techniques for predicting phenotypes in duplex digital pathology images | |
JP2024521240A (ja) | 免疫組織化学(ihc)の合成画像への組織化学的染色画像の変換 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7487418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |