JP2024521240A - 免疫組織化学（ｉｈｃ）の合成画像への組織化学的染色画像の変換 - Google Patents
免疫組織化学（ｉｈｃ）の合成画像への組織化学的染色画像の変換 Download PDFInfo
- Publication number
- JP2024521240A JP2024521240A JP2023562767A JP2023562767A JP2024521240A JP 2024521240 A JP2024521240 A JP 2024521240A JP 2023562767 A JP2023562767 A JP 2023562767A JP 2023562767 A JP2023562767 A JP 2023562767A JP 2024521240 A JP2024521240 A JP 2024521240A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stained
- ihc
- images
- stain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 55
- 230000001744 histochemical effect Effects 0.000 title claims abstract description 40
- 238000010186 staining Methods 0.000 title claims description 16
- 238000003364 immunohistochemistry Methods 0.000 title abstract description 57
- 238000006243 chemical reaction Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 98
- 239000000427 antigen Substances 0.000 claims abstract description 36
- 102000036639 antigens Human genes 0.000 claims abstract description 36
- 108091007433 antigens Proteins 0.000 claims abstract description 36
- 230000014509 gene expression Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 45
- 206010028980 Neoplasm Diseases 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 20
- 238000003745 diagnosis Methods 0.000 claims description 13
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 12
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 6
- 239000003153 chemical reaction reagent Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011282 treatment Methods 0.000 claims description 5
- 230000002055 immunohistochemical effect Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 55
- 230000008569 process Effects 0.000 description 26
- 239000000523 sample Substances 0.000 description 17
- 210000004027 cell Anatomy 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 12
- 230000007170 pathology Effects 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000010200 validation analysis Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 239000012472 biological sample Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 201000011510 cancer Diseases 0.000 description 8
- 238000002790 cross-validation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 206010006187 Breast cancer Diseases 0.000 description 7
- 208000026310 Breast neoplasm Diseases 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000000090 biomarker Substances 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 239000012859 tissue stain Substances 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 150000002632 lipids Chemical class 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- DHRLEVQXOMLTIM-UHFFFAOYSA-N phosphoric acid;trioxomolybdenum Chemical compound O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.OP(O)(O)=O DHRLEVQXOMLTIM-UHFFFAOYSA-N 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 102000005962 receptors Human genes 0.000 description 2
- 108020003175 receptors Proteins 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000243818 Annelida Species 0.000 description 1
- 241000239223 Arachnida Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 238000010989 Bland-Altman Methods 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 206010050337 Cerumen impaction Diseases 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 229920002527 Glycogen Polymers 0.000 description 1
- 238000011460 HER2-targeted therapy Methods 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101500025419 Homo sapiens Epidermal growth factor Proteins 0.000 description 1
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241000289419 Metatheria Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- SJEYSFABYSGQBG-UHFFFAOYSA-M Patent blue Chemical compound [Na+].C1=CC(N(CC)CC)=CC=C1C(C=1C(=CC(=CC=1)S([O-])(=O)=O)S([O-])(=O)=O)=C1C=CC(=[N+](CC)CC)C=C1 SJEYSFABYSGQBG-UHFFFAOYSA-M 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 239000000980 acid dye Substances 0.000 description 1
- 102000004139 alpha-Amylases Human genes 0.000 description 1
- 108090000637 alpha-Amylases Proteins 0.000 description 1
- 229940024171 alpha-amylase Drugs 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 239000000981 basic dye Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 210000002939 cerumen Anatomy 0.000 description 1
- 208000030499 combat disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007435 diagnostic evaluation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 230000002550 fecal effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 229940096919 glycogen Drugs 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 229940116978 human epidermal growth factor Drugs 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000002934 lysing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000001531 micro-dissection Methods 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- GVUGOAYIVIDWIO-UFWWTJHBSA-N nepidermin Chemical compound C([C@@H](C(=O)N[C@@H]([C@@H](C)CC)C(=O)NCC(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CS)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC=1C=CC(O)=CC=1)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCCNC(N)=N)C(O)=O)NC(=O)CNC(=O)[C@@H](NC(=O)[C@@H](NC(=O)[C@H](CS)NC(=O)[C@H](CC(N)=O)NC(=O)[C@H](CS)NC(=O)[C@H](C)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](C)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@@H](NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@H](CCSC)NC(=O)[C@H](CS)NC(=O)[C@@H](NC(=O)CNC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC=1NC=NC=1)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CS)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)CNC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC=1NC=NC=1)NC(=O)[C@H](CO)NC(=O)[C@H](CC(C)C)NC(=O)[C@H]1N(CCC1)C(=O)[C@H](CS)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CO)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CO)NC(=O)[C@@H](N)CC(N)=O)C(C)C)[C@@H](C)CC)C(C)C)C(C)C)C1=CC=C(O)C=C1 GVUGOAYIVIDWIO-UFWWTJHBSA-N 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 238000012335 pathological evaluation Methods 0.000 description 1
- KHIWWQKSHDUIBK-UHFFFAOYSA-N periodic acid Chemical compound OI(=O)(=O)=O KHIWWQKSHDUIBK-UHFFFAOYSA-N 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 210000004915 pus Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001138 tear Anatomy 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本開示は、組織化学的染色画像から免疫組織化学（ＩＨＣ）の合成画像を得るための技法に関する。とりわけ、本開示の態様は、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスすることと、訓練された生成ネットワークを使用して入力画像を処理することによって合成画像を生成することと、合成画像を出力することとを対象とする。合成画像は、第１の抗原を対象にする少なくとも１つのＩＨＣ染色により染色されている組織切片を示し、技法はまた、合成画像から第１の抗原の発現レベルに基づく入力を受信すること、および／または、合成画像から第１の抗原の発現レベルに基づく値を生成することを含んでよい。【選択図】図１５Ａ
Description
本開示は、デジタル病理学に関し、とりわけ、組織化学的染色画像から免疫組織化学（ＩＨＣ）の合成画像を得ることを含む技法に関する。
組織病理学は、疾患の診断、治療への反応の判定、および／または疾患と闘うための薬剤の開発など、さまざまな理由での組織の切片から作られたスライドの検査を含み得る。組織切片およびそれらの細胞は事実上透明であるため、スライドの作成は、典型的には、関係のある構造をより見やすくするために組織切片を染色することを含む。デジタル病理学は、デジタル画像を得るために染色したスライドの走査を含み得、該デジタル画像は、その後、デジタル病理学画像解析によって検査され得る、および／または病理学者によって解釈され得る。
いくつかのタイプの組織染色は、特定のタンパク質（例えば、抗原）に非常に特異的であり、かつこれにのみ結合し、試料における該タンパク質の存在は、特定の条件（例えば、特定のタイプのがん）を示す場合がある。これらの染色は、診断に必須である情報を提供することができるが、典型的には、非常に高価であり、複雑な実験装置および実験法を必要とする。より低いコストで利用可能性がより広い他のタイプの組織染色は、細胞内の異なる構造間および／または試料における組織間の視覚コントラストなど、試料についての重要な一般情報を提供することができるが、抗原特異的検出に基づく診断を行うためにそのような染色を使用することは不可能であった。
さまざまな実施形態では、画像変換のコンピュータ実施方法であって、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスすることと、生成ネットワークを使用して入力画像を処理することによって合成画像を生成することであって、生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されている、合成画像を生成することと、合成画像を出力することと、合成画像から第１の抗原の発現レベルに基づく入力を受信することと、を含み、合成画像は、第１の抗原を対象にする少なくとも１つの免疫組織化学的染色（ＩＨＣ染色）で染色されている組織切片を示し、複数の画像ペアのそれぞれの画像ペアは、少なくとも１つの組織化学的染色により染色されている組織の第１の切片の画像、および少なくとも１つのＩＨＣ染色により染色されている組織の第２の切片の画像を含む、画像変換のコンピュータ実施方法が提供される。
いくつかの実施形態では、方法は、合成画像から、第１の抗原の発現レベルに基づく値を判断することを含む。判断することは、例えば、訓練されたネットワークによって行われ得る。
さまざまな実施形態では、画像変換のコンピュータ実施方法であって、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスすることと、生成ネットワークを使用して入力画像を処理することによって合成画像を生成することであって、生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されている、合成画像を生成することと、合成画像を出力することと、合成画像から第１の抗原の発現レベルに基づく入力を受信することと、を含み、合成画像は、第１の抗原を対象にする少なくとも１つのＩＨＣ染色により染色されている組織切片を示し、複数の画像ペアのそれぞれの画像ペアは、少なくとも１つの組織化学的染色により染色されている組織の第１の切片の画像、および少なくとも１つのＩＨＣ染色により染色されている組織の第２の切片の画像を含む、画像変換のコンピュータ実施方法が提供される。
いくつかの実施形態では、組織化学的染色はヘマトキシリンおよびエオシンである。
いくつかの実施形態では、第１の抗原は腫瘍関連抗原である。例えば、第１の抗原はヒト上皮成長受容体２（ＨＥＲ２）であってよい。そのような場合、受信した入力値および／または生成した値はＨＥＲ２スコアであってよい。
いくつかの実施形態では、生成ネットワークは敵対的生成ネットワークの一部として訓練された。
いくつかの実施形態では、複数の画像ペアのそれぞれの画像ペアでは、第１の切片の画像は第２の切片の画像にステッチされる。そのような場合、複数の画像ペアのそれぞれの画像ペアでは、第１の切片の画像は、第２の切片の画像にステッチされる前に第２の切片の画像に登録され得る。
いくつかの実施形態では、コンピュータ実施方法は、ユーザによって、合成画像に基づいて対象の診断を判断することをさらに含む。
いくつかの実施形態では、コンピュータ実施方法は、ユーザによって、（ｉ）合成画像および／または（ｉｉ）対象の診断に基づいて、化合物による治療を行うことをさらに含む。
いくつかの実施形態では、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサ上で実行されるとき、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全てを実行させる命令を収容する非一時的コンピュータ可読記憶媒体と、を含むシステムが提供される。
いくつかの実施形態では、非一時的機械可読記憶媒体において有形に具現化され、かつ１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全てを実行させるように構成された命令を含むコンピュータプログラム製品が提供される。
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、１つまたは複数のデータプロセッサ上で実行されるとき、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させる命令を収容する非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
用いられている用語および表現は、説明の条件として使用され、限定するものではなく、示されかつ説明される特徴またはこの一部のいずれの同義語も除外するような用語および表現の使用を意図するものではなく、認識されるように、特許請求される発明の範囲内でさまざまな修正が可能である。よって、特許請求される本発明は、具体的には、実施形態およびオプションの特徴により開示されているが、本明細書に開示された概念の修正および変形を当業者が採用してよく、そのような修正および変形が添付の特許請求の範囲によって定められる本発明の範囲内にあるとみなされることは、理解されるべきである。
この特許または出願ファイルは、カラーで作製された少なくとも１つの図面を収容する。彩色図面を伴うこの特許または特許出願公開のコピーは、請求および必要な料金の納付後に、米国特許商標庁により提供されることになる。
さまざまな実施形態の態様および特徴は、添付の図面を参照しながら例を説明することによって容易に理解されるであろう。
本明細書に開示されたシステム、方法、およびソフトウェアによって、組織化学的染色画像からＩＨＣの合成画像を得ることが容易になる。ある特定の実施形態について説明されているが、これらの実施形態は例として提示されているに過ぎず、保護範囲を限定することは意図されていない。本明細書に説明される装置、方法、およびシステムは、さまざまな他の形態で具現化されてよい。さらに、本明細書に説明される例示の方法およびシステムの形態のさまざまな省略、置換、および変更は、保護範囲から逸脱することなく行われてよい。
Ｉ．概要
デジタル病理学は、対象を正確に診断し、かつ治療意思決定を案内するためにデジタル画像の解釈を伴う場合がある。デジタル病理学ソリューションでは、画像解析ワークフローは、生物学的関心対象、例えば、陽性腫瘍細胞、陰性腫瘍細胞などを自動的に検出または分類するように確立可能である。図１は、デジタル病理学ソリューションのワークフロー１００の図式の一例を示す。デジタル病理学ソリューションのワークフロー１００は、ブロック１０５において、組織スライドを得ることと、ブロック１１０において、デジタル画像を得るためにデジタル画像スキャナ（例えば、ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ（ＷＳＩ）スキャナ）によって事前選択された領域または組織スライドの全体を走査することと、ブロック１１５において、１つまたは複数の画像解析アルゴリズムを使用してデジタル画像に関する画像解析を行うことと、画像解析に基づいて関心対象をスコアリングすること（例えば、陽性、陰性、中度、弱などの定量または半定量スコアリング）と、を含む。
デジタル病理学は、対象を正確に診断し、かつ治療意思決定を案内するためにデジタル画像の解釈を伴う場合がある。デジタル病理学ソリューションでは、画像解析ワークフローは、生物学的関心対象、例えば、陽性腫瘍細胞、陰性腫瘍細胞などを自動的に検出または分類するように確立可能である。図１は、デジタル病理学ソリューションのワークフロー１００の図式の一例を示す。デジタル病理学ソリューションのワークフロー１００は、ブロック１０５において、組織スライドを得ることと、ブロック１１０において、デジタル画像を得るためにデジタル画像スキャナ（例えば、ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ（ＷＳＩ）スキャナ）によって事前選択された領域または組織スライドの全体を走査することと、ブロック１１５において、１つまたは複数の画像解析アルゴリズムを使用してデジタル画像に関する画像解析を行うことと、画像解析に基づいて関心対象をスコアリングすること（例えば、陽性、陰性、中度、弱などの定量または半定量スコアリング）と、を含む。
例えば、疾患によって引き起こされた組織変化の評価は、薄い組織切片を検査することによって行われてよい。組織試料（例えば、腫瘍の試料）は、一連の切片を得るためにスライスされ得、それぞれの切片は、例えば、４～５ミクロンの厚さを有する。組織切片およびそれらの細胞は事実上透明であるため、スライドの作成は、典型的には、関係のある構造をより見やすくするために組織切片を染色することを含む。例えば、異なる組織の切片は、組織の異なる特性を表すために１つまたは複数の異なる染色により染色されてよい。
それぞれの切片は、スライド上に装着された後、デジタル画像を作成するために走査され、その後、デジタル病理学画像解析によって検査されおよび／または（例えば、画像ビューワソフトウェアを使用して）病理学者によって解釈され得る。病理学者は、画像解析アルゴリズムの使用を可能にして有意義な定量的尺度を抽出するために（例えば、生物学的関心対象を検出しかつ分類するために）、スライドのデジタル画像（例えば、腫瘍領域、壊死など）をレビューしかつ手動で注釈を付けてよい。従来、病理学者は、それぞれの連続した組織切片に対して同じ側面を特定するために、組織試料から複数の組織切片のそれぞれの連続画像に手動で注釈を付けてよい。
組織染色の１つのタイプは、組織構造を染色するために１つまたは複数の化学染料（例えば、酸性染料、塩基性染料）を使用する組織化学的染色である。組織化学的染色は、組織形態および／または細胞組織学の一般的側面を示すために（例えば、細胞核を細胞質と区別するために、脂質滴を示すために、など）使用され得る。組織化学的染色の１つの例はヘマトキシリンおよびエオシン（Ｈ＆Ｅ）である。組織化学的染色の他の例には、トリクロム染色（例えば、マッソントリクロム）、過ヨウ素酸シッフ（ＰＡＳ）、銀染色、および鉄染色が含まれる。組織化学的染色試薬（例えば、染料）の分子量は、典型的には、約５００キロダルトン（ｋＤ）以下であるが、いくつかの組織化学的染色試薬（例えば、アルシアンブルー、リンモリブデン酸（ＰＭＡ））は最高２，０００または３，０００ｋＤまでの分子量を有し得る。高分子量の組織化学的染色試薬の１つの事例にはαアミラーゼ（約５５ｋＤ）があり、これはグリコーゲンを示すために使用され得る。
別のタイプの組織染色は免疫組織化学（ＩＨＣ、「免疫染色」とも呼ばれる）であり、これは、具体的に、関心対象の標的抗原（バイオマーカーとも呼ばれる）に結合する一次抗体を使用する。ＩＨＣは直接的または間接的であってよい。直接ＩＨＣでは、一次抗体は標識（例えば、発色団またはフルオロフォア）に直接コンジュゲートされる。間接ＩＨＣでは、一次抗体は最初、標的抗原に結合された後、標識にコンジュゲートされる二次抗体（例えば、発色団またはフルオロフォア）は一次抗体に結合される。組織染色のためのＩＨＣの使用は、典型的には、非常に高価な試薬、ならびに組織化学的染色より複雑な実験装置および実験法を必要とする。ＩＨＣ試薬の分子量は、抗体が約１５０ｋＤ以上の分子量を有するため、組織化学的染色試薬の分子量よりはるかに高い。
腫瘍におけるヒト上皮成長因子受容体２（ＨＥＲ２）バイオマーカーの発現レベルは、乳がんを含むいくつかのタイプのがんの診断のための重要なバイオマーカーである。腫瘍がＨＥＲ２－陽性（ＨＥＲ２＋）またはＨＥＲ２－陰性（ＨＥＲ２－）であるかどうかおよびそれがどれくらい強力であるかは、特定の薬物または他の療法ががんの治療に効果的である可能性が高いかどうかを示し得る。下記の基準は、ＨＥＲ２スコアを、ＨＥＲ２－ＩＨＣ－染色されている腫瘍試料の切片のスライドに割り当てるために使用される：
ＨＥＲ２＋乳がんを診断するための現在の手法は、一般的に、Ｈ＆Ｅ染色試料のスライド、およびＩＨＣ染色試料の複数のスライドの病理学的評価に頼っている。乳がん診断を確定するために、ＨＥＲ２－ＩＨＣスライドのための追加の複数の組織切片の作成が典型的には必要とされる。図２は、Ｈ＆Ｅ染色されている腫瘍試料の切片の画像（左）、およびＨＥＲ２－ＩＨＣ染色されている同腫瘍試料の近傍切片の画像（右）の一例を示す。複数の染色画像の作成は、労働集約的であり得、余分なコストを発生させる。さらに、さらなる組織スライドおよび注釈をレビューするための病理学者を必要とする。
多くの診断シナリオでは（例えば、がん診断では）、Ｈ＆Ｅ染色試料が全ての対象のために作成されることは、そのような試料を作成することが常套的かつ容易であり、広く実践され利用可能である上安価であるため、一般的である。ヘマトキシリンは細胞核を青に染色するが、エオシンは細胞外マトリックスおよび細胞質をピンクに染色し、他の構造は、異なるシェード、色相、および／またはピンクと青との組み合わせを有するように染色され得る。Ｈ＆Ｅ染色は一般的な組織を特定することおよび細胞解剖学には有用であるが、ＩＨＣによって提供され得る、異なるタイプのがん間の区別（例えば、ＨＥＲ２スコアリング）など、ある特定の診断評価をサポートするために必要な特定の情報を提供することはできない。
これらの制約および他の制約を克服するために、組織化学的染色試料（例えば、Ｈ＆Ｅ染色試料）の画像からＩＨＣ染色試料を示す合成画像を生成するための技法が本明細書に開示される。そのような合成画像の生成は、対応するＩＨＣ染色試料を作成しかつ画像化する必要なく、試料におけるバイオマーカーの発現レベルの評価をサポートし得る。
合成画像の生成は訓練済み生成ネットワークによって行われ得、この生成ネットワークは、敵対的生成ネットワーク（ＧＡＮ）を訓練している間に学習したパラメータを含み得る。ＧＡＮは、入力画像が偽である（すなわち、生成ネットワークによって生成されている）か真である（すなわち、対象から収集された実際の画像を示す）かどうかを予測するように構成された識別ネットワークをさらに含んでよい。これらの予測の精度に基づくフィードバックは、訓練中に生成ネットワークに提供可能である。
本開示の１つの例示的な実施形態は、画像変換の方法であって、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスすることと、生成ネットワークを使用して入力画像を処理することによって合成画像を生成することと、合成画像を出力することと、合成画像から第１の抗原の発現レベルに基づく入力を受信することと、を含み、合成画像は、第１の抗原を対象にする少なくとも１つのＩＨＣ染色により染色されている組織切片を示し、生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されており、複数の画像ペアのそれぞれの画像ペアは、少なくとも１つの組織化学的染色により染色されている組織の第１の切片の画像、および少なくとも１つのＩＨＣ染色により染色されている組織の第２の切片の画像を含む、画像変換の方法を対象とする。
本開示の別の例示的な実施形態は、画像変換の方法であって、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスすることと、生成ネットワークを使用して入力画像を処理することによって合成画像を生成することと、合成画像を出力することと、合成画像から第１の抗原の発現レベルに基づく値を生成することと、を含み、合成画像は、第１の抗原を対象にする少なくとも１つのＩＨＣ染色により染色されている組織切片を示し、生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されており、複数の画像ペアのそれぞれの画像ペアは、少なくとも１つの組織化学的染色により染色されている組織の第１の切片の画像、および少なくとも１つのＩＨＣ染色により染色されている組織の第２の切片の画像を含む、画像変換の方法を対象とする。
有利には、本明細書に説明される画像変換の方法は、病理学者によるがん（例えば、乳がん）のサブタイプの効率的な診断の助けとなるようにＨ＆Ｅおよび合成ＩＨＣデータの使用を可能にする。そのような方法は、例えば、実際のＩＨＣ染色を行うことなく、（例えば、乳がんの対象の中で）ＨＥＲ２ ３＋腫瘍を有する対象を特定するために使用され得る高速スクリーニング方法の重要な一部として実装され得る。また、そのような「仮想染色」技術はまた、他の人工知能（ＡＩ）技術と組み合わせてＡＩシステムの信憑性を高める（例えば、出力されたアルゴリズムの弁明性および真実性を高める）ことができる。さらに進めると、本明細書に説明される画像変換の方法は、アルゴリズム検証および訓練のために大量の画像化データ（例えば、多数のＨＥＲ２－ＩＨＣの合成画像）を生成するために使用されてよく、それによって、アルゴリズム開発のコストおよび時間が削減される。
ＩＩ．定義
本明細書で使用される際、ある作用が何か「に基づく」とき、これはその作用がその何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
本明細書で使用される際、ある作用が何か「に基づく」とき、これはその作用がその何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
本明細書で使用される際、「実質的に」、「およそ」、および「約」という用語は、当業者には理解されるように、指定されたものの必ずしも全部ではないが大部分として定義される（および指定されたものを完全に含む）。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］内」で置き換えられてよく、パーセンテージは、０．１パーセント、１パーセント、５パーセント、および１０パーセントを含む。
本明細書で使用される際、「試料」、「生物学的試料」、または「組織試料」という用語は、ウイルスを含む任意の生物体から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはこれらの組み合わせなど）を含む任意の試料を指す。生物体の他の例には、哺乳動物（ヒト；猫、犬、馬、牛、および豚のような家畜動物；ならびにネズミ、ラット、および霊長類のような実験動物など）、昆虫、環形動物、クモ形類動物、有袋動物、爬虫類、両生動物、細菌、および真菌が含まれる。生物学的試料は、組織試料（組織切片および組織の針生検など）、細胞試料（パップスメアなどの細胞学的塗抹標本、または血液塗抹標本、または顕微解剖によって得られる細胞の試料など）、または画分、断片、もしくは細胞小器官（細胞を溶解させ、かつそれらの成分を遠心分離または別の方法で分離させることによって得られるものなど）を含む。生物学的試料の他の例には、血液、血清、尿、精液、ふん便物質、脳脊髄液、間質液、粘液、涙、汗、膿、生検組織（例えば、外科生検または針生検によって得られる）、乳頭吸引、耳垢、乳汁、膣液、唾液、スワブ（頬側スワブなど）、または第１の生体試料から取り出された生体分子を含有する任意の物質が含まれる。ある特定の実施形態では、本明細書で使用される「生物学的試料」という用語は、対象から得られた腫瘍またはこの一部分から作成された試料（均質化または液化試料など）を指す。
ＩＩＩ．デジタル病理学画像変換の技法
信頼できる結果は、ＨＥＲ２標的療法などのがん治療の利用可能性には重要である。病理学では、例えば、ＨＥＲ２－ＩＨＣは解析前の変数の影響を受けやすいことが知られている。本明細書に説明される技法の１つの応用では、Ｈ＆Ｅスライドの画像、およびそれらの画像から取り出されるＩＨＣの合成画像は、生成されたＩＨＣの合成画像を使用してＨＥＲ２スコア／染色強度レベルを予測することによって、乳がんの診断および免疫療法をサポートするために使用される。
信頼できる結果は、ＨＥＲ２標的療法などのがん治療の利用可能性には重要である。病理学では、例えば、ＨＥＲ２－ＩＨＣは解析前の変数の影響を受けやすいことが知られている。本明細書に説明される技法の１つの応用では、Ｈ＆Ｅスライドの画像、およびそれらの画像から取り出されるＩＨＣの合成画像は、生成されたＩＨＣの合成画像を使用してＨＥＲ２スコア／染色強度レベルを予測することによって、乳がんの診断および免疫療法をサポートするために使用される。
図３は、さまざまな実施形態による、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像を、少なくとも１つのＩＨＣ染色により染色されている組織切片を示す合成画像に変換するための例示のコンピューティング環境３００（すなわち、データ処理システム）を示す。図３に示されるように、この例におけるコンピューティング環境３００によって行われる入力画像の変換は、いくつかの段階：画像記憶段階３０５、前処理段階３９０、モデル訓練段階３１０、変換段階３１５、および解析段階３２０を含む。画像記憶段階３１０は、生物学的試料スライド（例えば、組織スライド）の全体の事前選択された領域からデジタル画像のソースセット３３０およびデジタル画像の対象セット３３５を提供するように（例えば、前処理段階３９０によって）アクセスする１つまたは複数のデジタル画像スキャナもしくはデータベース３２５を含んでよい。
モデル訓練段階３１０は、他の段階で使用される（本明細書では個別にモデル３４０と称されてよいまたはモデル３４０と総称されてよい）１つまたは複数のモデル３４０ａ～３４０ｎ（「ｎ」は任意の自然数を表す）を構築しかつ訓練する。モデル３４０は、畳み込みニューラルネットワーク（「ＣＮＮ」）、インセプションニューラルネットワーク、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、シングルショットマルチボックス検出（「ＳＳＤ」）ネットワーク、リカレントニューラルネットワーク（「ＲＮＮ」）、ディープニューラルネットワーク、正規化線形ユニット（「ＲｅＬＵ」）、長・短期記憶（「ＬＳＴＭ」）モデル、ゲート付き回帰型ユニット（「ＧＲＵ」）モデルなど、またはこれらの任意の組み合わせを含み得る機械学習（「ＭＬ」）モデルとすることができる。さまざまな実施形態では、生成モデルは、敵対的生成ネットワーク（ＧＡＮ）、ディープ畳み込み敵対的生成ネットワーク（「ＤＣＧＡＮ」）、変分オートエンコーダ（ＶＡＥ）、隠れマルコフモデル（「ＨＭＭ」）、ガウス混合モデル、ボルツマンマシンなど、またはそのような技術のうちの１つまたは複数の組み合わせ、例えば、ＶＡＥ－ＧＡＮなど、教師なし学習を使用して任意の種類のデータ分散を学習することが可能である訓練モデル３４０によって学習したパラメータで構成される。コンピューティング環境３００は、ソース画像を生成画像に変換するための同じタイプのモデルまたは異なるタイプのモデルを用いてよい。ある特定の事例では、生成モデルは、出力画像が本物か偽物かどうかを分類しようとする損失関数でコンストラクトされたＧＡＮであるモデル３４０を訓練し、同時に、この損失を最小化するために生成モデルを訓練することによって学習したパラメータで構成される。
図４に示される例示的実施形態では、学習済みパラメータを提供するように訓練されるモデル３４０は、ＧＡＮモデルの拡張である条件付きＧＡＮ（「ｃＧＡＮ」）４００であり、ある特定の条件または属性を有する画像を生成する。ｃＧＡＮは、出力の結合構成にペナルティを課す構造化損失を学習する。図４を参照すると、ｃＧＡＭ４００は生成器４１０および識別器４１５を含む。生成器４１０は、ランダムに生成されたノイズベクトル４２０および潜在的特徴ベクトル（または一次元ベクトル）４２５（条件、例えば、現在の例では、ソース画像）を、識別器４１５からの入力データおよびフィードバックとし、かつ真の対象画像４３５にできるだけ近づく新たな画像４３０を生成するニューラルネットワーク（例えば、ＣＮＮ）である。識別器４１５は、分類器として、生成器４１０からの生成画像４３０が実画像または偽画像であるかどうかを判断するように構成されるニューラルネットワーク（例えば、ＣＮＮ）である。潜在的特徴ベクトル４２５または条件は、ソース画像またはソース画像のセット４４０（例えば、１つまたは複数のデジタルスキャナからの、画像サーバからなどの画像）から取り出され、これは、クラス（例えば、組織化学的に染色されている画像）またはソース画像４４０から予想された特定の特性のセットを符号化する。ランダムに生成されたノイズベクトル４２０は、ガウス分布から生成されてよく、ベクトル空間は、領域には重要であるが直接観測できない潜在変数または隠れ変数で構成されてよい。潜在的特徴ベクトル４２５およびランダムノイズベクトル４２０は、入力４４５として生成器４１０に組み合わせられてよい。代替的にはまたはさらに、ノイズは、ドロップアウトの形態（例えば、層への確率的降下入力）で生成器４１０内に加えられてよい。
生成器４１０は、組み合わせ入力４４５を受信し、かつ問題領域（すなわち、ＩＨＣ染色されている対象画像４３５と関連付けられた特性の領域）における潜在的特徴ベクトル４２５およびランダムノイズベクトル４２０に基づいて画像４３０を生成する。識別器４１５は、対象画像４３５および生成画像４３０の両方を入力と取ることによって条件付き画像分類を行い、かつ生成画像４３０が対象画像４３５の真のまたは偽の変換かどうかの可能性を予測する４５０。識別器４１５の出力は、生成画像４３０のサイズに左右されるが、１つの値また値の二乗活性化マップであってよい。それぞれの値は、生成画像４３０におけるパッチが真であるかの可能性に対する確率である。これらの値は、必要に応じて、全可能性または分類スコアを与えるために平均され得る。生成器４１０および識別器４１５の両方の損失関数は、損失が、生成画像４３０が対象画像４３５の真のまたは偽の変換であるかどうかの可能性を予測するそのジョブ４５０を識別器４１５がどれくらいうまく行えるのかに依存するように構成されてよい。十分な訓練の後、生成器４１０は、より対象画像４３５のように見えるように生成画像４３０を作り始めることになる。ＧＡＮ４００の訓練は、所定数の訓練インスタンスを進めてよく、結果として生じた学習済みパラメータは、訓練または検証セットを使用して判断された１つまたは複数の性能測定基準（例えば、精度、精密さ、および／または再現率）が対応する閾値を超える限り、受け入れられ得る。代替的には、ＧＡＮ４００の訓練は、最近の訓練の反復と関連付けられた１つまたは複数の性能測定基準が対応する閾値を超えるまで進められ得る。この時点で、生成画像４３０は、識別器がもはや真と偽とを判別することができないほど対象画像４３５に十分に類似している場合がある。生成ネットワーク４１０が訓練されると、組織化学的に染色（例えば、Ｈ＆Ｅ染色）されているスライドから得られた画像のソースセットは、ＧＡＮ４００に入力されて、画像のソースセットを、免疫染色（例えば、ＨＥＲ２－ＩＨＣ染色）されているスライドから得られた画像の対象セットに類似した特性を有する新たな画像の生成セットに変換してよい。その後、新たな画像の生成セットは、（例えば、ＨＥＲ２スコアを判断するために）病理学者によって評価され、現在利用できるコンピュータ化デジタル病理学画像解析アルゴリズムを使用して解析され、および／またはさらなるネットワークを訓練および／または検証するために入力として使用されるなどが可能である。
図３に戻って参照すると、この例においてモデル３４０を訓練するために、前処理段階３９０は、デジタル画像（デジタル画像のソースセット３３０およびデジタル画像の対象セット３３５）を得ること、画像を、訓練のために画像のペア毎のサブセット３４５ａ（ソース画像および対象画像の少なくとも１つのペア）（例えば、９０％）および検証のために画像のペア毎のサブセット（例えば、１０％）に分けること、画像のペア毎のサブセット３４５ａおよび画像のペア毎のサブセット３４５ｂを前処理すること、および、ことによると、場合によっては、画像のペア毎のサブセット３４５ａに標識３５０で注釈を付けることによって、試料３４５を生成する。画像のペア毎のサブセット３４５ａは、例えば、データベースまたは画像サーバなどのデータ記憶構造から得られてよい。それぞれの画像は組織などの生物学的試料を示す。
分けることは、（例えば、９０％／１０％、８０％／２０％、または７０％／３０％を使用して）ランダムにまたは疑似乱数的に行われてよく、または、分けることは、標本抽出バイアスおよびオーバーフィットを最小化するために、Ｋ倍交差検証、Ｌｅａｖｅ－ｏｎｅ－ｏｕｔ交差検証、Ｌｅａｖｅ－ｏｎｅ－ｇｒｏｕｐ－ｏｕｔ交差検証、または入れ子交差検証などのより複雑な検証技法に従って行われてよい。前処理することは、それぞれの画像が単一の関心対象のみを収容するように画像をクロッピングすることを含んでよい。場合によっては、前処理することは、全ての特徴を同じスケール（例えば、同じサイズのスケールまたは同じ色のスケールもしくは彩度スケール）に加えるための標準化または正規化をさらに含んでよい。ある特定の事例では、画像は、最小サイズ（幅または高さ）もしくはあらかじめ定められた画素（例えば、２５００画素）で、またはあらかじめ定められた画素（例えば、３０００画素）の最大サイズ（幅または高さ）でサイズ変更され、かつ元のアスペクト比で保たれる。
例えば、前処理段階３９０は、訓練データのために、画像の１つまたは複数のペア毎のサブセットとしてソースセットおよび対象セットから複数のパッチ画像を作成し得る。ペア画像の作成は、ソース画像および対象画像のマッチドペアにアクセスすることを含んでよく、ここで、ソース画像および対象画像は、同じ生物学的試料（例えば、腫瘍試料）の近傍切片のスライドからのものであり、ソース画像における切片は１つまたは複数の選択された組織化学的染色により染色されており、対象画像における切片は１つまたは複数の選択されたＩＨＣ染色により染色されている。１つの非制限的な例では、ソース画像のそれぞれにおける切片はＨ＆Ｅで染色されており、対象画像のそれぞれにおける切片はＨＥＲ２－ＩＨＣで染色されている。図５は、ＨＥＲ２－ＩＨＣ染色スライドの画像（左）およびＨ＆Ｅ染色スライドの画像（右）のマッチドペアの１つの例を示す。
前処理段階３９０は、さらにまた、ペア画像（例えば、全スライド画像）のそれぞれをあらかじめ定められたサイズ（例えば、１２８×１２８、２５６×２５６、または別のサイズ）のパッチ数に分割して、訓練のためのパッチのマッチドペアを作ってよい。例えば、レビューしている病理学者による加えられている腫瘍の注釈など、画像内の関心領域からであるパッチのみ使用することが望ましい場合がある。図６は、ＨＥＲ２－ＩＨＣ染色スライドの画像（左）およびＨ＆Ｅ染色スライドの画像（右）のマッチドペアの１つの例を示し、ここで、ＨＥＲ２－ＩＨＣ染色スライドの画像は赤で描かれた２つの曲線によって注釈が付けられている。前処理段階３９０では、画像がパッチに分割される前および／または後にペア画像の位置合わせおよび／または登録を行ってよい。位置合わせは、１つの画像を固定画像とも呼ばれる参照画像として指定することと、幾何学的変換または局所変位を他の画像に適用することで、他の画像が参照画像と整列するようにすることとを含んでよい。ＩＨＣ画像（すなわち、対象画像）がネットワークを訓練するためのグランドトルースを提供するため、位置合わせおよび登録の目的で、対象画像を参照画像として指定することが望ましい場合がある。ソースセットおよび対象セットからのパッチの整列したペアが選択され、このプロセスによって、データを訓練するための画像の１つまたは複数のペア毎のサブセットがもたらされる。前処理段階３９０では、パッチペアをＧＡＮまたはｃＧＡＮに入力して深層学習ネットワークを訓練してよい。
図３に戻って参照すると、前処理段階３９０では、データセットにおける画像の修正バージョンを生じさせることによって、画像のペア毎のサブセット３４５ａのサイズを人工的に拡張するために増強を使用してよい。画像データ増強は、元の画像と同じクラスに属するデータセットにおける画像の変換バージョンを生じさせることによって行われてよい。変換は、シフト、フリップ、およびズームなどの画像操作の分野からの動作範囲を含む。場合によっては、動作は、ランダム消去、シフティング、輝度、回転、ガウスぼかし、および／またはモデル３４０が画像のペア毎のサブセット３４５ａからの利用可能な物の外側の状況下で行うことができることを保証する弾性変換を含む。
モデル３４０の訓練プロセスは、モデル３４０に対するハイパーパラメータを選択することと、モデル３４０の１つまたは複数の損失関数もしくは誤差関数（例えば、画像訓練データの確率を最大化するように識別器を訓練するための第１の損失関数、および生成器からサンプリングされた生成画像の確率を最小化するように識別器を訓練し、かつ識別器がそれ自体の生成画像に割り当てる確率を最大化するように生成器を訓練するための第２の損失関数）を最小化するモデルパラメータのセット（例えば、重みおよび／またはバイアス）を見出すために画像のペア毎のサブセット３４５ａからの画像をモデル３４０に入力する反復動作を行うこととを含む。ハイパーパラメータは、モデル３４０の挙動を制御するように調整または最適化可能である設定である。大部分のモデルは、メモリまたは実行のコストなどをモデル化する異なる側面を制御するハイパーパラメータを明示的に定める。しかしながら、モデルを特定のシナリオに適応させるために追加のハイパーパラメータが定められ得る。例えば、ハイパーパラメータは、モデルの隠れたユニットの数、モデルの学習率、コンボリューションカーネルの幅、またはモデルに対するカーネルの数を含んでよい。訓練のそれぞれの反復は、モデルパラメータのセットを使用する損失関数または誤差関数の値が先の反復におけるモデルパラメータの異なるセットを使用する損失関数または誤差関数の値より小さくなるように（定められたハイパーパラメータのセットで構成される）モデル３４０に対するモデルパラメータのセットを見出すことを伴う可能性がある。損失関数または誤差関数は、モデル３４０を使用して推論される出力と標識３５０を使用するグランドトルース対象画像との間の差異を測定するようにコンストラクトされ得る。
モデルパラメータのセットが特定されると、モデル３４０は訓練されて、画像のペア毎のサブセット３４５ｂ（試験または検証データセット）を使用して検証可能である。検証プロセスは、ハイパーパラメータを調整しかつハイパーパラメータの最適なセットを最終的に見出すために、Ｋ倍交差検証、Ｌｅａｖｅ－ｏｎｅ－ｏｕｔ交差検証、Ｌｅａｖｅ－ｏｎｅ－ｇｒｏｕｐ－ｏｕｔ交差検証、または入れ子交差検証などの検証技法を使用して、画像のペア毎のサブセット３４５ｂからの画像をモデル３４０に入力する反復動作を含む。ハイパーパラメータの最適なセットが得られると、画像のサブセット３４５ｂからの確保された画像の試験セットは、出力（この例では、対象画像と類似した特性を有する生成画像）を得るためにモデル３４５に入力され、出力は、ブランドアルトマン法およびスピアマン順位相関係数などの相関技法、および誤差、精度、精密さ、再現率、受信者動作特性曲線（ＲＯＣ）などの算出性能測定基準を使用してグランドトルース対象画像に対して評価される。
理解されるであろうが、他の訓練／検証機構が考えられ、コンピューティング環境３００内で実装され得る。例えば、モデル３４０が訓練され得、ハイパーパラメータは、画像のペア毎のサブセット３４５ａからの画像に対して調整され得、画像のペア毎のサブセット３４５ｂからの画像はモデル３４０の性能を試験しかつ評価するためだけに使用されてよい。
モデル訓練段階３１０は、１つまたは複数の訓練済み変換モデル３６０、およびオプションとして、１つまたは複数の画像解析モデル３６５を含む訓練済みモデルを出力する。場合によっては、第１のモデル３６０ａは、生物標本のソース画像３３０を処理するように訓練される。ソース画像３３０は、１つまたは複数の選択された組織化学的染色により染色されている切片の画像である。ソース画像３３０は、変換段階３１５の範囲内で変換コントローラ３７０によって得られる。変換コントローラ３７０は、１つまたは複数の訓練済み変換モデル３６０を使用して、ソース画像３３０を対象画像の特性を有する新たな画像３７５に変換するためのプログラム命令を含む。対象画像の特性は、１つまたは複数の選択されたＩＨＣ染色により染色されている切片の画像と関連付けられている。変換は、（ｉ）入力データとしてソース画像３３０からのランダムに生成されたノイズベクトルおよび潜在的特徴ベクトルを生成モデル（変換モデル３６０の一部）に入力することと、（ｉｉ）生成モデルによって、新たな画像３７５を生成することと、（ｉｉｉ）新たな画像３７５を識別モデル（モデル３６０の別の一部）に入力することと、識別モデルによって、新たな画像３７５が本物か偽物かの確率（例えば、１～０の数字）を生成することとを含み、本物とは、画像が対象画像の特性と類似した特性を有することを意味し、偽物とは対象画像の特性と類似した特性を有さないことを意味する。
場合によっては、新たな画像３７５は、解析段階３２０の範囲内で解析コントローラ３８０に送信される。解析コントローラ３８０は、１つまたは複数の画像解析モデル３６５を使用して、新たな画像３７５内の生物学的試料を解析し、かつ解析に基づく解析結果３８５を出力するためのプログラム命令を含む。新たな画像３７５内の生物学的試料の解析は、新たな画像３７５内の領域、新たな画像３７５内の１つまたは複数の細胞、および／または細胞とは別に新たな画像３７５における物体に基づく測定値を抽出することを含んでよい。領域ベース測定は、例えば、ある特定の染色（例えば、化学またはＩＨＣ染色）の領域（二次元）、またはスライド上に存在する他の事象を定量化する、最も基本的な査定を含んでよい。細胞ベース測定は、物体、例えば、細胞を特定しかつ列挙することを目的とする。個々の細胞のこのような特定は、細胞内コンパートメントの後続の査定を可能にする。最後に、個々の細胞で構成されていない場合がある組織切片上に存在する事象または物体を査定するためのアルゴリズムが利用可能である。場合によって、画像解析アルゴリズムは、細胞または細胞下構造を発見し、かつ診断および予測をサポートするために最終的に使用可能である細胞染色の定量的表現、形態学、および／またはアーキテクチャを提供するように構成される。場合によっては、画像解析アルゴリズムは、具体的には、対象画像（例えば、ＩＨＣ染色されている切片の画像）の特性を有する画像の解析用に構成される。例えば、新たな画像３７５の解析は、新たな画像３７５から、少なくとも１つのＩＨＣ染色によって対象にされた抗原の発現レベルを算出することを含んでよい。別の例では、新たな画像３７５の解析は、新たな画像３７５から、そのような発現レベルに基づくスコア（例えば、ＨＥＲ２スコア）を算出することを含んでよい。
明示的に示されていないが、コンピューティング環境３００が開発者と関連付けられた開発用デバイスをさらに含んでよいことは理解されるであろう。開発用デバイスからコンピューティング環境３００の構成要素への通信は、モデルに使用されるのはどのタイプの入力画像か、使用されるモデルの数およびタイプ、それぞれのモデルのハイパーパラメータ、例えば、隠れ層の学習率および数、どれくらいのデータ要求がフォーマットされるのか、どの訓練データが使用されるのか（例えば、また、訓練データにはどのようにアクセスできるのか）、およびどの検証技法が使用されるのか、ならびに／またはコントローラプロセスはどのように構成されるのかを示し得る。
生成ネットワーク４１０を訓練するために使用され得るｃＧＡＮモデル４００の１つの特定の例は、Ｐｉｘ２Ｐｉｘ ＧＡＮである。図７は、Ｈ＆Ｅ染色された腫瘍切片の画像をＩＨＣ染色された（例えば、ＨＥＲ２－ＩＨＣ染色された）腫瘍切片の合成画像に変換するように生成ネットワーク７１０を訓練するためにＰｉｘ２Ｐｉｘ ＧＡＮ７００を使用するｃＧＡＮモデル４００の実装形態の一例を示す。図７に示されるように、生成ネットワーク７１０は、ボトルネック層への入力を徐々にダウンサンプリングする層を有する符号器と、出力を生じさせるためにボトルネック出力を徐々にアップサンプリングする層を有する復号器とを含むＵ－Ｎｅｔアーキテクチャを使用して実装される。図７に示されるように、Ｕ－Ｎｅｔはまた、符号化層と復号化層との間に、等しいサイズの特徴マップを有するスキップ接続を含み、これらの接続は、符号層の特徴マップのチャネルを対応する復号層の特徴マップのチャネルと連結させる。特定の例では、生成ネットワーク７１０は、生成画像と予想された出力画像（例えば、図７においてそれぞれ、「予測画像」および「グランドトルース」）との間で測定されたＬ１損失を介して更新される。
一般的に、Ｐｉｘ２Ｐｉｘ ＧＡＮの使用は、生成ネットワークを訓練するために使用されることになる画像パッチのマッチドペアが（例えば、画素レベルで）登録されていることを要する。図８は、（例えば、訓練および／または検証のために）本明細書に説明されるようなマッチした画像ペアからの画像パッチのマッチしかつ登録されたペアを生じさせるための例示的プロセス８００のフローチャートを示す。プロセス８００は、前処理段階３９０によって行われてよい。図８を参照すると、ブロック８０４では、低分解能バージョンのマッチした画像ペアは粗く整列している。図９は、（例えば、変換および／または回転を含む）変換行列ＭＣをＨ＆Ｅ染色切片の低分解能バージョンの画像ＩＨ＆Ｅに適用して、これをＩＨＣ染色切片の注釈付き画像ＩＩＨＣと整列させることによって、そのような粗位置合わせを行う一例を示す。変換行列ＭＣは、例えば、整列させる画像のそれぞれにおける組織の輪郭に基づいて自動的に算出され得る。
ブロック８０８では、タイルは、粗く整列させた画像ペアの関心領域（ＲＯＩ）から（例えば、注釈をカバーするそれぞれの画像上にグリッドを投影し、かつそれぞれの画像から対応するタイルを抽出することによって）抽出される。図１０は、画像ＩＩＨＣのＲＯＩからのサイズ２０４８×２０４８画素のタイルＰＩＨＣおよび画像ＩＨ＆Ｅからのサイズ２０４８×２０４８画素の対応するタイルＰＨ＆Ｅの一例を示す。ブロック８１２では、フル分解能バージョンの抽出されたタイルペアが精密に整列している。そのような精密な位置合わせは、例えば、画像のうちの１つ（例えば、ＩＨ＆Ｅ）からのタイルのスケーリング、デスキュー、および／またはワーピングを含んで、これを、他の画像（例えば、ＩＩＨＣ（上に論じられる参照画像））からの対応するタイルに登録してよい。ブロック８１６では、精密に整列させたタイルは、共にステッチして登録した画像ペアを得、ブロック８２０では、登録した画像のそれぞれは（例えば、サイズ１２８×１２８、２５６×２５６、または別のサイズの）パッチにスライスされ、ブロック８２４では、それぞれの登録した画像からのマッチしたパッチは訓練画像を得るために組み合わせられる。図１１は、上から下まで、登録した画像ペアを得るためにそれぞれの画像の精密に整列させたタイルを共にステッチし、かつ訓練画像のセットを得るために登録した画像のそれぞれからのマッチしたパッチを組み合わせるプロセスを示す。図１２は、Ｈ＆Ｅ染色切片の画像をＨＥＲ－ＩＨＣ染色切片の合成画像に変換するように生成ネットワーク４１０を訓練するためにＰｉｘ２Ｐｉｘ ＧＡＮ実装形態を使用するための訓練データのセットの一例を示し、ここで、訓練画像のそれぞれにはその成分のＨＥＲ－ＩＨＣ染色パッチのＨＥＲ２スコアの標識が付けられている。
生成ネットワーク４１０を訓練するために使用され得るｃＧＡＮモデル４００の別の特定の例には、複数の生成ネットワークおよび複数の識別ネットワークを含むＣｙｃｌｅ－ＧＡＮがある。図１３は、Ｃｙｃｌｅ－ＧＡＮにおける、生成ネットワークＧＸおよびＧＹおよび識別ネットワークＤＸおよびＤＹの描写を示す。この例では、Ｙ領域は、ＩＨＣ染色されている試料を示す画像に対応し、Ｘ領域は、組織化学的に染色されている試料を示す画像に対応する。
図１４は、本明細書に説明されるＣｙｃｌｅ－ＧＡＮの応用における生成ネットワークおよび識別ネットワークの中での流れを示す。Ｃｙｃｌｅ－ＧＡＮは、（生成ネットワーク４１０として訓練される）Ｘ－Ｙ生成ネットワークＧＹ１４２４を含み、また、ＩＨＣ染色試料の画像を組織化学的染色試料の画像に変換するように構成されかつ訓練されるＹ－Ｘ生成ネットワークＧＸ１４２０を含む。生成ネットワークＧＸ１４２０は、１つまたは複数の畳み込み層を含むことができ、Ｕ－ｎｅｔまたはＶ－ｎｅｔを含んでよい。場合によっては、生成ネットワークＧＸ１４２０は、特徴抽出符号器、変換器、および復号器を含み、これらのそれぞれは１つまたは複数の畳み込み層を有する。生成ネットワークＧＸ１４２０およびＧＹ１４２４のアーキテクチャは同じであってよい。
Ｃｙｃｌｅ－ＧＡＮは、組織化学的染色試料を示す、実画像と偽画像（例えば、組織化学的染色の実画像１４１２および組織化学的染色の偽画像１４１６）とを識別する識別ネットワークＤＸ１４３２と、ＩＨＣ染色試料を示す偽画像と実画像（例えば、ＩＨＣ染色の実画像１４０４およびＩＨＣ染色の偽画像１４０８）とを識別する別の識別ネットワークＤＹ１４２８とを含む。識別ネットワークＤＸおよびＤＹのそれぞれは１つまたは複数の畳み込み層および活性化層を含み得、識別ネットワークＤＸおよびＤＹのアーキテクチャは同じであってよい。
ＣｙｃｌｅＧＡＮの使用は、マッチした画像ペアの精密な登録（例えば、図８を参照して本明細書に説明される画像ＩＨ＆ＥおよびＩＩＨＣの精密な登録）が訓練データを生成するために必要とされないという利点を有し得る。しかしながら、ペアの登録画像の画像パッチに対して生成ネットワーク４１０を訓練するためにＰｉｘ２Ｐｉｘ ＧＡＮ実装形態を使用するときにより良い結果を得た。
図１５Ａは、ソース画像（例えば、処理されるソース画像のセットからのソース画像）を、対象画像と類似した特性を有する新たな画像（例えば、生成される新たな画像のセットの新たな画像）に変換するための例示的プロセス１５００のフローチャートを示す。プロセス１５００は、（例えば、図３、図４、および図７を参照して本明細書に説明される）１つまたは複数のコンピューティングシステム、モデル、およびネットワークを使用して行われてよい。図１５Ａを参照すると、ブロック１５０４では、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスする。ブロック１５１２では、生成ネットワークを使用して入力画像を処理することによって合成画像が生成される。合成画像は、第１の抗原を対象にする少なくとも１つのＩＨＣ染色により染色されている組織切片を示す。生成ネットワークは、複数の画像ペアを含む訓練データセットを使用して訓練されており、ここで、それぞれのペアは、少なくとも１つの組織化学的染色により染色されている組織の第１の切片の画像と、少なくとも１つのＩＨＣ染色により染色されている組織の第２の切片の画像とを含む。ブロック１５１６では、合成画像が出力される。ブロック１５２０では、合成画像において示される第１の抗原の発現レベルに基づく入力を受信する。例えば、入力は、キーボード、タッチスクリーンなどを介してユーザから受信されてよい。いくつかの実施形態では、プロセス１５００はまた、合成画像から、第１の抗原の発現レベルに基づく値を判断することを含む。判断することは、例えば、訓練されたネットワークによって行われ得る。
図１５Ｂは、ソース画像（例えば、処理されるソース画像のセットからのソース画像）を、対象画像と類似した特性を有する新たな画像（例えば、生成される新たな画像のセットの新たな画像）に変換するための別の例示的プロセス１５０２のフローチャートを示す。プロセス１５００は、（例えば、図３、図４、および図７を参照して本明細書に説明される）１つまたは複数のコンピューティングシステム、モデル、およびネットワークを使用して行われてよい。図１５Ｂを参照すると、ブロック１５０４では、少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスする。ブロック１５１２では、生成ネットワークを使用して入力画像を処理することによって合成画像が生成される。生成ネットワークは、複数の画像ペアを含む訓練データセットを使用して訓練されている。少なくとも１つのＩＨＣ染色によって対象にされる抗原の発現レベルは、合成画像から判断される。ブロック１５１６では、合成画像が出力される。ブロック１５２４では、第１の抗原の発現レベルに基づく値は合成画像から生成される。
プロセス１５００または１５０２のいくつかの実施形態では、組織化学的染色はヘマトキシリンおよびエオシンである。
プロセス１５００または１５０２のいくつかの実施形態では、第１の抗原は腫瘍関連抗原である。例えば、第１の抗原はヒト上皮成長受容体２（ＨＥＲ２）であってよい。そのような場合、受信した入力値および／または生成した値はＨＥＲ２スコアであってよい。
プロセス１５００または１５０２のいくつかの実施形態では、生成ネットワークは敵対的生成ネットワーク（例えば、ｃＧＡＮ、Ｐｉｘ２Ｐｉｘ ＧＡＮ、またはＣｙｃｌｅＧＡＮ）の一部として訓練された。
プロセス１５００または１５０２のいくつかの実施形態では、複数の画像ペアのそれぞれの画像ペアでは、第１の切片の画像は第２の切片の画像にステッチされる。そのような場合、複数の画像ペアのそれぞれの画像ペアでは、第１の切片の画像は、第２の切片の画像にステッチされる前に第２の切片の画像に登録され得る。
本開示による方法は、容易に入手可能であり得る組織化学的染色試料の画像を、（非仮想的に得るのがより困難で費用が掛かり、および／または時間がかかる場合がある）ＩＨＣ染色試料の合成画像に変換するために実施されてよい。そのような方法は、例えば、病理学者によるがん（例えば、乳がん）のサブタイプの効率的な診断の助けとなるようにＨ＆Ｅおよび合成ＩＨＣデータの使用を可能にするために使用されてよい。そのような方法は、実際のＩＨＣ染色を行うことなく特定のバイオマーカーが発現される、試料を特定するための高速スクリーニング方法の重要な一部として実施され得る。また、そのような「仮想染色」技術はまた、他の人工知能（ＡＩ）技術と組み合わせてＡＩシステムの信憑性を高める（例えば、出力されたアルゴリズムの弁明性および真実性を高める）ことができる。さらに進めると、本明細書に説明される画像変換の方法は、アルゴリズム検証および訓練のために大量の画像化データ（例えば、多数のＨＥＲ２－ＩＨＣの合成画像）を生成するために使用されてよく、それによって、アルゴリズム開発のコストおよび時間が削減される。
図１６は、上の表に示されるような４つのＨＥＲ２スコアのそれぞれについて、Ｈ＆Ｅ染色されている腫瘍の切片の画像、および、ＨＥＲ２－ＩＨＣ染色されておりＨＥＲ２スコアが示されている同じ腫瘍の近傍切片の画像の実際のマッチドペアの一例を示す。本明細書に説明されるシステムのＰｉｘ２Ｐｉｘ実装形態は、４つの異なるＨＥＲ２スコアを使用するサイズ１２８×１２８画素の画像パッチの７，４７２ペアを使用して訓練されかつ試験された。Ｐｉｘ２Ｐｉｘ実装形態はまた、４つの異なるＨＥＲ２スコアを使用するサイズ２５６×２５６画素の画像パッチの１，９００ペアを使用して訓練されかつ試験された。訓練および試験データセットは、それぞれ、８０％および２０％使用するために分割され、ＧＡＮネットワークのパラメータは、それぞれ、学習率が０．０００２、エポック数が１００および２００であるＡｄａｍオプティマイザであった。
図１７Ａおよび図１７Ｂ、図１８Ａおよび図１８Ｂ、図１９Ａおよび図１９Ｂ、ならびに図２０Ａおよび図２０Ｂは、それぞれ、４つのＨＥＲ２スコアのそれぞれに対して２つの異なる画像パッチサイズに対する、入力画像（Ｈ＆Ｅ）、対象画像（ＨＥＲ－ＩＨＣ）、および出力画像（合成ＨＥＲ－ＩＨＣ）を示す。ランダムにアセンブルされた実画像およびＨＥＲ－ＩＨＣの合成画像の試験において、合成画像が病理学者によってＨＥＲ－ＩＨＣ実画像と区別できなかった（病理学者が真または合成として正確に特定した試験セットのパーセンテージ：４５．８％）こと、および合成画像が、異なるカテゴリでのＨＥＲ２スコアを、特に、病理学者との一致が大きい強力なＨＥＲ２強度レベルを表すことができる（病理学者への合意８７．５％）ことが実証された。
Ｖ．追加的考慮事項
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサ上で実行されるとき、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させる命令を収容する非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサ上で実行されるとき、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させる命令を収容する非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
用いられている用語および表現は、説明の条件として使用され、限定するものではなく、示されかつ説明される特徴またはこの一部のいずれの同義語も除外するような用語および表現の使用を意図するものではなく、認識されるように、特許請求される発明の範囲内でさまざまな修正が可能である。よって、特許請求される本発明は、具体的には、実施形態およびオプションの特徴によって開示されているが、本明細書に開示された概念の修正および変形を当業者が採用してよく、そのような修正および変形が添付の特許請求の範囲によって定められる本発明の範囲内にあるとみなされることは、理解されるべきである。
本明細書は、好ましい例示的実施形態のみを提供し、本開示の範囲、応用性、または構成を限定することは意図されていない。もっと正確に言えば、好ましい例示的実施形態の記載は、当業者に、さまざまな実施形態を実現するための実施可能な説明を提供するであろう。添付の特許請求の範囲に示されるような趣旨および範囲から逸脱することなく、要素の機能および配置においてさまざまな変更がなされてよいことは理解されたい。
以下の記載には、実施形態を完全に理解してもらうために具体的な詳細が示されている。しかしながら、実施形態がこれらの具体的な詳細なく実践可能であることは理解されるであろう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、不必要な詳細で実施形態を不明瞭にしないためにブロック図の形式の構成要素として示されている場合がある。他の事例では、周知の回路、プロセス、アルゴリズム、構造、および技法は、実施形態を不明瞭にすることを回避するために不必要な詳細なく示されている場合がある。
Claims (27)
- 画像変換の方法であって、
少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスすることと、
生成ネットワークを使用して前記入力画像を処理することによって合成画像を生成することであって、前記生成ネットワークは、複数の画像ペアを含む訓練データセットを使用して訓練されている、合成画像を生成することと、
前記合成画像を出力することと、
前記合成画像から第１の抗原の発現レベルに基づく入力を受信することと、を含み、
前記合成画像は、前記第１の抗原を対象にする少なくとも１つの免疫組織化学的染色（ＩＨＣ染色）で染色されている組織切片を示し、
前記複数の画像ペアのそれぞれの画像ペアでは、前記ペアは、
前記少なくとも１つの組織化学的染色により染色されている組織の第１の切片の画像と、
前記少なくとも１つのＩＨＣ染色により染色されている前記組織の第２の切片の画像とを含み、
前記第１の切片の前記画像は、前記第２の切片の前記画像に登録される、方法。 - 受信した前記入力はヒト上皮成長受容体２（ＨＥＲ２）スコアである、請求項１に記載の方法。
- 前記合成画像から、前記第１の抗原の前記発現レベルに基づく値を判断することをさらに含む、請求項１または２に記載の方法。
- 前記判断することは訓練されたネットワークによって行われる、請求項３に記載の方法。
- 判断した前記値はヒト上皮成長受容体２（ＨＥＲ２）スコアである、請求項３または４に記載の方法。
- 画像変換の方法であって、
少なくとも１つの組織化学的染色により染色されている組織切片を示す入力画像にアクセスすることと、
生成ネットワークを使用して前記入力画像を処理することによって合成画像を生成することであって、前記生成ネットワークは、複数の画像ペアを含む訓練データセットを使用して訓練されている、合成画像を生成することと、
前記合成画像を出力することと、
前記合成画像から第１の抗原の発現レベルに基づく値を生成することと、を含み、
前記合成画像は、前記第１の抗原を対象にする少なくとも１つの免疫組織化学的染色（ＩＨＣ染色）で染色されている組織切片を示し、
前記複数の画像ペアのそれぞれの画像ペアでは、前記ペアは、
前記少なくとも１つの組織化学的染色により染色されている組織の第１の切片の画像と、
前記少なくとも１つのＩＨＣ染色により染色されている前記組織の第２の切片の画像とを含み、
前記第１の切片の前記画像は、前記第２の切片の前記画像に登録される、方法。 - 生成した前記値はヒト上皮成長受容体２（ＨＥＲ２）スコアである、請求項６に記載の方法。
- 前記組織化学的染色はヘマトキシリンおよびエオシンである、請求項１から７のいずれか一項に記載の方法。
- 前記第１の抗原は腫瘍関連抗原である、請求項１から８のいずれか一項に記載の方法。
- 前記第１の抗原はヒト上皮成長受容体２（ＨＥＲ２）である、請求項９に記載の方法。
- 前記生成ネットワークは敵対的生成ネットワークの一部として訓練された、請求項１から１０のいずれか一項に記載の方法。
- 前記複数の画像ペアのそれぞれの画像ペアでは、前記第１の切片の前記画像は前記第２の切片の前記画像にステッチされる、請求項１から１１のいずれか一項に記載の方法。
- 前記組織化学的染色はいずれの抗体も含まない、請求項１から１３のいずれか一項に記載の方法。
- 前記組織化学的染色は、１００キロダルトンを上回る分子量を有するいずれの試薬も含まない、請求項１から１４のいずれか一項に記載の方法。
- 前記組織化学的染色は、５キロダルトンを上回る分子量を有するいずれの試薬も含まない、請求項１から１５のいずれか一項に記載の方法。
- 前記組織化学的染色は、２キロダルトンを上回る分子量を有するいずれの試薬も含まない、請求項１から１６のいずれか一項に記載の方法。
- 前記合成画像は、人間の読み手によって、前記少なくとも１つのＩＨＣ染色で実際に染色されている組織切片を示す画像と区別できない、請求項１から１７のいずれか一項に記載の方法。
- 前記生成ネットワークはＵ－Ｎｅｔとして実装される、請求項１から１８のいずれか一項に記載の方法。
- 前記生成ネットワークは符号化／復号化ネットワークとして実装される、請求項１から１９のいずれか一項に記載の方法。
- 前記生成ネットワークは、前記生成ネットワークによる画像と予想された出力画像との間で測定されたＬ１損失により更新される、請求項１から２０のいずれか一項に記載の方法。
- ユーザによって、前記合成画像に基づいて対象の診断を判断することをさらに含む、請求項１から２１のいずれか一項に記載の方法。
- 前記ユーザによって、（ｉ）前記合成画像および／または（ｉｉ）前記対象の前記診断に基づいて、化合物による治療を行うことをさらに含む、請求項２２に記載の方法。
- １つまたは複数のデータプロセッサと、
前記１つまたは複数のデータプロセッサ上で実行されるとき、前記１つまたは複数のデータプロセッサに、請求項１から６のいずれか一項に記載の方法を実行させる命令を収容する非一時的コンピュータ可読記憶媒体と、を含む、システム。 - １つまたは複数のデータプロセッサと、
前記１つまたは複数のデータプロセッサ上で実行されるとき、前記１つまたは複数のデータプロセッサに、請求項１から２３、および２８のいずれか一項に記載の方法を実行させる命令を収容する非一時的コンピュータ可読記憶媒体と、を含む、システム。 - １つまたは複数のデータプロセッサに請求項１から６のいずれか一項に記載の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。
- １つまたは複数のデータプロセッサに請求項１から２３、および２８のいずれか一項に記載の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。
- 前記生成ネットワークは、Ｐｉｘ２Ｐｉｘ敵対的生成ネットワークの一部として訓練された、請求項１から２３のいずれか一項に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163174981P | 2021-04-14 | 2021-04-14 | |
| US63/174,981 | 2021-04-14 | ||
| PCT/US2022/024879 WO2022221572A1 (en) | 2021-04-14 | 2022-04-14 | Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024521240A true JP2024521240A (ja) | 2024-05-29 |
Family
ID=81850045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023562767A Pending JP2024521240A (ja) | 2021-04-14 | 2022-04-14 | 免疫組織化学（ｉｈｃ）の合成画像への組織化学的染色画像の変換 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240046473A1 (ja) |
| EP (1) | EP4323951A1 (ja) |
| JP (1) | JP2024521240A (ja) |
| CN (1) | CN117425912A (ja) |
| WO (1) | WO2022221572A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024108104A1 (en) * | 2022-11-18 | 2024-05-23 | Siemens Healthcare Diagnostics Inc. | Systems and methods for classifying blood cells |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7308848B2 (ja) * | 2018-02-12 | 2023-07-14 | エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト | デジタル病理画像の変換 |
| JP7344568B2 (ja) * | 2018-03-30 | 2023-09-14 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム |
-
2022
- 2022-04-14 JP JP2023562767A patent/JP2024521240A/ja active Pending
- 2022-04-14 EP EP22725948.8A patent/EP4323951A1/en active Pending
- 2022-04-14 CN CN202280040547.7A patent/CN117425912A/zh active Pending
- 2022-04-14 WO PCT/US2022/024879 patent/WO2022221572A1/en active Application Filing
-
2023
- 2023-10-06 US US18/482,697 patent/US20240046473A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240046473A1 (en) | 2024-02-08 |
| WO2022221572A1 (en) | 2022-10-20 |
| WO2022221572A4 (en) | 2022-12-08 |
| EP4323951A1 (en) | 2024-02-21 |
| CN117425912A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7233506B2 (ja) | 一次染色および免疫組織化学画像に基づくコンピュータ採点 | |
| US11682192B2 (en) | Deep-learning systems and methods for joint cell and region classification in biological images | |
| JP7273215B2 (ja) | 画像処理のための自動アッセイ評価および正規化 | |
| JP7228031B2 (ja) | 細胞の分類のためのシステムおよび方法 | |
| US11721427B2 (en) | Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies | |
| US20220058839A1 (en) | Translation of images of stained biological material | |
| JP2018502279A (ja) | 組織学画像中の核の分類 | |
| JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
| US20220351860A1 (en) | Federated learning system for training machine learning algorithms and maintaining patient privacy | |
| JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| US20230186659A1 (en) | Machine learning models for cell localization and classification learned using repel coding | |
| US20240046473A1 (en) | Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images | |
| WO2023121846A1 (en) | Adversarial robustness of deep learning models in digital pathology | |
| US20240112341A1 (en) | Digital synthesis of histological stains using multiplexed immunofluorescence imaging | |
| Arar et al. | High-quality immunohistochemical stains through computational assay parameter optimization | |
| US20230230242A1 (en) | Correcting differences in multi-scanners for digital pathology images using deep learning | |
| WO2024081150A1 (en) | Expression-level prediction for biomarkers in digital pathology images | |
| Selcuk et al. | Automated HER2 Scoring in Breast Cancer Images Using Deep Learning and Pyramid Sampling | |
| CN117940971A (zh) | 用于预测双重数字病理学图像中的表型的机器学习技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240117 |