JP7004871B2 - Ａｉを用いた病理診断支援方法、及び支援装置 - Google Patents

Ａｉを用いた病理診断支援方法、及び支援装置 Download PDF

Info

Publication number
JP7004871B2
JP7004871B2 JP2021553077A JP2021553077A JP7004871B2 JP 7004871 B2 JP7004871 B2 JP 7004871B2 JP 2021553077 A JP2021553077 A JP 2021553077A JP 2021553077 A JP2021553077 A JP 2021553077A JP 7004871 B2 JP7004871 B2 JP 7004871B2
Authority
JP
Japan
Prior art keywords
image
tissue
pathological diagnosis
specimen
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021553077A
Other languages
English (en)
Other versions
JPWO2021132633A1 (ja
Inventor
智理子 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japanese Foundation for Cancer Research
Original Assignee
Japanese Foundation for Cancer Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=76574739&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7004871(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Japanese Foundation for Cancer Research filed Critical Japanese Foundation for Cancer Research
Publication of JPWO2021132633A1 publication Critical patent/JPWO2021132633A1/ja
Application granted granted Critical
Publication of JP7004871B2 publication Critical patent/JP7004871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Analytical Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Biochemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biotechnology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Oncology (AREA)

Description

本発明は、ＡＩを用いた病理診断支援方法、及び支援装置に関する。また、治療の方針を決定するために腫瘍の病理切片から腫瘍を分類する方法に関する。
患者から採取された組織や細胞を主として光学顕微鏡を用いて検索し診断を行う病理診断は、最終診断として大きな役割を担っている。特に、腫瘍においては、治療方針の決定や、治療効果の評価、予後判定を行う重要な診断となる。
例えば胃癌の場合、病理診断によって早期と判断された場合には、ＥＭＲ（ｅｎｄｏｓｃｏｐｉｃ ｍｕｃｏｓａｌ ｒｅｓｅｃｔｉｏｎ）や、ＥＳＤ（ｅｎｄｏｓｃｏｐｉｃ ｓｕｂｍｕｃｏｓａｌ ｄｉｓｓｅｃｔｉｏｎ）といった内視鏡的治療が推奨されている。早期胃癌の内視鏡治療は、外科手術と比較して、患者の負担が軽く、術後の回復も良いなどの利点から、外科治療よりＱＯＬが良好であるというデータが得られている。そのため、内視鏡治療で根治が得られる可能性が高い病巣に対しては、内視鏡治療を行うことが推奨されている。
内視鏡的切除は早期胃癌においては推奨される治療法であるが、適応は原則として（１）リンパ節転移のリスクが極めて低く、（２）腫瘍が一括切除できる大きさと部位にあるという、２点を満たしていることが必要である。
ガイドライン（非特許文献１、２）では、リンパ節転移の危険性が１％未満と推定される病変では内視鏡的摘除と外科的切除で同等の成績が得られるとしており、そのような症例では内視鏡治療を選択することのメリットが大きい。さらに、リンパ節転移のリスクが１％未満である粘膜内癌の大きさは、胃癌の組織型、なかでも分化度によって異なることがエビデンスとして知られているため、組織型を判断するための病理診断が重要となる。
胃癌の組織型は、本邦では日本胃癌学会分類である分化型癌、未分化型癌の大きく２つに区分されている。これは、国際的に用いられるＬａｕｒｅｎ分類のＩｎｔｅｓｔｉｎａｌ（腸型）、Ｄｉｆｆｕｓｅ（びまん型）に概ね相当する。胃癌の組織型は日本胃癌学会分類、Ｌａｕｒｅｎ分類の他、ＷＨＯ分類などがあるが、ここでは特に断りにない限り、日本胃癌学会分類を用いている。分化型癌では大きさが３ｃｍを超えるまでリンパ節転移のリスクがないが、未分化型では２ｃｍを超えるとリンパ節転移のリスクがある（非特許文献１、２）。これらのエビデンスを踏まえ、早期胃癌に対する内視鏡治療のガイドラインが構築されている。ただし、癌病巣内では、分化型と未分化型が同一病変内に混在する不均一性（ｈｅｔｅｒｏｇｅｎｅｉｔｙ）がしばしば存在し、治療方針の選択に大きな影響を及ぼす。
そのため内視鏡的切除を行う前には、まず生検組織を採取して癌の組織型や分化度の情報を得るとともに、内視鏡所見から大きさを判定する術前診断が行われる。術前診断により、内視鏡治療が適応か否かの判断と、適応の場合の切除範囲が決定され、治療適応と判断されると施術が行われる。しかし、施術前の内視鏡所見では正確な大きさや深達度を計測することは困難なので、内視鏡的切除された標本を病理組織学的に検索して治療の根治性が判定されることになる。
内視鏡的切除標本の組織学的所見によって根治切除でないと判定されると、追加外科切除の対象となる。具体的には、切除標本の組織型として、分化型癌が優位の病変内に未分化型癌が大きさ２ｃｍを超えて混在していた場合は、非治癒切除として扱い、追加外科切除の適応となり、リンパ節の郭清が行われる。また、分化型優位の病変であっても、粘膜下層（Ｓｕｂｍｕｃｏｓａｌ ｌａｙｅｒ：ＳＭ）浸潤部に未分化型病変があるものは非治癒切除として扱われ、追加外科切除の適応となる。
こうした根治性の判定を行うために、病理医は病変全体における分化型、未分化型それぞれの成分の分布、深達度を判断し、病変全体図を再構築し、総合判断を行う。具体的には、以下の手順により総合判断を行い、診断を行っている（図１７）。
（１）組織標本の作製
内視鏡的切除標本はホルマリン固定の後、病理医が組織標本を切り出す。切除組織片を２～３ｍｍの間隔で平行に切り出し、切り出した割線の入った固定標本の肉眼写真を撮影する。
標本処理(組織の脱水、透徹、パラフィン浸漬)を経てパラフィンブロックを作製し、薄切、染色、封入により検体プレパラートが作製される。作製された検体プレパラートでは、切り出された組織スライスが平行に配置されている（図１７、検体プレパラート参照）。
（２）組織標本の顕微鏡観察及び診断
顕微鏡観察を行い、組織型を記録する。複数の組織型が併存する場合は、各組織型を優位な順に、例えば、ｔｕｂ１（管状腺癌 高分化型）＞ｐｏｒ（低分化腺癌）などのように全て記載する。病理組織標本の全スライスを顕微鏡的に観察して癌の分化度（分化型・未分化型）判定を行う。
顕微鏡観察の結果を、割線を入れた肉眼写真での当該スライスの割線上に、分化型の分布する範囲を赤線、未分化型を青線などに色わけして記入する（図１７、Ｉｎｔｅｇｒａｔｉｏｎ参照）。
スライスごとに分化度が記入されることにより、病変全体図が再構築される。再構築図を用いて、未分化型成分の分布やその大きさが２ｃｍを超えていないか、粘膜下層（Ｓｕｂｍｕｃｏｓａｌ ｌａｙｅｒ：ＳＭ）浸潤部に未分化型があるかなどの総合判断を行う。
すなわち、パラフィン切片から検体プレパラート作製後、顕微鏡下で組織型を判定して分類を行い（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、その結果を病変全体図に再構築し（Ｉｎｔｅｇｒａｔｉｏｎ）、標本全体から総合的に判断する（Ｄｅｃｉｓｉｏｎ）、以上の３つの段階を経て総合判断が行われる。
プレパラートの検鏡から総合判断し診断を行うには、一定の時間と経験が必要とされる。例えば、内視鏡切除された早期胃癌の場合、ＣｌａｓｓｉｆｉｃａｔｉｏｎからＤｅｃｉｓｉｏｎまでのステップは熟練した病理医であっても通常３０分程度を要する。また、一定の経験を経た熟練した病理医となるためには１２、３年程度の経験が必要であると言われている。そのため、熟練した病理医の診断を効率化しＤｅｃｉｓｉｏｎまでの時間を短縮する、あるいは経験の浅い病理医を補助して正確な診断を行うことのできる方法やシステムが必要とされている。
近年、機械学習による画像認識の精度が飛躍的に向上したＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）を画像診断の支援に利用しようとする試みが始められ、内視鏡画像や眼底検査などにおいては、病変部位の検出を補助するための支援装置の実用化が進められている。
病理組織の診断支援においても、コンピューターシステムを用いて診断を支援する装置が開示されている（特許文献１～３）。これらの装置は、いずれも主に局所の組織画像から病変に特徴的な領域を検出し、病理診断を支援する装置や方法である。
特開平１０－１９７５２２号公報 特開２０１２－８０２７号公報 特開２０１２－７３１７９号公報
胃癌治療ガイドライン 医師用 改訂第５版、２０１８年１月、日本胃癌学会編、金原出版株式会社 小野 裕之ら、胃癌に対するＥＳＤ/ＥＭＲガイドライン（第２版）、2020年２月、日本消化器内視鏡学会雑誌、第６２巻、第２７５～２９０頁 Schlegl,T. et al., IPMI2017: Information Processing in Medical Imaging pp. 146-157 TheCancer Genome Atlas Research Network， 2014，Nature, Vol.513, pp.203-209 Kather,J.N., et al., 2019, Nature Medicine, Vol.25, pp.1054-1056. Gatys, L. A. et al., Journal of Vision September2016, Vol.16, 326. doi:https://doi.org/10.1167/16.12.326
しかし、いずれの文献も病変に特徴的な部位を探索し、病変の有無を検出するにとどまる。すなわち「癌（悪性腫瘍）」か「非癌（非悪性腫瘍）」かの判定を行う。言い換えるとＡＩによる癌か非癌かの判定結果をマッピングしたものである。本発明ではこれとは異なって、ＡＩを用いて癌をさらに臨床的エビデンスに基づいて分類した判定結果をマッピングすることで、癌の中にある不均一性を可視化する。すなわち、癌か非癌かの判断だけではなく、管状腺癌や低分化腺癌などのように病変内の詳細な分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を連続的に行い、病変全体の再構築（Ｉｎｔｅｇｒａｔｉｏｎ）をした後に総合判定する（Ｄｅｃｉｓｉｏｎ）までの全工程を備えたシステムを構築する。上述のように内視鏡治療で根治の可能性が高いか、追加外科切除が必要かといった判断においては、病変部位において単に癌か癌でないかを判定するだけではなく、病変内の連続的で不均一な分化度の程度を考慮しつつ、病変内における細分類とその分布と割合を認識し、総合評価する必要がある。
本発明は、その病変内での位置を記録しながら病変部位内における精密分析を行い、病変領域にマッピングし、病変全体の再構成をすることによって、腫瘍内の分化度の変化と腫瘍の不均一性を可視化し、診断を支援するシステム、及び方法を提供することを課題とする。本発明のシステム、及び方法により、病理医の熟練度に依存することなく、病変内の不均一性を可視化し、診断を効率よく実施するシステム、及び方法を提供することができる。
本発明は、以下の病理診断支援方法、システム、プログラム、及び学習済みモデルに関する。
（１）組織標本の顕微鏡観察画像データを連続して取得する画像取得工程と、前記画像データを位置情報を保持したまま所定のサイズに分割し画像パッチを得る工程と、画像パッチ毎に機械学習による学習データをもとに組織型を判定する判定工程と、判定された組織型を各位置で表示する再構築工程とを備えた病理診断支援方法。
（２）機械学習によって判定された組織型を各位置で表示する前記再構築工程が腫瘍内の分化度の変化と腫瘍の不均一性を表示することを特徴とする（１）記載の病理診断支援方法。
（３）前記機械学習が、ニューラルネットワークによることを特徴とする（１）、又は（２）記載の病理診断支援方法。
（４）前記ニューラルネットワークが、学習用画像として解像度０．１μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌの画像を用いることを特徴とする（３）記載の病理診断支援方法。
（５）前記組織標本が癌組織に由来するものであり、癌の病理診断を支援することを特徴とする（１）～（４）いずれか１つ記載の病理診断支援方法。
（６）前記組織標本がＨＥ染色、又は免疫組織化学染色標本であることを特徴とする（１）～（５）いずれか１つ記載の病理診断支援方法。
（７）前記ＨＥ染色標本が標準化されていない標本の場合、Ｎｅｕｒａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ手法を用い、擬似的な免疫組織化学染色標本を作成し、免疫組織化学標本像を学習させた学習モデルによって組織型を判定することを特徴とする（６）記載の病理診断支援方法。
（８）組織標本の顕微鏡観察画像データを連続して取得する画像取得手段と、前記画像データを位置情報を保持したまま所定のサイズの画像パッチに分割する画像処理手段と、分割された画像毎に機械学習による学習データをもとに組織型を判定する分類手段と、分類された組織型を各位置で表示する再構築手段とを備えた病理診断支援システム。
（９）前記画像処理手段が、組織染色標本を標準化する手段を含むことを特徴とする（８）記載の病理診断支援システム。
（１０）前記機械学習が、ニューラルネットワークであることを特徴とする（８）又は（９）記載の病理診断支援システム。
（１１）前記ニューラルネットワークが、転移学習で予め得られた組織型のパラメータ値を用いることを特徴とする（１０）記載の病理診断支援システム。
（１２）病理診断支援する疾患が、癌であることを特徴とする（８）～（１１）いずれか１つ記載の病理診断支援システム。
（１３）取得された画像データを位置情報を保持したまま所定のサイズに分割し、教師データを用いて学習させた学習モデルを用い、分割した画像毎に機械学習によって組織型を判定し、判定された組織型を各位置で表示し再構成させる処理をコンピューターに実行させる病理診断支援プログラム。
（１４）組織標本の顕微鏡観察画像を連続して取得させる処理を含む（１３）記載の病理診断支援プログラム。
（１５）組織標本の顕微鏡観察画像データに基いて、画像データの組織型を判定するための学習済みモデルであって、対象となる組織標本の顕微鏡観察画像データを所定のサイズに分割して入力する入力層と、分割された画像データの組織型判定結果を組織標本の各位置で表示する出力層を備え、教師データとして医師によって組織型を判断された画像に基いて学習されたデータをもとに前記組織型を分類する分類器を備え、入力され所定のサイズに分割された顕微鏡観察画像データの組織型を判定し、組織標本の各位置で表示するコンピューターを機能させるための学習済みモデル。
（１６）前記教師データが画像の前処理を行ったものであることを特徴とする（１５）記載の学習済みモデル。
（１７）（１）～（７）いずれか１つ記載の病理診断支援方法を用いて、分析結果が表出された再構築図に基づいて患者を診断する方法。
（１８）患者を治療する方法であって、（８）～（１２）いずれか１つ記載の病理診断支援システムを用い、得られた再構築図に基づいて治療方針を決定することを特徴とする患者の治療方法。
病理診断支援システムの一実施態様を示す図。 病理診断支援システムの別の実施態様を示す図。 病理診断支援方法の実施態様の流れを示す図。 画像パッチの作成方法の例を示す図。 正常組織のＤＣＧＡＮをベースとした異常検知による判定系の例を示す図。 学習を行うために用意した画像データセットの例を示す図。 分化型／未分化型の画像データセットを用いたＳｃｒａｔｃｈ学習、ファインチューニングによるトレーニング、バリデーションのＡｃｃｕｒａｃｙを示す図。 分化型と未分化型の混在なし／混在ありの画像データセットを用いたＳｃｒａｔｃｈ学習、ファインチューニングによるトレーニング、バリデーションのＡｃｃｕｒａｃｙを示す図。 診断用画像の画像パッチから形態特徴量の２次元での分布を散布図として可視化し、散布図の点が由来する画像パッチの病変全体での局在を表すことを模式的に示した図。 病理診断支援装置を用いた病理診断支援の流れを示す図。 ＨＥ染色標本を用いた胃癌の２クラス分類器の構築及び結果を示す図。（Ａ）は学習用画像データの例を示す。（Ｂ）～（Ｄ）は学習曲線の例を示し、（Ｂ）はｂａｓｅｌｉｎｅの検討、（Ｃ）、（Ｄ）は調整結果を示す。 ＨＥ染色標本を用いた胃癌の３クラス分類器の構築及び結果を示す図。（Ａ）は学習用画像データの例を示す。（Ｂ）はＲｅｓｅｎｅｔ１８、（Ｃ）はＩｎｃｅｐｔｉｏｎv３、（Ｄ）はＶｇｇ－１１ ｗｉｔｈ ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ（Ｖｇｇ-１１＿ＢＮ）、（Ｅ）はＤｅｎｓｅｎｅt１２１、（Ｆ）はＳｑｕｅｅｚｅｎｅｔ１（Ｓｑｕｅｅｚｅｎｅｔ ｖｅｒｓｉｏｎ１．０）、（Ｇ）はＡｌｅｘｎｅｔを用いた結果を示す。 ＨＥ染色標本を用いた甲状腺癌の３クラス分類器の構築及び結果を示す図。（Ａ）は学習用画像データの例を示す。（Ｂ）はＤｅｎｓｅｎｅｔ１２１、（Ｃ）はＲｅｓｅｎｅｔ１８、（Ｄ）はＳｑｕｅｅｚｅｎｅｔ１、（ＥはＩｎｃｅｐｔｉｏｎv３、（Ｆ）はＶｇｇ-１１＿ＢＮを用いた結果を示す。 遺伝子の変化や発現に関連した特徴的な病理組織像を用いた分類器の構築及び結果を示す図。 粘膜の厚さを考慮して組織型を分類する方法を示す図。（Ａ）は粘膜の厚さに応じて縦方向に３枚の画像パッチが得られた例を示す。（Ｂ）は画像パッチの分類結果をもとにマップを作成する手順を示す。 Ｎｅｕｒａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒを用いた画像の加工を示す図。 従来技術による病理診断の流れを示す図。
最初に本発明に係る病理診断支援システムの実施形態について説明する（図１、２）。病理診断を補助するために必要な装置は、光学系、画像処理系、学習系、分類系、再構築系、統括・判定系のシステムである。具体的には、顕微鏡、及び顕微鏡に接続された撮像装置、画像処理を行う装置、画像処理後の画像を用いて学習させパラメータを決定する学習装置、また、画像処理後の診断用画像を用いて学習装置で決定されたパラメータによる分類判定、分類判定された画像を再構築するコンピューターシステムである。画像処理系、分類系、学習系、再構築系、統括・判定系のコンピューターシステムは、図１に例示するように、サーバー内のシステムとして構築することができる。ここでは異なるサーバー上でシステムを構築した例を示しているが、一つのサーバー上において、別個のプログラムによって制御されるシステムとして構築してもよい。
また、図２に例示するように高性能のＣＰＵやＧＰＵを備えたＰＣを用いれば、画像処理、学習、分類、再構築、判定の機能は、１つのＰＣ内で順を追って行うことが十分に可能である。あるいは、ここでは示さないが、画像処理系、学習系、分類系、再構築系、統括・判定系、それぞれを別個のＰＣで行うように構築してもよい。また、これらに限らず、各施設の状況に即したシステムを構築することが可能であることは言うまでもない。以下に、実施態様を示し説明する。
［実施態様１］
サーバーを用いたシステムについて説明する。統括・判定ＰＣ以外のコンピューターシステムは、サーバー上におかれ構築されている（図１）。光学系は明視野光学顕微鏡と撮像装置からなり、操作者が光学顕微鏡下で撮影視野を設定し、撮像装置で病理組織画像を取得する。連続した画像の取得は、手動で視野を移動することにより取得しても、電動ステージを用いて取得してもよい。また、組織標本のＷＳＩ（Whole Slide Image）、いわゆるヴァーチャルスライドから画像を取得してもよい。撮像装置で取得した画像は画像処理系サーバーに送られ、画像処理が行われる。
画像処理系サーバーでは、ＲＧＢのチャンネル分離や画像のヒストグラム解析、画像の２値化のような一般的な画像処理や、後述のＨＥ染色画像から上皮性組織の識別、抽出を行う処理の後、画像を適切な大きさに分割して画像パッチ（なお、画像パッチは、画像タイル、画像グリッドとも称される。）を作成する。その後、学習用画像の場合は、非腫瘍（正常）、分化、未分化などのラベルを付与して学習系サーバーに送られ、診断用画像の場合はラベルの付与なく分類系サーバーに送られる。
学習系サーバーとしては自施設のローカルサーバーだけでなく、クラウドサービスやデータセンターを使用することができる。学習系システムでは、分類系システムで用いるためのパラメータを決定し、分類系サーバーに送る。
図１に示したようにクラウドサービスやデータセンターを使用する実施形態では、高性能のＧＰＵ資源を活用して大規模な画像データセットを用いた学習が可能となる。例えば、多くの施設から画像とともにどの領域を疾患領域として判断したか等のアノテーションをアップロードすることにより、多施設の病理医が分類基準の作成に参加することができ、診断基準の均一化を図ることができる。また、質の高い判定系を作るためには、病理医の経験度や専門性に応じて画像とアノテーションのアップロードへの参加を制限することにより、分類基準の精度管理が可能になる。
分類系サーバーでは、画像処理系システムから受け取った診断用画像に対して、学習系システムで決定されたパラメータを用いた分類判定を行い、結果データを再構築系システムに送る機能を有する。
診断用画像は粘膜の厚さに応じて縦方向に複数枚、通常３～５枚の画像パッチが得られる。この縦方向の順序と共に、標本全体での位置を示す組織標本スライスの水平方向での順序を保持した番号が付与されているので、その画像が分析により分化型、未分化型、非腫瘍（正常）のどのクラスに判定されたかの結果（０、１、２で出力）をスライス毎に保存し、再構築系に送る。
再構築系では、縦の１列ごとに、縦方向の３個の画像パッチのうち１個でも未分化と判定された部分は未分化と判定することによりスライス毎の1次元ベクトルを得て、グレースケールに変換し、分化型を黒、未分化型を白で対応させ画像として描出し、白と黒により分化型、未分化型を表示した直線を得る。この直線を、各スライスの開始点の座標と癌部の開始点の座標をもとに配置して、分析結果の再構築図を得る。
［実施態様２］
ＰＣ内で、画像処理系、分類系、再構築系、判定系、学習系の演算を行うシステムについて説明する（図２）。光学系は実施態様１と同様だが、画像処理系、分類系、再構築系、判定系、学習系の演算を行うシステムはすべて単一のＰＣ内に構築されたシステムとなっている。単一のＰＣ内で演算を行っているが、行われる基本的な処理は、実施態様１と同様である。
ニューラルネットワークを用いた深層学習では、データテンソルに対して繰返し行われる演算の処理に当たって、ＧＰＵを演算器として用いる技術；ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）により時間の短縮と性能が飛躍的に向上されてきた。自施設ローカル内のサーバー、あるいは図２に示すＰＣを用いたシステム、いずれの場合であっても、高性能のＧＰＵを導入することにより自施設内で大量の画像データで学習することが可能となっている。
最初に胃癌を例として説明するが、病理診断が必要とされる疾患であれば、適切な分類器を用い適切な画像を学習させることによって、どのような疾患であっても適用できることは言うまでもない。また、後述のように、臓器によって適切なモデルを選択することによって高い正解率を得ることができる。ここでは、画像認識力の高いニューラルネットワーク、特に畳み込みニューラルネットワークを用いて解析を行っているが、ＥｆｆｉｃｉｎｅｎｔＮｅｔやＢｉｇ Ｔｒａｎｓｆｅｒ（ＢｉＴ）、ＲｅｓＮｅＳｔなどの画像認識用の新しいモデルも使用することができる。また、自然言語処理の分野で用いられるTｒａｎｓｆｏｒｍｅｒ、Ｓｅｌｆ－ＡｔｔｅｎｔｉｏｎやＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ ｔｒａｎｓｆｏｒｍｅｒｓ）が画像系に応用されたＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ（ＶｉＴ）などのモデルを使用してもよい。さらに、今後開発される画像認識力の高いモデルを使用できることは言うまでもない。
[病理診断支援方法]
内視鏡的切除が行われた胃癌組織標本を例に、病理診断支援方法について説明する（図３）。従来と同様に光学系装置により組織画像を連続して取得する。この際に位置情報は標本上での座標として取得し再構築系サーバーに送られる。取得した画像は、画像処理系システムにおいて画像処理ののち、分割処理を行って適当な大きさに分割して画像パッチを作成する。画像パッチを作成して学習させる手法は、アノテーションに必要な時間や労力を大幅に削減できるため、モデルの選択や調整を含めた開発サイクルの効率化に非常に役立つ。
画像パッチとは、ここでは腫瘍内に存在する全ての形態が網羅されている画像データをいう。図４に示した例は、採取した元の画像から、上下の余白部を切り取って組織の部分のみとし、それを左から３分割して１～３の３枚の小画像とし、さらにそれぞれを縦横２分割して４枚とすることで３Ｘ４＝１２枚の画像パッチを作る例を示している。３分割したうちの小画像１についていえば、縦横２分割することによって、４つの小パッチが得られることになる。小画像１が５１２×５１２ｐｉｘｅｌであれば、２５６×２５６ｐｉｘｅｌの画像パッチが４枚得られることになる。高い正解率を得るためには、１つ１つの学習データに含まれる組織成分を単一化することが非常に重要である。画像パッチを用いる方法は、１つの画像パッチ内の組織像が均一になり得ることから、質の高い学習データを得ることが可能となり、高性能のモデルを得るために非常に有効である。
原画像上での位置情報は再構築系に送られている。分類系システムにおいては、各画像パッチについて、学習用画像によって作成されたパラメータをもとに分析と判定が行われる。判定結果は、再構築系システムに送られ、原画像上にマッピングされる。判定系システムでは再構築系システムの結果に基づき、追加外科切除の必要性の有無を判定し、モニタ上に表示する。医師は自身の検鏡結果を元にＡＩによる再構築図の修正を行って判定結果を確認し、診断を行う（図３）。
[組織型の分類・判定系の構築］
１．開発環境
開発環境はプログラミング言語にＰｙｔｈｏｎを用い、深層学習フレームワーク(Ｆｒａｍｅｗｏｒｋ)としてはPｙｔｏｒｃｈ、及びＴｅｎｓｏｒＦｌｏｗをバックエンドとしたＫｅｒａｓにより開発を行なった。
２．学習用データ
ＡＩを用いた診断支援システムを構築するためには、新しく組織標本画像データが入力された場合に、組織型が正確に分類できるように予め学習させておく必要がある。そのために、学習用データとして、熟練した病理医によって、各組織型が判断された学習用データを用意する必要がある。この学習用データは、学習用画像と病理医が判断した非腫瘍（正常）、腫瘍、腫瘍の組織型などのラベルからなり、教師あり学習として利用される。
分化型胃癌と未分化型胃癌の病理組織画像を用い、学習用画像を作成した。胃癌の組織内には癌細胞とともに非癌細胞が混在し、そのほとんどはリンパ球やマクロファージなどの炎症細胞、繊維芽細胞などの非上皮性細胞である。ここで作成する分化型、未分化型の分類系は癌の形態や構築に基づいて行うので、非上皮性細胞は必要ない。そこでまず、一般的な日常診断に用いるヘマトキシリン・エオジン（ＨＥ）染色標本ではなく、上皮細胞が有する細胞内タンパク質サイトケラチン（Ｃｙｔｏｋｅｒaｔｉｎ）による免疫組織化学染色（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ、ＩＨＣ）を行った組織標本を用いている。
サイトケラチンは、２０種類のサブタイプに分類され、全ての上皮に存在して、腫瘍化しても安定した発現がみられる。たとえば、食道、胃、大腸、肝、胆管、乳腺、前立腺などの癌に発現している。上皮性細胞に発現しているサイトケラチンに対する抗体を組織切片上で結合させ、発色させることで上皮性細胞のみが着色された組織標本を得る。着色された組織標本から画像を取得することで、上皮性組織のみに対する形態学的分類判別が可能となる。
サイトケラチンによる免疫組織化学染色は、上皮性組織のみを染色できるため、上皮性組織の構築のみを使って形態学的分類判別を行う際の画像データとして有効である。したがって、上皮組織由来の癌であれば、ほとんどの癌にサイトケラチンによる免疫組織化学染色を用いた病理診断支援方法が適用可能である。特に有効であるのは腺癌であり、胃癌、大腸癌、膵癌、胆管癌、乳癌、肺癌などはサイトケラチンによる免疫組織化学染色を好適に適用できる上皮組織由来の癌として挙げられる。すなわちサイトケラチンによる免疫組織化学染色を用いて分類する方法は、多くの癌に応用することができる。
一方で、実臨床での病理診断は主としてＨＥ染色標本を用いて行われている。病理医が、光学顕微鏡を用いて組織標本を観察する際には、ＨＥ染色標本の組織画像から上皮性組織と非上皮性組織とを無意識のうちに識別、抽出して視認し、上皮性組織のみに対して形態学的な判断をし、癌の診断を行っている。病理医が無意識のうちに行なっているこのステップは、ＡＩを用いてＨＥ染色標本に画像処理による変換を行ったり、深層学習を用いた画像変換や画像生成を行えば、サイトケラチンによる免疫組織化学染色と同等の画像に変換、生成することができる。実臨床で用いている標本と同じＨＥ標本を元に画像変換や画像生成を行うことによって、ＡＩに画像を学習させたり分析することができる。ＨＥ染色標本を使用することにより、腫瘍の種類を問わず適用することが可能となる。また、後述するように、褪色化が進んだ標本、染色の薄い標本、施設間により標本色に差がある場合など、ＨＥ染色画像をそのまま使用できない場合には、Ｎｅｕｒａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ手法を用いて、ＨＥ染色画像を擬似サイトケラチン染色画像に加工すれば、病理診断支援システムにより判定することができる。
一般的な画像処理の手法、例えばＲＧＢのチャンネル分離や画像のヒストグラム解析、画像の２値化などを組み合わることによっても上皮性組織の形態分類に適した画像を得ることができる。また、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を初めとする深層学習の手法を用いた画像生成により形態分類に適した学習用画像を生成することができる。深層学習を用いる場合には、ＨＥ染色標本と連続したサイトケラチンの免疫組織化学染色標本とをペアで学習させることにより、画像のｐｉｘｅｌ単位で対応した変換画像を得ることが可能となる。このような画像の前処理は、学習の効率とスピードアップに最も重要であるとともに、施設間での染色状態の違いや、標本の厚さの違いなどから来る画像の色の差異を補正し標準化することになり学習画像や診断画像の標準化にもつながる。
ＧＡＮによる画像生成を用いることにより、未だ頻度の低い病変を判定する事も可能になる。頻度の低い病変では大量の学習用画像を用意することが難しいため、従来のような分類モデルで判定をすることが難しい。しかしながらＧＡＮと機械学習による異常検知を組み合わせた方法（ＡｎｏＧＡＮ等）では、正常組織を学習させておいたＧＡＮモデルを利用して画像の異常度を数値化して判定することができる。図５では、正常胃底腺組織画像のみを畳み込みニューラルネットワークモデルで学習させたＧＡＮモデル（ＤＣＧＡＮ；Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を用いて、異常検知を行うＡｎｏＧＡＮモデルによる判定を行った（非特許文献３）。異常度を数値化した結果は、学習された正常胃底腺組織（４、５）に対しては１２００台の数値となっているが、学習したことのない腺窩上皮（１、２）や低分化腺癌（３）の画像に対しては、大きな数値となる。正常組織の画像を用いて機械学習を行う異常検知の手法を用いれば、大量の学習用画像を用意することが難しい病変であっても、正常組織との差異として検出することが可能となる。
なお、いずれの染色方法を用いる場合であっても、用いる病理標本は、均一的な切片作成に加えて、染色の色調や濃淡も判別できるように、品質管理された機器・試薬と手順で行うことが重要である。
分類系の性能はニューラルネットワークモデルの性能と学習画像の２つで決定されることから、学習画像は分類系の構築において重要な役割を果たす。転位学習は大規模な画像データを用いたコンペティションで工夫を重ねた優秀なモデルを利用することができるが、学習させる画像は利用者が自身の問題に照らし合わせて用意しなければならない。利用者は各分野で実現すべき課題に適した学習用画像を工夫する必要がある。以下の胃癌の内視鏡切除検体での例は、粘膜の正常部、癌部から取得した画像をもとに、概ね正常粘膜部、分化型癌、未分化型癌と識別できるように画像パッチを作成した。
画像の解像度は、対物レンズ、撮影レンズの組み合わせにより概ね０．１μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌ程度の範囲で、好ましくは、０．２μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌ、より好ましくは、０．２５～２μｍ／ｐｉｘｅｌが通常用いられている顕微鏡の解像度から好ましく用いることができる。画像の大きさとしては概ね３４ｘ３４ｐｉｘｅｌから１０２４ｘ１０２４ｐｉｘｅｌの範囲を用いた。非常に小さな領域に限局した形態を識別したい場合は、解像度の高い、小さな画像を用いて学習を行うことができる。また、サイトケラチン免疫組織化学標本による実施例では２５６ｘ２５６ｐｉｘｅｌの大きさの画像をもとに学習を行ったが、学習に使用するモデルによっては、より大きい画像を用いることも必要となる。画像の大きさは、実現すべき課題、組織の状態、学習モデルによって適宜選択することができる。
ここで学習用や診断用に用いている画像パッチは、目視で認識可能な限りできるだけ小さくしている。画像パッチを小さくすることにより、ひとつの画像パッチ内に含まれる組織の形態を単一に近づけることが可能となる。さらに、単一な形態のみを含んだ小さな画像パッチを用いると、従来の分化・未分化による２分法での判定が困難であった境界的形態をとる腫瘍を新しい観点から解析することも可能となる。診断用画像について作成される画像パッチでは、個々の腫瘍内に含まれる全ての病理組織形態を網羅したものがその腫瘍組織内での位置データと共に得られる。
３．深層学習
抗サイトケラチン抗体を用いた免疫組織化学染色を行った標本から癌部の組織画像を取得し、画像の回転や分割などの増幅処理を行い、２５６ｘ２５６ｐｉｘｅｌの画像を各セット６４４枚作成して学習用データセットとした。実際の情報量は、色情報も含まれることから、２５６ｘ２５６ｘ３のデータ量となる。データセットは、分化型、未分化型がはっきり区別できるセットａ、未分化型成分が分化型成分に混在している未分化型成分なし／ありのセットｂを用意した（図６）。
ここで用いる深層学習は、画像処理に適したネットワークであれば、特に限定されない。画像認識力の高いニューラルネットワークとしては、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）や、あるいは自然言語処理の分野で用いられるＴｒａｎｓｆｏｒｍｅｒ、Ｓｅｌｆ－ＡｔｔｅｎｔｉｏｎやＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ ｔｒａｎｓｆｏｒｍｅｒｓ）が画像系に応用されたＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ（ＶｉＴ）などのモデルを例示できる。畳み込みニューラルネットワークの例としては大規模物体認識データセット（ＩｍａｇｅＮｅｔ）を用いた画像認識コンペティション（ＩＬＳＶＲＣ）で開発されたものが多く、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ｖ３、ＶＧＧ、ＡｌｅｘＮｅｔ、Ｕ－Ｎｅｔ、ＳｅｇＮｅｔ、Ｄｅｎｓｅｎｅｔ、Ｓｑｕｅｅｚｅｎｅｔなどが挙げられ、ＥｆｆｉｃｉｎｅｎｔＮｅｔやＢｉｇ Ｔｒａｎｓｆｅｒ（ＢｉＴ）、ＲｅｓＮｅＳｔなどの画像認識用の新しいモデルも用いることができる。さらに、今後開発される画像認識力の高いモデルを使用できることは言うまでもない。
［実施例１］
まず、サイトケラチンの免疫組織化学染色標本を用い、Ｓｅｔ ａ（図６）に示す判定の容易な分化型、未分化型のデータセットによって、ＲｅｓＮｅｔで転移学習を行った。転移学習は、学習済のネットワークとパラメータ値を利用して、新たなタスクに活用するものである。ＲｅｓＮｅｔが大規模なデータセットで学習したパラメーター（重み）の初期値を利用し、自前の画像データで学習させた転移学習と、学習済みのパラメータの初期値を用いずに、モデルの構造のみを利用して自前の画像データをモデルに学習させるＳｃｒａｔｃｈ学習の両方によって学習を行わせた。
本発明では、以下の機器システムを用いた。
Ａ；ＣＰＵ；Ｉｎｔｅｌ ｃｏｒｅｉ７ ＧＰＵなし
Ｂ；ＣＰＵ；Ｉｎｔｅｌ ｃｏｒｅｉ７， ＧＰＵ ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ １０８０－Ｔｉ
Ｃ；ＣＰＵ；Ｉｎｔｅｌ Ｘｅｏｎ ＧＰＵ ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ２０８０－Ｔｉ
Ｄ；ＣＰＵ；Ｉｎｔｅｌ ｃｏｒｅｉ９， ＧＰＵ ＮＶＩＤＩＡ Ｔｉｔａｎ－Ｖ
分化型／未分化型胃癌のサイトケラチン免疫組織化学染色標本から作成したデータセットａを用いた学習では、認識精度は、Ｓｃｒａｔｃｈ学習により０．９６０９、転移学習（ファインチューニング）により０．９８８３と、充分な認識精度が得られた（図７）。
次に、未分化型成分の混在なし／ありの胃癌のサイトケラチン免疫組織化学染色標本であるＳｅｔ ｂ（図６）を用いた学習では、Ｓｃｒａｔｃｈ学習により０．９２１９、転移学習（ファインチューニング）により０．９１０２と、こちらのデータセットでも診断支援に用いるための充分な認識精度が得られた（図８）。未分化成分の混在なし／ありの標本は、病理医にとっても難易度の高い組織像である。病理医にとっても判断が難しいデータセットに関してはＡＩによる正答率も低くなるものの、その場合であっても９０％以上の正答率を出せることから、充分な精度があるものと考えられる。
過学習は訓練データに特化したパラメータが学習されてしまうことで汎化性能が低下し、検証データでの精度が低下してしまうことである。過学習を防ぐには、訓練データを増やすことが最善の解決方法であるが、少ないデータをもとに効率よく訓練データを増やす方法として、データ拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）がある。データ拡張は、訓練データの画像に回転、変形、中心部切り出し、拡大、縮小などの加工を行なって訓練データを増やす方法である。ここでも学習用画像に対してはこれらの処理によるデータ拡張を行なっている。
深層ニューラルネットワークにかけることにより、データの次元は順次に削減されながら、入力画像の持つ本質的な特徴量（潜在表現、内部表現とも呼ばれる）が抽出される。特徴量（潜在表現、内部表現）をデータから得る方法の一つとして自己符号化器（Ａｕｔｏｅｎｃｏｄｅｒ）がある。これはＥｎｃｏｄｅｒ(符号化器)により、元のデータから特徴量（潜在表現、内部表現）を抽出し、これをもとにＤｅｃｏｄｅｒ（復号化器）により元のデータへの復元を行うものである。画像データの場合は、符号化器の部分に畳み込みニューラルネットワークを用いることができるが、これは潜在表現の抽出の方法としてニューラルネットワークを用いていると見ることもできる。転移学習で作成した分類器を特徴抽出器として用いることで、診断用画像について作成される画像パッチから特徴量を抽出し、さらに２次元まで次元削減することで、組織形態から得られた特徴量の分布図を散布図として可視化することができる。分化型と未分化型胃癌の組織標本から作成した画像パッチから特徴量をさらに２次元まで次元削減することで、形態特徴量の２次元での分布を散布図として可視化することができる。
図９左は、腫瘍に存在する形態特徴量の次元削減による２次元での散布図を示している。診断用画像について作成される画像パッチでは、個々の組織内に含まれる病理組織形態の網羅的画像パッチがその組織内での位置データと共に得られている。そのため、散布図を用いて従来の分化・未分化による２分法での判定が困難であった境界的形態をとる腫瘍をクラスタリングすることが可能となる。さらに散布図の個々の点が由来する画像パッチが病変内のどこに存在していたかをたどることにより、特徴量クラスターが実際の腫瘍内でどの様に分布しているのかを知ることもできる（図９右）。
病理組織画像から抽出された特徴量、潜在表現を用いることで、画像以外の型式の異なる他のモダリティのデータから得られた特徴量との結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）や融合（ｆｕｓｉｏｎ）が可能となる。これにより異なったモダリティの特徴量同士を結合して、結果の推論を行うマルチモーダル学習に用いることができる。分化型、未分化型といった従来の分類カテゴリーではなく、病理組織画像の持つ特徴量そのものを、型式の異なる他のモダリティのデータから抽出された特徴量と結合することで、異なったモダリティの情報が結果の推論に対して相補的に働くことを利用できるようになる。例えば治療方針決定のような臨床での意思決定では、性別などのカテゴリカルデータや、検査データなどの数値データ、放射線画像などの画像データ、遺伝子変化の情報などの形式の異なるデータを融合して判断を形成するシステムが構築できる。
［実施例２］
［再構築マップの作成］
上記で構築された判定系を用いて、分化型と未分化型成分の混在する胃癌の組織標本を用いた解析と再構築を行った（図１０）。この例では、サイトケラチンによる免疫組織化学染色標本を用いて学習させたモデルを構築し、判定に用いている。
検体プレパラート上には、切り出された組織スライスが平行に配置されている。組織検体の１スライスの長さがスライドガラスよりも大きい場合は、図１０に示すようにスライドガラスに収めるために、長短の２本（ＡとＢ）に切断されて標本が作成されている。サイトケラチン染色標本上のＡとＢから合成される１本のスライスから、撮影視野を移動させながら、組織画像を連続して取得する。ここでは連続する３枚の画像を示している。画像取得とともに、組織標本の各スライスの開始点の座標、癌部の開始点の座標を採取する。上記の連続した画像を分割処理し、２５６ｘ２５６ｐｉｘｅｌの画像を生成する。また、サイトケラチンによる免疫組織化学染色標本を用いた分類器では、学習画像に多少異なる組織成分が含まれていても高い正解率が得られたため、弱拡大画像による解析が可能であった。そのため、この例では縦方向（粘膜の厚み方向）は１列の画像パッチでカバーすることができた。
分割した画像には水平方向に番号を付与して、元の標本スライス上での順序を保持させる。上記の画像セットを、すでに作成した分類、判定系で分析する。分析結果は分化型、未分化型のどちらに判定されたかを、０と１で結果出力させ、１次元ベクトルとして保存する。１つのスライスから得られた１次元ベクトルを二次元化し、ベクトルの値１を値２５５に変換することで、０が黒、２５５が白、の２色に対応させる。得られた二次元ベクトルを画像として描出、黒、白により分化型、未分化型を表示した直線を得る。この例では、白が未分化型、黒を分化型に対応させている。
ここでは、ＮｕｍＰｙを用いて同じ１次元ベクトルを二重にネストすることで２次元化し、続いてＮｕｍＰｙのもとで機能するグラフ描画パッケージＭａｔｐｌｏｔｌｉｂのｐｙｐｌｏｔモジュールを用いて、２次元化されたベクトルを直線として描出している。なお、ＮｕｍＰｙはＰｙｔｈｏｎ言語での開発環境下において、多次元配列の操作と数値演算機能を提供するライブラリである。ここでは判定系で出力された分析結果の１次元ベクトルを、ＮｕｍＰｙを用いて二重にネストして２次元化し、ｐｙｐｌｏｔモジュールを用いて直線として描出している。
各スライスから得られた直線を、各スライスの開始点の座標、癌部の開始点の座標をもとに配置することにより、検体組織全体についての分析結果の再構築図が得られる。従来、病変の存在判定だけであった深層学習の利用をさらに発展させ、本実施例で示すように癌病巣の分化度と位置の情報で癌病巣を総合判定可能なパターンへと再構築している。その結果、癌病巣の未分化度マップを描出し、未分化型成分の位置や大きさを一目で判断し、迅速に転移のリスク等について判定することが可能となる。
また、病理医が顕微鏡下の観察により判断した分化度の結果を精密に検体全体図の割線上に描出するには限界があり、とりわけ非常に狭い範囲に分化度の異なる組織が混在している場合には、分布を忠実にマップして再現することは難しい。従ってヒトが作成する再構築図には精密度の点で自ずと限界があり、再構築図の作成にも多大な時間を要する。今回開発した方法を用いれば精密なマップの作成が可能であり、治療法の選択に大きく貢献できる。
本システムを用いて病理医が実際の標本を検鏡する際には、ＡＩが作成した再構築図を参照しながら、自身の検鏡結果をもとにＡＩによる再構築図の修正を行って、診断報告用の再構築図を完成する。これにより再構築図の精密度が格段に向上するだけでなく診断報告の作成に要する時間が大幅に短縮できる。
［実施例３］
ＨＥ染色画像による病理診断支援方法について説明する。実臨床での病理診断は主としてＨＥ染色標本を用いて行われる。サイトケラチンの免疫組織化学染色標本で構築した分類器を、さらに汎用性の高いものとするためにはＨＥ染色標本による分類器が必要である。ＨＥ染色標本での学習用データセットを作成し、まず胃癌の分化・未分化の２クラス分類器を構築した（図１１）。
正解率の高い分類器を作るためには、学習用画像データセットが重要である。図１１（Ａ）に示すような分化型、未分化型の２クラスの学習用画像データセットを多数用意した。学習用画像１枚に含まれる組織形態学的な成分は可能な限り単一とし、複数の成分が含まれないように学習用画像を準備する。しかしながら画像そのものの大きさは、分類器に用いる畳み込みニューラルネットにより、２２４ｘ２２４ｐｉｘｅｌや２９９ｘ２９９ｐｉｘｅｌなどの指定があるので、その大きさに単一の形態学的成分のみからなる小さな領域が収まるように画像を準備する。大きな画像を分割して規程サイズの画像を得る場合も、分割した画像が上記の条件を満たすように、分割のサイズを検討する。
次に、一つのモデルについて、学習の条件を変えながら、検証データで正解率が高くなるように調整を行なっていく。図１１ではモデルにＲｅｓｎｅｔ１８を用いた場合の学習曲線の例を示した。ｂａｓｅｌｉｎｅの検討では、エポックごとの検証用データ（ｖａｌ）での正解率の変動が大きい（図１１（Ｂ））。そこで学習率の調整とバッチサイズの調整により、学習曲線はｂａｓｅｌｉｎｅから１（図１１（Ｃ））、２（図１１（Ｄ））へと改良された。２の学習曲線では、概ね過学習の傾向は見られず、検証用データでの正解率の最高値は０．９６８３が得られた。
［実施例４］
胃癌の分化型、未分化型に正常組織を加えた３クラスの学習用データセットを用いて、６個のモデルを比較しながら、正解率の高い分類器を作成した（図１２）。分化型、未分化型、正常の典型的な組織像を図１２（Ａ）に示す。これらの学習用画像データセットを用い、６つのモデルを使用して、分類器の作成を行った。転移学習による画像分類に用いることのできるモデルは多数あり、いずれもＩｍａｇｅＮｅｔデータセットを用いた画像認識のコンペティションで評価されたモデルやその改良版である。Ｒｅｓｎｅｔ１８（図１２（Ｂ））及びＩｎｃｅｐｔｉｏｎＶ３（図１２（Ｃ））では検証用データでの正解率の最高値は０．９３および０．９２以上が得られ、Ａｌｅｘｎｅｔ（図１２（Ｇ））では０．９６３９の正解率が得られた。この他、Ｄｅｎｓｅｎｅｔ１２１（図１２（Ｅ））では１００エポックの学習ではようやく汎化性能が出始めるところにあり、１００エポックを超えて学習すれば、充分な汎化性能を得る可能性がある。一方でＶｇｇ１１＿ＢＮ（図１２（Ｄ））での６０エポック以降やＳｑｕｅｅｚｅｎｅｔ１（図１２（Ｆ））では過学習の傾向が認められる。このように、学習曲線を見ながら、過学習に陥らずに汎化性能をえられる最適なモデルとエポックでパラメータを取得し、実臨床に応用することができる。
［実施例５］
次に、実施例で示してきた病理診断支援方法は、胃癌だけではなく、様々な癌においても適用可能であることを示す。本明細書では、学習データセットを準備し、その学習データセットに適したモデルを選択して転移学習を行い、パラメータを保存して分類系で用いる病理診断支援方法を示している。この一連の方法は、胃癌の分化・未分化に限らず他臓器の癌にも用いることができる。胃癌以外の様々な癌において、同一の腫瘍内に組織型の混在があることが知られ、取り扱い規約に記載のあるものの例として、子宮内膜癌、甲状腺癌、乳癌などがある。例えば甲状腺癌では高分化型の成分（乳頭癌や濾胞癌）と低分化型の成分が混在した場合、５０％以上を低分化型が占める場合に低分化型として記載される。子宮内膜癌では腫瘍内に占める割合により３段階に分類されている。このような場合にも高分化型と低分化型のそれぞれの学習用画像データセットを構築して分類器を作成すれば、高分化・低分化のマップを作成することが可能となる。
甲状腺癌での学習モデル構築の例を示す（図１３）。甲状腺の高分化型（乳頭癌）と低分化型、正常甲状腺組織の３クラス分類（図１３（Ａ））でモデルを構築した。この甲状腺でのデータセットでは、Ｒｅｓｎｅｔ１８（図１３（Ｃ））やＩｎｃｅｐｔｉｏｎＶ３（図１３（Ｅ））、Ｓｑｕｅｅｚｅｎｅｔ１（図１３（Ｄ））などで過学習に陥りやすい傾向にあるが、Ｄｅｎｓｅｎｅｔ１２１（図１３（Ｂ））では４０エポック程度までで学習を終了してパラメータを得ることで正解率９０％程度のモデルを得ることが可能である。またＶｇｇ１１＿ＢＮ（図１３（Ｆ））では検証データでの正解率はわずかながら増加傾向にあるので、さらにエポック数を増やして学習することにより正解率が向上することが考えられる。胃癌、甲状腺癌の例で示すように、臓器毎に最適なモデルは異なっている。したがって、各臓器毎にモデルを選択し、正解率の高いモデルを選択する必要がある。
［実施例６］
遺伝子の変化や発現に関連した特徴的な病理組織像が知られている腫瘍についても、学習データセットを準備し、その学習データセットに適したモデルを選択して、パラメータを保存して分類系で用いる病理診断支援方法を用いることができる。癌に関連した遺伝子やタンパクの変化は膨大な情報が蓄積しているが、そのうち組織形態学的な情報との関連が知られているものについては、特徴的な病理組織像を基盤として分類することにより、どのような遺伝子や細胞生物学的な検索をさらに行なっていくかの方針を決めることができる。また、さらなる検査のオーダーを推奨する上でも補助になると考えられる。
ＮＣＩ（Ｎａｔｉｏｎａｌ Ｃａｎｃｅｒ Ｉｎｓｔｉｔｕｔｅ）によるＴｈｅ Ｃａｎｃｅｒ Ｇｅｎｏｍｅ Ａｔｒａｓ（ＴＣＧＡ）では胃癌が以下の４つのｍｏｌｅｃｕｌａｒ ｓｕｂｔｙｐｅに大別されることが知られている（非特許文献４）。
Ｃｈｒｏｍｏｓｏｍａｌ Ｉｎｓｔａｂｉｌｉｔｙ（ＣＩＮ）
Ｇｅｎｏｍｉｃａｌｌｙ ｓｔａｂｌｅ（ＧＳ）
Ｍｉｃｒｏｓａｔｅｌｌｉｔｅ ｉｎｓｔａｂｉｌｉｔｙ（ＭＳＩ）
Ｅｐｓｔｅｉｎ－Ｂａｒｒ Ｖｉｒｕｓ（ＥＢＶ）
このうちＭＳＩやＥＢＶのタイプの胃癌では腫瘍内へのリンパ球の浸潤が著しいという特徴的組織像が知られている。また、ＧＳに含まれる癌は組織学的にびまん型（低分化型腺癌）が多くを占め、その中にもいくつかの遺伝子の変化を伴う群が知られている。
すでに、深層学習を用いて、ＨＥ染色画像からＭＳＩを推定する方法が報告されている（非特許文献５）。ＨＥＲ２タンパクの過剰発現／遺伝子増幅を伴う胃癌では分子標的薬による治療が行われ、免疫組織化学やＦＩＳＨ法によるコンパニオン診断が確立している。したがって、ＭＳＩに加えてＨＥＲ２タンパクの過剰発現／遺伝子増幅に関しても、ＨＥ染色で推定することができれば、ＨＥＲ２陽性胃癌をＨＥ染色による病理診断の段階で見逃すことなく、より適切な治療を行い得る。こうしたＨＥＲ２陽性胃癌では、Ｌａｕｒｅｎ分類による腸管型（管状腺癌）とびまん型（低分化型腺癌など）のうち、腸管型（管状腺癌）のほうが有意にＨＥＲ２タンパクの過剰発現の頻度が高いことが知られ、腸管型（管状腺癌）とびまん型の組織像が混在する場合には、腸管型が多く含まれる標本でのコンパニオン診断が推奨されている。
図１４では、ＨＥＲ２ タンパクの過剰発現／遺伝子増幅のある癌組織からの組織画像（Ａ）、ＭＳＩの確認された癌組織からの組織画像（Ｂ）、びまん型の癌にみられる遺伝子に変異のある癌組織からの組織画像（Ｃ）を用いて学習画像データセットを作成し、３クラスの分類を行なった。３つのクラスに分類した画像を学習させ、分類器を作成し、診断用画像で検証した。Ａｌｅｘｎｅｔでは０．９６５６の正解率が得られ、Ｒｅｓｎｅｔ１８では、Ａｌｅｘｎｅｔの倍のエポックを学習に要するが、０．９０８９の正解率が得られた。
遺伝子の変異や発現に関連した特徴的な病理組織像が知られている場合には、病理画像から遺伝子の変異や発現の変化を推測することができる。実施例で示したように、ＨＥＲ２タンパクの過剰発現／遺伝子増幅の可能性をＨＥ染色による病理診断の際に指摘することができれば、免疫組織化学染色により確定診断を行い、ＨＥＲ２を標的とした治療を行うことができる。このような遺伝子の変異や発現に関連した病理組織像は、症例数の多い施設（Ｈｉｇｈ ｖｏｌｕｍｅ ｃｅｎｔｅｒ）の病理医はおおよその特徴を把握していることが多い。このようなエキスパートの経験による蓄積を分類器として病理診断支援システムに実装することが可能となる。さらに、診断精度が高くなれば、ＨＥ染色をコンパニオン診断として分子標的薬の選択を行うことも可能となる。実施例では、上記の３クラスとして分類を行なっているが、新しく遺伝子の変化や変化と関連した特徴的な組織像がわかれば新しいクラスを順次追加して分類器を作成していくことができる。
［実施例７］
ＨＥ染色標本の画像データセットから作成した分類器を用いて、実際に内視鏡切除標本から分化・未分化マップを作成する際には、粘膜の厚さに応じて縦方向に３～５枚の画像パッチが得られる。図１５（Ａ）に、縦方向に３枚の画像パッチが得られた例を示す。この例は、ＨＥ標本での胃粘膜固有層の縦方向が３枚横方向が１０枚の画像パッチである。
図１５（Ｂ）中段には、この画像パッチにおいて分類結果が正常と判定されたパッチを灰色、分化型を黒、未分化型を白で示している。縦の１列ごとに、縦方向の３個の画像パッチのうち１個でも未分化と判定された部分は未分化と判定するマップを下段に示した。ここでは縦１列ごと、すなわち厚み方向に１個でも未分化と判定されたパッチがある場合には、未分化と判定する基準を設けているが、厚み方向のパッチのうち何個が未分化とされた場合にその列を未分化として水平方向のマップを作るかの基準は自由に変更することが出来る。このような処理を行うことにより、隆起のある病変の場合や小さい画像パッチを使用する場合でも判定を行うことが可能となる。
［実施例８］
実臨床での病理診断は主としてＨＥ染色標本を用いて行われるが、経年により褪色の進んでしまった標本や、染色の薄い標本、標本色の施設間差への対策として、畳み込みニューラルネットワークを用いたＮｅｕｒａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ（非特許文献６）の活用がある。画像の大域的な構図に当たるｃｏｎｔｅｎｔ ｉｍａｇｅに対し、画像内の位置によらない特徴、色やテクスチャーをｓｔｙｌｅ ｉｍａｇｅとして、Ｎｅｕｒａｌ－Ｓｔｙｌｅ ａｌｇｏｒｉｔｈｍなどの手法を用い加工するものである。例としては褪色の進んでしまった標本をＮｅｕｒａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒによりサイトケラチンの免疫組織化学染色標本に画像変換した例を示した（図１６）。変換により擬似サイトケラチン（ＩＨＣ）化された画像は、サイトケラチン染色標本で構築した分類器により判定しマップの作成を行うことができる。
本明細書では、胃癌、甲状腺癌のＨＥ染色標本を用い、本診断支援方法を適用可能であることを示したが、適切なモデルを選択すればあらゆる臓器で癌の組織型を判定し、腫瘍内の不均一性を可視化して俯瞰することで病理診断支援に利用することができる。また、胃癌においてサイトケラチンの免疫組織化学染色の画像による組織型による判定を示したが、サイトケラチンに限らず、癌の悪性度の指標となるタンパク質や治療への反応性を示すタンパク質（バイオマーカー）による免疫組織化学染色の画像を利用すれば、腫瘍の悪性度マップや治療反応性マップを作成して腫瘍内の不均一性を俯瞰することが可能である。また、実施例で示したように、ＨＥ画像からＨＥＲ２の過剰発現が疑われる癌を判断できることは、デジタルコンパニオン診断へと応用できることを示している。
病理診断が根拠としている形態学、すなわち典型的な正常組織、良性腫瘍、悪性腫瘍（癌、肉腫）などの組織所見は、組織学や病理診断学の成書に記載され共有されている。組織所見は、さらに病理専門医となるまでの研修の過程で指導継承され、また癌取り扱い規約やＷＨＯ分類として明示され、学会や症例検討会などの場で共有されている。しかしながら組織の形態の違いは連続的であり、正常組織と腫瘍、腫瘍の中の分化型・未分化型など、実臨床での診断困難例は少なくなく、微妙な判断は突き詰めれば個々の病理医に委ねられている。胃癌では日本と欧米で粘膜内癌の判断が異なることもよく知られている。コンセンサスが一定でない組織所見についても、この方法であれば、過去のデータをもとに、本システムの結果と予後の関係を容易に再度検討し、過去の病理データとリンパ節転移率などの再発率を確認することにより予後を検討する事もできる。その結果、治療法の選択と予後の関係から、患者に適切な治療法を提供することができ、これまで判定が難しかった腫瘍内が不均一な癌の治療法の確立に寄与することができる。

Claims (16)

  1. 組織標本の顕微鏡観察画像データを連続して取得する画像取得工程と、
    前記画像データを標本全体での位置情報と組織画像上での位置情報を保持したまま所定のサイズに分割し画像パッチを得る工程と、
    画像パッチ毎に学習用データから機械学習により抽出された特徴量によってクラスを判定する判定工程と、
    判定されたクラスを組織画像の各位置で表示し、標本全体に再構築する再構築工程とを備えた病理診断支援方法。
  2. 機械学習によって判定されたクラスを各位置で表示し、標本全体に再構築する前記再構築工程が
    腫瘍の不均一性を表示することを特徴とする請求項１記載の病理診断支援方法。
  3. 前記機械学習が、
    ニューラルネットワークによることを特徴とする請求項１、又は２記載の病理診断支援方法。
  4. 前記ニューラルネットワークが、
    学習用画像として解像度０．１μｍ／ｐｉｘｅｌ～４μｍ／ｐｉｘｅｌの画像を用いることを特徴とする請求項３記載の病理診断支援方法。
  5. 前記組織標本が癌組織に由来するものであり、
    癌の病理診断を支援することを特徴とする請求項１～４いずれか１項記載の病理診断支援方法。
  6. 前記組織標本がＨＥ染色、又は免疫組織化学染色標本であることを特徴とする請求項１～５いずれか１項記載の病理診断支援方法。
  7. 前記ＨＥ染色標本が標準化されていない標本の場合、
    Ｎｅｕｒａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ手法を用い、
    擬似的な免疫組織化学染色標本を作成し、
    免疫組織化学標本像を学習させた学習モデルによってクラスを判定することを特徴とする請求項６記載の病理診断支援方法。
  8. 組織標本の顕微鏡観察画像データを連続して取得する画像取得手段と、
    前記画像データを標本全体での位置情報と組織画像上での位置情報を保持したまま所定のサイズの画像パッチに分割する画像処理手段と、
    分割された画像パッチ毎に学習用データから機械学習により抽出された特徴量によってクラスを判定する分類手段と、
    分類されたクラスを各位置で表示し、標本全体に再構築する再構築手段とを備えた病理診断支援システム。
  9. 前記画像処理手段が、
    組織染色標本を標準化する手段を含むことを特徴とする請求項８記載の病理診断支援システム。
  10. 前記機械学習が、
    ニューラルネットワークであることを特徴とする請求項８又は９記載の病理診断支援システム。
  11. 前記ニューラルネットワークが、
    転移学習で予め得られたパラメータ値を用いることを特徴とする請求項１０記載の病理診断支援システム。
  12. 病理診断支援する疾患が、
    癌であることを特徴とする請求項８～１１いずれか１項記載の病理診断支援システム。
  13. 取得された画像データを標本全体での位置情報と組織画像上での位置情報を保持したまま所定のサイズに分割し、
    学習用データを用いて学習させた学習モデルを用い、
    分割した画像パッチ毎に学習用データから機械学習により抽出された特徴量によってクラスを判定し、
    判定されたクラスを組織画像の各位置で表示し、標本全体に再構成させる処理をコンピューターに実行させる病理診断支援プログラム。
  14. 組織標本の顕微鏡観察画像を連続して取得させる処理を含む請求項１３記載の病理診断支援プログラム。
  15. 組織標本の顕微鏡観察画像データに基いて、画像データのクラスを判定するための学習済みモデルであって、
    対象となる組織標本の顕微鏡観察画像データを所定のサイズに分割して入力する入力層と、
    分割された画像データのクラス判定結果を組織標本の各位置で表示する出力層を備え、
    学習用データから機械学習によって抽出された特徴量によって前記クラスを分類する分類器を備え、
    入力され所定のサイズに分割された顕微鏡観察画像データのクラスを判定し、組織標本の各位置で表示し、標本全体に再構築するコンピューターを機能させるための学習済みモデル。
  16. 前記学習用データが画像の前処理を行ったものであることを特徴とする請求項１５記載の学習済みモデル。
JP2021553077A 2019-12-26 2020-12-25 Ａｉを用いた病理診断支援方法、及び支援装置 Active JP7004871B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019236352 2019-12-26
JP2019236352 2019-12-26
PCT/JP2020/048926 WO2021132633A1 (ja) 2019-12-26 2020-12-25 Ａｉを用いた病理診断支援方法、及び支援装置

Publications (2)

Publication Number Publication Date
JPWO2021132633A1 JPWO2021132633A1 (ja) 2021-07-01
JP7004871B2 true JP7004871B2 (ja) 2022-02-10

Family

ID=76574739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021553077A Active JP7004871B2 (ja) 2019-12-26 2020-12-25 Ａｉを用いた病理診断支援方法、及び支援装置

Country Status (8)

Country Link
US (1) US20230045882A1 (ja)
EP (1) EP4083907A4 (ja)
JP (1) JP7004871B2 (ja)
KR (1) KR20220119447A (ja)
CN (1) CN115087867A (ja)
AU (1) AU2020411972A1 (ja)
CA (1) CA3169403A1 (ja)
WO (1) WO2021132633A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043751A1 (ko) * 2022-08-25 2024-02-29 (재)씨젠의료재단 조직 병리 판독 지원 장치 및 그 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11950877B2 (en) * 2019-02-05 2024-04-09 University Of Virginia Patent Foundation System and method for fully automatic LV segmentation of myocardial first-pass perfusion images
CN113327258A (zh) * 2021-07-15 2021-08-31 重庆邮电大学 一种基于深度学习的肺部ct图像识别方法
CN113469119B (zh) * 2021-07-20 2022-10-04 合肥工业大学 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
US20230044152A1 (en) 2021-08-05 2023-02-09 Rakuten Group, Inc. System and method for multi-modal transformer-based catagorization
CN114468977B (zh) * 2022-01-21 2023-03-28 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
US20230342912A1 (en) * 2022-04-25 2023-10-26 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated ai solutions and method
WO2024024587A1 (ja) * 2022-07-26 2024-02-01 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム
CN115937567B (zh) * 2022-09-07 2023-07-07 北京交通大学 一种基于小波散射网络和ViT的图像分类方法
CN115393230B (zh) * 2022-10-28 2023-02-03 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置
WO2024090265A1 (ja) * 2022-10-28 2024-05-02 株式会社biomy 情報処理装置、情報処理方法及びプログラム
KR20240076391A (ko) * 2022-11-23 2024-05-30 (주) 노보믹스 위암 병리조직 이미지 판독 인공지능 소프트웨어
CN115861212B (zh) * 2022-11-25 2023-07-14 中国医学科学院肿瘤医院 基于胃粘膜活检样本对相关病症进行区分的系统和装置
CN115954100B (zh) * 2022-12-15 2023-11-03 东北林业大学 胃癌病理图像智能辅助诊断系统
CN117153343B (zh) * 2023-08-16 2024-04-05 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统
CN116883397B (zh) * 2023-09-06 2023-12-08 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统
CN117275681B (zh) * 2023-11-23 2024-02-09 太原理工大学 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009290A (ja) 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
WO2010087112A1 (ja) 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2012008027A (ja) 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012073179A (ja) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197522A (ja) 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
WO2019191697A1 (en) * 2018-03-30 2019-10-03 The Regents Of The University Of California Method and system for digital staining of label-free fluorescence images using deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009290A (ja) 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
WO2010087112A1 (ja) 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2012008027A (ja) 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012073179A (ja) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小野裕之ほか，胃癌に対するＥＳＤ/ＥＭＲガイドライン，日本消化器内視鏡学会雑誌，第５６巻第２号，第３１０～３２３頁

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043751A1 (ko) * 2022-08-25 2024-02-29 (재)씨젠의료재단 조직 병리 판독 지원 장치 및 그 방법

Also Published As

Publication number Publication date
KR20220119447A (ko) 2022-08-29
US20230045882A1 (en) 2023-02-16
EP4083907A4 (en) 2024-01-17
AU2020411972A1 (en) 2022-08-25
CN115087867A (zh) 2022-09-20
WO2021132633A1 (ja) 2021-07-01
EP4083907A1 (en) 2022-11-02
JPWO2021132633A1 (ja) 2021-07-01
CA3169403A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7004871B2 (ja) Ａｉを用いた病理診断支援方法、及び支援装置
US11257209B2 (en) Cancer risk stratification based on histopathological tissue slide analysis
US20200372635A1 (en) Systems and methods for analysis of tissue images
KR20210145778A (ko) 조직병리학 슬라이드 이미지로부터 바이오마커를 결정하는 방법
Sena et al. Deep learning techniques for detecting preneoplastic and neoplastic lesions in human colorectal histological images
JP2022546596A (ja) スライドの画像を処理し、バイオマーカを推測するためのシステムおよび方法
You et al. Real-time intraoperative diagnosis by deep neural network driven multiphoton virtual histology
CA2704796A1 (en) Systems and methods for automated characterization of genetic heterogeneity in tissue samples
US20240144477A1 (en) Systems and methods to process electronic images for continuous biomarker prediction
Stenman et al. Antibody supervised training of a deep learning based algorithm for leukocyte segmentation in papillary thyroid carcinoma
US11727674B2 (en) Systems and methods for generating histology image training datasets for machine learning models
JP2016154810A (ja) 画像処理装置及び画像処理方法
Jiang et al. Digital pathology-based study of cell-and tissue-level morphologic features in serous borderline ovarian tumor and high-grade serous ovarian cancer
Wu et al. A machine learning model for separating epithelial and stromal regions in oral cavity squamous cell carcinomas using H&E-stained histology images: a multi-center, retrospective study
Wang et al. The Swin-Transformer network based on focal loss is used to identify images of pathological subtypes of lung adenocarcinoma with high similarity and class imbalance
Padmanaban et al. Between-tumor and within-tumor heterogeneity in invasive potential
JP2023534252A (ja) 細胞の診断および分析方法
Narayanan et al. Unmasking the tissue microecology of ductal carcinoma in situ with deep learning
US20240087112A1 (en) Representing a biological image as a grid data-set
Silva et al. Development of a quantitative semi-automated system for intestinal morphology assessment in Atlantic salmon, using image analysis
CN114529554A (zh) 一种胃癌her2数字病理切片智能辅助判读方法
Zhou et al. Rapid visualization of PD-L1 expression level in glioblastoma immune microenvironment via machine learning cascade-based Raman histopathology
Bugter et al. Early upper aerodigestive tract cancer detection using electron microscopy to reveal chromatin packing alterations in buccal mucosa cells
US20230386031A1 (en) Systems and methods to process electronic images for histological morphology trajectory prediction
Liu et al. In Non-Small Cell Lung Cancer, Can Radiomic Features Predict EGFR Mutations?

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210907

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220104

R150 Certificate of patent or registration of utility model

Ref document number: 7004871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157