KR20220119447A - Ai를 이용한 병리 진단 지원 방법, 및 지원 장치 - Google Patents

Ai를 이용한 병리 진단 지원 방법, 및 지원 장치 Download PDF

Info

Publication number
KR20220119447A
KR20220119447A KR1020227025235A KR20227025235A KR20220119447A KR 20220119447 A KR20220119447 A KR 20220119447A KR 1020227025235 A KR1020227025235 A KR 1020227025235A KR 20227025235 A KR20227025235 A KR 20227025235A KR 20220119447 A KR20220119447 A KR 20220119447A
Authority
KR
South Korea
Prior art keywords
image
tissue
learning
pathology diagnosis
data
Prior art date
Application number
KR1020227025235A
Other languages
English (en)
Inventor
노리코 야마모토
Original Assignee
고에키자이단호진 간겐큐카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=76574739&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20220119447(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 고에키자이단호진 간겐큐카이 filed Critical 고에키자이단호진 간겐큐카이
Publication of KR20220119447A publication Critical patent/KR20220119447A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Analytical Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Biochemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biotechnology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Oncology (AREA)

Abstract

위치를 특정하여 현미경 관찰 화상 데이터를 취득하고, AI를 이용하여 화상 데이터를 조직형으로 분류하여, 분류 결과를 병변 부위에 재구축함으로써, 진단을 지원한다. 병리의가 통상 이용하는 HE 염색에 의해, 병리 진단을 정도(精度)좋게, 또한 효율적으로 행하는 지원 기술을 제공할 수 있는 병리 진단 지원 방법을 제공한다. 또한, 병리 진단 지원 시스템, 병리 진단 지원 프로그램, 학습 완료 모델을 제공한다.

Description

AI를 이용한 병리 진단 지원 방법, 및 지원 장치
본 발명은, AI를 이용한 병리 진단 지원 방법, 및 지원 장치에 관한 것이다. 또한, 치료의 방침을 결정하기 위해서 종양의 병리 절편에서 종양을 분류하는 방법에 관한 것이다.
환자로부터 채취된 조직이나 세포를 주로 하여, 광학 현미경을 사용하여 검색하고 진단을 행하는 병리 진단은, 최종 진단으로서 큰 역할을 담당하고 있다. 특히, 종양에 있어서는, 치료 방침의 결정이나, 치료 효과의 평가, 예후 판정을 행하는 중요한 진단이 된다.
예를 들면, 위암의 경우, 병리 진단에 의해, 조기라고 판단된 경우에는, EMR(endoscopic mucosal resection)이나, ESD(endoscopic submucosal dissection)와 같은 내시경적 치료가 권장되고 있다. 조기 위암의 내시경 치료는, 외과 수술과 비교하여, 환자의 부담이 적고, 시술 후의 회복도 좋은 등의 이점에서, 외과 치료보다 QOL이 양호하다는 데이터가 얻어져 있다. 그 때문에, 내시경 치료로 근치(根治)가 얻어질 가능성이 높은 병소에 대해서는, 내시경 치료를 행하는 것이 권장되고 있다.
내시경적 절제는 조기 위암에 있어서는 권장되는 치료법이지만, 적응은 원칙으로서 (1) 림프절 전이의 리스크가 극히 낮고, (2) 종양이 일괄 절제될 수 있는 크기와 부위에 있다고 하는, 2점을 만족시키는 것이 필요하다.
가이드라인(비특허문헌 1, 2)에서는, 림프절 전이의 위험성이 1% 미만으로 추정되는 병변에서는, 내시경적 적제(摘除)와 외과적 절제(切除)로 동등의 성적이 얻어진다고 알려져 있어, 그와 같은 증례에서는, 내시경 치료를 선택하는 것의 메리트가 크다. 또한, 림프절 전이의 리스크가 1% 미만인 점막내암의 크기는, 위암의 조직형, 그 중에서도, 분화도에 따라 다름이 에비던스로서 알려져 있기 때문에, 조직형을 판단하기 위한 병리 진단이 중요해진다.
위암의 조직형은, 일본에서는 일본 위암 학회 분류인 분화형암, 미분화형암의 크게 2가지로 구분되어 있다. 이것은, 국제적으로 사용되는 Lauren 분류의 Intestinal(장형), Diffuse(미만형)에 대체로 상당한다. 위암의 조직형은 일본 위암 학회 분류, Lauren 분류 외에, WHO 분류 등이 있지만, 여기서는 특히 언급이 없는 한, 일본 위암 학회 분류를 사용하고 있다. 분화형암에서는 크기가 3cm를 초과할 때까지 림프절 전이의 리스크가 없지만, 미분화형에서는, 2cm를 초과하는 림프절 전이의 리스크가 있다(비특허문헌 1, 2). 이들 에비던스를 감안하여, 조기 위암에 대한 내시경 치료의 가이드라인이 구축되어 있다. 단, 암 병소 내에서는, 분화형과 비분화형이 동일 병내에 혼재하는 불균일성(heterogeneity)이 종종 존재하여, 치료 방침의 선택에 큰 영향을 미친다.
그 때문에, 내시경적 절제를 행하기 전에는, 우선, 생검 조직을 채취하여 암의 조직형이나 분화도의 정보를 얻음과 함께, 내시경 소견에서 크기를 판정하는 시술 전 진단이 행해진다. 시술 전 진단에 의해, 내시경 치료의 적응 여부의 판단과, 적응인 경우의 절제 범위가 결정되고, 치료 적응으로 판단되면 시술이 행해진다. 그러나, 시술 전의 내시경 소견에서는 정확한 크기나 심달도를 계측하는 것은 곤란하므로, 내시경적 절제된 표본을 병리조직학적으로 검색하여, 치료의 근치성이 판정되게 된다.
내시경적 절제 표본의 조직학적 소견에 의해 근치 절제가 아닌 것으로 판정되면, 추가 외과 절제의 대상이 된다. 구체적으로는, 절제 표본의 조직형으로서, 분화형암이 우위인 병변 내에 미분화형암이 크기 2cm를 초과하여 혼재하여 있는 경우는, 비치유 절제로서 취급하여, 추가 외과 절제의 적응이 되어, 림프절의 곽청(郭淸)이 행해진다. 또한, 분화형 우위의 병변에서도, 점막하층(Submucosal layer: SM) 침윤부에 미분화형 병변이 있는 것은 비치유 절제로서 취급되어, 추가 외과 절제의 적응이 된다.
이러한 근치성의 판정을 행하기 위해서, 병리의는 병변 전체에 있어서의 분화형, 미분화형 각각의 성분의 분포, 심달도를 판단하고, 병변 전체도를 재구축하여, 종합 판단을 행한다. 구체적으로는, 이하의 수순에 의해 종합 판단을 행하여, 진단을 행하고 있다(도 17).
(1) 조직 표본의 제작
내시경적 절제 표본은 포르말린 고정 후, 병리의가 조직 표본을 잘라낸다. 절제 조직편을 2~3mm의 간격으로 평행하게 잘라내어, 잘라낸 할선이 들어간 고정 표본의 육안 사진을 촬영한다.
표본 처리(조직의 탈수, 투철(透徹), 파라핀 침지)를 거쳐 파라핀 블록을 제작하고, 박절(薄切), 염색, 봉입에 의해 검체 프레파라트가 제작된다. 제작된 검체 프레파라트에서는, 잘라낸 조직 슬라이스가 평행하게 배치되어 있다(도 17, 검체 프레파라트 참조).
(2) 조직 표본의 현미경 관찰 및 진단
현미경 관찰을 행하여, 조직형을 기록한다. 복수의 조직형이 병존하는 경우는, 각 조직형을 우위한 순으로, 예를 들면, tub1(관상선암 고분화형)>por(저분화선암) 등과 같이 모두 기재한다. 병리 조직 표본의 전슬라이스를 현미경적으로 관찰하여 암의 분화도(분화형·미분화형) 판정을 행한다.
현미경 관찰의 결과를, 할선이 들어간 육안 사진에서의 당해 슬라이스의 할선 상에, 분화형이 분포하는 범위를 적색선, 미분화형을 청색선 등으로 색구분하여 기입한다(도 17, Integration(재구축) 참조).
슬라이스마다에 분화도가 기입됨으로써, 병변 전체도가 재구축된다. 재구축도를 사용하여, 미분화형 성분의 분포나 그 크기가 2cm를 초과하지 않는지, 점막하층(Submucosal layer: SM) 침윤부에 미분화형이 있는지 등의 종합 판단을 행한다.
즉, 파라핀 절편에서 검체 프레파라트 제작 후, 현미경 하에서 조직형을 판정하여 분류를 행하고(Classification), 그 결과를 병변 전체도에 재구축하고(Integration), 표본 전체에서 종합적으로 판단하는(Decision), 이상의 3가지 단계를 거쳐 종합 판단이 행해진다.
프레파라트의 검경(檢鏡)에서 종합 판단하여 진단을 행하기 위해서는, 일정의 시간과 경험이 필요로 된다. 예를 들면, 내시경 절제된 조기 위암의 경우, Classification에서 Decision까지의 스텝은 숙련된 병리의여도 통상 30분 정도를 요한다. 또한, 일정의 경험을 거친 숙련된 병리의가 되기 위해서는, 12, 3년 정도의 경험이 필요하다고 알려져 있다. 그 때문에, 숙련된 병리의의 진단을 효율화하여, Decision까지의 시간을 단축하는, 혹은, 경험이 적은 병리의를 보조하여 정확한 진단을 행할 수 있는 방법이나 시스템이 필요로 되고 있다.
근래, 기계 학습에 의한 화상 인식의 정도(精度)가 비약적으로 향상한 AI(Artificial Intelligence, 인공 지능)를 화상 진단의 지원에 이용하고자 하는 시도가 시작되어, 내시경 화상이나 안저 검사 등에 있어서는, 병변 부위의 검출을 보조하기 위한 지원 장치의 실용화가 진행되고 있다.
병리 조직의 진단 지원에 있어서도, 컴퓨터 시스템을 사용하여 진단을 지원하는 장치가 개시되어 있다(특허문헌 1~3). 이들 장치는, 모두 주로 국소의 조직 화상에서 병변에 특징적인 영역을 검출하여, 병리 진단을 지원하는 장치나 방법이다.
일본국 특개평10-197522호 공보 일본국 특개2012-8027호 공보 일본국 특개2012-73179호 공보
위암 치료 가이드라인 의사용 개정 제5판, 2018년 1월, 일본 위암 학회편, 가네하라출판 주식회사 오노 히로유키 등, 위암에 대한 ESD/EMR 가이드라인(제2판), 2020년 2월, 일본 소화기 내시경 학회 잡지, 제62권, 제275~290페이지 Schlegl, T. et al., IPMI2017: Information Processing in Medical Imaging pp. 146-157 The Cancer Genome Atlas Research Network, 2014, Nature, Vol.513, pp.203-209 Kather, J.N., et al., 2019, Nature Medicine, Vol.25, pp.1054-1056. Gatys, L. A. et al., Journal of Vision September 2016, Vol.16, 326. doi:https://doi.org/10.1167/16.12.326
그러나, 어느 문헌도 병변에 특징적인 부위를 검색하고, 병변의 유무를 검출하는 것에 그친다. 즉, 「암(악성 종양)」인지 「비암(비악성 종양)」인지의 판정을 행한다. 환언하면, AI에 의한 암인지 비암인지의 판정 결과를 맵핑한 것이다. 본 발명에서는, 이것과는 달리, AI를 이용하여 암을 임상적 에비던스에 기하여 분류한 판정 결과를 더 맵핑함으로써, 암 중에 있는 불균일성을 가시화한다. 즉, 암인지 비암인지의 판단 뿐 아니라, 관상선암이나 저분화선암 등과 같이 병변 내의 상세한 분류(Classification)를 연속적으로 행하고, 병변 전체의 재구축(Integration)을 한 후에 종합 판정(Decision)하기까지의 전 공정을 구비한 시스템을 구축한다. 상술과 같이 내시경 치료로 근치의 가능성이 높은지, 추가 외과 절제가 필요한지의 판단에 있어서는, 병변 부위에 있어서 단지 암인지 아닌지를 판정할 뿐 아니라, 병변 내의 연속적으로 불균일한 분화도의 정도를 고려하면서, 병변 내에 있어서의 세분류와 그 분포와 비율을 인식하여, 종합 평가할 필요가 있다.
본 발명은, 그 병변 내에서의 위치를 기록하면서 병변 부위 내에 있어서의 정밀 분석을 행하고, 병변 영역에 맵핑하여, 병변 전체의 재구축을 함으로써, 종양 내의 분화도의 변화와 종양의 불균일성을 가시화하여, 진단을 지원하는 시스템, 및 방법을 제공하는 것을 과제로 한다. 본 발명의 시스템, 및 방법에 의해, 병리의의 숙련도에 의존하지 않고, 병변 내의 불균일성을 가시화하여, 진단을 효율좋게 실시하는 시스템, 및 방법을 제공할 수 있다.
본 발명은, 이하의 병리 진단 지원 방법, 시스템, 프로그램, 및 학습 완료 모델에 관한 것이다.
(1) 조직 표본의 현미경 관찰 화상 데이터를 연속하여 취득하는 화상 취득 공정과, 상기 화상 데이터를 위치 정보를 유지한 채 소정의 사이즈로 분할하여 화상 패치를 얻는 공정과, 화상 패치마다에 기계 학습에 의한 학습 데이터를 기초로 조직형을 판정하는 판정 공정과, 판정된 조직형을 각 위치에서 표시하는 재구축 공정을 구비한 병리 진단 지원 방법.
(2) 기계 학습에 의해 판정된 조직형을 각 위치에서 표시하는 상기 재구축 공정이 종양 내의 분화도의 변화와 종양의 불균일성을 표시하는 것을 특징으로 하는 (1) 기재의 병리 진단 지원 방법.
(3) 상기 기계 학습이, 뉴럴 네트워크에 의한 것을 특징으로 하는 (1) 또는 (2) 기재의 병리 진단 지원 방법.
(4) 상기 뉴럴 네트워크가, 학습용 화상으로서 해상도 0.1㎛/pixel~4㎛/pixel의 화상을 이용하는 것을 특징으로 하는 (3) 기재의 병리 진단 지원 방법.
(5) 상기 조직 표본이 암 조직에 유래하는 것이고, 암의 병리 진단을 지원하는 것을 특징으로 하는 (1) 내지 (4) 중 어느 하나에 기재된 병리 진단 지원 방법.
(6) 상기 조직 표본이 HE 염색, 또는 면역 조직 화학 염색 표본인 것을 특징으로 하는 (1) 내지 (5) 중 어느 하나에 기재된 병리 진단 지원 방법.
(7) 상기 HE 염색 표본이 표준화되어 있지 않은 표본인 경우, Neural style transfer(뉴럴 스타일 트랜스퍼) 방법을 이용하여, 의사적인 면역 조직 화학 염색 표본을 작성하고, 면역 조직 화학 표본상을 학습시킨 학습 모델에 의해 조직형을 판정하는 것을 특징으로 하는 (6) 기재의 병리 진단 지원 방법.
(8) 조직 표본의 현미경 관찰 화상 데이터를 연속하여 취득하는 화상 취득 수단과, 상기 화상 데이터를 위치 정보를 유지한 채 소정의 사이즈의 화상 패치로 분할하는 화상 처리 수단과, 분할된 화상마다에 기계 학습에 의한 학습 데이터를 기초로 조직형을 판정하는 분류 수단과, 분류된 조직형을 각 위치에서 표시하는 재구축 수단을 구비한 병리 진단 지원 시스템.
(9) 상기 화상 처리 수단이, 조직 염색 표본을 표준화하는 수단을 포함하는 것을 특징으로 하는 (8) 기재의 병리 진단 지원 시스템.
(10) 상기 기계 학습이, 뉴럴 네트워크인 것을 특징으로 하는 (8) 또는 (9)에 기재된 병리 진단 지원 시스템.
(11) 상기 뉴럴 네트워크가, 전이 학습에 의해 미리 얻어진 조직형의 파라미터값을 이용하는 것을 특징으로 하는 (10) 기재의 병리 진단 지원 시스템.
(12) 병리 진단 지원하는 질환이, 암인 것을 특징으로 하는 (8) 내지 (11) 중 어느 하나에 기재된 병리 진단 지원 시스템.
(13) 취득된 화상 데이터를 위치 정보를 유지한 채 소정의 사이즈로 분할하고, 교사 데이터를 이용하여 학습시킨 학습 모델을 이용하여, 분할한 화상마다에 기계 학습에 의해 조직형을 판정하고, 판정된 조직형을 각 위치에서 표시하여, 재구성시키는 처리를 컴퓨터로 실행시키는 병리 진단 지원 프로그램.
(14) 조직 표본의 현미경 관찰 화상을 연속하여 취득시키는 처리를 포함하는 (13) 기재의 병리 진단 지원 프로그램.
(15) 조직 표본의 현미경 관찰 화상 데이터에 기하여, 화상 데이터의 조직형을 판정하기 위한 학습 완료 모델로서, 대상이 되는 조직 표본의 현미경 관찰 화상 데이터를 소정의 사이즈로 분할하여 입력하는 입력층과, 분할된 화상 데이터의 조직형 판정 결과를 조직 표본의 각 위치에서 표시하는 출력층을 구비하고, 교사 데이터로서 의사에 의해 조직형이 판단된 화상에 기하여 학습된 데이터를 기초로 상기 조직형을 분류하는 분류기를 구비하고, 입력되어 소정의 사이즈로 분할된 현미경 관찰 화상 데이터의 조직형을 판정하여, 조직 표본의 각 위치에서 표시하는 컴퓨터를 기능시키기 위한 학습 완료 모델.
(16) 상기 교사 데이터가 화상의 전처리를 행한 것임을 특징으로 하는 (15) 기재의 학습 완료 모델.
(17) (1) 내지 (7) 중 어느 하나에 기재된 병리 진단 지원 방법을 이용하여, 분석 결과가 표출된 재구축도에 기하여 환자를 진단하는 방법.
(18) 환자를 치료하는 방법으로서, (8) 내지 (12) 중 어느 하나에 기재된 병리 진단 지원 시스템을 이용하여, 얻어진 재구축도에 기하여 치료 방침을 결정하는 것을 특징으로 하는 환자의 치료 방법.
도 1은 병리 진단 지원 시스템의 일 실시형태를 나타내는 도면.
도 2는 병리 진단 지원 시스템의 다른 실시형태를 나타내는 도면.
도 3은 병리 진단 지원 방법의 실시형태의 흐름을 나타내는 도면.
도 4는 화상 패치의 작성 방법의 예를 나타내는 도면.
도 5는 정상 조직의 DCGAN을 베이스로 한 이상 검지에 의한 판정계의 예를 나타내는 도면.
도 6은 학습을 행하기 위해서 준비한 화상 데이터 세트의 예를 나타내는 도면.
도 7은 분화형/미분화형의 화상 데이터 세트를 이용한 Scratch(스크래치) 학습, 미세 튜닝(fine tuning)에 의한 트레이닝, 밸리데이션(validation)의 Accuracy(정밀도)를 나타내는 도면.
도 8은 분화형과 미분화형의 혼재 없음/혼재 있음의 화상 데이터 세트를 사용한 Scratch 학습, 미세 튜닝에 의한 트레이닝, 밸리데이션의 Accuracy를 나타내는 도면.
도 9는 진단용 화상의 화상 패치에서 형태 특징량의 2차원에서의 분포를 산포도로서 가시화하여, 산포도의 점이 유래하는 화상 패치의 병변 전체에서의 국재를 나타내는 것을 모식적으로 나타낸 도면.
도 10은 병리 진단 지원 장치를 이용한 병리 진단 지원의 흐름을 나타내는 도면.
도 11은 HE 염색 표본을 이용한 위암의 2 클래스 분류기의 구축 및 결과를 나타내는 도면. (A)는 학습용 화상 데이터의 예를 나타낸다. (B)~(D)는 학습 곡선의 예를 나타내고, (B)는 baseline(베이스라인)의 검토, (C), (D)는 조정 결과를 나타낸다.
도 12는 HE 염색 표본을 이용한 위암의 3 클래스 분류기의 구축 및 결과를 나타내는 도면. (A)는 학습용 화상 데이터의 예를 나타낸다. (B)는 Resenet18, (C)는 Inceptionv3, (D)는 Vgg-11 with batch normalization(배치 정규화)(Vgg-11_BN), (E)는 Densenet121, (F)는 Squeezenet1(Squeezenet version1.0), (G)는 Alexnet를 이용한 결과를 나타낸다.
도 13은 HE 염색 표본을 이용한 갑상선암의 3 클래스 분류기의 구축 및 결과를 나타내는 도면. (A)는 학습용 화상 데이터의 예를 나타낸다. (B)는 Densenet121, (C)는 Resenet18, (D)는 Squeezenet1, (E)는 Inceptionv3, (F)는 Vgg-11_BN을 사용한 결과를 나타낸다.
도 14는 유전자의 변화나 발현에 관련한 특징적인 병리 조직상을 이용한 분류기의 구축 및 결과를 나타내는 도면.
도 15는 점막의 두께를 고려하여 조직형을 분류하는 방법을 나타내는 도면. (A)는 점막의 두께에 따라 종 방향으로 3매의 화상 패치가 얻어진 예를 나타낸다. (B)는 화상 패치의 분류 결과를 기초로 맵을 작성하는 수순을 나타낸다.
도 16은 Neural style transfer를 이용한 화상의 가공을 나타내는 도면.
도 17은 종래 기술에 의한 병리 진단의 흐름을 나타내는 도면.
가장 먼저, 본 발명에 따른 병리 진단 지원 시스템의 실시형태에 대해 설명한다(도 1, 2). 병리 진단을 보조하기 위해서 필요한 장치는, 광학계, 화상 처리계, 학습계, 분류계, 재구축계, 총괄·판정계의 시스템이다. 구체적으로는, 현미경, 및 현미경에 접속된 촬상 장치, 화상 처리를 행하는 장치, 화상 처리 후의 화상을 이용하여 학습시켜 파라미터를 결정하는 학습 장치, 또한, 화상 처리 후의 진단용 화상을 이용하여 학습 장치에 의해 결정된 파라미터에 의한 분류 판정, 분류 판정된 화상을 재구축하는 컴퓨터 시스템이다. 화상 처리계, 분류계, 학습계, 재구축계, 총괄·판정계의 컴퓨터 시스템은, 도 1에 예시하는 바와 같이, 서버 내의 시스템으로서 구축할 수 있다. 여기서는, 상이한 서버 상에서 시스템을 구축한 예를 나타내고 있지만, 하나의 서버 상에 있어서, 별개의 프로그램에 의해 제어되는 시스템으로서 구축해도 된다.
또한, 도 2에 예시하는 고성능의 CPU나 GPU를 구비한 PC을 이용하면, 화상 처리, 학습, 분류, 재구축, 판정의 기능은, 하나의 PC 내에서 순서에 따라 행하는 것이 충분히 가능하다. 혹은, 여기서는 나타내지 않지만, 화상 처리계, 학습계, 분류계, 재구축계, 총괄·판정계, 각각을 별개의 PC에서 행하도록 구축해도 된다. 또한, 이들에 한하지 않고, 각 시설의 상황에 의거한 시스템을 구축하는 것이 가능하다는 것은 말할 것도 없다. 이하에, 실시형태를 나타내며 설명한다.
[실시형태 1]
서버를 이용한 시스템에 대해 설명한다. 총괄·판정 PC 이외의 컴퓨터 시스템은, 서버 상에 두고 구축되어 있다(도 1). 광학계는 명시야 광학 현미경과 촬상 장치로 이루어지고, 조작자가 광학 현미경 하에서 촬영 시야를 설정하여, 촬상 장치로 병리 조직 화상을 취득한다. 연속한 화상의 취득은, 수동으로 시야를 이동함으로써 취득해도, 전동 스테이지를 이용하여 취득해도 된다. 또한, 조직 표본의 WSI(Whole Slide Image), 소위, 버츄얼 슬라이드에서 화상을 취득해도 된다. 촬상 장치로 취득한 화상은 화상 처리계 서버로 보내져, 화상 처리가 행해진다.
화상 처리계 서버에서는, RGB의 채널 분리나 화상의 히스토그램 해석, 화상의 2치화와 같은 일반적인 화상 처리나, 후술의 HE 염색 화상에서 상피성 조직의 식별, 추출을 행하는 처리 후, 화상을 적절한 크기로 분할하여 화상 패치(또, 화상 패치는, 화상 타일, 화상 그리드라고도 한다)를 작성한다. 그 후, 학습용 화상의 경우는, 비종양(정상), 분화, 미분화 등의 라벨을 부여하여 학습계 서버로 보내지고, 진단용 화상의 경우는 라벨의 부여없이 분류계 서버로 보내진다.
학습계 서버로서는 자체 시설의 로컬 서버 뿐 아니라, 클라우드 서비스나 데이터 센터를 사용할 수 있다. 학습계 시스템에서는, 분류계 시스템에서 사용하기 위한 파라미터를 결정하여, 분류계 서버로 보낸다.
도 1에 나타내는 바와 같이 클라우드 서비스나 데이터 센터를 사용하는 실시형태에서는, 고성능의 GPU 자원을 활용하여 대규모의 화상 데이터 세트를 사용한 학습이 가능해진다. 예를 들면, 많은 시설에서 화상과 함께 어느 영역을 질환 영역으로서 판단했는지 등의 아노테이션(annotation)을 업로드함으로써, 많은 시설의 병리의가 분류 기준의 작성에 참가할 수 있어, 진단 기준의 균일화를 도모할 수 있다. 또한, 질 높은 판정계를 만들기 위해서는, 병리의의 경험도나 전문성에 따라 화상과 아노테이션의 업로드에의 참가를 제한함으로써, 분류 기준의 정도 관리가 가능해진다.
분류계 서버에서는, 화상 처리계 시스템에서 수득한 진단용 화상에 대해, 학습계 시스템에서 결정된 파라미터를 사용한 분류 판정을 행하여, 결과 데이터를 재구축계 시스템으로 보내는 기능을 갖는다.
진단용 화상은 점막의 두께에 따라 종 방향으로 복수매, 통상 3~5매의 화상 패치가 얻어진다. 이 종 방향의 순서와 함께, 표본 전체에서의 위치를 나타내는 조직 표본 슬라이스의 수평 방향에서의 순서를 유지한 번호가 부여되어 있으므로, 이 화상이 분석에 의해 분화형, 미분화형, 비종양(정상)의 어느 클래스로 판정되었는지의 결과(0, 1, 2로 출력)를 슬라이스마다에 보존하여, 재구축계로 보낸다.
재구축계에서는, 종의 1열마다에, 종 방향의 3개의 화상 패치 중, 1개라도 미분화로 판정된 부분은 미분화로 판정함으로써, 슬라이스마다의 1차원 벡터를 얻어, 그레이 스케일로 변환하고, 분화형을 흑, 미분화형을 백으로 대응시켜 화상으로서 추출하여, 백과 흑에 의해 분화형, 미분화형을 표시한 직선을 얻는다. 이 직선을, 각 슬라이스의 개시점의 좌표와 암부의 개시점의 좌표를 함께 배치하여, 분석 결과의 재구축도를 얻는다.
[실시형태 2]
PC 내에서, 화상 처리계, 분류계, 재구축계, 판정계, 학습계의 연산을 행하는 시스템에 대해 설명한다(도 2). 광학계는 실시형태 1과 마찬가지이지만, 화상 처리계, 분류계, 재구축계, 판정계, 학습계의 연산을 행하는 시스템은 모두 단일의 PC 내에 구축된 시스템으로 되어 있다. 단일의 PC 내에서 연산을 행하고 있지만, 행해지는 기본적인 처리는, 실시형태 1과 마찬가지이다.
뉴럴 네트워크를 이용한 심층 학습에서는, 데이터 텐서에 대해 반복하여 행해지는 연산의 처리에 있어서, GPU를 연산기로서 이용하는 기술; GPGPU(General-purpose computing on graphics processing units)에 의해 시간의 단축과 성능이 비약적으로 향상되어 왔다. 자체 시설 로컬 내의 서버, 혹은 도 2에 나타내는 PC를 이용한 시스템, 어느 경우에서도, 고성능의 GPU를 도입함으로써, 자체 시설 내에서 대량의 화상 데이터로 학습하는 것이 가능해지고 있다.
[실시예]
가장 먼저, 위암을 예로서 설명하지만, 병리 진단이 필요로 되는 질환이면, 적절한 분류기를 사용하여 적절한 화상을 학습시킴으로써, 어떠한 질환이어도 적용할 수 있는 것은 말할 것도 없다. 또한, 후술과 같이, 장기에 의해 적절한 모델을 선택함으로써, 높은 정해율(正解率)을 얻을 수 있다. 여기서는, 화상 인식력이 높은 뉴럴 네트워크, 특히 컨볼루셔널(convolutional) 뉴럴 네트워크를 이용하여 해석을 행하고 있지만, EfficinentNet이나 Big Transfer(BiT), ResNeSt 등의 화상 인식용의 새로운 모델도 사용할 수 있다. 또한, 자연 언어 처리의 분야에서 이용되는 Transformer, Self-Attention이나 BERT(Bidirectional Encoder Representations from transformers)가 화상계로 응용된 Vision Transformer(ViT) 등의 모델을 사용해도 된다. 또한, 이후 개발되는 화상 인식력이 높은 모델을 사용할 수 있는 것은 말할 것도 없다.
[병리 진단 지원 방법]
내시경적 절제가 행해진 위암 조직 표본을 예로, 병리 진단 지원 방법에 대해 설명한다(도 3). 종래와 마찬가지로 광학계 장치에 의해 조직 화상을 연속하여 취득한다. 이 때, 위취 정보는 표본 상에서의 좌표로서 취득하여 재구축계 서버로 보내진다. 취득한 화상은, 화상 처리계 시스템에 있어서 화상 처리 중, 분할 처리를 행하여 적당한 크기로 분할하여 화상 패치를 작성한다. 화상 패치를 작성하여 학습시키는 방법은, 아노테이션에 필요한 시간이나 노력을 대폭 삭감할 수 있기 때문에, 모델의 선택이나 조정을 포함한 개발 사이클의 효율화에 매우 도움이 된다.
화상 패치란, 여기서는, 종양 내에 존재하는 모든 형태가 망라되어 있는 화상 데이터를 말한다. 도 4에 나타낸 예는, 채취한 원래의 화상에서, 상하의 여백부를 절취하여 조직의 부분만으로 하여, 그것을 좌로부터 3분할하여 1~3의 3매의 소화상으로 하고, 각각을 더 종횡 2분할하여 4매로 함으로써, 3×4=12매의 화상 패치를 만드는 예를 나타내고 있다. 3분할한 것 중의 소화상 1에 대해 말하자면, 종횡 2분할함으로써, 4개의 소패치가 얻어지게 된다. 소화상 1이 512×512pixel이면, 256×256pixel의 화상 패치가 4배 얻어지게 된다. 높은 정해율을 얻기 위해서는, 하나하나의 학습 데이터에 포함되는 조직 성분을 단일화하는 것이 매우 중요하다. 화상 패치를 이용하는 방법은, 하나의 화상 패치 내의 조직상이 균일하게 얻어지는 점에서, 질 높은 학습 데이터를 얻는 것이 가능해져, 고성능의 모델을 얻기 때문에 매우 유효하다.
원화상 상에서의 위치 정보는 재구축계로 보내져 있다. 분류계 시스템에 있어서는, 각 화상 패치에 대해, 학습용 화상에 의해 작성된 파라미터를 기초로 분석과 판정이 행해진다. 판정 결과는, 재구축계 시스템으로 보내져, 원화상 상에 맵핑된다. 판정계 시스템에서는 재구축계 시스템의 결과에 기하여, 추가 외과 절제의 필요성의 유무를 판정하여, 모니터 상에 표시한다. 의사는 자신의 검경 결과를 기초로 AI에 의한 재구축도의 수정을 행하여 판정 결과를 확인하여, 진단을 행한다(도3).
[조직형의 분류·판정계의 구축]
1. 개발 환경
개발 환경은 프로그래밍 언어로 Python을 사용하고, 심층 학습 프레임워크(Framework)로서는 Pytorch, 및 TensorFlow를 백엔드(back-end)로 한 Keras에 의해 개발을 행했다.
2. 학습용 데이터
AI를 사용한 진단 지원 시스템을 구축하기 위해서는, 새롭게 조직 표본 화상 데이터가 입력된 경우에, 조직형이 정확하게 분류될 수 있도록 미리 학습시켜 둘 필요가 있다. 그 때문에, 학습용 데이터로서, 숙련된 병리의에 의해, 각 조직형이 판단된 학습용 데이터를 준비할 필요가 있다. 이 학습용 데이터는, 학습용 화상과 병리의가 판단한 비종양(정상), 종양, 종양의 조직형 등의 라벨로 이루어져, 교사 지도 학습(supervised learning)으로서 이용된다.
분화형 위암과 미분화형 위암의 병리 조직 화상을 이용하여, 학습용 화상을 작성했다. 위암의 조직 내에는 암세포와 함께 비암세포가 혼재하며, 그 대부분은 림프구나 매크로파지(macrophage) 등의 염증 세포, 섬유아세포 등의 비상피성 세포이다. 여기서 작성하는 분화형, 미분화형의 분류계는 암의 형태나 구축에 기하여 행하므로, 비상피성 세포는 필요없다. 그래서 우선, 일반적인 일상 진단에 이용하는 헤마톡실린·에오신(HE) 염색 표본이 아니라, 상피 세포가 갖는 세포내 단백질 사이토케라틴(Cytokeratin)에 의한 면역 조직 화학 염색(Immunohistochemistry, IHC)을 행한 조직 표본을 사용하고 있다.
사이토케라틴은, 20종류의 서브타입으로 분류되고, 모든 상피에 존재하여, 종양화해도 안정한 발현이 보여진다. 예를 들면, 식도, 위, 대장, 간, 담관, 유선, 전립선 등의 암에 발현하여 있다. 상피성 세포에 발현하여 있는 사이토케라틴에 대한 항체를 조직 절편 상에서 결합시켜, 발색시킴으로써, 상피성 세포만이 착색된 조직 표본을 얻는다. 착색된 조직 표본에서 화상을 취득함으로써, 상피성 조직만에 대한 형태학적 분류 판별이 가능해진다.
사이토케라틴에 의한 면역 조직 화학 염색은, 상피성 세포만을 염색할 수 있기 때문에, 상피성 세포 구축만을 사용하여, 형태학적 분류 판정을 행할 때의 화상 데이터로서 유효하다. 따라서, 상피 조직 유래의 암이면, 대부분의 암에 사이토케라틴에 의한 면역 조직 화학 염색을 이용한 병리 진단 지원 방법이 적용 가능하다. 특히 유효한 것은 선암이며, 위암, 대장암, 췌장암, 담관암, 유방암, 폐암 등은 사이토케라틴에 의한 면역 조직 화학 염색을 호적하게 적용할 수 있는 상피 조직 유래의 암으로서 예시할 수 있다. 즉, 사이토케라틴에 의한 면역 조직 화학 염색을 이용하여 분류하는 방법은, 많은 암에 응용할 수 있다.
한편, 실제 임상에서의 병리 진단은 주로 HE 염색 표본을 이용하여 행해지고 있다. 병리의가, 광학 현미경을 이용하여, 조직 표본을 관찰할 때에는, HE 염색 표본의 조직 화상에서 상피성 조직과 비상피성 조직을 무의식 중에 식별, 추출하여 시인하고, 상피성 세포만에 대한 형태학적인 판단을 하여, 암의 진단을 행하고 있다. 병리의가 무의식 중에 행하고 있는 이 스텝은, AI를 이용하여 HE 염색 표본에 화상 처리에 의한 변환을 행하거나, 심층 학습을 이용한 화상 변환이나 화상 생성을 행하면, 사이토케라틴에 의한 면역 조직 화학 염색과 동등의 화상으로 변환, 생성할 수 있다. 실제 임상에서 이용되고 있는 표본과 동일한 HE 표본을 기초로 화상 변환이나 화상 생성을 행함으로써, AI에 화상을 학습시키거나 분석할 수 있다. HE 염색 표본을 사용함으로써, 종양의 종류를 불문하고 적용하는 것이 가능해진다. 또한, 후술하는 바와 같이, 퇴색화가 진행한 표본, 염색이 옅은 표본, 시설 간에 있어 표본색에 차가 있는 경우 등, HE 염색 화상을 그대로 사용할 수 없는 경우에는, Neural style transfer 방법을 이용하여, HE 염색 화상을 의사 사이토케라틴 염색 화상으로 가공하면, 병리 진단 지원 시스템에 의해 판정할 수 있다.
일반적인 화상 처리의 방법, 예를 들면, RGB의 채널 분리나 화상의 히스토그램 해석, 화상의 2치화 등을 조합함으로써도, 상피성 조직의 형태 분류에 적합한 화상을 얻을 수 있다. 또한, GAN(Generative Adversarial Network)을 비롯한 심층 학습의 방법을 이용한 화상 생성에 의해 형태 분류에 적합한 학습용 화상을 생성할 수 있다. 심층 학습을 이용하는 경우에는, HE 염색 표본과 연속한 사이토케라틴의 면역 조직 화학 염색 표본을 짝지어 학습시킴으로써, 화상의 pixel 단위로 대응한 변환 화상을 얻는 것이 가능해진다. 이와 같은 화상의 전처리는, 학습의 효율과 스피드업에 가장 중요함과 함께, 시설 간에서의 염색 상태의 차이나, 표본의 두께의 차이 등에서 오는 화상의 색의 차이를 보정하여 표준화하게 되어 학습 화상이나 진단 화상의 표준화에도 이어진다.
GAN에 의한 화상 생성을 이용함으로써, 아직 빈도가 낮은 병변을 판정하는 것도 가능해진다. 빈도가 낮은 병변에서는 대량의 학습용 화상을 준비하는 것이 어렵기 때문에, 종래와 같은 분류 모델로 판정을 하는 것이 어렵다. 그러나, GAN과 기계 학습에 의한 이상 검지를 조합시킨 방법(AnoGAN 등)으로는, 정상 조직을 학습시켜 둔 GAN 모델을 이용하여 화상의 이상도를 수치화하여 판정할 수 있다. 도 5에서는, 정상 위저선(胃底腺) 조직 화상만을 컨볼루셔널 뉴럴 네트워크 모델로 학습시킨 GAN 모델(DCGAN; Deep Convolutional GAN)을 이용하여, 이상 검지를 행하는 AnoGAN 모델에 의한 판정을 행했다(비특허문헌 3). 이상도를 수치화한 결과는, 학습된 정상 위저선 조직(4, 5)에 대해서는, 1200대의 수치가 되어 있지만, 학습한 적이 없는 선와(腺窩) 상피(1, 2)나 저분화선암(3)의 화상에 대해서는, 큰 수치가 된다. 정상 조직의 화상을 이용하여 기계 학습을 행하는 이상 검지의 방법을 이용하면, 대량의 학습용 화상을 준비하는 것이 어려운 병변이어도, 정상 조직과의 차이로서 검출하는 것이 가능해진다.
또, 어느 염색 방법을 이용하는 경우여도, 이용하는 병리 표본은, 균일한 절편 작성에 더하여, 염색의 색조나 농담도 판별할 수 있도록, 품질 관리된 기기·시약과 수순으로 행하는 것이 중요하다.
분류계의 성능은 뉴럴 네트워크 모델의 성능과 학습 화상의 2가지에서 결정되는 점에서, 학습 화상은 분류계의 구축에 있어서 중요한 역할을 담당한다. 전위 학습은 대규모의 화상 데이터를 이용한 컴페티션(competition)으로 연구를 거듭한 우수한 모델을 이용할 수 있지만, 학습시키는 화상은 이용자가 자신의 문제를 참조하여 준비하지 않으면 안된다. 이용자는 각 분야에서 실현하고자 하는 과제에 적합한 학습용 화상을 연구할 필요가 있다. 이하의 위암의 내시경 절제 검체에서의 예는, 점막의 정상부, 암부에서 취득한 화상을 기초로, 대체로 정상 점막부, 분화형암, 미분화형암과 식별할 수 있도록 화상 패치를 작성했다.
화상의 해상도는, 대물 렌즈, 촬영 렌즈의 조합에 의해 대체로 0.1㎛/pixel~4㎛/pixel 정도의 범위에서, 바람직하게는, 0.2㎛/pixel~4㎛/pixel, 보다 바람직하게는, 0.25~2㎛/pixel이 통상 이용되고 있는 현미경의 해상도에서 바람직하게 이용할 수 있다. 화상의 크기로서는 대체로 34×34pixel~1024×1024pixel의 범위를 이용했다. 매우 작은 영역에 국한된 형태를 식별하려는 경우는, 해상도가 높고, 작은 화상을 이용하여 학습을 행할 수 있다. 또한, 사이토케라틴 면역 조직 화학 표본에 의한 실시예에서는, 256×256pixel의 크기의 화상을 기초로 학습을 행했지만, 학습에 사용하는 모델에 따라서는, 보다 큰 화상을 이용하는 것도 필요로 된다. 화상의 크기는, 실현하고자 하는 과제, 조직의 상태, 학습 모델에 따라 적의 선택할 수 있다.
여기서 학습용이나 진단용에 이용되고 있는 화상 패치는, 목시로 인식 가능한 한도에서 되도록이면 작게 하고 있다. 화상 패치를 작게 함으로써, 하나의 화상 패치 내에 포함되는 조직의 형태를 단일로 근접시키는 것이 가능해진다. 또한, 단일한 형태만을 포함한 작은 화상 패치를 이용하면, 종래의 분화·미분화에 의한 2분법으로의 판정이 곤란했던 경계적 형태를 취하는 종양을 새로운 관점에서 해석하는 것도 가능해진다. 진단용 화상에 대해 작성되는 화상 패치로는, 개개의 종양 내에 포함되는 모든 병리 조직 형태를 망라한 것이 그 종양 조직 내에서의 위치 데이터와 함께 얻어진다.
3. 심층 학습
항사이토케라틴 항체를 이용한 면역 조직 화학 염색을 행한 표본에서 암부의 조직 화상을 취득하고, 화상의 회전이나 분할 등의 증폭 처리를 행하여, 256×256pixel의 화상을 각 세트 644매 작성하고 학습용 데이터 세트로 했다. 실제의 정보량은, 색 정보도 포함되는 점에서, 256×256×3의 데이터량이 된다. 데이터 세트는, 분화형, 미분화형이 확실히 구분될 수 있는 세트 a, 미분화형 성분이 분화형 성분에 혼재하여 있는 미분화형 성분 무/유의 세트 b를 준비했다(도 6).
여기서 이용하는 심층 학습은, 화상 처리에 적합한 네트워크이면, 특히 한정되지 않는다. 화상 인식력이 높은 뉴럴 네트워크로서는, 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network: CNN)나, 혹은, 자연 언어 처리의 분야에서 이용되는 Transformer, Self-Attention이나 BERT(Bidirectional Encoder Representations from transformers)가 화상계로 응용된 Vision Transformer(ViT) 등의 모델을 예시할 수 있다. 컨볼루셔널 뉴럴 네트워크의 예로서는, 대규모 물체 인식 데이터 세트(ImageNet)를 이용한 화상 인식 컴피티션(ILSVRC)에 의해 개발된 것이 많고, ResNet, Inception-v3, VGG, AlexNet, U-Net, SegNet, Densenet, Squeezenet 등을 들 수 있고, EfficinentNet이나 Big Transfer(BiT), ResNeSt 등의 화상 인식용의 새로운 모델도 이용할 수 있다. 또한, 이후 개발되는 화상 인식력이 높은 모델을 사용할 수 있는 것은 말할 것도 없다.
[실시예 1]
우선, 사이토케라틴의 면역 조직 화학 염색 표본을 사용하여, Set a(도 6)에 나타내는 판정이 용이한 분화형, 미분화형의 데이터 세트에 의해, ResNet으로 전이 학습을 행했다. 전이 학습은, 학습 완료의 네트워크와 파라미터값을 이용하여, 새로운 태스크로 활용하는 것이다. ResNet이 대규모의 데이터 세트로 학습한 파라미터(가중치)의 초기값을 이용하여, 자신의 화상 데이터로 학습시킨 전이 학습과, 학습 완료의 파라미터의 초기값을 이용하지 않고, 모델의 구조만을 이용하여 자신의 화상 데이터를 모델로 학습시키는 Scratch 학습의 양쪽에 의해 학습을 행했다.
본 발명에서는, 이하의 기기 시스템을 이용했다.
A; CPU; Intel corei7, GPU 없음
B; CPU; Intel corei7, GPU NVIDIA GeForce 1080-Ti
C; CPU; Intel Xeon, GPU NVIDIA GeForce RTX 2080-Ti
D; CPU; Intel corei9, GPU NVIDIA Titan-V
분화형/미분화형 위암의 사이토케라틴 면역 조직 화학 염색 표본에서 작성한 데이터 세트 a를 이용한 학습으로는, 인식 정도는, Scratch 학습에 의해 0.9609, 전이 학습(미세 튜닝)에 의해 0.9883으로, 충분한 인식 정도가 얻어졌다(도 7).
다음으로, 미분화형 성분의 혼재 무/유의 위암의 사이토케라틴 면역 조직 화학 염색 표본인 Set b(도 6)를 이용한 학습에서는, Scratch 학습에 의해 0.9219, 전이 학습(미세 튜닝)에 의해 0.9102로, 이들 데이터 세트로도 진단 지원에 이용하기 위한 충분한 인식 정도가 얻어졌다(도 8). 미분화 성분의 혼재 무/유의 표본은, 병리의에게 있어서도, 난이도가 높은 조직상이다. 병리의에게 있어서도, 판단이 어려운 데이터 세트에 관해서는, AI에 의한 정답률도 적어지지만, 그런 경우여도 90% 이상의 정답률을 낼 수 있는 점에서, 충분한 정도가 있는 것으로 생각된다.
과학습(過學習)은, 훈련 데이터로 특화한 파라미터가 학습되어 버림으로써, 일반화 성능(generalization performance)이 저하하여, 검증 데이터로의 정도가 저하하여 버리는 것이다. 과학습을 막기 위해서는, 훈련 데이터를 늘리는 것이 최선의 해결 방법이지만, 적은 데이터를 기초로 효율좋게 훈련 데이터를 늘리는 방법으로서, 데이터 확장(Data Augmentation)이 있다. 데이터 확장은, 훈련 데이터의 화상에 회전, 변형, 중심부 잘라냄, 확대, 축소 등의 가공을 행하여 훈련 데이터를 늘리는 방법이다. 여기서도 학습용 화상에 대해서는, 이들 처리에 의한 데이터 확장을 행하고 있다.
심층 뉴럴 네트워크에 걺으로써, 데이터의 차원은 순차로 삭감되면서, 입력 화상이 갖는 본질적인 특징량(잠재 표현, 내부 표현이라고도 불린다)이 추출된다. 특징량(잠재 표현, 내부 표현)을 데이터에서 얻는 방법의 하나로서 자기 부호화기(Autoencoder)가 있다. 이것은 Encoder(부호화기)에 의해, 원래의 데이터에서 특징량(잠재 표현, 내부 표현)을 추출하여, 이것을 기초로 Decoder(복호화기)에 의해 원래의 데이터로의 복원을 행하는 것이다. 화상 데이터의 경우는, 부호화기의 부분에 컨볼루셔널 뉴럴 네트워크를 이용할 수 있지만, 이것은 잠재 표현의 추출의 방법으로서 뉴럴 네트워크를 이용하고 있다고 볼 수도 있다. 전이 학습에서 작성한 분류기를 특징 추출기로서 이용함으로써, 진단용 화상에 대해 작성되는 화상 패치에서 특징량을 추출하여, 2차원까지 더 차원 삭감함으로써, 조직 형태에서 얻어진 특징량의 분포도를 산포도로서 가시화할 수 있다. 분화형과 미분화형 위암의 조직 표본에서 작성한 화상 패치에서 특징량을 2차원까지 더 차원 삭감함으로써, 형태 특징량의 2차원에서의 분포를 산포도로서 가시화할 수 있다.
도 9 좌는, 종양에 존재하는 형태 특징량의 차원 삭감에 의한 2차원에서의 산포도를 나타내고 있다. 진단용 화상에 대해 작성되는 화상 패치로는, 개개의 조직 내에 포함되는 병리 조직 형태의 망라적 화상 패치가 그 조직 내에서의 위치 데이터와 함께 얻어지고 있다. 그 때문에, 산포도를 이용하여 종래의 분화·미분화에 의한 2분법으로의 판정이 곤란했던 경계적 형태를 취하는 종양을 클러스터링하는 것이 가능해진다. 또한, 산포도의 개개의 점이 유래하는 화상 패치가 병변 내의 어디에 존재하고 있었는지를 추적함으로써, 특징량 클러스터가 실제의 종양 내에서 어떻게 분포하고 있는지를 알 수도 있다(도 9 좌).
병리 조직 화상에서 추출된 특징량, 잠재 표현을 이용함으로써, 화상 이외의 형식이 상이한 다른 모달리티(modality)의 데이터에서 얻어진 특징량과의 결합(concatenation)이나 융합(fusion)이 가능해진다. 이것에 의해, 상이한 모달리티의 특징량끼리를 결합하여, 결과의 추론을 행하는 멀티모달 학습에 이용할 수 있다. 분화형, 미분화형과 같은 종래의 분류 카테고리가 아니라, 병리 조직 화상이 갖는 특징량 자체를, 형식이 상이한 다른 모달리티의 데이터에서 추출된 특징량과 결합함으로써, 상이한 모달리티의 정보가 결과의 추론에 대해 상보적으로 작용하는 것을 이용할 수 있게 된다. 예를 들면, 치료 방침 결정과 같은 임상에서의 의사 결정에서는, 성별 등의 카테고리컬(categorical) 데이터나, 검사 데이터 등의 수치 데이터, 방사선 화상 등의 화상 데이터, 유전자 변화의 정보 등의 형식이 상이한 데이터를 융합하여 판단을 형성하는 시스템을 구축할 수 있다.
[실시예 2]
[재구축 맵의 작성]
상기에서 구축된 판정계를 이용하여, 분화형과 미분화형 성분이 혼재하는 위암의 조직 표본을 이용한 해석과 재구축을 행했다(도 10). 이 예에서는, 사이토케라틴에 의한 면역 조직 화학 염색 표본을 이용하여 학습시킨 모델을 구축하여, 판정에 이용하고 있다.
검체 프레파라트 상에는, 잘라낸 조직 슬라이스가 평행하게 배치되어 있다. 조직 검체의 1 슬라이스의 길이가 슬라이드 유리보다도 큰 경우는, 도 10에 나타내는 바와 같이 슬라이드 유리에 담기 위해서, 장단의 2개(A와 B)로 절단되어 표본이 작성되어 있다. 사이토케라틴 염색 표본 상의 A와 B에서 합성되는 1개의 슬라이스에서, 촬영 시야를 이동시키면서, 조직 화상을 연속하여 취득한다. 여기서는 연속하는 3매의 화상을 나타내고 있다. 화상 취득과 함께, 조직 표본의 각 슬라이스의 개시점의 좌표, 암부의 개시점의 좌표를 채취한다. 상기의 연속한 화상을 분할 처리하여, 256×256pixel의 화상을 생성한다. 또한, 사이토케라틴에 의한 면역 조직 화학 염색 표본을 이용한 분류기로는, 학습 화상에 다소 상이한 조직 성분이 포함되어 있어도 높은 정해율이 얻어지기 때문에, 약확대 화상에 의한 해석이 가능했다. 그 때문에, 이 예에서는, 종 방향(점막의 두께 방향)은 1열의 화상 패치로 커버할 수 있었다.
분할한 화상에는 수평 방향으로 번호를 부여하여, 원래의 표본 슬라이스 상에서의 순서를 유지시킨다. 상기의 화상 세트를, 이미 작성한 분류, 판정계로 분석한다. 분석 결과는 분화형, 미분화형의 어느 것으로 판정되었는지를, 0과 1로 결과 출력시켜, 1차원 벡터로서 보존한다. 하나의 슬라이스에서 얻어진 1차원 벡터를 이차원화하여, 벡터의 값 1을 값 255로 변환함으로써, 0이 흑, 255가 백인 2색에 대응시킨다. 얻어진 이차원 벡터를 화상으로서 추출, 흑, 백에 의해 분화형, 미분화형을 표시한 직선을 얻는다. 이 예에서는, 백이 미분화형, 흑을 분화형으로 대응시키고 있다.
여기서는, NumPy를 이용하여 동일한 1차원 백터를 이중으로 네스트(nest)함으로써, 2차원화하고, 이어서, NumPy 하에서 기능하는 그래프 묘화 패키지 Matplotlib의 pyplot 모듈을 이용하여, 2차원화된 벡터를 직선으로서 추출하고 있다. 또, NumPy는 Python 언어로의 개발 환경 하에 있어서, 다차원 배열의 조작과 수치 연산 기능을 제공하는 라이브러리이다. 여기서는, 판정계에서 출력된 분석 결과의 1차원 벡터를, NumPy를 이용하여 이중으로 네스트하여 2차원화하고, pyplot 모듈을 이용하여 직선으로서 추출하고 있다.
각 슬라이스에서 얻어진 직선을, 각 슬라이스의 개시점의 좌표, 암부의 개시점의 좌표를 기초로 배치함으로써, 검체 조직 전체에 대한 분석 결과의 재구축도가 얻어진다. 종래, 병변의 존재 판정만이었던 심층 학습의 이용을 더 발전시켜, 본 실시예에서 나타내는 바와 같이, 암 병소의 분화도와 위치의 정보에 의해 암 병소를 종합 판정 가능한 패턴으로 재구축하여 있다. 그 결과, 암 병소의 미분화도 맵을 추출하고, 미분화형 성분의 위치나 크기를 한눈에 판단하여, 신속하게 전이의 리스크 등에 대해 판정하는 것이 가능해진다.
또한, 병리의가 현미경 하의 관찰에 의해 판단한 분화도의 결과를 정밀하게 검체 전체도의 할선 상에 묘출하기에는 한계가 있고, 특히, 매우 좁은 범위로 분화도가 상이한 조직이 혼재하여 있는 경우에는, 분포를 충실하게 맵핑하여 재현하는 것은 어렵다. 따라서, 사람이 작성하는 재구축도에는 정밀도의 점에서 자연히 한계가 있어, 재구축도의 작성에도 다대한 시간을 요한다. 금번 개발한 방법을 이용하면 정밀한 맵의 작성이 가능해져, 치료법의 선택에 크게 공헌할 수 있다.
본 시스템을 이용하여 병리의가 실제의 표본을 검경할 때에는, AI가 작성한 재구축도를 참조하면서, 자신의 검경 결과를 기초로 AI에 의한 재구축도의 수정을 행하여, 진단 보고용의 재구축도를 완성한다. 이것에 의해 재구축도의 정밀도가 현격하게 향상할 뿐 아니라, 진단 보고의 작성에 요하는 시간을 대폭 단축할 수 있다.
[실시예 3]
HE 염색 화상에 의한 병리 진단 지원 방법에 대해 설명한다. 실제 임상에서의 병리 진단은 주로 HE 염색 표본을 이용하여 행해진다. 사이토케라틴의 면역 조직 화학 염색 표본으로 구축한 분류기를, 범용성이 더 높은 것으로 하기 위해서는, HE 염색 표본에 의한 분류기가 필요하다. HE 염색 표본으로의 학습용 데이터 세트를 작성하고, 우선, 위암의 분화·미분화의 2클래스 분류기를 구축했다(도 11).
정해율이 높은 분류기를 만들기 위해서는, 학습용 화상 데이터 세트가 중요하다. 도 11(A)에 나타내는 바와 같은 분화형, 미분화형의 2클래스의 학습용 화상 데이터 세트를 다수 준비했다. 학습용 화상 1매에 포함되는 조직 형태학적인 성분은 가능한 한도에서 단일로 하고, 복수의 성분이 포함되지 않도록 학습용 화상을 준비한다. 그러나, 화상 자체의 크기는, 분류기에 이용하는 컨볼루셔널 뉴럴 네트워크에 의해, 224×224pixel이나 299×299pixel 등의 지정이 있으므로, 그 크기로 단일의 형태학적 성분만으로 이루어지는 작은 영역이 담기도록 화상을 준비한다. 큰 화상을 분할하여 규정 사이즈의 화상을 얻는 경우도, 분할한 화상이 상기의 조건을 만족시키도록, 분할의 사이즈를 검토한다.
다음으로, 하나의 모델에 대해, 학습의 조건을 바꾸면서, 검증 데이터에 의해 정해율이 높아지도록 조정을 행하여 간다. 도 11에서는, 모델에 Resnet18을 이용한 경우의 학습 곡선의 예를 나타냈다. baseline의 검토에서는, 에포크(epoch)마다의 검증용 데이터(val)에서의 정해율의 변동이 크다(도 11(B)). 그래서, 학습률의 조정과 배치(batch) 사이즈의 조정에 의해, 학습 곡선은 baseline에서 1(도 11(C)), 2(도 11(D))로 개량되었다. 2의 학습 곡선에서는, 대체로 과학습의 경향은 보이지 않고, 검증용 데이터에서의 정해율의 최고값은 0.9683이 얻어졌다.
[실시예 4]
위암의 분화형, 미분화형에 정상 조직을 더한 3클래스의 학습용 데이터 세트를 이용하여, 6개의 모델을 비교하면서, 정해율이 높은 분류기를 작성했다(도 12). 분화형, 미분화형, 정상의 전형적인 조직상을 도 12(A)에 나타낸다. 이들 학습용 화상 데이터 세트를 이용하여, 6개의 모델을 사용하여, 분류기의 작성을 행했다. 전이 학습에 의한 화상 분류에 이용할 수 있는 모델은 다수 있으며, 어느 것도 ImageNet 데이터 세트를 이용한 화상 인식의 컴피티션에 의해 평가된 모델이나 그 개량판이다. Resnet18(도 12(B)) 및 InceptionV3(도 12(C))에서는 검증용 데이터에서의 정해율의 최고값은 0.93 및 0.92 이상이 얻어지고, Alexnet(도 12(G))에서는 0.9639의 정해율이 얻어졌다. 그 밖에, Densenet121(도 12(E))에서는, 100에포크의 학습에서는 드디어 일반화 성능이 나오기 시작하는 지점에 있어, 100 에포크를 초과하여 학습하면, 충분한 일반화 성능을 얻을 가능성이 있다. 한편, Vgg11_BN(도 12(D))에서의 60에포크 이후나, Squeezenet1(도 12(F))에서는 과학습의 경향이 인정된다. 이와 같이, 학습 곡선을 보면서, 과학습에 빠지지 않고, 일반화 성능을 얻을 수 있는 최적의 모델과 에포크에 의해 파라미터를 취득하여, 실제 임상에 응용할 수 있다.
[실시예 5]
다음으로, 실시예에서 나타낸 병리 진단 지원 방법은, 위암 뿐 아니라, 다양한 암에 있어서도 적용 가능함을 나타낸다. 본 명세서에서는, 학습 데이터 세트를 준비하고, 그 학습 데이터 세트에 적합한 모델을 선택하여 전이 학습을 행하여, 파라미터를 보존하여 분류계로 이용하는 병리 진단 지원 방법을 나타내고 있다. 이 일련의 방법은, 위암의 분화·미분화에 한하지 않고, 타 장기의 암에도 이용할 수 있다. 위암 이외의 다양한 암에 있어서, 동일의 종양 내에 조직형의 혼재가 있음이 알려져, 취급 규약에 기재가 있는 것의 예로서, 자궁내막암, 갑상선암, 유방암 등이 있다. 예를 들면, 갑상선암에서는 고분화형의 성분(유두암이나 여포암)과 저분화형의 성분이 혼재한 경우, 50% 이상을 저분화형이 차지하는 경우에 저분화형으로서 기재된다. 자궁내막암에서는 종양 내에 차지하는 비율에 따라 3단계로 분류되어 있다. 이와 같은 경우에도 고분화형과 저분화형의 각각의 학습용 화상 데이터 세트를 구축하여 분류기를 작성하면, 고분화·저분화의 맵을 작성하는 것이 가능해진다.
갑상선암에서의 학습 모델 구축의 예를 나타낸다(도 13). 갑상선의 고분화형(유두암)과 저분화형, 정상 갑상선 조직의 3클래스 분류(도 13(A))에 의해 모델을 구축했다. 이 갑상선에서의 데이터 세트로는, Resnet18(도 13(C))이나 InceptionV3(도 13(E)), Squeezenet1(도 13(D)) 등에서 과학습에 빠지기 쉬운 경향이 있지만, Densenet121(도 13(B))에서는 40에포크 정도까지에서 학습을 종료하여 파라미터를 얻음으로써, 정해율 90% 정도의 모델을 얻는 것이 가능하다. 또한, Vgg11_BN(도 13(F))에서는 검증 데이터로의 정해율은 조금이지만 증가 경향에 있으므로, 에포크수를 더 늘려 학습함으로써, 정해율이 향상하는 것이 생각된다. 위암, 갑상선암의 예로 나타내는 바와 같이, 장기마다에 최적의 모델은 상이하다. 따라서, 각 장기마다에 모델을 선택하여, 정해율이 높은 모델을 선택할 필요가 있다.
[실시예 6]
유전자의 변화나 발현에 관련한 특징적인 병리 조직상이 알려져 있는 종양에 대해서도, 학습 데이터 세트를 준비하고, 그 학습 데이터 세트에 적합한 모델을 선택하여, 파라미터를 보존하여 분류계로 이용하는 병리 진단 지원 방법을 이용할 수 있다. 암에 관련한 유전자나 단백질의 변화는 방대한 정보가 축적되어 있지만, 그 중, 조직 형태학적인 정보와의 관련이 알려져 있는 것에 대해서는, 특징적인 병리 조직상을 기반으로 하여 분류함으로써, 어떠한 유전자나 세포 생물학적인 검색을 더 행하여 나갈지의 방침을 결정할 수 있다. 또한, 추가적인 검사의 오더를 권장하는 데에도 보조로 된다고 생각된다.
NCI(National Cancer Institute)에 의한 The Cancer Genome Atras(TCGA)에서는 위암이 이하의 4가지의 molecular subtype으로 대별되는 것이 알려져 있다(비특허문헌 4).
Chromosomal Instability(CIN)
Genomically stable(GS)
Microsatellite instability(MSI)
Epstein-Barr Virus(EBV)
이 중, MSI나 EBV의 타입의 위암에서는 종양 내에의 림프구의 침윤이 현저하다는 특징적 조직상이 알려져 있다. 또한, GS에 포함되는 암은 조직학적으로 미만형(저분화형선암)이 대부분을 차지하고, 그 중에서도, 몇몇 유전자의 변화를 수반하는 군이 알려져 있다.
이미, 심층 학습을 이용하여, HE 염색 화상에서 MSI를 추정하는 방법이 보고되어 있다(비특허문헌 5). HER2 단백질의 과잉 발현 / 유전자 증폭을 수반하는 위암에서는, 분자 표적약에 의한 치료가 행해지고, 면역 조직 화학이나 FISH법에 의한 컴패니언 진단이 확립하여 있다. 따라서, MSI에 더하여, HER2 단백질의 과잉 발현 / 유전자 증폭에 관해서도, HE 염색으로 추정할 수 있으면, HER2 양성 위암을 HE 염색에 의한 병리 진단의 단계에서 놓치지 않고, 보다 적절한 치료를 행할 수 있다. 이러한 HER2 양성 위암에서는, Lauren 분류에 의한 장관형(관상선암)과 미만형(저분화형선암 등) 중, 장관형(관상선암) 쪽이 유의하게 HER2 단백질의 과잉 발현의 빈도가 높음이 알려지고, 장관형(관상선암)과 미만형의 조직상이 혼재하는 경우에는, 장관형이 많이 포함되는 표본으로의 컴패니언 진단이 권장되고 있다.
도 14에서는, HER2 단백질의 과잉 발현 / 유전자의 증폭이 있는 암 조직에서의 조직 화상(A), MSI이 확인된 암 조직에서의 조직 화상(B), 미만형의 암으로 보여지는 유전자에 변이가 있는 암 조직에서의 조직 화상(C)을 이용하여 학습 화상 데이터 세트를 작성하여, 3클래스의 분류를 행했다. 3가지의 클래스로 분류한 화상을 학습시켜, 분류기를 작성하고, 진단용 화상으로 검증했다. Alexnet에서는 0.9656의 정해율이 얻어지고, Resnet18에서는, Alexnet의 배(倍)의 에포크를 학습에 요하지만, 0.9089의 정해율이 얻어졌다.
유전자의 변이나 발현에 관련한 특징적인 병리 조직상이 알려져 있는 경우에는, 병리 화상에서 유전자의 변이나 발현의 변화를 추측할 수 있다. 실시예에서 나타낸 바와 같이, HER2 단백질의 과잉 발현 / 유전자 증폭의 가능성을 HE 염색에 의한 병리 진단시에 지적할 수 있으면, 면역 조직 화학 염색에 의해 확정 진단을 행하여, HER2를 표적으로 한 치료를 행할 수 있다. 이와 같은 유전자의 변이나 발현에 관련한 병리 조직상은, 증례수가 많은 시설(High volume center)의 병리의는 대략의 특징을 파악하고 있는 경우가 많다. 이와 같은 익스퍼트(expert)의 경험에 의한 축척을 분류기로서 병리 진단 지원 시스템에 실장하는 것이 가능해진다. 또한, 진단 정도가 높아지면, HE 염색을 컴패니언 진단으로서 분자 표적약의 선택을 행하는 것도 가능해진다. 실시예에서는, 상기의 3클래스로서 분류를 행하고 있지만, 새롭게 유전자의 변화나 변화와 관련한 특징적인 조직상이 알려지면 새로운 클래스를 순차 추가하여 분류기를 작성해 나갈 수 있다.
[실시예 7]
HE 염색 표본의 화상 데이터 세트에서 작성한 분류기를 이용하여, 실제로 내시경 절제 표본에서 분화·미분화 맵을 작성할 때에는, 점막의 두께에 따라 종 방향으로 3~5매의 화상 패치가 얻어진다. 도 15(A)에, 종 방향으로 3매의 화상 패치가 얻어진 예를 나타낸다. 이 예는, HE 표본에서의 위 점막 고유층의 종 방향이 3매, 횡 방향이 10매인 화상 패치이다.
도 15(B) 중단에는, 이 화상 패치에 있어서 분류 결과가 정상으로 판정된 패치를 회색, 분화형을 흑, 미분화형을 백으로 나타내고 있다. 종의 1열마다에, 종 방향의 3개의 화상 패치 중, 1개라도 미분화로 판정된 부분은 미분화로 판정하는 맵을 하단에 나타냈다. 여기서는 종 1열마다, 즉, 두께 방향으로 1개라도 미분화로 판정된 패치가 있는 경우에는, 미분화로 판정하는 기준을 마련하고 있지만, 두께 방향의 패치 중, 몇 개가 미분화된 경우에 그 열을 미분화로 하여 수평 방향의 맵을 만들지의 기준은 자유롭게 변경할 수 있다. 이와 같은 처리를 행함으로써, 융기가 있는 병변의 경우나 작은 화상 패치를 사용하는 경우에서도 판정을 행하는 것이 가능해진다.
[실시예 8]
실제 임상에서의 병리 진단은 주로 HE 염색 표본을 이용하여 행해지지만, 시간 경과에 의해 퇴색이 진행해버린 표본이나, 염색이 옅은 표본, 표본 색의 시설간 차에의 대책으로서, 컨볼루셔널 뉴럴 네트워크를 이용한 Neural style transfer(비특허문헌 6)의 활용이 있다. 화상의 대역적(大域的)인 구도에 해당하는 content image(컨탠츠 이미지)에 대해, 화상 내의 위치에 상관없는 특징, 색이나 텍스쳐를 style image(스타일 이미지)로 하여, Neural-Style algorithm(뉴럴-스타일 알고리즘) 등의 방법을 이용하여 가공하는 것이다. 예로서는, 퇴색이 진행해버린 표본을 Neural style transfer에 의해 사이토케라틴의 면역 조직 화학 염색 표본으로 화상 변환한 예를 나타냈다(도 16). 변환에 의해 의사(疑似) 사이토케라틴(IHC)화된 화상은, 사이토케라틴 염색 표본으로 구축한 분류기에 의해 판정하여 맵의 작성을 행할 수 있다.
본 명세서에서는, 위암, 갑상선암의 HE 염색 표본을 이용하여, 본 진단 지원 방법을 적용 가능함을 나타냈지만, 적절한 모델을 선택하면 모든 장기에서 암의 조직형을 판정하고, 종양 내의 불균일성을 가시화하여 부감(俯瞰)함으로써, 병리 진단 지원에 이용할 수 있다. 또한, 위암에 있어서 사이토케라틴의 면역 조직 화학 염색의 화상에 의한 조직형에 의한 판정을 나타내지만, 사이토케라틴에 한하지 않고, 암의 악성도의 지표가 되는 단백질이나 치료에의 반응성을 나타내는 단백질(바이오마커)에 의한 면역 조직 화학 염색의 화상을 이용하면, 종양의 악성도 맵이나 치료 반응성 맵을 작성하여 종양 내의 불균일성을 부감하는 것이 가능해진다. 또한, 실시예에서 나타낸 바와 같이, HE 화상에서 HER2의 과잉 발현이 의심되는 암을 판단할 수 있는 것은, 디지털 컴패니언 진단으로 응용할 수 있는 것을 나타내고 있다.
병리 진단이 근거로 하는 형태학, 즉, 전형적인 정상 조직, 양성 조직, 악성 조직(암, 육종) 등의 조직 소견은, 조직학이나 병리 진단학의 성서(成書)에 기록되어 공유되고 있다. 조직 소견은, 또한, 병리 전문의가 될 때까지의 연수의 과정에서 지도 계승되고, 또한, 암 취급 규약이나 WHO 분류로서 명시되어, 학회나 증례 검토회 등의 장에서 공유되고 있다. 그러나, 조직의 형태의 차이는 연속적이고, 정상 조직과 종양, 종양 중의 분화형·미분화형 등, 실제 임상에서의 진단 곤란예는 적지 않아, 미묘한 판단은 궁극적으로 개개의 병리의에 위임되어 있다. 위암에서는 일본과 미유럽에서 점막내암의 판단이 상이한 것도 잘 알려져 있다. 컨센서스가 일정하지 않는 조직 소견에 대해서도, 이 방법이면, 과거의 데이터를 기초로, 본 시스템의 결과와 예후의 관계를 용이하게 다시 검토하여, 과거의 병리 데이터와 림프절 전이율 등의 재발률을 확인함으로써, 예후를 검토할 수 있다. 그 결과, 치료법의 선택과 예후의 관계에서, 환자에 적절한 치료법을 제공할 수 있어, 이제까지 판정이 어려웠던 종양 내가 불균일한 암의 치료법의 확립에 기여할 수 있다.

Claims (16)

  1. 조직 표본의 현미경 관찰 화상 데이터를 연속하여 취득하는 화상 취득 공정과,
    상기 화상 데이터를 위치 정보를 유지한 채 소정의 사이즈로 분할하여 화상 패치를 얻는 공정과,
    화상 패치마다에 기계 학습에 의한 학습 데이터를 기초로 조직형을 판정하는 판정 공정과,
    판정된 조직형을 각 위치에서 표시하는 재구축 공정을 구비한 병리 진단 지원 방법.
  2. 제1항에 있어서,
    기계 학습에 의해 판정된 조직형을 각 위치에서 표시하는 상기 재구축 공정이,
    종양 내의 분화도의 변화와 종양의 불균일성을 표시하는 것을 특징으로 하는 병리 진단 지원 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 기계 학습이,
    뉴럴 네트워크에 의한 것을 특징으로 하는 병리 진단 지원 방법.
  4. 제3항에 있어서,
    상기 뉴럴 네트워크가,
    학습용 화상으로서 해상도 0.1㎛/pixel~4㎛/pixel의 화상을 이용하는 것을 특징으로 하는 병리 진단 지원 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 조직 표본이 암 조직에 유래하는 것이고,
    암의 병리 진단을 지원하는 것을 특징으로 하는 병리 진단 지원 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 조직 표본이 HE 염색, 또는 면역 조직 화학 염색 표본인 것을 특징으로 하는 병리 진단 지원 방법.
  7. 제6항에 있어서,
    상기 HE 염색 표본이 표준화되어 있지 않은 표본인 경우,
    Neural style transfer(뉴럴 스타일 트랜스퍼) 방법을 이용하여,
    의사적(擬似的)인 면역 조직 화학 염색 표본을 작성하고,
    면역 조직 화학 표본상을 학습시킨 학습 모델에 의해 조직형을 판정하는 것을 특징으로 하는 병리 진단 지원 방법.
  8. 조직 표본의 현미경 관찰 화상 데이터를 연속하여 취득하는 화상 취득 수단과,
    상기 화상 데이터를 위치 정보를 유지한 채 소정의 사이즈의 화상 패치로 분할하는 화상 처리 수단과,
    분할된 화상마다에 기계 학습에 의한 학습 데이터를 기초로 조직형을 판정하는 분류 수단과,
    분류된 조직형을 각 위치에서 표시하는 재구축 수단을 구비한 병리 진단 지원 시스템.
  9. 제8항에 있어서,
    상기 화상 처리 수단이,
    조직 염색 표본을 표준화하는 수단을 포함하는 것을 특징으로 하는 병리 진단 지원 시스템.
  10. 제8항 또는 제9항에 있어서,
    상기 기계 학습이,
    뉴럴 네트워크인 것을 특징으로 하는 병리 진단 지원 시스템.
  11. 제10항에 있어서,
    상기 뉴럴 네트워크가,
    전이 학습에 의해 미리 얻어진 조직형의 파라미터값을 이용하는 것을 특징으로 하는 병리 진단 지원 시스템.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    병리 진단 지원하는 질환이,
    암인 것을 특징으로 하는 병리 진단 지원 시스템.
  13. 취득된 화상 데이터를 위치 정보를 유지한 채 소정의 사이즈로 분할하고,
    교사 데이터를 이용하여 학습시킨 학습 모델을 이용하여,
    분할한 화상마다에 기계 학습에 의해 조직형을 판정하고,
    판정된 조직형을 각 위치에서 표시하여, 재구성시키는 처리를 컴퓨터로 실행시키는 병리 진단 지원 프로그램.
  14. 제13항에 있어서,
    조직 표본의 현미경 관찰 화상을 연속하여 취득시키는 처리를 포함하는 병리 진단 지원 프로그램.
  15. 조직 표본의 현미경 관찰 화상 데이터에 기하여, 화상 데이터의 조직형을 판정하기 위한 학습 완료 모델로서,
    대상이 되는 조직 표본의 현미경 관찰 화상 데이터를 소정의 사이즈로 분할하여 입력하는 입력층과,
    분할된 화상 데이터의 조직형 판정 결과를 조직 표본의 각 위치에서 표시하는 출력층을 구비하고,
    교사 데이터로서 의사에 의해 조직형이 판단된 화상에 기하여 학습된 데이터를 기초로 상기 조직형을 분류하는 분류기를 구비하고,
    입력되어 소정의 사이즈로 분할된 현미경 관찰 화상 데이터의 조직형을 판정하여, 조직 표본의 각 위치에서 표시하는 컴퓨터를 기능시키기 위한 학습 완료 모델.
  16. 제15항에 있어서,
    상기 교사 데이터가 화상의 전처리를 행한 것임을 특징으로 하는 학습 완료 모델.
KR1020227025235A 2019-12-26 2020-12-25 Ai를 이용한 병리 진단 지원 방법, 및 지원 장치 KR20220119447A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-236352 2019-12-26
JP2019236352 2019-12-26
PCT/JP2020/048926 WO2021132633A1 (ja) 2019-12-26 2020-12-25 Ａｉを用いた病理診断支援方法、及び支援装置

Publications (1)

Publication Number Publication Date
KR20220119447A true KR20220119447A (ko) 2022-08-29

Family

ID=76574739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227025235A KR20220119447A (ko) 2019-12-26 2020-12-25 Ai를 이용한 병리 진단 지원 방법, 및 지원 장치

Country Status (8)

Country Link
US (1) US20230045882A1 (ko)
EP (1) EP4083907A4 (ko)
JP (1) JP7004871B2 (ko)
KR (1) KR20220119447A (ko)
CN (1) CN115087867A (ko)
AU (1) AU2020411972A1 (ko)
CA (1) CA3169403A1 (ko)
WO (1) WO2021132633A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024112121A1 (ko) * 2022-11-23 2024-05-30 (주) 노보믹스 위암 병리조직 이미지 판독 인공지능 소프트웨어

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11950877B2 (en) * 2019-02-05 2024-04-09 University Of Virginia Patent Foundation System and method for fully automatic LV segmentation of myocardial first-pass perfusion images
US20220277219A1 (en) * 2021-02-26 2022-09-01 Saudi Arabian Oil Company Systems and methods for machine learning data generation and visualization
CN113327258A (zh) * 2021-07-15 2021-08-31 重庆邮电大学 一种基于深度学习的肺部ct图像识别方法
CN113469119B (zh) * 2021-07-20 2022-10-04 合肥工业大学 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
US20230044152A1 (en) * 2021-08-05 2023-02-09 Rakuten Group, Inc. System and method for multi-modal transformer-based catagorization
CN114627135A (zh) * 2022-01-08 2022-06-14 海南大学 基于实例分割网络和投票机制的遥感图像目标分割方法
CN114468977B (zh) * 2022-01-21 2023-03-28 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
US12062169B2 (en) * 2022-04-25 2024-08-13 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated AI solutions and method
WO2024024587A1 (ja) * 2022-07-26 2024-02-01 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム
KR102622960B1 (ko) * 2022-08-25 2024-01-10 (재)씨젠의료재단 조직 병리 판독 지원 장치 및 그 방법
CN115937567B (zh) * 2022-09-07 2023-07-07 北京交通大学 一种基于小波散射网络和ViT的图像分类方法
WO2024090265A1 (ja) * 2022-10-28 2024-05-02 株式会社biomy 情報処理装置、情報処理方法及びプログラム
CN115393230B (zh) * 2022-10-28 2023-02-03 武汉楚精灵医疗科技有限公司 超声内镜图像标准化方法、装置及其相关装置
CN115861212B (zh) * 2022-11-25 2023-07-14 中国医学科学院肿瘤医院 基于胃粘膜活检样本对相关病症进行区分的系统和装置
CN115954100B (zh) * 2022-12-15 2023-11-03 东北林业大学 胃癌病理图像智能辅助诊断系统
CN117153343B (zh) * 2023-08-16 2024-04-05 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统
CN116883397B (zh) * 2023-09-06 2023-12-08 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统
CN117275681B (zh) * 2023-11-23 2024-02-09 太原理工大学 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置
CN118471483A (zh) * 2024-07-10 2024-08-09 山东大学齐鲁医院 基于深度学习的贲门癌分型辅助诊断系统、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197522A (ja) 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
JP2012008027A (ja) 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012073179A (ja) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947589B2 (ja) * 2007-06-27 2012-06-06 Ｋｄｄｉ株式会社 類似画像検索装置
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
CN112106061A (zh) * 2018-03-30 2020-12-18 加利福尼亚大学董事会 使用深度学习对未标记荧光图像进行数字染色的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197522A (ja) 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
JP2012008027A (ja) 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012073179A (ja) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Gastric Cancer Treatment Guidelines for Doctors Revised 5th Edition, January 2018, edited by the Japanese Gastric Cancer Society, Kanehara Publishing Co., Ltd.
Gatys, L. A. et al., Journal of Vision September 2016, Vol.16, 326. doi:https://doi.org/10.1167/16.12.326
Hiroyuki Ono et al., ESD/EMR Guidelines for Gastric Cancer (2nd Edition), February 2020, Journal of the Japanese Society of Gastrointestinal Endoscopy, Vol. 62, pp. 275-290
Kather, J.N., et al., 2019, Nature Medicine, Vol.25, pp.1054-1056.
Schlegl, T. et al., IPMI2017: Information Processing in Medical Imaging pp. 146-157
The Cancer Genome Atlas Research Network, 2014, Nature, Vol.513, pp.203-209

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024112121A1 (ko) * 2022-11-23 2024-05-30 (주) 노보믹스 위암 병리조직 이미지 판독 인공지능 소프트웨어

Also Published As

Publication number Publication date
AU2020411972A1 (en) 2022-08-25
JPWO2021132633A1 (ko) 2021-07-01
US20230045882A1 (en) 2023-02-16
EP4083907A1 (en) 2022-11-02
CN115087867A (zh) 2022-09-20
CA3169403A1 (en) 2021-07-01
EP4083907A4 (en) 2024-01-17
WO2021132633A1 (ja) 2021-07-01
JP7004871B2 (ja) 2022-02-10

Similar Documents

Publication Publication Date Title
KR20220119447A (ko) Ai를 이용한 병리 진단 지원 방법, 및 지원 장치
US11682118B2 (en) Systems and methods for analysis of tissue images
CN106462767B (zh) 用于处理和分析图像的检查设备
US20120237109A1 (en) Histology analysis
You et al. Real-time intraoperative diagnosis by deep neural network driven multiphoton virtual histology
US11861881B2 (en) Critical component detection using deep learning and attention
US20240177302A1 (en) Cellular diagnostic and analysis methods
US20230360208A1 (en) Training end-to-end weakly supervised networks at the specimen (supra-image) level
Pezoa et al. Segmentation of HER2 protein overexpression in immunohistochemically stained breast cancer images using Support Vector Machines
Narayanan et al. Unmasking the tissue microecology of ductal carcinoma in situ with deep learning
Silva et al. Development of a quantitative semi-automated system for intestinal morphology assessment in Atlantic salmon, using image analysis
CN115602311A (zh) 基于胶原纤维多元参量分析的胰腺癌辅助检查工具
US20220375077A1 (en) Method for generating models to automatically classify medical or veterinary images derived from original images into at least one class of interest
Kuo et al. Automated assessment in HER-2/neu immunohistochemical expression of breast cancer
Les et al. Automatic reconstruction of overlapped cells in breast cancer FISH images
WO2022201691A1 (ja) 画像診断方法、画像診断装置および画像診断プログラム
Klose Prediction of histopathological markers for computer-aided grading of mammary carcinoma
Karagoz et al. Predicting the Grade of Clear Cell Renal Cell Carcinoma from CT Images Using Random Subspace-KNN and Random Forest Classifiers
Kanimozhi et al. Breast Cancer Histopathological Image Classification Using CNN and VGG-19
Saednia Machine Learning and Digital Histopathology Analysis for Tissue Characterization and Treatment Response Prediction in Breast Cancer
Lin Huang U-Net vs HoVer-Net: A Comparative Study of Deep Learning Models for Cell Nuclei Segmentation and Classification in Breast Cancer Diagnosis
Tyagi et al. Research Article Identification and Classification of Prostate Cancer Identification and Classification Based on Improved Convolution Neural Network
Gil et al. A deep learning based approach to semantic segmentation of lung tumour areas in gross pathology images
KR20240076391A (ko) 위암 병리조직 이미지 판독 인공지능 소프트웨어
Cano Ramirez A Data-driven Representation Learning for Tumor Tissue Differentiation from Non-Small Cell Lung Cancer Histopathology Images