KR102598737B1 - 병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 - Google Patents
병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102598737B1 KR102598737B1 KR1020220071642A KR20220071642A KR102598737B1 KR 102598737 B1 KR102598737 B1 KR 102598737B1 KR 1020220071642 A KR1020220071642 A KR 1020220071642A KR 20220071642 A KR20220071642 A KR 20220071642A KR 102598737 B1 KR102598737 B1 KR 102598737B1
- Authority
- KR
- South Korea
- Prior art keywords
- pathology slide
- slide image
- processor
- cells
- area
- Prior art date
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 162
- 238000000034 method Methods 0.000 title claims description 43
- 230000001575 pathological effect Effects 0.000 title description 3
- 230000007170 pathology Effects 0.000 claims abstract description 149
- 201000011510 cancer Diseases 0.000 claims description 78
- 210000004027 cell Anatomy 0.000 claims description 71
- 210000004881 tumor cell Anatomy 0.000 claims description 28
- 238000002474 experimental method Methods 0.000 claims description 17
- 210000004698 lymphocyte Anatomy 0.000 claims description 11
- 230000017074 necrotic cell death Effects 0.000 claims description 10
- 102000039446 nucleic acids Human genes 0.000 claims description 9
- 108020004707 nucleic acids Proteins 0.000 claims description 9
- 150000007523 nucleic acids Chemical class 0.000 claims description 9
- 238000007481 next generation sequencing Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 32
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 238000012163 sequencing technique Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000001338 necrotic effect Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- OPTASPLRGRRNAP-UHFFFAOYSA-N cytosine Chemical compound NC=1C=CNC(=O)N=1 OPTASPLRGRRNAP-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003753 real-time PCR Methods 0.000 description 4
- 238000002955 isolation Methods 0.000 description 3
- 108700028369 Alleles Proteins 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 229940104302 cytosine Drugs 0.000 description 2
- 230000009615 deamination Effects 0.000 description 2
- 238000006481 deamination reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000012149 elution buffer Substances 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000007399 DNA isolation Methods 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000000376 autoradiography Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012993 chemical processing Methods 0.000 description 1
- 210000001608 connective tissue cell Anatomy 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010828 elution Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010166 immunofluorescence Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- KHIWWQKSHDUIBK-UHFFFAOYSA-N periodic acid Chemical compound OI(=O)(=O)=O KHIWWQKSHDUIBK-UHFFFAOYSA-N 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- -1 trichrome Chemical compound 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
- C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
- C12Q1/6883—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material
- C12Q1/6886—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material for cancer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B5/00—ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Biotechnology (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Biology (AREA)
- Organic Chemistry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Genetics & Genomics (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Immunology (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioethics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biochemistry (AREA)
- Software Systems (AREA)
Abstract
일 측면에 따른 컴퓨팅 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 프로세서는, 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행하고, 상기 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행하고, 상기 제1 분류 결과 및 상기 제2 분류 결과를 조합하여 상기 병리 슬라이드 이미지에 포함된 노이즈에 대한 정보를 포함하는 종양 순도(tumor purity)를 연산한다.
Description
병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치에 관한다.
디지털 병리학(digital pathology) 분야는 병리 슬라이드 이미지(pathological slide image)를 스캔함으로써 생성된 전체 슬라이드 이미지(whole slide image)를 이용하여 해당 환자의 조직학적 정보를 획득하거나 예후를 예측하는 분야이다.
병리 슬라이드 이미지는, 대상체의 염색된 티슈 샘플로부터 획득될 수 있다. 예를 들어, 티슈 샘플은, 헤마톡실린 및 에오신(hematoxylin and eosin), 삼색소(trichrome), 과요오드산 쉬프(periodic acid schiff), 자동 방사선 촬영(autoradiogrphy), 효소 조직 화학(enzyme histochemistry), 면역형광(immuno-fluorescence), 및 면역조직화학(immunohistochemistry) 등 다양한 염색 방식으로 염색될 수 있다. 염색된 티슈 샘플은 조직학 및 생검 평가에 이용됨으로써, 질병 상태를 이해하기 위해 분자 프로필 분석으로 넘어갈지 여부를 판단할 근거가 될 수 있다.
다만, 병리 슬라이드 이미지 분석을 이용한 종래의 종양 순도의 연산은, 저하된 핵산 품질, 단편화 및 시토신 염기의 탈아미노화 등에 영향을 미치는 다양한 생물학적 노이즈 및 기술적 노이즈를 고려하지 못하는 한계가 있다.
(특허문헌 1) KR 10-2020-0073305 A
(특허문헌 2) KR 10-2016-0062358 A
(특허문헌 1) KR 10-2020-0073305 A
(특허문헌 2) KR 10-2016-0062358 A
병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른 컴퓨팅 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 프로세서는, 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행하고, 상기 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행하고, 상기 제1 분류 결과 및 상기 제2 분류 결과를 조합하여 상기 병리 슬라이드 이미지에 포함된 노이즈에 대한 정보를 포함하는 종양 순도(tumor purity)를 연산한다.
다른 측면에 따른 병리 슬라이드 이미지를 해석하는 방법은, 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행하는 단계; 상기 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행하는 단계; 및 상기 제1 분류 결과 및 상기 제2 분류 결과를 조합하여 상기 병리 슬라이드 이미지에 포함된 노이즈(noise)에 대한 정보를 포함하는 종양 순도(tumor purity)를 연산하는 단계;를 포함한다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 기록매체를 포함한다.
도 1은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 시스템의 일 예를 설명하기 위한 도면이다.
도 2a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 2b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 3은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 프로세서가 복수의 조직들에 대하여 제1 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 프로세서가 복수의 세포들에 대하여 제2 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 다른 예를 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 8a는 일 실시예에 따른 종양 순도 및 적어도 하나의 지수가 출력된 일 예를 설명하기 위한 도면이다.
도 8b는 일 실시예에 따른 종양 순도 및 적어도 하나의 지수가 출력된 후에 커버리지 최소 요구 사항(coverage minimum requirement)의 이론적인 최대 깊이를 해석하는 방법의 일 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 프로세서가 제공하는 가이드의 일 예를 설명하기 위한 도면이다.
도 11a는 일 실시예에 따른 병리 슬라이드 이미지 및 다양한 정보들이 출력된 일 예를 도시한 도면이다.
도 11b는 일 실시예에 따른 병리 슬라이드 이미지 및 다양한 정보가 출력된 다른 예를 도시한 도면이다.
도 2a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 2b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 3은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 프로세서가 복수의 조직들에 대하여 제1 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 프로세서가 복수의 세포들에 대하여 제2 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 다른 예를 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 8a는 일 실시예에 따른 종양 순도 및 적어도 하나의 지수가 출력된 일 예를 설명하기 위한 도면이다.
도 8b는 일 실시예에 따른 종양 순도 및 적어도 하나의 지수가 출력된 후에 커버리지 최소 요구 사항(coverage minimum requirement)의 이론적인 최대 깊이를 해석하는 방법의 일 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 프로세서가 제공하는 가이드의 일 예를 설명하기 위한 도면이다.
도 11a는 일 실시예에 따른 병리 슬라이드 이미지 및 다양한 정보들이 출력된 일 예를 도시한 도면이다.
도 11b는 일 실시예에 따른 병리 슬라이드 이미지 및 다양한 정보가 출력된 다른 예를 도시한 도면이다.
실시 예들에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "…유닛", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에서 사용되는 "제 1" 또는 "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다.
일 실시예에 따르면, '병리 슬라이드 이미지'는, 인체에서 떼어낸 조직 등에 대해 일련의 화학적 처리과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 지칭할 수 있다. 또한, 병리 슬라이드 이미지 는 전체 슬라이드에 대한 고 해상도의 이미지를 포함하는 전체 슬라이드 이미지(Whole Slide Image, WSI)를 지칭할 수 있고, 전체 슬라이드 이미지의 일부, 예를 들어 하나 이상의 패치를 지칭할 수도 있다. 예를 들어, 병리 슬라이드 이미지는 스캔 장치(예: 디지털 스캐너 등)를 통해 촬영되거나 스캔된 디지털 이미지를 지칭할 수 있으며, 인체 내의 특정 단백질, 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다. 또한, 병리 이미지는 하나 이상의 패치를 포함할 수 있으며, 하나 이상의 패치에는 어노테이션 작업을 통해 조직학적 정보가 적용(예: 태깅)될 수 있다.
일 실시예에 따르면, '의학적 정보'란, 의료 영상으로부터 추출할 수 있는 의학적으로 의미있는 임의의 정보를 지칭할 수 있는데, 예를 들어, 의료 영상 내의 종양 세포의 영역, 위치, 크기, 암의 진단 정보, 환자의 암의 발병 가능성과 연관된 정보, 및/또는 암 치료와 연관된 의학적 결론 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 의학적 정보는 의료 영상에서 얻을 수 있는 정량화된 수치뿐만 아니라 수치를 시각화한 정보, 수치에 따른 예측 정보, 이미지 정보, 통계학적 정보 등을 포함할 수 있다. 이렇게 생성된 의학적 정보는 사용자 단말에 제공되거나 디스플레이 장치에 출력 또는 전달되어, 표시될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시 예에 대하여 상세히 설명한다. 그러나 실시 예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 예에 한정되지 않는다.
도 1은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 시스템의 일 예를 설명하기 위한 도면이다.
도 1을 참조하면, 시스템(1)은 사용자 단말(10) 및 서버(20)를 포함한다. 예를 들어, 사용자 단말(10)과 서버(20)는 유선 또는 무선 통신 방식으로 연결되어 상호 간에 데이터(예를 들어, 영상 데이터 등)를 송수신할 수 있다.
설명의 편의를 위하여, 도 1에는 시스템(1)에 사용자 단말(10) 및 서버(20)가 포함되는 것으로 도시하였으나, 이에 한정되지 않는다. 예를 들어, 시스템(1)에는 다른 외부 디바이스(미도시)가 포함될 수 있으며, 이하에서 설명될 사용자 단말(10) 및 서버(20)의 동작이 단일 디바이스(예를 들어, 사용자 단말(10) 또는 서버(20)) 또는 보다 많은 디바이스들에 의하여 구현될 수도 있다.
사용자 단말(10)은 디스플레이 장치 및 사용자 입력을 수신하는 장치(예를 들어, 키보드, 마우스 등)를 구비하고, 메모리와 프로세서를 포함하는 컴퓨팅 장치일 수 있다. 예를 들어, 사용자 단말(10)은 노트북(notebook) PC, 데스크탑(desktop) PC, 랩탑(laptop), 테블릿 컴퓨터(tablet computer), 스마트 폰 등이 해당될 수 있으나, 이에 한정되지 않는다.
서버(20)는, 도 1에 도시된 사용자 단말(10)을 포함하는 외부 디바이스(미도시)와 통신하는 장치일 수 있다. 일 예로서, 서버(20)는 병리 슬라이드 이미지, 종양 순도에 대한 정보를 포함하여 다양한 데이터를 저장하는 장치일 수 있다. 또는, 서버(20)는 메모리와 프로세서를 포함하고, 자체적인 연산 능력을 갖춘 컴퓨팅 장치일 수 있다. 서버(20)가 컴퓨팅 장치인 경우, 서버(20)는 도 1 내지 도 11을 참조하여 후술할 사용자 단말(10)의 동작들 중 적어도 일부를 수행할 수 있다. 예를 들어, 서버(20)는 클라우드(cloud) 서버일 수도 있으나, 이에 한정되지 않는다.
사용자 단말(10)은 병리 슬라이드 이미지 및/또는 종양 순도(tumor purity)에 대한 정보(40)를 출력한다. 여기에서, 종양 순도에 대한 정보(40)는 사용자 단말(10)이 병리 슬라이드 이미지를 해석함으로써 도출한 수치들을 포함한다.
병리 슬라이드 이미지는 인체 내에서 떼어낸 조직 등을 현미경으로 관찰하기 위하여 일련의 화학적 처리 과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 지칭할 수 있다. 일 예로서, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고해상도의 이미지를 포함하는 전체 슬라이드 이미지(whole slide image)를 지칭할 수 있다. 다른 예로서, 병리 슬라이드 이미지는 이러한 고해상도의 전체 슬라이드 이미지의 일부를 지칭할 수 있다.
한편, 병리 슬라이드 이미지는 전체 슬라이드 이미지에서 패치 단위로 분할된 패치 영역을 지칭할 수 있다. 예를 들어, 패치는 일정한 영역의 크기를 가질 수 있다. 또는, 패치는 전체 슬라이드 내의 포함된 객체의 각각을 포함하는 영역을 지칭할 수 있다.
또한, 병리 슬라이드 이미지는 현미경을 이용하여 촬영된 디지털 이미지를 지칭할 수 있으며, 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다.
종양 순도에 대한 정보(40)는 병리 슬라이드 이미지에 표현된 암 영역(cancer area) 및 종양 세포(tumor cell)에 대한 정보 뿐 만 아니라, 종양과 관련이 없는 영역 및 세포에 대한 정보도 포함될 수 있다. 본 개시에서, 종양과 관련이 없는 영역 및 세포에 대한 정보는, 질병 상태를 판단하기 위해 불필요한 노이즈(noise)라고 지칭할 수 있다. 예를 들어, 노이즈는 병리 슬라이드 이미지에 포함된 생물학적 노이즈(예를 들어, 병리 슬라이드 이미지의 정상(normal) 영역 등) 및 기술적 노이즈(예를 들어, 저하(degraded) 영역 등) 중 적어도 하나를 포함할 수 있다. 다만, 노이즈의 종류는 상술한 바에 한정되지 않는다. 다시 말해, 병리 슬라이드 이미지 내에서 종양과 관련이 없는 영역 및 세포에 대응하는 영역이라면, 제한 없이 노이즈에 해당될 수 있다.
종래에는, 종양 순도를 연산함에 있어서 병리 슬라이드 이미지 내의 암 영역 및 종양 세포에 대해서만 주목하였다. 구체적으로, 종래에는 병리 슬라이드 이미지에서 특정 패턴으로 염색된 조직이나 세포들에 대한 종양 순도를 연산하였다. 이에 따라, 종래 기술에 의하면, 저하된 핵산 품질(degraded nucleic acid quality), 단편화(fragmentation), 시토신 염기의 탈아미노화(deamination of cytosine bases) 등에 영향을 미치는 다양한 노이즈가 고려되지 못하는 한계가 있으며, 사용자(30)에게 종양 순도에 대한 정확한 정보가 제공되기 어렵다. 즉, 종래 기술에 따른 종양 순도의 정보에 의하면, 위양성(false negative) 또는 위음성(false positive)으로 판정될 가능성이 있다.
일 실시예에 따른 시스템(1)은 병리 슬라이드 이미지 내의 암 영역 및 종양 세포뿐 만 아니라 노이즈도 함께 고려하여 종양 순도에 대한 정보(40)를 생성한다. 구체적으로, 사용자 단말(10)은 병리 슬라이드 이미지를 분석하여 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행하고, 병리 슬라이드 이미지를 분석하여 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행한다. 그리고, 사용자 단말(10)은 제1 분류 결과 및 제2 분류 결과를 조합하여 병리 슬라이드 이미지에 포함된 노이즈에 대한 정보를 포함하는 종양 순도를 연산한다. 따라서, 사용자(30)는 병리 슬라이드 이미지에 표현된 조직 및 세포에 대하여 정확한 종양 순도의 정보를 확인할 수 있다.
일 실시예에 따른 사용자 단말(10)은 TCGA(The Cancer Genome Atlas)의 전체 암 유형들에 대한 종양 순도를 연산한다. 구체적으로, 사용자 단말(10)은 TCGA(The Cancer Genome Atlas)의 32가지 유형의 종양 샘플을 예측하도록 훈련된 AI 모델을 사용한다. 따라서, 일 실시예에 따른 사용자 단말(10)이 연산한 종양 순도에 대한 정보를 바탕으로, 사용자(30)는 모든 유형의 암에 대한 정확한 진단이 가능하다.
또한, 일 실시예에 따른 사용자 단말(10)은 예상 암 신호(expected cancer signal)를 나타내는 지수를 연산할 수 있다. 여기에서, 예상 암 신호를 나타내는 지수는 전체 세포들에 대한 예상 DNA 수율(expected DNA yield) 및 종양 세포들에 대한 예상 종양 DNA 수율(expected tumor DNA yield) 중 적어도 하나를 포함한다. 이에 따라, 사용자(30)는 질병의 판정을 위하여 추가적인 실험(experiment)을 진행할지 여부에 대한 판단이 가능하다.
이하, 사용자 단말(10)이 병리 슬라이드 이미지를 해석하여 종양 순도를 연산하거나 예상 암 신호를 나타내는 적어도 하나의 지수를 연산하는 예들을 설명한다.
한편, 설명의 편의를 위하여, 명세서의 전반에 걸쳐 사용자 단말(10)이 병리 슬라이드 이미지를 해석하여 종양 순도를 연산하거나 예상 암 신호를 나타내는 적어도 하나의 지수를 연산하는 것으로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 사용자 단말(10)에 의하여 수행되는 동작들의 적어도 일부는 서버(20)에 의하여 수행될 수도 있다.
다시 말해, 도 1 내지 도 11을 참조하여 설명되는 사용자 단말(10)의 동작들 중 적어도 일부는 서버(20)에 의하여 수행될 수 있다. 예를 들어, 서버(20)는 병리 슬라이드 이미지를 해석하여 종양 순도를 연산하거나 예상 암 신호를 나타내는 적어도 하나의 지수를 연산하고, 연산 결과를 사용자 단말(10)에 전송할 수 있다. 그리고, 사용자 단말(10)은 서버(20)로부터 전송된 정보(예를 들어, 병리 슬라이드 이미지, 종양 순도(tumor purity)에 대한 정보, 예상되는 암 신호를 나타내는 지수 등)를 출력하거나, 전송된 정보를 가공하여 생성된 의학적 정보를 제공할 수 있다. 다만, 서버(20)의 동작은 상술한 바에 한정되지 않는다.
도 2a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 2a를 참조하면, 사용자 단말(100)은 프로세서(110), 메모리(120), 입출력 인터페이스(130) 및 통신 모듈(140)을 포함한다. 설명의 편의를 위하여, 도 2a에는 본 발명과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2a에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 사용자 단말(100)에 더 포함될 수 있다. 또한, 도 2a에 도시된 프로세서(110), 메모리(120), 입출력 인터페이스(130) 및 통신 모듈(140)은 독립된 장치로 구현될 수도 있음은 본 발명과 관련된 기술 분야에서의 통상의 지식을 가진 자에게 자명하다.
프로세서(110)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리할 수 있다. 여기에서, 명령은 메모리(120) 또는 외부 장치(예를 들어, 서버(20) 등)로부터 제공될 수 있다. 또한, 프로세서(110)는 사용자 단말(100)에 포함된 다른 구성요소들의 동작을 전반적으로 제어할 수 있다.
특히, 프로세서(110)는 병리 슬라이드 이미지를 해석하여 종양 순도를 연산한다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지를 분석하여 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행한다. 그리고, 프로세서(110)는 병리 슬라이드 이미지를 분석하여 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행한다. 그리고, 프로세서(110)는 제1 분류 결과 및 제2 분류 결과를 조합하여 병리 슬라이드 이미지에 포함된 노이즈에 대한 정보를 포함하는 종양 순도를 연산한다.
또한, 프로세서(110)는 병리 슬라이드 이미지를 해석하여 예상 암 신호를 나타내는 적어도 하나의 지수를 연산한다. 구체적으로, 프로세서(110)는 전체 세포들에 대한 예상 DNA 수율(expected DNA yield) 및 종양 세포들에 대한 예상 종양 DNA 수율(expected tumor DNA yield) 중 적어도 하나를 연산한다.
또한, 프로세서(110)는 종양 순도 및 예상 암 신호를 나타내는 지수를 출력하도록 디스플레이 장치를 제어한다. 또한, 프로세서(110)는 예상 암 신호를 나타내는 지수와 기 설정된 임계값을 비교하여 추가적인 실험 여부에 대한 가이드를 제공한다.
일 실시예에 따른 프로세서(110)가 동작하는 구체적인 예들은 도 3 내지 도 11을 참조하여 설명한다.
프로세서(110)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 예를 들어, 프로세서(110)는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함할 수 한다. 일부 환경에서, 프로세서(110)는 주문형 반도체(ASIC), 프로그램 가능 로직 디바이스(PLD), 필드 프로그램 가능 게이트 어레이(FPGA) 등을 포함할 수도 있다. 예를 들어, 프로세서(110)는 디지털 신호 프로세서(DSP)와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, 디지털 신호 프로세서(DSP) 코어와 결합된 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
메모리(120)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 예로서, 메모리(120)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치일 수 있다. 또한, 메모리(210)에는 운영체제(OS)와 적어도 하나의 프로그램 코드(예를 들어, 도 3 내지 도 11을 참조하여 후술할 동작을 프로세서(110)가 수행하기 위한 코드)가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(120)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 사용자 단말(100)에 직접 연결될 수 있는 기록 매체일 수 있고, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 또는, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(140)을 통해 메모리(120)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(140)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 도 3 내지 도 11을 참조하여 후술할 동작을 프로세서(110)가 수행하기 위한 컴퓨터 프로그램 등)에 기반하여 메모리(120)에 로딩될 수 있다.
입출력 인터페이스(130)는 사용자 단말(100)과 연결되거나 사용자 단말(100)에 포함될 수 있는 입력 또는 출력을 위한 장치(예를 들어, 키보드, 마우스 등)와의 인터페이스를 위한 수단일 수 있다. 도 2에서는 입출력 인터페이스(130)가 프로세서(110)와 별도로 구성된 요소로 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(130)가 프로세서(110)에 포함되도록 구성될 수도 있다.
통신 모듈(140)은 네트워크를 통해 서버(20)와 사용자 단말(100)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있다. 또한, 통신 모듈(140)은 사용자 단말(100)이 다른 외부 디바이스와 통신하기 위한 구성 또는 기능을 제공할 수 있다. 예를 들어, 프로세서(110)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(140)과 네트워크를 거쳐 서버(20) 및/또는 외부 디바이스로 전송될 수 있다.
한편, 도 2a에는 도시되지 않았으나, 사용자 단말(100)은 디스플레이 장치를 더 포함할 수 있다. 또는, 사용자 단말(100)은 독립적인 디스플레이 장치와 유선 또는 무선 통신 방식으로 연결되어 상호 간에 데이터를 송수신할 수 있다.
예를 들어, 디스플레이 장치를 통하여 병리 슬라이드 이미지, 병리 슬라이드 이미지의 해석을 통하여 연산된 값(예를 들어, 종양 순도, 예상 암신호를 나타내는 지수 등), 연산된 값으로부터 생성된 의학적 정보 등이 사용자(30)에게 제공될 수 있다.
도 2b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 2b를 참조하면, 서버(20)는 프로세서(210), 메모리(220) 및 통신 모듈(230)을 포함한다. 설명의 편의를 위하여, 도 2b에는 본 발명과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2b에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 서버(200)에 더 포함될 수 있다. 또한, 도 2b에 도시된 프로세서(210), 메모리(220) 및 통신 모듈(230)은 독립된 장치로 구현될 수도 있음은 본 발명과 관련된 기술 분야에서의 통상의 지식을 가진 자에게 자명하다.
프로세서(210)는, 내부 메모리(220), 외부 메모리(미도시), 사용자 단말(10), 또는 외부 장치 중 적어도 하나로부터 병리 슬라이드 이미지를 획득할 수 있다. 프로세서(210)는 병리 슬라이드 이미지를 해석하여 종양 순도 및/또는 예상 암 신호를 나타내는 적어도 하나의 지수를 연산한다. 다시 말해, 도 2a를 참조하여 상술한 프로세서(110)의 동작이 프로세서(210)에 의하여 수행될 수 있다. 이 경우, 사용자 단말(10)은 서버(20)로부터 전송된 정보를 디스플레이 장치를 통하여 출력할 수 있다.
한편, 프로세서(210)의 구현 예는 도 2a를 참조하여 상술한 프로세서(110)의 구현 예와 동일하므로, 구체적인 설명은 생략한다.
메모리(220)에는 병리 슬라이드 이미지, 프로세서(210)의 동작에 따라 생성된 데이터 등 다양한 데이터가 저장될 수 있다. 또한, 메모리(220)에는 운영체제(OS)와 적어도 하나의 프로그램(예를 들어, 프로세서(210)가 동작하는데 필요한 프로그램 등)이 저장될 수 있다.
한편, 메모리(220)의 구현 예는 도 2a를 참조하여 상술한 메모리(220)의 구현 예와 동일하므로, 구체적인 설명은 생략한다.
통신 모듈(230)은 네트워크를 통해 서버(200)와 사용자 단말(100)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있다. 또한, 통신 모듈(140)은 서버(200)가 다른 외부 디바이스와 통신하기 위한 구성 또는 기능을 제공할 수 있다. 예를 들어, 프로세서(210)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(230)과 네트워크를 거쳐 사용자 단말(100) 및/또는 외부 디바이스로 전송될 수 있다.
도 3은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 3을 참조하면, 병리 슬라이드 이미지를 출력하는 방법은 도 1 및 2에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에 관하여 이상에서 기술된 내용은 도 3의 병리 슬라이드 이미지를 출력하는 방법에도 적용될 수 있다.
310 단계에서, 프로세서(110)는 병리 슬라이드 이미지를 분석하여 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행한다. 병리 슬라이드 이미지는, 내부 메모리(120), 외부 메모리(미도시), 서버(20), 또는 외부 입출력 장치 중 적어도 하나로부터 획득될 수 있다.
먼저, 프로세서(110)는 병리 슬라이드 이미지를 분석한다. 일 예로서, 프로세서(110)는 미리 결정된 이미지 처리 기법을 이용하여 병리 슬라이드 이미지를 분석함으로써, 병리 슬라이드 이미지로부터 조직들에 해당되는 영역들을 검출하고, 조직들을 나타내는 레이어들을 분리할 수 있다. 다른 예로서, 프로세서(110)는 기계학습 모델을 이용하여 병리 슬라이드 이미지로부터 조직들에 해당되는 영역들의 검출 및 조직들을 나타내는 레이어들의 분리를 수행할 수 있다. 이 경우, 기계학습 모델은 복수의 참조 병리 슬라이드 이미지들 및 복수의 참조 레이블 정보를 포함하는 학습 데이터를 이용하여, 참조 병리 슬라이드 이미지들 내의 조직들에 해당되는 영역을 검출하고, 조직들을 나타내는 레이어들을 분리하도록 학습될 수 있다.
그리고, 프로세서(110)는 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행한다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지를 암 영역(cancer area), 암 기질 영역(cancer stroma area), 괴사 영역(necrosis area) 및 백그라운드 영역(background) 중 적어도 하나로 분류할 수 있다. 여기에서, 백그라운드 영역은 생물학적 노이즈(biological noise)를 나타내는 영역 및/또는 기술적 노이즈(technical noise)를 나타내는 영역을 포함할 수 있다. 예를 들어, 생물학적 노이즈를 나타내는 영역은 정상 영역을 포함하고, 기술적 노이즈를 나타내는 영역은 저하 영역을 포함할 수 있다.
다만, 프로세서(110)가 병리 슬라이드 이미지에 표현되는 적어도 일부 영역을 분류하는 예는 상술한 바에 한정되지 않는다. 다시 말해, 상술한 네 종류의 영역들(암 영역, 암 기질 영역, 괴사 영역 및 백그라운드 영역)에 한정됨이 없이, 프로세서(110)는 다양한 기준에 의하여 병리 슬라이드 이미지에 표현되는 적어도 하나의 영역을, 복수의 카테고리로 분류할 수 있다. 병리 슬라이드 이미지에 표현되는 적어도 하나의 영역은, 미리 설정된 기준 또는 사용자가 설정한 기준에 따라 복수의 카테고리로 분류될 수 있다. 또한, 노이즈의 종류는 생물학적 노이즈 및 기술적 노이즈에 한정되지 않음은 도 1을 참조하여 상술한 바와 같다.
이하, 도 4를 참조하여, 프로세서(110)가 복수의 조직들에 대하여 제1 분류를 수행하는 예를 설명한다.
도 4는 일 실시예에 따른 프로세서가 복수의 조직들에 대하여 제1 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 4를 참조하면, 프로세서(110)는 병리 슬라이드 이미지(410)를 분석하여 조직(420)을 나타내는 영역을 검출하고, 조직(420)을 나타내는 레이어를 분리한다. 병리 슬라이드 이미지(410)의 조직(420)은 다양한 영역들(431 내지 435)을 포함할 수 있고, 프로세서(110)는 영역들(431 내지 435)을 분류한다. 구체적으로, 프로세서(110)는 영역들(431 내지 435)을 암 영역(431), 암 기질 영역(432), 괴사 영역(433), 저하 영역(434) 및 정상 영역(435)으로 분류한다.
도 1을 참조하여 상술한 바와 같이, 프로세서(110)는 병리 슬라이드 이미지(410)에서 노이즈에 해당되는 저하 영역(434) 및 정상 영역(435)을 확인하고, 저하 영역(434) 및 정상 영역(435)을 고려하여 종양 순도를 연산한다. 따라서, 종래 기술에 비하여 정확한 종양 순도에 대한 정보가 사용자(30)에게 전달될 수 있는 바, 사용자(30)는 병리 슬라이드 이미지(410)에 기초한 질병의 진단 또는 추가 실험의 필요성에 대한 판단을 더 정확하게 수행할 수 있다.
다시 도 3을 참조하면, 320 단계에서, 프로세서(110)는 병리 슬라이드 이미지를 분석하여 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행한다.
먼저, 프로세서(110)는 병리 슬라이드 이미지를 분석하여, 병리 슬라이드 이미지로부터 세포들을 검출하고, 세포들을 나타내는 레이어들을 분리한다. 프로세서(110)가 병리 슬라이드 이미지를 분석하는 구체적인 방법은 310 단계를 참조하여 상술한 바와 동일하다.
그리고, 프로세서(110)는 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행한다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지에 표현된 세포들을 종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 기타 세포 중 적어도 하나로 분류한다. 다만, 프로세서(110)가 병리 슬라이드 이미지에 표현된 세포들을 분류하는 예는 상술한 바에 한정되지 않는다. 다시 말해, 프로세서(110)는 서로 다른 종류의 세포들을 분류하는 다양한 기준에 따라 병리 슬라이드 이미지에 표현된 세포들을 그룹핑 할 수 있다.
이하, 도 5를 참조하여, 프로세서(110)가 복수의 세포들에 대하여 제2 분류를 수행하는 예를 설명한다.
도 5는 일 실시예에 따른 프로세서가 복수의 세포들에 대하여 제2 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 5를 참조하면, 프로세서(110)는 병리 슬라이드 이미지(510)를 분석하여 조직(520) 내의 세포들을 확인한다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지(510)에서 세포들을 나타내는 부분을 검출하고, 세포들을 나타내는 레이어를 분리한다.
조직(520)은 복수의 세포들로 구성되고, 세포들은 다양한 종류로 구성될 수 있다. 프로세서(110)는 세포들을 종양 세포(531), 림프구 세포(532) 및 기타 세포(533) 중 적어도 하나로 분류한다. 여기에서, 기타 세포(533)는 정상 세포를 포함한다. 예를 들어, 기타 세포(533)는 상피 세포, 신경 세포, 근육 세포 및 결합 조직 세포(connective tissue cell) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
프로세서(110)가 세포들을 상술한 기준에 따라 분류함으로써, 조직(520)의 영역들에 대한 분류 결과와 함께 정확한 종양 순도의 연산하는데 이용할 수 있다.
다시 도 3을 참조하면, 330 단계에서, 프로세서(110)는 제1 분류 결과 및 제2 분류 결과를 조합하여 병리 슬라이드 이미지에 포함된 노이즈에 대한 정보를 포함하는 종양 순도를 연산한다.
프로세서(110)는 조직의 영역에 대한 분류 결과와 세포에 대한 분류 결과를 이용하여 종양 순도를 연산한다. 310 단계 및 320 단계를 참조하여 상술한 바와 같이, 프로세서(110)는 병리 슬라이드 이미지 내의 노이즈에 대해서도 확인 및 분류를 수행하므로, 종양 순도의 연산 결과에는 노이즈에 대한 정보도 포함될 수 있다.
프로세서(110)는 310 단계 및 320 단계를 통하여 조직에 포함된 각 영역들의 넓이 및 각 영역들 내의 세포들의 수를 연산할 수 있다. 구체적으로, 프로세서(110)는 암 영역(CA)의 넓이, 암 기질 영역(CS)의 넓이, 괴사 영역(NC)의 넓이, 저하 영역(DA)의 넓이 및 백그라운드 영역(BG)의 넓이를 연산할 수 있다. 또한, 프로세서(110)는 암 영역(CA) 내의 종양 세포(CAt)의 수, 암 기질 영역(CS) 내의 종양 세포(CSt)의 수, 괴사 영역(NC) 내의 종양 세포(NCt)의 수, 저하 영역(DA) 내의 종양 세포(DAt)의 수 및 백그라운드 영역(BG) 내의 종양 세포(BGt)의 수를 연산할 수 있다. 또한, 프로세서(110)는 암 영역(CA) 내의 림프구 세포(CAl)의 수, 암 기질 영역(CS) 내의 림프구 세포(CSl)의 수, 괴사 영역(NC) 내의 림프구 세포(NCl)의 수, 저하 영역(DA) 내의 림프구 세포(DAl)의 수 및 백그라운드 영역(BG) 내의 림프구 세포(BGl)의 수를 연산할 수 있다. 또한, 프로세서(110)는 암 영역(CA) 내의 기타 세포(CAb)의 수, 암 기질 영역(CS) 내의 기타 세포(CSb)의 수, 괴사 영역(NC) 내의 기타 세포(NCb)의 수, 저하 영역(DA) 내의 기타 세포(DAb)의 수 및 백그라운드 영역(BG) 내의 기타 세포(BGb)의 수를 연산할 수 있다.
일 예로서, 프로세서(110)는 병리 슬라이드 이미지에 포함된 전체 세포들의 수 대비 암 영역에 포함된 종양 세포들의 수에 대한 비율을 연산할 수 있다. 예를 들어, 프로세서(110)는 아래의 수학식 1에 따라 상술한 비율(AI-P)을 연산할 수 있다.
수학식 1을 참조하면, 프로세서(110)는 암 영역(CA), 암 기질 영역(CS) 및 백그라운드 영역(BG) 각각에 포함된 종양 세포(CAt, CSt, BGt)의 수, 림프구 세포(CAl, CSl, BGl)의 수 및 기타 세포(CAb, CSb, BGb)의 수를 이용하여 종양 순도에 대한 제1 값(AI-P)을 연산할 수 있다.
다른 예로서, 프로세서(110)는 병리 슬라이드 이미지에 포함된 전체 영역 대비 암 영역에 대한 비율을 연산할 수 있다. 예를 들어, 프로세서(110)는 아래의 수학식 2에 따라 상술한 비율(CEA)을 연산할 수 있다.
수학식 2를 참조하면, 프로세서(110)는 암 영역(CA)의 넓이, 암 기질 영역(CS)의 넓이 및 백그라운드 영역(BG)의 넓이를 이용하여 종양 순도에 대한 제2 값(CEA)을 연산할 수 있다.
또한, 프로세서(110)는 생물학적 노이즈와 관련된 다양한 값들을 연산할 수 있다. 구체적으로, 프로세서(110) 암이 아닌 영역(즉, 정상 영역)의 비율, 괴사 영역에 대한 비율 및 암 영역에서의 예상되는 생물학적 노이즈에 대한 비율을 연산할 수 있다. 여기에서, 암이 아닌 영역(즉, 정상 영역)의 비율은 전체 면적 대비 백그라운드 영역의 면적의 비율을 의미하고, 괴사 영역에 대한 비율은 전체 면적 대비 괴사 영역의 면적의 비율을 의미하고, 암 영역에서 예상되는 생물학적 노이즈에 대한 비율은 전체 세포의 수 대비 암 영역 내의 기타 세포의 수의 비율을 의미한다.
예를 들어, 프로세서(110)는 아래의 수학식 3 내지 5에 따라 생물학적 노이즈와 관련된 다양한 값들을 연산할 수 있다.
수학식 3을 참조하면, 프로세서(110)는 암 영역(CA)의 넓이, 암 기질 영역(CS)의 넓이 및 백그라운드 영역(BG)의 넓이를 이용하여 암이 아닌 영역(즉, 정상 영역)의 비율을 연산할 수 있다.
수학식 4를 참조하면, 프로세서(110)는 암 영역(CA)의 넓이, 암 기질 영역(CS)의 넓이, 백그라운드 영역(BG)의 넓이 및 괴사 영역(NC)의 넓이를 이용하여 괴사 영역에 대한 비율을 연산할 수 있다.
수학식 5를 참조하면, 프로세서(110)는 암 영역(CA), 암 기질 영역(CS) 및 백그라운드 영역(BG) 각각에 포함된 종양 세포(CAt, CSt, BGt)의 수, 림프구 세포(CAl, CSl, BGl)의 수 및 기타 세포(CAb, CSb, BGb)의 수를 이용하여 암 영역에서의 예상되는 생물학적 노이즈에 대한 비율을 연산할 수 있다.
또한, 프로세서(110)는 기술적 노이즈와 관련된 값을 연산할 수 있다. 여기에서, 기술적 노이즈와 관련된 값은 전체 면적 대비 저하 영역의 면적의 비율을 포함한다. 예를 들어, 프로세서(110)는 아래의 수학식 6에 따라 기술적 노이즈와 관련된 값을 연산할 수 있다.
수학식 6을 참조하면, 프로세서(110)는 암 영역(CA)의 넓이, 암 기질 영역(CS)의 넓이, 백그라운드 영역(BG)의 넓이 및 저하 영역(DA)의 넓이를 이용하여 기술적 노이즈와 관련된 값을 연산할 수 있다.
수학식 1 내지 수학식 6을 참조하여 상술한 다양한 종양 순도에 대한 정보들은 사용자(30)가 질병에 대한 정확한 진단 또는 추가 실험의 필요성에 대한 정확한 판단이 가능하도록 돕는다. 다시 말해, 일 실시예에 따른 프로세서(110)는 병리 슬라이드 이미지(410)에서 노이즈에 해당되는 정보를 포함하여 종양 순도를 연산함으로써, 종래 기술 대비 정확한 정보를 사용자(30)에게 제공할 수 있다.
도 6은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 다른 예를 설명하기 위한 흐름도이다.
도 6을 참조하면, 610 단계 내지 630 단계는 도 3의 310 단계 내지 330 단계에 대응된다. 따라서, 이하에서는, 610 단계 내지 630 단계에 대한 구체적인 설명은 생락한다.
640 단계에서, 프로세서(110)는 제1 분류 결과 및 제2 분류 결과를 이용하여 예상 암 신호(expected cancer signal)를 나타내는 적어도 하나의 지수를 연산한다.
도 3의 310 단계 및 320 단계를 참조하여 상술한 바와 같이, 프로세서(110)는 조직에 포함된 각 영역들의 넓이 및 각 영역들 내의 세포들의 수를 연산할 수 있다. 프로세서(110)는 각 영역들 내의 세포들의 수를 이용하여 예상 암 신호를 나타내는 지수를 연산할 수 있다.
예를 들어, 프로세서(110)는 전체 세포들에 대한 예상 DNA 수율(expected DNA yield)를 연산할 수 있다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지에 포함된 총 세포들의 수를 이용하여 병리 슬라이드 이미지에 대응하는 분자량을 연산할 수 있다. 예를 들어, 프로세서(110)는 단일 세포의 DNA 무게(예를 들어, 6 피코그램(pg))에 총 세포들의 수를 곱하고, 이를 총 DNA 양에 대한 나노그램(ng)으로 변환함으로써 전체 세포들에 대한 예상 DNA 수율을 연산할 수 있다.
한편, 종양 세포에 대한 예상 종양 DNA 수율은 슬라이드에서 얻은 종양 세포의 수에 단일 세포의 DNA 중량을 곱하여 계산할 수 있다. 한편, 수학식 1을 참조하여 상술한 종양 순도에 대한 제1 값(AI-P)도 도출될 수 있다.
예상 암 신호는 사용자(30)가 핵산 분리 과정에서 얼마나 많은 부피를 용출했는지에 따라 추정될 수 있다. 예를 들어, 사용자(30)가 50uL 용출 완충액의 총 부피로 DNA를 분리한 경우, 종양 신호의 비율은 종양 순도에 대한 제1 값(AI-P)을 49(1:49)로 나눈 비율로 희석된다. 한편, 특정 백분율 미만의 예상 암 신호의 경우, 사용자(30)에게 추가적인 실험 여부에 대한 가이드를 제공하는 기초가 될 수 있다. 프로세서(110)가 사용자에게 가이드를 제공하는 예는 도 9 및 도 10을 참조하여 후술한다.
도 7은 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 7을 참조하면, 710 단계 내지 740 단계는 도 6의 610 단계 내지 640 단계에 대응된다. 따라서, 이하에서는, 710 단계 내지 740 단계에 대한 구체적인 설명은 생락한다.
750 단계에서, 프로세서(110)는 종양 순도 및 적어도 하나의 지수를 출력한다. 예를 들어, 프로세서(110)는 도 3 내지 도 6을 참조하여 상술한 연산 값들 및/또는 상술한 연산 값들에 기초하여 작성된 의학적 정보를 출력하도록 디스플레이 장치를 제어할 수 있다.
또한, 도 7에는 도시되지 않았으나, 프로세서(110)는 상술한 연산 값들 및/또는 연산 값들에 기초하여 작성된 의학적 정보를 서버 또는 다른 외부 장치로 전송하도록 통신 모듈(140)을 제어할 수도 있다. 또한, 프로세서(110)는 상술한 연산 값들 및/또는 연산 값들에 기초하여 작성된 의학적 정보를 메모리(120)에 저장할 수도 있다.
도 8a는 일 실시예에 따른 종양 순도 및 적어도 하나의 지수가 출력된 일 예를 설명하기 위한 도면이다.
도 8a를 참조하면, 프로세서(110)는 도 3 내지 도 5를 참조하여 상술한 종양 순도를 나타내는 값들(810) 및 도 6을 참조하여 상술한 지수와 관련된 값들(820)이 출력되도록 디스플레이 장치를 제어할 수 있다.
이에 따라, 사용자(30)는 병리 슬라이드 이미지에 포함된 다양한 정보들을 확인할 수 있으며, 특히 노이즈로 분류되는 정보에 대해서도 확인이 가능하다. 따라서, 사용자(30)는 병리 슬라이드 이미지에 표현된 조직 및 세포에 대하여 정확한 종양 순도의 정보를 확인할 수 있다. 또한, 사용자(30)는 질병의 판정을 위하여 추가적인 실험을 진행할지 여부에 대한 판단이 가능하다.
도 8b는 일 실시예에 따른 종양 순도 및 적어도 하나의 지수가 출력된 후에 커버리지 최소 요구 사항(coverage minimum requirement)의 이론적인 최대 깊이를 해석하는 방법의 일 예를 설명하기 위한 도면이다.
일 실시예에 따르면, 종양 순도에 대한 제1 값(AI-P)은, 예상 핵산 수율(expected nucleic acid yield)로부터, 슬라이드 이미지의 수를 제공하도록 구성될 수 있다. 더 나아가, 종양 순도에 대한 제1 값(AI-P)은, 슬라이드 이미지들의 전체 또는 관심 영역에서의 예상 핵산 수율로부터, 차세대 시퀀싱 커버리지 및 깊이(next-generation sequencing coverage and depth)를 추정하도록 구성될 수도 있다. 일반적으로 시퀀싱 깊이는 아래의 수학식 7에 따라 연산될 수 있다. 즉, 일반적인 시퀀싱 깊이는 고유 변이체의 수(number of unique variants), 대립 유전자 빈도(allele frequency) 및 판독된 증폭 패밀리의 대략적인 수(approximate number of amplification family read)에 의하여 연산될 수 있다.
예를 들어, 종양 순도에 대한 제1 값(AI-P)이 총 예상 DNA 수율(total expected yield of DNA)을 1ng인 것으로 결정했다면, 반수체 게놈 사본(haploid genome copies)은 총 330개로 예상될 수 있다. 이것은 대립 유전자 빈도(allele frequency)의 1%에서의 3개의 사본(copy)임을 나타낸다((3 / 0.01) * 10 = 3000X). 따라서, 사용자(30)에게는 3000X의 시퀀싱 깊이가 권장된다. 또한, 이를 통해 사용자(30)는 아래의 수학식 8에 따라 대상 강화에 대한 평균 판독값(average reads for target enrichment)을 추정할 수 있다.
시퀀싱 방법은 다양한 시퀀싱 플랫폼에서 활용될 수 있다. 따라서, 종양 순도에 대한 제1 값(AI-P)은 예상 DNA 수율의 추정에 국한되지 않고, NGS 기술에 대한 DNA 및 RNA 응용 분야를 커버할 수 있는 RNA도 포함할 수 있다.
설명의 편의를 위해, 이하에서는 DNA로 한정하여 설명한다. 그러나, 후술할 내용은 DNA 뿐만 아니라 RNA와 관련된 기술에도 적용될 수 있음은 명백하다.
한편, 인간 반수체 게놈 등가성(hGE)은 DNA 분리 후에 모든 유전자가 존재할 것이라는 보장을 의미한다. 시퀀싱 커버리지의 이론적인 최대 깊이(theoretical maximum depth of sequencing coverage)는 인간 게놈 등가물의 양과 동일하기 때문에, 총 예상 DNA 수율(total expected yield of DNA)은 시퀀싱 커버리지의 이론적 최대 깊이를 추정할 수 있다. 인간 단일 세포의 크기는 인간 게놈 1개에 해당하는 33억 염기쌍(bp)이고, 인간 게놈 1당량은 3피코그램이다. 예를 들어, 총 1나노그램의 DNA에는 약 330개의 게놈 등가물이 포함되어 있다. 또한, 총 100ng의 DNA에는 33,000개의 인간 게놈 등가물(hGE)이 포함되어 있다. 따라서, 1ng의 DNA에 대한 이론적인 최대 시퀀싱 커버리지는 330X이다. 한편, 사용자(30)는 NGS 기반 기술 기기의 유형, 대상 패널 크기, 라이브러리 복잡성 및 추가 고려 사항을 위해 라이브러리를 준비하는 동안 오류율에 따라 최소 시퀀싱 깊이를 고려해야 할 수도 있다. 여기에서, 사용자(30)는 라이브러리 준비 중 DNA의 입력량, 다중화 샘플의 수 및 예상 샘플 손실을 고려할 수 있다.
도 8b에는, 사용자가, 슬라이드 이미지로부터의 예상 DNA 수율(expected DNA yields) 및 예상 라이브러리 준비 수율과 다중화할 샘플들의 수(desired number of samples to be multiplexed with the expected library preparation yield)에 따라, 원하는 양의 입력 DNA를 입력하는 예가 도시되어 있다. 예를 들어, 아래의 수학식 9 및 수학식 10에 따라, 사용자(30)는 원하는 출발 물질(예를 들어, 원하는 양의 입력 DNA)에 따른 커버리지의 이론적인 최대 깊이(theoretical maximum depth of coverage)를 확인할 수 있다.
도 8b를 참조하면, 사용자(30)는 슬라이드 이미지로부터의 예상 DNA 수율에 따라 원하는 DNA 양으로 '100ng'을 입력할 수 있다. 그리고, 사용자(30)는 예상 라이브러리 준비 수율(the expected library preparation yield) '32.5%'로 다중화할 샘플의 원하는 수로 '12'를 입력할 수 있다. 프로세서(110)는 사용자(30)의 입력에 따라 커버리지의 이론적인 최대 깊이를 사용자에게 제공할 수 있다. 도 8b에 도시된 예를 참조하면, 프로세서(110)는 커버리지의 이론적인 최대 깊이(894X)를 아래의 수학식 11과 같이 계산할 수 있다.
도 9는 일 실시예에 따른 병리 슬라이드 이미지를 해석하는 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 9를 참조하면, 910 단계 내지 940 단계는 도 6의 610 단계 내지 640 단계에 대응된다. 따라서, 이하에서는, 910 단계 내지 940 단계에 대한 구체적인 설명은 생락한다.
950 단계에서, 프로세서(110)는 적어도 하나의 지수와 기 설정된 임계값을 비교하여 추가적인 실험 여부에 대한 가이드를 제공한다.
도 6의 640 단계를 참조하여 상술한 바와 같이, 프로세서(110)는 사용자(30)가 핵산 분리 과정에서 얼마나 많은 부피를 용출했는지에 따라 예상 암 신호를 추정할 수 있다.
한편, 특정 백분율 미만의 예상 암 신호는 기 설정된 임계값에 따라 정량적 PCR(qPCR) 또는 검출 한계 미만의 기타 실험에 대하여 '추가 진행하지 않음(no-go)'으로 분류되어야 할 수도 있다. 여기에서, 기 설정된 임계값은 사용자(30)에 의하여 설정될 수 있고, 설정된 값의 조정도 가능하다.
예를 들어, 사용자(30)가 정량적 PCR(qPCR)로 실험을 설계하고, 임계값이 1%로 설정된 것을 가정한다. 만약, 입력된 DNA 양이 47uL이어야 예상 암 신호가 1% 이상이 될 수 있다면, 입력된 DNA양이 47uL 미만인 실험의 경우, '추가 진행하지 않음 (no-go)'으로 분류되어야 한다.
프로세서(110)가 예상 암 신호와 임계값을 비교하여 추가적인 실험 여부에 대한 가이드를 제공함으로써, 사용자(30)는 단일 슬라이드로 검출될 수 있는 한계치를 설계하는 데 유용할 수 있다.
도 10은 일 실시예에 따른 프로세서가 제공하는 가이드의 일 예를 설명하기 위한 도면이다.
도 10을 참조하면, 프로세서(110)는 입력된 DNA 양 대비 예상 암 신호를 나타내는 그래프를 생성할 수 있다. 그러나, 프로세서(110)가 생성하는 가이드는 도 10에 도시된 그래프에 한정되지 않고, 다양한 방식의 가이드(예를 들어, 테이블 등)가 해당될 수 있다.
예를 들어, 임계값으로 예상 암 신호가 0.2%인 것이 설정되었다고 가정하면, 프로세서(110)는 예상 암 신호가 0.2% 미만인 값들(1010) 및 예상 암 신호가 0.2% 이상인 값들(1020)을 구분하여 출력할 수 있다. 이에 따라, 사용자(30)는 출력된 가이드를 검토하여, 추가적인 실험을 진행할지 여부에 대한 판단이 가능하다.
도 11a는 일 실시예에 따른 병리 슬라이드 이미지 및 다양한 정보들이 출력된 일 예를 도시한 도면이다.
도 11a에는 디스플레이 장치에 출력된 이미지(1100)의 일 예가 도시되어 있다. 예를 들어, 이미지(1100)에는 병리 슬라이드 이미지(1110) 및 썸네일 이미지(1120)가 포함될 수 있다. 병리 슬라이드 이미지(1110)는 사용자(30)의 조작에 따라서 확대 또는 축소가 될 수 있다. 썸네일 이미지(1120)에는 사용자(30)에 의하여 관찰된 영역이 그렇지 않은 영역과 구분되어 표시될 수 있다. 또한, 썸네일 이미지(1120)에는 사용자(30)에 의한 관찰이 필요한 관심 영역이 표시될 수도 있다.
또한, 이미지(1100)에는 병리 슬라이드 이미지(1100)의 해석에 따른 다양한 정보들(1130, 1140, 1150)이 포함될 수 있다. 구체적으로, 이미지(1100)에는 도 3 내지 도 10을 참조하여 상술한 다양한 연산 값들(1130, 1140)이 포함될 수 있고, 병리 슬라이드 이미지(1100)에 대응하는 암의 종류(1150)도 포함될 수 있다.
또한, 이미지(1100)에는 병리 슬라이드 이미지(1100)의 해석에 따라 분류된 영역들 및 세포들을 선택할 수 있는 영역(1160)이 포함될 수 있다. 사용자(30)는 영역(1160)에 출력된 일부 또는 전부를 선택함으로써, 병리 슬라이드 이미지(1100) 중에서 자신이 원하는 객체에 대해서만 관찰을 수행할 수도 있다.
도 11b는 일 실시예에 따른 병리 슬라이드 이미지 및 다양한 정보가 출력된 다른 예를 도시한 도면이다.
도 11b는 디스플레이 장치에 출력되는 이미지(1200)의 일 예를 나타낸다. 이미지(1200)에는 병리학적 슬라이드 이미지(1210)의 해석에 따른 다양한 정보가 포함될 수 있다. 일 실시예에서, 프로세서(110)는 종양 순도에 대한 제1 값(AI-P)을 평가함으로써 예상 암 신호를 계산 및 출력할 수 있다.
종양 세포에 대한 예상 종양 DNA 수율을 모든 세포에 대한 예상 DNA 수율로 나누면, 수학식 1을 참조하여 전술한 종양 순도에 대한 제1 값(AI-P)도 도출될 수 있다.
사용자가 핵산을 분리하는 과정에서 용출되는 부피에 따라 예상 암 신호(expected cancer signal)가 추정될 수 있다. 예를 들어, 사용자가 총 부피가 50μL elution buffer인 DNA를 분리할 때 종양 순도에 대한 제1 값(AI-P)를 49(1:49)로 나누어 종양 신호의 비율을 희석할 수 있다. 예상 암 신호가 특정 백분율 미만인지 여부는 사용자에게 추가 실험 수행 여부를 안내하는 기준이 될 수 있다. 프로세서(110)는 예상 암 신호를 나타내는 지표를 계산하고, 질병 진단을 위한 추가 실험의 수행 여부를 결정할 수 있다.
도 11b를 참조하면, 프로세서(110)는 계산된 종양 순도에 기초하여 핵산 분리 과정 동안 용출의 부피량에 따라 NGS에 대한 최소 요구 시퀀싱 깊이(minimum required sequencing depths)를 사용자에게 추가로 제공할 수 있다.
상술한 바에 따르면, 프로세서(110)는 병리 슬라이드 이미지에 포함된 노이즈에 대한 정보를 포함하는 종양 순도를 연산한다. 따라서, 사용자(30)는 병리 슬라이드 이미지에 표현된 조직 및 세포에 대하여 정확한 종양 순도의 정보를 확인할 수 있다.
또한, 프로세서(110)는 TCGA(The Cancer Genome Atlas)의 32가지 유형의 종양 샘플을 예측하도록 훈련된 AI 모델을 사용하여 종양 순도를 연산한다. 따라서, 사용자(30)는 모든 유형의 암에 대한 정확한 진단이 가능하다.
또한, 프로세서(110)는 예상 암 신호(expected cancer signal)를 나타내는 지수를 연산할 수 있다. 따라서, 사용자(30)는 질병의 판정을 위하여 추가적인 실험을 진행할지 여부에 대한 판단이 가능하다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하며, 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점을 포함하는 것으로 해석되어야 할 것이다.
1: 시스템
10: 사용자 단말
20: 서버
30: 사용자
40: 종양 순도 정보
10: 사용자 단말
20: 서버
30: 사용자
40: 종양 순도 정보
Claims (20)
- 적어도 하나의 메모리; 및
적어도 하나의 프로세서;를 포함하고,
상기 프로세서는,
기계학습 모델을 이용하여 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행하고, 상기 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행하고, 상기 제1 분류 결과 및 상기 제2 분류 결과를 조합하여 암 영역(cancer area) 내에 포함된 종양 세포(tumor cell)들을 분류하고, 상기 병리 슬라이드 이미지에 포함된 전체 세포들의 수 대비 상기 암 영역 내에 포함된 종양 세포들의 수에 대한 제1 비율에 대한 정보를 포함하는 종양 순도(tumor purity)를 연산하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 병리 슬라이드에 포함된 생물학적 노이즈(biological noise)에 대한 정보 및 기술적 노이즈(technical noise) 중 적어도 하나에 대한 정보를 더 포함하는 상기 종양 순도를 연산하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 병리 슬라이드 이미지를 암 기질 영역(cancer stroma area), 괴사 영역(necrosis area) 및 백그라운드 영역(background) 중 적어도 하나와 상기 암 영역으로 분류하는 상기 제1 분류를 수행하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 병리 슬라이드 이미지에 표현된 복수의 세포들을 림프구 세포(lymphocytes cell) 및 기타 세포 중 적어도 하나와 상기 종양 세포로 분류하는 상기 제2 분류를 수행하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 제1 분류 결과와 상기 제2 분류 결과를 조합하여 상기 병리 슬라이드 이미지에 포함된 전체 영역 대비 상기 암 영역에 대한 제2 비율 중 적어도 하나를 더 연산하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 제1 분류 결과 및 상기 제2 분류 결과를 이용하여 예상 암 신호(expected cancer signal)를 나타내는 적어도 하나의 지수를 연산하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 병리 슬라이드 이미지를 분석하여 연산된 상기 종양 순도를 이용하여,
전체 세포들에 대한 예상 DNA 수율(expected DNA yield) 및 종양 세포들에 대한 예상 종양 DNA 수율(expected tumor DNA yield) 중 적어도 하나를 연산하는 컴퓨팅 장치. - 제 6 항에 있어서,
상기 프로세서는,
상기 종양 순도 및 상기 적어도 하나의 지수를 출력하도록 디스플레이 장치를 제어하는 컴퓨팅 장치. - 제 6 항에 있어서,
상기 프로세서는,
상기 적어도 하나의 지수와 기 설정된 임계값을 비교하여 추가적인 실험 여부에 대한 가이드를 제공하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 병리 슬라이드 이미지를 분석하여 연산된 상기 종양 순도를 이용하여,
상기 병리 슬라이드 이미지의 적어도 일부 영역에 대한 예상 핵산 수율로부터 차세대 시퀀싱 커버리지 및 깊이(next-generation sequencing coverage and depth)를 추정하여 출력하도록 구성되는 컴퓨팅 장치. - 기계학습 모델을 이용하여 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행하는 단계;
상기 병리 슬라이드 이미지를 분석하여 상기 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행하는 단계;
상기 제1 분류 결과 및 상기 제2 분류 결과를 조합하여 암 영역(cancer area) 내에 포함된 종양 세포(tumor cell)들을 분류하는 단계; 및
상기 병리 슬라이드 이미지에 포함된 전체 세포들의 수 대비 상기 암 영역 내에 포함된 종양 세포들의 수에 대한 제1 비율에 대한 정보를 포함하는 종양 순도(tumor purity)를 연산하는 단계;를 포함하는 병리 슬라이드 이미지를 해석하는 방법. - 제 11 항에 있어서,
상기 종양 순도를 연산하는 단계는,
상기 병리 슬라이드에 포함된 생물학적 노이즈(biological noise)에 대한 정보 및 기술적 노이즈(technical noise) 중 적어도 하나에 대한 정보를 더 포함하는 상기 종양 순도를 연산하는 방법. - 제 11 항에 있어서,
상기 제1 분류를 수행하는 단계는,
상기 병리 슬라이드 이미지를 암 기질 영역(cancer stroma area), 괴사 영역(necrosis area) 및 백그라운드 영역(background) 중 적어도 하나와 상기 암 영역으로 분류하는 방법. - 제 11 항에 있어서,
상기 제2 분류를 수행하는 단계는,
상기 병리 슬라이드 이미지에 표현된 복수의 세포들을 림프구 세포(lymphocytes cell) 및 기타 세포 중 적어도 하나와 상기 종양 세포로 분류하는 방법. - 제 11 항에 있어서,
상기 종양 순도를 연산하는 단계는,
상기 제1 분류 결과와 상기 제2 분류 결과를 조합하여 상기 병리 슬라이드 이미지에 포함된 전체 영역 대비 상기 암 영역에 대한 제2 비율 중 적어도 하나를 더 연산하는 방법. - 제 11 항에 있어서,
상기 제1 분류 결과 및 상기 제2 분류 결과를 이용하여 예상 암 신호(expected cancer signal)를 나타내는 적어도 하나의 지수를 연산하는 단계;를 더 포함하는 방법. - 제 16 항에 있어서,
상기 적어도 하나의 지수를 연산하는 단계는,
상기 병리 슬라이드 이미지를 분석하여 연산된 상기 종양 순도를 이용하여,
전체 세포들에 대한 예상 DNA 수율(expected DNA yield) 및 종양 세포들에 대한 예상 종양 DNA 수율(expected tumor DNA yield) 중 적어도 하나를 연산하는 방법. - 제 16 항에 있어서,
상기 종양 순도 및 상기 적어도 하나의 지수를 출력하는 단계;를 더 포함하는 방법. - 제 16 항에 있어서,
상기 적어도 하나의 지수와 기 설정된 임계값을 비교하여 추가적인 실험 여부에 대한 가이드를 제공하는 단계;를 더 포함하는 방법. - 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22206669.8A EP4207059A1 (en) | 2021-12-28 | 2022-11-10 | Method and apparatus for tumor purity based on pathological slide image |
| US18/056,773 US20230206433A1 (en) | 2021-12-28 | 2022-11-18 | Method and apparatus for tumor purity based on pathaological slide image |
| JP2022201573A JP2023098658A (ja) | 2021-12-28 | 2022-12-16 | 病理スライド画像に基づいて腫瘍純度を予測する方法および装置 |
| KR1020230143367A KR20230153331A (ko) | 2021-12-28 | 2023-10-24 | 병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210190443 | 2021-12-28 | ||
| KR1020210190443 | 2021-12-28 | ||
| KR20220022290 | 2022-02-21 | ||
| KR1020220022290 | 2022-02-21 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230143367A Division KR20230153331A (ko) | 2021-12-28 | 2023-10-24 | 병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230100571A KR20230100571A (ko) | 2023-07-05 |
| KR102598737B1 true KR102598737B1 (ko) | 2023-11-07 |
Family
ID=86896893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220071642A KR102598737B1 (ko) | 2021-12-28 | 2022-06-13 | 병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230206432A1 (ko) |
| KR (1) | KR102598737B1 (ko) |
| WO (1) | WO2023128059A1 (ko) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060074824A1 (en) * | 2002-08-22 | 2006-04-06 | Jinyan Li | Prediction by collective likelihood from emerging patterns |
| US7575321B2 (en) * | 2003-10-30 | 2009-08-18 | Welch Allyn, Inc. | Apparatus and method of diagnosis of optically identifiable ophthalmic conditions |
| JP5387146B2 (ja) * | 2009-06-03 | 2014-01-15 | 日本電気株式会社 | 病理組織画像解析装置、病理組織画像解析方法、病理組織画像解析プログラム |
| US9946953B2 (en) * | 2013-05-10 | 2018-04-17 | Koninklijke Philips N.V. | Apparatus and method for processing images of tissue samples |
| EP3207499A4 (en) * | 2014-10-17 | 2018-09-19 | Cireca Theranostics, LLC | Methods and systems for classifying biological samples, including optimization of analyses and use of correlation |
| US10025902B2 (en) * | 2016-08-12 | 2018-07-17 | Verily Life Sciences Llc | Enhanced pathology diagnosis |
| CN109791693B (zh) * | 2016-10-07 | 2023-09-26 | 文塔纳医疗系统公司 | 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程 |
| WO2019121564A2 (en) * | 2017-12-24 | 2019-06-27 | Ventana Medical Systems, Inc. | Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies |
| US11513057B2 (en) * | 2018-01-04 | 2022-11-29 | Virginia Commonwealth University | Systems and method for rapid identification and analysis of cells in forensic samples |
| US11348239B2 (en) * | 2018-05-14 | 2022-05-31 | Tempus Labs, Inc. | Predicting total nucleic acid yield and dissection boundaries for histology slides |
| JP2022505295A (ja) * | 2018-10-18 | 2022-01-14 | エージェンシー フォー サイエンス， テクノロジー アンド リサーチ | ヒト腫瘍のがん細胞における分子活性を定量化するための方法 |
| EP3948768A1 (en) * | 2019-03-26 | 2022-02-09 | Panakeia Technologies Limited | A method of processing an image of tissue, a system for processing an image of tissue, a method for disease diagnosis and a disease diagnosis system |
| JP2022532897A (ja) * | 2019-05-14 | 2022-07-20 | テンパス ラブズ，インコーポレイテッド | マルチラベルがん分類のためのシステムおよび方法 |
| US12019674B2 (en) * | 2019-05-29 | 2024-06-25 | New York University | System and method for tumor characterization |
| KR20210136571A (ko) * | 2020-05-08 | 2021-11-17 | 우당네트웍 주식회사 | 생검 유방암조직 이미지를 분석해 유방암 유전적타입을 진단하는 임상의사결정지원시스템 |
-
2022
- 2022-03-23 WO PCT/KR2022/004054 patent/WO2023128059A1/en unknown
- 2022-03-24 US US17/703,484 patent/US20230206432A1/en active Pending
- 2022-06-13 KR KR1020220071642A patent/KR102598737B1/ko active IP Right Grant
Non-Patent Citations (3)
| Title |
|---|
| Henrik Failmezger 외, CANCER RESEARCH, 2020.03.02., Vol.2020, No.80, pp.1199-1209.* |
| Minho Cho 외, Oncotarget, 2017.04.18., Vol.8, No.26, pp.42478-42486.* |
| Samantha N. McNulty 외, The Journal of Molecular Diagnostics, 2020.03.04., Vol.22, No.5, pp.720-727.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230100571A (ko) | 2023-07-05 |
| WO2023128059A1 (en) | 2023-07-06 |
| US20230206432A1 (en) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wulczyn et al. | Deep learning-based survival prediction for multiple cancer types using histopathology images | |
| Ram et al. | Pixelwise H-score: a novel digital image analysis-based metric to quantify membrane biomarker expression from immunohistochemistry images | |
| CN107209111B (zh) | 自动化整体载片分析的质量控制 | |
| CN114207675A (zh) | 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法 | |
| CN115210772B (zh) | 用于处理通用疾病检测的电子图像的系统和方法 | |
| KR20230153331A (ko) | 병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 | |
| EP4193299A1 (en) | Systems and methods to process electronic images to provide image-based cell group targeting | |
| US20230020368A1 (en) | Systems and methods for processing electronic images to determine testing for unstained specimens | |
| Liu et al. | Extendable and explainable deep learning for pan-cancer radiogenomics research | |
| US20230206433A1 (en) | Method and apparatus for tumor purity based on pathaological slide image | |
| US20090319450A1 (en) | Protein search method and device | |
| US20230281971A1 (en) | Method and device for analyzing pathological slide image | |
| KR102598737B1 (ko) | 병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 | |
| US20030023385A1 (en) | Statistical analysis method for classifying objects | |
| KR20210044400A (ko) | 이종 플랫폼의 dna 메틸레이션 데이터를 이용한 암의 예후 예측용 바이오마커 발굴 방법 및 장치 | |
| JP2024534035A (ja) | 発見プラットフォーム | |
| US20240212146A1 (en) | Method and apparatus for analyzing pathological slide images | |
| KR102671745B1 (ko) | 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치 | |
| US12014502B2 (en) | Method and device for evaluating quality of pathological slide image | |
| Prabhakaran et al. | Addressing persistent challenges in digital image analysis of cancerous tissues | |
| US20240161276A1 (en) | Systems and methods for predicting response of triple-negative breast cancer to neoadjuvant chemotherapy | |
| KR20240069618A (ko) | 병리 슬라이드 이미지를 분석하는 방법 및 장치 | |
| KR20230130536A (ko) | 병리 슬라이드 이미지를 분석하는 방법 및 장치 | |
| Bhattacharyya et al. | Functional Integrative Bayesian Analysis of High-dimensional Multiplatform Clinicogenomic Data | |
| KR20240149778A (ko) | 병리 슬라이드 이미지를 출력하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |