KR102671745B1 - 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치 - Google Patents
병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102671745B1 KR102671745B1 KR1020230038276A KR20230038276A KR102671745B1 KR 102671745 B1 KR102671745 B1 KR 102671745B1 KR 1020230038276 A KR1020230038276 A KR 1020230038276A KR 20230038276 A KR20230038276 A KR 20230038276A KR 102671745 B1 KR102671745 B1 KR 102671745B1
- Authority
- KR
- South Korea
- Prior art keywords
- pathology slide
- slide image
- processor
- area
- evaluation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000001575 pathological effect Effects 0.000 title description 2
- 230000007170 pathology Effects 0.000 claims abstract description 197
- 238000004458 analytical method Methods 0.000 claims abstract description 57
- 206010028980 Neoplasm Diseases 0.000 claims description 65
- 201000011510 cancer Diseases 0.000 claims description 55
- 239000000090 biomarker Substances 0.000 claims description 54
- 238000012360 testing method Methods 0.000 claims description 52
- 210000004027 cell Anatomy 0.000 claims description 50
- 238000011156 evaluation Methods 0.000 claims description 33
- 238000010801 machine learning Methods 0.000 claims description 26
- 210000004881 tumor cell Anatomy 0.000 claims description 15
- 210000004698 lymphocyte Anatomy 0.000 claims description 14
- 230000017074 necrotic cell death Effects 0.000 claims description 8
- 230000002730 additional effect Effects 0.000 abstract description 2
- 210000001519 tissue Anatomy 0.000 description 44
- 238000013441 quality evaluation Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 9
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 238000011282 treatment Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 238000012797 qualification Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002207 metabolite Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 102000008096 B7-H1 Antigen Human genes 0.000 description 1
- 108010074708 B7-H1 Antigen Proteins 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000376 autoradiography Methods 0.000 description 1
- 239000003181 biological factor Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012993 chemical processing Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 210000001608 connective tissue cell Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 102000052116 epidermal growth factor receptor activity proteins Human genes 0.000 description 1
- 108700015053 epidermal growth factor receptor activity proteins Proteins 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 238000010166 immunofluorescence Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- YOHYSYJDKVYCJI-UHFFFAOYSA-N n-[3-[[6-[3-(trifluoromethyl)anilino]pyrimidin-4-yl]amino]phenyl]cyclopropanecarboxamide Chemical compound FC(F)(F)C1=CC=CC(NC=2N=CN=C(NC=3C=C(NC(=O)C4CC4)C=CC=3)C=2)=C1 YOHYSYJDKVYCJI-UHFFFAOYSA-N 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- KHIWWQKSHDUIBK-UHFFFAOYSA-N periodic acid Chemical compound OI(=O)(=O)=O KHIWWQKSHDUIBK-UHFFFAOYSA-N 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- -1 trichrome Chemical compound 0.000 description 1
- 210000003171 tumor-infiltrating lymphocyte Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
- C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
- C12Q1/6883—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material
- C12Q1/6886—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material for cancer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q2600/00—Oligonucleotides characterized by their use
- C12Q2600/156—Polymorphic or mutational markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Organic Chemistry (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Genetics & Genomics (AREA)
- Immunology (AREA)
- Primary Health Care (AREA)
- Analytical Chemistry (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Microbiology (AREA)
- Biotechnology (AREA)
- Biochemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Oncology (AREA)
- Hospice & Palliative Care (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
일 측면에 따른 컴퓨팅 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 프로세서는, 병리 슬라이드 이미지에 표현된 적어도 하나의 대상체를 분석하고, 상기 분석의 결과에 기초하여 상기 병리 슬라이드 이미지의 품질을 평가하고, 상기 평가의 결과에 따라 적어도 하나의 추가 동작을 수행한다.
Description
본 개시는, 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치에 관한다.
디지털 병리학(digital pathology) 분야는 병리 슬라이드 이미지(pathological slide image)를 스캔함으로써 생성된 전체 슬라이드 이미지(whole slide image)를 이용하여 해당 환자의 조직학적 정보를 획득하거나 예후를 예측하는 분야이다.
병리 슬라이드 이미지는, 대상체의 염색된 티슈 샘플로부터 획득될 수 있다. 예를 들어, 티슈 샘플은, 헤마톡실린 및 에오신(hematoxylin and eosin), 삼색소(trichrome), 과요오드산 쉬프(periodic acid schiff), 자동 방사선 촬영(autoradiogrphy), 효소 조직 화학(enzyme histochemistry), 면역형광(immuno-fluorescence), 및 면역조직화학(immunohistochemistry) 등 다양한 염색 방식으로 염색될 수 있다. 염색된 티슈 샘플은 조직학 및 생검 평가에 이용됨으로써, 질병 상태를 이해하기 위해 분자 프로필 분석으로 넘어갈지 여부를 판단할 근거가 될 수 있다.
다만, 병리 슬라이드 이미지를 통한 병리학자나 의사의 진단은, 주관적인 판단이 개입될 여지가 많아 정확한 결과가 도출되지 못할 수 있다는 한계가 있다.
병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치를 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른 컴퓨팅 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 프로세서는, 병리 슬라이드 이미지에 표현된 적어도 하나의 대상체를 분석하고, 상기 분석의 결과에 기초하여 상기 병리 슬라이드 이미지의 품질을 평가하고, 상기 평가의 결과에 따라 적어도 하나의 추가 동작을 수행한다.
다른 측면에 따른 병리 슬라이드 이미지를 평가하는 방법은, 병리 슬라이드 이미지에 표현된 적어도 하나의 대상체를 분석하는 단계; 상기 분석의 결과에 기초하여 상기 병리 슬라이드 이미지의 품질을 평가하는 단계; 및 상기 평가의 결과에 따라 적어도 하나의 추가 동작을 수행하는 단계;를 포함한다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 일 실시예에 따른 병리 슬라이드 이미지를 평가하는 시스템의 일 예를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 머신러닝 모델을 이용하여 조직 표본들의 슬라이드 이미지들을 준비, 처리 및 검토하기 위한 시스템 및 네트워크의 블록도이다.
도 3a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 3b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 4는 일 실시예에 따른 병리 슬라이드 이미지를 분석하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 프로세서가 복수의 조직들에 대하여 제1 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 프로세서가 복수의 세포들에 대하여 제2 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 프로세서가 병리 슬라이드 이미지의 품질을 평가하는 일 예를 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 프로세서에 의하여 디스플레이되는 화면의 일 예를 도시한 도면이다.
도 9는 일 실시예에 따른 프로세서에 의하여 디스플레이되는 화면의 다른 예를 도시한 도면이다.
도 10은 일 실시예에 따른 레포트의 일 예를 도시한 도면이다.
도 11a 내지 도 11c는 일 실시예에 따른 병리 슬라이드 이미지와 관련된 정보를 변경하는 예들을 설명하기 위한 도면들이다.
도 2는 일 실시예에 따른 머신러닝 모델을 이용하여 조직 표본들의 슬라이드 이미지들을 준비, 처리 및 검토하기 위한 시스템 및 네트워크의 블록도이다.
도 3a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 3b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 4는 일 실시예에 따른 병리 슬라이드 이미지를 분석하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 프로세서가 복수의 조직들에 대하여 제1 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 프로세서가 복수의 세포들에 대하여 제2 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 프로세서가 병리 슬라이드 이미지의 품질을 평가하는 일 예를 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 프로세서에 의하여 디스플레이되는 화면의 일 예를 도시한 도면이다.
도 9는 일 실시예에 따른 프로세서에 의하여 디스플레이되는 화면의 다른 예를 도시한 도면이다.
도 10은 일 실시예에 따른 레포트의 일 예를 도시한 도면이다.
도 11a 내지 도 11c는 일 실시예에 따른 병리 슬라이드 이미지와 관련된 정보를 변경하는 예들을 설명하기 위한 도면들이다.
실시 예들에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "~ 유닛", "~ 모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에서 사용되는 "제 1" 또는 "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다.
일 실시예에 따르면, "병리 슬라이드 이미지"는, 인체에서 떼어낸 조직 등에 대해 일련의 화학적 처리과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 지칭할 수 있다. 또한, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고 해상도의 이미지를 포함하는 전체 슬라이드 이미지(Whole Slide Image, WSI)를 지칭할 수 있고, 전체 슬라이드 이미지의 일부, 예를 들어 하나 이상의 패치(patch)를 지칭할 수도 있다. 예를 들어, 병리 슬라이드 이미지는 스캔 장치(예: 디지털 스캐너 등)를 통해 촬영되거나 스캔된 디지털 이미지를 지칭할 수 있으며, 인체 내의 특정 단백질, 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다. 또한, 병리 슬라이드 이미지는 하나 이상의 패치를 포함할 수 있으며, 하나 이상의 패치에는 어노테이션(annotation) 작업을 통해 조직학적 정보가 적용(예: 태깅)될 수 있다.
일 실시예에 따르면, "의학적 정보"란, 의료 영상으로부터 추출할 수 있는 의학적으로 의미 있는 임의의 정보를 지칭할 수 있는데, 예를 들어, 의료 영상 내의 특정 조직(예를 들어, 암 조직, 암 기질 조직 등) 및/또는 특정 세포(예를 들어, 종양 세포, 림프구 세포, 대식 세포(Macrophage cells), 내피 세포(Endothelial cells), 섬유아 세포(Fibroblast cells) 등)의 영역, 위치, 크기, 암의 진단 정보, 피검자의 암의 발병 가능성과 연관된 정보, 및/또는 암 치료와 연관된 의학적 결론 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 의학적 정보는 의료 영상에서 얻을 수 있는 정량화된 수치뿐만 아니라 수치를 시각화한 정보, 수치에 따른 예측 정보, 이미지 정보, 통계학적 정보 등을 포함할 수 있다. 이렇게 생성된 의학적 정보는 사용자 단말에 제공되거나 디스플레이 장치에 출력 또는 전달되어, 표시될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시 예에 대하여 상세히 설명한다. 그러나 실시 예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 예에 한정되지 않는다.
도 1은 일 실시예에 따른 병리 슬라이드 이미지를 평가하는 시스템의 일 예를 설명하기 위한 도면이다.
도 1을 참조하면, 시스템(1)은 사용자 단말(10) 및 서버(20)를 포함한다. 예를 들어, 사용자 단말(10)과 서버(20)는 유선 또는 무선 통신 방식으로 연결되어 상호 간에 데이터(예를 들어, 영상 데이터 등)를 송수신할 수 있다.
설명의 편의를 위하여, 도 1에는 시스템(1)에 사용자 단말(10) 및 서버(20)가 포함되는 것으로 도시하였으나, 이에 한정되지 않는다. 예를 들어, 시스템(1)에는 다른 외부 디바이스(미도시)가 포함될 수 있으며, 이하에서 설명될 사용자 단말(10) 및 서버(20)의 동작이 단일 디바이스(예를 들어, 사용자 단말(10) 또는 서버(20)) 또는 보다 많은 디바이스들에 의하여 구현될 수도 있다.
사용자 단말(10)은 디스플레이 장치 및 사용자 입력을 수신하는 장치(예를 들어, 키보드, 마우스 등)를 구비하고, 메모리와 프로세서를 포함하는 컴퓨팅 장치일 수 있다. 예를 들어, 사용자 단말(10)은 노트북(notebook) PC, 데스크탑(desktop) PC, 랩탑(laptop), 테블릿 컴퓨터(tablet computer), 스마트 폰 등이 해당될 수 있으나, 이에 한정되지 않는다.
서버(20)는, 사용자 단말(10)을 포함하는 외부 디바이스(미도시)와 통신하는 장치일 수 있다. 일 예로서, 서버(20)는 병리 슬라이드 이미지, 병리 슬라이드 이미지에 대응하는 비트맵 이미지, 병리 슬라이드 이미지의 분석에 의하여 생성된 정보(예를 들어, 병리 슬라이드 이미지에 표현된 적어도 하나의 조직(tissue) 및 세포(cell)에 대한 정보, 적어도 하나의 바이오마커 발현(expression) 정보 등을 포함함), 병리 슬라이드 이미지의 분석을 위하여 이용되는 머신러닝 모델에 대한 정보를 포함하여 다양한 데이터를 저장하는 장치일 수 있다. 또는, 서버(20)는 메모리와 프로세서를 포함하고, 자체적인 연산 능력을 갖춘 컴퓨팅 장치일 수 있다. 서버(20)가 컴퓨팅 장치인 경우, 서버(20)는 도 1 내지 도 11c를 참조하여 후술할 사용자 단말(10)의 동작들 중 적어도 일부를 수행할 수 있다. 예를 들어, 서버(20)는 클라우드(cloud) 서버일 수도 있으나, 이에 한정되지 않는다.
사용자 단말(10)은 병리 슬라이드 이미지 및/또는 병리 슬라이드의 분석을 통하여 생성된 정보를 나타내는 이미지(40)를 출력한다. 예를 들어, 이미지(40)에는 병리 슬라이드 이미지에 표현된 적어도 하나의 조직 및 세포에 대한 다양한 정보가 표현될 수 있다. 또한, 이미지(40)에는 바이오마커의 발현 정보가 표현될 수 있다. 또한, 이미지(40)는 병리 슬라이드 이미지에 포함된 적어도 일부 영역에 대한 의학적 정보를 포함하는 레포트일 수 있다. 또한, 이미지(40)는 병리 슬라이드 이미지의 평가 결과를 포함하는 레포트일 수 있다.
병리 슬라이드 이미지는 인체 내에서 떼어낸 조직 등을 현미경으로 관찰하기 위하여 일련의 화학적 처리 과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 지칭할 수 있다. 일 예로서, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고해상도의 이미지를 포함하는 전체 슬라이드 이미지(whole slide image)를 지칭할 수 있다. 다른 예로서, 병리 슬라이드 이미지는 이러한 고해상도의 전체 슬라이드 이미지의 일부를 지칭할 수 있다.
한편, 병리 슬라이드 이미지는 전체 슬라이드 이미지에서 패치 단위로 분할된 패치 영역을 지칭할 수 있다. 예를 들어, 패치는 일정한 영역의 크기를 가질 수 있다. 또는, 패치는 전체 슬라이드 내의 포함된 객체의 각각을 포함하는 영역을 지칭할 수 있다.
또한, 병리 슬라이드 이미지는 현미경을 이용하여 촬영된 디지털 이미지를 지칭할 수 있으며, 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다.
병리 슬라이드 이미지의 분석에 의하여 병리 슬라이드 이미지에 표현된 생물학적 요소들(예를 들어, 암 세포, 면역 세포, 암 영역 등)가 확인될 수 있다. 이러한 생물학적 요소들은 질병의 조직학적 진단, 질병 예후의 예측, 질병의 치료 방향의 결정 등에 활용될 수 있다.
한편, 사용자(30)에 의한 병리 슬라이드 이미지의 분석에는 사용자(30)의 주관적인 판단이 포함될 수 있어, 피검자에 대한 객관적인 진단에 어려움이 있을 수 있다. 이를 해결하기 위한 방안으로, 머신러닝 모델을 이용한 병리 슬라이드 이미지의 분석 툴(tool)이 개발되고 있다. 다만, 병리 슬라이드 이미지의 품질에 대한 보증이 되지 않을 경우, 머신러닝 모델을 통해 출력된 결과의 정확도가 떨어질 수 있다. 구체적으로, 병리 슬라이드 이미지에 대한 표준 형식이 제정되어 있지 않기에, 머신러닝 모델을 통한 병리 슬라이드 이미지의 다운스트림(downstream) 분석에는 잠재적인 편향(potential bias)이 포함될 수 있다.
일 실시예에 따른 사용자 단말(10)은 병리 슬라이드 이미지에 표현된 적어도 하나의 대상체를 분석하고, 분석 결과에 기초하여 병리 슬라이드 이미지의 품질을 평가한다. 그리고, 사용자 단말(10)은 평가의 결과에 따라 적어도 하나의 추가 동작을 수행한다.
따라서, 사용자(30)는 병리 슬라이드 이미지의 품질 평가 결과를 확인할 수 있고, 병리 슬라이드 이미지의 다운스트림 분석의 정확도가 향상될 수 있다. 나아가, 일 실시예에 따른 평가 방법은 병리 슬라이드 이미지의 품질 관리를 위한 표준적인 방법으로 제공될 수 있으며, 디지털 병리학의 워크 플로우를 위한 머신러닝 모델의 표준화가 설정될 수 있다.
이하, 도 2 내지 도 11c를 참조하여, 사용자 단말(10)이 병리 슬라이드 이미지를 분석하고, 분석 결과에 기초하여 병리 슬라이드 이미지의 품질을 평가하고, 평가 결과에 따라 적어도 하나의 추가 동작을 수행하는 예를 설명한다.
한편, 설명의 편의를 위하여, 명세서의 전반에 걸쳐 사용자 단말(10)이 일 실시예에 따른 동작들을 수행하는 것으로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 사용자 단말(10)에 의하여 수행되는 동작들의 적어도 일부는 서버(20)에 의하여 수행될 수도 있다.
다시 말해, 도 1 내지 도 11c를 참조하여 설명되는 사용자 단말(10)의 동작들 중 적어도 일부는 서버(20)에 의하여 수행될 수 있다. 예를 들어, 서버(20)는 병리 슬라이드 이미지에 표현된 조직들 및 세포들을 분석할 수 있다. 그리고, 서버(20)는 분석의 결과에 기초하여 병리 슬라이드 이미지의 품질을 평가할 수 있다. 그리고, 서버(20)는 평가의 결과에 따라 적어도 하나의 추가 동작을 수행할 수 있다. 그리고, 서버(20)는 분석의 결과, 평가의 결과 및/또는 추가 동작의 수행 결과를 사용자 단말(10)로 전송할 수 있다. 다만, 서버(20)의 동작은 상술한 바에 한정되지 않는다.
도 2는 일 실시예에 따른 머신러닝 모델을 이용하여 조직 표본들의 슬라이드 이미지들을 준비, 처리 및 검토하기 위한 시스템 및 네트워크의 블록도이다.
도 2를 참조하면, 시스템(2)은 사용자 단말(11, 12), 스캐너(50), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및 서버(70)를 포함한다. 또한, 시스템(2)에 포함된 구성요소들(11, 12, 50, 61, 62, 63, 70)은 네트워크(80)를 통하여 서로 연결될 수 있다. 예를 들어, 네트워크(80)는 유선 또는 무선 통신 방식으로 구성요소들(11, 12, 50, 61, 62, 63, 70)이 서로 연결될 수 있는 네트워크일 수 있다. 예를 들어, 도 2에 도시된 시스템(2)은 병원, 연구실, 실험실들 등에 있는 서버들, 및/또는 의사 또는 연구원들의 사용자 단말에 접속될 수 있는 네트워크를 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 도 3a 내지 도 11c를 참조하여 후술할 방법은 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)에서 수행될 수 있다.
스캐너(50)는 피검자(90)의 조직 샘플을 이용하여 생성된 조직 샘플 슬라이드로부터 디지털화된 이미지를 획득할 수 있다. 예를 들어, 스캐너(50), 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 각각 하나 이상의 컴퓨터, 서버, 및/또는 모바일 디바이스를 통해 인터넷과 같은 네트워크(80)에 접속되거나, 하나 이상의 컴퓨터, 및/또는 모바일 디바이스를 통해 사용자(30) 및/또는 피검자(90)와 통신할 수 있다.
사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 하나 이상의 피검자(90)의 조직 샘플, 조직 샘플 슬라이드, 조직 샘플 슬라이드의 디지털화된 이미지들, 또는 이들의 임의의 조합을 생성하거나, 그렇지 않은 경우 다른 장치로부터 획득할 수 있다. 또한, 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63)은 피검자(90)의 연령, 병력, 암 치료 이력, 가족 이력, 과거 생검 기록 또는 피검자(90)의 질병 정보 등과 같은 피검자 특정 정보의 임의의 조합을 획득할 수 있다.
스캐너(50), 사용자 단말(11, 12), 이미지 관리 시스템(61), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 네트워크(80)를 통해 디지털화된 슬라이드 이미지들 및/또는 피검자 특정 정보를 AI 기반 바이오마커 분석 시스템(62)에 송신할 수 있다. AI 기반 바이오마커 분석 시스템(62)은 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(미도시)를 포함할 수 있다. 또한, AI 기반 바이오마커 분석 시스템(62)은 수신된 이미지들 및 데이터를 처리하도록 훈련된 머신러닝 모델을 저장하는 머신러닝 모델 저장소를 포함할 수 있다. 예를 들어, AI 기반 바이오마커 분석 시스템(62)은 피검자(90)의 병리 슬라이드 이미지로부터 적어도 하나의 세포에 관한 정보, 적어도 하나의 영역에 관한 정보, 바이오마커와 관련된 정보, 의학적 진단 정보 및/또는 의학적 치료 정보 중 적어도 하나를 예측하기 위하여 학습되고 훈련된 머신러닝 모델을 포함할 수 있다.
스캐너(50), 사용자 단말(11, 12), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)는 네트워크(80)를 통해 디지털화된 슬라이드 이미지, 피검자 특정 정보 및/또는 디지털화된 슬라이드 이미지를 분석한 결과를 이미지 관리 시스템(61)에 송신할 수 있다. 이미지 관리 시스템(61)은 수신된 이미지를 저장하기 위한 저장소 및 분석 결과를 저장하기 위한 저장소를 포함할 수 있다.
또한, 본 개시의 다양한 실시예들에 따르면, 피검자(90)의 슬라이드 이미지로부터 적어도 하나의 세포에 관한 정보, 적어도 하나의 영역에 관한 정보, 바이오마커와 관련된 정보, 의학적 진단 정보 및/또는 의학적 치료 정보 중 적어도 하나를 예측하기 위하여 학습되고 훈련된 머신러닝 모델은 사용자 단말(11, 12) 및/또는 이미지 관리 시스템(61)에 저장되어 동작할 수 있다.
본 개시의 다양한 실시예들에 따르면, 병리 슬라이드 이미지의 분석 방법, 피검자 정보의 처리 방법, 피검자군의 선별 방법, 임상 시험의 설계 방법, 바이오마커 발현 정보의 생성 방법, 및/또는 특정 바이오마커에 대한 기준값의 설정 방법은 AI 기반 바이오마커 분석 시스템(62)뿐만 아니라, 사용자 단말(11, 12), 이미지 관리 시스템(61), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)에서 수행될 수 있다.
도 3a는 일 실시예에 따른 사용자 단말의 일 예를 도시한 구성도이다.
도 3a를 참조하면, 사용자 단말(100)은 프로세서(110), 메모리(120), 입출력 인터페이스(130) 및 통신 모듈(140)을 포함한다. 설명의 편의를 위하여, 도 3a에는 본 발명과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3a에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 사용자 단말(100)에 더 포함될 수 있다. 또한, 도 3a에 도시된 프로세서(110), 메모리(120), 입출력 인터페이스(130) 및 통신 모듈(140)은 독립된 장치로 구현될 수도 있음은 본 발명과 관련된 기술 분야에서의 통상의 지식을 가진 자에게 자명하다.
또한, 사용자 단말(100)의 동작은 도 2의 사용자 단말(11, 12), 이미지 관리 시스템(61), AI 기반 바이오마커 분석 시스템(62), 실험실 정보 관리 시스템(63) 및/또는 병원 또는 연구실 서버(70)에서 수행될 수 있다.
프로세서(110)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리할 수 있다. 여기에서, 명령은 메모리(120) 또는 외부 장치(예를 들어, 서버(20) 등)로부터 제공될 수 있다. 또한, 프로세서(110)는 사용자 단말(100)에 포함된 다른 구성요소들의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는 병리 슬라이드 이미지에 표현된 적어도 하나의 대상체를 분석한다. 예를 들어, 대상체는 세포, 조직, 구조 등을 포함할 수 있다. 예를 들어, 프로세서(110)는 병리 슬라이드 이미지를 암 영역(cancer area), 암 기질 영역(cancer stroma area), 괴사 영역(necrosis area) 및 백그라운드 영역(background) 중 적어도 하나로 분류할 수 있다. 또한, 프로세서(110)는 병리 슬라이드 이미지에 표현된 복수의 세포들을 종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 기타 세포 중 적어도 하나로 분류할 수 있다.
그리고, 프로세서(110)는 병리 슬라이드 이미지의 분석 결과에 기초하여 병리 슬라이드 이미지의 품질을 평가한다. 예를 들어, 프로세서(110)는 병리 슬라이드 이미지로부터 획득된 적어도 하나의 정량 정보를 이용하여 적어도 1회의 제1 테스트를 수행할 수 있다. 그 후에, 프로세서(110)는 병리 슬라이드 이미지에 표현된 적어도 하나의 바이오마커의 정량 정보를 이용하여 제2 테스트를 수행할 수 있다. 여기에서, 제2 테스트는 제1 테스트를 통과한 병리 슬라이드 이미지에 대하여 수행될 수 있으나, 이에 한정되지 않는다.
프로세서(110)는 병리 슬라이드 이미지로부터 확인된 분석 가능 영역(analyzable region)에 대응하는 정량 정보 및 병리 슬라이드 이미지에 포함된 암 영역(cancer region)에 대응하는 정량 정보 중 적어도 하나에 기초하여, 병리 슬라이드 이미지의 품질 평가 통과 여부를 결정하는 제1 테스트를 수행할 수 있다. 예를 들어, 프로세서(110)는 병리 슬라이드 이미지로부터 확인된 분석 가능 영역(analyzable region)에 대응하는 정량 정보 및 병리 슬라이드 이미지에 포함된 암 영역(cancer region)에 대응하는 정량 정보 중 적어도 하나를 소정의 기준 값(reference value)와 비교함으로써 제1 테스트를 수행할 수 있다.
또한, 프로세서(110)는 병리 슬라이드 이미지에 표현된 적어도 하나의 바이오마커의 정량 정보에 기초하여, 병리 슬라이드 이미지의 품질 평가 통과 여부를 결정하는 제2 테스트를 수행할 수 있다. 예를 들어, 프로세서(110)는 병리 슬라이드 이미지에 표현된 적어도 하나의 바이오마커의 정량 정보를 소정의 기준 값과 비교함으로써 제2 테스트를 수행할 수 있다. 이 때, 바이오마커는 종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 종양 순도(tumor purity) 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(110)는 품질 평가의 결과에 따라 적어도 하나의 추가 동작을 수행한다. 일 예로서, 프로세서(110)는 병리 슬라이드 이미지에 대한 적어도 하나의 정보 및 품질 평가의 결과가 출력되도록 디스플레이 장치를 제어할 수 있다. 다른 예로서, 프로세서(110)는 품질 평가의 결과에 따라 병리 슬라이드 이미지의 분석 결과가 선택적으로 출력되도록 디스플레이 장치를 제어할 수 있다. 또 다른 예로서, 프로세서(110)는 품질 평가의 결과 및 품질 평가의 근거를 포함하는 레포트를 생성하고, 레포트가 출력되도록 디스플레이 장치를 제어할 수 있다.
프로세서(110)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 예를 들어, 프로세서(110)는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함할 수 한다. 일부 환경에서, 프로세서(110)는 주문형 반도체(ASIC), 프로그램 가능 로직 디바이스(PLD), 필드 프로그램 가능 게이트 어레이(FPGA) 등을 포함할 수도 있다. 예를 들어, 프로세서(110)는 디지털 신호 프로세서(DSP)와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, 디지털 신호 프로세서(DSP) 코어와 결합된 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
메모리(120)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 예로서, 메모리(120)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치일 수 있다. 또한, 메모리(210)에는 운영체제(OS)와 적어도 하나의 프로그램 코드(예를 들어, 도 4 내지 도 11c를 참조하여 후술할 동작을 프로세서(110)가 수행하기 위한 코드)가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(120)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 사용자 단말(100)에 직접 연결될 수 있는 기록 매체일 수 있고, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 또는, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(140)을 통해 메모리(120)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(140)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 도 4 내지 도 11c를 참조하여 후술할 동작을 프로세서(110)가 수행하기 위한 컴퓨터 프로그램 등)에 기반하여 메모리(120)에 로딩될 수 있다.
입출력 인터페이스(130)는 사용자 단말(100)과 연결되거나 사용자 단말(100)에 포함될 수 있는 입력 또는 출력을 위한 장치(예를 들어, 키보드, 마우스 등)와의 인터페이스를 위한 수단일 수 있다. 도 3a에서는 입출력 인터페이스(130)가 프로세서(110)와 별도로 구성된 요소로 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(130)가 프로세서(110)에 포함되도록 구성될 수도 있다.
통신 모듈(140)은 네트워크를 통해 서버(20)와 사용자 단말(100)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있다. 또한, 통신 모듈(140)은 사용자 단말(100)이 다른 외부 디바이스와 통신하기 위한 구성 또는 기능을 제공할 수 있다. 예를 들어, 프로세서(110)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(140)과 네트워크를 거쳐 서버(20) 및/또는 외부 디바이스로 전송될 수 있다.
한편, 도 3a에는 도시되지 않았으나, 사용자 단말(100)은 디스플레이 장치를 더 포함할 수 있다. 또는, 사용자 단말(100)은 독립적인 디스플레이 장치와 유선 또는 무선 통신 방식으로 연결되어 상호 간에 데이터를 송수신할 수 있다. 예를 들어, 디스플레이 장치를 통하여 병리 슬라이드 이미지, 병리 슬라이드 이미지의 분석 정보, 치료 반응의 예측 정보 등이 사용자(30)에게 제공될 수 있다.
도 3b는 일 실시예에 따른 서버의 일 예를 도시한 구성도이다.
도 3b를 참조하면, 서버(20)는 프로세서(210), 메모리(220) 및 통신 모듈(230)을 포함한다. 설명의 편의를 위하여, 도 3b에는 본 발명과 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3b에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 서버(200)에 더 포함될 수 있다. 또한, 도 3b에 도시된 프로세서(210), 메모리(220) 및 통신 모듈(230)은 독립된 장치로 구현될 수도 있음은 본 발명과 관련된 기술 분야에서의 통상의 지식을 가진 자에게 자명하다.
프로세서(210)는, 내부 메모리(220), 외부 메모리, 사용자 단말(100) 및 외부 장치 중 적어도 하나로부터 병리 슬라이드 이미지를 획득할 수 있다. 프로세서(210)는 병리 슬라이드 이미지에 표현된 적어도 하나의 대상체를 분석하거나, 분석의 결과에 기초하여 병리 슬라이드 이미지의 품질을 평가하거나, 평가의 결과에 따라 적어도 하나의 추가 동작을 수행할 수 있다.
다시 말해, 도 3a를 참조하여 상술한 프로세서(110)의 동작 중 적어도 하나가 프로세서(210)에 의하여 수행될 수 있다. 이 경우, 사용자 단말(100)은 서버(200)로부터 전송된 정보를 디스플레이 장치를 통하여 출력할 수 있다.
한편, 프로세서(210)의 구현 예는 도 3a를 참조하여 상술한 프로세서(110)의 구현 예와 동일하므로, 구체적인 설명은 생략한다.
메모리(220)에는 병리 슬라이드 이미지, 프로세서(210)의 동작에 따라 생성된 데이터 등 다양한 데이터가 저장될 수 있다. 또한, 메모리(220)에는 운영체제(OS)와 적어도 하나의 프로그램(예를 들어, 프로세서(210)가 동작하는데 필요한 프로그램 등)이 저장될 수 있다.
한편, 메모리(220)의 구현 예는 도 3a를 참조하여 상술한 메모리(120)의 구현 예와 동일하므로, 구체적인 설명은 생략한다.
통신 모듈(230)은 네트워크를 통해 서버(200)와 사용자 단말(100)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있다. 또한, 통신 모듈(230)은 서버(200)가 다른 외부 디바이스와 통신하기 위한 구성 또는 기능을 제공할 수 있다. 예를 들어, 프로세서(210)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(230)과 네트워크를 거쳐 사용자 단말(100) 및/또는 외부 디바이스로 전송될 수 있다.
도 4는 일 실시예에 따른 병리 슬라이드 이미지를 분석하는 방법의 일 예를 설명하기 위한 흐름도이다.
도 4를 참조하면, 병리 슬라이드 이미지를 분석하는 방법은 도 1 내지 3a에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3a에 도시된 사용자 단말(10, 100) 또는 프로세서(110)에 관하여 이상에서 기술된 내용은 도 4의 병리 슬라이드 이미지를 분석하는 방법에도 적용될 수 있다.
또한, 도 1 내지 도 3b를 참조하여 상술한 바와 같이, 도 4에 도시된 흐름도의 단계들 중 적어도 하나는 서버(20, 200) 또는 프로세서(210)에서 처리될 수 있다.
410 단계에서, 프로세서(110)는 병리 슬라이드 이미지에 표현된 적어도 하나의 대상체를 분석할 수 있다. 예를 들어, 대상체는 세포, 조직, 구조 등을 포함할 수 있다.
예를 들어, 프로세서(110)는 병리 슬라이드 이미지 상의 영역을 암 영역, 암 기질 영역, 괴사 영역 및 백그라운드 영역 중 적어도 하나로 분류할 수 있다. 그리고, 프로세서(110)는 병리 슬라이드 이미지에 표현된 복수의 세포들을 종양 세포, 림프구 세포 및 기타 세포 중 적어도 하나로 분류할 수 있다.
먼저, 프로세서(110)는 병리 슬라이드 이미지를 분석한다. 일 예로서, 프로세서(110)는 미리 결정된 이미지 처리 기법을 이용하여 병리 슬라이드 이미지를 분석함으로써, 병리 슬라이드 이미지로부터 조직들에 해당되는 영역들을 검출할 수 있다. 프로세서(110)는, 조직들을 나타내는 레이어들의 형태로 검출 결과를 출력할 수 있다. 다른 예로서, 프로세서(110)는 기계학습 모델을 이용하여 병리 슬라이드 이미지로부터 조직들에 해당되는 영역들을 검출할 수 있다. 프로세서(110)는, 기계학습 모델을 이용하여, 조직들을 나타내는 레이어들의 형태로 검출 결과를 출력할 수 있다. 이 경우, 기계학습 모델은 복수의 참조 병리 슬라이드 이미지들 및 복수의 참조 레이블 정보를 포함하는 학습 데이터를 이용하여, 참조 병리 슬라이드 이미지들 내의 조직들에 해당되는 영역을 검출하도록 학습될 수 있다.
여기에서, 머신러닝 모델은, 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조를 의미한다.
예를 들어, 머신러닝 모델은 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 모델을 나타낼 수 있다. 예를 들어, 머신러닝 모델은 기계학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.
예를 들어, 머신러닝 모델은 다층의 노드들과 이들 사이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현될 수 있다. 본 실시예에 따른 머신러닝 모델은 MLP를 포함하는 다양한 인공신경망 모델 구조들 중의 하나를 이용하여 구현될 수 있다. 예를 들어, 머신러닝 모델은 외부로부터 입력 신호 또는 데이터를 수신하는 입력층, 입력 데이터에 대응한 출력 신호 또는 데이터를 출력하는 출력층, 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달하는 적어도 하나의 은닉층으로 구성될 수 있다. 출력층은 은닉층으로부터 신호 또는 데이터를 수신하여 외부로 출력한다.
따라서, 머신러닝 모델은 하나 이상의 병리 슬라이드 이미지를 수신하고, 병리 슬라이드 이미지에 포함된 하나 이상의 대상체(예를 들어, 세포, 조직, 구조 등)에 대한 정보를 추출하도록 학습될 수 있다.
그리고, 프로세서(110)는 병리 슬라이드 이미지에 표현된 복수의 조직들에 대하여 제1 분류를 수행할 수 있다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지를 (cancer area), 암 기질 영역(cancer stroma area), 괴사 영역(necrosis area) 및 백그라운드 영역(background) 중 적어도 하나로 분류할 수 있다. 여기에서, 백그라운드 영역은 생물학적 노이즈(biological noise)를 나타내는 영역 및/또는 기술적 노이즈(technical noise)를 나타내는 영역을 포함할 수 있다. 예를 들어, 생물학적 노이즈를 나타내는 영역은 정상 영역을 포함하고, 기술적 노이즈를 나타내는 영역은 저하 영역을 포함할 수 있다.
다만, 프로세서(110)가 병리 슬라이드 이미지에 표현되는 적어도 일부 영역을 분류하는 예는 상술한 바에 한정되지 않는다. 다시 말해, 상술한 네 종류의 영역들(암 영역, 암 기질 영역, 괴사 영역 및 백그라운드 영역)에 한정됨이 없이, 프로세서(110)는 다양한 기준에 의하여 병리 슬라이드 이미지에 표현되는 적어도 하나의 영역을, 복수의 카테고리로 분류할 수 있다. 병리 슬라이드 이미지에 표현되는 적어도 하나의 영역은, 미리 설정된 기준 또는 사용자가 설정한 기준에 따라 복수의 카테고리로 분류될 수 있다. 또한, 노이즈의 종류는 생물학적 노이즈 및 기술적 노이즈에 한정되지 않다.
그리고, 프로세서(110)는 병리 슬라이드 이미지를 분석하여 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행할 수 있다.
먼저, 프로세서(110)는 병리 슬라이드 이미지를 분석하여, 병리 슬라이드 이미지로부터 세포들을 검출하고, 세포들을 나타내는 레이어들의 형태로 검출 결과를 출력할 수 있다. 프로세서(110)가 병리 슬라이드 이미지를 분석하는 구체적인 방법은 제1 분류에 관하여 상술한 바와 동일하다.
그리고, 프로세서(110)는 병리 슬라이드 이미지에 표현된 복수의 세포들에 대하여 제2 분류를 수행한다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지에 표현된 세포들을 종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 기타 세포 중 적어도 하나로 분류한다. 다만, 프로세서(110)가 병리 슬라이드 이미지에 표현된 세포들을 분류하는 예는 상술한 바에 한정되지 않는다. 다시 말해, 프로세서(110)는 서로 다른 종류의 세포들을 분류하는 다양한 기준에 따라 병리 슬라이드 이미지에 표현된 세포들을 그룹핑 할 수 있다.
이하, 도 5 및 도 6을 참조하여, 프로세서(110)가 복수의 조직들에 대하여 제1 분류 및 제2 분류를 수행하는 예를 설명한다.
도 5는 일 실시예에 따른 프로세서가 복수의 조직들에 대하여 제1 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 5를 참조하면, 프로세서(110)는 병리 슬라이드 이미지(510)를 분석하여 조직(520)을 나타내는 영역을 검출하고, 조직(520)을 나타내는 레이어의 형태로 검출 결과를 출력할 수 있다. 병리 슬라이드 이미지(510)의 조직(520)은 다양한 영역들(531 내지 535)을 포함할 수 있고, 프로세서(110)는 영역들(531 내지 535)을 분류할 수 있다. 예를 들어, 프로세서(110)는 영역들(531 내지 535)을 암 영역(531), 암 기질 영역(532), 괴사 영역(533), 저하 영역(534) 및 정상 영역(535)으로 분류할 수 있다.
도 6은 일 실시예에 따른 프로세서가 복수의 세포들에 대하여 제2 분류를 수행하는 일 예를 설명하기 위한 도면이다.
도 6을 참조하면, 프로세서(110)는 병리 슬라이드 이미지(610)를 분석하여 조직(620) 내의 세포들을 확인한다. 구체적으로, 프로세서(110)는 병리 슬라이드 이미지(610)에서 세포들을 나타내는 부분을 검출하고, 세포들을 나타내는 레이어의 형태로 검출 결과를 출력할 수 있다.
조직(620)은 복수의 세포들로 구성되고, 세포들은 다양한 종류로 구성될 수 있다. 프로세서(110)는 세포들을 종양 세포(631), 림프구 세포(632) 및 기타 세포(633) 중 적어도 하나로 분류할 수 있다. 여기에서, 기타 세포(633)는 정상 세포를 포함할 수 있다. 예를 들어, 기타 세포(633)는 상피 세포, 신경 세포, 근육 세포 및 결합 조직 세포(connective tissue cell) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
410 단계 및 도 5 내지 도 6을 참조하여 상술한 바에 따르면, 프로세서(110)는 병리 슬라이드 이미지 내의 조직들 및 세포들에 대한 정보를 획득할 수 있다. 예를 들어, 프로세서(110)는 병리 슬라이드 이미지의 전체 영역에서 조직들 및 세포들 각각의 위치를 특정할 수 있다. 또한, 프로세서(110)는 조직들 및 세포들 각각의 종류를 확인할 수 있으며, 조직들 각각에 포함된 세포들의 수 및 밀도를 정량화하여 정량 정보를 획득할 수도 있다. 또한, 프로세서(110)는 조직들 및 세포들에 대한 정량 정보를 이용하여 종양 순도(tumor purity)를 정확하게 연산할 수도 있다.
420 단계에서, 프로세서(110)는 분석의 결과에 기초하여 병리 슬라이드 이미지의 품질을 평가한다.
410 단계를 참조하여 상술한 바와 같이, 프로세서(110)는 병리 슬라이드 이미지를 분석함으로써 다양한 정량 정보를 획득할 수 있다. 또한, 프로세서(110)는 정량 정보를 이용하여 종양 순도도 연산할 수 있다. 따라서, 프로세서(110)는 병리 슬라이드 이미지를 분석함으로써 도출된 정보를 병리 슬라이드 이미지를 평가하는 과정에 이용할 수 있다.
예를 들어, 프로세서(110)는 병리 슬라이드 이미지로부터 획득된 적어도 하나의 정량 정보를 이용하여 적어도 1회의 제1 테스트를 수행할 수 있다. 그리고, 프로세서(110)는 병리 슬라이드 이미지에 표현된 적어도 하나의 바이오마커의 정량 정보를 이용하여 제2 테스트를 수행할 수 있다. 이 때, 제2 테스트는 제1 테스트를 통과한 병리 슬라이드 이미지에 대해서만 수행될 수도 있으나, 이에 한정되지 않는다.
예를 들어, 제1 테스트는 병리 슬라이드 이미지로부터 확인된 분석 가능 영역에 대응하는 정량 정보 및 암 영역에 대응하는 정량 정보 중 적어도 하나를 소정의 기준 값과 비교하는 과정을 포함할 수 있다. 또한, 제2 테스트는 병리 슬라이드 이미지에 표현된 적어도 하나의 바이오마커의 정량 정보를 소정의 기준 값과 비교하는 과정을 포함할 수 있다. 여기에서, 적어도 하나의 바이오마커는 종양 세포, 림프구 세포 및 종양 순도 중 적어도 하나를 포함할 수 있다.
이하, 도 7을 참조하여, 프로세서(110)가 병리 슬라이드 이미지의 품질을 평가하는 일 예를 설명한다.
도 7은 일 실시예에 따른 프로세서가 병리 슬라이드 이미지의 품질을 평가하는 일 예를 설명하기 위한 흐름도이다.
도 7에 도시된 흐름도는 제1 테스트 및 제2 테스트를 포함한다. 예를 들어, 710 단계 내지 740 단계가 제1 테스트에 해당하고, 750 단계 및 760 단계가 제2 테스트에 해당할 수 있다. 다시 말해, 제2 테스트는 제1 테스트를 통과한 병리 슬라이드 이미지에 대해서만 수행될 수 있고, 제1 테스트는 적어도 하나의 서브 테스트를 포함할 수 있다.
그러나, 제1 테스트의 수 및 제2 테스트의 수행 조건은 상술한 바에 한정되지 않는다. 다시 말해, 제1 테스트는 제1 서브 테스트(710 단계 및 720 단계)와 제2 서브 테스트(730 단계 및 740 단계) 중 적어도 하나를 포함할 수 있다. 또한, 제2 테스트는 제1 테스트의 통과 여부를 불문하고 수행될 수도 있다.
제1 테스트 및 제2 테스트를 통하여, 병리 슬라이드 이미지가 분석 가능한 관심 영역(analyzable ROI) 내에서 특정 바이오마커에 대한 컨텐츠를 충분히 포함하고 있는지 여부가 판단될 수 있다. 다시 말해, 제1 테스트 및 제2 테스트는, 병리 슬라이드 이미지 내에 충분한 암 영역이 표현되어 있는지 및/또는 바이오마커를 분석하는데 기여할 수 있는 다양한 세포들이 표현되어 있는지를 판단하는 과정일 수 있다. 제1 테스트 및 제2 테스트를 통과한 병리 슬라이드 이미지는 다운스트림 분석(downstream analysis)을 위해 다음 과정으로 넘어갈 수 있다.
제1 테스트는 병리 슬라이드 이미지에 대한 최소 요구 조건을 만족하는지 여부를 판단하는 테스트일 수 있다. 다시 말해, 프로세서(110)는 제1 테스트를 통하여 병리 슬라이드 이미지의 분석 가능 영역 및 암 영역이 최소한의 기준을 만족하는지 여부를 판단할 수 있다.
710 단계에서, 프로세서(110)는 분석 가능 영역에 대응하는 정량 정보를 제1 기준 값(reference value)과 비교한다. 분석 가능 영역은 병리 슬라이드 이미지에서 분석 가능한 전체 영역으로서, 전체 조직 영역을 의미할 수 있다. 410 단계를 통하여 분석된 결과에 따라, 프로세서(110)는 병리 슬라이드 이미지 내의 전체 조직 영역에 대한 정량 정보를 획득할 수 있다. 예를 들어, 전체 조직 영역에 대한 정량 정보는 이미지 내에서 식별된 조직 영역에 대응하는 면적을 포함할 수 있다. 따라서, 프로세서(110)는 이미지 내의 전체 조직 영역들의 총 합을 제1 기준 값과 비교할 수 있다.
720 단계에서, 프로세서(110)는 분석 가능 영역들의 총 합과 제1 기준 값의 비교 결과가 소정의 기준을 만족하는지 여부를 판단한다. 예를 들어, 소정의 기준은 분석 가능 영역들의 총 합이 제1 기준 값보다 크거나 같은 것을 의미할 수 있으나, 이에 한정되지 않는다. 만약, 소정의 기준이 만족되는 경우에는 730 단계로 진행하고, 소정의 기준이 만족되지 않는 경우에는 780 단계로 진행한다.
730 단계에서, 프로세서(110)는 암 영역에 대응하는 정량 정보를 제2 기준 값과 비교한다. 410 단계를 통하여 분석된 결과에 따라, 프로세서(110)는 병리 슬라이드 이미지 내의 암 영역에 대한 정량 정보를 획득할 수 있다. 예를 들어, 암 영역에 대한 정량 정보는 이미지 내에서 식별된 암 영역에 대응하는 면적을 포함할 수 있다. 따라서, 프로세서(110)는 이미지 내의 암 영역들의 총 합을 제2 기준 값과 비교할 수 있다.
또는, 프로세서(110)는 분석 가능 영역 대비 암 영역의 비율을 제2 기준 값과 비교할 수도 있다. 분석 가능 영역에는 암 영역이 포함된다. 따라서, 분석 가능 영역 대비 암 영역의 비율을 제2 기준 값과 비교하는 것은 이미지 내의 암 영역들의 총 합을 제2 기준 값과 비교하는 것과 동일한 목적이 달성될 수 있다.
740 단계에서, 프로세서(110)는 암 영역들의 총 합(또는, 분석 가능 영역 대비 암 영역의 비율)과 제2 기준 값의 비교 결과가 소정의 기준을 만족하는지 여부를 판단한다. 예를 들어, 소정의 기준은 암 영역들의 총 합(또는, 분석 가능 영역 대비 암 영역의 비율)이 제2 기준 값보다 크거나 같은 것을 의미할 수 있으나, 이에 한정되지 않는다. 만약, 소정의 기준이 만족되는 경우에는 750 단계로 진행하고, 소정의 기준이 만족되지 않는 경우에는 780 단계로 진행한다.
제2 테스트는 병리 슬라이드 이미지가 특정 바이오마커에 대한 정보를 적절하게 포함하는지를 판단하는 테스트일 수 있다. 다시 말해, 프로세서(110)는 제2 테스트를 통하여 사용자(30)가 지정하는 바이오마커에 대한 정보가 병리 슬라이드 이미지로부터 정확하게 확인될 수 있는지 여부를 판단할 수 있다.
병리 슬라이드 이미지 내에는 적어도 하나 이상의 바이오마커가 표현될 수 있다. 한편, 사용자(30)가 관심을 갖는 바이오마커는 다양할 수 있고, 상황에 따라 변경될 수 있다. 따라서, 제2 테스트는 사용자(30)가 특정 바이오마커를 지정함에 따라 단일 병리 슬라이드 이미지에 대하여 복 수 회가 수행될 수도 있다.
750 단계에서, 프로세서(110)는 바이오마커의 정량 정보를 제3 기준 값과 비교한다. 여기에서, 바이오마커는 단백질, DNA, RNA, 대사 물질, 종양 세포, 림프구 세포와 같은 여러 종류의 세포, 여러 조직의 표현형 및 종양 순도 중 적어도 하나를 포함할 수 있다. 410 단계를 통하여 분석된 결과에 따라, 프로세서(110)는 병리 슬라이드 이미지 내의 단백질, DNA, RNA, 대사 물질, 또는 여러 세포들에 대한 정량 정보를 획득할 수 있다. 또한, 프로세서(110)는 410 단계를 통하여 획득된 정보를 바탕으로 종양 순도를 연산할 수 있다. 따라서, 프로세서(110)는 사용자(30)에 의하여 지정된 바이오마커의 정량 정보 값을 제3 기준 값과 비교할 수 있다.
760 단계에서, 프로세서(110)는 바이오마커의 값과 제3 기준 값의 비교 결과가 소정의 기준을 만족하는지 여부를 판단한다. 예를 들어, 소정의 기준은 바이오마커의 값이 제3 기준 값보다 크거나 같은 것을 의미할 수 있으나, 이에 한정되지 않는다. 만약, 소정의 기준이 만족되는 경우에는 770 단계로 진행하고, 소정의 기준이 만족되지 않는 경우에는 780 단계로 진행한다.
770 단계에서, 프로세서(110)는 병리 슬라이드 이미지가 품질 평가를 통과했다(pass)고 판단할 수 있다. 또한, 780 단계에서, 프로세서(110)는 병리 슬라이드 이미지가 품질 평가를 통과하지 못 했다(fail)고 판단할 수 있다.
한편, 상술한 기준 값들(제1 기준 값, 제2 기준 값 및 제3 기준 값)은 다양한 기준으로 결정될 수 있다. 예를 들어, 기준 값들은 사용자(30)의 설정, 병리 슬라이드 이미지의 유형, 표적 암의 유형, 바이오마커의 기능성 요건, 질병 상태 또는 임상적 검증에 대한 연구에 따라 다양하게 결정될 수 있다.
예를 들어, 기준 값들은 TCGA(The Cancer Genome Atlas) 슬라이드 이미지의 최소 값을 고려하여 결정될 수 있다.
예를 들어, 기준 값들은 바이오마커의 기능성 요건을 고려하여 결정될 수 있다. 바이오마커의 기능성 요건이란, 바이오마커가 정확하게 식별되고 측정될 수 있어야 하며 특정 질병 또는 상태의 진단, 예측 또는 치료에 유용한 정보를 제공할 수 있어야 한다는 전제하에 만족되어야 하는 요건을 의미할 수 있다. 바이오마커의 기능성 요건은, 민감도 (sensitivity), 특이도 (specificity), 예측값 (positive predictive value, ppv), 부정확한 결과의 비율 (negative predictive value, npv), 안정성 (safety), 비침습성 (non-invasiveness), 반복성 (reproducibility) 과 같은 기능성 요건을 포함할 수 있다. 예를 들어, cobas EGFR Mutation Test가 바이오마커의 기능성 요건을 충족한 예가 될 수 있다. 바이오마커의 기능성 요건은 FDA biomarkers and qualification link (https://www.fda.gov/drugs/biomarker-qualification-program/about-biomarkers-and-qualification) 및 Biomarker qualification submission list (https://www.fda.gov/drugs/biomarker-qualification-program/biomarker-qualification-submissions)를 참조하여 결정될 수 있다.
예를 들어, 병리 슬라이드 이미지를 통하여 종양 침투 림프구(tumor-infiltrating lymphocytes)를 측정한다고 가정하면, 암 영역이나 암 기질 영역의 림프구 비율이 기준 값보다 높을 경우 면역 표현형 분류 과정(immunophenotype classification process)을 진행한다. 한편, 암 부위의 종양세포가 기준 값보다 높을 경우 면역 세포형 분류 과정(immunophenotype classification process)을 진행한다. 따라서, 암 영역이나 암 기질 영역에서 림프구나 종양 세포의 비율이 기준 값을 충족하지 못하면, 알 수 없는 면역 표현형(unknown immune phenotype)으로 분류돼 이미지의 품질 평가를 통과하지 못한 것이 된다.
또한, 바이오마커의 기준 값은 바이오마커에 기초하여 측정하고자 하는 지표 에 따라 달라질 수 있다. 예를 들어, 종양 순도의 경우 이미지의 품질 평가를 통과하기 위한 기준 값을 1 또는 0만큼 낮게 결정될 수 있다. 이와 마찬가지로, PD-L1 종양 비율 점수(TPS) 연산은 생존 가능한 종양 세포의 수 대비 1개 또는 0개 만큼 낮게 결정될 수 있다.
다시 도 4를 참조하면, 430 단계에서, 프로세서(110)는 평가의 결과에 따라 적어도 하나의 추가 동작을 수행한다.
일 예로서, 프로세서(110)는 병리 슬라이드 이미지에 대한 적어도 하나의 정보 및 420 단계의 평가 결과가 함께 디스플레이할 수 있다. 예를 들어, 프로세서(110)는 디스플레이 장치를 제어함으로써 상술한 내용을 디스플레이 할 수 있다. 프로세서(110)가 병리 슬라이드 이미지에 대한 적어도 하나의 정보 및 평가 결과를 함께 디스플레이하는 예는 도 8을 참조하여 후술한다.
다른 예로서, 프로세서(110)는 420 단계의 평가 결과에 따라 410 단계의 분석 결과를 선택적으로 디스플레이할 수 있다. 예를 들어, 프로세서(110)는 디스플레이 장치를 제어함으로써 상술한 내용이 디스플레이 될 수 있다. 프로세서(110)가 평가 결과에 따라 분석 결과를 선택적으로 디스플레이하는 예는 도 9를 참조하여 후술한다.
또 다른 예로서, 프로세서(110)는 420 단계의 평가 결과 및 평가의 근거를 포함하는 레포트를 생성할 수 있다. 그리고, 프로세서(110)는 레포트가 디스플레이되도록 디스플레이 장치를 제어할 수 있다. 프로세서(110)가 생성하는 레포트의 일 예는 도 10을 참조하여 후술한다.
도 8은 일 실시예에 따른 프로세서에 의하여 디스플레이되는 화면의 일 예를 도시한 도면이다.
도 8에는 도 1 내지 도 7을 참조하여 상술한 방법이 실행되는 프로그램의 실행 화면(800)의 일 예가 도시되어 있다. 화면(800)에는 병리 슬라이드 이미지에 대한 적어도 하나의 정보 및 420 단계의 평가 결과가 함께 표시될 수 있다.
예를 들어, 영역(810)에는 병리 슬라이드 이미지의 분석 또는 품질 평가의 현재 상태가 표시될 수 있다. 구체적으로, 분석 또는 품질 평가의 진행 이전인 경우에는 'upload'로, 분석 또는 품질 평가가 진행되고 있는 경우에는 'analyzing'으로, 분석 또는 품질 평가가 완료된 경우에는 'analyzed'로, 분석 또는 품질 평가 중에 오류가 발생된 경우에는 'failed'로 출력될 수 있다.
또한, 영역(820)에는 병리 슬라이드 이미지의 분석 또는 품질 평가의 결과가 표시될 수 있다. 구체적으로, 품질 평가에 통과하지 못한 경우에는 'QC failed'로, 품질 평가에 통과한 경우에는 분석 결과가 개략적으로 표시될 수 있다.
또한, 영역(830)에는 다양한 조건의 필터들이 지정될 수 있는 지시자(indicator)가 표시될 수 있다. 따라서, 사용자(30)는 지시자를 이용하여 원하는 정보만을 선택할 수 있고, 선택된 정보를 바탕으로 화면(800)의 구성이 변경될 수 있다.
도 9는 일 실시예에 따른 프로세서에 의하여 디스플레이되는 화면의 다른 예를 도시한 도면이다.
도 9에는 병리 슬라이드 이미지의 품질 평가 결과에 따라 분석 결과가 선택적으로 표시되는 예를 설명하기 위한 실행 화면(910, 920, 930)이 도시되어 있다.
예를 들어, 병리 슬라이드 이미지가 품질 평가를 통과하는 경우, 화면(910)의 일 영역(911)에는 분석이 완료되었으며, 품질 평가에 통과하였음을 나타내는 텍스트, 이미지 등이 출력될 수 있다. 화면(910)은 정보 뷰어의 예시를 나타낼 수 있다. 만약, 사용자(30)의 조작에 따라 화면(910)은 다른 화면(930)으로 변경될 수 있다. 화면(930)은 분석 뷰어의 예시를 나타낼 수 있다. 이 때, 화면(930)의 일 영역(931)에는 병리 슬라이드 이미지의 분석 결과가 출력될 수 있다.
한편, 병리 슬라이드 이미지가 품질 평가를 통과하지 못한 경우, 화면(920)의 일 영역(921)에는 분석이 완료되었으며, 품질 평가에 통과하지 못하였음을 나타내는 텍스트, 이미지 등이 출력될 수 있다. 화면(930)은 분석 뷰어의 예시를 나타낼 수 있다. 이 때, 사용자(30)가 화면(920)을 다른 화면(930)으로 변경하는 조작을 수행하더라도, 변경된 화면(930)은 출력되지 않을 수 있다. 다시 말해, 병리 슬라이드 이미지가 품질 평가를 통과하지 못한 경우, 이미지의 분석 결과는 출력되지 않을 수 있다.
도 10은 일 실시예에 따른 레포트의 일 예를 도시한 도면이다.
레포트(1000)에는 병리 슬라이드 이미지의 썸네일(1010) 및 병리 슬라이드 이미지에 대한 다양한 정보가 포함될 수 있다. 예를 들어, 레포트(1000)에는 병리 슬라이드 이미지의 이름(name), 배율, 암의 유형 등이 포함될 수 있다.
또한, 레포트(1000)에는 병리 슬라이드 이미지의 품질 평가의 결과(1020) 및 해당 결과(1020)가 도출된 근거(1030)가 함께 포함될 수 있다. 예를 들어, 이미지가 품질 평가를 통과하지 못한 경우, 제1 테스트 및/또는 제2 테스트의 기준 및 이미지로부터 획득된 정량 정보가 함께 출력될 수 있다. 이에 따라, 사용자(30)는 해당 이미지의 품질 결과 및 이에 대한 근거를 함께 확인할 수 있다.
한편, 도 8을 참조하여 상술한 실행 화면(800)을 통하여, 사용자(30)는 병리 슬라이드 이미지에 대한 정보를 생성/변경/삭제할 수 있다. 이하, 도 11a 내지 도 11c를 참조하여 정보를 생성/변경/삭제하는 예를 설명한다.
도 11a 내지 도 11c는 일 실시예에 따른 병리 슬라이드 이미지와 관련된 정보를 변경하는 예들을 설명하기 위한 도면들이다.
도 11a를 참조하면, 사용자(30)는 화면(1100)에 출력된 리스트 내의 병리 슬라이드 이미지에 대한 정보를 변경할 수 있다. 예를 들어, 사용자(30)는 윈도우(1111)를 통하여 기 설정된 정보(예를 들어, 병리 슬라이드 이미지의 유형, 암의 유형, 바이오마커의 유형, 질병 상태 등)를 변경할 수 있다. 이 때, 윈도우(1111)는 사용자(30)에 의하여 화면(1100) 내의 소정의 지시자가 선택됨에 따라 출력될 수 있다. 병리 슬라이드 이미지에 대한 정보가 변경됨에 따라, 프로세서(110)는 해당 병리 슬라이드 이미지의 품질 평가 기준을 변경할 수 있다. 예를 들어, 프로세서(110)는, 병리 슬라이드 이미지에 대한 정보가 변경됨에 따라, 품질 평가의 기초가 되는 정량 정보를 획득하는 대상을 변경할 수 있다. 또는, 프로세서(110)는, 병리 슬라이드 이미지에 대한 정보가 변경됨에 따라, 해당 병리 슬라이드 이미지의 품질 평가 통과 여부를 판단하기 위해 적용되는 기준값을 변경할 수 있다.
도 11b를 참조하면, 사용자(30)는 화면(1120)에 출력된 리스트 내의 병리 슬라이드 이미지에 대한 정보를 생성할 수 있다. 예를 들어, 사용자(30)는 윈도우(1121)를 통하여 소정의 정보(예를 들어, 암의 유형)를 새롭게 생성할 수 있다. 이 때, 윈도우(1121)는 사용자(30)에 의하여 화면(1120) 내의 소정의 지시자가 선택됨에 따라 출력될 수 있다.
도 11c를 참조하면, 사용자(30)는 윈도우(1130)를 통하여 기 설정된 소정의 정보(예를 들어, 암의 유형)를 삭제할 수 있다. 이 때, 윈도우(1130)는 사용자(30)에 의하여 화면(1100, 1120) 내의 소정의 지시자가 선택됨에 따라 출력될 수 있다.
상술한 바에 따르면, 사용자(30)는 병리 슬라이드 이미지의 품질 평가 결과를 확인할 수 있고, 병리 슬라이드 이미지의 다운스트림 분석의 정확도가 향상될 수 있다. 나아가, 일 실시예에 따른 평가 방법은 병리 슬라이드 이미지의 품질 관리를 위한 표준적인 방법으로 제공될 수 있으며, 디지털 병리학의 워크 플로우를 위한 머신러닝 모델의 표준화가 설정될 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하며, 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점을 포함하는 것으로 해석되어야 할 것이다.
1: 시스템
10: 사용자 단말
20: 서버
30: 사용자
40: 이미지
10: 사용자 단말
20: 서버
30: 사용자
40: 이미지
Claims (19)
- 적어도 하나의 메모리; 및
적어도 하나의 프로세서;를 포함하고,
상기 프로세서는,
기계학습 모델을 이용하여 병리 슬라이드 이미지를 복수의 조직 영역들로 분류함으로써 정량 정보를 획득하고, 상기 정량 정보를 소정 기준과 비교함으로써 상기 병리 슬라이드 이미지에 대한 다운스트림(downstream) 분석 여부의 결정을 위한 상기 병리 슬라이드 이미지의 품질을 평가하고, 상기 평가의 결과를 화면에 출력하고,
상기 정량 정보는 상기 병리 슬라이드 이미지 내에서 식별된 전체 조직 영역에 대응하는 면적 및 암 영역에 대응하는 면적을 포함하고,
상기 프로세서는,
상기 전체 조직 영역에 대응하는 면적이 제1 기준 값보다 크거가 같은지 여부 및 상기 암 영역에 대응하는 면적이 제2 기준 값보다 크거나 같은지 여부에 기초하여 상기 품질을 평가하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는, 상기 병리 슬라이드 이미지의 품질을 평가하기 위하여,
상기 병리 슬라이드 이미지에 표현된 적어도 하나의 바이오마커의 정량 정보를 제3 기준 값과 더 비교하는 제2 테스트를 수행하고,
상기 적어도 하나의 바이오마커의 정량 정보는 상기 병리 슬라이드 이미지를 복수의 조직 영역들로 분류함으로써 획득된 정량 정보에 포함되는 컴퓨팅 장치. - 제 2 항에 있어서,
상기 제2 테스트는,
제1 테스트를 통과한 병리 슬라이드 이미지에 대하여 수행되고,
상기 제1 테스트는 상기 전체 조직 영역에 대응하는 면적과 상기 제1 기준 값의 비교 및 상기 암 영역에 대응하는 면적과 상기 제2 기준 값의 비교를 포함하는 컴퓨팅 장치. - 삭제
- 제 2 항에 있어서,
상기 적어도 하나의 바이오마커는,
종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 종양 순도(tumor purity) 중 적어도 하나를 포함하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 병리 슬라이드 이미지에 대한 적어도 하나의 정보 및 상기 평가의 결과를 함께 상기 화면에 출력하도록 디스플레이 장치를 제어하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 평가의 결과에 따라 상기 분석의 결과를 선택적으로 상기 화면에 출력하도록 디스플레이 장치를 제어하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 평가의 결과 및 상기 평가의 근거를 포함하는 레포트를 생성하는 컴퓨팅 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 병리 슬라이드 이미지를 암 영역(cancer area), 암 기질 영역(cancer stroma area), 괴사 영역(necrosis area) 및 백그라운드 영역(background) 중 적어도 하나로 분류하고, 상기 병리 슬라이드 이미지에 표현된 복수의 세포들을 종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 기타 세포 중 적어도 하나로 분류하는 컴퓨팅 장치. - 기계학습 모델을 이용하여 병리 슬라이드 이미지를 복수의 조직 영역들로 분류함으로써 정량 정보를 획득하는 단계;
상기 정량 정보를 소정 기준과 비교함으로써 상기 병리 슬라이드 이미지에 대한 다운스트림(downstream) 분석 여부의 결정을 위한 상기 병리 슬라이드 이미지의 품질을 평가하는 단계; 및
상기 평가의 결과를 화면에 출력하는 단계;를 포함하고,
상기 평가하는 단계는,
상기 병리 슬라이드 이미지 내에서 식별된 전체 조직 영역에 대응하는 면적이 제1 기준 값보다 크거나 같은지 여부 및 상기 병리 슬라이드 이미지 내에서 식별된 암 영역에 대응하는 면적이 제2 기준 값보다 크거나 같은지 여부에 기초하여 상기 품질을 평가하는 병리 슬라이드 이미지를 평가하는 방법. - 제 10 항에 있어서,
상기 평가하는 단계는,
상기 병리 슬라이드 이미지에 표현된 적어도 하나의 바이오마커의 정량 정보를 제3 기준 값과 비교하는 제2 테스트를 수행하는 단계;를 더 포함하고,
상기 적어도 하나의 바이오마커의 정량 정보는 상기 병리 슬라이드 이미지를 복수의 조직 영역들로 분류함으로써 획득된 정량 정보에 포함되는 방법. - 제 11 항에 있어서,
상기 제2 테스트는,
제1 테스트를 통과한 병리 슬라이드 이미지에 대하여 수행되고,
상기 제1 테스트는 상기 전체 조직 영역에 대응하는 면적과 상기 제1 기준 값의 비교 및 상기 암 영역에 대응하는 면적과 상기 제2 기준 값의 비교를 포함하는 방법. - 삭제
- 제 11 항에 있어서,
상기 적어도 하나의 바이오마커는,
종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 종양 순도(tumor purity) 중 적어도 하나를 포함하는 방법. - 제 10 항에 있어서,
상기 평가의 결과를 화면에 출력하는 단계는,
상기 병리 슬라이드 이미지에 대한 적어도 하나의 정보 및 상기 평가의 결과를 함께 상기 화면에 출력하는 방법. - 제 10 항에 있어서,
상기 평가의 결과를 화면에 출력하는 단계는,
상기 평가의 결과에 따라 상기 분석의 결과를 선택적으로 상기 화면에 출력하는 방법. - 제 10 항에 있어서,
상기 평가의 결과를 화면에 출력하는 단계는,
상기 평가의 결과 및 상기 평가의 근거를 포함하는 레포트를 생성하는 방법. - 제 10 항에 있어서,
상기 정량 정보를 획득하는 단계는,
상기 병리 슬라이드 이미지를 암 영역(cancer area), 암 기질 영역(cancer stroma area), 괴사 영역(necrosis area) 및 백그라운드 영역(background) 중 적어도 하나로 분류하는 단계; 및
상기 병리 슬라이드 이미지에 표현된 복수의 세포들을 종양 세포(tumor cell), 림프구 세포(lymphocytes cell) 및 기타 세포 중 적어도 하나로 분류하는 단계;를 포함하는 방법. - 제 10 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/321,132 US12014502B2 (en) | 2022-05-24 | 2023-05-22 | Method and device for evaluating quality of pathological slide image |
| EP23174891.4A EP4283623A1 (en) | 2022-05-24 | 2023-05-23 | Method and device for evaluating quality of pathological slide image |
| JP2023084762A JP2023172951A (ja) | 2022-05-24 | 2023-05-23 | 病理スライド画像の品質を評価する方法及び装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220063320 | 2022-05-24 | ||
| KR20220063320 | 2022-05-24 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240069851A Division KR20240085899A (ko) | 2022-05-24 | 2024-05-29 | 병리 슬라이드 이미지를 평가하는 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230163926A KR20230163926A (ko) | 2023-12-01 |
| KR102671745B1 true KR102671745B1 (ko) | 2024-06-04 |
Family
ID=89124608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230038276A KR102671745B1 (ko) | 2022-05-24 | 2023-03-23 | 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102671745B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021141757A1 (en) * | 2020-01-06 | 2021-07-15 | PAIGE.AI, Inc. | Systems and methods for analyzing electronic images for quality control |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210145778A (ko) * | 2019-03-26 | 2021-12-02 | 템퍼스 랩스, 인크. | 조직병리학 슬라이드 이미지로부터 바이오마커를 결정하는 방법 |
-
2023
- 2023-03-23 KR KR1020230038276A patent/KR102671745B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021141757A1 (en) * | 2020-01-06 | 2021-07-15 | PAIGE.AI, Inc. | Systems and methods for analyzing electronic images for quality control |
Non-Patent Citations (1)
| Title |
|---|
| Breast cancer histopathology image analysis pipeline for tumor purity estimation, IEEE 2017.04.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230163926A (ko) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733726B2 (en) | Pathology case review, analysis and prediction | |
| Sanghvi et al. | Performance of an artificial intelligence algorithm for reporting urine cytopathology | |
| CN114072879B (zh) | 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法 | |
| US10489904B2 (en) | Assessing risk of breast cancer recurrence | |
| JP2018504674A (ja) | 早期癌予知のための計算病理学システム及び方法 | |
| Cai | Semi‐parametric ROC regression analysis with placement values | |
| KR102498686B1 (ko) | 품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들 | |
| CN115210772B (zh) | 用于处理通用疾病检测的电子图像的系统和方法 | |
| JP2023509704A (ja) | 疾患の算出査定のために電子画像を処理するためのシステムおよび方法 | |
| US11967076B2 (en) | Method and device for processing pathological slide image | |
| KR20230153331A (ko) | 병리 슬라이드 이미지에 기초하여 종양 순도를 예측하는 방법 및 장치 | |
| US20230281971A1 (en) | Method and device for analyzing pathological slide image | |
| KR102671745B1 (ko) | 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치 | |
| US12014502B2 (en) | Method and device for evaluating quality of pathological slide image | |
| KR20240085899A (ko) | 병리 슬라이드 이미지를 평가하는 방법 및 장치 | |
| US20240212146A1 (en) | Method and apparatus for analyzing pathological slide images | |
| US20230206432A1 (en) | Method and apparatus for tumor purity based on pathaological slide image | |
| US20240233123A1 (en) | Method and device for processing pathological slide image | |
| US11538162B2 (en) | Systems and methods for processing electronic images of slides for a digital pathology workflow | |
| KR20230026950A (ko) | 병리 슬라이드 이미지로부터 예측된 종양 함량에 기초하여 검사와 관련된 가이드를 제공하는 방법 및 장치 | |
| US20230222653A1 (en) | Systems and methods for processing electronic images using uncertainty estimation | |
| KR20240069618A (ko) | 병리 슬라이드 이미지를 분석하는 방법 및 장치 | |
| KR20230136510A (ko) | 병리 슬라이드 이미지를 처리하는 방법 및 장치 | |
| KR20230172386A (ko) | 바이오마커를 분석하는 방법 및 장치 | |
| KR20230130536A (ko) | 병리 슬라이드 이미지를 분석하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |