KR20240006599A - 전자 이미지의 속성을 조정하기 위해 전자 이미지를 처리하는 시스템 및 방법 - Google Patents
전자 이미지의 속성을 조정하기 위해 전자 이미지를 처리하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240006599A KR20240006599A KR1020237041917A KR20237041917A KR20240006599A KR 20240006599 A KR20240006599 A KR 20240006599A KR 1020237041917 A KR1020237041917 A KR 1020237041917A KR 20237041917 A KR20237041917 A KR 20237041917A KR 20240006599 A KR20240006599 A KR 20240006599A
- Authority
- KR
- South Korea
- Prior art keywords
- pixels
- image
- color space
- subset
- slide image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 140
- 238000012545 processing Methods 0.000 title description 18
- 238000010801 machine learning Methods 0.000 claims abstract description 93
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 238000000844 transformation Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000010186 staining Methods 0.000 claims description 20
- 239000003086 colorant Substances 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 108091006146 Channels Proteins 0.000 claims 1
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 50
- 238000012549 training Methods 0.000 description 38
- 239000003607 modifier Substances 0.000 description 36
- 238000003860 storage Methods 0.000 description 29
- 210000001519 tissue Anatomy 0.000 description 28
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 11
- 230000007170 pathology Effects 0.000 description 10
- 238000002360 preparation method Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 239000000975 dye Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000004940 nucleus Anatomy 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 229950003937 tolonium Drugs 0.000 description 7
- HNONEKILPDHFOL-UHFFFAOYSA-M tolonium chloride Chemical compound [Cl-].C1=C(C)C(N)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 HNONEKILPDHFOL-UHFFFAOYSA-M 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 102000053602 DNA Human genes 0.000 description 5
- 108020004414 DNA Proteins 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000001580 bacterial effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 102000015728 Mucins Human genes 0.000 description 3
- 108010063954 Mucins Proteins 0.000 description 3
- 238000010826 Nissl staining Methods 0.000 description 3
- 239000002253 acid Substances 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 210000003850 cellular structure Anatomy 0.000 description 3
- 210000000805 cytoplasm Anatomy 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 210000005260 human cell Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 2
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 2
- 102000009123 Fibrin Human genes 0.000 description 2
- 108010073385 Fibrin Proteins 0.000 description 2
- BWGVNKXGVNDBDI-UHFFFAOYSA-N Fibrin monomer Chemical compound CNC(=O)CNC(=O)CN BWGVNKXGVNDBDI-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000002744 extracellular matrix Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 229950003499 fibrin Drugs 0.000 description 2
- 210000003630 histaminocyte Anatomy 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000012188 paraffin wax Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NALREUIWICQLPS-UHFFFAOYSA-N 7-imino-n,n-dimethylphenothiazin-3-amine;hydrochloride Chemical compound [Cl-].C1=C(N)C=C2SC3=CC(=[N+](C)C)C=CC3=NC2=C1 NALREUIWICQLPS-UHFFFAOYSA-N 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 108010077544 Chromatin Proteins 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 238000002738 Giemsa staining Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000003445 Mouth Neoplasms Diseases 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 241000186359 Mycobacterium Species 0.000 description 1
- 241000187654 Nocardia Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002378 acidificating effect Effects 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000005779 cell damage Effects 0.000 description 1
- 208000037887 cell injury Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000834 fixative Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 208000002551 irritable bowel syndrome Diseases 0.000 description 1
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 229940051875 mucins Drugs 0.000 description 1
- 210000004498 neuroglial cell Anatomy 0.000 description 1
- PGSADBUBUOPOJS-UHFFFAOYSA-N neutral red Chemical compound Cl.C1=C(C)C(N)=CC2=NC3=CC(N(C)C)=CC=C3N=C21 PGSADBUBUOPOJS-UHFFFAOYSA-N 0.000 description 1
- 210000000633 nuclear envelope Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000002729 polyribosome Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003935 rough endoplasmic reticulum Anatomy 0.000 description 1
- 229940032020 saffron stain Drugs 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biodiversity & Conservation Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
내부에 얼룩을 포함하는, 전체 슬라이드 이미지의 속성을 조정하기 위한 시스템 및 방법이 개시된다. 제1 색상 공간의 복수의 픽셀들로 구성되고 하나 이상의 얼룩을 포함하는 전체 슬라이드 이미지의 일부가 입력으로 수신될 수 있다. 얼룩의 식별된 얼룩 유형에 기초하여, 얼룩 유형과 관련된 머신 러닝 변환을 불러들이고 적용하여, 식별된 픽셀들의 서브세트를 제1 색상 공간으로부터 식별된 얼룩 유형에 특정한 제2 색상 공간으로 변환할 수 있다. 얼룩의 하나 이상의 속성은 제2 색상 공간에서 조정되어, 얼룩 조정된 픽셀들의 서브세트를 생성할 수 있으며, 이는 그 후 머신 러닝 변환의 역을 사용하여 다시 제1 색상 공간으로 변환된다. 적어도 얼룩 조정된 픽셀들의 서브세트를 포함하는 전체 슬라이드 이미지의 얼룩 조정된 부분이 출력으로 제공될 수 있다.
Description
관련 출원
본 출원은 2021년 5월 12일에 출원된 미국 가출원 제63/187,685호에 대한 우선권을 주장하며, 이 출원의 전체 개시는 그 전체가 참조로 본 명세서에 포함된다.
공개 분야
본 개시의 다양한 실시예는 일반적으로 이미지 처리 방법에 관한 것이다. 더 구체적으로, 본 개시의 특정 실시예는 디지털 전체 슬라이드 이미지의 속성을 조정하기 위한 시스템 및 방법에 관한 것이다.
병리학자가 현미경으로 병리학 슬라이드의 이미지를 검토할 때, 배율 이상으로 해당 이미지의 속성(예: 전체적 또는 국소적 특성)을 조정할 수 없다. 디지털 병리학을 사용하면, 슬라이드를 준비하는 데 사용되는 하나 이상의 얼룩을 포함하여 디지털 전체 슬라이드 이미지의 어의적으로 의미있는 속성을 변경하는 도구가 병리학자에게 제공될 수 있다.
본 명세서에 제공된 배경 설명은 개시의 맥락을 일반적으로 제시하기 위한 것이다. 여기에 달리 명시하지 않는 한, 이 섹션에 설명된 자료는 본 출원의 청구범위에 대한 선행 기술이 아니며, 이 섹션에 포함된다고 해서 선행 기술 또는 선행 기술의 제안으로 인정되지 않는다.
본 개시내용의 특정 양태에 따르면, 얼룩 조정을 포함하여 전체 슬라이드 이미지의 하나 이상의 속성을 조정하기 위한 시스템 및 방법이 개시된다.
전체 슬라이드 이미지의 얼룩을 조정하기 위한 시스템은 복수의 얼룩 유형과 연관된 복수의 머신 러닝 변환을 저장하는 적어도 하나의 데이터 저장소; 프로세서; 그리고 상기 프로세서에 결합되고, 명령어를 저장하는 메모리를 포함한다. 상기 명령어는, 상기 프로세서에 의해 실행될 때, 상기 시스템으로 하여금 동작들을 수행하게 하며, 상기 동작들은: 제1 색상 공간의 복수의 픽셀들로 구성되고 하나 이상의 얼룩을 포함하는 전체 슬라이드 이미지의 일부를 수신하는 것; 상기 하나 이상의 얼룩의 얼룩 유형을 식별하는 것; 저장된 복수의 머신 러닝 변환들로부터, 식별된 얼룩 유형과 연관된 머신 러닝 변환을 불러오는 것; 변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하는 것; 픽셀들의 서브세트를 제1 색상 공간으로부터 식별된 얼룩 유형에 특정한 제2 색상 공간으로 변환하기 위해 머신 러닝 변환을 픽셀들의 서브세트에 적용하는 것; 얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 것; 머신 러닝 변환의 역을 사용하여 얼룩 조정된 픽셀들의 서브세트를 제2 색상 공간으로부터 제1 색상 공간으로 변환하는 것; 그리고 적어도 얼룩 조정된 픽셀들의 서브세트를 포함하는 전체 슬라이드 이미지의 얼룩 조정된 부분을 출력으로서 제공하는 것을 포함한다.
전체 슬라이드 이미지의 얼룩을 조정하기 위한 방법은: 하나 이상의 얼룩을 포함하고 제1 색상 공간의 복수의 픽셀로 구성된 전체 슬라이드 이미지의 일부를 수신하는 단계; 상기 하나 이상의 얼룩의 얼룩 유형을 식별하는 단계; 복수의 얼룩 유형과 연관된 복수의 저장된 머신 러닝 변환들로부터, 식별된 얼룩 유형과 연관된 머신 러닝 변환을 불러오는 단계; 변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하는 단계; 제1 색상 공간의 픽셀들의 서브세트를 식별된 얼룩 유형에 특정한 제2 색상 공간으로 변환하기 위해 머신 러닝 변환을 픽셀들의 서브세트에 적용하는 단계; 얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 단계; 상기 머신 러닝 변환의 역을 사용하여 얼룩 조정된 픽셀들의 서브세트를 상기 제2 색상 공간으로부터 상기 제1 색상 공간으로 변환하는 단계; 그리고 적어도 얼룩 조정된 픽셀들의 서브세트를 포함하는 상기 전체 슬라이드 이미지의 얼룩 조정된 부분을 출력으로서 제공하는 단계를 포함한다.
비일시적 컴퓨터 판독가능 매체는 프로세서에 의해 실행될 때, 프로세서로 하여금 전체 슬라이드 이미지의 얼룩을 조정하기 위한 동작들을 수행하게 하는 명령어를 저장할 수 있다. 상기 동작들은: 하나 이상의 얼룩을 포함하고 제1 색상 공간의 복수의 픽셀로 구성된 전체 슬라이드 이미지의 일부를 수신하는 것; 상기 하나 이상의 얼룩의 얼룩 유형을 식별하는 것; 복수의 얼룩 유형과 연관된 복수의 저장된 머신 러닝 변환들로부터, 식별된 얼룩 유형과 연관된 머신 러닝 변환을 불러오는 것; 변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하는 것; 제1 색상 공간의 픽셀들의 서브세트를 식별된 얼룩 유형에 특정한 제2 색상 공간으로 변환하기 위해 머신 러닝 변환을 픽셀들의 서브세트에 적용하는 것; 얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 것; 상기 머신 러닝 변환의 역을 사용하여 얼룩 조정된 픽셀들의 서브세트를 상기 제2 색상 공간으로부터 상기 제1 색상 공간으로 변환하는 것; 그리고 적어도 얼룩 조정된 픽셀들의 서브세트를 포함하는 상기 전체 슬라이드 이미지의 얼룩 조정된 부분을 출력으로서 제공하는 것을 포함한다.
전술한 간단한 설명과 다음의 상세한 설명은 단지 예시적이고 설명을 위한 것이며 청구된 바와 같이 개시된 실시예를 제한하지 않는다는 것이 이해되어야 한다.
본 명세서에 포함되어 본 명세서의 일부를 구성하는 첨부 도면은 다양한 예시적인 실시예를 예시하고, 설명과 함께 개시된 실시예의 원리를 설명하는 역할을 한다.
도 1a는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지의 속성을 조정하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 발명의 예시적인 실시예에 따른 이미지 조정 플랫폼의 예시적인 블록도를 도시한다.
도 1c는 본 발명의 예시적인 실시예에 따른 슬라이드 분석 도구의 예시적인 블록도를 도시한다.
도 2a는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지의 속성을 조정하는 슬라이드 분석 도구의 모양 수정자 모듈을 나타내는 블록도이다.
도 2b는 본 발명의 일 실시예에 따라 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측하도록 훈련된 얼룩 예측 모듈을 나타내는 블록도이다.
도 2c는 본 발명의 일 실시예에 따라 슬라이드 이미지 전체를 조정하기 위한 템플릿 기반 속성 매칭을 제공하도록 훈련된 색상 항상성 모듈을 도시한 블록도이다.
도 2d는 본 발명의 예시적인 실시예에 따라 전체 슬라이드 이미지의 얼룩-별 속성을 조정하도록 훈련된 얼룩 조정 모듈을 도시하는 블록도이다.
도 2e는 본 발명의 예시적인 실시예에 따라 사용자 입력에 기초하여 전체 슬라이드 이미지의 하나 이상의 속성 값을 조정하는 속성 값 조정 모듈을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전체 슬라이드 이미지의 속성을 조정하는 방법을 도시한 흐름도이다.
도 4a는 본 발명의 예시적인 실시예에 따른 얼룩 예측 모듈을 훈련시키는 예시적인 방법을 나타내는 흐름도이다.
도 4b는 본 발명의 예시적인 실시예에 따라, 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측하기 위해 훈련된 얼룩 예측 모듈을 배치하는 예시적인 방법을 예시하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 템플릿 기반 전체 슬라이드 이미지의 색상 조정 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩을 조정하는 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 사용자 입력에 기초하여 전체 슬라이드 이미지의 하나 이상의 속성값을 조정하는 방법을 도시한 흐름도이다.
도 8은 여기에 제시된 기술을 실행할 수 있는 예시적인 시스템을 도시한다.
도 1a는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지의 속성을 조정하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 발명의 예시적인 실시예에 따른 이미지 조정 플랫폼의 예시적인 블록도를 도시한다.
도 1c는 본 발명의 예시적인 실시예에 따른 슬라이드 분석 도구의 예시적인 블록도를 도시한다.
도 2a는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지의 속성을 조정하는 슬라이드 분석 도구의 모양 수정자 모듈을 나타내는 블록도이다.
도 2b는 본 발명의 일 실시예에 따라 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측하도록 훈련된 얼룩 예측 모듈을 나타내는 블록도이다.
도 2c는 본 발명의 일 실시예에 따라 슬라이드 이미지 전체를 조정하기 위한 템플릿 기반 속성 매칭을 제공하도록 훈련된 색상 항상성 모듈을 도시한 블록도이다.
도 2d는 본 발명의 예시적인 실시예에 따라 전체 슬라이드 이미지의 얼룩-별 속성을 조정하도록 훈련된 얼룩 조정 모듈을 도시하는 블록도이다.
도 2e는 본 발명의 예시적인 실시예에 따라 사용자 입력에 기초하여 전체 슬라이드 이미지의 하나 이상의 속성 값을 조정하는 속성 값 조정 모듈을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전체 슬라이드 이미지의 속성을 조정하는 방법을 도시한 흐름도이다.
도 4a는 본 발명의 예시적인 실시예에 따른 얼룩 예측 모듈을 훈련시키는 예시적인 방법을 나타내는 흐름도이다.
도 4b는 본 발명의 예시적인 실시예에 따라, 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측하기 위해 훈련된 얼룩 예측 모듈을 배치하는 예시적인 방법을 예시하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 템플릿 기반 전체 슬라이드 이미지의 색상 조정 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩을 조정하는 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 사용자 입력에 기초하여 전체 슬라이드 이미지의 하나 이상의 속성값을 조정하는 방법을 도시한 흐름도이다.
도 8은 여기에 제시된 기술을 실행할 수 있는 예시적인 시스템을 도시한다.
이제 본 발명의 예시적인 실시예를 상세히 참조할 것이며, 그 예는 첨부 도면에 도시되어 있다. 가능하면 도면 전체에 걸쳐 동일한 참조 번호를 사용하여 동일하거나 유사한 부품을 나타낸다.
본 명세서에 개시된 시스템, 장치 및 방법은 예를 통해 그리고 도면을 참조하여 상세히 설명된다. 여기에 설명된 예는 단지 예일 뿐이며 여기에 설명된 장치, 디바이스, 시스템 및 방법의 설명을 돕기 위해 제공된다. 도면에 표시되거나 아래에 설명된 기능이나 구성 요소는 필수 항목으로 특별히 지정되지 않는 한 이러한 장치, 시스템 또는 방법의 특정 구현에 필수 항목으로 간주되어서는 안 된다.
또한, 설명된 임의의 방법에 대해, 방법이 흐름도와 함께 설명되는지 여부에 관계없이, 문맥에 의해 달리 지정되거나 요구되지 않는 한, 방법의 실행 시 수행되는 단계의 명시적 또는 암시적 순서 지정이, 해당 단계가 제시된 순서대로 수행되어야 함을 의미하는 것이 아니라 다른 순서로 또는 병렬로 수행될 수 있음을 의미한다는 것을 이해하여야 한다.
본 명세서에 사용된 바와 같이, "예시적인"이라는 용어는 "이상적인"보다는 "예"의 의미로 사용된다. 또한, 본 명세서에서 사용되는 "일"(a) 및 "하나의"(an)는 수량의 제한을 의미하는 것이 아니라, 참조 항목이 하나 이상 존재함을 의미한다.
인간 및 동물의 병리학에서, 현미경을 통한 조직(조직학) 및 세포(세포학)의 육안 검사는 진단 의학의 필수 요소일 수 있다. 예를 들어, 암 진단, 약물 개발 촉진, 독성 평가 등을 위해 조직학 및 세포학을 수행할 수 있다. 조직학의 경우 조직 샘플은 여러 준비 단계를 거치므로 현미경으로 볼 때 사람의 눈으로 다양한 조직 구조를 구별할 수 있다. 예를 들어, 조직 준비는 다음 단계로 구성될 수 있다: (i) 고정제를 사용하여 조직을 보존하는 단계; (ii) 조직을 파라핀 블록에 매립하는 단계; (iii) 파라핀 블록을 얇은 섹션(3-5 마이크로미터(μm))으로 절단하는 단계; (iv) 유리 슬라이드 상에 섹션을 장착하는 단계; 및/또는 (v) 특정 구성요소 또는 구조를 강조하기 위해 장착된 조직 섹션을 염색하는 단계. 조직 준비는 수동으로 수행될 수 있으므로 관찰 이미지에 큰 변동성이 발생할 수 있다.
염색은 병리학자에 의한 분화를 위해 다양한 조직 구조의 가시적 대비를 만드는 데 도움이 된다. 이 과정에서, 하나 이상의 유형의 화학 물질(예: 염료 또는 염색제)이 조직 내 다양한 세포 구조를 나타내는 다양한 화합물에 부착된다. 다양한 유형의 얼룩은 다양한 구조를 강조할 수 있다. 따라서 병리학자는 얼룩을 다르게 해석하거나 분석할 수 있다. 질병과 그 근본적인 행동에 따라, 진단 검출에 사용하기 위해 하나의 얼룩 또는 얼룩들의 조합이 다른 것보다 선호될 수 있다. 이러한 얼룩을 사용하기 위한 표준 프로토콜이 마련되어 있는 경우가 많지만 프로토콜은 기관마다 다르며 조직의 과도한 염색 또는 과소 염색이 발생할 수 있으며 이로 인해 잠재적으로 진단 정보나 지표가 모호해질 수 있다. 예를 들어, 슬라이드 사이의 불균일한 염색으로 인한 색상 변화로 인해 병리학자가 하루 동안 검토한 여러 이미지들 중에서 한 이미지가 더 분홍색으로 보일 수 있다. 이러한 분산 이미지는 서로 다른 구조를 분리하는 것이 혼란스러울 수 있으므로 병리학자가 조사하기 어려울 수 있다. 예를 들어, 헤마톡실린 및 에오신(H&E) 염색 이미지에서 림프구의 주요 특징은 진한 보라색이다. 그러나 일부 제대로 염색되지 않은 이미지에서는 다른 세포와 비슷한 색상을 가질 수 있다. 또한 여러 얼룩은 조직(예: 헤마톡실린과 에오신 모두로 염색된 조직)에서 관심 있는 여러 구조를 강조하기 위해 일반적으로 함께 사용되며, 이는 과다 염색 또는 과소염색으로 인한 잠재적인 문제를 더욱 악화시킬 수 있다.
병리학자가 전통적인 현미경으로 슬라이드를 볼 때, 그들은 배율 이상으로 현미경에 의해 생성된 이미지의 속성(예를 들어, 특성 또는 성질)을 변경할 수 없다. 그러나 디지털 전체 슬라이드 이미지를 생성하기 위해 슬라이드 이미지들을 스캔하는데 전체 슬라이드 이미징이 사용될 때, 전체 슬라이드 이미지에 대한 다른 속성 조정 중에서도 색상, 특정 얼룩의 양, 밝기, 선명도 및/또는 대비를 조정하기 위해 이미지 처리 및 AI 지원 도구를 활용할 수 있다. 이러한 조정을 통해 병리학자는 어의적으로 의미 있는 방식으로 이미지 속성을 조정할 수 있게 함으로써 인간 또는 동물 환자의 조직 샘플을 더 잘 분석할 수 있다(예: 보고 있는 슬라이드 집단 전체에 걸쳐 색상을 표준화하고, 과도 염색 또는 과소 염색을 교정하고, 구조물들의 조직의 분화를 강화하고, 아티팩트(artifact)를 제거하는, 등).
본 명세서에 논의된 기술은 병리학자가 필요에 따라 디지털 이미지를 조정할 수 있도록 AI 기술, 머신 러닝(machine learning) 및 이미지 처리 도구를 사용할 수 있다. 여기에 제시된 기술은 병리학자가 일상적인 작업 흐름에서 디지털 전체 슬라이드 이미지를 보는 데 사용하는 시각화 소프트웨어의 일부로 사용될 수 있다. 여기에 설명된 기술은 조정 프로세스에서 입력으로 사용할 얼룩 유형을 자동으로 예측하는 방법, 템플릿 기반 속성 일치를 가능하게 하는 색상 정규화 방법, 이미지를 어의적으로 의미 있는 조정을 이룰 수 있는 특정 칼라 공간으로 자동으로 변환하기 위한 방법, 속성 값 조정을 구현하기 위한 사용자-인터페이스 기반 방법을 포함한, 병리학 이미지의 어의적으로 의미있는 이미지 속성의 조정을 가능하게 하는 방법을 제공한다.
도 1a는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지의 속성을 조정하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
구체적으로, 도 1a는 병원, 실험실 및/또는 진료실 등의 서버에 연결될 수 있는 전자 네트워크(120)를 도시한다. 예를 들어, 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125) 등은 각각 하나 이상의 컴퓨터, 서버 및/또는 휴대용 모바일 장치를 통해 인터넷과 같은 전자 네트워크(120)에 연결될 수 있다. 본 출원의 예시적인 실시예에 따르면, 전자 네트워크(120)는 본 개시의 일 실시예에 따라 전체 슬라이드 이미지의 하나 이상의 속성을 식별 및 조정하기 위해 머신 러닝 및/또는 이미지 처리 도구를 사용하기 위한 슬라이드 분석 도구(101)를 포함하는, 이미지 조정 플랫폼(100)을 구현하도록 구성되는 처리 장치들을 포함할 수 있는 서버 시스템(110)에 또한 연결될 수 있다. 슬라이드 분석 도구(101)는 다른 조정 중에서도, 템플릿 기반 색상 일치, 특정 얼룩의 양, 밝기, 선명도, 및 대비를 포함하여, 색상에 대한 자동 및/또는 수동 조정을 허용할 수 있다.
이미지 속성 조정
전체 슬라이드 이미지의 예에는 헤마톡실린 및 에오신, 헤마톡실린 단독, 톨루이딘 블루, 알시안 블루, 김사, 트리크롬, 내산성(acid-fast), 니슬 염료(Nissl stain) 등과 같은, 그러나 이에 국한되지 않는, 다양한 염료로 염색된 조직학 또는 세포학 슬라이드의 디지털화된 이미지가 포함될 수 있다. 각 염색 또는 염색들 조합의 비제한적이고 비포괄적인 사용과 이러한 염색을 포함하는 전체 슬라이드 이미지의 관찰 및 분석을 향상시키기 위한 이미지 조정 플랫폼(100)의 구현이 아래에서 간략하게 설명된다.
헤마톡실린과 에오신으로 염색된 이미지의 색상 조정
헤마톡실린 및 에오신은 조직의 형태학적 분석을 위해 가장 일반적으로 사용되는 염료이다. 헤마톡실린은 디옥시리보핵산(DNA)에 결합하여 핵을 진한 파란색 또는 보라색으로 염색하는 반면, 에오신은 세포외 기질과 세포질을 분홍색으로 염색한다. 이미지 조정 플랫폼(100)은 헤마톡실린 또는 에오신의 과다 염색 또는 과소 염색의 조정(예를 들어, 교정)을 위해 사용될 수 있다.
톨루이딘 블루 염색 이미지에서 파란색과 보라색 색상 조정
톨루이딘 블루는 다양한 조직 성분과 화학적으로 결합하는 방식에 따라 다양한 색상을 흡수할 수 있는 다색성 염료이다. 진단 연구실에서, 톨루이딘 블루는 병리학자가 비만 세포 과립을 강조하기 위해 사용할 수 있으며, 특히 비만 세포(암 포함), 알레르기 염증성 질환 및 과민성 대장 증후군과 같은 위장 질환과 관련된 병리학적 상태를 가진 환자를 평가할 때 사용할 수 있다. 톨루이딘 블루는 연골이나 특정 유형의 뮤신과 같은 조직 구성 요소를 강조하는 데에도 사용할 수 있다. 또한, 톨루이딘 블루는 분열하는 세포의 DNA와 결합하여 전암성 세포와 암성 세포가 건강한 세포보다 염료를 더 많이 흡수하게 하므로 구강암과 같은 특정 암에 대한 스크리닝 과정의 일부로 사용될 수 있다.
알시안(Alcian) 블루 염색 이미지의 파란색과 분홍색 조정
알시안 블루 염색은 산성 뮤신과 점액물질을 파란색으로 보이게 하고, 중성적색의 대조염색을 사용하면 핵이 붉은 분홍색으로 나타날 수 있다. 얼룩의 파란색 및 분홍색 색상은 이미지의 핵 및 기타 특징을 더 잘 시각화하기 위해 이미지 조정 플랫폼(100)을 사용하여 조정될 수 있다.
김사(Giemsa) 염색 이미지의 보라색과 분홍색 조정
김사 염색은 조성과 구조를 관찰하기 위해 조직병리학적으로 사용될 수 있는 혈액 염색이다. 또한 김사는 염색질 및 핵막에 대한 고품질 염색 능력을 보유하고 있다. 인간 세포와 병원성 세포는 상이하게 염색될 수 있으며, 분화를 위해 인간 세포는 보라색으로, 박테리아 세포는 분홍색으로 염색될 수 있다. 이미지 조정 플랫폼(100)은 인간 세포와 박테리아 세포 사이의 대비를 향상시키기 위해 분홍색과 보라색을 조정하는 데 사용될 수 있다.
트리코메(Trichrome) 염색을 사용한 이미지의 색상 조정
트리코메 염색은 세 가지 염료를 사용하여 다양한 조직 유형의 다양한 색상을 생성할 수 있다. 일반적으로 삼색 염색은 평활근과 대조적으로 콜라겐을 보여주기 위해 사용될 수 있지만 적혈구와 대조적으로 피브린을 강조하기 위해 사용될 수도 있다. 이미지 조정 플랫폼(100)은 콜라겐과 뼈에 대한 대비를 향상시키기 위해 녹색과 파란색을 조정하는 데 사용될 수 있다. 빨간색과 검정색은 또한 핵의 모양을 조정하기 위해 이미지 조정 플랫폼(100)에 의해 수정될 수 있다.
또한 빨간색과 노란색을 조정하여 핵, 무신, 피브린 및/또는 세포질에 대한 대비를 변경할 수 있다.
항산성 얼룩이 있는 이미지의 색상 조정
항산성은 마이코박테리움(Mycobacterium) 및 노카르디아(Nocardia) 속의 구성원과 같은 항산성 박테리아 유기체를 식별하는 데 사용되는 감별 염색이다. 얼룩은 박테리아 유기체를 빨간색-분홍색으로, 다른 물질을 푸른색으로 채색한다. 이미지 조정 플랫폼(100)은 이미지에서 박테리아의 가시성을 향상시키기 위해 얼룩 색상을 포함한 색상 및 대비를 조정하는 데 사용될 수 있다.
니슬 얼룩이 있는 이미지의 색상 조정
니슬 염색은 뉴런에서 발견되는 니슬 물질(예를 들어, 거친 소포체 및 유리 폴리리보솜의 덩어리)을 시각화하는 데 사용된다. 이 염색은 신경교로부터 뉴런을 구별할 수 있으며, 이 염색의 도움으로 신경세포의 세포구조를 더욱 철저하게 연구할 수 있다. 니슬 물질의 손실은 세포 손상이나 변성과 같은 이상을 의미할 수 있으며, 이는 결국 질병을 나타낼 수 있다. 이미지 조정 플랫폼(100)은 다양한 유형의 뉴런 사이의 차이를 더 잘 시각화하기 위해 얼룩에 의해 생성된 분홍색 및 파란색 색상을 조정하는 데 사용될 수 있다.
환경
의사 서버(121), 병원 서버(122), 임상 실험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 하나 이상의 환자의 세포학 표본, 조직병리학 표본, 세포학 표본의 슬라이드, 조직병리학 표본 슬라이드의 디지털화된 이미지, 또는 이들의 조합의 이미지를 생성하거나 획득할 수 있다. 의사 서버(121), 병원 서버(122), 임상 실험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 또한 연령, 병력, 암 치료 기록, 가족력, 과거 생검 또는 세포학 정보 등과 같은 환자별 정보의 임의의 조합을 얻을 수도 있다. 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 실험실 정보 시스템(125)은 디지털화된 슬라이드 이미지 및/또는 환자별 정보를 전자 네트워크(120)를 통해 서버 시스템(110)에 전송할 수 있다. 서버 시스템(110)은 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험 정보 시스템(125) 중 적어도 하나로부터 수신된 이미지 및 데이터를 저장하기 위한 하나 이상의 저장 장치(109)를 포함할 수 있다. 서버 시스템(110)은 또한 하나 이상의 저장 장치(109)에 저장된 이미지 및 데이터를 처리하기 위한 처리 장치를 포함할 수 있다. 서버 시스템(110)은 하나 이상의 머신 러닝 도구 또는 기능을 더 포함할 수 있다. 예를 들어, 처리 장치는 일 실시예에 따라 이미지 조정 플랫폼(100)을 위한 하나 이상의 머신 러닝 도구를 포함할 수 있다. 대안적으로 또는 추가로, 본 개시(또는 본 개시의 시스템 및 방법의 일부)는 로컬 처리 장치(예를 들어, 랩톱)에서 수행될 수 있다.
의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 슬라이드의 이미지를 검토하기 위해 병리학자가 사용하는 시스템을 의미한다. 병원 환경에서, 조직 유형 정보는 실험실 정보 시스템(125)에 저장될 수 있다. 추가적으로, 얼룩 유형을 포함하여 조직 준비에 사용되는 염색과 관련된 정보가, 실험실 정보 시스템(125)에 저장될 수 있다.
도 1b는 이미지 조정 플랫폼(100)의 예시적인 블록도를 도시한다. 이미지 조정 플랫폼(100)은 슬라이드 분석 도구(101), 데이터 수집 도구(102), 슬라이드 흡입 도구(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 스토리지(106), 및 보기 애플리케이션 도구(108)를 포함할 수 있다.
슬라이드 분석 도구(101)는 후술하는 바와 같이, 전체 슬라이드 이미지의 하나 이상의 속성을 식별 및 조정하기 위한 프로세스 및 시스템을 의미한다. 일 실시예에 따르면, 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 머신 러닝을 이용하여 예측할 수 있다. 또 다른 실시예에 따르면, 템플릿의 색상 특성을 전체 슬라이드 이미지에 매핑하여 보는 이미지 간의 색상 일관성이 가능하도록 색상을 조정하는 색상 정규화 과정에도 머신 러닝이 사용될 수 있다. 다른 실시예에 따라, 전체 슬라이드 이미지의 원래 색상 공간을 전체 슬라이드 이미지에서 식별된 하나 이상의 얼룩의 얼룩 유형에 특정한 색상 공간으로 변환하여 하나 또는 그 이상의 얼룩의 밝기나 양을 조정하는 데 머신 러닝이 더 사용될 수 있다. 슬라이드 분석 도구(101)는 또한 보기 애플리케이션 도구(108)의 사용자 인터페이스를 통해 전체 슬라이드 이미지와 함께 표시하기 위한 그래픽 사용자 인터페이스(GUI) 제어 요소(예를 들어, 슬라이더 바)를 제공하여, 아래의 실시예에 설명된 바와 같이 다른 유사한 예 중에서 색상, 밝기, 선명도 및 대비에 대한 속성 값들의 사용자 입력 기반 조정을 허용할 수 있다.
데이터 수집 도구(102)는 예시적인 실시예에 따라 전체 슬라이드 이미지를 분류 및 처리하는 데 사용되는 다양한 도구, 모듈, 구성요소 및 장치로의 전체 슬라이드 이미지의 전송을 용이하게 할 수 있다. 일부 예에서, 슬라이드 분석 도구(101)의 하나 이상의 기능을 이용하여 전체 슬라이드 이미지가 조정되면, 조정된 전체 슬라이드 이미지만이 전송될 수 있다. 다른 예로, 원본 전체 슬라이드 이미지와 조정된 전체 슬라이드 이미지가 모두 전송될 수도 있다.
슬라이드 흡입 도구(103)는 일 실시예에 따라 병리학 슬라이드를 스캔하여 디지털 형태로 변환할 수 있다. 슬라이드는 슬라이드 스캐너(104)로 스캔될 수 있으며, 슬라이드 관리자(105)는 슬라이드 상의 이미지를 디지털화된 전체 슬라이드 이미지로 처리하고, 디지털화된 전체 슬라이드 이미지를 스토리지(106)에 저장할 수 있다.
보기 애플리케이션 도구(108)는 다양한 조정 단계에 걸쳐 전체 슬라이드 이미지를 표시하는 사용자 인터페이스를 사용자(예를 들어 병리학자)에게 제공할 수 있다. 사용자 인터페이스는 또한 예시적인 실시예에 따라 전체 슬라이드 이미지를 조정하기 위해 상호작용할 수 있는 슬라이드 분석 도구(101)의 GUI 제어 요소를 포함할 수 있다. 상기 정보는 다양한 출력 인터페이스(예: 화면, 모니터, 저장 장치 및/또는 웹 브라우저 등)를 통해 제공될 수 있다.
슬라이드 분석 도구(101) 및 그 구성 요소 중 하나 이상은 디지털화된 전체 슬라이드 이미지 및/또는 환자 정보를 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 전자 네트워크(120)를 통한 실험실 정보 시스템(125). 또한, 서버 시스템(110)은 슬라이드 분석 도구(101), 데이터 수집 도구(102) 중 적어도 하나로부터 수신된 이미지 및 데이터를 저장하기 위한 저장 장치를 포함할 수 있다. 슬라이드 흡입 도구(103), 슬라이드 스캐너(104), 슬라이드 관리자(105) 및 보기 애플리케이션 도구(108)가 있다. 서버 시스템(110)은 또한 저장 장치에 저장된 이미지 및 데이터를 처리하기 위한 처리 장치를 포함할 수 있다. 서버 시스템(110)은 예를 들어 처리 장치로 인해 하나 이상의 머신 러닝 도구 또는 기능을 더 포함할 수 있다. 대안적으로 또는 추가로, 본 개시(또는 본 개시의 시스템 및 방법의 일부)은 로컬 처리 장치(예를 들어, 랩톱)에서 수행될 수 있다.
상기 장치, 도구 및 모듈 중 임의의 것이, 하나 이상의 컴퓨터, 서버 및/또는 휴대용 모바일 장치를 통해 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크에 연결될 수 있는 장치에 위치할 수 있다.
도 1c는 본 개시의 예시적인 실시예에 따른 슬라이드 분석 도구(101)의 예시적인 블록도를 도시한다. 슬라이드 분석 도구(101)는 훈련 이미지 플랫폼(131) 및/또는 타겟 이미지 플랫폼(136)을 포함할 수 있다.
일 실시예에 따르면, 훈련 이미지 플랫폼(131)은 훈련 이미지 수집 모듈(132), 얼룩 유형 식별 모듈(133), 색상 정규화 모듈(134) 및 색상 공간 변환 모듈(135)을 포함하는 복수의 소프트웨어 모듈을 포함할 수 있다.
일 실시예에 따른 훈련 이미지 플랫폼(131)은 구현될 때 전체 슬라이드 이미지의 다양한 속성에 대한 조정을 용이하게 하는 하나 이상의 머신 러닝 모델을 생성하고 훈련하는 데 사용되는 훈련 이미지의 하나 이상의 데이터세트를 생성하거나 수신할 수 있다. 예를 들어, 훈련 이미지는 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 실험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125) 중 어느 하나 또는 임의의 조합으로부터 수신된 전체 슬라이드 이미지를 포함할 수 있다. 훈련에 사용되는 이미지는 실제 소스(예: 인간, 동물 등)에서 나올 수도 있고 합성 소스(예: 그래픽 렌더링 엔진, 3D 모델 등)에서 나올 수도 있다. 전체 슬라이드 이미지의 예로는 헤마톡실린 및 에오신, 헤마톡실린 단독, 톨루이딘 블루, 알시안 블루, 김사, 트리크롬, 항산성, 니슬 염색, 등과 같은, 그러나 이에 국한되지 않는, 다양한 얼룩으로 염색된 디지털화된 조직학 또는 세포학 슬라이드가 포함될 수 있다.
훈련 이미지 플랫폼(131)의 훈련 이미지 수집 모듈(132)은 하나 이상의 훈련 이미지의 데이터세트를 생성하거나 수신할 수 있다. 예를 들어, 데이터 세트는 얼룩 유형 식별에 해당하는 하나 이상의 데이터 세트, 색상 정규화에 해당하는 하나 이상의 데이터 세트, 얼룩-별 색상 공간 변환에 해당하는 하나 이상의 데이터 세트를 포함할 수 있다. 일부 예에서, 훈련 이미지의 서브세트는 얼룩 유형 식별, 색상 정규화 및 얼룩-별 색상 공간 변환을 위한 다양한 데이터세트 사이에서 또는 간에 겹칠 수 있다. 데이터세트는 디지털 저장 장치(예를 들어, 저장 장치(109) 중 하나)에 저장될 수 있다.
얼룩 유형 식별 모듈(133)은 적어도 얼룩 유형 식별에 대응하는 데이터 세트를 입력으로 사용하여, 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측할 수 있는 하나 이상의 머신 러닝 시스템을 생성할 수 있다. 색상 정규화 모듈(134)은 적어도 색상 정규화에 대응하는 데이터 세트를 입력으로 사용하여, 하나의 전체 슬라이드 이미지(예: 템플릿)의 색상 특성을 다른 전체 슬라이드 이미지에 매핑하여 두 개의 전체 슬라이드 이미지 사이의 색상 일관성을 제공할 수 있는 하나 이상의 머신 러닝 시스템을 생성할 수 있다. 색상 공간 변환 모듈(135)은 적어도 얼룩-별 색상 공간 변환에 대응하는 데이터 세트를 입력으로 사용하여, 원본 색상 공간의 슬라이드 이미지 전체를 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형에 특정한 새로운 색상 공간으로 변환하기 위한 변환을 식별하여, 얼룩 조정을 용이하게 할 수 있는 하나 이상의 머신 러닝 시스템을 생성할 수 있다. 일부 예에서, 머신 러닝 시스템은 대응하는 변환을 학습하기 위해 서로 다른 얼룩 유형 각각에 대해 생성될 수 있다. 다른 예에서, 하나보다 많은 얼룩 유형에 대한 변환을 학습할 수 있는 하나의 머신 러닝 시스템이 생성될 수 있다.
일 실시예에 따르면, 타겟 이미지 플랫폼(136)은 출력 인터페이스(139) 외에 타겟 이미지 유입 모듈(137) 및 모양 수정자 모듈(138)과 같은 소프트웨어 모듈을 포함할 수 있다. 타겟 이미지 플랫폼(136)은 타겟 전체 슬라이드 이미지를 입력으로 수신할 수 있고, 모양 수정자 모듈(138)에 이미지를 제공하여 타겟 전체 슬라이드 이미지의 하나 이상의 속성을 조정할 수 있다. 예를 들어, 대상 전체 슬라이드 이미지는 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 실험 서버(123), 연구소 서버(124) 및/또는 실험실 정보 시스템(125) 중 어느 하나 또는 임의의 조합으로부터 수신될 수 있다. 모양 수정자 모듈(138)은 하나 이상의 서브모듈로 구성될 수 있으며, 이에 대해서는 아래에서 도 2a-2e를 참조하여 자세히 설명한다. 서브 모듈은 훈련 이미지 플랫폼(131)에 의해 생성된 다양한 머신 러닝 모델을 실행하여 전체 슬라이드 이미지의 속성에 대한 조정을 용이하게 할 수 있다. 일부 양태에서, 조정은 사용자 입력에 기초하여 맞춤화될 수 있다.
출력 인터페이스(139)는 조정된 타겟 전체 슬라이드 이미지를 (화면, 모니터, 저장 장치, 웹 브라우저 등에) 출력하는데 사용될 수 있다.
도 2a 내지 도 2e는 전체 슬라이드 이미지의 다양한 속성을 조정하기 위한 모양 수정자 모듈(138) 및 그 소프트웨어 서브모듈을 도시하는 블록도이다. 도 2a는 모양 수정자 모듈(138)을 예시하는 블록도(200)이다. 모양 수정자 모듈(138)은 얼룩 예측 모듈(202), 색상 항상성 모듈(204), 얼룩 조정 모듈(206) 및 속성 값 조정 모듈(208)을 포함하는 하나 이상의 소프트웨어 서브모듈을 포함할 수 있다. 전체 슬라이드 이미지는 모양 수정자 모듈(138)에 대한 입력(예를 들어, 입력 이미지(210))으로서 수신될 수 있다. 입력 이미지(210)는 조직학 전체 슬라이드 이미지 또는 세포학 전체 슬라이드 이미지를 포함할 수 있으며, 여기서 전체 슬라이드 이미지는 예를 들어, 슬라이드 장착 및 염색된 조직학 또는 세포학 표본의 디지털화된 이미지일 수 있다. 입력 이미지(210)를 수신하면, 서브 모듈(202, 204, 206, 208) 중 적어도 하나가 실행될 수 있고, 조정된 이미지(212)가 모양 수정자 모듈(138)의 출력으로 제공될 수 있다.
조정된 이미지(212)는 다른 조정들 중에서, 조정된 색상, 조정된 특정 얼룩의 양, 조정된 밝기, 조정된 선명도 및/또는 조정된 대비를 포함할 수 있다. 일부 예에서, 조정될 입력 이미지(210)의 하나 이상의 영역에 대한 표시가 또한 입력으로서 수신될 수 있고 (예를 들어, 전체 이미지가 아닌) 그 하나 이상의 영역만이 조정된 이미지(212)에서 조정될 수 있다. 아래에서 도 2b 내지 2e에 상세히 설명된 모듈(202, 204, 206, 208) 중 하나 이상에 의해 활용되는(예를 들어 특정적인) 추가의 입력이 수신될 수 있고, 그에 따라 입력 이미지(210)의 속성을 조정할 수 있다.
도 2b는 얼룩 예측 모듈(202)을 예시하는 블록도(220)이다. 얼룩 예측 모듈(202)은 얼룩 유형 식별 모듈(133)에 의해 생성된 훈련된 머신 러닝 시스템과 같이, 얼룩 유형을 예측하기 위한 훈련된 머신 러닝 시스템을 실행할 수 있다. 모양 수정자 모듈(138)에서 수신되고 이어서 얼룩 예측 모듈(202)에서 수신되는 입력 이미지(210)는 특정 얼룩 유형의 하나 이상의 얼룩을 포함할 수 있다. 일부 예에서, 입력 이미지(210)는 얼룩 유형의 표시 없이 제공될 수 있다(예를 들어, 입력 얼룩 유형이 수신되지 않음). 이러한 예에서, 얼룩 예측 모듈(202)은 훈련된 머신 러닝 시스템을 실행하여 입력 이미지(210)에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측할 수 있다. 훈련된 머신 러닝 시스템에 의해 출력되는 예측 얼룩 유형(222)은 얼룩 예측 모듈(202)의 출력으로 제공될 수 있다.
다른 예에서, 하나 이상의 얼룩의 입력 얼룩 유형은 입력 이미지(210)와 함께 (예를 들어, 추가 입력으로서) 얼룩 예측 모듈(202)에 수신될 수 있다. 그럼에도 불구하고, 얼룩 예측 모듈(202)은 검증 프로세스의 일부로 얼룩 유형을 예측하도록 훈련된 머신 러닝 시스템을 실행할 수 있다. 예를 들어, 예측된 얼룩 유형(222)은 입력된 얼룩 유형과 비교되어, 입력된 얼룩 유형이 오류인지 여부를 결정할 수 있다. 일부 예에서, 입력된 얼룩 유형이 잘못된 것으로 결정되면, 알림 또는 경고가 사용자에게 제공될 수 있다(예를 들어, 보기 애플리케이션 도구(108)를 통해).
예측된 얼룩 유형(222)은 속성 조정 프로세스 전반에 걸쳐 일시적으로 저장 장치(예를 들어, 저장 장치(109) 중 하나)에 이미지(210)와 연관되어 저장될 수 있다. 일부 양태에서, 예측된 얼룩 유형(222)은 얼룩 조정 모듈(206)과 같은 모양 수정자 모듈(138)의 하나 이상의 다른 서브모듈에 대한 입력으로서 사용될 수 있다.
도 2c는 색상 항상성 모듈(204)을 예시하는 블록도(230)이다. 색상 항상성 모듈(204)은 추가 입력으로 수신되는 하나 이상의 전체 슬라이드 이미지들의 적어도 일부로 구성된 템플릿(232)에 기초하여 모양 수정자 모듈(138)에서 수신된 입력 이미지(210)의 색상 특성을 적어도 조정할 수 있다. 일부 예에서, 템플릿(232)은 모양 수정자 모듈(138)에 대한 집합적 입력으로 제공되는, 이미지(210)를 포함한, 전체 슬라이드 이미지의 집단일 수 있다. 다른 예에서, 템플릿(232)은 전체 슬라이드 이미지의 참조 세트를 포함할 수 있다. 일부 실시예에서, 조정될 입력 이미지(210)는 소스 입력 이미지로 지칭될 수 있고, 템플릿(232)은 입력 이미지(210)에 매핑하기 위한 타겟인 템플릿(232)의 색상 특성이므로 타겟 입력 이미지로 지칭될 수 있다. 색상 항상성 모듈(204)은 정규화된 이미지(234)를 출력하기 위해 템플릿(232)의 색상 특성을 입력 이미지(210)에 매핑할 수 있도록 하나 이상의 색상 정규화 기술을 사용할 수 있다. 색상 항상성 모듈(204)은 색상 정규화 모듈(134)에 의해 생성된 훈련된 머신 러닝 시스템과 같은, 색상 정규화를 수행하기 위한 머신 러닝 시스템을 실행할 수 있다. 추가적으로 및/또는 대안으로, 입력 이미지(210)의 색상 특성에 대한 추가 조정이 입력으로 입력 이미지(210) 및 템플릿(232)에 추가하여 수신되는 사용자-지정 정보에 기초하여 이루어질 수 있다. 일부 예에서, 속성 값 조정 모듈(208)은 이러한 추가 조정을 용이하게 할 수 있다.
템플릿(232)의 색상 특성 및/또는 사용자-지정 정보에 대응하여 조정된 색상 특성을 갖는 정규화된 이미지(234)는 색상 항상성 모듈(204)의 출력으로 제공될 수 있다. 일부 예에서, 정규화된 이미지(234)는 정규화된 이미지(234)에 추가 조정이 이루어지게 하기 위해 모양 수정자 모듈(138)의 하나 이상의 다른 서브모듈에 대한 입력으로서 제공될 수 있다. 다른 예에서, 정규화된 이미지(234)는 모양 수정자 모듈(138)에 의해 출력되는 조정된 이미지(212)일 수 있다.
도 2d는 얼룩 조정 모듈(206)을 예시하는 블록도(240)이다. 얼룩 조정 모듈(206)은 이미지(242) 및 이미지(242)의 얼룩 유형(244)을 입력으로 수신할 수 있다. 일부 예에서, 이미지(242)는 모양 수정자 모듈(138)에서 원래 수신된 입력 이미지(210)일 수 있다. 다른 예에서, 이미지(242)는 모양 수정자 모듈(138)의 서브모듈들 중 다른 하나에 의해 출력되었던 입력 이미지(210)의 이전에 조정된 버전일 수 있다. 예를 들어, 색상 항상성 모듈(204)에 의해 출력된 정규화된 이미지(234)이다. 얼룩 유형(244)은 사용자(예를 들어, 병리학자)에 의해 입력된, 또는, 이미지(242)와 다른 방식으로 연관된, 얼룩 유형일 수 있다. 추가적으로 또는 대안적으로, 얼룩 유형(244)은 얼룩 예측 모듈(202)에 의해 출력된 예측 얼룩 유형(222)일 수 있다.
얼룩 조정 모듈(206)은 얼룩 조정 이미지(246)로 출력하기 위해 이미지(242)에 존재하는 하나 이상의 얼룩의 성질을 조정할 수 있다. 예를 들어, 하나 이상의 얼룩의 밝기 및/또는 양이 조정될 수 있다. 일부 양태에서, 슬라이더 바와 같은 그래픽 사용자 인터페이스(GUI) 제어 요소는 사용자가 특정 얼룩 조정을 제어하기 위한 구성을 대화식으로 정의할 수 있도록 사용자에게 제공될 수 있다. 다른 양태에서, 얼룩은 템플릿 내의 얼룩에 대해 정의된 구성에 대응하도록 조정될 수 있다. 템플릿은 모양 수정자 모듈(138)에 대한 입력으로서 집합적으로 제공되는, 입력 이미지(210)를 포함한, 전체 슬라이드 이미지들의 집단을 포함할 수 있다. 다른 예에서, 템플릿은 전체 슬라이드 이미지들의 참조 세트를 포함할 수 있다.
얼룩 조정을 가능하게 하기 위해, 얼룩 조정 모듈(206)은 원래 색상 공간(예: 빨간색, 녹색, 파란색(RGB) 색상 공간)의 이미지(242)를 이미지(242)에 존재하는 하나 이상의 얼룩의 얼룩 유형에 특정한 새로운 색상 공간으로 변환할 수 있다. 예를 들어, 정의된 구성에 따른 얼룩 조정은 얼룩-별 색상 공간의 이미지(242)에 대해 수행된 다음, 얼룩 조정 이미지(246)로의 출력을 위해 원본 색상 공간으로 다시 변환될 수 있다. 이미지(242)를 새로운 얼룩-별 색상 공간으로 변환하기 위해, 색상 공간 변환 모듈(135)에 의해 생성된 하나 이상의 머신 러닝 시스템과 같은 머신 러닝 시스템에 의해 학습된 변환이 식별되어, 불러들여져, 이미지(242)에 적용될 수 있다.
정의된 구성을 갖는 얼룩 조정 이미지(246)는 얼룩 조정 모듈(206)의 출력으로서 제공될 수 있다. 일부 예에서, 얼룩 조정 이미지(246)는 속성 값 조정 모듈(208)과 같은, 하나 이상의 다른 모듈에 대한 입력으로서 제공될 수 있다. 다른 예에서, 얼룩 조정된 이미지(246)는 모양 수정자 모듈(138)의 출력으로서 제공되는 조정된 이미지(212)일 수 있다. 이전에 논의된 바와 같이, 일부 예에서, 이미지(242)는 (예를 들어, 입력 이미지(210)가 아닌) 색상 항상성 모듈(204)에 의해 출력되는 정규화된 이미지(234)이고, 따라서 얼룩 조정 모듈(206)에 의해 출력되는 얼룩 조정 이미지(246)는 정규화된 얼룩 조정 이미지일 수 있다.
도 2e는 속성 값 조정 모듈(208)을 예시하는 블록도(250)이다. 속성 값 조정 모듈(208)은 입력으로서 이미지(252)를 수신할 수 있다. 일부 예에서, 이미지(252)는 모양 수정자 모듈(138)에 대한 입력으로서 수신된 입력 이미지(210)일 수 있다. 다른 예에서, 이미지(252)는 모양 수정자 모듈(138)의 다른 하나 이상의 서브 모듈에 의해 출력되는 이미지일 수 있다. 예를 들어, 이미지(252)는 색상 항상성 모듈(204)에 의해 출력된 정규화된 이미지(234), 또는 얼룩 조정 모듈(206)에 의해 출력된 얼룩 조정 이미지(246)일 수 있으며, 여기서 얼룩 조정 이미지(246)는 또한 정규화된 얼룩 조정 이미지일 수 있다(예를 들어, 색상 항상성 모듈(204)과 얼룩 조정 모듈(206) 모두에 의해 이전에 조정된 이미지).
속성 값 조정 모듈(208)은 사용자 입력 조정 이미지(256)를 생성하기 위해 사용자 입력(254)에 기초하여 이미지(252)의 하나 이상의 속성 값을 조정할 수 있다. 조정 가능한 속성에는 다른 유사한 속성들 중에서도, 색상(색조 및 채도 포함), 밝기, 선명도 및 대비가 포함될 수 있다. 사용자 입력(254)은 보기 애플리케이션 도구(108)를 통해 이미지(252)와 함께 제공되는 복수의 GUI 제어 요소와의 사용자 상호작용으로서 수신될 수 있다. 하나의 구체적이지만 비제한적인 예로서, 슬라이더 바가 하나 이상의 속성 각각에 대해 제공될 수 있고, 이 경우, 주어진 슬라이더 바에 대한 사용자 입력 또는 그와의 상호 작용(예: 한쪽 끝에서 다른 쪽 끝으로의 이동)은 해당 속성과 관련된 값을 늘리거나 줄일 수 있다. 슬라이더 바와 유사하게, 값의 점진적인 증가 및 감소를 허용하는 다른 제어 요소가 슬라이더 바에 추가로 또는 대안적으로 사용될 수 있다. 일부 예에서, 사용자 입력 조정 이미지(256)는 사용자 입력(254)이 수신되고 적용될 때 보기 애플리케이션 도구(108)를 통해 실시간으로 표시되고 업데이트될 수 있다. 사용자 입력 조정 이미지(256)는 모양 수정자 모듈(138)에 의해 출력되는 조정 이미지(212)일 수 있다. 다른 예에서, 사용자 입력 조정 이미지(256)는 이전에 논의된 다른 서브모듈에 대한 입력으로서 제공될 수 있다.
도 3은 본 발명의 예시적인 실시예에 따라 전체 슬라이드 이미지의 하나 이상의 속성을 조정하는 예시적인 방법(300)을 나타내는 흐름도이다. 예시적인 방법(300)(예를 들어, 단계 302-306)은 이미지 조정 플랫폼(100)의 슬라이드 분석 도구(101)에 의해 자동으로 및/또는 사용자(예를 들어, 병리학자, 환자, 종양 전문의, 기술자, 관리자 등)로부터의 요청에 대한 응답으로 수행될 수 있다. 예시적인 방법(300)은 다음 단계들 중 하나 이상을 포함할 수 있다.
단계(302)에서, 방법(300)은 전체 슬라이드 이미지를 입력(예를 들어, 입력 이미지(210))으로서 수신하는 단계를 포함할 수 있다. 전체 슬라이드 이미지는 예를 들어 슬라이드에 장착된 조직학 또는 세포학 표본의 디지털화된 이미지일 수 있다. 전체 슬라이드 이미지에는 이미지화 시 사람의 눈으로 다양한 조직 또는 세포 구조를 식별할 수 있도록 슬라이드에 추가된 하나 이상의 얼룩이 포함될 수 있다. 추가되는 얼룩의 유형은 어떤 유형의 구조를 차별화하려는지에 따라 달라질 수 있다. 일부 예에서, 전체 슬라이드 이미지의 일부(예를 들어, 하나 이상의 영역)만이 입력으로 수신될 수 있다. 해당 부분에는 하나 이상의 관심 지역 또는 영역이 포함될 수 있다. 그러한 예에서, 나머지 단계(304 및 306)는 전체 슬라이드 이미지 전체가 아닌 전체 슬라이드 이미지의 일부에 대해 수행될 수 있다.
단계(304)에서, 방법(300)은 전체 슬라이드 이미지의 하나 이상의 속성을 조정하는 단계를 포함할 수 있다. 속성은 이미지와 관련된 색상, 색조, 채도, 밝기 또는 선명도와, 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 밝기 및/또는 양을 포함하는, 시각적 속성일 수 있다. 조정될 특정 유형의 속성 및/또는 사용자에 의해 제공되는 추가 입력에 따라, 얼룩 예측 모듈(202), 색상 항상성 모듈(204), 얼룩 조정 모듈(206) 및 속성 값 조정 모듈(208) 중 하나 이상은 조정을 수행하도록 구현될 수 있다.
단계 306에서, 방법(300)은 조정된 전체 슬라이드 이미지(예를 들어, 조정된 이미지(212))를 출력으로 제공하는 단계를 포함할 수 있다.
얼룩 예측 모듈
도 4a는 본 발명의 예시적인 실시예에 따라, 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측하기 위해 머신 러닝 시스템을 훈련시키는 예시적인 방법(400)을 나타내는 흐름도이다. 전체 슬라이드 이미지는 예를 들어 슬라이드에 장착된 병리 표본의 디지털화된 이미지일 수 있다. 병리학 표본 준비에 사용될 수 있는 다양한 유형의 얼룩 또는 얼룩의 조합이 있다. 준비에 사용된 하나 이상의 얼룩의 얼룩 유형을 식별하면 전체슬라이드 이미지에서 하나 이상의 얼룩의 밝기 및/또는 양의 조정을 포함하여, 얼룩-별일 수 있는 전체 슬라이드 이미지에 대한 다양한 유형의 속성 조정이 가능하거나 촉진될 수 있다. 예시적인 방법(400)(예를 들어, 단계 402-408)은 슬라이드 분석 도구(101)의 훈련 이미지 플랫폼(131)에 의해(예를 들어, 얼룩 유형 식별 모듈(133)에 의해) 수행될 수 있다. 예시적인 방법(400)은 다음 단계들 중 하나 이상을 포함할 수 있다.
단계 402에서, 방법(400)은 하나 이상의 전체 슬라이드 이미지와 하나 이상의 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩 각각에 대한 얼룩 유형을 훈련 데이터로서 수신하는 단계를 포함할 수 있다. 수신된 전체 슬라이드 이미지는 훈련 이미지일 수 있으며, 각각의 수신된 슬라이드 전체 이미지에 존재하는 얼룩에 대한 얼룩 유형은 각각의 훈련 이미지에 대응되는 라벨을 형성할 수 있다. 예를 들어, 제1 훈련 이미지는 제1 얼룩 유형과 제2 얼룩 유형의 두 가지 얼룩을 포함하는 전체 슬라이드 이미지일 수 있다. 따라서, 각 훈련 이미지에 대응되는 라벨은 제1 얼룩 유형과 제2 얼룩 유형을 나타낼 수 있다.
전체 슬라이드 이미지는 염색된 병리학 슬라이드의 디지털화된 이미지일 수 있다. 슬라이드를 준비할 때 사용할 수 있는 다양한 유형의 얼룩 또는 얼룩들의 조합이 있다. 훈련 이미지의 대표적인 데이터세트를 생성하기 위해, 402에서 수신된 전체 슬라이드 이미지는 준비에 사용될 수 있는 각 얼룩 유형을 갖는 하나 이상의 이미지를 포함할 수 있다. 일부 예에서, 훈련 이미지로 수신된 전체 슬라이드 이미지 중 하나 이상은 썸네일 또는 매크로 이미지일 수 있다.
단계(404)에서, 방법(400)은 하나 이상의 전체 슬라이드 이미지 각각으로부터 하나 이상의 특징 벡터를 추출하는 단계를 포함할 수 있다. 일부 예에서, 특징 벡터는 전체 슬라이드 이미지 중 비-배경 픽셀에 대응하는 전체 슬라이드 이미지의 특정 영역으로부터 추출될 수 있다. 예를 들어, 각각의 전체 슬라이드 이미지는 복수의 타일로 구성될 수 있으며, 타일은 배경 픽셀 및 비-배경 픽셀 중 하나 이상을 포함한다. 일 양태에서, 특징 벡터를 추출하기 전에, 전체 슬라이드 이미지의 배경 픽셀은 Otsu의 방법(예를 들어, 픽셀을 전경과 배경의 두 가지 클래스로 분리하는 자동 이미지 임계화 유형)을 사용하거나 타일들을, 따라서, 타일들을 포함하는 픽셀들을, 제거함으로써 제거될 수 있고, 전체 슬라이드 이미지와의 차이가 적다. 따라서 전체 슬라이드 이미지 중 비-배경 픽셀은 특징 추출을 위해 남게 된다. 또 다른 양태에서는 특징 벡터를 추출하기 전에, 전체 슬라이드 이미지를 축소된 요약 형태로 변환할 수도 있다. 축소 요약 형태는 전체 슬라이드 이미지의 비-배경 RGB 픽셀의 집합 또는 전체 슬라이드 이미지의 이웃하는 비-배경 픽셀 패치(또는 타일)들의 세트를 포함할 수 있다. 따라서, 전체 슬라이드 이미지 중 비-배경 픽셀은 특징 추출을 위해 남게 된다. 일부 예에서, 축소된 요약 형식을 얻기 위해, 전체 슬라이드 이미지는 컬렉션 이미지 타일 또는 개별 픽셀 세트로 분리될 수 있다.
추출되는 특징 벡터의 종류나 형식은 다양할 수 있다. 일례로, 추출된 특징 벡터는 전체 슬라이드 이미지의 비-배경 타일에 대한 RGB 픽셀값의 벡터일 수 있다. 다른 예에서, 추출된 특징 벡터는 전체 슬라이드 이미지의 비-배경 타일로부터의 하나 이상의 임베딩(예: CNN(콘볼루션 신경망))일 수 있다. 추가적으로 또는 대안적으로, 수신된 전체 판매 이미지 중 하나 이상이 썸네일(예: 매크로 이미지)인 경우, 추출된 특징 벡터는 썸네일로부터의 CNN 임베딩일 수 있다. 추가 예에서, 시각적 단어 가방(bag-of-visual words) 또는 VLAD(Vector of Locally Aggregated Descriptors)와 같은 이미지 분류 기반 특징 생성 기술을 적용하여, 전체 슬라이드 이미지의 하나 이상의 영역에 있는 디스크립터를 벡터로 변환할 수 있다. 디스크립터는 SIFT(Color Scale-Invariant Feature Transform) 디스크립터, ORB(Oriented FAST and Rotated BRIEF) 기능, HOG(Histogram of Oriented Gradients) 디스크립터, RIFT(radiant-invariant feature transform) 디스크립터 및/또는 SURF(speeded up robust features) 디스크립터를 포함할 수 있다.
단계 406에서, 방법(400)은 추출된 특징 벡터를 입력으로 사용하여 얼룩 유형을 예측하기 위한 머신 러닝 시스템을 생성하고 훈련시키는 것을 포함할 수 있다. 머신 러닝 시스템은 Naive Bayes 분류기, 랜덤 포레스트(Random Forest) 모델, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 가령, 심플 RNN, LSTM(Long Short-Term Memory) 네트워크, GRU(Gated Recurrent Unit) 등, 변환기 신경망 및/또는 지원 벡터 머신을, 다른 유사한 시스템 중에서도 포함할 수 있다.
비제한적인 일례로서, 훈련 이미지의 추출된 특징 벡터가 머신 러닝 시스템에 입력될 수 있다. 머신 러닝 시스템은 훈련 이미지에 존재하는 하나 이상의 얼룩에 대한 얼룩 유형을 예측하고, 예측된 얼룩 유형을 출력으로 제공할 수 있다. 일부 예에서, 각각의 훈련 이미지에 대해, 주어진 얼룩에 대해 하나보다 많은 예측된 얼룩 유형이 머신 러닝 시스템에 의해 출력될 수 있으며, 여기서 각각의 예측된 얼룩 유형은 각각의 얼룩 유형이 주어진 얼룩에 대한 실제 얼룩 유형일 가능성을 나타내는 확률 또는 점수와 연관될 수 있다. 예를 들어, 제1 훈련 이미지의 제1 얼룩에 대해, 머신 러닝 시스템은 얼룩 유형 확률 80%인 제1 얼룩 유형과 얼룩 유형 확률 20%인 제2 얼룩 유형을 출력할 수 있다.
일례에서, 머신 러닝 시스템을 훈련시키기 위해, 예측된 얼룩 유형은 손실 또는 오류를 결정하기 위해 입력으로 제공된 훈련 이미지에 대응하는 라벨과 비교될 수 있다. 예를 들어, 제1 훈련 이미지의 제1 얼룩에 대해 예측된 얼룩 유형은 해당 라벨에 의해 식별된 제1 훈련 이미지의 제1 얼룩에 대해 알려진 얼룩 유형과 비교될 수 있다. 머신 러닝 시스템은 머신 러닝 시스템의 정확성을 향상시키기 위해 오류에 기초하여 수정되거나 변경될 수 있다(예를 들어, 가중치 및/또는 편향이 조정될 수 있음). 이 프로세스는 각각의 훈련 이미지에 대해 또는 적어도 결정된 손실 또는 오류가 미리 정의된 임계값 아래에 있을 때까지 반복될 수 있다. 일부 예에서, 훈련 이미지 중 일부는 보류되어, 훈련된 머신 러닝 시스템을 추가로 검증하거나 테스트하는 데 사용될 수 있다.
단계 408에서, 방법(400)은 도 4b를 참조하여 아래에 설명되는 모양 수정자 모듈(138)의 얼룩 예측 모듈(202)에 의한 후속 배치를 위해 훈련된 머신 러닝 시스템을 저장하는 것을 포함할 수 있다.
도 4b는 본 개시의 일 실시예에 따라 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측하는 예시적인 방법(420)을 나타내는 흐름도이다. 예시적인 방법(420)(예를 들어, 단계 422-428)은 슬라이드 분석 도구(101)의 타겟 이미지 플랫폼(136)에 의해, 특히 얼룩 예측 모듈(202)에 의해 자동으로 및/또는 사용자(예: 병리학자, 환자, 종양학자, 기술자, 관리자 등)로부터의 요청에 응답하여, 수행될 수 있다. 예시적인 방법(400)은 다음 단계들 중 하나 이상을 포함할 수 있다.
단계(422)에서, 방법(420)은 전체 슬라이드 이미지를 입력(예를 들어, 입력 이미지(210))으로서 수신하는 것을 포함할 수 있다. 일부 예에서, 전체 슬라이드 이미지는 전체 슬라이드 이미지의 일부(예를 들어, 하나 이상의 관심 영역)이거나 전체 슬라이드 이미지의 썸네일일 수 있다. 전체 슬라이드 이미지는 하나 이상의 얼룩을 사용하여 제작한 병리학 슬라이드의 디지털화된 이미지일 수 있다. 따라서, 슬라이드 이미지 전체에 하나 이상의 얼룩이 존재할 수 있다. 일부 예에서, 하나 이상의 얼룩의 얼룩 유형을 알 수 없다. 다른 예로, 얼룩에 대한 입력 얼룩 유형이 전체 슬라이드 이미지와 함께 수신될 수도 있다. 그러나 그럼에도 불구하고, 제공된 입력 얼룩 유형이 실제로 올바른 얼룩 유형인지 검증하거나 확인하는 것이 도움이 될 수 있다.
단계(424)에서, 방법(420)은 전체 슬라이드 이미지로부터 하나 이상의 특징 벡터를 추출하는 단계를 포함할 수 있다. 일부 예에서, 특징 벡터는 방법(400)의 단계 404와 함께 위에 설명된 동일하거나 유사한 프로세스를 사용하여 전체 슬라이드 이미지의 비-배경 픽셀로부터 추출될 수 있다. 단계 426에서, 방법은 도 4a에 설명된 훈련된 머신 러닝 시스템과 같은, 훈련된 머신 러닝 시스템에 대한 입력으로서 하나 이상의 특징 벡터를 제공하여, 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩의 얼룩 유형을 예측할 수 있다.
단계 428에서, 방법(400)은 훈련된 머신 러닝 시스템으로부터의 출력으로서 전체 슬라이드 이미지의 하나 이상의 얼룩에 대해 예측된 얼룩 유형(예를 들어, 예측된 얼룩 유형(222))을 수신하는 것을 포함할 수 있다. 일부 예에서, 예측된 얼룩 유형은 보기 애플리케이션 도구(108)를 통해 전체 슬라이드 이미지와 함께 표시하기 위해 제공될 수 있다. 하나보다 많은 예측된 얼룩 유형이 훈련된 머신 러닝 시스템의 출력으로 수신되면, 가장 높은 관련 확률 또는 점수를 갖는 예측된 얼룩 유형이 디스플레이를 위해 선택될 수 있다. 그러나 훈련된 머신 러닝 시스템에 의해 출력된 예측된 얼룩 유형 중 하나 이상과 관련된 확률 또는 점수가 미리 정의된 임계값보다 낮은 경우, 알림 또는 경고가 생성되어, 얼룩 유형을 알 수 없거나 얼룩의 품질이 좋지 않음을 나타내도록 사용자에게 제공될 수 있다. 또한, 입력 얼룩 유형이 전체 슬라이드 이미지와 함께 수신되는 경우에, 예측된 얼룩 유형과 입력된 얼룩 유형 간의 비교가 수행될 수 있다. 비교에 기초하여, 입력된 얼룩 유형이 잘못되었다는 결정이 내려지면, 알림 또는 경고가 생성되어 보기 애플리케이션 도구(108)를 통해 표시되도록 제공될 수 있다.
단계 430에서, 방법(420)은 예측된 얼룩 유형을 전체 슬라이드 이미지와 연관하여 (예를 들어, 저장 장치(109) 중 하나에) 저장하는 것을 포함한다. 예측된 얼룩 유형은 이후 스토리지로부터 불러들여져, 하나 이상의 얼룩을 조정하기 위해 구현된 얼룩 조정 모듈(206)과 같은 모양 수정자 모듈(138)의 하나 이상의 다른 서브 모듈에 대한 입력으로 사용될 수 있다.
슬라이드 집단 또는 참조에 대한 색상 항상성
도 5는 본 발명의 일 실시예에 따른 템플릿 기반 전체 슬라이드 이미지의 색상 조정 방법(500)을 도시한 흐름도이다. 병리학자가 한 번에 보고 분석하는 세트 또는 집단 내의 전체 슬라이드 이미지 간의 색상 변화는 눈이 특정 색상 분포에 익숙해질 수 있으므로 병리학자에게 문제가 될 수 있다. 예를 들어, 하나의 전체 슬라이드 이미지는 병리학자가 검토한 다른 이미지 중에서 더 분홍색으로 보일 수 있으며, 이로 인해 구조 간의 구별이 덜 명확해질 수 있다. 전체 슬라이드 이미지들 간의 색상 변화는 서로 다른 스캐너를 사용하여 슬라이드를 스캔한 결과이거나 슬라이드 준비와 관련된 다양한 요인으로 인해 발생할 수 있다. 색상 변화 문제를 해결하기 위해, 예시적인 방법(500)(예를 들어, 단계 502-508)은 슬라이드 분석 도구(101), 특히 색상 항상성 모듈(204)에 의해 자동으로 및/또는 사용자(예: 병리학자, 환자, 종양학자, 기술자, 관리자 등)의 요청에 응답하여 수행될 수 있다. 예시적인 방법(500)은 다음 단계들 중 하나 이상을 포함할 수 있다.
단계 502에서, 방법(500)은 템플릿 기반 색상 조정을 위해 전체 슬라이드 이미지를 수신하는 것을 포함할 수 있다. 전체 슬라이드 이미지는 모양 수정자 모듈(138)의 색상 항상성 모듈(204)에 의해 수신된 소스 이미지 입력일 수 있다. 전체 슬라이드 이미지는 모양 수정자 모듈(138)에 대한 입력으로 수신된 원본 전체 슬라이드 이미지(예를 들어, 입력 이미지(210))일 수 있다. 단순성과 명확성을 위해, 하나의 전체 슬라이드 이미지에 대해 설명한다. 그러나, 다른 예에서, 단계 502에서 사용자가 볼 복수의 전체 슬라이드 이미지가 입력으로 수신될 수 있다.
단계 504에서, 방법(500)은 색상 특성들의 세트를 갖는 템플릿(예를 들어, 템플릿(232))을 수신하는 것을 포함할 수 있다. 템플릿은 색상 항상성 모듈(204)에 대한 추가 입력으로 수신된 타겟 이미지일 수 있다. 이전에 논의한 바와 같이, 전체 슬라이드 이미지는 복수의 타일을 포함할 수 있다. 템플릿은 슬라이드 이미지 전체의 타일, 슬라이드 이미지 전체의 타일 세트, 슬라이드 이미지 전체, 또는 2개 이상의 전체 슬라이드 이미지들의 세트를 포함할 수 있다. 템플릿은 이미지 조정 플랫폼(100)에 의해 (예를 들어, 저장 장치(109) 중 하나에) 저장되는, 그리고 사용자에 의해 선택되는, 미리 정의된 템플릿들의 세트 중 하나일 수 있다. 다른 예에서, 템플릿은 사용자에 의해 업로드될 수 있다.
단계 506에서, 방법(500)은 템플릿의 색상 특성들의 세트를 전체 슬라이드 이미지에 매핑하여 전체 슬라이드 이미지의 정규화된 이미지(예를 들어, 정규화된 이미지(234))를 생성하는 색상 정규화 프로세스를 실행하는 것을 포함할 수 있다. 예를 들어, 색상 정규화 모듈(134)에 의해 생성된 머신 러닝 시스템과 같은 머신 러닝 시스템 중 하나 이상은, 색상 항상성 모듈(204)에 의해 배치되거나 실행되어 단계 502 및 504에서 각각 수신되는 소스 이미지 입력 및 타겟 이미지 입력에 기초하여 색상 정규화 프로세스를 수행할 수 있다. 정규화된 이미지는 템플릿의 색상 특성에 대응되는 색상 특성을 갖는 조정된 전체 슬라이드 이미지를 포함할 수 있다. 일부 예에서, 템플릿 및/또는 전체 슬라이드 이미지는 제1 색상 공간(예: RGB 색상 공간)에 있을 수 있으며 색상 정규화 프로세스는 템플릿의 색상 특성들의 세트를 전체 슬라이드 이미지에 매핑하기 전에 템플릿 및/또는 전체 슬라이드 이미지를 제2 색상 공간으로 변환하는 것을 포함할 수 있다. 예시적인 제2 색상 공간은 다른 예 중에서 HSV(색조, 채도, 명도) 색상 공간, HIS(색조, 강도, 채도) 색상 공간, 및 L*a*b 색상 공간을 포함할 수 있다. 일부 예에서, 조직 영역과 같이, 템플릿으로 수신된 전체 슬라이드 이미지의 하나 이상의 영역은 염색된 조직에 기초하여 제2 색상 공간이 구성되도록 분할될 수 있다. 즉, 분할된 영역(예를 들어, 조직 영역)은 색상 특성 매핑에 사용되는 템플릿의 일부로 포함될 수 있다.
템플릿의 색상 특성을 전체 슬라이드 이미지에 매핑하거나 전달하기 위해 다양한 유형의 색상 정규화 프로세스가 하나 이상의 머신 러닝 시스템에 의해 실행될 수 있다. 예시적인 색상 정규화 프로세스에는 아래에서 논의되는 다른 유사한 프로세스들 중에서도, 히스토그램 사양, Reinhard 방법, Macenko 방법, 얼룩 색상 설명자(SCD), 완전 색상 정규화 및 구조 보존 색상 정규화(SPCN)가 포함될 수 있다.
히스토그램 사양의 구현을 위해 전체 슬라이드 이미지는 제1 RGB 색상 공간에서 제2 L*a*b 색상 공간으로 변환될 수 있다. 제2 Lab 색상 공간에서는 슬라이드 이미지 전체의 히스토그램(예: 소스 이미지 히스토그램)을 템플릿의 히스토그램(예: 타겟 이미지 히스토그램)과 매칭할 수 있다. 매핑 후에 전체 슬라이드 이미지가 제1 RGB 색상 공간으로 다시 변환될 수 있다. Reinhard 방법의 구현을 위해, 전체 슬라이드 이미지와 템플릿을 제1 RGB 색상 공간에서 lαβ 색상 공간으로 변환하고, 전체 슬라이드 이미지를 다시 RGB 색상 공간으로 다시 변환하기 전에, 선형 변환을 사용하여 전체 슬라이드 이미지에서 각 색상 채널의 평균 및 표준 편차를 템플릿의 그것과 일치시킬 수 있다. Macenko 방식을 구현하기 위해, 전체 슬라이드 이미지를 제1 RGB 색상 공간에서 OD(Optical Density) 공간으로 변환할 수 있다. OD 공간 내에서 특이값 분해(SVD)가 식별될 수 있으며 두 개의 가장 큰 특이값에 해당하는 평면이 생성될 수 있다. 데이터가 해당 평면에 투영될 수 있으며 해당 각도가 발견될 수 있다. 최대 및 최소 각도가 추정될 수 있으며, 이러한 극한 값은 OD 공간으로 다시 투영될 수 있다.
SCD를 구현하기 위해 전체 슬라이드 이미지는 제1 RGB 색상 공간에서 제2 OD 공간으로 변환될 수 있다. 얼룩 색상 모양 행렬(stain color appearance matrix)(S)은 R, G 및 B 채널에 대한 상대적인 색상 비율을 측정하여 경험적으로 찾을 수 있으며, 얼룩 깊이 매트릭스는 Ruifrok 방법과 유사하게, S의 역수에 OD의 강도 값을 곱하여 추정할 수 있다. SPCN의 구현을 위해 전체 슬라이드 이미지(예: 소스 이미지)와 템플릿(예: 타겟 이미지)은 비-음수 행렬 인수분해(NMF: Non-negative Matrix Factorization)를 통해 색상 모양 행렬(S)과 얼룩 깊이 행렬(C)로 인수분해될 수 있고, 여기서 S와 C의 적어도 여러 계수는 양수이다. 소스 이미지의 얼룩 깊이 행렬은 정규화된 소스 이미지를 생성하기 위해 타겟 이미지의 색상 모양 행렬과 결합될 수 있다.
구현된 대안적인 색상 정규화 프로세스는 아래에서 차례로 논의되는 다음 프로세스들을 더 포함할 수 있다. ICA(Independent Component Analysis) 분해를 위한 독립 성분을 복구하기 위해 JADE(Joint Approximate Diagonalization of Eigenmetrices)가 구현될 수 있다. 색상 정보로부터 강도 정보를 분리하기 위해 블라인드 색상 분해가 구현될 수 있다. 예를 들어, 이미지는 별도의 얼룩의 색상 분포를 추정하기 위해 제1 RGB 색상 공간으로부터 제2 막스웰리안(Maxwellian) 색상 공간으로 변환될 수 있다. 참조 색상 벡터가 식별될 수 있으며, 선형 분해를 통해, 얼룩 흡수 벡터가 추정되어 색상 변화를 조정하는 데 사용될 수 있다. 얼룩 인식 및 매핑을 위한 색상-채도화-밀도(HSD) 모델이 구현될 수 있다. 처음에 전체 슬라이드 이미지는 제1 RGB 색상 공간에서 제2 색조-채도-강도(HIS) 모델로 변환될 수 있으며, 여기서 HSD 모델은 RGB에서 HIS로의 변환으로 정의될 수 있다. HSI 데이터에는 두 개의 색채 성분과 하나의 밀도 성분이 있다. 헤마톡실린, 에오신 및 배경의 색채 및 밀도 분포를 얻기 전에 다양한 얼룩(예: 핵, 배경)에 해당하는 다양한 개체를 분할할 수 있다. 필요에 따라 모든 픽셀에 대한 얼룩의 기여도에 가중치를 부여할 수 있다. 그런 다음 HSD 모델은 RGB 색상 공간으로 다시 변환될 수 있다. 한 이미지의 색상 특성을 다른 이미지로 전송하기 위해 스타일 전송 모델이 대안적으로 구현될 수도 있다.
추가적으로, 색상 정규화 프로세스는 하나 이상의 유형의 GAN(Generative Adversarial Network) 기반 머신 러닝 시스템에 의해 구현될 수 있다. 일례로, 모델에 의해 자동으로 학습된 학습 제어 변수 및 InfoGAN(Information Maximizing Generative Adversarial Network)이 구현될 수 있으며, 여기서 제어 변수는 템플릿의 색상 특성을 모방하는 데 사용될 수 있다. 또 다른 예로, GAN이 생성한 이미지의 색상을 제어하고 각 색상을 타겟 이미지(예: 템플릿)의 색상에 매핑하는 색상 히스토그램 기반 방법인 histoGAN을 구현할 수 있다. 추가적인 예로서, CycleGAN은 이미지 그룹의 스타일을 학습하기 위해 구현될 수 있다(예: 템플릿의 스타일 학습).
단계 508에서, 방법(500)은 색상 항상성 모듈(204)의 출력으로서 정규화된 이미지(예를 들어, 정규화된 이미지(234))를 제공하는 것을 포함할 수 있다. 정규화된 이미지는 색상 정규화 과정을 통해 템플릿의 색상 특성들의 세트에 대응하는 색상 특성을 갖는 조정된 전체 슬라이드 이미지일 수 있다. 일부 예에서 정규화된 이미지는 모양 수정자 모듈(138)에 의해 출력된 조정된 이미지(212)일 수 있다. 다른 예에서, 정규화된 이미지는 얼룩 조정 모듈(206) 또는 속성값 조정 모듈(208)을 포함하여 모양 수정자 모듈(138)의 다른 서브 모듈에 대한 입력으로서 제공될 수 있다.
어의적으로 의미 있는 얼룩 조정
도 5를 참조하여 위의 논의에 의해 예시된 바와 같이, 전체 슬라이드 이미지의 원래 RGB 색상 공간을 이용하면 전체 슬라이드 이미지의 밝기, 색조, 채도 등의 색상 속성 조정이 합리적으로 이루어지지 않을 수 있다. 따라서 전체 슬라이드 이미지는 조정이 가능한 대체 색상 공간으로 변환될 수 있다. 마찬가지로, 얼룩의 하나 이상의 색상 성질을 조정하기 위해(과도 얼룩 또는 과소 얼룩이 발생한 경우 특히 중요할 수 있음) 이미지를 먼저 원래 RGB 색상 공간에서 얼룩 유형에 특정한 색상 공간으로 변환해야 할 수도 있다(예: 얼룩-별 색상 공간). 그러나 전체 슬라이드 이미지의 색조, 채도, 밝기 속성과 달리, 얼룩 기반 정량화를 단순히 미리(up front) 정의하여 이러한 변환을 수행하는 것이 불가능할 수 있다. 대신, 훈련 이미지 플랫폼(131)의 일부로서, 원본 RGB 색상 공간으로부터 얼룩-별 색상 공간으로 전체 슬라이드 이미지의 변환을 가능하게 하는 변환을 학습하기 위해 하나 이상의 머신 러닝 시스템이 (예를 들어, 색상 공간 변환 모듈(135)에 의해) 구축될 수 있다.
변환을 학습하기 위해 다양한 유형의 머신 러닝 시스템이 활용될 수 있다. 변환에는 선형 및 비선형 변환이 포함될 수 있다. 다양한 얼룩 유형에 대한 변환이 학습될 수 있다. 예를 들어, 병리학 슬라이드 염색에 활용될 수 있는 각 얼룩 유형 또는 얼룩 유형 조합에 대해 변환을 학습할 수 있다. 일부 예에서는 각 얼룩 유형 또는 조합에 특정한 머신 러닝 시스템이 구축될 수 있다. 다른 예에서, 하나의 머신 러닝 시스템은 하나보다 많은 얼룩 유형 또는 조합에 대한 변환을 학습할 수 있다. 학습된 변환은 도 6을 참조하여 상세히 설명되는 바와 같이, 전체 슬라이드 이미지의 하나 이상의 얼룩 성질을 조정할 때 후속 불러오기 및 적용을 위해 특정 얼룩 유형 또는 얼룩 유형의 조합과 관련하여 데이터 저장소(예: 저장 장치(109) 중 하나)에 저장될 수 있다.
학습된 변환의 하나의 구체적이지만 비제한적인 예는 RGB 색상 공간으로부터 얼룩 색상 공간으로의 전체 슬라이드 이미지의 학습된 가역(invertible) 선형 변환을 포함할 수 있다. 전체 슬라이드 이미지에는 헤마톡실린과 에오신의 두 가지 얼룩이 포함될 수 있다. 이 변환 예는 얼룩 행렬로 설명될 수 있다. 예를 들어, 전체 슬라이드 이미지가 RGB 색상 공간에 있다고 가정하면, 학습된 변환은 행렬 곱셈 에 의해 제공될 수 있다. R, G, B는 RGB 색상 공간에서 전체 슬라이드 이미지의 비-배경 픽셀일 수 있고, T는 RGB 색상 공간으로부터 c차원 얼룩 공간(p)으로 변환되는 가역 또는 유사 가역 c x 3 행렬일 수 있다. c차원 얼룩 공간(p)의 채널(c) 수는 전체 슬라이드 이미지에 존재하는 하나 이상의 얼룩 유형을 기반으로 할 수 있다. 예를 들어 두 얼룩에 헤마톡실린과 에오신이 포함된 경우, c = 3이며, 제1 채널은 강도를 나타내고 제2 채널은 헤마톡실린을 나타내고 제3 채널은 에오신을 나타낸다. 추가 예로서, 프랑스에서 흔히 볼 수 있듯이 사프란 염색이 염색을 위해 헤마톡실린 및 에오신과 함께 사용되는 경우 c = 4이다. 벡터 또는 얼룩 벡터라고 불리는 T의 행은 RGB 색상 공간의 전체 슬라이드 이미지의 픽셀 값을 (예: 빨간색, 녹색 및 파란색 채널로부터) 얼룩-별 색상 공간의 채널로 변환하는 방법을 기술할 수 있다. 헤마톡실린과 에오신으로 염색된 전체 슬라이드 이미지가 얼룩 조정 모듈(206)에 대한 입력으로 수신되면, T는 전체 슬라이드 이미지의 적어도 일부에 적용하기 위한 머신 러닝 변환으로 불러들여져서, RGB 색상 공간으로부터 헤마톡실린 및 에오신에 특정한 색상 공간으로 전체 슬라이드 이미지를 변환할 수 있다. 이 얼룩-별 색상 공간으로 변환하면 헤마톡실린 및/또는 에오신의 밝기나 양 중 하나 이상을 쉽게 조정할 수 있다.
다양한 유형의 머신 러닝 시스템을 활용하여 변환을 학습할 수 있다. 일부 예에서, 주성분 분석(PCA), 영-위상 분석(ZCA), 비-음수 행렬 분해(NMF), 및/또는 독립 성분 분석(ICA)이 주어진 얼룩 또는 얼룩들의 조합을 갖는 전체 이미지 슬라이드의 훈련 세트로부터 비-배경 RGB 픽셀의 서브세트에 적용되어, 주어진 얼룩 또는 얼룩들의 조합에 대해 적어도 변환 행렬 T를 획득한다. 이어서, 의미론적 라벨은 행렬 T의 하나 이상의 행(예를 들어, 벡터)에 적용될 수 있다. 종종 제1 벡터는 밝기를 포함할 수 있고 다른 두 벡터는 다른 얼룩을 포함할 수 있다. 각 벡터의 어의적 의미는 아날로그 내관을 통해, 또는, 단일 얼룩으로만 염색된 전체 이미지 슬라이드의 훈련 세트를 사용함으로써, 또는, 특정 얼룩을 흡수하는 경향이 있는 조직에 대한 작은 주석 세트를 사용함으로써, 결정된 참조 벡터 세트와 비교에 의해, 결정될 수 있다. 이러한 학습 방법은 입력으로 3개의 입력 픽셀 채널이 있고 하의 얼룩 또는 두 개의 얼룩의 조합이 있는 경우 적용 가능하다. 얼룩이 두 개보다 많은 경우 이러한 학습 방법의 불충분한 변형이 사용될 수 있다.
다른 예에서, 적어도 변환 행렬 T를 학습하기 위해 주어진 얼룩 또는 얼룩들의 조합을 갖는 전체 이미지 슬라이드의 훈련 세트로부터 비-배경 RGB 픽셀의 서브세트에 클러스터링 접근법이 적용될 수 있다. 예를 들어, k-평균 클러스터링은 데이터 내에서 k개의 프로토타입을 식별하며, 여기서 k는 원하는 벡터 수로 설정될 수 있다. k-평균 클러스터링에 대한 대안으로는 가우스 혼합 모델, 평균 이동 클러스터링, DBSCAN(density-based spatial clustering of applications with noise) 등이 포함될 수 있다. 각 벡터의 어의론적 의미는 수동 검사를 통해, 또는 단일 얼룩으로만 염색된 슬라이드를 사용하여 결정된 참조 벡터 세트와 비교함으로써, 또는, 특정 얼룩을 흡수하는 경향이 있는 조직에 대한 작은 주석 세트를 사용함으로써, 결정될 수 있다.
추가 예에서, 회귀 기반 머신 러닝 시스템(예: 지도 학습 포함)은 행렬 T 변환을 추론하도록 훈련될 수 있다. 예를 들어, 주어진 얼룩에 대해 표준(예: 표준 픽셀)으로 결정된 픽셀을 식별하는 라벨과 전체 슬라이드 이미지의 훈련 데이터 세트가 머신 러닝 시스템을 구축 및 훈련하기 위한 입력으로 제공될 수 있다. 표준 픽셀은 하나 이상의 얼룩 각각과 결합하기 쉬운 구조를 갖는 것으로 식별된 픽셀일 수 있다(예: 헤마톡실린 저장소에 대한 DNA를 갖는 픽셀).
도 6은 본 발명의 예시적인 실시예에 따른 얼룩 조정을 수행하기 위한 예시적인 방법(600)을 도시하는 흐름도이다. 예시적인 방법(600)(예를 들어, 단계 602-616)은 슬라이드 분석 도구(101), 및 특히 얼룩 조정 모듈(206)에 의해 자동으로 및/또는 사용자(예를 들어, 병리학자, 환자, 종양 전문의, 기술자, 관리자 등)의 요청에 응답하여 수행될 수 있다. 예시적인 방법(600)은 다음 단계들 중 하나 이상을 포함할 수 있다.
단계 602에서, 방법(600)은 전체 슬라이드 이미지(예를 들어, 이미지(242))를 입력으로 수신하는 것을 포함할 수 있다. 전체 슬라이드 이미지는 모양 수정자 모듈(138)의 얼룩 조정 모듈(206)에 대한 입력으로서 수신될 수 있다. 일부 예에서, 전체 슬라이드 이미지는 모양 수정자 모듈(138)에 의해 수신된 원본 전체 슬라이드 이미지(예를 들어, 입력 이미지(210))일 수 있다. 다른 예에서, 입력으로서 수신된 전체 슬라이드 이미지는 색상 항상성 모듈(204)에 의해 출력된 정규화된 이미지(예를 들어, 정규화된 이미지(234))와 같이, 모양 수정자 모듈(138)의 하나 이상의 다른 모듈에 의해 출력된 원본 전체 슬라이드 이미지의 조정된 버전일 수 있다.
전체 슬라이드 이미지 전체가 입력으로 수신될 수 있다. 또는 전체 슬라이드 이미지의 일부를 입력으로 받을 수도 있다. 이러한 일부는 얼룩 조정이 적용될 정의된 관심 영역을 나타낼 수 있다. 정의된 관심 영역은 사용자가 보기 애플리케이션 도구(108)를 이용하여 경계 상자 등을 그리거나 설정함으로써 수동으로 지정한 영역일 수 있다. 또 다른 예로, 정의된 관심 영역은 보기 애플리케이션 도구(108)에서 (사용자가 확대하고 있는) 시야 내의 영역일 수 있다.
전체 슬라이드 이미지 전체가 수신되고 얼룩 조정이 전체 슬라이드 이미지 전체에 구현되어야 하는 경우, 썸네일 이미지(예를 들어, 전체 슬라이드 이미지의 컬러 샘플링에 기초한 저해상도의 축소된 크기 버전)는 후속 처리 단계에서 활용될 수 있다. 그러나, 특정 얼룩이 있는 작은 구조는 놓칠 가능성이 있으므로 썸네일 이미지를 사용하는 것은 최적이 아닐 수 있다. 따라서, 특정 얼룩에 해당하는 대부분의 픽셀은 썸네일 이미지에 대한 후속 처리를 수행하기 전에 제거될 수 있다. 대안으로, 전체 슬라이드 이미지 전체에 대해 얼룩 조정을 구현하려는 경우, 전체 슬라이드 이미지의 서로 다른 위치에서 무작위 패치를 선택할 수도 있다. 무작위로 선택된 패치는 충분한 색상 정보를 얻을 수 있도록 전체 슬라이드 이미지에 균일하게 분포될 수 있다. 무작위로 선택된 패치 내에 포함된 픽셀은 후속 처리 단계에 사용될 수 있다.
단계 604에서, 전체 슬라이드 이미지에 존재하는 얼룩에 대한 얼룩 유형이 식별될 수 있다. 일부 예에서, 얼룩 유형은 전체 슬라이드 이미지와 함께 입력으로 제공된다(예: 입력 얼룩 유형). 다른 예에서, 식별된 얼룩 유형은 얼룩 예측 모듈(202)에 의해 출력된 예측 얼룩 유형(예를 들어, 예측 얼룩 유형(222))일 수 있다. 예시적인 예를 제공하기 위해, 헤마톡실린과 에오신은 전체 슬라이드 이미지에 존재하는 얼룩 유형의 식별된 조합일 수 있다. 헤마톡실린은 DNA에 결합하여 핵을 진한 파란색이나 보라색으로 염색하는 반면, 에오신은 세포외 기질과 세포질을 분홍색으로 염색한다.
단계 606에서, 방법 600은 얼룩 유형에 기초하여 머신 러닝 변환을 불러오는 것을 포함할 수 있다. 머신 러닝 변환은 전체 슬라이드 이미지를 제1 색상 공간(예: 전체 슬라이드 이미지가 수신된 RGB 색상 공간)으로부터 얼룩 유형에 특정한 제2 색상 공간(예를 들어 제2 얼룩-별 색상 공간)으로 변환하기 위해 불러들여질 수 있다. 예를 들어, 얼룩 유형과 연관된 머신 러닝된 변환은 데이터 저장소(예를 들어, 저장 장치(109) 중 하나)에 저장된 복수의 머신 러닝된 변환 중에서 불러들여질 수 있으며, 변환은 훈련 이미지 플랫폼(131)의 일부로서 (예를 들어, 색상 공간 변환 모듈(135)에 의해) 생성된 하나 이상의 머신 러닝 시스템에 의해 학습된 것이다. 예를 들어 슬라이드 이미지 전체가 헤마톡실린과 에오신으로 염색된 것으로 식별되면, 행렬 T는 데이터 저장소에서 불러들여진 머신 러닝된 변환일 수 있다.
단계(608)에서, 방법(600)은 변환될 전체 슬라이드 이미지의 픽셀들의 적어도 서브세트를 식별하는 것을 포함할 수 있다. 변환될 픽셀의 서브세트는 비-배경 픽셀과 비-아티팩트 픽셀을 포함할 수 있다(예를 들어, 픽셀은 조정되고 있는 얼룩을 포함할 수 있음). 슬라이드 이미지 전체(또는 그 일부)의 픽셀은 배경 픽셀과 비-배경 픽셀로 분류될 수 있다. 다른 유사한 기술 중에서도, 배경으로 식별되는 픽셀들에 대한 분포를 맞춤으로써 하나의 픽셀이 참조 백색 배경 픽셀에 충분히 가까운지를 식별함으로써, 또는 타일의 분산을 분석함으로써, 픽셀들이 Otsu의 방법을 이용하여 배경 픽셀로 결정될 수 있고 서브세트로부터 배제될 수 있다. 또한, 일부 픽셀(배경 또는 비-배경)은 전체 슬라이드 이미지에 존재하는 거품, 잉크, 머리카락, 조직 접힘 및 기타 원치 않는 양태들과 같은 아티팩트를 나타낼 수 있다. 아티팩트 픽셀은 다른 유사한 기술 중에서 의미론적 분할을 사용하여 식별될 수 있으며 서브세트로부터 제외될 수 있다(예를 들어, 비-아티팩트 픽셀이 남아 있도록).
단계 610에서, 방법은 픽셀의 서브세트를 제1 색상 공간에서 제2 얼룩-별 색상 공간으로 변환하기 위해 머신 러닝 변환을 픽셀의 서브세트에 적용하는 단계를 포함할 수 있다. 전체 슬라이드 이미지가 헤마톡실린과 에오신으로 염색된 예를 계속하면, 행렬 T가 불러들여저 픽셀의 서브세트에 적용되면 원래 RGB 색상 공간의 빨간색, 녹색 및/또는 파란색 채널에 대해 하나 이상의 강도가 이제, 존재하는 얼룩들의 선형 조합(예: 얼룩 벡터)으로 표시될 수 있다. 예를 들어, 얼룩 벡터는 강도를 나타내는 제1 채널, 헤마톡실린을 나타내는 제2 채널, 및 에오신을 나타내는 제3 채널을 포함할 수 있다.
단계 612에서, 방법(600)은 제2 얼룩-별 색상 공간에서 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 단계를 포함할 수 있다. 조정 가능한 속성은 하나 이상의 얼룩 각각의 밝기(예를 들어, 픽셀 값 강도를 조정함으로써) 및/또는 양(예를 들어, 제2 얼룩-별 색상 공간에서 하나 이상의 차원의 값을 조정함으로써)을 포함할 수 있다. 밝기가 증가하거나 감소될 수 있다. 마찬가지로 얼룩의 양도 증가하거나 감소할 수 있다. 이러한 양에 따른 얼룩 조정은 슬라이드 준비로 인한 과도 염색 또는 과소 염색을 교정할 수 있다. 일부 예에서, 조정은 자동으로 이루어질 수 있으며, 여기서 템플릿 또는 기타 유사한 참조 이미지가 조정을 위해 사용될 수 있다. 다른 예에서, 조정은 보기 애플리케이션 도구(108)를 통해 전체 슬라이드 이미지와 함께 표시하기 위해 제공된 GUI 제어 요소와의 상호작용으로부터의 사용자 입력을 기반으로 이루어질 수 있다. 전체 슬라이드 이미지가 헤마톡실린 및 에오신으로 염색되고, 행렬 T가 불러들여져 변환을 위해 픽셀의 서브세트에 적용되는 경우, GUI 제어 요소는 얼룩 벡터로 표시되는 각 채널에 대응할 수 있다. 예를 들어, GUI 제어 요소는 밝기를 조절하는 슬라이더 바, 헤마톡실린의 양을 조절하는 슬라이더 바, 및 에오신의 양을 조절하는 슬라이더 바를 포함할 수 있다. 슬라이더 바와 유사하게, 값의 점진적인 증가 및 감소를 허용하는 다른 제어 요소가 슬라이더 바에 추가로 또는 대안으로 사용될 수 있다. 조정은 균일하게 이루어질 수 있다(예: 제2 채널을 10% 증가, 등).
단계 614에서, 방법은 머신 러닝 변환의 역을 사용하여 제2 색상 공간으로부터 얼룩 조정된 픽셀들의 서브세트를 다시 제1 색상 공간으로 변환하는 단계를 포함할 수 있다(예를 들어 역행렬 T가 앞서의 예에 계속해서 적용될 수 있음). 단계(616)에서, 방법(600)은 적어도 얼룩 조정된 픽셀들의 서브세트를 포함한, 얼룩 조정된 전체 슬라이드 이미지를 출력(예를 들어, 얼룩 조정 이미지(246))으로 제공하는 단계를 포함할 수 있다. 일부 예에서, 이전에 제거된 적어도 배경 픽셀(및 일부 경우에는 배경 픽셀 및 아티팩트 픽셀)이 얼룩 조정 모듈(206)에 의한 출력을 위한 얼룩 조정된 이미지를 형성하기 위해 얼룩 조정된 픽셀들의 서브세트에 추가될 수 있다. 다른 예에서, 얼룩 조정된 픽셀들의 서브세트만이 얼룩 조정 모듈(206)에 의해 출력될 수 있다.
일부 양태에서, 얼룩 조정된 이미지(또는 색상 항상성 모듈(204)에 의해 이전에 조정된 경우 정규화된 얼룩 조정된 이미지)는 모양 수정자 모듈(138)에 의해 출력된, 조정된 전체 슬라이드 이미지(예를 들어, 조정된 이미지(212))일 수 있다. 다른 양태에서, 얼룩 조정된 이미지는 추가 조정을 위해 모양 수정자 모듈(138)의 하나 이상의 다른 모듈에 입력될 수 있다. 예를 들어, 도 5를 참조하여 위에서 논의된 자동 템플릿 기반 속성 조정과, 도 6과 관련하여 위에서 논의된 얼룩-별 속성 조정에 더하여, 사용자는 전체 슬라이드 이미지를 더 잘 이해하거나 시각화하기 위해 하나 이상의 속성을 수동으로 조정하기를 원할 수 있다.
속성 값 조정 모듈
도 7은 본 발명의 실시예에 따라 사용자 입력에 기초하여 전체 슬라이드 이미지에 대한 속성값 조정을 가능하게 하는 예시적인 방법(700)을 나타내는 흐름도이다. 예시적인 방법(700)(예를 들어, 단계 702-712)은 슬라이드 분석 도구(101), 특히 속성 값 조정 모듈(208)에 의해 자동으로 및/또는 사용자(예를 들어, 병리학자, 환자, 종양 전문의, 기술자, 관리자 등)의 요청에 응답하여 수행될 수 있다. 예시적인 방법(600)은 다음 단계들 중 하나 이상을 포함할 수 있다.
단계 702에서, 방법(700)은 속성 값 조정 모듈(208)에 대한 입력으로서 전체 슬라이드 이미지(예를 들어, 이미지(252))를 수신하는 것을 포함할 수 있다. 일부 예에서, 전체 슬라이드 이미지는 모양 수정자 모듈(138)에 의해 수신된 원본 전체 슬라이드 이미지(예를 들어, 입력 이미지(210))일 수 있다. 다른 예에서, 전체 슬라이드 이미지는 원본 전체 슬라이드 이미지의 조정된 버전일 수 있다. 예를 들어, 전체 슬라이드 이미지는 색상 항상성 모듈(204)에 의해 출력되는 정규화된 이미지(234) 및/또는 얼룩 조정 모듈에 의해 출력되는 얼룩 조정 이미지(246)일 수 있다.
전체 슬라이드 이미지는 사용자가 전체 슬라이드 이미지와 상호작용할 수 있도록 보기 애플리케이션 도구(108)를 통해 표시될 수 있다. 전체 슬라이드 이미지는 많은 수의 픽셀로 구성될 수 있다. 전체 슬라이드 이미지는 복수의 타일로 분할되며, 각 타일은 픽셀들의 서브세트를 포함한다. 일부 예에서, 타일 중 하나 이상이 선택되거나 보기 애플리케이션 도구(108)를 통해 식별될 수 있으며, 속성 값 조정 모듈(208)은 선택의 표시를 수신할 수 있다. 예를 들어, 사용자는 하나 이상의 타일 주위에 경계 상자를 그릴 수 있다(예: 배율 및 크기와 연관됨). 대안적으로, 하나 이상의 타일은 하나 이상의 타일을 포함하는 시야(예를 들어, 확대된 영역)에 기초하여 식별될 수 있다. 그러한 예에서, 아래에 상세히 설명되는 다양한 속성 값 조정은 하나 이상의 선택되거나 식별된 타일에 대해(예를 들어, 해당 배율 및 크기로 또는 확대된 영역에서) 수행될 수 있다.
단계 704에서, 전체 슬라이드 이미지 또는 그 적어도 일부(예를 들어, 하나 이상의 타일)는 이미지가 수신되었던 제1 색상 공간(예를 들어, RGB 색상 공간)으로부터 적어도 하나 이상의 다른 제2 색상 공간으로 변환될 수 있다. 제2 색상 공간은 전체 슬라이드 이미지의 하나 이상의 속성값에 대한 조정이 이루어질 수 있는 대체 색상 공간일 수 있다. 하나의 예시적인 제2 색상 공간은 HSV(Hue-Saturation-Value) 색상 공간을 포함할 수 있다. 색조는 색상 속성을 조정하는 데 사용될 수 있으며 채도는 색상 속성이 흰색으로 희석되는 정도를 변경하는 도구로 사용될 수 있다. 일부 예에서, 전체 슬라이드 이미지는 사용자가 하나보다 많은 대체 색상 공간에서 조정을 행할 수 있도록 2개 이상의 서로 다른 색상 공간(예를 들어, 제2, 제3 및/또는 제4 색상 공간 등)으로 변환될 수 있다.
단계 706에서, 제2 색상 공간(또는 임의의 다른 대체 색상 공간)의 전체 슬라이드 이미지와 하나 이상의 속성들의 값을 조정하기 위한 하나 이상의 GUI 제어 요소가 예를 들어, 보기 애플리케이션 도구(108)의 사용자 인터페이스에 표시되도록 제공될 수 있다. 조정을 위한 속성에는 다른 유사한 이미지 속성 또는 성질 중에서도, 밝기, 선명도, 대비 및 색상이 포함될 수 있다. 이에 따라, 밝기, 선명도, 대비, 색상과 관련된 GUI 제어 요소가 디스플레이를 위해 제공될 수 있다. GUI 제어 요소는 슬라이더 바와 같은 요소일 수 있어서, 사용자가 각 속성과 관련된 값을 점진적으로 조정할 수 있게 된다.
선명도 및 대비를 조정하기 위한 예시적인 방법은 언샵(unsharp) 마스킹, 하이부스트 필터링, 그래디언트(예를 들어, 1차 도함수), 라플라시안(예를 들어, 2차 도함수), 퍼지 기술, 양측(bilateral) 및 /또는 삼변(trilateral) 필터, 다중 스케일 톤 및 세부 조작을 위한 가장자리 보존 분해, 블라인드 디콘볼루션(예: 알려진 커널 없는 콘볼루션, 중앙값 선명화, 비국소적 수단 선명화, 대비 향상, 대비 스트레칭, 강도 레벨 슬라이싱 및 히스토그램 균등화를 포함할 수 있으나 이에 제한되지 않는다. 밝기 조정은 강도 값을 변경하는 것을 포함할 수 있으며, 이러한 조정을 위한 예시적인 방법에는 강도 값에 일부 값을 곱하거나 추가하는 것이 포함될 수 있다. 밝기 조정은 얼룩 채널을 얻은 후(예: 도 6을 참조하여 설명한 바와 같이 이미지를 얼룩-별 색상 공간으로 변환한 후) 특정 얼룩에 대해 수행될 수도 있다.
단계 708에서, 하나 이상의 GUI 제어 요소와 관련된 사용자 입력을 수신하는 것에 응답하여, 방법(700)은 제2 색상 공간(또는 다른 대안의 색상 공간)에서 전체 슬라이드 이미지의 하나 이상의 속성에 대응하는 값을 조정하여, 사용자 입력에 따라 전체 슬라이드 이미지를 조정하는 단계를 포함할 수 있다. 단계 706 및 708은 사용자가 원하는 조정을 완료할 때까지(예를 들어, 더 이상의 입력이 수신되지 않을 때까지) 계속해서 반복될 수 있다.
단계 710에서, 방법(700)은 사용자 입력에 의해 조정된 전체 슬라이드 이미지를 제2 색상 공간(또는 다른 대체 색상 공간)으로부터 다시 제1 색상 공간으로 변환하는 단계를 포함할 수 있다. 단계 712에서, 방법(700)은 속성 값 조정 모듈(208)의 출력으로서 사용자 입력에 의해 조정된 전체 슬라이드 이미지(예를 들어, 사용자 입력 조정 이미지(256))를 제공하는 단계를 포함할 수 있다. 일부 예에서, 사용자 입력에 의해 조정된 전체 슬라이드 이미지는 속성 값 조정 모듈(208) 및/또는 모양 수정자 모듈(138)에 의해 출력된, 조정된 이미지(예를 들어, 조정된 이미지(212))일 수 있다. 다른 예에서, 사용자 입력으로 조정된 전체 슬라이드 이미지는 모양 수정자 모듈(138)의 하나 이상의 다른 서브모듈에 대한 입력으로 제공될 수 있다.
도 8은 여기에 제시된 기술을 실행할 수 있는 예시적인 시스템 또는 장치(800)를 도시한다. 장치(800)는 중앙 처리 장치(CPU)(820)를 포함할 수 있다. CPU(820)는 예를 들어 임의의 유형의 특수 목적 또는 범용 마이크로프로세서 장치를 포함한, 임의의 유형의 프로세서 장치일 수 있다. 관련 기술 분야의 당업자라면 이해할 수 있듯이, CPU(820)는 또한 단독으로 작동하는 시스템과 같은, 멀티 코어/멀티 프로세서 시스템의 단일 프로세서일 수도 있고, 클러스터나 서버 팜에서 작동하는 컴퓨팅 장치들의 클러스터일 수도 있다. CPU(820)는 데이터 통신 인프라(810), 예를 들어 버스, 메시지 큐, 네트워크 또는 멀티 코어 메시지 전달 방식에 연결될 수 있다.
장치(800)는 또한 주 메모리(840), 예를 들어 RAM(Random Access Memory)을 포함할 수 있고, 보조 메모리(830)도 포함할 수 있다. 보조 메모리(830), 가령, 읽기 전용 메모리(ROM)는 예를 들어 하드 디스크 드라이브 또는 이동식 저장 드라이브일 수 있다. 이러한 이동식 저장 드라이브는 예를 들어 플로피 디스크 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 이 예에서 이동식 저장 드라이브는 잘 알려진 방식으로 이동식 저장 장치에서 판독 및/또는 기록을 행한다. 이동식 저장 장치는 이동식 저장 드라이브에 의해 판독 및 기록되는 플로피 디스크, 자기 테이프, 광 디스크 등을 포함할 수 있다. 관련 기술 분야의 당업자라면 이해하는 바와 같이, 이러한 이동식 저장 장치는 일반적으로 컴퓨터 소프트웨어 및/또는 데이터가 저장되어 있는 컴퓨터 사용 가능 저장 매체를 포함한다.
대안적인 구현에서, 보조 메모리(830)는 컴퓨터 프로그램 또는 다른 명령어가 장치(800)에 로드될 수 있도록 하는 유사한 수단을 포함할 수 있다. 이러한 수단의 예로는 프로그램 카트리지 및 카트리지 인터페이스(비디오 게임 장치에서 볼 수 있는 것과 같은), 이동식 메모리 칩(예: EPROM 또는 PROM) 및 관련 소켓, 및 소프트웨어 및 데이터를 이동식 저장 장치에서 장치(800)로 전송할 수 있는 기타 이동식 저장 장치 및 인터페이스가 포함된다.
장치(800)는 또한 통신 인터페이스("COM")(860)를 포함할 수 있다. 통신 인터페이스(860)는 소프트웨어 및 데이터가 장치(800)와 외부 장치 사이에 전송될 수 있게 해준다. 통신 인터페이스(860)는 모뎀, 네트워크 인터페이스(이더넷 카드 등), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(860)를 통해 전송되는 소프트웨어 및 데이터는 전자, 전자기, 광학 또는 통신 인터페이스(860)에 의해 수신될 수 있는 기타 신호일 수 있는 신호의 형태일 수 있다. 이러한 신호들은 예를 들어, 예를 들어, 전선 또는 케이블, 광섬유, 전화선, 휴대폰 링크, RF 링크 또는 기타 통신 채널을 사용하여 구현될 수 있는 장치(800)의 통신 경로를 통해 통신 인터페이스(860)에 제공될 수 있다.
그러한 장비의 하드웨어 요소, 운영 체제 및 프로그래밍 언어는 본질적으로 통상적이며, 당업자라면 이에 대해 충분히 잘 알고 있는 것으로 추정된다. 장치(800)는 또한 키보드, 마우스, 터치스크린, 모니터, 디스플레이 등과 같은 입력 및 출력 장치와 연결하기 위한 입력 및 출력 포트(850)를 포함할 수 있다. 물론, 다양한 서버 기능은 다수의 유사한 플랫폼에서 처리 부하를 분산시키도록 분산 방식으로 구현될 수 있다. 처리 부하를 분산하기 위한 플랫폼이다. 대안적으로, 서버는 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.
본 개시 전체에 걸쳐, 구성요소 또는 모듈에 대한 언급은 일반적으로 기능 또는 관련된 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목을 지칭한다. 유사한 참조 번호는 일반적으로 동일하거나 유사한 구성요소를 지칭하도록 의도된다. 구성요소 및/또는 모듈은 소프트웨어, 하드웨어 또는 소프트웨어 및/또는 하드웨어의 조합으로 구현될 수 있다.
위에서 설명한 도구, 모듈 및/또는 기능은 하나 이상의 프로세서에 의해 수행될 수 있다. "스토리지" 유형 매체에는 컴퓨터, 프로세서 등의 유형 메모리 또는 다양한 반도체 메모리, 테이프 드라이브, 디스크 드라이브 등과 같은 관련 모듈의 일부 또는 전부가 포함될 수 있으며, 이는 소프트웨어 프로그래밍을 위해 언제라도 비일시적 스토리지를 제공할수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자 또는 기타 통신 네트워크를 통해 전달될 수 있다. 예를 들어, 통신을 통해 한 컴퓨터나 프로세서에서 다른 컴퓨터나 프로세서로 소프트웨어를 로드할 수 있다. 본 명세서에 사용된 바와 같이, 비일시적, 유형적 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능한 매체"와 같은 용어는 실행을 위해 프로세서에 명령어를 제공하는 데 참여하는 모든 매체를 의미한다.
전술한 일반적인 설명은 단지 예시적이고 설명적일 뿐, 본 개시를 제한하지 않는다. 본 명세서에 개시된 본 발명의 명세서 및 실시를 고려하면 다른 실시예가 당업자에게 명백할 수 있다. 명세서와 실시예는 단지 예시적인 것으로 간주되도록 의도되었다.
Claims (20)
- 전체 슬라이드 이미지의 얼룩을 조정하기 위한 시스템에 있어서, 상기 시스템은:
복수의 얼룩 유형과 연관된 복수의 머신 러닝 변환을 저장하는 데이터 저장소;
프로세서; 그리고
상기 프로세서에 결합되고, 상기 프로세서에 의해 실행될 때 상기 시스템으로 하여금 동작들을 수행하게 하는 명령어를 저장하는 메모리를 포함하며, 상기 동작들은:
제1 색상 공간의 복수의 픽셀들로 구성되고 하나 이상의 얼룩을 포함하는 전체 슬라이드 이미지의 일부를 입력으로 수신하는 것;
상기 하나 이상의 얼룩의 얼룩 유형을 식별하는 것;
상기 데이터 저장소에 저장된 복수의 머신 러닝 변환들로부터, 식별된 얼룩 유형과 연관된 머신 러닝 변환을 불러오는 것;
변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하는 것;
픽셀들의 서브세트를 제1 색상 공간으로부터 제2 색상 공간으로 변환하기 위해 머신 러닝 변환을 픽셀들의 서브세트에 적용하는 것 - 상기 제2 색상 공간은 식별된 얼룩 유형에 특정함;
얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 것;
머신 러닝 변환의 역을 사용하여 얼룩 조정된 픽셀들의 서브세트를 제2 색상 공간으로부터 제1 색상 공간으로 변환하는 것; 그리고
적어도 얼룩 조정된 픽셀들의 서브세트를 포함하는 전체 슬라이드 이미지의 얼룩 조정된 부분을 출력으로서 제공하는 것을 포함하는, 시스템. - 제1항에 있어서, 상기 얼룩 유형을 식별하기 위해, 상기 시스템은 동작들을 수행하게 되고, 상기 동작들은:
전체 슬라이드 이미지로부터 하나 이상의 특징 벡터를 추출하는 것;
얼룩 유형을 예측하기 위해 훈련된 머신 러닝 시스템에 대한 입력으로서 상기 하나 이상의 특징 벡터를 제공하는 것; 그리고
예측된 얼룩 유형을 상기 훈련된 머신 러닝 시스템의 출력으로 수신하는 것을 포함하는, 시스템. - 제2항에 있어서, 상기 시스템은 동작들을 더 수행하게 되고, 상기 동작들은:
전체 슬라이드 이미지의 입력 얼룩 유형을 추가 입력으로서 수신하는 것; 그리고
상기 입력 얼룩 유형을 검증하기 위해 상기 입력 얼룩 유형을 예측된 얼룩 유형과 비교하는 것을 포함하는, 시스템. - 제1항에 있어서, 변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하기 위해, 상기 시스템은 동작들을 수행하게 되고, 상기 동작들은:
상기 복수의 픽셀을 배경 픽셀과 비-배경 픽셀로 분류하는 것; 그리고
아티팩트를 나타내는 상기 복수의 픽셀 중 하나 이상의 픽셀을 아티팩트 픽셀로서 식별하는 것 - 변환될 픽셀들의 서브세트는 비-배경 픽셀 및 비-아티팩트 픽셀을 포함함 - 를 포함하는, 시스템. - 제1항에 있어서, 입력으로서 수신된 상기 전체 슬라이드 이미지의 일부는 정규화된 이미지의 일부이고, 상기 정규화된 이미지를 생성하기 위해, 상기 시스템은 동작들을 더 수행하게 되고, 상기 동작들은:
색상 특성들의 세트를 갖는 템플릿을 추가 입력으로서 수신하는 것; 그리고
상기 정규화된 이미지를 생성하기 위해, 상기 템플릿의 색상 특성들의 세트를 상기 전체 슬라이드 이미지에 매핑하도록, 머신 러닝 시스템을 이용하여 색상 정규화 프로세스를 실행하는 것을 포함하는, 시스템. - 제1항에 있어서, 얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 것은, 각 얼룩에 대해, 밝기 증가, 밝기 감소, 얼룩 양 증가, 그리고 얼룩 양 감소 중 하나 이상을 포함하는, 시스템.
- 제1항에 있어서, 얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 것은:
상기 제2 색상 공간의 픽셀들의 서브세트와, 상기 하나 이상의 얼룩의 복수의 속성에 대응하는 복수의 그래픽 사용자 인터페이스(GUI) 제어 요소를 디스플레이를 위해 제공하는 것;
상기 복수의 GUI 제어 요소 중 하나 이상과 연관된 입력을 수신하는 것; 그리고
상기 입력에 기초하여 상기 하나 이상의 얼룩의 각각의 하나 이상의 속성을 조정하는 것을 포함하는, 시스템. - 제1항에 있어서, 상기 시스템은 동작들을 더 수행하게 되고, 상기 동작들은:
상기 전체 슬라이드 이미지의 얼룩 조정된 부분과, 색상, 밝기, 선명도, 대비 속성들 중 하나 이상에 대응하는 복수의 그래픽 사용자 인터페이스(GUI) 제어 요소를 디스플레이를 위해 제공하는 것; 그리고
상기 복수의 GUI 제어 요소 중 하나 이상과 연관된 수신된 입력에 기초하여 상기 전체 슬라이드 이미지의 얼룩 조정된 부분의 색상, 밝기, 선명도, 대비 속성들 중 하나 이상을 조정하는 것을 포함하는, 시스템. - 제1항에 있어서, 상기 제1 색상 공간은 RGB(Red Green Blue) 색상 공간이고, 상기 머신 러닝 변환은 행렬에 의해 정의된 가역(invertible) 선형 변환이며, 상기 RGB 색상 공간의 빨간색, 녹색 및 파란색 채널에 대해 강도는 상기 제2 색상 공간의 하나 이상의 얼룩의 선형 조합으로 표현되는, 시스템.
- 제1항에 있어서, 입력으로 수신된 상기 전체 슬라이드 이미지의 일부는 정의된 관심 영역인, 시스템.
- 제1항에 있어서, 상기 시스템은 동작들을 더 수행하게 되고, 상기 동작들은:
상기 전체 슬라이드 이미지에 대한 썸네일 이미지를 생성하는 것 - 상기 썸네일 이미지는 상기 전체 슬라이드 이미지보다 해상도가 낮고, 상기 썸네일 이미지는 상기 전체 슬라이드 이미지를 샘플링하여 생성됨 - 을 포함하는, 시스템. - 제1항에 있어서, 상기 시스템은 동작들을 더 수행하게 되고, 상기 동작들은:
상기 전체 슬라이드 이미지에서 균일하게 분포되는 복수의 픽셀 패치들을 상기 전체 슬라이드 이미지로부터 무작위로 선택하는 것 - 상기 무작위로 선택된 복수의 픽셀 패치들 중 적어도 하나는 입력으로 수신된 상기 전체 슬라이드 이미지의 일부임 - 을 포함하는, 시스템. - 전체 슬라이드 이미지의 얼룩을 조정하기 위한 방법에 있어서, 상기 방법은:
하나 이상의 얼룩을 포함하고 제1 색상 공간의 복수의 픽셀로 구성된 전체 슬라이드 이미지의 일부를 수신하는 단계;
상기 하나 이상의 얼룩의 얼룩 유형을 식별하는 단계;
복수의 얼룩 유형과 연관된 복수의 저장된 머신 러닝 변환들로부터, 식별된 얼룩 유형과 연관된 머신 러닝 변환을 불러오는 단계;
변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하는 단계;
제1 색상 공간의 픽셀들의 서브세트를 식별된 얼룩 유형에 특정한 제2 색상 공간으로 변환하기 위해 머신 러닝 변환을 픽셀들의 서브세트에 적용하는 단계;
얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 단계;
상기 머신 러닝 변환의 역을 사용하여 얼룩 조정된 픽셀들의 서브세트를 상기 제2 색상 공간으로부터 상기 제1 색상 공간으로 변환하는 단계; 그리고
적어도 얼룩 조정된 픽셀들의 서브세트를 포함하는 상기 전체 슬라이드 이미지의 얼룩 조정된 부분을 출력으로서 제공하는 단계를 포함하는, 방법. - 제13항에 있어서,
상기 전체 슬라이드 이미지로부터 하나 이상의 특징 벡터를 추출하는 단계;
얼룩 유형을 예측하기 위해 훈련된 머신 러닝 시스템에 대한 입력으로서 상기 하나 이상의 특징 벡터를 제공하는 단계; 그리고
예측된 얼룩 유형을 상기 훈련된 머신 러닝 시스템의 출력으로 수신하는 단계를 더 포함하는, 방법. - 제13항에 있어서, 변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하는 단계는,
상기 복수의 픽셀들을 배경 픽셀과 비-배경 픽셀로 분류하는 단계; 그리고
아티팩트를 나타내는 복수의 픽셀들 중 하나 이상의 픽셀을 아티팩트 픽셀로서 식별하는 단계 - 변환될 픽셀들의 서브세트는 비-배경 픽셀 및 비-아티팩트 픽셀을 포함함 - 를 더 포함하는, 방법. - 제13항에 있어서, 입력으로 수신된 상기 전체 슬라이드 이미지의 일부는 정규화된 이미지의 일부이고, 상기 정규화된 이미지를 생성하기 위해, 상기 방법은:
색상 특성들의 세트를 갖는 템플릿을 추가 입력으로서 수신하는 단계; 그리고
상기 정규화된 이미지를 생성하기 위해 상기 템플릿의 색상 특성들의 세트를 상기 전체 슬라이드 이미지에 매핑하도록, 머신 러닝 시스템을 이용하여, 색상 정규화 프로세스를 실행하는 단계를 더 포함하는, 방법. - 제13항에 있어서, 얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 상기 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 단계는, 각 얼룩에 대해, 밝기 증가, 밝기 감소, 얼룩량 증가, 얼룩량 감소 중 하나 이상을 포함하는, 방법.
- 제13항에 있어서, 얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 단계는,
상기 제2 색상 공간의 픽셀들의 서브세트와, 상기 하나 이상의 얼룩의 복수의 속성에 대응하는 복수의 그래픽 사용자 인터페이스(GUI) 제어 요소를 디스플레이를 위해 제공하는 단계;
상기 복수의 GUI 제어 요소 중 하나 이상과 연관된 입력을 수신하는 단계; 그리고
상기 입력에 기초하여 하나 이상의 얼룩의 각각의 하나 이상의 속성을 조정하는 단계를 포함하는, 방법. - 제13항에 있어서,
상기 전체 슬라이드 이미지의 얼룩 조정된 부분과, 색상, 밝기, 선명도, 대비 속성들 중 하나 이상에 대응하는 복수의 그래픽 사용자 인터페이스(GUI) 제어 요소를 디스플레이를 위해 제공하는 단계; 그리고
상기 복수의 GUI 제어 요소 중 하나 이상과 연관된, 수신된 입력에 기초하여 상기 전체 슬라이드 이미지의 얼룩 조정된 부분의 색상, 밝기, 선명도, 대비 속성들 중 하나 이상을 조정하는 단계를 더 포함하는, 방법. - 프로세서에 의해 실행될 때, 프로세서로 하여금 전체 슬라이드 이미지의 얼룩을 조정하기 위한 동작들을 수행하게 하는 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은:
하나 이상의 얼룩을 포함하고 제1 색상 공간의 복수의 픽셀로 구성된 전체 슬라이드 이미지의 일부를 수신하는 것;
상기 하나 이상의 얼룩의 얼룩 유형을 식별하는 것;
복수의 얼룩 유형과 연관된 복수의 저장된 머신 러닝 변환들로부터, 식별된 얼룩 유형과 연관된 머신 러닝 변환을 불러오는 것;
변환될 복수의 픽셀들로부터 픽셀들의 서브세트를 식별하는 것;
제1 색상 공간의 픽셀들의 서브세트를 식별된 얼룩 유형에 특정한 제2 색상 공간으로 변환하기 위해 머신 러닝 변환을 픽셀들의 서브세트에 적용하는 것;
얼룩 조정된 픽셀들의 서브세트를 생성하기 위해 상기 제2 색상 공간의 하나 이상의 얼룩의 하나 이상의 속성을 조정하는 것;
상기 머신 러닝 변환의 역을 사용하여 얼룩 조정된 픽셀들의 서브세트를 상기 제2 색상 공간으로부터 상기 제1 색상 공간으로 변환하는 것; 그리고
적어도 얼룩 조정된 픽셀들의 서브세트를 포함하는 상기 전체 슬라이드 이미지의 얼룩 조정된 부분을 출력으로서 제공하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163187685P | 2021-05-12 | 2021-05-12 | |
| US63/187,685 | 2021-05-12 | ||
| US17/457,962 | 2021-12-07 | ||
| US17/457,962 US11455724B1 (en) | 2021-05-12 | 2021-12-07 | Systems and methods to process electronic images to adjust attributes of the electronic images |
| PCT/US2022/071768 WO2022241368A1 (en) | 2021-05-12 | 2022-04-18 | Systems and methods to process electronic images to adjust stains in electronic images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240006599A true KR20240006599A (ko) | 2024-01-15 |
Family
ID=81585426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237041917A KR20240006599A (ko) | 2021-05-12 | 2022-04-18 | 전자 이미지의 속성을 조정하기 위해 전자 이미지를 처리하는 시스템 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4338124A1 (ko) |
| KR (1) | KR20240006599A (ko) |
| CA (1) | CA3216960A1 (ko) |
| WO (1) | WO2022241368A1 (ko) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4300424A3 (en) * | 2017-08-04 | 2024-03-06 | Ventana Medical Systems, Inc. | Automatic assay assessment and normalization for image processing |
| JP7458328B2 (ja) * | 2018-05-21 | 2024-03-29 | コリスタ・エルエルシー | マルチ分解能登録を介したマルチサンプル全体スライド画像処理 |
-
2022
- 2022-04-18 CA CA3216960A patent/CA3216960A1/en active Pending
- 2022-04-18 KR KR1020237041917A patent/KR20240006599A/ko unknown
- 2022-04-18 EP EP22722096.9A patent/EP4338124A1/en active Pending
- 2022-04-18 WO PCT/US2022/071768 patent/WO2022241368A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022241368A1 (en) | 2022-11-17 |
| EP4338124A1 (en) | 2024-03-20 |
| CA3216960A1 (en) | 2022-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| Kothari et al. | Pathology imaging informatics for quantitative analysis of whole-slide images | |
| CA3138959C (en) | Image diagnostic system, and methods of operating thereof | |
| US10861156B2 (en) | Quality control for digital pathology slides | |
| CN111448582A (zh) | 用于单通道全细胞分割的系统和方法 | |
| US11062168B2 (en) | Systems and methods of unmixing images with varying acquisition properties | |
| JP2017529513A (ja) | 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム | |
| Pontalba et al. | Assessing the impact of color normalization in convolutional neural network-based nuclei segmentation frameworks | |
| US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
| Hoque et al. | Retinex model based stain normalization technique for whole slide image analysis | |
| Mehrvar et al. | Deep learning approaches and applications in toxicologic histopathology: current status and future perspectives | |
| O'Mara et al. | ImageSURF: an ImageJ plugin for batch pixel-based image segmentation using random forests | |
| Berman et al. | PathML: a unified framework for whole-slide image analysis with deep learning | |
| US20220366619A1 (en) | Systems and methods to process electronic images to adjust attributes of the electronic images | |
| JP2023517703A (ja) | 空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション | |
| Friebel et al. | Guided interactive image segmentation using machine learning and color-based image set clustering | |
| Aljuhani et al. | Whole slide imaging: deep learning and artificial intelligence | |
| KR20240006599A (ko) | 전자 이미지의 속성을 조정하기 위해 전자 이미지를 처리하는 시스템 및 방법 | |
| US20230098732A1 (en) | Systems and methods to process electronic images to selectively hide structures and artifacts for digital pathology image review | |
| US20230196622A1 (en) | Systems and methods for processing digital images to adapt to color vision deficiency | |
| Seoni et al. | All you need is data preparation: A systematic review of image harmonization techniques in Multi-center/device studies for medical support systems | |
| Xie et al. | SSANet: spatial stain attention network for pathological images classification | |
| Phan et al. | Biomedical Imaging Informatics for Diagnostic Imaging Marker Selection | |
| Rubens | Development of cell counting algorithms within pathological tissues | |
| CAILLOT et al. | Whole Slide Image Quality in Digital Pathology: Review and Perspectives |