KR20220012830A - 신경망 기반 디지털 병리학 이미지의 관심 영역의 식별 - Google Patents
신경망 기반 디지털 병리학 이미지의 관심 영역의 식별 Download PDFInfo
- Publication number
- KR20220012830A KR20220012830A KR1020217020383A KR20217020383A KR20220012830A KR 20220012830 A KR20220012830 A KR 20220012830A KR 1020217020383 A KR1020217020383 A KR 1020217020383A KR 20217020383 A KR20217020383 A KR 20217020383A KR 20220012830 A KR20220012830 A KR 20220012830A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- interest
- histological
- region
- images
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 42
- 230000007170 pathology Effects 0.000 title description 15
- 238000000034 method Methods 0.000 claims abstract description 174
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 161
- 238000012800 visualization Methods 0.000 claims abstract description 127
- 230000015654 memory Effects 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 68
- 231100000331 toxic Toxicity 0.000 claims abstract description 65
- 230000002588 toxic effect Effects 0.000 claims abstract description 65
- 231100000419 toxicity Toxicity 0.000 claims abstract description 65
- 230000001988 toxicity Effects 0.000 claims abstract description 65
- 230000011218 segmentation Effects 0.000 claims abstract description 62
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 150000001875 compounds Chemical class 0.000 claims abstract description 37
- 238000011068 loading method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 75
- 230000006870 function Effects 0.000 claims description 40
- 238000007906 compression Methods 0.000 claims description 33
- 230000006835 compression Effects 0.000 claims description 33
- 230000003993 interaction Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 231100000252 nontoxic Toxicity 0.000 claims description 10
- 230000003000 nontoxic effect Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 231100000768 Toxicity label Toxicity 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 2
- 230000036316 preload Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 19
- 238000012552 review Methods 0.000 abstract description 15
- 231100000027 toxicology Toxicity 0.000 abstract description 7
- 230000002110 toxicologic effect Effects 0.000 abstract description 6
- 238000013144 data compression Methods 0.000 abstract description 3
- 210000001519 tissue Anatomy 0.000 description 85
- 238000003860 storage Methods 0.000 description 53
- 238000004891 communication Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 27
- 238000013459 approach Methods 0.000 description 22
- 238000003491 array Methods 0.000 description 21
- 206010028980 Neoplasm Diseases 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 231100000716 Acceptable daily intake Toxicity 0.000 description 12
- 238000001914 filtration Methods 0.000 description 12
- 239000011521 glass Substances 0.000 description 11
- 230000000877 morphologic effect Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 9
- 238000001994 activation Methods 0.000 description 9
- 241000699666 Mus <mouse, genus> Species 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 230000003211 malignant effect Effects 0.000 description 8
- 201000001441 melanoma Diseases 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 206010006187 Breast cancer Diseases 0.000 description 5
- 208000026310 Breast neoplasm Diseases 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 231100000444 skin lesion Toxicity 0.000 description 4
- 206010040882 skin lesion Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 239000000090 biomarker Substances 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000008821 health effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 210000004881 tumor cell Anatomy 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 206010067248 Congenital naevus Diseases 0.000 description 2
- 201000009139 Mongolian Spot Diseases 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 208000006431 amelanotic melanoma Diseases 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001613 neoplastic effect Effects 0.000 description 2
- 229910052698 phosphorus Inorganic materials 0.000 description 2
- 239000011574 phosphorus Substances 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 102000004506 Blood Proteins Human genes 0.000 description 1
- 108010017384 Blood Proteins Proteins 0.000 description 1
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002299 complementary DNA Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 229940000406 drug candidate Drugs 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000010828 elution Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 208000029691 metastatic malignant neoplasm in the lymph nodes Diseases 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 230000002438 mitochondrial effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 231100000683 possible toxicity Toxicity 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008791 toxic response Effects 0.000 description 1
- 231100000048 toxicity data Toxicity 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biodiversity & Conservation Biology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
CNN은 관심 영역을 식별하기 위해 조직학적 이미지에 적용된다. CNN은 관심 레벨을 표시하는 하나 이상의 클래스 및 관심 없음을 나타내는 적어도 하나의 클래스를 포함하는 관련 클래스에 따른 픽셀을 분류한다. CNN은 병리학자들이 조직학적 이미지의 시각화와 어떻게 상호 작용을 했는 지가 기록된 데이터를 포함하는 훈련 데이터 세트로 훈련된다. 훈련된 CNN에서, 관심-기반 픽셀 분류가 관심 영역을 정의하는 분할 마스크를 생성하는 데 사용된다. 마스크는 임상적으로 관련된 특징이 이미지에 위치될 수 있는 곳을 나타내는 데 사용할 수 있다. 또한, 조직학적 이미지의 가변 데이터 압축을 안내하는 데 사용할 수 있다. 게다가, 클라이언트-서버 모델 또는 메모리 내의 캐시 정책 내의 어딘지에의 이미지 데이터 탑재를 제어하는 데 사용된다. 더구나, 테스트 화합물로 처리되는 조직 유형의 조직 샘플의 조직학적 이미지는 테스트 화합물에 대한 독성 반응이 발생했을 수 있는 영역을 탐지하기위해 처리된 이미지이다. 자동 인코더는 테스트 화합물로 처리되지 않았지만, 주어진 조직 유형이 있는 조직 샘플의 조직학적 이미지를 포함하는 훈련 데이터 세트로 훈련된다. 훈련된 자동 인코더는 훈련 과정에 의해 학습되어 이미지의 독성 지도으로 구축된 바와 같은 조직 유형에서 보이는 정상 변화에서 벗어나는 조직 영역을 탐지하도록 적용된다. 독성 지도는 조직 유형을 위한 정상적 이질성의 범위를 벗어난 곳에 있을 때 자동 인코더에 의해 식별된 영역을 독성학적 병리학자가 검사하는데 사용될 수 있다. 이것은 병리학자의 검토를 더 빠르고 신뢰할 수 있게 한다. 독성 지도는 또한 관심 영역을 나타내는 분할 마스크와 겹쳐질 수 있다. 관심 영역 및 조직 유형에 대한 정상적 이질성 범위를 벗어난 곳에 있는 영역으로 식별되면, 증가된 확신 점수가 겹치는 영역에 적용된다.
Description
본 개시는 임상적 관심 영역과 독성학적 병리학을 포함하는 영역을 찾기 위하여 신경망이 있는 병리학 이미지의 이미지 처리에 관한 것이다.
디지털 병리학은 병리학자들이 슬라이드를 보고 진단하는 방식을 계속해서 변화시키고 있다. 병리학자들이 슬라이드를 조사하는 전통적인 방법은 현미경 아래의 유리 슬라이드를 관찰하는 것이다. 병리학자는 저배율 대물렌즈로 슬라이드를 보는 것으로 시작한다. 잠재적 진단 값이 있는 영역이 관찰되면, 병리학자는 해당 영역을 자세히 살펴보기 위해 고확대 목표로 전환한다. 그 후, 그 병리학자는 저배율로 다시 전환하여 슬라이드의 다른 영역들을 계속 조사할 것이다. 이러한 저-고-저 배율 보기 시퀀스는, 슬라이드에 대해 확실하고 완전한 진단을 내릴 수 있을 때까지 슬라이드 전반에 대해 여러 번 반복될 수 있다.
지난 20년 간, 디지털 스캐너의 도입은 이러한 작업-흐름을 변화시켰다. 디지털 스캐너는 전체 유리 슬라이드, 이른바 전체 슬라이드 이미지(WSI, whole slide image)를 획득하여, 디지털 이미지 데이터 파일로 저장하여 병리학자는 필요 없이 대규모 자동화 프로세스를 수행할 수 있다. 얻어지는 이미지 데이터 파일은 일반적으로 슬라이드 데이터베이스에 저장되며, 데이터베이스는 임상적 네트워크를 통해 고해상도 디스플레이가 있는 보기(viewing) 워크스테이션에서 병리학자에게 제공되고, 워크스테이션에는 이러한 목적을 위해 시각화 애플리케이션이 있다.
병리학에서 더 최근의 발전은 CNN 방법에 대한 연구 관심이 증가하고 있고, 이러한 CNN의 방법이 병리학적 이미지로부터 종양을 식별하고 진단하는 데 있어서, 병리학자와 마찬가지로 수행되거나 또는 그보다 더 나은 성과로 수행되는 것으로 점점 더 많이 보도되고 있다.
왕(Wang et al) 등은 2016년에 림프절로의 유방암 전이를 감지하기 위한 CNN의 접근방식을 설명하고 있다.
미국 공개특허(US2015213302A1)에는 암 발생 지역에서 세포성 감퇴가 어떻게 감지되는지 설명하고 있다. CNN을 훈련시킨 후, 종양의 등급을 매기는 데 사용되는 미토콘드리아 카운트를 수행하는 자동화된 핵 감지 시스템을 기반으로 분류가 수행된다.
휴(Hou et al) 등은 2016년에 뇌와 폐암 이미지를 처리하고 있다. WSI들로 부터의 이미지 패치는 패치-레벨 CNNs에 의해 주어진 패치-레벨 예측을 하는 데 사용된다.
리우(Liu et al) 등은 2017년에 종양의 확률을 이미지의 모든 픽셀에 할당하여 종양을 감지하고 위치를 파악하기 위해 CNN을 사용하여 기가픽셀 유방암 조직 이미지에서 추출한 이미지 패치를 처리하고 있다.
베요르디(Bejnordi et al) 등은 2017년에 헤마토크릴린과 에오신(H&E) 얼룩으로 얼룩진 유방 조직의 WSI들에서 추출된 이미지 패치의 종양을 분류하기 위해 두 개의 누적된 CNNs을 적용하고 있다. 그 성능은 이러한 병리학적 이미지들에서 물체 감지 및 분할에 좋은 것으로 나타났다. 우리는 또한 베요르디 등이 다른 CNN 기반 유방암 검체에 적용되는 종양 분류 방법(10-13 참조)에 대한 개요를 제공한다는 점에 주목한다.
에스테바(Esteva et al) 등은 2017년에 심층 CNN을 적용하여 피부 병변을 분석하고 트리-구조 분류법에 따라 병변을 다양한 악성 종류, 비악성 종류 및 비종양성 종류로 분류하며, 이러한 종류는 악성 종류인 아크로렌티기성 흑색종, 아멜라노틱 흑색종 및 렌티고 흑색종, 및 비악성 종류인 블루 네버스, 후광 네버스 및 몽골 반점을 포함한다. 피부 병변, 예를 들어 흑색종의 이미지는 분류를 수행하기 위해 임상 분류에 대한 확률 분포로 순차적으로 변형된다.
모바데르사니(Mobadersany det al) 등은 2017년에 뇌종양으로 진단된 환자의 전반적인 생존을 예측하기 위해 생존 CNN을 기반으로 한 계산 방법을 공개하고 있다. 생체검사(조직 이미지 데이터)로 부터 병리학 이미지 데이터가 환자의 결과를 예측하기 위해 모델 및 환자별 게놈 바이오마커로 공급되었다. 이 방법은 적응형 피드백을 사용하여 환자의 결과와 관련된 시각적 패턴과 분자 바이오마커를 동시에 학습한다.
샤움베르그(Schaumberg et al) 등은 2017년에 다른 접근법을 취한다. 종양을 식별하기 위한 병리학자의 진단을 흉내내는 대신, 병리학자가 현미경 아래의 슬라이드의 각 영역(패치로 표시됨)을 조사하는데 얼마나 오래 소비했는 지를 관찰함으로써 CNN이 훈련된다. 병리학 이미지는 방광이나 전립선 환자의 조직 샘플이다. CNN은 현미경 아래를 조사하는 전통적인 작업 흐름에 기초하여 훈련된다. 즉, 병리학자는 낮은 배율로 슬라이드를 검토하는 것으로 시작한다. 진단 값이 있는 영역이 관찰되면, 병리학자는 높은 배율 대물렌즈로 전환되고, 검토가 완료되면, 다시 낮은 배율로 전환된다. 이러한 프로세스는 명확한 진단이 이루어질 때까지 여러 번 반복될 수 있다. 훈련 데이터는 슬라이드의 여러 영역에 걸쳐 병리학자의 움직임과 관찰 시간을 관찰함으로써 수집되며, CNN이 슬라이드의 공간 및 시간적 '사리엔시(saliency)' 지도 생성에 사용한다. 이 모델에서, 패치는 '사리엔트(salient)'로만, 즉, 병리학자가 더 높은 배율의 대물렌즈, 즉 패치를 보다 면밀하게 연구하기 위해 더 낮은 배율에서 더 높은 배율의 대물렌즈로 전환되어 패치를 보았을 경우 암일 확률이 있다. 더 높은 배율로 볼 수 있는 패치는 이러한 높은 배율에서의 병리학자의 보는 시간이 임계값 시간 이상 또는 이하인 지에 따라 '사리엔트' 또는 '비-사리엔트'로 분류된다. 이 CNN의 접근 방식은 테스트 정확도가 85~91%인 사리엔트 슬라이드 패치를 예측할 수 있는 것으로 보고되었다.
로아-페나(Roa-Pena et al) 등은 2010년에 다른 병리학자들이 저분해능 및 고분해능 보기에서 병리학자에게 가상 슬라이드 이미지를 제공하는 시각화 애플리케이션의 그래픽 사용자 인터페이스 설계를 향상하기 위한 결과를 사용하여 가상 슬라이드 이미지를 어떻게 검토하는지 연구한 결과를 보고하고 있다. 결과는 관심 영역이 파라미터, 즉 병리학자가 방문한 영역, 방문한 영역에서 보낸 시간 및 우연 수준이 병리학자들 사이의 상관관계, 즉, 얼마나 많은 수의 병리학자들이 동일한 영역을 방문했던 동일한 가상 슬라이드를 검토했는지의 측정치인 병리학자 사이의 우연 수준의 조합에 의해 정의된다는 것을 시사하고 있다.
또한, 약물 후보자와 같은 테스트 화합물이 확인되면, 건강에 해로운 영향을 미치는지 알아내는 것이 필수적이다. 이러한 영향은 미묘할 수 있고, 현미경 수준에서만 식별할 수 있다. 건강상의 부작용을 확인하기 위해, 독성학적 병리학자는 테스트 화합물로 처리되거나 되지 않은(그레이브스(Greaves) 2012) 조직 샘플의 무료 슬라이드 이미지를 검토한다. 치료된 것과 치료되지 않은 샘플 슬라이드들을 비교함으로써, 훈련된 병리학자는 다른 변화 및 정상 조직 변동으로부터 테스트 화합물에 의해 야기되는 변화들을 식별할 수 있다. 정상의 조직 변화의 범위가 상당히 클 수 있기 때문에, 이는 간단한 작업이 아니다.
전통적으로, 병리학자들은 현미경 아래의 유리 슬라이드에서 관찰을 했다. 그러나 디지털 스캐너의 도입으로 디지털 이미지를 만드는 것이 가능해졌다. 디지털 스캐너는 전체 유리 슬라이드의 이미지, 즉 WSI(전체 슬라이드 이미지)를 획득하여 병리학자가 필요 없는 대규모 자동화 프로세스로 디지털 이미지 데이터 파일, 이른바 가상 파일로 저장할 수 있다. 결과 이미지 데이터 파일은 일반적으로 슬라이드 데이터베이스에 저장되며, 여기에서 고해상도 디스플레이가 있는 보기 워크스테이션의 병리학자와 임상 네트워크를 통해 사용 가능하고, 이 목적을 위해 워크스테이션에는 시각화(또는 보기) 애플리케이션이 있다. 디지털 병리학은 독성학적 병리학자들이 진단을 확립하기 위해 다른 병리학자들과 상의하도록 허용한다. 이러한 디지털 WIS에 대해 수행된 이미지 분석은 수동 정량화 필요(돕슨(Dobson et al) 등, 2010)를 감소시키거나 제거했다. 효율성 향상에도 불구하고 디지털 병리학에 의해 도입된 테스트 화합물에 의한 형태학적 변화를 감지하는 것은 여전히 지루하고 오류가 발생하기 쉬운 과정으로, 독성학적 병리학자가 많은 조직 샘플과 관측된 변화가 테스트 화합물 때문인지 또는 정상적인 조직 이질성 또는 다른 질병 과정으로 인한 것인지의 여부를 살펴보아야 한다.
디지털 병리학에서 더 최근의 발전은 관심 연구인 CNN의 방법이다. CNN 방법이 종양을 조직학적인 이미지에서 식별하고, 진단하는 것처럼, 여러 영역에서 Q뿐만 아니라, 병리학자와 마찬가지로, 또는 그보다 더 좋게 수행되고 있다는 것이 점점 더 보고되고 있다.
왕(Wang et al) 등은 2016년에 유방암의 림프절 전이를 감지하기 위한 CNN의 접근방식을 설명하고 있다.
리우(Liu et al) 등은 2017년에 종양의 확률을 할당하여 종양을 감지하고 위치를 파악하기 위해 기가픽셀 유방암 조직 이미지에서 추출한 이미지 패치를 CNN으로 처리한다.
에스타바(Esteva et al) 등은 2017년에 심층 CNN을 적용하여 피부 병변을 분석하고 트리-구조 분류법에 따라 병변을 다양한 악성 종류, 비악성 종류 및 비종양성 종류로 분류하며, 이러한 종류는 악성 종류인 아크로렌티기성 흑색종, 아멜라노틱 흑색종 및 렌티고 흑색종, 및 비악성 종류인 블루 네버스, 후광 네버스 및 몽골 반점을 포함한다. 피부 병변, 예를 들어 흑색종의 이미지는 분류를 수행하기 위해 임상 분류에 대한 확률 분포로 순차적으로 변형된다.
그러므로, 상술한 종래의 시스템에서 발견된 이러한 중요한 문제를 극복하는 시스템과 방법이 필요한 것이다.
본 개시의 일 측면에 따르면, 조직학적 이미지의 데이터 세트를 처리하는 방법이 제공되며, 그 방법은:
2차원 픽셀 어레이를 포함하는 조직학적 이미지의 데이터 세트를 수신하며;
조직학적 이미지의 2차원 픽셀 어레이에 대한 매핑으로 2차원 픽셀 어레이를 가진 출력 이미지 패치를 생성하기 위해 컨볼루션 신경망을 적용하며, 상기 출력 이미지 패치는 각 픽셀에 복수의 관련 클래스 중 하나를 할당하여 생성되며, 여기에서 복수의 관련 클래스는 관심 픽셀을 나타내는 적어도 하나의 클래스와 관심이 없는 픽셀을 나타내는 적어도 하나의 클래스를 포함하고, 컨볼루션 신경망은 조직학적 이미지 및 병리학자 상호 작용 데이터를 포함하는 훈련 데이터 세트를 사용하여 훈련되고, 병리학자 상호 작용 데이터는 병리학자들이 조직학적 이미지의 시각화와 어떻게 상호작용해 왔는지에 관련된 복수의 파라미터를 기록하며; 그리고
관심 픽셀에 의해 점유된 관심 영역이 표시되는 출력 이미지 패치로부터 분할 마스크를 생성하는 것을 포함한다.
제안된 접근방식을 통해, 이미지 잠재력 또는 잠재적으로 중요한 이미지에 위치될 수 있어서, 병리학자가 해당 영역을 직접 탐색하도록 유도할 수 있는 종양, 병변 또는 기타 임상적으로 관련된 특징을 병리학자에게 표시할 수 있다. 이 점에서, 관련 영역은 병리학자가 놓칠 확률이 적어지기 때문에, 분석 신뢰성은 향상될 수 있다, 또한 병리학자가 CNN 방법에 의해 표시된 관심 영역으로 안내됨으로써 이익을 얻기 때문에, 병리학자의 처리량도 증가할 수 있다. 따라서 실수로 관련 영역을 놓칠 염려가 덜할 수 있으며 CNN 방법이 관심의 대상으로 지목한 영역 검토에 대해 보다 철저할 수 있다. 병리학자는 또한 그들의 제한된 분석 시간을 관심 영역의 선택적 필터링 및/또는 순위를 고려하는 방식으로 할당하도록 암시적으로 장려하여, 만든 CNN 분석 결과에 기초하여 병리학자가 가상 슬라이드 이미지를 연구할 수 있는 시간의 보다 나은 전체 할당 기능을 제공한다.
이 방법은 관심 영역에 포함된 각 픽셀로 부터 점수 기여도를 집계하는 데 기반을 둔 점수 알고리즘에 따라 각 관심 분야에 대한 점수를 결정하는 것으로 추가로 구성될 수 있다. 또한 관심 영역은 그들의 점수에 따라 순위가 매겨질 수 있다.
각 관심 분야에 대해 요약 통계를 계산할 수 있으며, 필터에 따라 관심 영역을 선택 및 선택 취소함에 의해 필터를 분할 마스크를 편집하기 위한 각 관심 영역의 요약 통계에 적용할 수 있다.
관심 수준 증가와 연관된 클래스로 관심 픽셀을 나타내는 다수의 클래스를 포함할 수 있다. 이 경우 점수 기여도 관심 레벨에 따라 픽셀의 무게를 측정할 수 있다.
파라미터는 픽셀 보기 시간; 픽셀 배율 보기; 병리학자의 주석과 관련된 조직학적 이미지의 위치 또는 영역의 픽셀; 그리고 더 높은 배율에서 보기 위해 사용자 명령이 적용되는 조직학적 이미지의 위치 또는 영역에 있는 픽셀 중 하나 이상을 조합으로 포함할 수 있다.
훈련 데이터 세트에서, 주어진 조직학적 이미지에 대한 병리학자 상호 작용 데이터는 여러 병리학자로부터의 상호작용을 포함할 수 있으며, 파라미터에는 여러 병리학자로부터 동일한 조직학적 이미지와의 상호작용 사이의 상관 관계 인자가 포함된다.
컨볼루션(convolution) 신경망은: 조직학적 이미지에서 이미지 패치를 추출하며, 상기 이미지 패치는 폭과 높이가 다수의 픽셀에 의해 정의된 크기를 가지는 조직학적 이미지의 영역 부분 또는 그 세트이며, 컨볼루션 신경망에 가중치의 세트 및 복수의 채널을 제공하며, 각 채널은 식별될 복수의 관련 클래스 중 하나에 해당하고, 컨볼루션 신경망에 입력 이미지 패치로서 각 이미지 패치를 입력하고, 최소 치수의 최종 컨볼루션 레이어를 포함하여 그 레이어까지 항상 감소하는 치수의 컨볼루션 레이어를 생성하도록 다단계 컨볼루션을 실행하고, 이어서 복구된 레이어의 각 픽셀이 각 관련 클래스에 속하는 확률을 포함하고, 레이어가 입력 이미지 패치에 일치하는 크기로 복구되기까지 항상 증가하는 치수의 디컨볼루션 레이어를 생성함에 의해 콘볼루션을 뒤집도록 다단 전치 컨볼루션하고 그리고 출력 이미지 패치에 도달하도록 상기 확률을 기반으로 상기 복구된 레이어의 각 픽셀에 관련 클래스를 할당하는 것에 실시예에 적용된다.
또한, 출력 이미지 패치는 조직학적 이미지에 대한 확률 지도로 조립될 수 있다. 또한, 조직학적 이미지에서의 관심 영역이 확률 지도에 따라 정의될 수 있다.
현재 실시예에 있어서, 각 연속 컨볼루션 단계에서, 치수가 감소하고, 깊이가 증가하여, 컨볼루션 레이어는 깊이가 항상 증가할 뿐만 아니라, 치수는 감소하고, 그리고 각각의 연속적인 전치 컨볼루션 단계에서, 치수가 증가하고, 깊이가 감소하여, 디컨볼루션 레이어가 치수는 늘어난다. 최종 컨볼루션 레이어에는 최대 깊이와 최소 치수가 있다. 연속적 접근 방식 대신, 깊이는 각각 컨볼루션과 디컨볼루션 단계를 통해 증가하거나 감소하고, 대안으로는 입력 레이어를 제외한 모든 레이어 및 출력 레이어가 동일 깊이를 가지는 신경망을 설계하는 것이다.
특정 실시예에 있어서, 컨볼루션 신경망은 하나 이상의 스킵 연결을 가진다. 각 스킵 연결은 적어도 하나의 추가로 복구된 레이어를 입력 이미지 패치와 일치하는 크기로 얻기 위해, 최종 컨볼루션 레이어보다 더 큰 치수의 적어도 하나의 컨볼루션 레이어 및 그 결과를 필요한 만큼, 없거나 하나 또는 그 이상일 수 있는 많은 전치 컨볼루션에 적용하는 하나 이상의 중간 결과를 취한다.
그런 다음 각 픽셀에 클래스를 할당하는 단계를 수행하기 전에, 상술한 복구 레이어과 결합된다. 추가 처리 단계는 확률을 다시 계산하기 위하여 복구된 레이어를 추가로 복구된 레이어의 각각과 결합함에 따라, 스킵 연결에서 얻은 결과를 고려한다.
특정 실시예에서는 소프트맥스 연산을 사용하여 확률을 생성한다.
조직학적 이미지에서 추출한 이미지 패치가 이미지의 전체 영역을 커버할 수 있다.
패치들은 겹치지 않는 이미지 타일 또는 확률 지도의 스티칭(stitching)을 돕기 위해 여백에서 겹치는 이미지 타일일 수 있다. 반면 각 이미지 패치는 CNN과 일치시킬 폭과 높이의 고정된 픽셀 수를 가져야 한다. 이는 CNN이 픽셀 어레이의 고정된 크기만 허용하도록 설계될 수 있으므로, 이것은 각 이미지 패치가 조직학적 이미지상의 동일한 물리적 영역과 일치해야 하는 것을 의미하지 않으므로, 조직학적 이미지의 픽셀은 더 큰 영역을 커버하는 낮은 해상도의 패치로 결합될 수 있고, 즉 인접 픽셀의 2x2 어레이 각각이 하나의 '슈퍼'-패치로 결합하여 패치를 기본 해상도로 추출한 패치의 물리적 면적의 4배에 해당하는 크기로 구성할 수 있기 때문이다.
이 방법은 일단 CNN이 훈련되면, 예측을 위해 수행될 수 있다. 그 훈련의 목적은 레이어간 연결에 적합한 중량 값을 할당하는 것이다. 훈련을 위해, 사용된 기록은 조직학적 이미지 또는 그 세트의 각 픽셀을 클래스의 하나에 할당하는 실측 자료 (ground truth) 데이터를 포함할 것이다. 실측 자료 데이터는 충분한 수의 이미지에 주석을 달 수 있는 전문 임상 의사의 사용에 기반이 될 수 있다. 훈련은 CNN을 반복적으로 적용함으로써 수행되며, 각 반복에는 실측 자료 데이터를 출력 이미지 패치와 비교하는데 기반하는 가중치의 조정이 수반된다. 현재 실시예에 있어서, 가중치는 기울기 하강에 의해 훈련 중에 조정된다.
조직학적 이미지 데이터 세트는 하나의 조직학적 이미지만 포함할 수 있거나, 또는 예를 들어 조직 영역의 다른 얼룩진 인접 섹션에서 얻은 것과 같은 복수의 조직학적 이미지의 합성일 수 있다.
일부 실시예에 있어서, CNN이 한 번에 하나의 조직학적 이미지(합성일 수 있음)에 적용될 수 있다. 다른 실시예에 있어서, CNN은 조직 영역의 다른 얼룩진 인접 섹션에서 취한 이미지 세트의 각각의 이미지에 병렬로 적용될 수 있다.
결과는 임상 의사에게 디스플레이될 수 있다. 즉, 조직학적 이미지는 그 관련된 확률 지도에, 즉 중첩되거나 서로 나란히 디스플레이될 수 있다. 또한 점수는 편리한 방법, 즉 관심 영역에 텍스트 라벨을 붙이거나 관심 영역을 가리킬 수도 있고, 또는 이미지와 나란히 디스플레이될 수 있다.
위 방법의 결과는 분할 마스크에 따른 조직학적 이미지에 대한 시각화를 생성하는 시각화 애플리케이션으로 사용자에게 제시될 수 있다. 시각화는 순위의 시각적 표시를 포함하도록 순위와 관련하여 생성될 수 있다.
그래픽 사용자 인터페이스의 레이아웃에는 다양한 옵션이 있다. 디스플레이 장치에 디스플레이하기에 적합한 시각화는 개요 보기 창과 분할 마스크 보기 창을 포함할 수 있다. 개요 보기 창 및 분할 마스크 보기 창은 분할 마스크가 조직학적 이미지와 겹쳐진 상태 또는 나란히 디스플레이될 수 있다. 시각화는 또한 모든 또는 선택된 관심 영역에 대해 복수의 중첩된 이미지를 포함하는 몽타쥬의 형태일 수 있다. 시각화 애플리케이션에는 사용자가 시각화와 상호작용하여 관심 영역을 선택할 수 있도록 작동 가능한 그래픽 사용자 인터페이스 선택 컨트롤을 포함할 수 있다.
사용자의 상호 작용을 모니터링하는 시각화 애플리케이션의 에이전트에는 사용자가 특별히 살펴본 관심 영역을 추적하기 위해 조직학적 이미지 데이터 세트의 시각화를 제공할 수 있다. 추적을 기반으로, 시각화 애플리케이션은 조직학적 이미지상에 시각화 세션을 종료하는 사용자 명령에 대한 응답이라고 불리는 점검 기능을 통합할 수 있고, 점검 기능은 사용자가 관심 영역의 논리 샘플을 특별히 보았는지의 여부를 확인하고, 이러한 확인은 어떤 방식으로든 순위에 의해 제한될 수 있다. 예를 들어, 관심 영역의 상위 영역 중 상위 5위 또는 10위와 같은 관심 영역을 특별히 보았는지 또는 특별히 본 관심 영역의 목록이 적어도 상위 관심 영역 및 사용자가 특별히 본 하위 관심 영역 아래 순위의 모든 관심 영역을 포함하는 지만을 확인할 수 있다. 예를 들어, 사용자가 특별히 3위와 5위의 관심 영역만을 보았다면, 점검 기능은 사용자에게 관심 영역 1위, 2위, 4위도 특별히 보도록 요청할 수 있다. 검사 결과 사용자가 특정 영역의 논리 샘플을 보지 않은 것으로 나타날 때, 시각화 세션을 종료하기 전에, 추가 확인 입력을 요구하는 통지가 사용자에게 발행될 수 있고, 및/또는 사용자에게 아직 구체적으로 검토되지 않은 관심 영역을 보도록 안내될 수 있다.
위 방법의 결과는 조직학적 이미지 데이터의 데이터 압축을 지원하는 데 사용될 수 있다. 특히, 가변 이미지 압축은 컨볼루션 신경망에 의해 발견된 관심 영역을 고려한 조직학적 이미지 데이터 세트에 적용될 수 있다. 즉 압축 알고리즘이 적용될 수 있어, 관심 영역 외부에 있는 픽셀을 우선적으로 압축하여, 별도로 저장될 수 있거나 파생된 데이터 세트를 가지거나, 원본 데이터 세트를 덮어쓰는 것에 의해, 조직학적 이미지 데이터 세트의 압축 버전을 생성한다.
압축 알고리즘은 무손실 또는 무손실일 수 있다. 사용된 압축 표준은 무손실또는 손실만 사용하거나, 무손실과 손실 압축의 옵션이 결합될 수 있다.
관심 영역을 식별하는 이상의 방법은 조직학적 이미지 데이터 세트의 획득을 포함하는 작업흐름에 통합될 수 있다. 즉, 방법은 기록학적 샘플이 포함된 슬라이드를 제공하는 것을 기반으로 획득한 이미지 데이터; 그리고 슬라이드를 스캔하여 조직학적 이미지 데이터 세트를 얻기 위한 슬라이드 스캐너의 사용을 포함할 수 있다. 그런 다음 CNN을 통해 관심 영역을 식별하는 이상의 방법이 실행될 수 있다. 그런 다음 결과는 조직학적 이미지 데이터 세트에 저장할 수 있고, 조직학적 이미지 데이터 세트가 획득된 바 그대로 또는 상술한 변수 압축 알고리즘을 사용하여 압축된 버전일 수 있다.
CNN 처리는 슬라이드 스캐너와 통합되어, 예를 들어 획득된 조직학적 이미지 데이터를 기록으로서 적절한 네트워크 연결을 통해 가상 슬라이드 라이브러리 또는 다른 데이터 저장소에 저장하기 전에, 슬라이드 스캐너 또는 그 제어 컴퓨터에 의해 수행될 수 있다. 다른 옵션은 CNN 처리를 데이터 저장소와 통합하는 것으로, 이에 따라 CNN 처리가 적용되기 전에, 획득한 조직학적 이미지 데이터가 슬라이드 스캐너에서 데이터 저장소로 먼저 전송된다.
본 개시의 다른 측면은 조직학적 이미지를 위한 시각화 애플리케이션의 작동 방법에 관한 것이다. 이 방법은 조직학적 이미지 데이터 세트의 조직학적 이미지를 사용자에게 반복적으로 디스플레이하도록 작동 가능한 시각화 애플리케이션이 탑재된 컴퓨터 장치의 제공을 포함한다. 컴퓨터 장치는 예를 들어 데이터 저장소에서 네트워크 연결을 통해 조직학적 이미지 데이터 세트를 탑재한다. 이러한 조직학적 이미지 데이터 세트는 위의 CNN 방법에 따라 사전 처리된 이미지 데이터 세트이고, 이에 따라 조직학적 이미지에 관심 영역을 표시하는 분할 마스크를 포함한다. 로딩은 어떠한 관심 영역도 포함하지 않은 기타 서브-이미지를 로딩하기 전에 관심 영역을 포함하는 조직학적 이미지 데이터 세트의 작은-영역 서브-이미지를 우선적으로 탑재한다. 이렇게 하면, 예를 들어 네트워크 연결의 대역폭 제한에 의해 이미지 데이터가 컴퓨터 장치에 저장되어 있는 위치에서 데이터 전송이 지연되는 경우, 관심 영역과 관련된 고해상도 이미지 데이터가 먼저 탑재된다. 작은-영역 서브-이미지는 조직학적 이미지 데이터 세트에 저장된 바와 같은 원본 해상도로 탑재될 수 있다. 조직학적 이미지 데이터 세트가 관심 영역의 순위를 매기기 위해 사전 처리된 경우, 작은-영역 서브-이미지가 순위 순서에 따라 탑재될 수 있다.
본 개시의 다른 측면은 상기 방법 중 어느 하나를 수행하는 기계 판독 인스트럭션을 지지하는 컴퓨터 프로그램 제품에 관한 것이다.
본 개시의 다른 측면에 따르면, 조직학적 이미지에서의 관심 영역을 식별하는 컴퓨터 장치가 제공되고, 이 장치는: 메모리에 저장된 기록으로부터 조직학적 이미지 데이터 세트를 수신하기 위해 작동 가능한 입력부; 그리고 위의 CNN 방법을 수행하도록 구현된 CNN 처리 모듈을 포함한다. 컴퓨터 장치에는 분할 마스크에 관한 메타데이터를 조직학적 이미지 데이터 세트를 포함하는 기록에 저장하도록 작동 가능한 출력부가 제공될 수 있어서, 메타데이터가 조직학적 이미지 데이터 세트에 링크된다. 디스플레이는 조직학적 이미지가 분할 마스크와 관련하여 디스플레이되도록, 조직학적 이미지 데이터 세트 및 분할 마스크를 디스플레이에 전송하도록 작동 가능한 디스플레이 출력을 통해 컴퓨터 장치에 연결될 수 있다.
본 개시의 다른 측면에 따르면, 예를 들어, 임상 네트워크의 시스템이 제공되고, 이 시스템은: 하낭 이상의 다음 요소와 조합하는 상기 특정된 바와 같은 컴퓨터 장치를 포함한다. 일 시스템 요소는 조직학적 이미지를 포함하는 환자 데이터의 기록을 저장하도록 구현된 데이터 저장소이다. 적절한 네트워크 연결은 환자 데이터 기록 또는 그 일부를 컴퓨터 장치와 데이터 저장소 사이에 전송할 수 있음이 이해될 것이다. 다른 시스템 요소는 조직학적 이미지를 획득하도로 작동 가능한 이미지 획득 시스템이다. 이러한 이미지 획득 장치는 적절한 네트워크 연결을 통해 데이터 저장소의 기록에 획득된 조직학적 이미지를 저장하도록 작동 가능한 것일 수 있다.
본 개시의 다른 측면에 따르면, 조직학적 슬라이드로 부터 조직학적 이미지 데이터 세트를 획득하는 슬라이드 스캐너가 제공되고, 이 슬라이드 스캐너는: 슬라이드 로더 및 대물렌즈를 포함하는 현미경 모듈; 조직학적 이미지 데이터 세트를 획득하기 위해 현미경 모듈을 제어하도록 작동 가능한 제어 컴퓨터; 그리고 관심 영역을 식별하기 위해 위의 CNN 처리 방법을 수행하도록 작동 가능한 신경망 처리 모듈을 포함한다. 슬라이드 스캐너는 관심 영역을 기반으로 조직학적 이미지 데이터 세트의 상기 특정된 가변 압축을 수행하도록 작동 가능한 압축 모듈을 추가로 포함할 수 있다.
본 개시의 다른 측면에 따르면, 사용자에게 조직학적 이미지 데이터 세트 중의 조직학적 이미지들을 상호 작용하게 디스플레이하는 시각화 애플리케이션이 탑재된 컴퓨터 장치가 제공되고, 이 컴퓨터 장치는: 대기 시간이 증가하는 계층에 배열된 복수의 메모리 단이 합성된 메모리로, 적어도 하나의 최하위 대기 시간 메모리 단 (tier)이 캐시 단인, 메모리; 그리고 시각화 애플리케이션을 포함한다. 시각화 애플리케이션은 메모리의 높은 대기 시간 부분에 저장된 조직학적 이미지 데이터 세트에 억세스하도록 작동 가능하고, 조직학적 이미지 데이터 세트가 위의 어느 하나의 CNN 방법에 따라 사전 처리되어서, 조직학적 이미지의 관심 영역을 표시하는 분할 마스크를 포함하고, 조직학적 이미지 데이터 세트는 최하위 대기 시간 메모리 단에서 유일하게 유지될 수 있는 것보다 더 크다. 또한 시각화 애플리케이션은 어떠한 관심 영역을 포함하지 않는 다른 서브-이미지에 비해, 관심 영역을 포함하는 데이터 세트의 고 해상도의 작은-영역 서브-이미지의 적어도 하나의 캐시 단에 우선적으로 사전 로딩되어 유지됨에 의해 조직학적 이미지 데이터 세트를 보기 위해 명령을 수신하는데 응답한다. 조직학적 이미지 데이터 세트가 관심 영역의 순위를 매기기 위해 사전 처리되면, 작은-영역 서브-이미지는 낮은 대기 시간 및/또는 우선 캐시 보존에 대한 높은 순위 지도으로 순위를 매기는 순서에 관한 적어도 하나의 캐시 단에 우선적으로 탑재되어 유지된다.
적어도 일부 실시예에 있어서, 조직학적 이미지는 종래의 광학 현미경, 초점 현미경 또는 얼룩지거나 지지 않은 조직 샘플의 조직학적 이미지를 얻기에 적절한 다른 종류의 현미경일 수 있는 현미경, 특히 가벼운 현미경에 의해 단면 조직 샘플의 2차원 이미지 샘플의 디지털 표현인 것이 이해될 것이다. 조직학적 이미지 세트의 경우, 조직 범위의 인접 섹션(즉 슬라이스)의 현미경 이미지의 연속일 수 있고, 각각의 섹션은 달리 얼룩질 수 있다.
본 개시의 일 측면의 요약에 있어서, 컨볼루션 신경망이 관심 영역을 식별하는데 조직학적 이미지에 적용된다. CNN은 관심의 레벨을 표시하는 하나 이상의 클래스 및 관심이 없음을 표시하는 적어도 하나의 클래스를 포함하는 관련 클래스에 ㄸ따른 픽셀을 분류한다. CNN은 병리학자가 조직학적 이미지의 시각화와 어떻게 상호 작용되는 지가 기록된 데이터를 포함하는 훈련 데이터로 훈련된다. 훈련된 CNN에 있어서, 관심 기반 픽셀 분류는 관심 영역을 형성하는 분할 마스크를 생성하는데 사용된다. 마스크는 다른 목적으로 사용될 수 있다. 이미지내의 임상학적으로 관련된 특징이 위치될 수 있도록 표시하는 데 시각화 애플리케이션에 의해 사용될 수 있다. 또한 조직학적 이미지의 가변 데이터 압축을 안내하는데 사용될 수 있다.
본 개시의 다른 측면에 따라서, 빠르고 더욱 신뢰할 수 있고, 덜 비싼 독성한 연구로 얻어지는 테스트 화합물로 인해 야기된 잠재적으로 위험한 조직 변화를 식별하는데 신경망이 사용될 수 있다. 신경망으로서, 엘만 및 집서(Elman 및 Zipser) 1988)의 자동 인코더를 제안한다. 자동 인코더는, 테스트 화합물과 달리, 독성이 없는 것으로 알려진 화합물로 처리되거나 및/또는 처리되지 않은 어떠한 조직 유형의 조직 샘플을 포함하는 훈련 데이터 세트를 사용하여 자체 지도 학습 프로세스에서 훈련될 수 있다. 어떤 조직의 유형들에서는 이질성의 양이 크지만, 훈련 프로세스를 통해, 자동 인코더는 특정 조직 유형의 병리 이미지의 변화가 정상 범위 내에 있음을 배운다. 훈련된 자동 인코더는 특정 조직 유형에서 본 정상 변화에서 벗어난 순서대로 탐지하고 순위를 매기는 데 적용될 수 있다. 자동 인코더에의해 식별된 영역, 즉 자동 인코더에 의해 조직 유형에 대한 이질성의 정상 범위 바깥쪽에 놓인 것으로서 결정된 영역을 실험함으로써, 독성학 병리학자는 건강상의 해로운 영향이 존재하는 지를 더 빠르고 더 신뢰성 있게 결정할 수 있다. 제안된 접근 방식은 테스트 화합물의 건강상 부작용을 놓칠 가능성을 줄여서, 독성 병리학자의 작업흐름의 속도를 높일 수 있다.
본 개시의 일 측면에 따르면, 주어진 조직 유형의 조직 샘플의 조직학적 이미지를 처리하기 위해 테스트 화합물로 처리되는 컴퓨터 자동화 방법이 제공된다. 이 방법은: 조직학적 이미지가 복수의 이미지 타일로 세분화될 수 있는 2차원 픽셀 어레이를 포함하는, 테스트 화합물로 처리된 조직 샘플의 조직학적 이미지를 수신하고; 테스트 화합물로 처리되지 않은 상기 주어진 조직 유형의 조직 샘플의 복수의 조직학적 이미지를 포함하는 훈련 데이터 세트로 훈련된 자동 인코더를 제공하고; 조직학적 이미지를 위한 독성 지도를 생성하도록 자동 인코터를 조직학적 이미지에 적용ㅇ하는 단계를 포함한다. 자동 인코더는 타일-바이-타일 기본으로 조직학적 이미지에서 이미지를 추출하고; 이미지 타일을 자동 인코더에 입력하고; 해당 이미지 타일을 출력으로 수신하고; 그리고 입력 및 출력 이미지 타일 사이의 거리를 계산하도록 작동된다.
이러한 거리는 독성 지도를 생성하는데 사용된다. 독성 지도는 기록에 포함될 수 있는 바와 같은 조직학적 이미지에 연결된 메타데이터로서 저장될 수 있다. 기록은데이터 저장소에 세트적으로 저장된 복수의 기록 중 하나일 수 있다. 데이터 저장소는 가상 슬라이드 라이브러리와 같은 데이터베이스일 수도 있고, 저장 드라이브의 폴더와 같은 단순한 파일 구조일 수 있다.
일부 실시예에 있어서, 각 타일의 거리를 임계값과 비교하고, 거리가 임계값을 초과할 경우, 해당 이미지 타일이 유독성이라는 라벨이 지정된다. 이러한 이진 타일 결과는 각 타일이 독성이 있는지 없는지의 라벨이 지정되었는 지에 기초한 이진 마스크로서 독성 지도를 생성하는 데 사용될 수 있다. 독성 지도는 독성 라벨로 표시된 타일이 거리 값에 비례하는 온도 값이 할당되는 열 지도(heat map)의 형태일 수도 있다. 열 지도가 공통 베이스 온도 값을 비독성 타일, 즉 독성으로 라벨되지 않은 타일에 할당하도록 값을 필터링할 수 있어서, 시각화에서 무독성 타일은 예를 들어 전혀 표시되지 않음 또는 반투명 세척과 같이 사용자에게 무독성으로서 긍정적으로 식별하는 식으로 표시됨에 의해 균일하게 시각화된다.
전체로서의 조직학적 이미지를 위해, 독성 또는 무독성의 단일 이진 라벨은 타일 결과를 집계하여 생성될 수 있다. 즉, 전체 독성 라벨을 생성할 수 있고, 이 라벨은 이미지 타일 중 어느 하나가 유독성으로 결정되는 것이 있으면 독성으로서 조직학적 이미지를 지정하는 이진 라벨이다. 따라서 전체 독성 라벨은 이미지 타일이 유독성으로 결정되는 것이 없는 경우에만 무독성이다.
위 방법의 연장으로서, 독성 타일을 독성 영역으로 그룹화하여 독성 영역의 분할 마스크를 생성하는 독성 지도에 분할 알고리즘을 적용할 수 있다.
주어진 조직학적 이미지의 독성 지도는 둘 이상의 지도, 예를 들어 이진, 열, 분할된 세트 또는 하나의 지도만을 사용할 수 있다.
이 방법은 또한 거리에 의해 측정된 독성에 따라 독성 타일 또는 독성 영역의 순위를 매길 수도 있고, 이 순위는 독성 지도에 저장될 수 있다.
조직학적 이미지 처리 결과, 즉 독성 지도는 그 독성 지도에 관련된 조직학적 이미지의 시각화를 생성하도록 구현된 시각화 애플리케이션과 유용하게 결합될 수 있다.
다양한 시각화 옵션이 있다. 시각화에는 조직학적 이미지상에 독성 지도가 중첩되는 개요 보기 창을 포함할 수 있다. 개요 보기 창은 각각의 독성 영역에 대한 순위 라벨이 포함될 수 있다. 시각화에는 독성 지도과 조직학적 이미지가 있는 일대일 비교를 위해 서로 인접하여 존재하고 있는 각각의 개요 보기 창을 포함할 수 있다. 시각화 애플리케이션은 하나 이상의 독성 영역을 선택하는 사용자 인터페이스 제어를 포함할 수 있다. 선택된 독성 영역은 팝업 창이나 사이드-바에 요약 통계가 디스플레이되거나, 또는 선택한 독성 영역에 추가적인 수치 처리가 사용자에 의해 시작될 수 있다. 그 시각화에는 현재 선택된 독성 영역의 시각화가 존재하는 클로즈-업 보기 창을 포함할 수 있고, 이때 클로즈-업 보기 창은 높은 해상도를 나타내고 있고, 현재 선택된 독성 영역의 관점에서 확대/축소된다. 독성 영역 선택 제어는 랭킹 순서대로 독성 영역을 예를 들어, 마우스의 스크롤 휠을 사용하여 스윕(sweeping)하는 스크롤 기능이 있을 수 있다.
다른 형태의 시각화는, 각 독성 영역이 축소판 이미지로 표시되어 있어, 그 순위가 매겨진 목록에 독성 영역을 표시하는 것이다. 이 작업은 분할 스크린 포맷의 상술한 클로즈-업 보기 창과 조합하여 행해질 수 있고, 클로즈-업 보기 창은 처음에 최상위 독성 영역을 고해상도로 나타내고 있고, 그런 다음 사용자가 현재 선택한 목록 항목을 표시하도록 변경한다.
다른 형태의 시각화는 디스플레이에 맞도록 어레이된 이미지의 모자이크 형태로 독성 영역을 표시하는 것이다. 각 모자이크 요소에는 순위 라벨이 표시될 수 있다.
이진 마스크 설정에 사용되는 임계값은 사용자에 의해, 예를 들어 시각화 애플리케이션에서의 적절한 사용자 제어로 설정 및/또는 조정될 수 있다.
열 지도의 시각화에 있어서, 예를 들어, 칼라 스케일 또는 회색 스케일, 또는 등고선을 다양한 방법으로 표시할 수 있다.
자동 인코더 훈련을 위해, 훈련을 위해 사용된 추출된 이미지 타일이 라이브 시스테에 실질적으로 사용될 훈련과 같은 크기를 가진다면 도움이 될 수 있다. 즉 훈련 타일은 테스트 화합물로 처리된 조직 샘플의 조직학적 이미지에서 추출된 독성 지도를 생성하는 라이브 시스템의 타일과 같은 크기이다.
본 개시의 추가 측면은 위의 방법을 수행하는 기계 판독 인스트럭션에 관한 컴퓨터 프로그램 제품에 관한 것이다.
본 개시의 다른 추가의 측면은 테스크 화합물로 처리된 주어진 조직 유형의 조직 샘플의 조직학적 이미지를 처리하는 컴퓨터 장치에 관한 것으로, 이 장치는: 조직학적 이미지가 복수의 이미지 타일로 세분화될 수 있는 2차원 픽셀 어레이를 포함하는, 테스트 화합물로 처리된 조직 샘플의 조직학적 이미지를 수용하도록 작동 가능한 입력부; 테스트 화합물로 처리되지 않은 상기 주어진 조직 유형의 조직 샘플의 복수의 조직학적 이미지를 포함하는 훈련 데이터 세트로 훈련된 자동 인코더를 실행하는 기계 판독 인스트럭션으로 탑재되는 프로세싱 모듈; 그리고 독성 지도를 저장하도록 작동 가능한 출력부를 포함하고, 프로세싱 모듈은 타일-바이-타일 베이스로 조직학적 이미지에서 이미지 타일을 추출하고; 이미지 타일을 자동 인코더에 입력하고; 해당 이미지 타일을 출력으로서 수신하고; 그리고 입력 및 출력 이미지 타일 사이의 거리를 계산하여, 계산된 거리를 통해 조직학적 이미지를 위한 독성 지도를 생성하도록 구현된다.
장치는: 그 독성 지도과 관련된 조직학적 이미지의 시각화를 생성하도록 작동 가능한 시각화 애플리케이션을 추가로 포함할 수 있다. 디스플레이는 또한 시각화 애플리케이션에서 시각화를 수신하고 표시하도록 제공될 수 있다.
본 개시의 추가 측면은 하나 이상의 요소와 결합된 상기 특정된 컴퓨터 장치 를 포함하는 시스템을 포함한다. 특히 시스템은 디지털 슬라이드 스캐너와 같은 조직학적 이미지를 획득하도록 작동 가능한 이미지 획득 장치를 포함할 수 있다. 또한 시스템에는 관련된 독성 지도에 조직학적 이미지를 포함하는 환자 데이터의 기록을 저장하도록 구현된, 가상 슬라이드 라이브러리와 같은 데이터 저장소가 포함될 수 있다. 환자 데이커의 기록 또는 일부를 컴퓨터 장치와 데이터 저장소 사이에 전송할 수 있는 네트워크 연결도 이러한 시스템의 일부일 수 있음이 이해될 것이다.
본 개시의 이러한 측면을 요약하면, 테스트 화합물에 대한 독성 반응을 감지하기 위해 테스트 화합물로 처리된 조직 유형의 조직 샘플의 조직학적 이미지를 처리하는 방법, 장치 및 시스템이 제공된다. 사용된 자동 인코더는 테스트 화합물로 처리되지 않았지만, 주어진 조직 유형인 조직 샘플의 조직학적 이미지를 포함하는 훈련 데이터 세트로 훈련된다. 훈련된 자동 인코더는 조직 유형에서 본 정상 변화에서 벗어난 순서대로 조직 영역을 검사하여 선택적으로 순위를 매기도록 적용되어서, 이에 따라 이미지의 독성 지도를 작성한다. 그런 다음 독성 지도는 조직 유형을 위한 이질성의 정상 범위 외부에 있는 것으로서 자동 인코더에 의해 식별된 영역을 작동하도록 독성 병리학자가 작동하는데 사용될 수 있다. 병리학자에 대한 이러한 지원은 평균적으로 병리학자의 리뷰를 더 빠르고 더 신뢰할 수 있게 할 것이다.
적어도 일부 실시예에서의 조직학적 이미지는 현미경, 종래의 광학 현미경일 수 있는 가벼운 현미경, 초점 현미경 또는 얼룩지지 않거나 또는 얼룩진 조직 샘플을 획득하기에 적합한 다른 종류의 현미경에 의해 단면 처리된 조직 샘플의 2차원 이미지의 디지털 표현이 이해될 수 있을 것이다. 조직학적 이미지의 세트의 경우, 각각의 섹션이 다르게 얼룩질 수 있는 조직 범위의 인접하는 섹션, 즉 슬라이스의 현미경 이미지의 연속일 수 있다.
본 발명의 기타 특징 및 장점은 다음의 상세한 설명 및 첨부 도면을 참조하면, 통상의 기술을 가진 자에게는 더욱 명확해질 것이다.
도 1a은 본 발명의 일 실시예에 사용된 신경망 아키텍처의 개략도이다.
도 1b는 실시예에 따른 입력 이미지 패치의 각 픽셀에 대해 개별 클래스를 예측하는 특징 지도를 생성하기 위해 글로벌 및 로컬 특징 지도가 도 1a의 신경망 아키텍처 내에서 어떻게 결합되는 지를 나타내고 있다.
도 1c는 실시예에 따른 입력 이미지 패치의 각 픽셀에 대해 개별 클래스를 예측하는 특징 지도를 생성하기 위해 글로벌 및 로컬 특징 지도가 도 1a의 신경망 아키텍처 내에서 어떻게 결합되는 지를 나타내고 있다.
도 2a는 실시예에 따른 원시 병리학 이미지를 보여주는 도면으로, 이 이미지는 컬러로 제작되었다.
도 2b는 CNN에 의해 생성된 예측 관심 영역을 보여주는 도면이다.
도 3은 CNN 훈련에 관련된 단계를 보여주는 흐름도이다.
도 4는 CNN을 이용한 예측에 관련된 단계를 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 방법의 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 방법의 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 방법의 흐름도이다.
도 8은 이상 징후를 감지하도록 훈련된 자동 인코더 CNN의 적용에 관련된 단계를 보여주는 흐름도이다.
도 9는 도 5a와 도 5b의 신경망 아키텍처 구현에 관련된 연산을 수행하는데 사용될 수 있는 TPU의 블록 다이어그램이다.
도 10은 본 발명의 실시예와 함께 사용할 수 있는 컴퓨터 네트워크의 예시도 이다.
도 11은 예를 들어 도 9의 TPU를 위한 호스트 컴퓨터로서 사용될 수 있는 컴퓨팅 장치의 블록 다이어그램이다.
도 12a는 본 명세서에 설명된 여러 실시예와 관련하여 사용될 수 있는 프로세서 지원 장치(550)의 예를 예시하는 블록 다이어그램이다.
도 12b는 단일 선형 어레이가 있는 라인 스캔 카메라의 예시를 보여주는 블록 다이어그램이다.
도 12c는 3개의 선형 어레이가 있는 라인 스캔 카메라의 예시를 보여주는 블록 다이어그램이다.
도 12d는 복수의 선형 어레이가 있는 라인 스캔 카메라의 예시를 보여주는 블록 다이어그램이다.
도 1a은 본 발명의 일 실시예에 사용된 신경망 아키텍처의 개략도이다.
도 1b는 실시예에 따른 입력 이미지 패치의 각 픽셀에 대해 개별 클래스를 예측하는 특징 지도를 생성하기 위해 글로벌 및 로컬 특징 지도가 도 1a의 신경망 아키텍처 내에서 어떻게 결합되는 지를 나타내고 있다.
도 1c는 실시예에 따른 입력 이미지 패치의 각 픽셀에 대해 개별 클래스를 예측하는 특징 지도를 생성하기 위해 글로벌 및 로컬 특징 지도가 도 1a의 신경망 아키텍처 내에서 어떻게 결합되는 지를 나타내고 있다.
도 2a는 실시예에 따른 원시 병리학 이미지를 보여주는 도면으로, 이 이미지는 컬러로 제작되었다.
도 2b는 CNN에 의해 생성된 예측 관심 영역을 보여주는 도면이다.
도 3은 CNN 훈련에 관련된 단계를 보여주는 흐름도이다.
도 4는 CNN을 이용한 예측에 관련된 단계를 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 방법의 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 방법의 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 방법의 흐름도이다.
도 8은 이상 징후를 감지하도록 훈련된 자동 인코더 CNN의 적용에 관련된 단계를 보여주는 흐름도이다.
도 9는 도 5a와 도 5b의 신경망 아키텍처 구현에 관련된 연산을 수행하는데 사용될 수 있는 TPU의 블록 다이어그램이다.
도 10은 본 발명의 실시예와 함께 사용할 수 있는 컴퓨터 네트워크의 예시도 이다.
도 11은 예를 들어 도 9의 TPU를 위한 호스트 컴퓨터로서 사용될 수 있는 컴퓨팅 장치의 블록 다이어그램이다.
도 12a는 본 명세서에 설명된 여러 실시예와 관련하여 사용될 수 있는 프로세서 지원 장치(550)의 예를 예시하는 블록 다이어그램이다.
도 12b는 단일 선형 어레이가 있는 라인 스캔 카메라의 예시를 보여주는 블록 다이어그램이다.
도 12c는 3개의 선형 어레이가 있는 라인 스캔 카메라의 예시를 보여주는 블록 다이어그램이다.
도 12d는 복수의 선형 어레이가 있는 라인 스캔 카메라의 예시를 보여주는 블록 다이어그램이다.
다음의 상세 설명에서, 본 개시를 더 잘 이해하기 위해 설명 목적 상 그리고 제한 없이 구체적인 세부사항이 제시된다. 본 개시는 당업자라면 구체적인 세부 사항에서 벗어나지 않는 다른 실시예에서 예측될 수 있음이 명백하다.
요약하면, 경험 있는 병리학자가 면밀하게 검토할 것으로 예상되는 식별 영역을 기반으로 임상적 관심 영역을 자동으로 감지하는 컴퓨터 자동화 방법을 설명하고 있다. 이 방법은 병리학자들이 시각화 애플리케이션을 사용한 진단 검토 과정에서 그 이미지들과 어떻게 상호 작용하는지에 관한 이질성 이미지와 데이터를 포함하는 훈련 데이터 세트를 이용하여 훈련되는 콘보루션 신경망의 적용을 기반으로 하고 있다. 상호 작용은 조직학적 이미지의 시각화와 병리학자가 어떻게 상호 작용하는 지의 표시인 선택된 파라미터를 로깅함에 의해 측정된다. CNN은 조직학적 이미지에 매핑되어 2차원 픽셀 어레이로 출력 이미지 패치를 생성하고, 이 출력 이미지 패치는 각 픽셀에 복수의 관련 클래스 중 하나를 할당하여 생성되며, 복수의 관련 클래스는 관심 픽셀을 나타내는 하나 이상의 클래스 및 관심 없는 픽셀을 나타내는 하나 이상의 클래스를 포함한다. 그런 다음 픽셀을 그 분류에 따라 관심 영역으로 그룹화하도록 분할이 적용된다. 관심 픽셀을 나타내는 클래스가 두 개 이상 있으면, 이들 클래스는 관심 레벨이 증가하는 것과 관련이 있거나 다른 유형의 관심과 관련이 있다. 후자의 경우, 훈련 데이터가 수집될 때, 검토하는 병리학자의 관심이 무었인지를 아는 것이 필요하고, 사용자의 상호 작용의 성격에서 유추될 수 있거나 병리학자에 의한 사전 수동 입력, 즉 그들이 특정한 종류의 암을 스크리닝하고 있는 지의 표시일 수 있다.
이 방법은 WSI와 같은 단일 입력 이미지 또는 WSI들와 같은 입력 이미지의 세트에 적용된다. 각 입력 이미지는 WSI와 같은 디지털화된 조직학적 이미지이다. 입력 이미지의 세트의 경우, 인접 조직 섹션의 다르게 얼룩진 이미지일 수 있다. 바이오마커 뿐만 아니라 종래의 대조-증강 얼룩으로의 얼룩을 포함하여 광범위하게 얼룩의 용어를 사용한다. 그래서 조직학적 이미지 데이터 세트는 단일 스캔에서 얻은 단일 WSI이거나, 복수의 조직학적 이미지 데이터 서브-세트로 구성된 복합체일 수 있고, 각각의 서브-세트는 다르게 얼룩진 조직 부위의 인접 섹션에 관한 것이다. 다른 합성 예를 복수의 조직학적 이미지 데이터 서브-세트가 있을 때이고, 각 서브-세트는 동일한 샘플, 즉 소위 z-스택에서 다른 촛점 깊이에 관한 것이다.
관심 영역을 찾는 제안된 컴퓨터 자동화 방법은 픽셀이 관심의 대상인지 여부를 나타내는 관련 클래스로 각 픽셀을 분류하는데 컨볼루션 신경망(CNN; convolutional neural network)을 사용한다.
구현하고 있는 신경망은
<http://www.robots.ox.ac.uk/~vgg/https/very_deep/>에서 이용 가능한 VGG-16 아키덱쳐와 설계가 유사하고, 및 전체 내용은 본 명세서에서 참조하고 있는 시모얀과 지저맨(monyan and Zisserman 2014)에 설명되어 있다.
입력 이미지는 예를 들어 본 명세서에서 더 상세하게 설명한 것처럼 몇 가지 기존 얼룩 중의 하나로 얼룩진 병리학 이미지이다. CNN을 위해, 이미지 패치는 128x128, 256x256, 512x512, 또는 1024x1024 픽셀과 같은 특정 픽셀 치수로 추출된다. 이미지 패치는 임의 크기이며, 정사각형일 필요는 없지만, 행과 열의 픽셀 수는 패치의 2n을 따르며, 여기서 n은 양의 정수이고, 이러한 숫자는 일반적으로 적절한 단일 CPU(중앙 처리 장치), GPU(그래픽 처리 장치), 또는 TPU(텐서 처리 장치) 또는 그 어레이에 의한 직접 디지털 처리에 보다 쉽게 적응할 수 있다.
'패치'는 일반적으로 정사각형 또는 직사각형 모양의 WSI에서 취한 이미지 부분을 가리키는 데 사용되는 기술 용어이다. 이와 관련하여 WSI는 10억 개 이상의 픽셀(기가픽셀 이미지)을 포함할 수 있으므로, 일반적으로 이미지 처리 속도는 CNN에 의해 처리하는 관리 가능한 크기(예: 500x500 픽셀)의 패치에 적용될 수 있다. 따라서 WSI는 패치 분할, CNN을 통한 분석, WSI와 동일한 크기의 확률 지도으로의 출력(이미지) 패치의 재조립을 기반으로 처리된다. 그런 다음, 확률 지도를 반투명하게 WSI 또는 그 일부에 겹칠 수 있어서, 병리학 이미지와 확률 지도 모두를 함께 볼 수 있다. 그런 의미에서 확률 지도는 이미지가 병리학 이미지에 오버레이 이미지로서 사용될 수 있다. CNN이 분석한 패치는 모두 동일한 배율이거나 또는 5x, 20x, 5Ox 등 의 다른 배율이 혼합되어 있을 수 있음에 따라 샘플 조직의 다른 크기의 물리적 영역에 대응한다. 다른 배율에 의해, 이는 WSI가 획득되는 물리적 배율, 또는 더 높은 배율(즉, 고해상도) 물리적 이미지를 디지털 축소로 얻은 효과적인 배율에 대응할 수 있다.
도 1a는 신경망 아키텍처의 개략도이다. 레이어 Cl, C2...CIO는 컨볼루션 레이어이다. 레이어 DI, D2, D3, D4, D5 및 D6은 전치 컨볼루션(즉, 디컨볼루션) 레이어이다. 특정 레이어를 상호 연결하는 선은 컨볼루션 C 레이어와 디컨볼루션 D 레이어 사이의 스킵 연결을 나타내고 있다. 스킵 연결은 더 큰 치수의 로컬 특징, 더 낮은 깊이 레이어(여기서, "더 큰" 및 "더 낮은"*은 더 낮은 지수의 컨볼루션 레이어를 의미한다)가 마지막(즉, 가장 작은, 가장 깊은) 컨볼루션 레이어로 부터의 글로벌 특징과 결합되게 한다. 이러한 스킵 연결을 통해 보다 정확한 개요를 제공한다. 각 레이어들이 패치의 폭과 높이를 2배 감소시키도록 사용되는 최대 풀 레이어는 도식에 직접 나타나지는 않지만 결과적으로 패치의 크기를 줄일 수 있어서 함축적으로 도시됨에도 불구하고, C2, C4, 및 C7 레이어층 뒤에 존재한다. 신경망의 일부 구현에 있어서, 최대 풀 레이어는 lxl 컨볼루션으로 대체되어 완전한 컨볼루션 네트워크가 된다.
신경망의 컨볼루션 부분은 다음과 같은 레이어를 순차적으로 가진다: 입력 레이어(RGB 입력 이미지 패치); 두 개의 컨볼루션 레이어, Cl, C2; 제1 최대 풀 레이어(표시되지 않음); 두 개의 컨볼루션 레이어 C3, C4; 제2 최대 풀 레이어(표시되지 않음); 세 개의 컨볼루션 레이어, C5, C6, C7; 그리고 제3 최대 풀 레이어(표시되지 않음). 제2 및 제3 최대 풀 레이어로부터의 출력은 레이어 C5 및 C8 각각에 대한 정상 연결 외에 스킵 연결을 사용하여 디컨볼루션 레이어에 직접 연결된다.
최종 컨볼루션 레이어, CIO, 제2 최대 풀 레이어(즉, 레이어 C4 이후) 및 제3 최대 풀 레이어(즉, 레이어 C7 이후)에서의 출력은, 입력(이미지) 패치와 동일한 크기로 되돌리도록, 즉 컨볼루션 특징 지도를 입력 이미지 패치와 폭과 높이가 같고 채널 수(즉, 특징 지도의 수)가 감지되어야 할 관련 클래스 수와 동일한, 예를 들어 관심 픽셀을 위한 하나의 클래스 및 관심 없는 픽셀을 위한 하나의 클래스를 가지는 특징 지도으로 변환하도록 스케일업하는 "디컨볼루션 레이어"의 개별 시퀀스에 각각 연결된다.
제2 최대 풀 레이어의 경우, 단 하나의 디컨볼루션 단계를 필요로 하기 때문에 레이어 D6에 대해 직접 링크한다. 제3 최대 풀 레이어의 경우, 두 단계의 디컨볼루션은 중간 디컨볼루션 레이어 D4를 통해, 레이어 D5에 도달하는 것이 필요하다. 가장 깊은 컨볼루션 레이어 CIO를 위해, 세 단계의 디컨볼루션은 DI 및 D2를 통해 레이어 D3에 도달하는 것이 필요하다. 그 결과는 입력 패치와 동일한 크기의 세 개의 어레이 D3, D5, D6이다.
비록 상태가 좋지 않지만, 도 1에 예시된 간단한 버전은 레이어 D4, D5 및 D6가 없고 출력 패치가 레이어 D3에서만 계산되는 스킵 연결을 생략할 수 있다.
도 1b는 도 1a의 신경망 아키텍처의 마지막 단계가 어떻게 진행되는지를 더 자세히 보여준다. 즉, 글로벌 특징 지도 레이어 D3 및 로컬 특징 지도 레이어 D5, D6는 입력 이미지 패치의 각 픽셀에 대한 개별 클래스를 예측하는 특징 지도를 생성하기 위해 결합된다. 구체적으로, 도 2는 최종 3개의 전치 디컨볼루션 레이어 D3, D5, D6가 관련 클래스 출력 패치로 어떻게 처리되는 지를 나타내고 있다.
상술한 접근 방식이 현재 디지털 병리학에 사용된 공지의 CNN과 어떻게 다른지 논의한다. 이러한 공지의 CNN은 여러 이용 가능한 클래스에서 선택한 하나의 클래스를 각 이미지 패치에 할당한다. 이러한 유형의 CNN의 예는 왕 등의 2016년, 류 등의 2017년, 크루즈-로아 등의 2017년, 반덴버그 등의 2017년의 논문에 나와 있다. 그러나 방금 설명한 것은 주어진 이미지 패치 내의 여러 클래스 중에서 선택된 하나의 클래스가 각각 및 모두의 픽셀에 할당된다. 그러므로, 각 이미지 패치를 위한 단일 클래스 라벨을 생성하는 대신에, 본 개시의 신경망은 주어진 패치의 각 개별 픽셀에 대해, 클래스 라벨을 출력한다. 출력 패치는 출력 패치의 각 픽셀이 여러 이용 가능한 클래스 중 하나(예: 이진 분류에서 관심 없음 및 관심 있음)에 할당되도록 입력 패치와 1:1 픽셀 대 픽셀 대응한다.
이러한 알려진 CNN에서, 각 패치에 단일 클래스를 할당하기 위해, 일련의 컨볼루션 레이어는 하나 또는 여러 개의 완전히 연결된 레이어에 뒤이어, 탐지할 클래스만큼의 값을 갖는 벡터에 뒤이어 채택된다. 예상된 클래스는 출력 벡터의 최대 값의 위치에 따라 결정된다.
훈련된 CNN은 디지털 슬라이드 이미지에서 픽셀을 입력으로 취하여 각 픽셀에 대한 확률 벡터를 반환한다. 벡터는 길이가 N이고, 여기서 N은 CNN이 탐지하도록 훈련받은 클래스의 수이다. 예를 들어, CNN이 세 가지 클래스, 즉 관심 있는, 관심 없는 조직 및 관심 없는 비 조직을 구별하도록 훈련된 경우, 벡터 v는 길이가 3이 된다. 벡터의 각 좌표는 픽셀이 특정 클래스에 속하는 확률을 표시한다. 그래서 v[0]은 픽셀이 관심 영역에 대한 단일 클래스에 속할 확률, v[l]은 조직에 대한 관심 없는 클래스에 속할 확률 및 v[2]는 조직이 아닌 픽셀에 대한 관심 없는 클래스에 속할 확률을 나타낼 수 있다. 각 픽셀의 클래스는 확률 벡터로 결정된다. 필셀을 클래스에 할당하는 간단한 방법은 가장 높은 확률을 가지는 클래스에 픽셀을 할당하는 것이다.
개별 픽셀의 클래스를 예측하기 위해, CNN은 컨볼루션 레이어에 이어 다른 아키텍처를 사용한다. 완전히 연결된 일련의 층 대신, 일련의 전치 컨볼루션 레이어를 가지는 컨볼루션 레이어가 이어진다. 완전 연결된 레이어들은 이 아키텍처에서 제거된다. 각 전치 레이어는 특징 지도의 폭과 높이를 두 배로 늘어나는 반면, 동시에 채널 수를 절반으로 줄인다. 이런 식으로, 이와 같이 특징 지도는 입력 패치 크기로 다시 확장된다.
또한, 예측을 개선하기 위해, Long 등, 2015년에 설명된 바와 같은 스킵 연결을 사용하며, 그 전체 내용을 참조하여 본 명세서에 포함하고 있다.
스킵 연결부는 최종 컨볼루션 계층 CIO를 확장해서 만들어진 거친 예측을 개선하기 위해, 낮은 특징을 사용한다. 도 1a의 레이어 D5 및 D6에 포함된 스킵 연결부의 로컬 특징은 도 1의 레이어 D3에 포함된 글로벌 특징을 최종 컨볼루션 레이어에서 확장함으로써 생성된 특징으로 연결된다. 그러면 글로벌 및 로컬 특징 레이어 D3, D5 및 D6는 도 1b에 도시된 바와 같은 결합 레이어에 연결된다.
도 Ib의 연결된 레이어에서 (또는 이와 달리 스킵 연결을 사용하지 않는 경우 디컨볼루션 레이어 D3에서 직접), 채널 수가 결합된 레이어의 lxl 컨볼루션에 의해 클래스 수와 일치하도록 감소된다. 이 분류 레이어에서 소프트맥스 연산은 결합된 레이어의 값을 확률로 변환한다. 출력 패치 레이어는 NxNxK의 크기이고, 여기서 N은 입력 패치의 픽셀의 너비 및 높이이고, 및 K는 감지된 클래스의 수이다. 따라서 이미지 패치의 모든 픽셀 P에 대해 K 크기의 출력 벡터 V가 있다. 그러면 고유한 클래스가 해당 벡터 V에서 최대값의 위치에 의해 각 픽셀 P에 할당될 수 있다.
따라서 CNN은 각 픽셀을 관심 또는 관심 없음으로 분류한다.
특정 신경망 실행은 고정된 픽셀 치수를 가지는 입력 이미지를 작동하도록 구현된다. 따라서, 훈련 및 예측의 두 가지 모두를 위한, 사전 처리 단계로, 패치는 원하는 픽셀 치수, 예를 들어 WSI가 기존의 가시광선 현미경에 의해 획득된 컬러 이미지일 때, NxNxn 픽셀, 여기서 n=3은 각 물리적 위치에 세 가지 기본 색상과 연관된 3개의 픽셀-일반적으로 RGB-이 있는 경우(이하에 더 자세히 설명되는 바와 같이 *n'이 두 개 이상의 컬러 WSI들이 결합된 경우의 합성 WSI들의 수의 3배일 수 있다.)를 가지는 WSI에서 추출된다. 또한, 'n*'은 단일 모노크롬 WSI의 경우 중 하나의 값을 가진다. 훈련을 더 빠르게 하기 위해, 입력 패치도 이 단계에서 중앙에 배치되고 정규화된다.
바람직한 접근 방식은 전체 WSI 또는 조직이 들어 있는 WSI의 적어도 전체 영역을 처리하는 것으로, 이 경우 패치는 WSI의 조직 영역의 적어도 전체를 덮는 타일들이다. 타일들은 겹치지 않게 접하여 있거나, 가장자리가 예를 들어 1, 2, 3, 4, 5, 6, 7, 8, 9 또는 10 픽셀 너비의 가장자리 여백 영역이 겹칠 수 있어서, CNN의 출력 패치들은 어떤 차이점들을 고려해서 함께 스티치될 수 있다. 하지만, 이러한 접근 방식은 원하는 경우, 선행 기술에서와 같이 병리학자에 의해 수행될 수 있는 같거나 다른 배율의 WSI를 통해 무작위 샘플의 패치에 적용될 수 있다.
신경망은 시모얀과 지서맨(Simonyan and Zisserman 2014)의 VGG-16 아키텍처와 설계 면에서 유사하다. 모든 컨볼루션 필터에서 매우 작은 3><3 커널을 사용한다. 최대 풀링은 소형 2><2 창과 보폭 2로 수행된다. 컨볼루션 레이어 다음의 일련의 완전히 연결된 레이어를 가지는 VGG-16 아키텍처와는 대조적으로, 디컨볼루션 시퀀스를 가지는 컨볼루션 레이어(더 정확하게 전치 컨볼루션)를 이어서 사용하여 분할 마스크를 생성한다. 시맨틱 분할을 위한 이러한 업샘플링 유형은 이전에 롱(Long et al 2015)등에 의해 자연 이미지 처리에 사용되었으며, 전체 내용을 본 명세서에서 참조하고 있다.
각 디컨볼루션 레이어는 입력 피처 지도의 폭 및 높이 치수를 2배로 확대한다. 이는 최대 풀 레이어의 축소 효과를 상쇄하고, 결과적으로 입력 이미지와 동일한 크기의 클래스 특징 지도를 나타낸다. 각 출력 컨볼루션과 디컨볼루션 레이어에서의 출력은 비선형 활성화 레이어에 의해 변환된다. 현재, 비선형 활성화 레이어는 정류자 함수 ReLU(x)= max(0,x)ReLU(x)=max(0,x)를 사용하고, 원하는 ReLU, eLU 등이 빠진 ReLU와 같은 다른 활성화 기능을 사용할 수 있다.
제안된 방법은 수정없이 원하는 수의 관련 클래스에 적용될 수 있다. 제약은 신경망에서 복제하고자 하는 방식으로 분류되는 적절한 훈련 데이터의 가용성이 있을 뿐이다. 예를 들어, 훈련 데이터가 검토하는 임상 전문가의 훈육 또는 서브-훈육으로 구분되는 경우, 각 훈육 또는 서브-훈육에 대한 다른 관련성 클래스가 있을 수 있다. 또 다른 예는 다른 질병 유형에 대한 서로 다른 관련 클래스일 수 있고, 이러한 각 관련 클래스는 예를 들어 어떠한 종양 유형에 특정될 수 있다. 그렇다면, 훈련 데이터는 검토자가 병리학적 이미지에서 어떤 질병 유형을 찾아야 하는지 알아야 하는 것이 필요하다. 또한 관심 없는 여러 개의 클래스가 있는 것도 도움이 될 수 있다. 예를 들어 조직을 전혀 포함하지 않아서, 기본적으로 어떠한 관심도 없는 WSI의 영역과, 조직을 포함하지만 임상학적 관심이 있는 조직이 없는 영역 사이를 식별하는 것이 가능하다. 병리학자는 보통 비-조직 영역을 완전히 스킵하되, 낮은 배율로 전체 또는 적어도 대부분의 조직 영역을 검토하기 때문에, 훈련 데이터는 이러한 차이를 반영할 수 있다.
소프트맥스 회귀 분석 레이어(즉, 다항 로지스틱 회귀 레이어)가 특징 지도의 값을 확률로 변환하기 위하여 각 채널 패치에 적용될 수 있다.
소프트맥스 회귀 분석에 의한 이러한 최종 변환 후, 특징 지도의 채널 C에서의 위치(x,y)의 값은 입력 이미지 패치의 위치(x,y)에서의 픽셀이 채널 C에 의해 감지된 유형에 속할 확률, P(x,y)을 포함한다.
컨볼루션 및 디컨볼루션 레이어의 수는 원하는 대로 증가 또는 감소될 수 있고, 신경망을 실행 중인 하드웨어의 메모리 제한을 받을 수 있는 것이 적합한 것이다.
미니-배치 경사 하강을 사용하여 신경망을 훈련한다. 학습률은 지수 붕괴를 사용하여 0.1의 초기 속도에서 감소된다. 스리바스타바(Srivastava et al 2014) 등에 의해 설명한 "dropout" 절차를 사용하여 과적합한 신경망을 예방하며, 전체 내용을 본 명세서에서 참고하고 있다. 네트워크 훈련은 사용 가능한 여러 딥 러닝 프레임워크 중의 하나를 사용하는 GPU, CPU 또는 FPGA에서 수행될 수 있다. 현재 실행은 구글 텐서플로우를 사용하고 있지만, 같은 신경망이 마이크로소프트 CNTK와 같은 다른 딥 러닝 프레임워크에서 실행되었을 수 있다.
신경망은 NxNxK 크기의 확률 지도를 출력하고, 여기서 N은 입력 패치의 픽셀의 폭과 높이이고, K는 감지된 클래스 수이다. 이러한 출력 패치는 WxHxK 크기의 확률 지도로 다시 스티치되며, 여기서 W 및 H는 분할되기 전의 원래 WSI의 폭과 높이이다.
확률 지도는 라벨 이미지의 각 위치(x, y)에서의 최대 확률을 가지는 클래스 인덱스를 기록함에 의해 WxH 라벨 이미지로 접혀질 수 있다.
현재 실행에 있어서, 신경망은 모든 픽셀을 관심 있음 및 관심 없음의 두 개 중 하나에 할당한다.
관심 영역에 대해 다중 관련 클래스를 사용하는 경우, 출력 이미지는 관심 있는 영역에 대한 단일 클래스 및 관심 없는, 즉 관심 있는 영역에 대한 다른 관련 클래스가 결합될 수 있는, 영역에 대한 단일 클래스를 가지는 더 단순한 이진 분류로 후처리될 수 있다. 이러한 이진 분류는 베이스 데이터로 부터 미이지를 만들 때 옵션으로서 사용될 수 있는 반면, 관심 있는(또는 관심 없는)의 다중 클래스의 분류는 저장된 데이터에 보존된다.
본 발명을 위한 특정 실행의 상기 설명은 CNN을 이용한 특정 접근법에 집중된 반면, 다양한 유형의 컨볼루션 신경망이 크게 변화되어 실행될 수 있다. 일반적으로, 특징 지도를 업스케일링하기 위해 점점 복합해진 특징을 감지하는데 컨볼루션을 사용하여 결국 입력 이미지의 폭과 높이로 돌아가는 전치 컨볼루션(디컨볼루션"deconvolution")을 사용하는 모든 신경망에 적절한 것이어야 한다.
도 1c는 도 1a의 신경망 아키텍처의 최종 단계가 실시예에 따라 어떻게 실행되는지를 더 자세히 나타내고 있다. 즉, 글로벌 특징 지도 레이어 D3 및 로컬 특징 지도 레이어 D5, D6는 입력 이미지 패치의 각 픽셀에 대한 개별 클래스를 예측하는 특징 지도를 생성하도록 결합된다. 구체적으로, 도 1b는 어떻게 최종 3개의 전치 컨볼루션 레이어 D3, D5, D6가 출력 패치로 처리되는 지를 나타내고 있다.
신경망은 가능한한 입력 이미지와 유사한 이미지를 출력한다. 재구성의 품질은 입력 이미지가 훈련 세트의 이미지와 얼마나 유사한지에 따른다. 훈련하는 동안 자주 볼 수 있는 이미지 유형에 대해, 재구성된 이미지는 입력 이미지와 근접하게 일치할 것이다. 독성 효과를 나타내는 이미지처럼, 훈련 세트에 없는 이미지 유형에 대해, 입력 이미지와 재구성된 이미지 사이의 유사성은 낮아질 것이다.
훈련된 자동 인코더 CNN은, 디지털 슬라이드 이미지에서 픽셀을, 입력으로서, 취하고, 입력 픽셀을 최대한 가깝게 일치시키려는 픽셀의 세트를 반환한다. 입력 픽셀을 출력에 복사하는 것을 단순히 배우는 것을 방지하기 위해, 희소성 제약이 훈련 중 손실 기능에 추가된다. 희소성 제약은 너무 많은 활성화가 동시에 발생할 때 손실을 증가시킨다. 이렇게 하면 네트워크가 어느 주어진 입력에 대해 소수의 장치만을 요하는 인코딩을 학습하게 된다.
재구성된 이미지의 품질을 향상시키기 위해, 자동 인코더 CNN은 컨볼루션 레이어를 따르는 다른 아키텍처를 사용한다. 일련의 완전히 연결된 레이어 대신에, 컨볼루션 레이어에는 일련의 전치 컨볼루션이 따른다. 완전히 연결된 레이어는 이 아키텍처에서 제거된다. 각 전치 레이어는 특징 지도의 폭과 높이를 두 배로 하면서, 동시에 채널의 수를 절반으로 줄인다. 이렇게 하면 특징 지도가 입력 패치 크기로 다시 업스케일된다.
또한 예측을 개선하기 위해, 롱(Long et al 2015) 등에 의해 설명된 바와 같이 스킵 연결을 사용하며, 전체 내용을 본 명세서에서 참조하고 있다. 스킵 연결부는 최종 컨볼루션 레이어 CIO로 부터의 업스케일링에 의해 만들어진 거친 예측을 향상하기 위해 더 낮은 특징을 사용한다. 도 1a의 레이어 D5 및 D6에 포함된 스킵 연결부에서의 로컬 특징은 최종 컨볼루션 레이어에서 도 1a의 레이어 D3에 포함된 글로벌 특징을 업스케일링하여 생성된 특징과 연결된다. 글로벌 및 로컬 특징 레이어 D3, D5 및 D6는 도 1c에 도시된 바와 같은 결합된 레이어에 연결된다.
도 1c의 연결된 층으로부터(또는 이와 달리, 스킵 연결을 사용하지 않는 경우의 최종 디컨볼루션 레이어 D3로 부터 직접), 채널의 수가 결합된 레이어의 1xl 컨볼루션에 의해 입력 이미지의 채널 수와 일치하도록 축소된다. 출력 패치 레이어는 크기 NxNxC를 가지며, 여기서 N은 입력 패치의 픽셀의 폭과 높이이고, C는 입력 이미지의 채널 수이다.
특정 신경망 실행은 픽셀 크기가 고정되어 있는 입력 이미지에 작동하도록 구현된다. 따라서, 사전 처리 단계로서, 훈련 및 예측 두 가지를 위해, 패치는 원하는 픽셀 치수, 예를 들어 NxNxn 픽셀, 여기서 n=3은 각 물리적 위치에 3개의 기본 컬러-WSI가 기존의 가시광선 현미경에 의해 획득될 때의 대표적인 RGB-와 연관된 3개의 픽셀을 가지는 WSI로 부터 추출된다.(이하에 자세히 설명되는 'n'은 두 개 이상의 컬러 WSI의 경우의 합성된 WSI의 수에 3배일 수 있다) 또한 'n'은 단일 모노크롬 WSI의 경우에 하나의 값을 가진다. 훈련을 더 빠르게 하기 위해, 입력 패치도 이 단계에서 중앙에 배치되고 정규화된다.
바람직한 접근 방식은 전체 WSI를 처리하거나 또는 조직을 포함하는 WSI의 적어도 전체 영역을 처리하여서, 패치들에 타일이 있고, WSI의 적어도 전체를 덮는다. 타일은 겹치지 않고 접하여 있거나, 가장자리가 예를 들어 1, 2, 3, 4, 5, 6, 7, 8, 9 또는 10 픽셀 너비의 가장자리 여백 영역이 겹칠 수 있어서, CNN의 출력 패치들은 어떤 차이점들을 고려해서 함께 스티치될 수 있다. 하지만, 이러한 접근 방식은 원하는 경우, 선행 기술에서와 같이 병리학자에 의해 수행될 수 있는 같거나 다른 배율의 WSI를 통해 무작위 샘플의 패치에 적용될 수 있다.
신경망은 시모얀과 지서맨(Simonyan and Zisserman 2014)의 VGG-16 아키텍처와 설계 면에서 유사하다. 모든 컨볼루션 필터에서 매우 작은 3><3 커널을 사용한다. 최대 풀링은 소형 2><2 창과 보폭 2로 수행된다. 컨볼루션 레이어 다음의 일련의 완전히 연결된 레이어를 가지는 VGG-16 아키텍처와는 대조적으로, 디컨볼루션 시퀀스를 가지는 컨볼루션 레이어(더 정확하게 전치 컨볼루션)에 이어서 사용하여 입력 이미지에 일치하는 치수의 출력 이미지를 업스케일링한다. 이러한 업샘플링 유형은 이전에 롱(Long et al 2015)등에 의해 자연 이미지 처리에 사용되었으며, 전체 내용을 본 명세서에서 참조하고 있다.
각 디컨볼루션 레이어는 입력 피처 지도의 폭 및 높이 치수를 2배로 확대한다. 이는 최대 풀 레이어의 축소 효과를 상쇄하고, 결과적으로 입력 이미지와 동일한 크기의 클래스 특징 지도를 나타낸다. 각 출력 컨볼루션과 디컨볼루션 레이어에서의 출력은 비선형 활성화 레이어에 의해 변환된다. 현재, 비선형 활성화 레이어는 정류자 함수 ReLU(x)= max(0,x)ReLU(x)=max(0,x)를 사용하고, 원하는 ReLU, eLU 등이 빠진 ReLU와 같은 다른 활성화 기능을 사용할 수 있다.
제안된 방법은 수정없이 원하는 수의 조직 유형에 적용될 수 있다. 제약은 단지 적절한 수와 신경망에서 학습되는 조직 유형의 다양한 조직학적 이미지의 이용가능성만이 있다. 조직학적 이미지는 건강한 조직, 또는 적어도 미래에 다시 테스트되어야 할 어떠한 화합물로 처리되지 않는 조직의 대표성이 있는 이미지를 설정하는 것과 달리 종래의 전문가 검토가 필요없다.
컨볼루션 및 디컨볼루션 레이어의 수는 원하는 대로 증가 또는 감소될 수 있고 하드웨어 실행 신경망의 메모리 제한을 받을 수 있는 것이 적합한 것이다.
미니-배치 경사 하강을 사용하여 신경망을 훈련한다. 학습률은 지수 붕괴를 사용하여 0.1의 초기 속도에서 감소된다. 스리바스타바(Srivastava et al 2014) 등에 의해 설명한 "dropout" 절차를 사용하여 과적합한 신경망을 예방하며, 전체 내용을 본 명세서에서 참고하고 있다. 네트워크 훈련은 사용 가능한 여러 딥 러닝 프레임워크 중의 하나를 사용하는 GPU, CPU 또는 FPGA에서 수행될 수 있다. 현재 실행은 구글 텐서플로우를 사용하고 있지만, 같은 신경망이 마이크로소프트 CNTK와 같은 다른 딥 러닝 프레임워크에서 실행되었을 수 있다.
자동 인코더 신경망은 NxNxC 크기의 이미지 타일을 출력하며, 여기서 N은 입력 패치의 픽셀의 폭과 높이이고, 및 C는 입력 이미지에 있는 채널의 수이다. 각 입력 및 출력 이미지 타일의 쌍에 대해 어스무버의 거리(Earthmover's distance(EMD))가 계산된다. 거리 메트릭이 경험적으로 결정된 임계값 T 이상이면, 입력 이미지의 타일 위치에 해당하는 픽셀은 WxHx1 크기의 출력 지도에서 독성 효과에 대한 양성으로 표시되며, 여기서 W와 H는 원래 WSI의 폭과 높이이다.
본 발명을 위한 특정 수행의 상기 설명은 하나의 특정 자동 인코더 CNN을 사용하는 특정 접근 방식에 집중한 반면, 다양한 다른 유형의 자동 인코더 컨볼루션 신경망으로 수행될 수 있음이 이해된다. 일반적으로 자동 인코더 신경망은 컨볼루션(convolution)을 사용하여 점점 더 복잡한 특징을 감지하고, 전치 컨볼루션("디컨볼루션")을 사용하여 입력 이미지의 폭과 높이로 돌아가도록 특징 지도를 업스케일링하는 것이 적합한 것이다.
예
도 2a는 오른쪽 아래 사분면에 있는 더 크고 어두운 자주색 세포의 클러스터가 종양인 반면 더 작은 어두운 자주색 세포는 림프구인 H&E-얼룩진 WSI에서의 패치로서 원시 이미지의 일부를 나나태고 있다.
도 2b는 CNN에 의해 생성된 예상 관심 영역을 마스크로 나타내고 있다. 도 2는 CNN에 의해 생성될 수 있는 이진 마스크를 개략적으로 나타내고 있고, 이진 마스크는 겹치지 않은 이미지 타일을 기반으로, 십자로 해칭된 타일은 관심 영역이고, 해칭이 없는 타일은 관심이 없는 영역으로 예측되는 영역이다. 타일-기반 접근 방식을 채택할 경우, 타일의 수가 크기 순서로 도시된 12 x 8 어레이보다 훨씬 더 높은 점이 이해될 수 있다. 다른 예를 들자면, 관심 영역의 패리미터를 형상-기반 분할 알고리즘에 따라, 사각형이나 직사각형 대신 임의의 모양을 나타내도록 구현하한다.
획득 및 이미지 처리
방법의 시작점은 조직 샘플이 단면화(즉, 슬라이스)되어, 다른 얼룩으로 인해 인접 구역이 얼룩져 있는 것이다. 단면이 얇기 때문에 인접한 단면은 조직 구조가 매우 유사하지만, 다른 레이어를 가지기 때문에, 동일하지는 않다.
예를 들어, 각각 다른 얼룩이 있는 5개의 인접 섹션 ER, PR, p53, HER2, H&E 및 Ki-67이 있다. 각 섹션에서 현미경 이미지를 얻는다. 인접 섹션이 매우 유사한 조직 모양를 가진다 하더라도 얼룩은 다른 특징, 핵, 세포질, 일반적인 대비 강화 등에 의한 모든 특징들을 강조 표시한다.
다른 이미지가 정렬되거나 뒤틀리거나 사전 처리되어, 한 이미지에 주어진 특징을 다른 이미지의 동일한 특징에 대한 좌표를 맵핑하는 것이다. 매핑은 현미경에서의 슬라이드 정렬 시와 조직 슬라이스를 슬라이드상에 장착 시의 차이로 인한 약간 다른 배율, 방향 등과 같은 인자에 의해 야기된 이미지들 사이의 차이를 처리한다.
다르게 얼룩진 인접 섹션들로 이루어진 다른 WSI들 세트 사이를 맵핑하는 좌표로, WSI들은 복합 패치가 처리를 위해 CNN에 의해 추출될 수 있는 단일 합성 WSI로 병합될 수 있고, 이러한 복합 패치는 NxN><3m의 치수를 가지며, 여기서 'm'은 세트를 형성하는 합성 WSI들의 수이다.
이미지의 표준 처리가 수행된다. 이미지 처리 단계는 WSI 레벨 또는 개별 이미지 패치의 레벨에서 수행될 수 있다. CNN이 컬러 이미지가 아닌 모노크롬으로 작동하도록 구현되면, 컬러에서 그레이스케일로 이미지가 변환될 수 있다. 이미지는 대비 강화 필터를 적용하여 수정될 수 있다. 이미지 세트에서 공통 조직 영역을 식별하는 데 일부 분할이 실행될 수 있고, 또는 단순하게 조직에 관계없는 배경을 거부하여 분할이 실행될 수 있다. 분할은 다음의 이미지 처리 기법의 어느 하나 또는 모두를 포함할 수 있다.
1. 종자 조직 영역을 식별하기 위한 변화-기반 분석
2. 적응형 임계값
3. 형태학적 연산(예: 블롭(blob) 분석)
4. 윤곽선 식별
5. 근접 휴리스틱 규칙에 기반한 윤곽선 병합
6. 불변 이미지 모멘트 계산
7. 가장자리 추출(예: 소벨(Sobel) 가장자리 감지)
8. 곡률 유동 필터링
9. 직렬 섹션 간의 강도 변화를 제거하기 위한 조직학적 일치
10. 다중 해상도 강체/아핀 이미지 등록(경사 강하 옵티마이져)
11. 비강성 변환/변형
12. 슈퍼픽셀 클러스터링
위와 같은 종류의 이미지 처리 단계를 패치 추출 후 WSI 또는 개별 패치에서 수행할 수도 있음을 확인할 수 있다. 경우에 따라서, 패치 추출 전후 모두에 동일한 유형의 이미지 처리, 즉 CNN 전처리 및 CNN 후처리 각각을 수행하는 것이 유용할 수 있다. 즉, 일부 이미지 처리가 패치 추출 전의 WSI에서 행해질 수 있고, 기타 이미지 처리는 WSI에서 패치를 추출한 후에 행해질 수 있다.
이러한 이미지 처리 단계는 예를 통해 설명되며, 어떠한 방식으로든 제한적인 것으로 해석되어서는 안되는 것이다.
훈련 및 예측
도 3은 CNN 훈련에 관련된 단계를 보여주는 흐름도이다.
단계 S40에서, 이전에 적어도 한 명의 임상의사가 검토했으며, WSI와 임상의사와의 상호 작용과 관련된 관련 파라미터를 기록하도록 로깅된 처리용 WSI가 포함된 훈련 데이터를 검색한다. 훈련 데이터 세트는 조직학적 이미지와 병리학자의 상호 작용 데이터로 구성된다. 병리학자 상호 작용 데이터는 병리학자가 훈련 데이터 세트에 포함된 주어진 조직학적 이미지의 하나 이상의 시각화와 상호 작용하는 지에 관한 복수의 파라미터를 포함한다. 적절한 파라미터는 다음의 조합을 포함한다.
또한, 주어진 조직학적 이미지가 여러 병리학자의 상호 작용을 포함하는 경우에 복합 파라미터가 생성될 수 있다. 이 경우, 여러 병리학자로 부터의 동일한 조직학적 이미지와의 상호 작용 사이의 상관 계수를 기반으로 하는 파라미터는, 한 면의 병리학자에 의해 자세히 보았을 때만의 영역과 비교해서, 예를 들어 동일한 영역을 여러 병리학자가 자세히 살펴보았을 때 강조 표시하도록 계산될 수 있다.
단계 S41에서, WSI들은 CNN을 위한 입력 이미지 패치인 입력 패치로 분해된다. 즉, 이미지 패치는 WSI에서 추출된다.
단계 S42에서, 이미지 패치는 상술한 바와 같이 사전 처리된다. (이와 달리, 또는 추가로, WSI들은 단계 S41 이전에 상술한 바와 같이 사전 처리될 수 있다.)
단계 S43에서, 초기 값은 CNN 가중치, 즉, 레이어 사이의 가중치에 대해 설정된다.
단계 S44에서, 입력 이미지 패치의 각 패치가 CNN에 입력되고, 픽셀-바이-픽셀 베이스로 패치를 찾고 분류하기 위해 처리된다.
단계 S45에서, CNN 출력 이미지 패치를 실측 자료 데이터와 비교한다. 이는 패치별로 수행될 수 있다. 이와 달리, 추출된 패치가 전체 WSI를 포함하는 경우, WSI 레벨에서 또는 연속적인 패치 배치(예: WSI의 한 사분면)로 구성된 WSI의 서브-영역에서 수행될 수 있다. 이러한 변형에서는, 출력 이미지 패치는 전체 WSI, 또는 그 연속적인 부분에 대한 확률 지도로 재조립될 수 있고, 및 확률 지도가 예를 들어 WSI에 대한 반투명 오버레이로 표시되면, 확률 지도는 컴퓨터 및 사용자 모두에 의해 시각적으로 실측 자료 데이터와 비교될 수 있다.
단계 S46에서, CNN은 이 비교를 통해 학습하고 CNN 가중치를, 예를 들어 경사 하강 접근법을 사용하여 업데이트한다. 따라서 이러한 학습은 프로세스 흐름의 리턴 루프에 의해, 도 4에 도시된 바와 같이, 훈련 데이터의 반복된 프로세스로 피드백되어서, CNN 가중치가 최적화될 수 있다.
훈련 후, CNN은 어떠한 실측 자료 데이터와 독립적으로, 즉 예측을 위한 실시간 사용으로 WSI들에 적용될 수 있다.
도 3의 대안 실시예에 대해 설명한다. 이러한 대안 실시예에 있어서, 도 3은 자동 인코더 CNN을 훈련하는데 포함된 단계를 보여주는 흐름 다이어그램이다.
단계 S40에서, 처리를 위한 WSI가 포함된 훈련 데이터를 검색한다. 학습은 전문가 주석, 전문가 분할 등과 같은 실측 자료 데이터가 필요하지 않도록 자기-관리적이다.
단계 S41에서, WSI들은 CNN을 위한 입력 이미지 패치인 이미지 패치로 분해된다. 즉, 이미지 패치는 WSI에서 추출된다.
단계 S42에서, 이미지 패치는 상술한 바와 같이 사전 처리된다. (이와 달리, 또는 추가로, WSI는 단계 S41 이전에 상술한 바와 같이 사전 처리될 수 있다.)
단계 S43에서, 초기 값은 CNN 가중치, 즉 레이어 사이의 가중치을 위해 설정된다.
단계 S44에서, 입력 이미지 패치의 각 배치는 CNN에 입력되고, 도 1a 및 도 1b를 참조하여, 위에서 추가로 설명한 바와 같이, 픽셀-바이-픽셀 베이스로 처리된다.
단계 S45에서, CNN 출력 이미지 패치는 CNN 입력 이미지 패치와 비교된다. 이는 패치별로 수행될 수 있다. 이와 달리, 패치가 추출되어 전체 WSI를 포함하면, WSI 레벨 또는 연속적인 패치 배치(예: WSI의 한 사분면)를 포함하는 WSI 서브-영역에서 수행될 수 있다. 이러한 변형에서는, 출력 이미지 패치는 전체 WSI, 또는 그 연속적인 부분을 위한 확률 지도로 재조립될 수 있다.
단계 S46에서, CNN은 CNN 가중치를, 즉 경사 하강 접근법을 이용하여, 반복적으로 업데이트하여 입력 및 출력 패치 사이의 차이를 최소화하여 학습한다. 따라서 자기-관리적 학습은 프로세스 흐름의 리턴 루프에 의해 도 2에 표시된 바와 같은 훈련 데이터의 반복된 처리로 피드백되어서, CNN 가중치가 최적화될 수 있다.
훈련이 끝나면, CNN을 WSI들을, 즉 이상 징후 감지를 위해 실시간으로 사용하여 적용될 수 있다.
도 4는 CNN을 이용한 예측에 포함된 단계를 보여주는 흐름도이다.
단계 S50에서, 하나 이상의 WSI를 실험실 정보 시스템(LIS) 또는 기타 조직학적 데이터 저장소로 부터 처리를 위해 검색된다. 이러한 WSI들은 예를 들어 상술한 바와 같이 사전 처리된다.
단계 S51에서, 해당 또는 각 WSI에서 이미지 패치가 추출된다. 패치는 전체 WSI를 포함하거나 랜덤 또는 비랜덤 선택일 수 있다.
단계 S52에서, 이미지 패치는 상술한 바와 같이, 사전 처리된다.
단계 S53에서, 입력 이미지 패치의 각 배치는 CNN에 입력되어, 도 1 및 도 2를 참조하여 위에 추가로 설명한 바와 같이, 픽셀-바이-픽셀 베이스로 패치를 찾아서 분류하도록 처리된다. 그래서 출력 패치는 입력 이미지 패치를 추출한 WSI를 위한 확률 지도로서 재조립될 수 있다. 확률 지도가 예를 들어 WSI에, 또는 WSI를 따라 반투명 오버레이로 표시되면, 확률 지도는 디지털 처리의 컴퓨터 장치 및 사용자 모두에 의해 시각적으로 WSI와 비교될 수 있다.
단계 S54에서, 관심 영역은, 예를 들어 너무 작은 영역이나 가장자리 인공 구조물(artifacts)일 수 있는 영역과 같이 거짓 긍정일 가능성이 있는 관심 영역을 제외하고 필터링된다.
단계 S55에서, 점수 알고리즘이 실행된다. 점수 계산에는 필터의 점수 공식(단계 S54의 일부일 수 있음)의 응용을 적용하기 전에 특정 픽셀 또는 픽셀 그룹(예: 타일)을 필터링하는 애플리케이션 또는 점수 공식이 점수를 수정(단계 S55 단계의 일부일 수 있음)하도록 적용된 이후의 애플리케이션을 포함할 수 있다. 각 관심 분야에 대해 점수를 집계하거나, 및/또는 WSI(또는 WSI의 서브-영역)에 대해 추가로 집계될 수 있다. 점수를 집계하기 위한 하나의 유용한 서브-영역 유형은 WSI에 대한 데이터 세트가 인접 이미지 타일의 메모리(즉, 겹치는 직사각형 또는 정사각형 타일의, 2차원 어레이의 복사 또는 복사되지 않음)에 저장된 경우 이미지 타일일 수 있고, 겹치는 경우 일반적으로 여백에 비교적 작은 겹침이 있다. 이러한 방식으로 사전-캐시 여부를 결정하고, 이미지 타일은 해당 이미지 타일의 점수를 고려하여 만들 수 있다.
S56 단계에서, 그 결과는 병리학자나 예를 들어 적절한 고해상도 모니터에 주석이 달린 WSI를 표시하여 검토 및 진단하는 다른 관련 임상 숙련자에게 제시된다.
단계 S57에서, CNN의 결과, 즉 확률 지도 데이터 및 추가 진단 정보와 함께 병리학자에 의해 추가된 추가 진단 정보와 함께 CNN 파라미터와 관련된 선택적인 메타데이터는 CNN에 의해 처리되는 WSI, 또는 WSI들의 세트를 포함하는 환자 데이터 파일에 연결된 방식으로 저장된다. 따라서 LIS 또는 기타 조직학적 데이터 저장소는 CNN 결과로 보완된다.
요약하면, 훈련된 CNN은 디지털, 즉 가상 슬라이드 이미지에서 입력 픽셀을 취하여 점수를, 예를 들어 0 내지 1 범위의 점수 비율로 계산한다. 그 점수는 병리학자가 시각화 애플리케이션을 사용할 때 가상 슬라이드 이미지와 어떻게 상호 작용하는 지에 관한 방법에 대한 훈련 데이터로 부터 CNN이 학습한 내용을 바탕으로 병리학자와 영역이 얼마나 관련되어 있는지를 나타낸다.
이하 설명된 바와 같이, 점수 출력은 각 입력 슬라이드 영역을 점수에 매핑하여 관심 영역의 열 지도를 작성할 수 있도록 조립될 수 있다. 서로 접하거나 서로 가까이 있는 관심 픽셀은 개별 관심 분야를 결정하기 위해 분할 알고리즘에 의해 그룹화될 수 있다. 각 영역에 대해, 점수는 픽셀 그룹을 포함하는 분할된 영역에서의 픽셀의 모든 확률에 대한 수학적 평균으로서 계산될 수 있다. 중위수, 가중 평균 등과 같은 기타 요약 통계량은 영역의 점수를 계산하는 데 사용될 수 있다.
관심 영역을 이용한 향상된 그래픽 사용자 인터페이스
도 5는 상술한 바와 같이 훈련된 CNN에 의해 찾은 관심 영역을 GUI으로 시각화 애플리케이션에 의해 수행된 바와 같은 본 개시의 실시예에 따른 흐름 다이어그램이다.
단계 S71은 슬라이드 스캐너에 의해 생성될 수 있는 바와 같이, WSI의 이미지 데이터를 포함하는 이미지 데이터 파일을 제공한다. 이미지 데이터 파일에 여러 개의 이미지, 예를 들어 복수의 얼룩의 각각에 대한 하나, 또는 유한한 깊이의 투명 또는 반투명 샘플을 통해 현미경의 초점면을 스텝핑하여 얻은 샘플(소위 Z-스택)에서 다른 깊이의 각각에 대한 하나의 이미지가 포함될 수 있다.
단계 S72는 예를 들어 변화-기반 분석, 적응 임계형, 형태학적 연산 등과 같은 위의 추가 예에 의해 설명된 바와 같이, 일부 CNN 전처리를 수행할 수 있는 선택적 단계이다.
단계 S73는 특히 도 4의 단계 S51 내지 단계 S54를 참조하여, 위에서 설명한 CNN을 실행한다. 조직 유형의 픽셀-바이-픽셀 분류는 관심 있는 픽셀을 표시한 다음, 관심 영역을 간략하게 설명하는 분할을 수행한다. 분할을 위해, 일반적으로 연속적인 관심 픽셀은 즉 서로 접촉하거나 가까운 곳에 있는 경우 공통 관심 영역에 속하는 경우이다. 그러나 예를 들어 두 개의 서로 다른 관심 분류와 연관되어 있는 관심 영역을 접촉하는 두 개를 다른 픽셀 분류로 식별하기 위한 신뢰성 향상을 위해 보다 복잡한 세분화 기준이 일반적으로 포함된다. CNN은 각 픽셀을 확률로 할당한다. 개별 픽셀 점수는 어떤 관심 영역을 정의해야 하는지 결정하고자 분할에 의해 결정되는 개별 영역을 기반으로 결합된다. 관심 영역은 사전-설정되거나, 사용자에 의해 선택적으로 조정가능한 소프트웨어 애플리케이션에 설정된 기준에 의해 필터링될 수 있다. 예를 들어 어느 병리학자는 평균 관심 점수가 위에 있는 직경 100마이크로미터 이상의 관심 영역 50%를 보기를 선택할 수 있고, 다른 병리학자는 평균 관심 점수가 위에 있는 영역 80%만을 검사하기를 원할 수 있다.
단계 S74에서, 단계 S73의 관심 영역-찾기 CNN에 의해 생성된 데이터, 즉 관심 영역-특정 데이터가 각 관심 영역에 대한 요약 통계 세트를 계산하는 데 사용된다. 예를 들어, 각 관심 영역에 대해, 해당 관심 영역에 포함된 모든 픽셀에 대해 상술한 확률값의 수학적 평균으로 점수가 계산될 수 있다. 중위수, 가중치 평균 등과 같은 기타 요약 통계량도 또한 점수를 계산하는 데 사용된다. 요약 통계 세트에는 예를 들어 관심 영역의 픽셀 수 또는 모양, 또는 다수의 관심-픽셀 분류인 경우 특정 픽셀 분류의 유행에 의해 측정된 총 영역(total area)처럼, 관심 영역의 치수 또는 형태론적 속성을 포함할 수 있다. 관심 영역이 반드시 단일 슬라이드에서 있지 않고; 별도의 슬라이드에 속할 있으며, 즉 두 개의 슬라이드의 조직 샘플이 다른 얼룩으로 얼룩져서 강조 표시의 종양 세포의 다른 부류를 강조하여 표시함으로서, 어떤 관심 영역은 제1 슬라이드와 연관되고, 다른 관심 영역이 제2 슬라이드와 연관된다. 다른 구현에서, CNN이 파악한 관심 분야에 적용되는 기존 이미지 처리 기법을 사용하여 점수를 계산할 수 있다. 예를 들어, 모양과 질감(texture) 측정값을 사용하여, 요약 통계에 포함되도록 통계적 측정 세트를 만들도록 사용될 수 있다. 선택적으로, 단계 S74는 요약 통계를 기반으로 관심 영역에 대한 필터링을 추가로 수행한다. 예를 들어, 병리학자에 의해 구현될 수 있는 또는 사전 설정된 필터는 치수가 예를 들어 100마이크로미터의 임계값보다 높은 관심 영역만 통과하도록 선택할 수 있다.
단계 S75는 단계 S74에서 통과한 관심 영역의 세트를 취하여, 순서대로 순위를 매긴다. 관심 영역의 순위는 요약 통계를 기반으로 하는 일련의 기준을 적용하여 수행될 수 있다. 표준 랭킹 접근법의 사전 세트가 사용자에게 제공될 수 있어서, 사용자는 사전 설정에 따라 선택할 수 있다. 또한 사용자에게는 적용할 기준을 정의하는 사용자 인터페이스가 제공될 수 있다. 스칼라 가치 기준, 즉 길이 치수 또는 면적 또는 정수 카운트(즉, 픽셀의 수)를 기준으로, 사용자는 임계값 또는 이들 기준에 대한 값 범위를 설정할 수 있다. 랭킹 순서는 복합 점수의 기반일 수 있고, 또는 단순 단일 파라미터 랭킹, 예를 들어 면적 또는 최대 치수와 같은 관심 영역의 크기 파라미터일 수 있고, 또는 종횡비와 같은 형태적인 파라미터일 수 있다. 시각화 애플리케이션에서는 분할 마스크에 따라 필터링 후 남는 관심 영역 데이터를 포함하는 식으로 WSI 또는 그 일부 또는 여러 서브-영역을 디스프레이하는 디스플레이를 위한 시각화를 생성한다. 시각화는 또한 랭킹의 시각적 표시, 즉 라벨 또는 주석을 포함하도록, 또는 섬네일 이미지를 가지는 관심 영역 목록으로 몽타주 보기가 만들어진 경우, 그 목록은 랭킹 순서 또는 역 랭킹 순서에 있을 수 있고, 필터를 통과한 관심 영역으로 제한될 수 있는 랭킹 순서로 랭킹에 관하여 생성될 수 있다. 일부 구현에서는 시각화에 개요 보기 창 및 분할 마스크 보기 창이 포함된다. 개요 보기 창 및 분할 마스크 보기 창은 조직학적 이미지에 겹치거나, 일측을 따라 분할 마스크와 함께 디스플레이될 수 있다. 시각화 애플리케이션은 하나 이상의 관심 영역을 선택하도록 사용자가 시각화와 상호 작용하여 작동가능한 GUI 제어를 포함하는 것이 유용할 수 있다.
시각화 애플리케이션에는 사용자 추적 기능이 포함될 수 있으며, 사용자 추적 기능은 훈련 데이터를 컴파일하기 위해 모니터링되는 것과 동일하거나 유사한 파라미터 세트를 모니터링한다. 다시 말해서 시각화 애플리케이션에는 피연산자로서 모니터된 파라미터의 파라미터 값을 이용하여 부울 연산자(Boolean operator), 임계값 테스트 및/또는 복합 점수 식을 포함하는 것과 같은, 논리 테스트ㅇ p의해 결정되는 바와 같이, 사용자가 구체적으로 본 관심 영역을 추적하기 위한 조직학적 이미지 데이터 세트의 시각화와 사용자와의 상호 작용을 모니터링하는 에이전트가 있을 수 있다. 따라서 에이전트는 사용자가 구체적으로 본, 예를 들어 사용자가 영역에 대해 신뢰할만한 진단 결론에 달할 수 있는 결론을 보장할 정도로 자세히 본 관심 영역을 추적할 수 있다.
단계 S79에서, 이러한 세션 추적을 기반으로, 점검 기능은, 조직학적 이미지상의 시각화 세션을 종료하기 위해, 단계 S78에서 제기된 사용자 명령에 응답하여 사용자가 모든 관심 영역, 또는 아마도 모든 최상위, 'n' 순위의 관심 영역을 구체적으로 보았는 지의 확인을 실행하고, 여기서 n은 사용자에 의해 또는 사용자를 위해 미리 설정하거나 설정될 수 있는 정수 값이다. 점검 기능으로 공급된 관심 영역을 사용자가 구체적으로 보지 않은 것으로 확인이 표시되면, 예컨대 단계 S79a에서 시각화 세션을 종료하기 전에 사용자로 부터의 추가 확인 입력을 요구하지만, 놓친 관심 영역 또는 영역들을 검토하는 제2 옵션을 사용자에게 주는 통지가 팝-업 창을 통해 통지가 발행될 수 있다. 단계 S79b에서, 사용자가 모든 관심 영역을 구체적으로 보지 않았음을 확인을 표시하면, 사용자는 아직 구체적으로 보지 않은 각 관심 영역을 보도록 안내되며, 이러한 안내는 조정되거나 선택적일 수 있다.
슬라이드 이미지의 시각화를 위한 옵션에 대한 자세한 내용은 디스플레이 장치의 GUI 창에서 사용자에게 이미지 데이터가 어떻게 디스플레이되는 지를 참조한다. 시각화는 필터링과 랭킹을 고려할 수 있다. 특히, WSI에서 가장 관련성이 높은 영역으로 간주되는 영역이 임상적으로, 요약 통계와 관련된 적절한 방법으로 표시되고, 요약 통계는 표 또는 기타 적절한 형태의 해당 관심 영역에 대한 통계를 나타내는 팝업 창을 생성하기 위해, 모든 경우에 전체 디스플레이의 일부로서, 또는 사용자의 GUI 명령에 선택적으로 응답하여(예: '클릭') WSI에서의 관심 영역에 커서를 가져가서 WSI를 표시하는 지를 이용할 수 있다. 이 접근 방식을 통해 이들 영역의 통계적 요약 뿐만 아니라 잠재적으로 중요한 관심 영역들의 순위 정보를 강조하여 사용자에게 제공할 수 있다. 통계 요약은 특히 필터링 및/또는 순위 기준, 뿐만 아니라, 다중 필터링 및/또는 순위 기준의 공식 및/또는 부울 논리 조합으로 부터 계산된 순위 번호 또는 유의성 점수와 같은 복합 파라미터로서 사용되는, 각 관심 영역의 개별 파라미터 값을 표시할 수 있다.
일반적으로, 표시되는 이미지는 결합된 오버레이 보기 또는 다중-타일 보기 형태일 수 있다. 오버레이 보기에 있어서, 원시 데이터(처리되었을 수 있음)는 분할 데이터가 상단에 중첩되어 있으며, 여기서 분할 데이터가 음영 및/또는 윤곽선으로 시각화를 위해 변환된다. 관심 영역에 대한 다중 클래스이면, 음영 또는 윤곽선은 분류별로 컬러 코딩될 수 있다. 다른 가능성으로 다중 관심 클래스는 분할 데이터를 열 지도(컬러 또는 그레이 스케일) 또는 윤곽 지도(윤곽선 포함)로 표시하는 것이 있다.
관심이 없는 부분은 전혀 표시하지 않거나, 투명도가 높은 컬러 또는 모노크롬 세탁(예: 파란색 세탁 또는 그레이 세탁)으로 음영처리될 수 있다. 다중-타일 보기에 있어서, 오버레이 보기에서 다른 레이어가 타일로서 나란히 표시되므로, 관심 영역의 원래 이미지 데이터 및 분할 데이터를 표시하는 타일이 있을 수 있다. 복수의 관심 클래스인 경우, 원한다면, 별도의 분할 데이터 타일이 각각의 관심 분류 유형에 대해 디스플레이될 수 있다. 디스플레이에서 관심 영역을 나타내는 것은, 단계 S75에서 수행된 필터링 및/또는 랭킹을 고려한다. 영역 점수, 관심 영역의 분류 유형 및 관심 영역과 관련된 요약 통계의 다른 파라미터와 같은 인자는 디스플레이를 구현하기 위해 단독으로 또는 조합하여 사용될 수 있다.
사용자의 관심 영역을 검출, 필터링 및 랭킹 영역을 표시할 수 있는 몇 가지 옵션이 있다.
WSI 보기에서, 관심 영역 정보를 표시하는 한 가지 방법은 WSI의 저해상도 이미지 위에 일련의 마커를 오버레이하는 것이다. 마커가 정렬된다. 병리학자에게는 상위 관심 영역부터 하위 관심 영역까지 모두 인지된 관심 레벨의 순위 및 역순 순위에 의해 관심 영역을 통해 탐색하는 적절한 GUI 도구가 제공된다. 적절한 GUI 도구에는 키보드 단축키, 예를 들어 키보드 업 다운, 또는 좌우, 화살표 키, 키보드 페이지 업 다운, 마우스 탐색(예: 스크롤 휠의 업 다운 스크롤링) 또는 기타 입력 장치(음성 내비게이션, 터치 센서에서의 멀티터치 제스처 등)를 포함한다. GUI에서 랭킹 마커를 선택하면, 해당 영역의 요약 통계 또는 그 서브-세트, 및/또는 관심 영역의 고해상도 보기를 저-해상도 이미지 또는 별도의 고해상도 보기 창에 있는 종양의 디스플레이에 링크된 팝-업에 즉각 디스플레이할 수 있다. 사용자는 키보드 명령, 마우스 명령과 같은 적절한 GUI 명령(예: 더블 클릭) 또는 기타 적절한 입력에 의해 관심 영역의 고해상도, 예를 들어, 관심 영역의 완전한 원본 해상도 이미지의 디스플레이를 제공한다. 해당하는 GUI 명령이 저해상도 WSI 보기로 돌아가게 탐색하도록 제공된다. 시각화 애플리케이션은 사용자가 저분해능 보기와 고해상도 보기 모두에서 순위를 매김으로써 관심 영역을 오르내릴 수 있는 GUI 제어 기능을 제공하는 것이 바람직하다.
WSI 뷰의 일 예는 순위 지정 마커 라벨 1, 2, 3 등과 함께, 디스플레이되어야 할(즉, 디스플레이된 해당 분할 데이터 표시) 단계 S75의 필터를 통과한 모든 관심 영역에 대한 것이다. 랭킹 마커 라벨을 클릭하면 팝업을 생성할 수 있고, 팝-업은 선택한 요약 통계 세트, 특히 필터 및/또는 하는 요약 통계 세트 나열) WSI 뷰의 해상도보다 높은 해상도에서 관심 영역의 섬네일 뷰에서 사용되는 것이 나열하고 있다. 이와 달리, 뷰는 오버레이 이미지 또는 이미지 타일이 화면의 한 부분에 표시되고, 필터링된 관심 영역의 테이블이 화면의 다른 부분에 있는 분할-화면 뷰일 수 있다. 테이블은 처음에 순위에 따라 정렬될 수 있지만, GUI 또한 기타 다른 칼람, 또는 다수의 칼람의 조합에 의해 사용자가 재정렬할 수 있는 설비를 가질 수 있고, 기타 다른 칼람은 요약 통계에서의 기준, 또는 관심 영역의 전체 영역, 관심 영역의 분류와 같은 필터의 기준일 수 있다. 예를 들어, 정렬은 관심 있는 분류에 의한 것일 수 있고, 총 면적이 뒤따를 수 있다. 다중-슬라이드 이미지 파일의 경우, 정렬은 슬라이드 번호 다음에 몇 가지 기타 파라미터에 의한 것일 수 있다.
일반적으로 WSI를 재생하는, 낮은 해상도(예: lOx 배율)의 하나의 보기 창 및 고해상도, 예를 들어 60배 배율, 즉 lOx 뷰에 비해 6배 또는 600% 줌으로 다른 보기 창으로 구성된 다중 해상도 보기에 있어서, 예를 들어, 표시되는 초기 보기는 WSI 저해상도 이미지 창 및 관심 영역 중심에 최상위 순위인 고해상도 이미지 창일 수 있다. 단계적인 다운 화살표(또는 업 다운의 쌍 화살표) 또는 기타 적절한 GUI 버튼 또는 버튼 조합(예: 물리적 또는 가상 스크롤 휠)은, 사용자가 필터링된 영역을 하나씩 순위를 매김에 의해 해상도를 조정할 수 있다. GUI는 사용자 입력을 통해 고해상도 이미지 창의 해상도를 조정할 수 있다. 또한 GUI는 관심 영역이 고해상도 보기 창을 실질적으로 채우도록 크기를 조정하기 위해 고해상도 이미지 창을 위한 초기 해상도를 선택할 수도 있다.
따라서 시각화 애플리케이션은 사용자에게 표시되는 내용, 관심 영역이 분할 데이터 및 요약 통계로 강조 표시되는 것 및, 선택 보기의 경우, 시간 순서, 즉 관심 영역이 있는 순서 사용자에게 표시되는 시간 시퀀스, 즉 순서를 결정할 수 있다.
슬라이드 세트에 특히 적합한 관심 영역을 표시하는 또 다른 방법은 다음과 같다. 요약 통계를 가지는 관심 영역의 저해상도 이미지를 정렬된 타일로서 디스플레이되는 곳에 몽타주를 작성하는 것이다. 정렬은 1차원(ID) 목록 또는 2차원(2D) 그리드를 표시하는 방법일 수 있다. 심지어 그것을 조율하는 것도 가능하다. 가상 현실 고글의 도움으로, 3차원의 관심 영역 사용자는 키 입력, 마우스 스크롤링 또는 기타 입력(음성, 촉각 등)을 사용하여 ID 목록 또는 2D 타일 어레이를 탐색할 수 있다. 타일이 선택되면, 병리학자는 해당 슬라이드의 관심 영역에 대한 고해상도 버전을 통해, 검토 요약 통계 및 분할 데이터로 표시된 바오 같은 CNN 분석 결과를 참조하여 선택적으로, 관심 영역을 보다 심층적으로 검토하도록 빠르게 탐색할 수 있다. 이 방법은 일단 병리학자가 관심 영역에서 종양을 발견하면, 병리학자는 진단에 도움이 될 수 있는 종양에 대한 하나 이상의 추가 분석 알고리즘을 적용하여 종양에 대해 추가 수치적 처리를 수행한다.
필터링되고 순위가 매겨진 관심 영역을 확인한 후, 병리학자는 추가 연구를 위한 관심 영역(또는 순위가 부여된 관심 영역의 주제, 또는 실제 필터링된 관심 영역의 완전한 세트) 중 하나를 선택하는 추가 옵션을 가진다. 추가 연구에 의해, 진단을 돕기 위해 선택된 관심 영역에 추가 정보를 제공하도록 하나 이상의 추가 분석 알고리즘을 적용하는 것을 의미한다.
선택적으로 필터링 및/또는 순위 지정 후 결정되는 관심 영역은 일련의 마커를 전체 또는 그 중 적어도 상당 부분의 가상 슬라이드의 저해상도 이미지에 오버레이하여 GUI에 표시될 수 있다. 마커는 랭킹의 일부 가상 표시를 포함할 수 있다. 사용자가 적절한 입력, 예를 들어 키보드 단축키(예: 확살표 키), 마우스 탐색(스크롤링) 또는 기타 입력(오디오 입력을 통한 음성 탐색, 터치 스크린 등을 통한 제스처 터치)을 이용하여 랭킹 순서로 관심 영역을 업 다운 탐색하도록 GUI 제어가 제공될 수 있다. GUI는, 마커를 선택하면, 관심 영역에 대한 요약 통계가 해당 영역의 고해상도 이미지로 표시된다. 요약 통계 및 고해상도 이미지는 동일한 팝업 창 또는 각 팝업 창에 표시될 수 있고, 여기서 팝업 고해상도 이미지가 섬네일(축소판) 유형 작물일 수 있다. 다른 옵션은 디스플레이의 한 영역에는 저분해능 이미지를 표시하고, 디스플레이의 다른 영역에는 고해상도 이미지로 선택된 영역을 보여주는 분할 화면 보기를 가지는 것이다. 병리학자는 키보드 상의 키를 눌러서, 마우스를 더블 클릭하여 또는 기타 동등한 작업을 통해 전체 해상도 영역을 볼 수 있도록 선택할 수 있다. 병리학자들은 유사한 조치가 취하여 신속하게 저해상도 보기로 되돌릴 수 있다. 병리학자는 저해상도 또는 고해상도 보기 창으로 목록을 탐색할 수 있다.
병리학자가 추가 처리를 위해, 병리학자 또는 추가 알고리즘에 의해 하나 또는 다수의 영역을 선택할 수 있다.
요약하면, 시각화는 사용자가 훈련된 CNN에 의해 결정되는 바와 같은 임상적으로 관심이 있을 가능성이 있는 이미지 영역에 대한 검사를 촉진 수행하도록 구현된 것으로, CNN은 전문 사용자가 시각화 애플리케이션을 사용하여 WSI와의 상호 작용 방식을 모니터링하여 생성된 훈련 데이터로 훈련된다. 관심 영역은 훈련 받은 CNN의 출력에 대한 분할의 적용으로 정의된다. 특히 기존 시각화 애플리케이션과 비교하면, 관심 영역의 제안된 표시는 낮은 해상도로 전체 슬라이드 영역에 대한 초기 거칠은, 수동의 시각적 스캔 수행 뿐만 아니라, 사용자에게 특정 영역, 즉 관심 영역을 더 높은 해상도에서 보도록 사용자를 지원하는 역할을 한다. 설명된 바와 같이 CNN-지원 필터링 및 순위를 기반으로 병리학자에게 제공되는 시각화의 자동화된 사전 처리는 병리학자가 슬라이드를 검토하는데 필요한 시간을 줄일 수 있을 뿐만 아니라, 인간의 실수의 결과로 놓친 임상적으로 중요한 영역의 검토를 인간의 실수의 결과로 놓칠 가능성을 줄일 수 있다.
관심 영역의 사전-페칭(pre-fetching) 및 사전-캐칭(pre-caching)
도 6은 본 개시의 실시예에 따른 흐름 다이어그램이고, 관심 영역의 선택적인 사전-패칭 또는 사전-캐싱이 상술한 바와 같은 CNN 방법으로 찾은 관심 영역에 기초하여 수행된다.
단계 S81은 슬라이드 스캐너에서 생성되었을 수 있는 WSI의 이미지 데이터를 포함하는 이미지 데이터 파일에 대한 액세스를 제공한다. 이미지 데이터 파일은 여러 개의 이미지, 예를 들어 복수의 얼룩에 대해 하나씩, 또는 유한한 깊이의 투명 또는 반투명 샘플을 통한 현미경의 초점 평면을 스텝핑하여 얻은 샘플(소위 z-스택)내의 다른 깊이에 대해 하나씩 포함할 수 있는 것이 접합하다.
단계 S82는 위의 추가 예에 의해 설명된 바와 같이, 변화량-기반 분석, 적응형 임계값, 형태학적 연산 등과 같이 일부 CNN 전처리를 수행할 수 있는 선택적 단계이다.
단계 S83은 상술한 CNN을 실행한다. 도 4의 단계 S51 내지 단계 S54를 참조하여, 픽셀-바이-픽셀 분류의 조직 유형은 관심 있는 픽셀을 표시한 다음, 관심 영역을 간략하게 설명하는 분할을 수행한다. 분할을 위해, 일반적으로 연속하는 관심 픽셀, 즉 서로 접촉하거나 가까운 곳에 있는 것은 공통 관심 영역에 속하는 경우이다. 그러나 신뢰성 향상을 위해, 예를 들어 두 개의 서로 다른 관심 분류와 연관되는 다른 픽셀 분류로 접촉하는 두 개의 관심 영역을 식별하기 위해, 보다 복잡한 세분화 기준이 일반적으로 포함될 수있다. CNN은 각 픽셀을 확률로 할당한다.
단계 S84에서, 단계 S73의 관심 영역-찾기 CNN에 의해 생성된 데이터, 즉 관심 영역- 특징 데이터는 각 영역에 대한 요약 통계의 세트를 계산하는 데 사용된다. 예를 들어, 각 관심 영역에 대해, 해당 관심 영역에 포함된 모든 픽셀에 대해 상술한 확률 값의 수학적 평균으로 점수가 계산될 수 있다. 중위수, 가중 평균 등과 같은 기타 요약 통계량도 점수를 계산하는 데 사용될 수 있다. 요약 통계의 세트에는 예를 들어 관심 영역의 픽셀 수 또는 모양에 의해 측정된 바와 같은 총면적과 같은 관심 영역의 치수, 또는 다수의 관심 픽셀 클래스이 있을 때, 특정 픽셀 분류의 유행과 같은 형태학적 속성이 포함될 수 있다. 관심 영역이 반드시 단일 슬라이드 영역에서만 제공되는 것은 아니다. 관심 영역은 별도의 슬라이드에 속할 수 있다. 예를 들어, 두 슬라이드의 조직 샘플은 다른 얼룩으로 얼룩질 수 있고, 이에 따라 종양 세포의 다른 클래스를 강조해서, 몇몇 관심 영역이 제1 슬라이드와 관련되고, 기타 관심 영역이 제2 슬라이드와 연관된다. 다른 구현에서는, CNN이 파악한 관심 분야에 적용되는 기존 이미지 처리 기법을 사용하여 점수를 계산할 수 있다. 예를 들어, 모양과 텍스처 측정값을 사용하여 요약 통계에 포함할 일련의 통계 측정값을 생성할 수 있다. 선택적으로, 단계 S84는 요약 통계를 기반으로, 관심 영역에 대한 필터링을 추가로 수행한다. 예를 들어, 병리학자에 의해 구현될 수 있거나 또는 사전 설정되는 필터가 최대 치수가 임계값보다 높은(예: 100마이크로미터) 관심 영역만 통과하도록 선택할 수 있다.
단계 S85는 단계 S84에서 통과한 관심 영역의 세트를 취하여, 순서대로 순위를 매긴다. 요약 통계를 기반으로 일련의 기준을 적용하여 관심 영역의 순위 매김이 수행될 수 있다. 표준 랭킹 접근법의 사전-설정은, 사용자가 사전 설정에 따라 선택할 수 있도록 사용자에게 제공될 수 있다. 또한 사용자에게는 적용할 기준을 정의하는 사용자 인터페이스가 제공될 수 있다. 예를 들어 길이 치수 또는 면적 또는 정수 카운트(픽셀의 수))를 기반으로 하는 스칼라 가치 기준의 경우, 사용자는 이러한 기준에 대한 임계값, 또는 가치 범위를 설정할 수 있다. 순위 순서는 복합 점수에 기초일 수 있고, 또는 간단한 단일 파라미터 순위, 즉 관심 영역의 크기 파라미터(예: 면적 또는 최대 치수 또는 종횡비와 같은 형태학적 파라미터)에 기초할 수 있다.
단계 S86는 단계 S82 내지 단계 S85에서 파생된 메타데이터를 슬라이드 디지털 파일에 추가한다. 슬라이드 디지털 파일은 조직학적 이미지 데이터 세트뿐만 아니라 CNN 및 후속 분할에 의해 정의된 관심 영역을 식별하는 메타데이터도 포함한다.
조직학적 이미지 데이터 세트를 처리하려고 하는 시각화 애플리케이션, 또는 다른 애플리케이션이 슬라이드 디지털 파일에서 이미지 데이터를 검색하기 위한 명령을 실행하면, 메타데이터는 이미지 데이터의 다른 부분이 높은 레이텐시 스토리지에서 낮은 레이텐시 스토리지로 로딩되는 순서를 결정하는 기준으로 사용될 수 있다.
슬라이드 디지털 파일에 포함된 다른 유형의 데이터를 포함하거나 포함하지 않은 이미지 데이터의 로딩은 디지털 파일, 슬라이드 디지털 파일이 원격 서버의 데이터 저장소 또는 라이브러리(일반적으로 데이터베이스)에 저장된 네트워크의 컨텍스트(context)에 있을 수 있고, 시각화 애플리케이션(또는 적어도 씬(thin) 클라이언트)이 예를 들어 병원 네트워크와 같은 네트워크 연결을 통한 데이터 저장소에 연결된 클라이언트 컴퓨터에서 실행되고 있다. 이 경우 높은 레이텐시 스토리지는 라이브러리이고, 및 낮은 레이텐시 스토리지는 클라이언트 시스템의 로컬 스토리지이다.
단계 S87에서, 시각화 애플리케이션이 로딩된 컴퓨터 장치는 조직학적 이미지 데이터 세트의 조직학적 이미지를 사용자 수신 명령, 예를 들어 가상 슬라이드 라이브러리에서 특정 슬라이드 디지털 파일을 로딩하라는 사용자로 부터의 명령에 대해 대화식으로 표시하도록 동작할 수 있다. 예를 들어 컴퓨터 장치의 네트워크 커넥터에 의해 슬라이드 라이브러리에 네트워크 연결이 설정되면, 슬라이드 라이브러리와 데이터 전송 컴퓨터 장치와의 사이에 데이터 전송이 일어날 수 있다. 사용자 로딩 명령을 실행하는 것은 요청된 슬라이드 디지털 파일에 상술한 단계 S82 내지 단계 S85에 의해 생성된 바와 같은 관심 영역 메타데이터가 포함되어 있는지를 확인하는 것을 처음 포함할 수 있다. 그렇지 않은 경우, 이 메타데이터는 단계 S81 내지 단계 S86의 방법을 슬라이드 디지털 파일에서 수행하게 함으로써 생성될 수 있다.
단계 S88에 표시된 바와 같이, 슬라이드 디지털 파일에 관심 영역 메타데이터가 포함된 경우, 이미지 데이터의 검색은 어떤 관심 영역도 포함하지 않는 다른 서브-이미지를 로딩하기 전에 관심 영역을 포함하는 데이터 세트의 작은-영역 서브-이미지를 우선 전송함으로써 진행될 수 있고, 관심 영역과 관련된 이미지 데이터의 이러한 사전 예방적 검색은 소위 사전-페칭이라 할 수 있다. 작은-영역 서브-이미지는 데이터 저장소의 레코드에 저장되거나 해상도가 x5, x20, x40, x60의 단계와 같이 x5 내지 x50으로 높아지는 단계에 저장된다. 일반적으로 WSI의 저해상도 대규모 영역 버전은 고해상도의 서브-이미지의 전송이 시작하기 전에 클라이언트 컴퓨터로 전송된 메타데이터가 관심 영역에 대한 랭킹을 포함하는 실시예에 있어서, 작은 영역 서브-이미지는 랭킹에 따라 로딩될 수 있다. 또한 로딩되는 작은 영역 서브-이미지는 슬라이드 디지털 파일의 스토리지 구조에 따라 결정될 수 있다. 일부 가상 슬라이드 이미지는 고해상도 이미지 데이터, 즉 40x 20x 및 5x에서 계산된 하나 이상의 단계적 하향 조정된 낮은 해상도로 저장되는 단일 고해상도 대물 렌즈 60x으로 스캔하여 얻을 수 있다. 또한 슬라이드 디지털 파일에 저장된 이미지 데이터의 각 해상도는 고정 메모리 크기의 타일(예: 256 x 256 또는 512 x 512)에 저장될 수 있다. 따라서 작은 영역 서브-이미지의 전송은 이러한 타일의 단위로 이루어질 수 있으므로, 관심 영역에 특정 타일의 픽셀이 적어도 하나 포함되어 있으면, 해당 타일이 관심 영역에서 하나 이상의 픽셀을 포함하는 다른 타일과 함께 로딩된다.
이미지 데이터의 로딩은 단일 컴퓨터 장치의 주변 환경에 따른 조건과 관련된 것일 수도 있다. 스토리지는 두 개 이상의 레이텐시 레벨을 가지는 로컬 디스크 스토리지, 대용량 RAM 스토리지, 캐시 RAM 스토리지, 수치(중앙) 프로세서 캐시 메모리 및 그래픽 프로세서 캐시 메모리에 의해 감소하는 레이텐시 순서로 표현되는 바와 같은 캐시 메모리는 프로세서 또는 프로세서 클러스터와 연관된 CPU, GPU 또는 TPU와 같은 고속 SRAM(Static Random Access Memory)으로, 프로세서 또는 프로세서 클러스터가 액세스할 수 있는 다른 RAM보다 프로세서 또는 프로세서 클러스터를 위한 액세스 시간이 더 빠르다. 다시 말해서, 로딩은 증가하는 레이텐시의 계층(hierachy)에 배열된 복수의 메모리 타일(tiers)로 구성되어 있는 컴퓨터 장치로 최적화될 수 있고, 적어도 가장 하위 레이텐시 메모리 타일은 캐시 타일이다. 컴퓨터 장치가 시각화 애플리케이션을 작동하고, 그리고 컴퓨터 장치의 메모리에 이미 로딩된 조직학적 이미지 데이터 세트를 보기 위해 시각화 애플리케이션에서 명령을 실행하면, 컴퓨터 메모리의 다른 레이텐시 레벨은 요청된 조직학적 이미지 데이터 세트와 연관된 관심 영역 메타데이터를 참조하여 관리될 수 있다. 캐시 정책은 하나 이상의 낮은 레이텐시 캐시 타일을 관심 영역을 포함하는 데이터 세트의 고해상도 작은 영역 서브 이미지에 우선적으로 로딩하여, 및/또는 우선적으로 유지하는 컴퓨터 장치에 의해 채택될 수 있고, 여기서 우선은 어떤 관심 영역도 포함하지 않는 다른 작은 영역 서브-이미지, 또는 메타데이터가 랭킹 지도 상 높은 레이텐시에서 낮은 레이텐시의 랭킹 순서 및/또는 우선 캐시 보존하는 랭킹 순서를 포함하는 경우에 대한 관심이 적은 분야에 비교되는 것이다.
단계 S89로 도시된 바와 같이, 사용자가 시각화 애플리케이션의 가상 슬라이드를 탐색하는 경우, 상술한 바와 같이 네트워크를 통한 사전-페치 또는 컴퓨터 캐시 정책의 일부로서의 사전-캐시는 사용자 요청이 실행되기 전에 자주 사전-페치 또는 사전-캐시되지 않았거나, 또는 적어도 사전-페치 또는 사전-캐시가 시작되기 때문에, 사용자가 요청한 고해상도 서브-이미지가 표시되기 전에 사용자의 대기 시간을 전반적으로 줄여준다.
다양한 수정을 예상할 수 있다. 예를 들어, 훈련 데이터는 각 개별 사용자가 WSI를 검토하는 방법에 대한 모니터링을 통합하여 사용자가 WSI를 검토하는 경향이 있는 공간 시퀀스 패턴을 구축할 수 있다. 그러므로, 관심 영역의 순위 순서는 임상적 관련성, 예를 들어 사용자가 가장 높은 사용 가능한 해상도에서 특정 영역을 바라보는 시간으로 측정되는 경우)에 의해서 최적화되지 않을 수 있거나, 또는 최적화되지 않을 뿐만 아니라, 오히려 세션 중에 사용자가 각 관심 영역을 검토하는 데 쓰는 시간 순서에 최적화될 수 있다. 예를 들어, 사용자는 WSI의 상단에서 하단으로의 좌우 행 스캔, 또는 상단에서 하단으로의 지그재그 수평 스캔의 래스터형 패턴을 따르는 경향이 있을 수 있다. 이러한 방식으로, 사전-페치 또는 사전-캐시가 사용자가 관심 분야에 대한 검토를 통해 단계적으로 진행할 것으로 예상되는 경우의 순서를 따를 수 있다.
요약하면 WSI를 타일 단위로 처리하는 유형의 조직학적 이미지 시각화 애플리케이션('뷰어')에 대한 지원을 제공한다. 즉, WSI을 2D 그리드의 타일로 구분하고 및 이러한 타일의 일부만 한번에 화면에 표시된다. 타일을 사용하면, 시각화 애플리케이션의 메모리 요구 사항을 관리 가능한 레벨로 줄일 수 있다. 애플리케이션 전체를 원래 해상도로 로딩할 경우 응용프로그램이 중단되는 수십 기가바이트의 대규모 WSI를 처리할 때 새로운 타일은 사용자가 슬라이드를 가로질러 탐색할 때 로컬 또는 네트워크 스토리지에서 메모리에 로딩 및 캐시된다. 이 접근 방식은 타일 렌더링 속도를 향상시키고, 전체적인 사용자 환경을 개선하는 설정 방법이다. 타일의 메모리 관리에 대한 지원은 CNN에 의해 생성한 메타데이터를 사용하여 관심 영역을 식별한다. 이 메타데이터는 사전-페치 정책(네트워크를 통해 WSI 데이터에 액세스하기 위해) 및 사전-캐시 정책(시각화 애플리케이션을 실행하는 컴퓨터 내의)을 통해 슬라이드 검토 중 지연 시간을 줄이는 데 적합한 선험적 지식을 애플리케이션에 제공한다. 시각화 애플리케이션은 관심 영역에 관한 사전-페치 및 사전-캐시 타일을 사용자가 새 WSI 세션을 열 때마다, 선택적으로 랭킹 순서로 제공한다. 이렇게 하면, 사용자가 가장 많이 방문할 가능성이 있는 영역이 이미 메모리에서 이용할 수 있기 때문에, 사용자가 관심 영역을 확대 및 이동함으로써 행당 영역을 탐색하는 속도가 전반적으로 빨라진다.
상술한 사전-페치 또는 사전-캐시는 특별히 요청되지 않은 고해상도 작은 영역 서브-이미지에서의 로딩에 관한 것이 적합한 것이다. 일반적으로 시각화 애플리케이션 또는 기타 애플리케이션인 경우 특정 서브-이미지를 고해상도로 로딩하도록 요청하면, 이는 상술한 사전-페칭 또는 사전-캐싱 절차에 의해 수행되는 모든 사전-로딩을 통해 우선한다.
관심 영역에 기초한 가변 이미지 압축
도 7은 상술한 바와 같이 훈련된 CNN에 의해 보이는 관심 영역을 지원하는 GUI로 시각화 애플리케이션에 의해 수행된 바와 같은 본 개시의 실시예에 따른 흐름 다이어그램이다.
단계 S90은 조직학적 샘플이 포함된 슬라이드를 슬라이드 스캐너에 제공한다. 이 슬라이드 스캐너는 슬라이드 로더 및 고해상도 대물 렌즈를 포함하는 현미경 모듈을 포함한다. 설계에 따라, 현미경 모듈은 다른 해상도를 가진 다수의 대물 렌즈들을 가질 수 있고, 그리고 스캔은 단지 하나의 객관적인 렌즈 또는 그 대물 렌즈의 조합을 사용할 수 있다. 슬라이드 스캐너에는 현미경 모듈을 제어하여 조직학적 이미지를 획득하도록 할 수 있는 통합 제어 컴퓨터를 가질 수 있고, 또는 이와 달리, 슬라이드 스캐너가 인터페이스 연결에 의해 슬라이드 스캐너에 연결된 개인용 컴퓨터와 같은 별도의 제어 컴퓨터에 의해 제어되도록 설계될 수 있다. 슬라이드 스캐너는 WSI 샘플의 조직학적 이미지 데이터 세트을 얻기 위해 슬라이드를 스캔한다. 이에 따른 WSI는 소위 가상 슬라이드로 디지털 파일에 저장된다.
단계 S91은 슬라이드 스캐너에 의해 생성된 WSI의 이미지 데이터를 포함하는 이미지 데이터 파일을 제공한다. 이미지 데이터 파일에는 예를 들어 유한한 깊이이 투명 또는 반투명 샘플을 통해 현미견의 초점면을 스텝핑하여 얻은 샘프(소위 z-스택)에서 복수의 얼룩에 대해 하나씩, 또는 다른 깊이에 대해 하나씩 있는 다수의 이미지를 포함할 수 있다. 이미지 데이터 파일은 또한 각각 다르게 얼룩진, 인접하는 샘플 슬라이스로 부터 다수의 이미지를 포함할 수 있다.
단계 S92는 위의 추가 예에 의해 설명된 바와 같이, 가변-기반 분석, 적응형 임계값, 형태학적 연산 등과 같은 일부 CNN 전처리를 수행할 수 있는 선택적 단계이다. 이 단계에서는 일부 압축은 예를 들어, 사전 처리에 의해 관련이 없는 것으로 식별된 영역, 예를 들어 샘플이 없는 슬라이드의 영역을 의미하는 비샘플 영역과 관련하여 수행되어야 한다.
단계 S93은 상술한 CNN을 실행한다. 도 4의 단계 S51 내지 단계 S54를 참조하여, 픽셀-바이-픽셀 분류의 조직 유형은 관심 있는 픽셀을 표시한 다음, 관심 영역을 간략하게 설명하는 분할을 수행한다. 분할을 위해, 일반적으로 연속하는 관심 픽셀, 즉 서로 접촉하거나 가까운 곳에 있는 것은 공통 관심 영역에 속하는 경우이다. 그러나 신뢰성 향상을 위해, 예를 들어 두 개의 서로 다른 관심 분류와 연관되는 다른 픽셀 분류로 접촉하는 두 개의 관심 영역을 식별하기 위해, 보다 복잡한 세분화 기준이 일반적으로 포함될 수있다. CNN은 각 픽셀을 확률로 할당한다.
단계 S94에서, 단계 S73의 관심 영역-찾기 CNN에 의해 생성된 데이터, 즉 관심 영역- 특징 데이터는 각 영역에 대한 요약 통계의 세트를 계산하는 데 사용된다. 예를 들어, 각 관심 영역에 대해, 해당 관심 영역에 포함된 모든 픽셀에 대해 상술한 확률 값의 수학적 평균으로 점수가 계산될 수 있다. 중위수, 가중 평균 등과 같은 기타 요약 통계량도 점수를 계산하는 데 사용될 수 있다. 요약 통계의 세트에는 예를 들어 관심 영역의 픽셀 수 또는 모양에 의해 측정된 바와 같은 총면적과 같은 관심 영역의 치수, 또는 다수의 관심 픽셀 클래스이 있을 때, 특정 픽셀 분류의 유행과 같은 형태학적 속성이 포함될 수 있다. 관심 영역이 반드시 단일 슬라이드 영역에서만 제공되는 것은 아니다. 관심 영역은 별도의 슬라이드에 속할 수 있다. 예를 들어, 두 슬라이드의 조직 샘플은 다른 얼룩으로 얼룩질 수 있고, 이에 따라 종양 세포의 다른 클래스를 강조해서, 몇몇 관심 영역이 제1 슬라이드와 관련되고, 기타 관심 영역이 제2 슬라이드와 연관된다. 다른 구현에서는, CNN이 파악한 관심 분야에 적용되는 기존 이미지 처리 기법을 사용하여 점수를 계산할 수 있다. 예를 들어, 모양과 텍스처 측정값을 사용하여 요약 통계에 포함할 일련의 통계 측정값을 생성할 수 있다. 선택적으로, 단계 S84는 요약 통계를 기반으로, 관심 영역에 대한 필터링을 추가로 수행한다. 예를 들어, 병리학자에 의해 구현될 수 있거나 또는 사전 설정되는 필터가 최대 치수가 임계값보다 높은(예: 100마이크로미터) 관심 영역만 통과하도록 선택할 수 있다.
단계 S95는 단계 S94에서 통과한 관심 영역의 세트를 취하여, 순서대로 순위를 매긴다. 요약 통계를 기반으로 일련의 기준을 적용하여 관심 영역의 순위 매김이 수행될 수 있다. 표준 랭킹 접근법의 사전-설정은, 사용자가 사전 설정에 따라 선택할 수 있도록 사용자에게 제공될 수 있다. 또한 사용자에게는 적용할 기준을 정의하는 사용자 인터페이스가 제공될 수 있다. 예를 들어 길이 치수 또는 면적 또는 정수 카운트(픽셀의 수))를 기반으로 하는 스칼라 가치 기준의 경우, 사용자는 이러한 기준에 대한 임계값, 또는 가치 범위를 설정할 수 있다. 순위 순서는 복합 점수에 기초일 수 있고, 또는 간단한 단일 파라미터 순위, 즉 관심 영역의 크기 파라미터(예: 면적 또는 최대 치수 또는 종횡비와 같은 형태학적 파라미터)에 기초할 수 있다.
단계 S96는 조직학적 이미지 데이터 세트의 압축 버전을 생성하기 위해 관심 영역 외부에 있는 픽셀을 우선적으로 압축하는 압축 알고리즘을 사용하여 기록 이미지 데이터 세트에 가변 이미지 압축을 적용한다. 압축된 버전은 슬라이드 디지털 파일, 즉 레코드에 저장된다. 관심 영역이 없는 영역에 적용된 이미지 압축 알고리즘은 PNG(Portable Network Graphics) 또는 GIF(Graphics Interchange Format), 또는 LZW(Lempel-Ziv-Welch), JPEG 2000, JPEG XR 또는 PGF(Progressive Graphics File)과 같은 무손실 압축 알고리즘, 또는 손실 및 무손실 압축 모두를 포함하는 압축 알고리즘일 수 있다. 다른 실시예에 있어서, 모든 이미지 데이터 세트는 다른 압축 알고리즘의 압축이 적용되거나, 또는 다른 압축 레벨을 가지는 동일한 압축 알고리즘이 관심 영역에 따라 가변적으로 적용될 수 있다. 조직 없는 영역에 대한 비관심 클래스 및 임상학적 관심이 없는 조직 영역이 별개인 경우이면, 그에 따른 가장 공격적인 압축이 조직 없는 영역에 사용되는 반면, 관심 없는 조직 영역은 더 낮은 정도로 압축될 수 있다. 다른 옵션은 관심 영역에 대한 무손실 압축과, 관심 없는 영역에 대한 손실 압축을 보정하는 것이다. 다른 옵션은 관심 영역 주변의 여백을 압축에 대한 관심 영역과 마찬가지로 처리하는 것이고, 이때 여백은 두께 기반으로 블롭 확장(blob dilation)에 의해 구현될 수 있고, 또한 정수의 이미지 타일, 즉 각 관심 영역의 둘레에 추가된 하나 이상의 이미지 타일 기반일 수 있다.
예를 들어, JPEG 형식은 폐기되는 데이터 양과 전체 압축 비율에 영향을 주는 "품질" 파라미터가 0에서 100의 범위로 사용자 정의된다. CNN에 의해 수행된 관심 분류로부터 추가 정보를 얻음으로써, 관심 영역과 선택 사항으로 관심 레벨을 식별하는 이러한 추가 정보 정보는 품질 파라미터를 변경하는 방법을 결정하는데 사용될 수 있다. 즉, 낮은 품질(높은 압축률)은 관심 없거나, 관심이 낮은 영역에 설정될 수 있는 반면, 높은 품질(낮은 압축률) 또는 압축 없음 또는 전용의 무손실 압축은 CNN에 의해 관심 있거나 관심이 높은 것으로 간주되는 영역에 적용될 수 있다.
압축되지 않은 가상 슬라이드 데이타가 거대할 수 있고, 기술적 성능 향상이 헐씬 더 커질 수 있음을 염두에 두고 메모리 공간을 절약하는 것이 중요할 수 있다. 예를 들어, 현재 슬라이드 스캐너는 예를 들어 단일 이미지에 대해 20 ~ 50 GB 크기의 가상 슬라이드를 생성할 수 있고, 이때 단일 이미지는 예를 들어 150,000 x 75,000 픽셀로 구성될 수 있다. 조직학적 이미지 데이터 세트의 압축된 버전은 압축된 조직학적 이미지 데이터 세트를 겹침에 의해 레코드에 저장될 수 있다. 이와달리, 원본 원시 이미지가 보존될 수 있지만, 일상적으로 숨겨질 수 있으므로, 슬라이드 라이브러리에 액세스할 때 기본적으로 사용자에게 압축 버전에 대한 액세스 권한이 부여된다.
도 8은 훈련된 자동 인코더(도 3의 대안 자동 인코더 훈련 실시예에서 이전에 설명)가 테스트 화합물에 의해 해로운 것이 있으므로, 잠재적인 독성으로 손상되거나 적어도 변경될 수 있는 조직을 검출하도록 사용될 수 있는 방법을 보여주는 흐름 다이어그램이다.
단계 S21은 가상 슬라이드 라이브러리와 같은 데이터 저장소에 저장된 레코드에서 검색된 이미지 데이터 파일을 제공한다. 이미지 데이터 파일은 슬라이드 스캐너에 의해 생성될 수 있는 조직학적 WSI이다. 조직학적 이미지는 테스트 화합물로 처리된 조직 샘플이다. 조직학적 이미지는 2차원 픽셀 어레이로 구성된다. 이미지 데이터 파일에는 복수의 얼룩에 대해 하나씩, 또는 유한 깊이의 투명 또는 반투명 샘플을 통해 현미경 초점면을 스텝핑하여 얻은 샘플(소위 z-스택)에서 다른 깊이에 대해 하나씩, 다수의 이미지를 포함할 수 있는 것이 적합한 것이다.
단계 S22는 위에 예에 추가로 설명된 바와 같이 가변- 기반 분석, 적용형 임계값, 형태학적 연산 등과 같은 일부 CNN 전처리를 수행할 수 있는 선택적 단계이다.
단계 S23은 상술한 바와 같이 테스트 화합물로 처리되지 않은 조직을 사용하여 훈련 데이터 세트로 훈련된 자동 인코더를 사용한다. 자동 인코더는 입력 타일을 출력 타일로 충실히 재생할 목적으로 타일-바이-타일 베이스로 조직학적 이미지에 적용된다. 이상 징후 감지를 위한 자동 인코더는 자동 인코더를 자체 지도 훈련하는 데 이전에 사용되었던 이미지 타일과 동일한 크기로 편리하게 제작된다.
단계 S24는 각 타일의 입력 패치와 출력 패치 사이의 거리 D(X, Y)를 계산한다.
단계 S25는 거리 'D'를 임계값 'ε'와 비교한다.
단계 S26은 타일을 음수, 즉, D(X, Y) < ε이면, 정상 또는 무독성으로 표시하는 반면, 단계 S27은 타일을 양수, 즉, D(X, Y) > ε인 경우, 이상 또는 독성으로 표시한다. 각 타일은 이진 라벨로 표시된다. 임계값은 사용자가 설정할 수 있다. 예를 들어, 시각화 애플리케이션에는 사용자가 임계값을 설정할 수 있는 사용자 제어가 제공될 수 있다. 사용자가 임계값을 수정하도록 허용하면, 사용자는 민감도를 특히 원하는 대로 증가하거나 감소시킨다.
단계 S28은 전체로서의 이미지, 즉 WSI가 음수인지 양수인지의 여부를 테스트하기 위해, 주어진 이미지의 모든 타일을 단계 S24 내지 단계 S27에 의해 검사한 후, 그 다음에 WSI가 단계 S29 및 단계 S30 단계에서 각각 음(-) 또는 양(-)으로 라벨링된 프로세스 흐름에 배열된다. 따라서 WSI의 음성 또는 양성 결과는 WSI(및 WSI가 부품을 구성하는 기본 레코드)에 대해 전체 독성 라벨이다. 이에 따른 전체 독성 라벨은 이미지 타일 중 하나가 양으로 결정되는 독성/비정상이고, 이미지 타일이 양수로 결정되는 것이 없으면, 즉 모든 이미지 타일이 음으로 결정되는 비독성/정상으로, 조직학적 이미지를 지정하는 이진 라벨이다.
단계 S31은 계산된 거리를 기반으로 조직학적 이미지에 대한 독성 지도를 생성한다. 거리는 이미지에 연결된 메타데이터로 레코드에 바로 또는 저장한 후, 예를 들어 합성 디스플레이에서 조직학적 이미지상에 중첩될 수 있다. 단계 S25에서의 테스트 결과로 생성된 이진 타일 라벨은 이미지에 대한 이진 마스크를 집합적으로 구성하며, 이러한 이진 마스크에는 위에 참조된 독성 지도일 수 있다. 이러한 스칼라-값 마스크는, 예를 들어 열 지도와 같은 합성 디스플레이에서 이미지상에 중첩될 수 있다. 시각화에 있어서, 열 지도는 색상 척도가 제공되거나 예를 들어 윤곽선을 사용하여 표시할 수 있다. 거리값은 소망의 오버레이 표현을 제공하기 위해 열 지도을 추가로 사용하여 표시할 수 있다. 예를 들면, 거리값은 변경없이 또는 공통 변환 인자에 의해 단지 스케일링되어 열 지도내의 온도 값으로서 사용될 수 있다. 또 다른 가능성은 독성 지도가 모든 이하-임계 거리 값을 0의 온도, 또는 기타 상수 값으로 설정하여, 열 지도가 표시될 때 정상 조직 영역이 균일하게, 예를 들어, 전혀 표시되지 않거나 옅은 회색 세안으로 덮여서 표시된다. 거리 값을 열 지도에서 스칼라 값으로 유지하는 대신, 예를 들어 2, 3, 4, 5 또는 그 이상의 열 지도에 대해 다양한 독성 레벨을 제공하기 위해, 거리 값에 비례하는 이산형 값으로 변환될 수 있다. 독성 지도에 대한 다른 옵션은 독성 타일을 독성 영역으로 그룹화하는 분할 알고리즘을 적용하는 것으로, 동일한 정보 내용을 포함하기 때문에 타일-바이-타일 독성 데이터와 별도로 또는 그곳에 저장될 수 있는 독성 영역의 분할 마스크를 생성한다.
거리(또는 상술한 거리 값 을 처리하는 추가 과정에서 파생된 다른 값)에 의해 측정된 바와 같은 독성에 따라, 독성 타일 또는 독성 영역, 또는 독성 있는 경우 총 거리의 순위를 매기는 것이다. 랭킹 데이터는 독성 지도의 일부 또는 메타데이터로 저장할 수 있다.
시각화 애플리케이션이 자동 인코더로 부터 이상 데이터를 나타내는 조직학적 이미지의 시각화를 만들기 위하여 독성 지도를 독극물 병리학자나 다른 사용자에게 유용한 방법으로 어떻게 활용할 수 있는지에 대한 다양한 옵션이 있다.
시각화는 언급한 바와 같이 독성 지도가 조직학적 이미지에 중첩되어있는 개요 보기 창을 표시할 수 있다. 이미 있습니다. 선택적으로 독성 영역에 대한 랭킹 라벨이 포함될 수 있어서, 예를 들어 병리학자가 가장 높은 순위를 매긴 영역을 먼저 검토할 수 있다. 오버레이 대신에, 독성 지도와 조직학적 이미지는 일대일 비교를 위해 서로 나란히 인접하게 제시된다. 유용하게는, 시각화 애플리케이션은
사용자가 시각화와 상호 작용하여 독성 영역 또는 개별 독성 타일을 선택하도록 작동 가능한 사용자 인터페이스 제어가 제공될 수 있다.
한 가지 형태의 시각화는 화면의 한 부분이 개요 보기 창을 표시하고, 화면의 다른 부분은 더 높은 배율에서 현재 선택된 독성 영역을 기본 이미지 데이터의 원래의 해상도로 표시하는 클로즈업 보기 창을 표시하는 분할 화면이다. 개별 독성 타일 또는 독성 영역은 거리 값 또는 총 거리 값(또는 그에 따라 파생된 일부 값)d에 의해 랭킹이 부여되고, 이에 따른 시각화 애플리케이션은 사용자가 독성 타일 또는 영역을 통해 랭킹 순서대로 스크롤하도록 작동 가능한 사용자 인터페이스 제어가 제공될 수 있고, 스크롤은 예를 들어 마우스 스크롤 휠로 액세스할 수 있으므로, 순위가 위 또는 아래에 있을 수 있다.
다른 형태의 시각화는 독성 타일 또는 영역이 각각의 랭킹으로 하나의 행을 나타내고, 각각의 행이 독성 타일 또는 영역의 축소 이미지를 포함하는 랭킹 순서로 표 또는 목록에 표시되는 것이다.
또 다른 형태의 시각화는 독성 타일 또는 영역이 모쟈이크 이미지로서 표시되는 것으로, 사용자에게 이미지의 일부에만 이상, 즉 독성으로 표시되고, 정상 영역은 표시되지 않거나, 또는 주변 만 표시된다.
예제 실시예
일 실싱예에 있어서, 테스트 화합물로 처리된 조직 샘플의 조직학적 이미지를 처리하는 컴퓨터 자동화 시스템에 의해 채택된 방법은 조직 샘플의 조직 이미지를 수신하여 시작하고, 조직학적 이미지는 2차원 픽셀 어레이를 포함한다. 다음으로, 시스템은 제1 컨볼루션(convolutional) 신경망을 조직학적 이미지에 적용하여 조직학적 이미지에 대한 매핑으로 2차원 픽셀 어레이로 제1 출력 이미지 패치를 생성한다. 제1 출력 이미지 패치는 복수의 관련 클래스 중 하나를 각 픽셀에 할당함으로써 생성된다. 여기서 복수의 관련 클래스는 관심 픽셀을 나타내는 적어도 하나의 클래스 및 관심이 없는 픽셀을 나타내는 적어도 하나의 클래스를 포함한다. 유리하게는, 제1 컨볼루션 신경망은 병리학적 이미지 및 병리학자 상호 작용 데이터를 구성하는 훈련 데이터 세트를 사용하여 훈련되고, 여기서 병리학자 상호 작용 데이터는 병리학자들이 조직학적 이미지의 시각화와 어떻게 상호 작용해 왔는 지에 관한 다수의 파라미터가 기록된다. 다음에, 시스템은 제1 출력 이미지 패치로 부터 관심 영역 지도를 생성한다. 관심 영역 지도는 관심 픽셀에 의해 점유되는 관심 영역을 식별한다.
다음으로, 제2 컨볼루션 신경망이 조직학적 이미지에 매핑하여 2차원 픽셀 어레이를 가지는 제2 출력 이미지 패치를 생성한다. 이 경우, 제2 컨볼루션 신경망은 테스트 화합물로 처리되지 않은 조직 샘플의 복수의 조직학적 이미지를 구성하는 훈련 데이터 세트와 함께 훈련된다. 시스템은 이어서 제2 출력 이미지 패치와 맵핑에 따른 조직학적 히스토리컬의 해당 부분 사이의 거리를 계산한다. 이에 따른 시스템은 계산된 거리를 기반으로 조직학적 이미지에 대한 독성 지도를 생성하고 관심 영역 지도 및 독성 지도를 분석하고여 관심 영역 지도 및 독성 지도의 양자의 영역을 식별한다. 마지막으로 시스템은 관심 영역 지도 및 독성 지도의 양자에 나나타는 조직학적 이미지의 각각의 영역에 대하 독성 확인 점수를 증가한다.
CNN 컴퓨팅 플랫폼
제안된 이미지 처리는 다양한 컴퓨팅 아키텍처에서 수행될 수 있다. 특히 신경망에 최적화된 아키텍처는 CPU, GPU, TPU, FPGA 및/또는 ASIC의 기초가 될 수 있다. 일부 실시예에 있어서, 신경망은 엔비디아사(캘리포니아, 산타클라라, Nvidia Corporation)의 Tesla K80 GPU와 같은 GPUs에서 실행하는 구글의 Tensorflow 소프트웨어 라이브러리를 이용하여 구현된다. 다른 실시예에 있어서, 신경망은 일반 CPUs에서 실행될 수 있다. 더 빠른 속도 CNN 계산을 위해 특별히-설계된 프로세서에 의해 얻어질 수 있는, 예를 들면 TPU는 Jouppi et al 2017에 개시되었고, 그 전체 내용은 본 명세서에 참조로 포함하고 있다.
도 9는 Jouppi et al 2017의 TPU의 도 1을 단순하게 재현한 것을 보여준다. TPU(100)에는 시스토릭(systolic) MMU(102)(matlix multiplication Unit)를 가지며, MMU에는 서명되거나 서명되지 않은 정수에 8-비트 곱하기 및 더하기를 수행할 수 있는 256x256 MACs이 포함되어 있다. MMU에 대한 가중치는 중량 FIFO 버퍼(104)를 통해 공급되어 결국, 적합한 메모리 인터페이스(108)를 경유하여, ofF-칩 8GB DRAM 형태의 메모리(106)에서 가중치를 읽는다. UB(110)(Unified Buffer)는 중간 결과를 저장할 수 있도록 제공된다. MMU(102)는 중량 FIFO 인터페이스(104) 및 시스토릭 데이터 설정 유닛(112)을 경유하는 UB(110)로부터의 입력을 수신하여, 어큐뮬레이터 유닛(114)(accumulator unit)에 처리하는 16-비트 프로덕츠를 출력한다. 액티베이션 유닛(116)(activation unit)은 어큐뮬레이터 유닛(114)에 유지된 데이터에 대한 비선형 함수를 실행한다. 노말라이징 유닛(118)(normalizing unit) 및 풀링 유닛(120)(pooling unit)에 의한 추가 처리 후, 중간 결과는 데이터 설정 유닛(112)를 통해 MMU(102)에 재공급하기 위해 UB(110)로 전송된다. 풀링 유닛(120)은 원하는 대로 최대 풀링 또는 평균 풀링을 수행할 수 있다.
프로그램 가능 DMA 컨트롤러(122)는 TPU의 호스트 컴퓨터와 UB(110)에서의 데이터를 전송한다. TPU 지시는 호스트 인터페이스(124) 및 지시 버퍼(126)를 경유하여 호스트 컴퓨터에서 컨트롤러(122)로 전송된다.
CPU, GPU 또는 TPU를 기반으로 하든지 간에 신경망을 구동하는 데 사용되는 컴퓨팅 전원은 임상 네트워크에서 예를 들어, 아래에 설명된 항목 또는 데이터 센터에서 원격으로 설명하는 항목들이 로컬로 호스팅될 수 있음이 이해될 것이다.
네트워크 & 컴퓨팅 & 스캐닝 환경
제안된 컴퓨터 자동화 방법은 라보라토리 정보 시스템(LSI)의 맥락에서 작동하며, 결국 LSI는 병원 정보 시스템(HIS) 또는 사진 파일 보관(archiving) 및 통신 시스템(PACS)과 같은, 일반적으로 더 큰 임상 네트워크 환경의 일부이다. WSI들은 일반적으로 개별 환자의 전자 의료 기록이 들어 있는 환자 정보 데이터베이스와 같은 데이터베이스에 보존된다. WSI들은 슬라이드에 장착된 스테인드(stained) 조직 샘플에서 추출되고, 슬라이드는 WSI들을 획득하는 현미경에 바코드 판독기가 장착되어 있으므로, WSI들이 적절한 메타데이터로 태그가 지정되는 인쇄 바코드 라벨을 부착한다. 하드웨어 관점으로, LIS는 소망에 따라 유선 및 무선 연결되는 로컬 영역 네트워크(LAN, local ara network)와 같은 전통적인 컴퓨터 네트워크일 수 있다.
도 10은 본 발명의 실시예와 연관되어 사용할 수 있는 컴퓨터 네트워크의 예를 보여준다. 네트워크(150)는 병원(152)의 LAN으로 구성된다. 병원(152)은 다수의 워크스테이션(154)이 갖추어져 있으며, 각각의 워크스테이션은 로컬 영역 네트워크를 통해 연관된 저장 장치(158)가 있는 병원 컴퓨터 서버(156)에 접근할 수 있다. LIS, HIS 또는 PACS 아카이브는 저장 장치(158)에 저장되어 아카이브내의 데이터를 워크스테이션(154)에서 액세스할 수 있다. 하나 이상의 워크스테이션(154)은 그래픽 카드와 상술한 바와 같이 이미지를 생성하는 방법의 컴퓨터 구현을 위한 소프트웨어에 액세스할 수 있다. 소프트웨어는 각 워크스테이션(154)에 로컬로 저장될 수 있고 또는 원격으로 저장하여, 필요할 때마다 네트워크(150)을 통해 워크스테이션(154)에 다운로딩할 수 있다. 다른 예에 있어서, 본 발명을 구체화하는 방법은 워크스테이션(154)이 터미널로서 작용하는 컴퓨터 서버에서 실행된다. 예를 들면, 워크스테이션은 소망의 조직학적 이미지 데이터 세트를 정의하는 사용자 입력을 수신하여, CNN 분석이 시스템내 어디에서 수행되는 동안 합성 이미지를 표시하도록 구현될 수 있다. 또한, 다수의 조직학적 및 기타 의료적 이미지 데이터 수집 장치(160, 162, 164, 166)는 병원 컴퓨터 서버(156)에 연결된다. 이미지 데이터 수집 장치(160, 162, 164, 166)는 저장 장치(158)의 LIS, HIS 또는 PACS 아카이브에 직접 저장할 수 있다. 따라서, 해당 조직학적 이미지 데이터가 기록된 직후, 조직학적 이미지를 보고 처리할 수 있다. 로컬 영역 네트워크는 병원 인터넷 서버(170)에 의해 인터넷(168)에 연결되어, LIS, HIS 또는 PACS 아카이브에 대한 원격 액세스할 수 있다. 이는 예를 들어, 환자가 이동하거나 이동 중인 경우, 또는 외부 연구를 허용한 경우, 데이터의 원격 억세싱 및 병원 간 데이터 전송을 위한 사용이다.
도 11은 본 명에서에서 설명된 다양한 실시예와 관련하여 사용될 수 있는 컴퓨팅 장치(500)의 예를 보여주는 블록 다이어그램이다. 예를 들어 컴퓨팅 장치(500)는 상술한 LIS 또는 PACS 시스템, 예를 들어 적절한 GPU 또는 도 9에 도시된 TPU와 연관되어 CNN 처리가 수행되는 호스트 컴퓨터에서의 컴퓨팅 노드로 사용될 수 있다.
컴퓨터 장치(500)은 서버 또는 기존의 개인용 컴퓨터 또는 유무선 데이터 통신이 가능한 기타 프로세서 지원 장치일 수 있다. 유무선 데이터 통신을 할 수 없는 경우, 기타 컴퓨팅 장치, 시스템 및/또는 아키텍처도 사용할 수 있음은 기술 분야의 숙련된 사용자에게는 분명한 것이다.
컴퓨팅 장치(500)에는 프로세서(510)와 같은 하나 이상의 프로세서를 포함하는 것이 바람직하다. 프로세서(510)은 예를 들어 CPU, GPU, TPU 또는 어레이 또는 CPU 및 TPU 조합 또는 CPU 및 GPU 조합과 같은 그 조합일 수 있다. 입력/출력을 관리하는 보조 프로세서, 부동 소수점 수학 연산, 즉 TPU를 수행하는 보조 프로세서, 신호 처리 알고리즘, 예를 들어 디지털 신호 프로세서, 이미지 프로세서의 빠른 실행에 적합한 아키텍쳐를 가지는 특수 목적 마이크로프로세서, 메인 프로세싱 시스템, 즉 백-엔드 프로세서에 종속하는 슬레이브 프로세서, 듀얼 또는 다중 프로세서 시스템 에 대한 추가 마이크로프로세서 또는 컨트롤러, 또는 코프로세서와 같은 추가 프로세서가 제공될 수 있다. 이러한 보조 프로세서는 개별 프로세서이거나 프로세서(510)와 통합될 수 있다. 컴퓨팅 장치(500)과 함께 사용될 수 있는 CPUs의 예는 펜티엄 프로세서, 코어 i7 프로세서, 및 Xeon 프로세서이고, 모두 인텔 제품( Intel Corporation of Santa Clara, California.)을 사용할 수 있다. 컴퓨팅 장치(500)과 함께 사용할 수 있는 GPU의 예는 테슬라)(Tesla) K80 GPU(엔비디아 제품-Nvidia Corporation, Santa Clara, California).
프로세서(510)는 통신 버스(505)에 연결된다. 통신버스(505)는 스토리지와 컴퓨팅 장치(500)의 다른 주변 구성 간의 정보 전송을 촉진하기 위한 데이터 채널을 포함할 수 있다. 통신 버스(505)는 데이터 버스, 어드레스 버스 및 컨트롤 버스(표시되지 않음)을 포함하여, 프로세서(510)와 통신하는데 사용되는 신호 세트를 추가로 제공할 수 있다. 통신 버스(505)는 예를 들어 산업 표준 아키텍처(ISA), 확장된 산업 표준 아키텍처(EISA), 마이크로 채널 아키텍처(MCA), 주변 구성 요소 상호 연결(PCI) 로컬 버스 또는 IEEE 488 범용 인터페이스 버스(GPIB), IEEE 696/S-100 등이 포함된 전기전자공학연구원(IEEE)이 발표한 표준을 따르는 버스 아키텍와 같은 표준 또는 비표준 버스 아키텍처로 구성될 수 있다.
컴퓨팅 장치(500)은 메인 메모리(515)를 포함할 수 있고, 또한 이차 메모리 (520)를 포함할 수 있다. 메인 메모리(515)는 프로세서(510)에서 실행되는, 예를 들어 위에서 논의된 하나 이상의 기능 및/또는 모듈과 같은 프로그램에 대한 인스트럭션 및 데이터의 저장 기능을 제공한다. 메모리에 저장되어 프로세서(510)에 의해 실행되는 컴퓨터 판독가능 프로그램 인스트럭션은 어셈블러 인스트럭션, 인스트럭션-세트-아키텍처(ISA) 인스트럭션, 기계 인스트럭션, 기계 종속 인스트럭션, 마이크로코드, 펌웨어 인스트럭션, 상태-설정 데이터, 통합 회로용 구현 데이터, 또는 Smalltalk, C/C++, Java, JavaScript, Perl, Visual Basic, NET 등을 제한없이 포함하는, 하나 이상의 프로그래밍 언어의 조합에 쓰여진(written) 및/또는 조합에서 컴파일된 소스 코드 또는 객체 코드일 수 있다. 메인 메모리(515)는 DRAM(Dynamic Random Access Memory) 및/또는 SRAM(Static RAM)과 같은 일반적으로 반도체 기반 메모리이다. 기타 반도체 기반 메모리 유형은 ROM(read only memory)를 포함하는, 예를 들어 SDRAM(Synchronous DRAM), RDRAM(Rambus DRAM), FRAM(Ferroelectric RAM), 등을 포함한다.
컴퓨터 판독 프로그램 인스트럭션은 전적으로 사용자 컴퓨터상에서, 부분적으로 사용자의 컴퓨터에서 독립 실행형(stand-alone) 소프트웨어 패키지로서 사용자의 컴퓨터에서와 원격 컴퓨터상에서 부분적으로, 또는 원격 컴퓨터 또는 서버에서 전적으로 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 사용자의 컴퓨터에, LAN 또는 광역 네트워크(WAN: Wide Area Network)를 포함한 모든 유형의 네트워크 를 통해 연결될 수 있고, 또는 통신은 예를 들어 인터넷 서비스 공급자를 이용하는 인터넷를 통해 외부 컴퓨터에 만들어 질 수 있다.
이차 메모리(520)는 내장 메모리(525) 및/또는 이동식 저장 매체(530)를 선택적으로 포함할 수 있다. 이동식 저장 매체(530)는 잘 알려진 방식으로 읽거나 쓰여지며, 예를 들어 자기 테이프 드라이브, CD(콤팩트 디스크) 드라이브, DVD(디지털 다기능 디스크) 드라이브, 기타 광학 드라이브, 플래시 메모리 드라이브 등 일 수 있다.
이동식 저장 매체(530)는 컴퓨터-실행가능 코드(즉, 소프트웨어) 및/또는 데이터에 저장되는 일시적이 아닌 컴퓨터 판독가능 매체이다. 이동식 저장 매체(530)에 저장된 소프트웨어 또는 데이터를 프로세서(510)에서 실행하여 컴퓨팅 장치(500)로 읽는다.
이차 메모리(520)에는 컴퓨터 프로그램 또는 기타 데이터 또는 인스트럭션을 컴퓨터 장치(500)에 로딩시키는 기타 유사한 요소를 포함할 수 있다. 이러한 수단에는 예를 들어 외부 저장 매체(545) 및 통신 인터페이스(540)를 포함할 수 있고, 소프트웨어 및 데이터를 외부 저장 매체(545)에서 컴퓨팅 장치(500)로 전송할 수 있다. 외부 저장 매체(545)의 예에는 외장 하드 디스크 드라이브, 외장 광학 드라이브, 외장 자기-광학 드라이브 등이 포함될 수 있다. 이차 메모리(520)의 다른 예는 반도체 기반 메모리, 예를 들어 PROM(Programmable Read-Only Memoly), EPROM(Erasable PROM), EEPROM(Electrically EPROM) 또는 플래시 메모리(EEPROM과 유사한 블록-지향 메모리)를 포함할 수 있다.
전술한 바와 같이, 컴퓨팅 장치(500)는 통신 인터페이스(540)를 포함할 수 있다. 통신 인터페이스(540)를 통해 컴퓨팅 장치(500)와 외부 장치(예: 프린터), 네트워크 또는 기타 장치 사이 정보 소스 간에 소프트웨어 및 데이터가 전송 가능하다. 예를 들어, 컴퓨터 소프트웨어 또는 실행 가능한 코드가 통신 인터페이스(540)를 통해 네트워크 서버에서 컴퓨팅 장치(500)로 전송될 수 있다. 통신 인터페이스(540)의 예로는 내장(built-in) 네트워크 어댑터, 네트워크 인터페이스 카드(NIC), PCMCIA(개인 컴퓨터 메모리 카드 국제 협회) 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, 범용 직렬 버스 (USB) 네트워크 어댑터, 모뎀, 네트워크 인터페이스 카드(NIC), 무선 데이터 카드, 통신 포트, 적외선 인터페이스, IEEE 1394 방화벽(fire-wire) 또는 기타 컴퓨칭 장치를 포함한다. 통신 인터페이스(540)는 이더넷(Ethernet) IEEE 802 표준, 파이버 채널, 디지털 가입자 회선(DSL: Diqtal Subscriber Line), ADSL(Asynchronous DSL), 프레임 릴레이, (ATM: Asynchronous Transfer Mode), ISDN(Integrated Digital Services Network), (PCS: Personal Communications Servisec), 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP: transmission control protocol/Internet protocol), 직렬 회선 인터넷 프로토콜/지점/포인트 프로토콜(SLIP/PPP: serial line Internet protocol/point to point protocol) 등과 같은 산업-공포 프로토콜 표준을 수행하는 것이 바람직하지만, 그 뿐만 아니라 사용자 정의 또는 비표준 인터페이스 프로토콜도 수행할 수 있다.
통신 인터페이스(540)를 통해 전송되는 소프트웨어 및 데이터는 일반적으로 전기 통신 신호(555)이다. 이 신호(555)는 통신 채널(550)을 통한 통신 인터페이스(540)에 제공될 수 있다. 실시예에 있어서, 통신 채널(550)은 유선 또는 무선 네트워크 또는 다양한 기타 통신 링크일 수도 있다. 통신 채널(550)은 신호(555)를 전달하여, 몇 가지만 예를 들자면, 유선 또는 케이블, 광섬유, 재래식 전화선, 셀룰라 폰 링크, 무선 데이터 통신 링크, 무선 주파수("RF") 링크, 또는 적외선 링크를 포함하는 다양한 유선 또는 무선 통신 수단을 이용하여 수행될 수 있다.
컴퓨터-실행 가능 코드(즉, 컴퓨터 프로그램 또는 소프트웨어)는 메인 메모리(515) 및/또는 이차 메모리(520)에 저장된다. 컴퓨터 프로그램은 통신 인터페이스(540)를 통해 수신되어 메인 메모리(515) 및/또는 이차 메모리(520)에 저장될 수 있다. 이러한 컴퓨터 프로그램은, 실행될 때, 컴퓨팅 장치(500)가 본 명세서의 다른 부분에서 설명된 바와 같은 개시된 실시예의 다양한 기능을 실행한다.
본 명세서에 있어서, "컴퓨터-판독가능 매체"라는 용어는 컴퓨터-실행가능 코드(즉, 소프트웨어 및 컴퓨터 프로그램)를 컴퓨팅 장치(500)에 제공하도록 사용된 모든 일시적이지 않은 컴퓨터로 읽을 수 있는 저장 매체를 지칭하는 데 사용된다. 이러한 매체의 예는 메인 메모리(515), 이차 메모리(520)(내장 메모리(525), 이동식 저장 매체(530), 및 외장 저장 매체(545)), 및 통신 인터페이스(540)(네트워크 정보 서버 또는 기타 네트워크 장치 포함)와 통신적으로 결합된 모든 주변 장치를 포함한다. 이러한 일시적이지 않은 컴퓨터 판독가능 매체는 실행 가능한 코드, 프로그래밍 인스트럭션, 및 소프트웨어를 컴퓨팅 장치(500)에 제공하는 수단이다. 소프트웨어를 사용하여 구현되는 실시예에 있어서, 소프트웨어는 이동식 저장 매체(530), I/O 인터페이스(535), 또는 통신 인터페이스(540)를 거쳐서 컴퓨터-판독가능 매체에 저장되어 컴퓨팅 장치(500)에 로딩될 수 있다. 이 실시예에 있어서, 소프트웨어는 전기 통신 신호(555)의 형태로 컴퓨터 장치(500)에 로딩된다. 프로세서(510)에 의해 소프트웨어가 실행될 때, 프로세서(510)는 본 명세서의 다른 부분에 설명된 특징과 기능을 수행하는 것이 바람직하다.
I/O 인터페이스(535)는 컴퓨팅 장치(500)의 하나 이상의 구성 요소와 하나 이상의 입력 및/또는 출력 장치 사이에 인터페이스를 제공한다.
입력 장치의 예는 키보드, 터치 스크린 또는 기타 터치-감지 장치, 생체 감지 장치, 컴퓨터 마우스, 트랙볼, 펜-기반 포인팅 장치, 등을 제한없이 포함한다. 출력 장치의 예로는 CRTs(Cathode ray tubes), 플라스마 디스플레이, LED(light-emitting diode) 디스플레이, LCDs(liquid crystal displays) 디스플레이, 프린터, VFDs(vacuum florescent displays), SEDs(surface-conduction electron-emitter displays), FEDs(field emission displays) 등을 제한없이 포함한다.
컴퓨팅 장치(500)에는 또는 음성 네트워크 및/또는 데이터 네트워크를 통한 무선 통신을 이용하는 무선 통신 구성 요소를 선택적으로 포함한다. 무선 통신 구성 요소는 안테나 시스템(570), 무선 시스템(565), 및 베이스밴드 시스템(560)을 구성한다. 컴퓨팅 장치(500)에 있어서, 무선 주파수(RF) 신호는 무선 시스템(565)의 관리 하에 안테나 시스템(570)에 의해 공중에서 송수신된다.
안테나 시스템(570)은 하나 이상의 안테나와 하나 이상의 멀티플렉서(표시되지 않음)를 포함할 수 있고, 멀티플렉서는 전송 및 수신 신호 경로를 사용하여 안테나 시스템(570)을 제공하기 위해 전환 기능을 수행한다. 수신 경로에서, 수신된 RF 신호는 멀티플렉서에서 낮은 노이즈 증폭기(표시되지 않음)에 결합되어, 수신된 RF 신호를 증폭하고, 증폭된 신호를 무선 시스템(565)으로 전송한다.
무선 시스템(565)은 여러 주파수로 통신하도록 구현된 하나 이상의 무선으로 구성될 수 있다. 실시예에 있어서, 무선 시스템(565)은 하나의 집적 회로(IC)에 디모듈레이터(표시되지 않음) 및 모듈레이터(표시되지 않음)를 결합할 수 있다. 또한 디모듈레이터와 모듈레이터는 별도의 구성 요소일 수 있다. 들어오는 경로에서, 디모듈레이터는 RF 반송파 신호를 차단하여 베이스 밴드를 수신하는 오디오 신호를 수신하여, 라디오 시스템(565)에서 베이스밴드 시스템(560)으로 전송한다.
수신된 신호에 오디오 정보가 포함된 경우, 베이스밴드 시스템(560)은 디코딩하여 신호를 아날로그 신호로 변환한다. 그 후, 신호가 증폭되어 스피커로 전송된다. 또한 베이스밴드 시스템(560)은 마이크로폰으로부터 아날로그 오디오 신호를 수신한다. 이들 아날로그 오디오 신호는 디지털 신호로 변환되고 베이스밴드 시스템(560)에 의해 인코딩된다. 베이스밴드 시스템(560)도 송신을 위한 디지털 신호를 코딩하여 라디오 시스템(565)의 변조기 부분으로 라우팅되는 베이스밴드 송신 오디오 신호를 생성한다.
모듈레이터는 베이스밴드 송신 오디오 신호를 RF 반송파 신호와 혼합하여, 안테나 시스템(570)으로 라우팅되는 RF 송신 신호를 생성하고, 파워 앰프(표시되지 않음)를 통과할 수 있다. 파워 앰프는 RF 송신 신호를 증폭하여 그것을 안테나 시스템(570)으로 라우팅한다. 여기서 신호는 전송을 위해 안테나 포트로 전환된다.
베이스밴드 시스템(560)도 프로세서(510)과 통신적으로 결합되며, 프로세서는 CPU(중앙 처리 장치)일 수 있다. 프로세서(510)는 데이터 저장 영역(515, 520)에 액세스할 수 있다. 프로세서(510)는 메인 메모리(515) 또는 이차 메모리(520)에 저장될 수 있는 인스트럭션(즉 컴퓨터 프로그램 또는 소프트웨어)을 실행하도록 구현되는 것이 바람직하다. 컴퓨터 프로그램은 또한, 베이스밴드 프로세서(560)로부터 수신되어 메인 메모리(510) 또는 이차 메모리(520)에 저장되거나, 또는 수신 즉시 실행될 수 있다. 이러한 컴퓨터 프로그램이 실행되면, 컴퓨팅 장치(500)가 개시된 실시예의 다양한 기능을 수행할 수 있도록 한다. 예를 들어, 데이터 저장 영역(515 또는 520)에는 다양한 소프트웨어 모듈이 포함될 수 있다.
컴퓨팅 장치는 위에서 참조한 I/O 인터페이스(535)에 연결된 디스플레이에 대신하거나 또는 추가로 제공될 수 있는 통신 버스(505)에 직접 부착된 디스플레이(575)를 더 포함한다.
다양한 실시예들이, 예를 들어 ASICs(Application Specific Integrated Circuits), PLA(Programmable Logic Arrays), 또는 FPGA(Field Programmable Gate Arrays)와 같은 구성 요소를 이용하는 하드웨어에서 주로 수행될 수 있다. 여기에 기술된 기능을 수행할 수 있는 하드웨어 상태 기계는 관련 기술에 정통한 사람들에게는 명백한 것일 것이다. 또한 다양한 실시예들이 하드웨어와 소프트웨어 모두의 조합을 사용하여 구현될 수 있다.
더구나, 기술 분야의 전문가라면, 상술한 특징과 관련되어 설명된 다양한 예시적 논리 블록, 모듈, 회로, 및 방법 단계는 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로 자주 수행될 수 있다. 이러한 하드웨어 및 소프트웨어의 상호교환성, 다양한 예시적 구성 요소, 블록, 모듈, 회로, 및 단계는 그 기능성의 면에서 일반적으로 상술하고 있다. 이러한 기능성은 하드웨어 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과되는 특정 어플리케이션 및 설계 제약 조건에 따른다. 숙련자라면 각 특정 어플리케이션에 대한 방식을 변경하여 설명된 기능성을 수행할 수 있지만, 그 구현 결정은 본 발명의 범위를 벗어나지 않도록 해석되어야 한다. 또한 설명의 편의를 위해, 모듈, 블록, 회로, 또는 단계에서 기능의 그룹화는 설명을 쉽게하기 위한 것이다. 특정 기능 또는 단계는 하나의 모듈, 블록, 또는 회로로 부터 발명을 벗어나지 않고 다른 것으로 이동될 수 있다.
더구나, 본 명세서에 개시된 실시예와 연관하여 설명된 다양한 예시적 논리 블록, 모듈, 기능, 및 방법은 일반적 목적의 프로세서, DSP(digital signal processer), ASIC, FPGA, 또는 프로그램가능한 논리 장치, 불연속 게이트 또는 트랜지스터 로직, 불연속 하드웨어 구성 요소, 또는 본 명세서에 설명된 기능을 수행하도록 설계된 그 조합이 구현되거나 실행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 이와 달리 프로세서는 모든 범용 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 기계일 수 있다. 또한 프로세서는 컴퓨팅 장치의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 또는 이를 구현하는 기타 모든 것으로 구현될 수 있다.
추가적으로, 본 명세서에 설명된 실시예들과 연과하여 설명된 방법의 단계 또는 알고리즘은 하드웨어에서, 프로세서에 의해 실행된 소프트웨어 모듈에서, 또는 두 개의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, 또는 네트워크 저장 매체를 포함하는 다른 형태의 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서가 정보를 읽고 쓸 수 있는 프로세서 저장 매체에 결합될 수 있다. 대안 실시예에 있어서, 저장 매체는 프로세서에 통합되어 있을 수 있다. 프로세서와 저장 매체도 ASIC에 상주할 수 있다.
본 명세서에서 참조하고 있는 컴퓨터 판독가능 저장 매체는 전파 또는 기타 자유 전파와 같은 일시적인 신호 그 자체로서 전자기파, 도파관 또는 다른 전송 매체(예: 광섬유 케이블을 통과하는 광 펄스), 또는 전선을 통해 전송된 전기 신호로서 해석되는 것은 아니다.
본 명세서에 설명된 모든 소프트웨어 구성 요소는 다양한 형태를 취할 수 있다. 예를 들어 구성 요소는 독립 실행형 소프트웨어 패키지일 수 있고, 또는 대형 소프트웨어 제품에 "툴(도구)"로 통합된 소프트웨어 패키지일 수 있다. 네트워크, 예를 들어 웹 사이트로 부터, 기존 소프트웨어 어플리케이션에서 설치한 독립 실행형 제품 또는 추가 기능 패키지로서 다운로딩될 수 있다. 또한 클라이언트-서버 소프트웨어 어플리케이션으로도, 웹 지원 소프트웨어 어플리케이션으로도, 및/또는 모바일 어플리케이션으로도 이용할 수 있다.
본 발명의 실시예들은 플로우챠트의 예시 및/또는 방법, 장치(시스템), 및 본 발명의 실시예에 따른 컴퓨터 프로그램 프로덕츠의 블록 다이어그램을 참조하여 설명하고 있다. 플로우챠트 예시 및/또는 블록 다이어그램의 각각의 블록, 및 플로우챠트 예시 및/또는 블록 다이어그램에서의 블록의 조합이 컴퓨터 판독가능 프로그램 인스트럭션에 의해 수행될 수 있음이 이해될 것이다.
컴퓨터 판독가능 프로그램 인스트럭션은 범용 컴퓨터, 특수 목적 컴퓨터, 또는, 컴퓨터의 프로세서 또는 기타 프로그램 가능한 데이터 처리 장치를 경유하여 실행하는 인스트럭션이 플로우챠트 및/또는 블록 다이어그램의 블록 또는 블록들에서 특정된 기능/작업을 수행하는 수단을 생성하도록, 기계를 제작하기 위한 기타 프로그램 가능한 데이터 처리 기계 제작 장치에 제공될 수 있다.
이러한 컴퓨터 판독가능 프로그램 인스트럭션은 또한 컴퓨터, 프로그램 가능한 데이터 처리 장치, 및/또는, 저장된 인스트럭션을 가지는 컴퓨터 판독가능 저장 매체가 플로우챠트 및/또는 블록 다이어그램의 블록 또는 블록들의 양태를 구현하는 인스트럭션을 포함하는 제조품으로 구성하도록, 특정 방법으로 기능하기 위한 기타 장치에 직접 제공할 수 있는 컴퓨터 판독가능 처리 장치에 저장될 수 있다.
예시된 플로우차트와 블록 다이어그램은 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 프로덕츠의 가능한 구현의 아키텍쳐, 기능성, 및 작동을 예시한다. 이와 관련하여, 플로우챠트 또는 블록 다이어그램의 각각의 블록은, 특정 논리 기능(들)을 수행하는 하나 이상의 실행가능한 인스트럭션을 구성한다. 일부 대안 구현예에 있어서, 블록에서의 기능은 도면에서의 순서로 발생할 수 있다. 예를 들면, 연속해서 도시된 두 개의 블록은, 사실, 실질적으로 동시에 실행될 수 있고, 또는 블록들은 때때로 관련 기능에 따라 역순으로 실행될 수 있다. 또한 블록 다이어그램 및/또는 플로우챠트 예시의 각각의 블록, 및 블록 다이어그램 및/또는 플로우챠트 예시의 블록의 조합은, 특정 기능을 실행하거나 특수 목적 하드웨어 및 컴퓨터 인스트럭션의 조합을 작동 또는 행하는 특수 목적 하드웨어 기반 시스템에 의해 수행될 수 있다.
본 발명을 구체화하는 장치 및 방법은 클라우드 컴퓨팅 환경에 의해 호스팅되거나 제공될 수 있다. 클라우드 컴퓨팅은 서비스 제공 모델으로, 구현 가능한 컴퓨팅 자원(예: 네트워크, 네트워크 대역폭, 서버, 프로세싱, 메모리, 저장, 어플리케이션, 가상 머신, 및 서비스)의 공유 풀에 대한 편리한 주문형 네트워크 액세스를 지원한다. 컴퓨팅 자원은 최소한의 관리 노력 또는 서비스 제공자와의 상호 작용으로 신속하게 출시될 수 있다. 이러한 클라우드 모델은 적어도 5개의 특성, 적어도 3개의 서비스 모델, 및 적어도 4개의 배치 모델을 포함할 수 있다.
특성은 다음과 같다:
주문형 셀프-서비스: 클라우드 소비자가 서비스 제공자와 인적 상호작용을 요구함이 없이, 필요에 따라 자동적으로 서버 시간 및 네트워크 저장과 같은 컴퓨팅을 일방적으로 준비할 수 있다.
광범위한 네트워크 액세스: 이기종의 얇은(thin) 또는 두꺼운(thick) 클라이언트 플랫폼(예: 휴대 전화, 노트북, 및 PDAs)에 의한 사용을 촉진하는 표준 메카니즘을 통해 네트워크 전반에 사용할 수 있고 액세스할 수 있다.
리소스 풀링: 서비스 제공자의 컴퓨팅 리소스는 여러 명이 사용할 수 있도록 풀링되는 것으로, 다양한 물리적이고 가상적인 리소스를 가진 멀티 테넌트(multi-tenant) 모델을 사용하여 소비자 수요에 따라 동적으로 할당 및 재할당된다. 소비자가 제공된 리소스의 정확한 위치에 대한 통제나 지식을 일반적으로 가지고 있지 않다는 점에서 독립적으로 위치를 감지하지만, 예를 들어 국가, 주 또는 데이터 센터의 더 높은 수준의 추상적 개념에서 위치를 지정할 수 있다.
신속한 탄력성: 기능을 신속하고 탄력적으로 준비할 수 있고, 경우에 따라 자동으로 빠르게 스케일아웃하고 신속하게 스케일인하도록 릴리스하여 소비자에게, 준비에 자주 이용할 수 있는 기능을 무제한으로 나타냄으로서, 어느 때나 얼마든지 구입할 수 있다.
측정 서비스: 클라우드 시스템은 서비스 유형(예: 스토리지, 프로세싱, 대역폭, 및 활성 사용자 계정)에 적합한 추상적 개념의 수준에서 측정 기능을 활용하여 자동으로 리소스 사용을 제어하고 최적화한한다. 리소스 사용은 모니터링되고, 제어되고, 및 보고되어, 서비스 제공자와 소비자 모두에게 투명성을 제공한다.
서비스 모델은 다음과 같다:
서비스형 소프트웨어(SaaS: Software as a Service): 소비자에게 제공되는 기능은 클라우드 인프라에서 실행되는 제공자의 어플리케이션을 사용하는 것이다. 어플리케이션은 웹 브라우저(예: 웹 기반 전자 메일)와 같은 얇은 클라이언트 인터페이스를 통해 다양한 클라이언트 장치에서 억세스가능하다. 소비자는 제한된 사용자별 애플리케이션 구현 설정을 가능한 제외하고, 네트워크, 서버, 운영 시스템, 저장, 또는 심지어 애플리케이션 기능을 포함하는 기본 클라우드 인프라를 관리하거나 제어하지 않는다.
서비스형 플랫폼(PaaS: Platform as a Service): 소비자에게 제공되는 기능은 서비스 제공자에 의해 지원되는 프로그램밍 언어 및 툴을 이용하여 만들어진 클라우드 인프라 소비자-생성형 또는 획득형 애플리케이션을 배치하는 것이다. 소비자는 네트워크, 서버, 운영 시스템, 저장, 또는 심지어 애플리케이션 기능을 포함하는 기본 클라우드 인프라를 관리하거나 제어하지 않지만, 배포된 애플리케이션 및 애플리케이션을 호스팅하는 환경 구현에 대해서는 아마도 제어한다.
서비스형 인프라(IaaS: Infrastructure as a Service): 소비자에게 제공되는 기능은 프로세싱, 스토리지, 네트워크 및 소비자가 이진 소프트웨어를 배치하거나 실행하여, 운용 시스템 및 어플리케이션을 포함할 수 있는 기타 기본 컴퓨팅 리소스를 준비하는 것이다. 소비자는 기본 클라우드를 관리하거나 제어하지 않지만, 운영 시스템, 스토리지, 배포된 애플리케이션, 및 선택된 네트워킹 구성 요소(예: 호스트 방화벽)의 제한된 제어에 대해서는 아마도 제어한다.
구축 모델은 다음과 같다:
프라이빗(Private) 클라우드: 클라우드 인프라는 조직 전용으로 운영된다. 조직 또는 제3자에 의해 관리될 수도 있고, 사내 또는 사외에 존재할 수 있다.
커뮤니티(Community) 클라우드: 클라우드 인프라는 여러 조직에서 공유하며, 공통 관심사(예: 임무, 보안 요구사항, 정책, 및 규정 준수 고려 사항)를 가진 특정 커뮤니티를 지원한다. 조직 또는 제3자에 의해 관리될 수도 있고, 사내 또는 사외에 존재할 수 있다.
퍼블릭 클라우드: 클라우드 인프라를 일반 대중이나 대규모 산업 그룹에 사용할 수 있고, 클라우드 서비스를 판매하는 조직에 의해 소유된다.
하이브리드 클라우드: 클라우드 인프라는 2개 이상의 클라우드(민간, 커뮤니티, 또는 공공)의 합성이며, 고유한 실체로 남아 있지만, 데이터 및 애플리케이션 이식성(예: 클라우드 간 로딩-밸런싱을 위한 클라우드 확장)을 지원하는 표준화된 기술 또는 독점 기술에 의해 함께 묶여 진다.
클라우드 컴퓨팅 환경은 무국적, 낮은 결합, 모듈화, 및 의미적 상호 운영성에 중점을 둔 서비스이며, 클라우드 컴퓨팅의 핵심은 서로 연결된 노드의 네트워크를 포함하는 인프라이다.
당업자라면 본 개시의 범위를 벗어나지 않고 상술한 예시적 실시예에 많은 개선 및 수정을 행할 수 있음이 분명하다.
도 12a는 프로세서 지원 장치(551)의 예를 보여주는 블록 다이어그램이고, 본 명세서에 설명된 다양한 실시예와 관련하여 사용될 수 있다. 당업자가 이해할 수 있는 장치(551)의 대안 형태도 사용될 수 있다. 예시된 실시예에 있어서, 장치(551)는 디지털 이미징 장치를 나타내고 있다(본 명세서에서 스캐너 시스템 또는 스캐닝 시스템으로 참조한다). 이 장치는 하나 이상의 프로세서(556), 하나 이상의 메모리(566), 하나 이상의 모션 컨트롤러(571), 하나 이상의 인터페이스 시스템(576), 하나 이상의 샘플(590)이 있는 하나 이상의 유리 슬라이드(585)를 각각 지지하는 하나 이상의 이동식 스테이지(580), 샘플을 비추는 하나 이상의 조명 시스템(595), 각각 광학축을 따라 이동하는 광학 경로(605)를 정의하는 하나 이상의 대물 렌즈(600), 하나 이상의 대물 렌즈 포지셔너(630), 하나 이상의 선택적인 에피네이션 시스템(635)(예: 형광 스캐너 시스템의 경우), 하나 이상 초점 광학(610), 각각 샘플(590) 및/또는 유리 슬라이드(585)상의 별도의 시야(625)를 정의하는 하나 이상의 라인 스캔 카메라(615) 및/또는 하나 이상의 영역 스캔 카메라(620)를 포함한다. 스캐너 시스템(551)의 다양한 요소는 하나 이상의 통신 버스(560)를 통해 통신적으로 결합된다. 스캐너 시스템(551)의 다양한 요소들이 하나 이상에 각각 있을 수 있지만, 설명의 단순성을 위하여, 다음에서는 적절한 정보를 전달하기 위해 복수형으로 설명될 필요가 있을 때를 제외하고 이 요소들은 단수로 설명될 것이다.
하나 이상의 프로세서(556)에는 예를 들어 중앙 처리 장치("CPU") 및 인스트럭션을 병렬로 처리할 수 있는 별도의 그래픽 처리 장치("GPU")를 포함할 수 있고, 또는 하나 이상의 프로세서(556)는 인스트럭션을 병렬로 처리할 수 있는 멀티 코어 프로세서를 포함할 수 있다. 또한 별도의 프로세서를 특정 구성 요소를 제어하거나 이미지 처리와 같은 특정 기능을 수행하기 위해 추가로 제공할 수도 있다.
예를 들어, 추가 프로세서는 데이터 입력을 관리하기 위한 보조 프로세서, 부동 소수점 수학 연산을 수행하는 보조 프로세서, 신호 처리 알고리즘의 빠른 실행에 적합한 아키텍처를 가지는 특수-목적 프로세서(예: 디지털 신호 프로세서), 메인 프로세서(예: 백엔드 프로세서)에 종속된 슬레이브 프로세서, 라인 스캔 카메라(615), 스테이지(580), 대물 렌즈(225) 및/또는 디스플레이(표시되지 않음)를 제어하는 추가 프로세서를 포함할 수 있다. 이러한 추가 프로세서는 별도의 분리형 프로세서일 수 있고, 또는 프로세서(556)와 통합될 수 있다.
메모리(566)는 프로세서(566)에 의해 실행될 수 있는 프로그램을 위한 데이터 및 인스트럭션의 저장을 제공한다. 메모리(566)는 데이터 및 인스트럭션을 저장하는 하나 이상의 휘발성 및 영구적인 컴퓨터 판독가능 저장 매체, 예를 들어 랜덤 액세스 메모리, 읽기 전용 메모리, 하드 디스크 드라이브, 이동식 저장 드라이브, 등을 포함할 수 있다. 프로세서(556)는 메모리(566)에 저장된 인스트럭션을 실행하여, 통신 버스(560)를 통해 스캐너 시스템(551)의 다양한 요소와 통신하도록 구현되어 스캐너 시스템(551)의 전반적인 기능을 수행한다.
하나 이상의 통신 버스(560)는 아날로그 전기 신호를 전달하도록 구현된 통신 버스(560)를 포함할 수 있고, 디지털 전기 신호를 전달하도록 구현된 통신 버스(560)를 포함할 수 있다. 따라서, 하나 이상의 통신 버스(560)를 통한 프로세서(556), 모션 컨트롤러(571), 및/또는 인터페이스 시스템(576)으로 부터의 통신은 전기 신호와 디지털 데이터를 모두 포함할 수 있다. 프로세서(556), 모션 컨트롤러(571), 및/또는 인터페이스 시스템(576)도 무선 통신 링크를 통해 스캐닝 시스템(551)의 다양한 요소 중 하나 이상과 통신하도록 구현될 수 있다.
모션 컨트롤 시스템(571)은 스테이지(580) 및 대물 렌즈(600)의 좌표 XYZ 이동을 대물 렌즈 포지셔너(630)를 통해 정밀하게 제어 및 조정하도록 구현된다. 모션 컨트롤 시스템(571)은 또한 스캐너 시스템(551)의 다른 이동 부품의 이동을 제어하도록 구현된다. 예를 들어 에피네이션(epi-lumination)(635)의 광학 필터 등의 움직임을 조정하도록 구현된다.
인터페이스 시스템(576)을 통해 스캐너 시스템(551)은 다른 시스템과 오퍼레이터를 인터페이스할 수 있다. 예를 들어, 인터페이스 시스템(576)은 오퍼레이터에게 직접 정보를 제공하여 오퍼레이터로 부터의 직접 입력하도록 사용자 인터페이스를 포함할 수 있다. 또한 인터페이스 시스템(576)은 스캔닝 시스템(551)과 직접 연결된 하나 이상의 외부 장치(예: 프린터, 이동식 저장 매체) 또는 네트워크(도시하지 않음)를 통해 스캐너 시스템(551)에 연결된 이미지 서버 시스템, 오퍼레이터 스테이션, 사용자 스테이션, 및 관리 서버 시스템과 같은 외부 장치 사이의 통신 및 데이터 전송을 이용하도록 구현된다.
조명 시스템(595)는 샘플(590)의 일부를 조명하도록 구현된다. 조명 시스템에는 예를 들어 광원과 조명 광학 장치가 포함될 수 있다. 광원은 오목한 반사광을 가진 가변 강도 할로겐 광원을 사용하여 광 출력을 최대화하고 KG-1 필터를 사용하여 열을 억제할 수 있다. 광원은 모든 종류의 아크 램프, 레이저 또는 기타 광원이 될 수 있다. 일 실시예에 있어서, 조명 시스템(595)는 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)가 샘플(590)을 통해 전송된 광학 에너지를 감지하도록, 전송 모드에서 샘플(590)을 조명한다. 이와 달리, 또는 조합하여, 조명 시스템(590)은 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)가 샘플(59)로 부터 반사된 광학 에너지를 감지하도록, 반사 모드에서 샘플(59)을 조명하도록 구현된다. 전반적으로 조명 시스템(595)은 광학 현미경의 공지의 모드로 현미경 샘플(59)의 의문에 적합하도록 구현된다.
일 실시예에 있어서, 스캐너 시스템(551)은 선택적으로 에피네이션 조명 시스템(635)을 사용하여 형광 스캔을 위한 스캐너 시스템(551)을 최적화한다. 형광 스캐닝(scanning)은 형광 분자를 포함하는 샘플(590)의 스캐닝으로, 형광 분자는 특정 파장(여기 상태)에서 빛을 흡수할 수 있는 광자 민감 분자이다. 이들 광자 민감 분자들은 또한 더 높은 파장(방출 상태)에서 빛을 방출한다. 왜냐하면 이 광채광 현상의 효율이 매우 낮기 때문에, 방출되는 빛의 양은 종종 매우 낮다. 이러한 낮은 양의 방출된 빛은 전형적으로 샘플(590)(예: 전송 모드 현미경)을 스캔 및 디지털화하는 전통적인 기술을 방해한다. 스캐너 시스템(551)의 선택적인 형광 스캐너 시스템 실시예에 있어서, 다중 선형 센서 어레이(예: 시간 지연 통합(time delay integration)("TDI") 라인 스캔 카메라)를 포함하는 라인 스캔 카메라(615)의 사용은 샘플(590)의 동일한 영역을 라인 스캔 카메라(615)의 다중 선형 센서 어레이의 각각에 노출함에 의해 라인 스캔 카메라의 빛에 대한 감도를 높이는 데 유리하다. 이 기능은 빛을 적게 방출하는 형광 샘플을 희미하게 스캔할 때 특히 유용하다.
따라서, 형광 스캐너 시스템 실시예에 있어서, 라인 스캔 카메라(615)는 모노크롬 TDI 라인 스캔 카메라인 것이 바람직하다. 모노크롬 이미지의 장점은 형광 현미경에서 이상적인 것이고, 이는 형광 현미경이 샘플이 존재하는 다양한 채널로부터의 실제 신호의 더 정확한 표현을 제공하기 때문이다. 당업자라면 이해할 수 있는 바와 같이, 형광 샘플(590)은 소위 "채널"이라고 하는 다른 파장에서 빛을 내는 다형광 염료로 라벨링될 수 있다.
또한 다양한 형광 샘플의 로우 및 하이 엔드 신호 레벨은 라인 스캔 카메라(615)가 감지하기 위한 넓은 스텍트럼의 파장을 제시하기 때문에, 그것은 라인 스캔 카메라(615)가 감지할 수 있는 로우 엔드 및 하이 엔드 신호 레벨에 마찬가지 폭을 감지하는 것이 바람하다. 따라서 형광 스캐너 실시예에 있어서, 형광 스캐닝 시스템(551)에 사용되는 라인 스캔 카메라(615)는 모노크롬 단색 10비트 64 선형 어레이 TDI 라인 스캔 카메라이다. 라인 스캔 카메라(615)에 대한 다양한 비트 깊이는 스캐닝 시스템(551)의 형광 스캐너 실시예에 사용하는 데 채택될 수 있는 것이다.
이동식 스테이지(580)는 프로세서(556) 또는 모션 컨트롤러(571)의 제어 하에 정밀한 XY 이동을 위해 구현된다. 이동식 스테이지는 또한 프로세서(556) 또는 모션 컨트롤러(571)의 제어 하에 Z 이동을 위해 구현될 수 있다. 이동식 스케이지는 또한 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라로 이미지 데이터를 캡처하는 동안, 샘플(590)을 스캐닝 방향으로 상당히 일정한 속도로 가속하여 일정한 속도를 유지하도록 구현된다. 일 실시예에 있어서, 스캐너 시스템(551)은 고정밀 로 긴밀하게 조정된 XY 그리드를 사용하여 이동식 스테이지(580) 위의 샘플(590)의 위치를 확인할 수 있다. 일 실시예에 있어서, 이동식 스테이지(580)는 고정밀 인코더가 X축과 Y축에 모두 채택된 선형 모터 기반 XY 스테이지이다. 예를 들어, 매우 정밀한 나노미터 인코더는 스캔 방향의 축에 사용될 수 있고, 스캔 방향에 수직인 방향에 있는 축에서 사용할 수 있고, 스캔 방향과 동일한 평면에서 사용할 수 있다. 스테이지는 또한 샘플(590)이 폐기되는 유리 슬라이드(585)를 지원하도록 구현된다.
샘플(590)은 광학 현미경으로 검사할 수 있는 모든 것일 수 있다. 예를 들어, 유리 현미경 슬라이드(585)는 시료용 보기 기판으로 자주 사용된다. 시료는 조직과 세포, 염색체, DNA, 단백질, 혈액, 골수, 소변, 박테리아, 염주, 생검 물질 또는 다른 유형의 생물학적 물질 또는 죽었거나 살아 있거나, 얼룩이 있거나 없거나, 라벨이 부착되어 있거나 부착되지 않았는 지의 기질을 포함한다. 샘플(590)은 cDNA 또는 RNA 또는 모든 유형의 슬라이드 또는 기타 기판에 침전된 단백질과 같은 DNA 또는 DNA-관련 물질의 모든 유형의 어레이일 수 있고, 마이크로 어레이로 공통적으로 알려져 있는 모든 샘플을 포함한다. 샘플(590)은 마이크로티터 플레이트(예: 96-well)일 수 있다. 샘플(590)의 다른 예로는 집적 회로 기판, 전기영동 레코드, 페트리 접시, 필름, 반도체 재료, 법의학 재료, 또는 가공된 부품을 포함한다.
대물 렌즈(600)는 대물 렌즈 포지셔너(630)에 장착되며, 일 실시예에 있어서, 매우 정밀한 선형 모터를 사용하여 대물 렌즈(600)를 대물 렌즈(600)에 의해 정의된 광축을 따라 이동할 수 있다. 예를 들어, 대물 렌즈 포지셔너(630)의 선형 모터는 50 나노미터 인코더가 포함될 수 있다. 스테이지(580) 및 XYZ 축의 대물 렌즈(600)의 상대적인 위치는, 전체 스캔 시스템(551) 작동을 위한 컴퓨터 실행 가능한 프로그래밍 단계를 포함하여, 정보와 인스트럭션을 저장하는 메모리(566)를 채택하는 프로세서(556)의 제어 하에서, 모션 컨트롤러(571)를 이용하여 클로즈 업 방식으로 조정 및 제어된다.
일 실시예에 있어서의 대물 렌즈(600)는, 전송 모드 조명 현미경, 반사 모드 조명 현미경, 및/또는 에피네이션 모드 형광 현미경(예: Olympus 40X, 0.75NA 또는 20X, 0.75NA)에 적합한 대물 렌즈(600)이 바람직한 가장 높은 공간 해상도에 해당하는 수치 간극이 있는 무채색 계열(plan apochromatic)("APO") 무한 보정 대물 렌즈이다. 대물 렌즈(600)는 색상과 구형의 이상을 보정할 수 있는 것이 유리하다. 왜냐하면 대물 렌즈(600)은 무한 보정되기 때문에, 포커싱 광학(610)은 대물 렌즈를 통과하는 광선이 시준 광선이 되는 대물 렌즈(600) 위의 광학 경로(605)에 배치될 수 있다. 포커싱 광학(610)은 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)의 광응답 요소에 대해 대물 렌즈(600)에 의해 캡처된 광학 신호에 초점을 맞추며, 필터, 배율 교환 렌즈 등과 같은 광학 구성 요소를 포함할 수 있다. 포커싱 광학(610)과 결합된 대물 렌즈(600)는 스캐닝 시스템(551)의 총 배율을 제공한다. 일 실시예에 있어서, 포커싱 광학(610)에는 튜브 렌즈를 포함할 수 있고, 선택적으로 2X 배율 교환기가 포함될 수 있다. 2X 배율 교환기를 통해 기본 20X 대물 렌즈(600)는 샘플(590)을 40X 배율에서 스캔하는 것이 유리하다.
라인 스캔 카메라(615)는 하나 이상의 사진 요소("픽셀(pixels)")의 적어도 하나의 선형 어레이로 구성된다. 라인 스캔 카메라는 모노크롬 또는 컬러일 수 있다. 컬러 라인 스캔 카메라는 일반적으로 적어도 3개의 선형 어레이가 있는 반면, 모노크롬 라인 스캔 카메라는 단일 또는 복수의 선형 어레이가 있다. 카메라의 일부가 이미징 전자 모듈에 패키징되는 지의 여부에 따른 단수 또는 복수의 선형 어레이의 모든 유형이 사용될 수 있다. 예를 들어, 3개의 선형 어레이("적녹색-청색" 또는 "RGB") 컬러 라인 스캔 카메라 또는 96개의 선형 어레이 모노크롬 TDI가 사용될 수도 있다. TDI 라인 스캔 카메라는 일반적으로 출력 신호에서 이전에 이미지화된 표본 영역의 강도 데이터를 합하고, 통합 스테이지 수의 제곱근에 비례하는 SNR에서의 증가를 수확함에 의해 헐씬 더 좋은 신호 대 잡음 비("SNR")를 제공한다. TDI 라인 스캔 카메라는 여러 선형 어레이로 구성된다. 예를 들어, TDI 라인 스캔 카메라는 24, 32, 48, 64, 96, 또는 그 이상의 선형 어레이를 사용할 수 있다. 스캐너 시스템(551)도 512 픽셀을 일부 포함하고, 1024 픽셀을 일부 포함하고, 나머지가 대부분 4096 픽셀인 다양한 포멧으로 제작된 선형 어레이를 지원한다. 이와 유사하게, 다양한 픽셀 크기의 선형 어레이도 스캐너 시스템(551)에서 사용할 수 있다. 모든 종류의 라인 스캔 카메라(615)를 선택하기 위한 가장 중요한 요구 조건은 스테이지(580)의 움직임이 라인 스캔 카메라(615)의 라인 레이트와 동기화하여, 샘플(590)의 디지털 이미지 캡처 동안 라인 스캔 카메라(615)와 관련한 움직임으로 스테이지(580)가 있을 수 있는 것이다.
라인 스캔 카메라(615)에 의해 생성된 이미지 데이터는 적어도 일부 샘플(590)의 연속 디지털 이미지를 생성하기 위해 메모리(566)의 일부에 저장되고, 프로세서(556)에 의해 처리된다. 연속 디지털 이미지는 프로세서(566)에 의해 추가로 처리되고, 반대로 연속하는 디지털 이미지는 또한 메모리(566)에 저장될 수 있다.
2개 이상의 라인 스캔 카메라가 장착된 실시예에 있어서, 적어도 하나의 라인 스캔 카메라(615)는 이미지 센서로서 기능하도록 구현된 적어도 하나의 라인 스캔 카메라(615)와 조합하여 작동하는 포커싱 센서로서 기능하도록 구현될 수 있다. 포커싱 센서는 스캐너 시스템(551)의 스캔 방향에 대해 이미징 센서 전후에 논리적으로 위치될 수 있다.
포커싱 센서로서 기능하는 적어도 하나의 라인 스캔 카메라(615)가 있는 이러한 실시예에 있어서, 초점 정보를 생성하기 위해, 포커싱 센서에 의해 생성된 이미지 데이터는 메모리(566)의 일부에 저장되고 하나 이상의 프로세서(556)에 의해 처리되어, 스캐너 시스템(551)이 샘플(590)과 대물 렌즈(600) 사이의 상대적 거리를 조정하고, 스캐닝 동안 샘플 위의 초점을 유지한다. 추가로, 일 실시예에 있어서, 포커싱 센서로서 기능하는 적어도 하나의 라인 카메라(615)는 포커싱 센서의 복수의 개별 픽셀의 각각이 광 경로(605)를 따라 다른 논리 높이에서 위치되도록 지향될 수 있다.
작동 중에, 스캐너 시스템(515) 및 메모리 566에 저장된 프로그램된 모듈의 여러 구성 요소는 유리 슬라이드(585)에서 폐기되는 샘플(590)의 자동 스캔 및 디지털화를 지원한다. 유리 슬라이드(585)는 샘플(590)을 스캔하는 스캐너 시스템(551)의 이동식 스테이지(580)위에 견고하게 위치된다. 프로세서(556)의 제어 하에, 라인 스캔 카메라(615)의 라인 레이트에 동기되는 속도의 이동식 스테이지(580)는 라인 스캔 카메라(615)에 의해 감지하는 일정한 속도로 샘플(590)을 가속한다. 이미지 테이터의 스트라이프를 스캔한 후, 이동식 스테이지(580)는 감속하여 샘플(59)을 실질적으로 완전히 정지시킨다. 이동식 스테이지(580)는 이미지 데이터의 후속 스트라이프, 즉 인접하는 스트라이프의 스캔하는 샘플(590)을 위치하도록 스캔 방향에 수직으로 이동한다. 샘플(590)의 전체 부분 또는 전체 샘플(590)이 스캔될 때까지 추가 스트라이프들이 뒤이어서 스캔된다.
예를 들어, 샘플(590)의 디지털 스캔 중에, 연속 디지털 이미지 샘플(590)은 함께 결합된 복수의 연속 시야로서 획득된다. 복수의 인접하는 이미지 스트립은 유사하게 함께 결합되어 일부 또는 전체 샘플(590)의 연속 디지털 이미지를 형성한다. 샘플(590)의 스캔은 수직 이미지 스트립 또는 수평 이미지 스트립을 획득하는 것이 포함될 수 있다. 샘플(590)의 스캔은 상단에서 하단까지, 하단에서 상단까지, 또는 둘다 모두(양방향)일 수 있고, 샘플의 어느 지점에서나 시작할 수 있다. 이와 달리, 샘플(590)의 스캔은 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로, 또는 둘 다 모두(양방향)일 수 있고, 샘플의 어느 지점에서나 시작할 수 있다. 추가로, 이미지 스트라이프는 인접 또는 연속 방식으로 획득되는 것일 필요는 없다. 또한 샘플(590)의 결과 이미지는 전체 샘플(590)의 이미지일 수 있고 또는 샘플(590)의 일부만 일 수 있다.
일 실시예에 있어서, 컴퓨터 실행 인스트럭션(예: 프로그래밍된 모듈 및 소프트웨어)은 메모리(566)에 저장되며, 실행되면 스캔 시스템(551)이 본 명세서에 설명된 다양한 기능을 수행한다. 명세서의 설명에서 "컴퓨터-판독가능 저장 매체"의 용어는 컴퓨터를 저장하는 데 사용되는 모든 매체를 지칭하여 컴퓨터를 실행할 수 있는 인스트럭션을 프로세서(556)가 실행할 수 있도록 스캐닝 시스템(551)에 제공하는 데 사용된다. 이러한 미디어의 예로는 메모리(566) 및 이동식 또는 예를 들어 네트워크(도시하지 않음)를 경유하여, 직접 또는 간접적으로 스캐닝 시스템(551)가 통신적으로 결합된 외장 저장 매체(도시하지 않음)를 포함한다.
도 12b는 충전 결합 장치(charge coupled device)("CCD") 어레이로 구현될 수 있는 단일 선형 어레이(640)를 가지는 라인 스캔 카메라를 예시한다. 단일 선형 어레이(640)는 복수의 개별 픽셀(645)로 구성된다. 예시된 실시예에 있어서, 선형 어레이(460)는 4096 픽셀을 가진다. 대안 실시예에 있어서, 선형 어레이(640)는 더 많거나 또는 더 적은 픽셀을 가질 수 있다. 예를 들어, 선형 어레이의 공통 포맷은 512, 1024 및 4096 픽셀을 포함한다. 픽셀(645)는 선형 어레이(640)를 위한 시야(625)를 정의하도독 선형 방식으로 배열된다. 시야의 크기는 스캐너 시스템(551)의 배율에 따라 변한다.
도 12c는 3개의 선형 어레이가 있는 라인 스캔 카메라를 예시하고 있고, 각각은 CCD 어레이로 구현될 수 있다. 세 개의 선형 어레이가 결합되어 컬러 어레이(650)를 형성한다. 일 실시예에 있어서, 컬러 어레이(650)에서의 각각의 개별 선형 어레이는 다른 컬러 강도(예, 빨간색, 녹색 또는 파란색를 감지한다. 컬러 러레이(650)에서의 각각의 개별 선형 어레이로 부터의 컬러 이미지 데이터는 결합되어 컬러 이미지 데어터의 단일 시야(625)를 형성한다.
도 12d는 복수의 선형 어레이를 가지는 라인 스캔 카메라를 예시하고 있고, 각각은 CCD 어레이로 구현될 수 있다. 복수의 선형 어레이가 결합되어 TDI 어레이(655)를 형성한다. 유리한 점은 TDI 라인 스캔 카메라가 이전에 이미지화된 표본 영역의 강도 데이터를 합하여, 선형 어레이 수(통합 스테이지라 한다)의 제곱근에 비례하는 SNR 증가를 산출함에 의해 훨씬 더 좋은 SNR을 출력 신호에 제공할 수 있다는 점이다. TDI 라인 스캔 카메라는 보다 다양한 선형 어레이의 수, 예를 들어 TDI 라인 스캔 카메라의 공통 포맷에는 24, 32, 48, 64, 96, 120 및 그 이상의 선형 어레이가 포함되어 있다.
개시된 실시예의 위의 설명은 당업자라면 본 발명을 만들거나 사용할 수 있도록 제공된다. 이들 실시예의 다양한 변형이 당업자는 용이하게 알 수 있는 것이고, 본 명세서에 설명된 기본 원리는 본 발명의 정신이나 범위를 벗어남이 없이 다른 실시예로서 적용될 수 있다. 따라서, 본 명세서에 제시된 설명과 도면이 본 발명의 바람직한 실시예를 나타내는 것이므로, 본 발명에 의해 폭넓게 고려된 발명의 해결 과제를 대표하는 것임이 이해될 것이다. 더 나아가 본 발명의 범위에는 당업자에게 명백한 것이라 할 수 있는 다른 실시예들도 완전히 포함하는 것임에 따라 본 발명의 범위가 제한되지 않는 것임이 이해될 것이다.
100 : TPU
102 : MMU
104 : 중량 FIFO 버퍼 106 : 메모리
108 : 메모리 인터페이스 110 : UB
112 : 데이터 설정 유닛 114 : 어큐뮬레이터 유닛
116 : 액티베이션 유닛 118 : 노말라이징 유닛
120 : 풀링 유닛 122 : 컨트롤러
124 : 호스트 인터페이스 126 : 지시 버퍼
150 : 네트워크 152 : 병원
154 : 워크스테이션 156 : 병원 컴퓨터 서버
158 : 저장 장치 168 : 인터넷
160, 162, 164, 166 : 이미지 데이터 수집 장치
170 : 병원 인터넷 서버 500 : 컴퓨터 장치
505 : 통신 버스 510 : 프로세서
515 : 메인 메모리 520 : 2차 메모리
525 : 내장 메모리 530 : 이동식 저장 매체
535 : I/O 인터페이스 540 : 통신 인터페이스
545 : 외장 저장 매체 550 : 통신 채널
551 : 스캔 장치 555 : 신호
556 : 프로세서 560 : 통신 버스
565 : 라디오 시스템 566 : 메모리
570 : 안테나 시스템 571 : 모션 컨트롤러
575 : 디스플레이 576 : 인터페이스 시스템
580 : 이동식 저장 매체 585 : 유리 슬라이드
590 : 샘플 595 : 조명 시스템
600 : 대물 렌즈 605 : 광경로
610 : 포커싱 광학 615 : 라인 스캔 카메라
620 : 영역 스캔 카메라 625 : 시야
630 : 대물 렌즈 포지셔너 635 : 에피네이션 시스템
640 : 선형 어레이 645 : 픽셀
650 : 컬러 어레이 655 : TDI 어레이
104 : 중량 FIFO 버퍼 106 : 메모리
108 : 메모리 인터페이스 110 : UB
112 : 데이터 설정 유닛 114 : 어큐뮬레이터 유닛
116 : 액티베이션 유닛 118 : 노말라이징 유닛
120 : 풀링 유닛 122 : 컨트롤러
124 : 호스트 인터페이스 126 : 지시 버퍼
150 : 네트워크 152 : 병원
154 : 워크스테이션 156 : 병원 컴퓨터 서버
158 : 저장 장치 168 : 인터넷
160, 162, 164, 166 : 이미지 데이터 수집 장치
170 : 병원 인터넷 서버 500 : 컴퓨터 장치
505 : 통신 버스 510 : 프로세서
515 : 메인 메모리 520 : 2차 메모리
525 : 내장 메모리 530 : 이동식 저장 매체
535 : I/O 인터페이스 540 : 통신 인터페이스
545 : 외장 저장 매체 550 : 통신 채널
551 : 스캔 장치 555 : 신호
556 : 프로세서 560 : 통신 버스
565 : 라디오 시스템 566 : 메모리
570 : 안테나 시스템 571 : 모션 컨트롤러
575 : 디스플레이 576 : 인터페이스 시스템
580 : 이동식 저장 매체 585 : 유리 슬라이드
590 : 샘플 595 : 조명 시스템
600 : 대물 렌즈 605 : 광경로
610 : 포커싱 광학 615 : 라인 스캔 카메라
620 : 영역 스캔 카메라 625 : 시야
630 : 대물 렌즈 포지셔너 635 : 에피네이션 시스템
640 : 선형 어레이 645 : 픽셀
650 : 컬러 어레이 655 : TDI 어레이
Claims (86)
- 조직학적 이미지의 데이터 세트를 처리하는 방법으로서,
상기 방법은:
2차원 픽셀 어레이를 포함하는 조직학적 이미지의 데이터 세트를 수신하며;
조직학적 이미지의 2차원 픽셀 어레이에 대한 매핑으로 2차원 픽셀 어레이를 가진 출력 이미지 패치를 생성하기 위해 컨볼루션 신경망을 적용하며, 상기 출력 이미지 패치는 각 픽셀에 복수의 관련 클래스 중 하나를 할당하여 생성되며, 여기에서 복수의 관련 클래스는 관심 픽셀을 나타내는 적어도 하나의 클래스와 관심이 없는 픽셀을 나타내는 적어도 하나의 클래스를 포함하고, 컨볼루션 신경망은 조직학적 이미지 및 병리학자 상호 작용 데이터를 포함하는 훈련 데이터 세트를 사용하여 훈련되고, 병리학자 상호 작용 데이터는 병리학자들이 조직학적 이미지의 시각화와 어떻게 상호작용해 왔는지에 관련된 복수의 파라미터를 기록하며; 그리고
관심 픽셀에 의해 점유된 관심 영역이 표시되는 출력 이미지 패치로부터 분할 마스크를 생성하는 것을 포함하는, 방법. - 제1항에 있어서, 관심 영역에 포함된 각 관심 픽셀로부터 점수 기여를 집계하는 데 기반을 둔 점수 알고리즘에 따라 각 관심 영역에 대한 점수를 결정하는 것을 더 포함하는, 방법.
- 제2항에 있어서, 점수에 따라 관심 영역에 순위를 매기는 것을 더 포함하는, 방법.
- 제1항에 있어서,
각 관심 영역에 대한 요약 통계를 계산하고; 그리고
필터에 따라 관심 영역을 선택하거나 선택 취소하여 분할 마스크를 편집하도록 각 관심 영역의 요약 통계에 상기 필터를 적용하는 것을 더 포함하는, 방법. - 제1항에 있어서, 관심 픽셀을 나타내는 여러 클래스가 있고, 이들 클래스가 관심의 레벨 증가와 관련되는, 방법.
- 제5항에 있어서, 제2항에 종속할 때에, 점수 기여는 관심 레벨에 따른 픽셀 가중치를 주는, 방법.
- 제1항에 있어서, 상기 복수의 파라미터는 픽셀의 보기 시간 및 픽셀의 보기 배율을 포함하는, 방법.
- 제1항에 있어서, 상기 복수의 파라미터는 병리학자의 주석과 관련된 조직학적 이미지상의 위치 또는 영역에서의 픽셀을 포함하는, 방법.
- 제1항에 있어서, 상기 복수의 파라미터는 더 높은 배율에서 보기 위해 사용자 명령을 받았던 조직학적 이미지상의 위치 또는 영역에서의 픽셀을 포함하는, 방법.
- 제1항에 있어서, 훈련 데이터 세트에 있어서, 주어진 조직학적 이미지를 위한 병리학자 상호 작용 데이터는 여러 병리학자들로 부터의 상호 작용을 포함하고, 상기 파라미터는 여러 병리학자들로 부터의 동일한 조직학적 이미지와의 상호 작용사이의 상관 계수를 포함하는, 방법.
- 제1항에 있어서, 상기 조직학적 이미지 데이터 세트는 조직 부위의 다르게 얼룩진 인접 섹션으로 부터 얻은 복수의 조직학적 이미지의 합성인, 방법.
- 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 컨볼루션 신경망의 적용은,
조직학적 이미지에서 이미지 패치를 추출하며, 상기 이미지 패치는 폭과 높이가 다수의 픽셀에 의해 정의된 크기를 가지는 조직학적 이미지의 영역 부분 또는 그 세트이며;
컨볼루션 신경망에 가중치의 세트 및 복수의 채널을 제공하며, 각 채널은 식별될 복수의 관련 클래스 중 하나에 해당하고,
컨볼루션 신경망에 입력 이미지 패치로서 각 이미지 패치를 입력하고;
최소 치수의 최종 컨볼루션 레이어를 포함하여 그 레이어까지 항상 감소하는 치수의 컨볼루션 레이어를 생성하도록 다단계 컨볼루션을 실행하고, 이어서 복구된 레이어의 각 픽셀이 각 관련 클래스에 속하는 확률을 포함하고, 레이어가 입력 이미지 패치에 일치하는 크기로 복구되기까지 항상 증가하는 치수의 디컨볼루션 레이어를 생성함에 의해 콘볼루션을 뒤집도록 다단 전치 컨볼루션하고; 그리고
출력 이미지 패치에 도달하도록 상기 확률을 기반으로 상기 복구된 레이어의 각 픽셀에 관련 클래스를 할당하는 것을 포함하는, 방법. - 제12항에 있어서, 출력 이미지 패치를 조직학적 이미지를 위한 확률 지도로 조립하는 것을 더 포함하는, 방법.
- 제12항 또는 제13항에 있어서, 확률 지도에 따라 조직학적 이미지 내에 관심 영역을 한정하는 것을 더 포함하는, 방법.
- 제12항에 있어서, 상기 조직학적 이미지에 연결된 확률 지도를 저장하는 것을 더 포함하는, 방법.
- 제12항에 있어서,
컨볼루션 신경망에 적어도 하나의 스킵 (skip) 연결을 제공하고, 각 스킵 연결은 최종 컨볼루션 레이어보다 더 큰 치수의 적어도 하나의 컨볼루션 레이어로부터 중간 결과들을 취하며 그리고 그 결과들을 전혀 없거나 하나 이상일 수 있는 필요한만큼 많은 전치 컨볼루션들에게 제공하여 입력 이미지 패치에 일치하는 크기의 적어도 하나의 추가 복구된 레이어를 얻으며; 그리고
각각의 픽셀에 관련 클래스를 할당하기 이전에, 적어도 하나의 스킵 연결을 고려하여 확률을 다시 계산하기 위해서 복구된 레이어를 추가로 처리하여 적어도 하나의 추가 복구된 레이어와 결합하는 것을 더 포함하는, 방법. - 제12항에 있어서, 소프트맥스 연산이 확률을 생성하기 위해 사용되는, 방법.
- 제12항에 있어서, 컨볼루션 신경망은 예측을 위해 수행되고, 이전 훈련 중에 할당된 가중치를 가지는, 방법.
- 제12항에 있어서, 훈련을 위해 수행되고, 관련 클래스의 하나에 조직학적 이미지의 각 픽셀을 할당하는 기초 실제 데이터를 더 포함하고,
이 방법은 반복적으로 수행되고, 각 반복은 실측 자료 데이터와 출력 이미지 패치와의 비교를 기반으로 컨볼루션 신경망을 위한 자신의 가중치를 조정하는 것을 수반하는, 방법. - 제12항에 있어서, 훈련 중 가중치 조정은 경사 하강에 의해 수행되는, 방법.
- 제1항에 있어서, 시각화 애플리케이션을 사용하여 분할 마스크에 따라 조직학적 이미지을 위한 시각화를 생성하는 것을 더 포함하는, 방법.
- 제21항에 있어서, 제3항에 종속할 때에, 시각화는 시각적 표시의 랭킹을 포함하도록 랭킹과 관련하여 생성되는, 방법.
- 제21항에 있어서, 상기 시각화는 개요 보기 창 및 분할 마스크 보기 창을 포함하는, 방법.
- 제23항에 있어서, 개요 보기 창 및 분할 마스크 보기 창은 조직학적 이미지상에 겹치거나 옆에 있는 분할 마스크로 디스플레이되는, 방법.
- 제21항에 있어서, 시각화는 관심 영역 중 하나를 위한 복수의 이미지를 포함하는 몽타주를 포함하는, 방법.
- 제21항 내지 제25항 중 어느 한 항에 있어서, 시각화 애플리케이션은 관심 영역을 선택하도록 사용자가 시각화와 상호 작용하도록 작동 가능한 그래픽 사용자 인터페이스 선택 제어를 포함하는, 방법.
- 제21항 내지 제26항 중 어느 한 항에 있어서, 시각화 애플리케이션은 사용자가 특별히 본 관심 영역을 추적하기 위해 조직학적 이미지 데이터 세트의 시각화로 사용자의 상호 작용을 모니터링하는 에이전트를 포함하는, 방법.
- 제27항에 있어서, 시각화 애플리케이션은 사용자가 관심 영역의 논리 샘플을 특별히 보았는지의 여부의 확인을 수행하는 조직학적 이미지 상의 시각화 세션을 종료하도록 사용자 명령에 응답하는 확인 기능을 더 포함하는, 방법.
- 제28항에 있어서, 확인 시 사용자가 관심 영역의 논리 샘플을 특별히 보지 않은 것을 표시하면, 시각화 세션을 종료하기 전에 추가 확인 입력을 요청하는 통지가 사용자에게 발행되는 것을 더 포함하는, 방법.
- 제27항에 있어서, 확인 시 사용자가 관심 영역의 논리 샘플을 특별히 보지 않은 것을 표시하면, 사용자는 아직 특별히 보지 않은 관심 영역을 보도록 안내받는 것을 추가로 포함하는, 방법.
- 제21항 내지 제30항 중 어느 한 항에 있어서, 시각화를 디스플레이상에 디스플레이하는 것을 더 포함하는, 방법.
- 제1항 내지 제20항 중 어느 한 항에 있어서,
조직학적 이미지 데이터 세트의 압축된 버전을 생성하기 위해 관심 영역 외부의 픽셀을 우선적으로 압축하는 압축 알고리즘을 적용하며; 그리고
그 압축된 버전을 저장함으로써,
조직학적 이미지에 대한 가변 이미지 압축을 적용하는 것을 더 포함하는, 방법. - 제32항에 있어서, 압축 알고리즘은 무손실 및 손실 중 하나인, 방법.
- 제32항 또는 제33항에 있어서, 조직학적 이미지 데이터 세트의 압축된 버전은 압축된 조직학적 이미지 데이터 세트를 덮어써서 저장되는, 방법.
- 이미지 데이터 획득 방법으로서,
조직학적 샘플을 포함하는 슬라이드를 제공하고;
슬라이드를 스캔하고 조직학적 이미지 데이터 세트를 얻기 위해 슬라이드 스캐너를 사용하고;
관심 영역을 식별하기 위해 제1항 내지 제20항 중 어느 한 항에 따른 방법을 수행하고;
관심 영역을 기반으로 조직학적 이미지 데이터 세트를 가변적으로 압축하기 위해 제32항의 추가 측정을 수행하고; 그리고
압축된 조직학적 이미지 데이터 세트를 저장하는 것을 포함하는, 방법. - 제35항에 있어서, 슬라이드 스캐너 또는 그 슬라이드 스캐너의 제어 컴퓨터는 제1항 내지 제20항 중 어느 한 항에 따른 방법, 및 또한 제32항 내지 제34항 중 어느 한 항에 따른 추가 측정을 수행하는, 방법.
- 제35항에 있어서, 슬라이드 스캐너는 네트워크 연결에 의해 슬라이드 스캐너 또는 그 슬라이드 스캐너의 제어 컴퓨터에 선택적으로 연결 가능한 데이터 저장소의 기록에 조직학적 이미지가 저장된 후, 제1항 내지 제20항 중 어느 한 항에 따른 방법 및 제32항 내지 제34항 중 어느 한 항에 따른 추가 측정을 수행하는, 방법.
- 조직학적 이미지를 위한 시각화 애플리케이션을 운영하는 방법으로서,
이 방법은,
조직학적 이미지 데이터 세트 중의 조직학적 이미지를 사용자에게 상호 작용하게 디스플레이하도록 작동 가능한 시각화 애플리케이션이 탑재한 컴퓨터 장치를 제공하고;
제1항 내지 제20항 또는 제32항 내지 제37항 중 어느 한 항에 따라 사전 처리하여, 조직학적 이미지의 관심 영역을 표시하는 분할 마스크를 포함하는 조직학적 이미지 데이터 세트를 사용할 수 있게 하고; 그리고
시각화 애플리케이션용 컴퓨터 장치로 조직학적 이미지 데이터 세트를 탑재하는 것을 포함하며,
상기 탑재하는 것은, 관심 영역을 포함하지 않는 다른 서브-이미지를 탑재하기 전에 관심 영역을 포함하는 조직학적 이미지 데이터 세트의 작은-영역 서브-이미지를 우선적으로 탑재하는, 방법. - 제38항에 있어서, 작은-영역 서브-이미지는 조직학적 이미지 데이터 세트 내에 저장된 본래 해상도로 탑재되는, 방법.
- 제38항 또는 제39항에 있어서, 조직학적 이미지 데이터 세트가 제3항에 따라 사전 처리되면, 작은-영역 서브-이미지는 순위 순서로 탑재되는, 방법.
- 조직학적 이미지 또는 조직학적 이미지의 세트의 관심 영역을 식별하는 컴퓨터 프로그램 제품으로서, 이 컴퓨터 프로그램 제품은 제1항 내지 제20항 또는 제32항 내지 제34항 중 어느 한 항에 따른 방법을 수행하는 기계 판독 가능 인스트럭션을 구비한, 컴퓨터 프로그램 제품.
- 조직학적 이미지의 관심 영역을 식별하는 컴퓨터 장치로서, 상기 장치는:
메모리에 저장된 기록으로 부터 조직학적 이미지 데이터 세트를 수신하도록 작동 가능한 입력부;
제1항 내지 제20항 또는 제32항 내지 제34항 중 어느 하나의 항에 따른 방법을 수행하도록 구현된 프로세싱 모듈을 포함하는, 장치. - 제42항에 있어서,
분할 마스크에 관한 메타데이터를 기록에 저장하도록 작동 가능한 출력부를 더 포함하여, 상기 메타데이터가 조직학적 이미지 데이터 세트에 연결되도록 하는, 장치. - 제42항 또는 제43항에 있어서,
디스플레이; 그리고
조직학적 이미지가 분할 마스크에 관해 디스플레이될 수 있도록, 조직학적 이미지 데이터 세트 및 분할 마스크를 디스플레이에 전송하도록 작동 가능한 디스플레이 출력을 더 포함하는, 장치. - 임상 네트워크로서,
제42항 내지 제44항 중 어느 한 항에 따른 컴퓨터 장치;
조직학적 이미지를 포함하는 환자 데이터의 기록을 저장하도록 구현된 데이터 저장소; 그리고
컴퓨터 장치 및 데이터 저장소 사이에 환자 데이터 기록 또는 그 일부를 전달할 수 있는 네트워크 연결을 포함하는, 임상 네트워크. - 제45항에 있어서, 조직학적 이미지를 획득하고 그것을 데이터 저장소의 기록에 저장하도록 작동 가능한 이미지 획득 장치를 더 포함하는, 임상 네트워크.
- 조직학적 슬라이드로 부터 조직학적 이미지 데이터 세트를 획득하는 슬라이드 스캐너로서,
이 슬라이드 스캐너는:
슬라이드 로더 및 대물 렌즈를 포함하는 현미경 모듈;
조직학적 이미지 데이터 세트를 획득하기 위해 현미경 모듈을 제어하도록 작동 가능한 제어 컴퓨터; 그리고
관심 영역을 식별하기 위해 제1항 내지 제20항 중 어느 한 항에 따른 방법을 수행하도록 작동 가능한 신경망 프로세싱 모듈을 포함하는, 슬라이드 스캐너. - 제47항에 있어서, 관심 영역을 기반으로 조직학적 이미지 데이터 세트를 가변적으로 압축하기 위해 제32항 내지 제34항 중 어느 한 항에 따른 추가 측정을 수행하도록 작동 가능한 압축 모듈을 더 포함하는, 슬라이드 스캐너.
- 사용자에게 조직학적 이미지 데이터 세트 중의 조직학적 이미지들을 상호 작용하게 디스플레이하는 시각화 애플리케이션이 탑재된 컴퓨터 장치로서,
이 컴퓨터 장치는:
대기 시간이 증가하는 계층에 배열된 복수의 메모리 단이 합성된 메모리로, 적어도 하나의 최하위 대기 시간 메모리 단 (tier)이 캐시 단인, 메모리; 그리고
시각화 애플리케이션을 포함하며,
상기 시각화 애플리케이션은:
메모리의 더 높은 대기 시간 부분에 저장된 조직학적 이미지 데이터 세트에 억세스하도록 작동 가능하며, 상기 조직학적 이미지 데이터 세트는 제1항 내지 제20항 또는 제32항 내지 제37항 중 어느 한 항에 따라 사전 처리되며, 그래서 조직학적 이미지 내 관심 영역들을 표시하는 분할 마스크를 포함하도록 하며, 조직학적 이미지 데이터 세트가 최하위 대기 시간 메모리 단에서만 유지될 수 있는 것보다 더 크며; 그리고
상기 시각화 애플리케이션은, 어떠한 관심 영역도 포함하지 않는 다른 서브-이미지에 비교하면, 관심 영역을 포함하는 데이터 세트의 더 높은 해상도 작은-영역 서브-이미지를 적어도 하나의 캐시 단 내에 우선적으로 사전 탑재하여 보존함에 의해 조직학적 이미지 데이터 세트를 보기 위한 명령을 수신하도록 응답하는, 컴퓨터 장치. - 제49항에 있어서,
조직학적 이미지 데이터 세트가 제3항에 따라 사전 처리되면, 작은-영역 서브-이미지는 랭킹 순서와 관련하여 적어도 하나의 캐시 단으로 우선적으로 탑재되어 보존되며, 그래서 저 대기 시간 및/또는 우선 캐시 보존에 높은 랭킹이 매핑되도록 하는, 컴퓨터 장치. - 제49항 또는 제50항에 있어서, 적어도 하나의 캐시 단이 할당된 그래픽 처리 장치를 더 포함하는, 컴퓨터 장치.
- 컴퓨터 장치로서,
이 컴퓨터 장치는,
조직학적 이미지 데이터 세트의 조직학적 이미지를 사용자에게 상호 작용적으로 디스플레이하는 시각화 애플리케이션; 그리고
원격의 데이터 저장소로 부터 상기 컴퓨터 장치로 조직학적 이미지 데이터를 전송하는 것이 가능하도록 네트워크 연결을 설정하는 네트워크 커넥터를 포함하고,
시각화 애플리케이션이 제1항 내지 제20항 또는 제32항 내지 제37항 중 어느 한 항에 따라 사전 처리된 조직학적 이미지 데이터 세트를 탑재하도록 작동 가능하며, 그래서 관심 영역을 포함하지 않는 다른 서브-이미지를 사전 탑재하기 전에 관심 영역을 포함하는 데이터 세트의 작은-영역 서브-이미지를 우선적으로 사전 탑재함에 의해, 조직학적 이미지 내에 관심 영역을 표시하는 분할 마스크를 포함하는, 컴퓨터 장치. - 제52항에 있어서, 관심 영역을 포함하는 작은-영역 서브-이미지의 우선 탑재는 데이터 저장소에 저장된 본래 해상도로 상기 서브-이미지를 탑재하도록 적용되는, 컴퓨터 장치.
- 제52항 또는 제53항에 있어서, 데이터 저장소에 저장된 조직학적 이미지 데이터 세트가 제3항에 따라 사전 처리되면, 작은-영역 서브-이미지들은 그 서브-이미지들의 랭킹 순서에 관련하여 우선적으로 탑재되는, 컴퓨터 장치.
- 테스트 화합물로 처리된 주어진 조직 유형의 조직 샘플의 조직학적 이미지를 처리하는 컴퓨터 자동화 방법으로서, 이 방법은,
테스트 화합물로 처리된 조직 샘플의 조직학적 이미지를 수신하는 단계로, 상기 조직학적 이미지는 복수의 이미지 타일로 세분화될 수 있는 2차원 픽셀 어레이를 포함하는, 수신 단계;
테스트 화합물로 처리되지 않은 상기 주어진 조직 유형의 조직 샘플의 복수의 조직학적 이미지를 포함하는 훈련 데이터 세트로 훈련된 자동 인코더를 제공하는 단계;
타일마다를 기반으로 조직학적 이미지에 자동 인코더를 적용하여
a. 조직학적 이미지로 부터 이미지 파일을 추출하고;
b. 이미지 타일을 자동 인코더에 입력하고;
c. 해당 이미지 타일을 출력으로서 수신하고; 그리고
d. 입력 이미지 타일 및 출력 이미지 타일 사이의 거리를 계산하는 단계;
계산된 거리를 기반으로 조직학적 이미지를 위한 독성 지도를 생성하는 단계; 그리고
독성 지도를 저장하는 단계를 포함하는, 컴퓨터 자동화 방법. - 제55항에 있어서, 각 타일에 대한 거리는 임계값과 비교되고, 그 거리가 임계값을 초과하면, 해당 이미지 타일은 유독성으로 라벨되는, 방법.
- 제56항에 있어서, 독성 지도는 각 타일에 독성이 있는지의 여부를 기반으로 하는 이진 마스크를 포함하는, 방법.
- 제56항에 있어서, 상기 독성 지도는, 독성이 있는 것으로 라벨된 타일들에 그 타일들의 거리 값에 비례하는 온도 값이 할당된 열 지도를 포함하는, 방법.
- 제58항에 있어서, 열 지도는 공통 베이스 온도 값을 독성이 없는 것으로 라벨된 타일에 할당하는, 방법.
- 제1항 내지 제59항 중 어느 한 항에 있어서, 전체 독성 라벨을 저장하는 것을 더 포함하고, 전체 독성 라벨은 상기 조직학적 이미지를 이미지 타일 중 어느 하나가 독성이 있는 것으로 결정되면 유독성으로, 이미지 타일의 어느 것도 독성이 있는 것으로 결정되지 않으면 비독성으로 지정하는 이진 라벨인, 방법.
- 제1항 내지 제60항 중 어느 한 항에 있어서, 독성 타일을 독성 영역으로 그룹화하여 독성 영역의 분할 마스크를 생성하기 위해 독성 지도에 분할 알고리즘을 적용하는 것을 더 포함하는, 방법.
- 제61항에 있어서, 분할 마스크를 독성 지도에 저장하는 것을 더 포함하는, 방법.
- 제55항에 있어서, 거리에 의해 측정된 독성에 따라 독성 타일 또는 독성 영역의 순위를 정하는 것을 더 포함하는, 방법.
- 제63항에 있어서, 독성 지도에 순위를 저장하는 것을 더 포함하는, 방법.
- 제1항 내지 제64항 중 어느 한 항에 있어서,
시각화 애플리케이션을 제공하고; 그리고
독성 지도과 관련된 조직학적 이미지의 시각화를 만드는 것을 더 포함하는, 방법. - 제65항에 있어서, 시각화는 독성 지도가 조직학적 이미지상에 겹치는 개요 보기 창을 포함하는, 방법.
- 제65항에 있어서, 제63항에 추가되었을 때, 개요 보기 창은 각 독성 영역을 위한 순위 라벨을 포함하는, 방법.
- 제65항에 있어서, 시각화는 독성 지도과 조직학적 이미지가 1대1 비교를 위해 서로 인접해서 표시되는 각자의 개요 보기 창을 포함하는, 방법.
- 제67항에 있어서, 제63항에 추가되었을 때, 독성 지도의 개요 보기 창은 각 독성 영역에 대한 순위 라벨을 포함하는, 방법.
- 제1항 내지 제69항 중 어느 한 항에 있어서, 독성 영역을 선택하기 위해 사용자가 시각화와 상호 작용하도록 작동 가능한 사용자 인터페이스 독성 영역 선택 제어를 더 포함하는, 방법.
- 제70항에 있어서, 시각화는 현재 선택된 독성 영역에 대해 줌인 (zoom in)된 클로즈-업 보기 창을 포함하는, 방법.
- 제70항 또는 제71항에 있어서, 독성 영역 선택 제어는 순위 순서대로 독성 영역을 통해 스위핑하는 스크롤 기능을 가지는, 방법.
- 제65항에 있어서, 제63항에 추가될 때, 시각화는 각각이 독성 영역의 섬네일(thumbnail) 이미지를 가지는, 순위 순서대로 표시된 독성 영역의 순위 목록을 포함하는, 방법.
- 제65항에 있어서, 시각화는 독성 영역의 모자이크 이미지가 포함되는, 방법.
- 제1항 내지 제74항 중 어느 한 항에 있어서, 임계값은 사용자에 의해 설정될 수 있는, 방법.
- 제75항에 있어서, 제65항에 추가될 때, 시각화 애플리케이션은 사용자가 임계값을 설정할 수 있는 사용자 제어 기능을 구비한, 방법.
- 제65항에 있어서, 제58항에 추가될 때, 열 지도는 컬러 배율 또는 그레이 배율로 시각화에 표시되는, 방법.
- 제65항에 있어서, 제58항에 추가될 때, 열 지도는 윤곽선을 사용하여 시각화에 표시되는, 방법.
- 제1항 내지 제78항 중 어느 한 항에 있어서, 자동 인코더는 이미지 타일을 훈련 데이터 세트의 조직학적 이미지로부터 추출함에 의해 훈련되고, 훈련에 사용된 추출된 이미지 타일은 테스트 화합물로 처리된 조직 샘플의 조직학적 이미지가 독성 지도를 생성하도록 세분화되는 것과 동일한 크기인, 방법.
- 제1항 내지 제 79항 중 어느 한 항의 방법을 수행하는 기계 판독 지시 사항을 내장하는 컴퓨터 프로그램 제품.
- 테스트 화합물로 처리된 주어진 조직 유형의 조직 샘플의 조직학적 이미지를 처리하는 컴퓨터 장치로서, 이 장치는,
테스트 화합물로 처리된 조직 샘플의 조직학적 이미지를 수신하도록 작동 가능한 입력부로서, 상기 조직학적 이미지는 복수의 이미지 타일로 세분화될 수 있는 2차원 픽셀 어레이를 포함하는, 입력부;
테스트 화합물로 처리되지 않은 상기 주어진 조직 유형의 조직 샘플의 복수의 조직학적 이미지를 포함하는 훈련 데이터 세트로 훈련된 자동 인코더를 실행하기 위한 기계-판독가능 인스트럭션들이 탑재된 프로세싱 모듈로, 상기 프로세싱 모듈은:
타일마다를 기반으로 조직학적 이미지에 자동 인코더를 적용하여
a. 조직학적 이미지로 부터 이미지 파일을 추출하고;
b. 이미지 타일을 자동 인코더에 입력하고;
c. 해당 이미지 타일을 출력으로서 수신하고; 그리고
d. 입력 이미지 타일 및 출력 이미지 타일 사이의 거리를 계산하며; 그리고
계산된 거리를 기반으로 조직학적 이미지를 위한 독성 지도를 생성하도록 구성된, 프로세싱 모듈; 그리고
독성 지도를 저장하도록 작동 가능한 출력부를 포함하는, 컴퓨터 장치. - 제81항에 있어서,
독성 지도과 관련한 조직학적 이미지의 시각화를 만들도록 작동 가능한 시각화 애플리케이션; 그리고
시각화 애플리케이션애플리케이션 수신하도록 구현된 디스플레이를 더 포함하는, 장치. - 제81항 또는 제82항에 따른 컴퓨터 장치;
조직학적 이미지들을 포함하는 환자 데이터 기록들을 연관된 독성 지도들과 함께 저장하도록 구성된 데이터 저장소; 그리고
컴퓨터 장치 및 데이터 저장소 사이에 환자 데이터 기록 또는 그 기록의 일부를 전송할 수 있는 네트워크 연결을 포함하는, 시스템. - 제81항 또는 제82항에 따른 컴퓨터 장치; 그리고
조직학적 이미지를 획득하도록 작동 가능한 이미지 획득 장치를 포함하는, 시스템. - 제84항에 있어서,
조직학적 이미지들을 포함하는 환자 데이터 기록들을 연관된 독성 지도들과 함께 저장하도록 구성된 데이터 저장소; 그리고
컴퓨터 장치 및 데이터 저장소 사이에 환자 데이터 기록 또는 그 일부를 전송할 수 있는 네트워크 연결을 더 포함하는, 시스템. - 테스트 화합물로 처리된 조직 샘플의 조직학적 이미지를 처리하는 컴퓨터 자동화 방법으로서, 이 방법은,
조직학적 이미지가 2차원 픽셀 어레이를 포함하는, 조직 샘플의 조직학적 이미지를 수신하고;
제1 출력 패치가 각 픽셀에 복수의 관련 클래스의 하나를 할당함에 의해 생성되고, 복수의 관련 클래스는 관심의 픽셀을 나타내는 적어도 하나의 클래스 및 관심이 없는 픽셀을 나타내는 적어도 하나의 클래스를 포함하고, 제1 컨볼루션 신경망이 이질성 이미지 및 병리학자 상호 작용 데이터를 포함하는 훈련 데이터 세트를 이용하여 훈련되고, 병리학자 상호 작용 데이터는 병리학자가 이질성 이미지의 시각화와 상호 작용되는 지에 관한 복수의 파라미터를 기록하여, 조직학적 이미지의 것에 매핑으로 2차원 픽셀 어레이를 가지는 제1 출력 이미지 패치를 생성하도록 조직학적 이미지에 제1 컨볼루션 신경망을 적용하고;
관심 영역이 관심 픽셀에 의해 점유된 관심 영역을 식별하고, 제1 출력 이미지 패치에서 관심 영역의 지도를 생성하고;
제2 컨볼루션 신경망이 테스트 화합물로 처리되지 않은 조직 샘플의 복수의 조직학적 이미지를 포함하는 훈련 데이터 세트로 훈련되어, 조직학적 이미지의 것에 매핑으로 2차원 픽셀 어레이를 가지는 제2 출력 이미지 패치를 생성하도록 조직학적 이미지에 제2 컨볼루션 신경망을 적용하고;
제2 출력 이미지 패치와 매핑에 따라 조직학적 이미지의 해당 부분 사이의 거리를 계산하고;
계산된 거리를 기반으로 조직학적 이미지를 위한 독성 지도를 생성하고;
관심 영역의 지도과 독성 지도 모두에 나타나는 조직학적 이미지의 영역을 식별하기 위해 관심 영역의 지도과 독성 지도를 분석하고; 그리고
관심 영역의 지도과 독성 지도 모두에 나타나는 조직학적 이미지의 각각의 영역을 위한 독성 확신 점수를 증가하는 것을 포함하는, 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962854130P | 2019-05-29 | 2019-05-29 | |
| US201962854040P | 2019-05-29 | 2019-05-29 | |
| US62/854,130 | 2019-05-29 | ||
| US62/854,040 | 2019-05-29 | ||
| PCT/US2020/035302 WO2020243556A1 (en) | 2019-05-29 | 2020-05-29 | Neural network based identification of areas of interest in digital pathology images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220012830A true KR20220012830A (ko) | 2022-02-04 |
Family
ID=71787102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217020383A KR20220012830A (ko) | 2019-05-29 | 2020-05-29 | 신경망 기반 디지털 병리학 이미지의 관심 영역의 식별 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US12094182B2 (ko) |
| EP (2) | EP4303820A1 (ko) |
| JP (1) | JP2022534155A (ko) |
| KR (1) | KR20220012830A (ko) |
| CN (1) | CN113474811A (ko) |
| WO (1) | WO2020243556A1 (ko) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4303820A1 (en) | 2019-05-29 | 2024-01-10 | Leica Biosystems Imaging, Inc. | Neural network based identification of areas of interest in digital pathology images |
| US11908130B2 (en) * | 2020-01-03 | 2024-02-20 | Protein Metrics Llc | Apparatuses and methods for digital pathology |
| DE102020105696A1 (de) * | 2020-03-03 | 2021-09-09 | Carl Zeiss Meditec Ag | Scannendes Bilderzeugungsgerät und scannendes Bildaufnahmeverfahren |
| CN113743398B (zh) * | 2020-05-29 | 2023-11-17 | 富泰华工业（深圳）有限公司 | 图像标识方法、装置、计算机装置及存储介质 |
| EP4196993A1 (en) | 2020-08-11 | 2023-06-21 | PAIGE.AI, Inc. | Systems and methods to process electronic images to provide improved visualization and rendering of histopathology slides |
| US11972348B2 (en) | 2020-10-30 | 2024-04-30 | Apple Inc. | Texture unit circuit in neural network processor |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
| CN112614119B (zh) * | 2020-12-28 | 2024-04-12 | 上海市精神卫生中心（上海市心理咨询培训中心） | 医学图像感兴趣区域可视化方法、装置、存储介质和设备 |
| JP2024513838A (ja) * | 2021-03-29 | 2024-03-27 | ムサシ エーアイ ノース アメリカ インコーポレイテッド | 適応型関心領域セグメンテーションを用いる自動外観検査のためのシステム、方法、およびコンピュータデバイス |
| KR102446638B1 (ko) * | 2021-04-28 | 2022-09-26 | 주식회사 딥바이오 | 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 |
| CN113096117A (zh) * | 2021-04-29 | 2021-07-09 | 中南大学湘雅医院 | 异位骨化ct图像分割方法、三维重建方法、装置 |
| KR20240004642A (ko) * | 2021-05-03 | 2024-01-11 | 페이지.에이아이, 인크. | 전자 이미지를 프로세싱하여 속성을 식별하는 시스템 및 방법 |
| US20220351368A1 (en) * | 2021-05-03 | 2022-11-03 | PAIGE.AI, Inc. | Systems and methods to process electronic images to identify attributes |
| WO2023001940A1 (en) * | 2021-07-23 | 2023-01-26 | Leica Microsystems Cms Gmbh | Methods and systems for generating models for image analysis pipeline prediction |
| WO2023018085A1 (ko) * | 2021-08-10 | 2023-02-16 | 주식회사 루닛 | 병리 슬라이드 이미지와 관련된 정보를 출력하는 방법 및 장치 |
| WO2023055689A1 (en) * | 2021-09-29 | 2023-04-06 | Subtle Medical, Inc. | Systems and methods for noise-aware self-supervised enhancement of images using deep learning |
| CN113920045A (zh) * | 2021-09-30 | 2022-01-11 | 昆仑芯(北京)科技有限公司 | 图像处理方法、装置、电子设备、存储介质和程序产品 |
| CN114036323A (zh) * | 2021-10-12 | 2022-02-11 | 深圳智慧林网络科技有限公司 | 数据压缩方法及装置、存储介质 |
| CN116188559A (zh) * | 2021-11-28 | 2023-05-30 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN113888537B (zh) * | 2021-12-03 | 2022-04-12 | 深圳市网旭科技有限公司 | 掩模提取方法、装置、设备及存储介质 |
| WO2023143625A1 (en) * | 2022-01-31 | 2023-08-03 | Conova Medical Technology Limited | Process and system for three-dimensional modelling of tissue of a subject, and surgical planning process and system |
| CN114549904B (zh) * | 2022-02-25 | 2023-07-07 | 北京百度网讯科技有限公司 | 视觉处理及模型训练方法、设备、存储介质及程序产品 |
| CN114494465B (zh) * | 2022-02-28 | 2024-06-04 | 北京毅能博科技有限公司 | 面向自动扫描的组织病理切片检测目标定位方法与装置 |
| EP4246468A1 (en) | 2022-03-18 | 2023-09-20 | Mindpeak GmbH | Method for training an artificial intelligence system, method for recognizing and classifying cells for pathological cell and tissue examination, classifying system, computer-readable medium |
| WO2023174903A1 (en) | 2022-03-18 | 2023-09-21 | Mindpeak Gmbh | Method for training an artificial intelligence system, method for recognizing and classifying cells for pathological cell and tissue examination, classifying system, computer-readable medium |
| WO2023200732A1 (en) * | 2022-04-11 | 2023-10-19 | Foundation Medicine, Inc. | Systems and methods for predicting slide-level class labels for a whole-slide image |
| WO2023212171A1 (en) * | 2022-04-27 | 2023-11-02 | Avail Medsystems, Inc. | Systems and methods for computer vision |
| EP4276511A1 (en) * | 2022-05-10 | 2023-11-15 | CellaVision AB | Identifying a region of interest of a sample |
| CN114842272B (zh) * | 2022-06-06 | 2024-09-27 | 清华大学深圳国际研究生院 | 一种将苏木精-伊红图像虚拟染色成Masson三色图像的方法 |
| US11816893B1 (en) * | 2022-08-03 | 2023-11-14 | Industrial Video Solutions Inc. | Systems and methods for monitoring and controlling industrial processes |
| US11932991B2 (en) | 2022-08-03 | 2024-03-19 | Industrial Video Solutions Inc. | Systems and methods for monitoring and controlling industrial processes |
| KR102586484B1 (ko) * | 2022-09-05 | 2023-10-12 | 한국과학기술원 | 분류 과정에서 발생하는 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법 |
| CN115457548B (zh) * | 2022-09-19 | 2023-06-16 | 清华大学 | 冷冻电镜中的高分辨率密度图配准方法 |
| WO2024064413A1 (en) * | 2022-09-23 | 2024-03-28 | Kelly Sean M | Variable compression, de-resolution, and restoration of a medical image based upon diagnostic and therapeutic relevance |
| CN115294126B (zh) * | 2022-10-08 | 2022-12-16 | 南京诺源医疗器械有限公司 | 一种病理图像的癌细胞智能识别方法 |
| WO2024121329A1 (en) * | 2022-12-08 | 2024-06-13 | F. Hoffmann-La Roche Ag | Method and system for predicting and/or detecting the presence of a lesion |
| WO2024178514A1 (en) * | 2023-03-01 | 2024-09-06 | Aspect Biosystems Ltd. | Bioprinting methods and systems |
| CN116342983B (zh) * | 2023-05-29 | 2023-09-01 | 全芯智造技术有限公司 | 生成及使用图刻模型的方法、电子设备和计算机可读介质 |
| US11978191B1 (en) | 2023-10-23 | 2024-05-07 | Pramana, Inc. | System and method of digitalizing a slide |
| CN117395424B (zh) * | 2023-12-11 | 2024-03-22 | 深圳市视晶无线技术有限公司 | 一种用于视频无线传输监控系统的视频优化方法 |
| US12075155B1 (en) | 2023-12-21 | 2024-08-27 | Pramana, Inc. | System and methods for slide imaging |
| CN118052830A (zh) * | 2024-01-04 | 2024-05-17 | 重庆邮电大学 | 一种基于隐式提示的多病变视网膜分割方法 |
| CN118172774B (zh) * | 2024-05-13 | 2024-08-06 | 青岛山大齐鲁医院（山东大学齐鲁医院（青岛）） | 一种自动识别感兴趣区域的低倍率图像分析方法及装置 |
| CN118628724A (zh) * | 2024-08-14 | 2024-09-10 | 绍兴文理学院 | 一种基于弱标签数据的图像兴趣区域提取方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015069827A2 (en) * | 2013-11-06 | 2015-05-14 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Pathology case review, analysis and prediction |
| US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
| EP3596697B1 (en) | 2017-06-28 | 2021-03-17 | Deepmind Technologies Limited | Generalizable medical image analysis using segmentation and classification neural networks |
| US11195274B2 (en) | 2017-08-03 | 2021-12-07 | Nucleai Ltd | Systems and methods for analysis of tissue images |
| US10832406B2 (en) | 2017-11-15 | 2020-11-10 | President And Fellows Of Harvard College | Quantitative pathology analysis and diagnosis using neural networks |
| WO2020174863A1 (ja) | 2019-02-28 | 2020-09-03 | ソニー株式会社 | 診断支援プログラム、診断支援システム及び診断支援方法 |
| EP4303820A1 (en) | 2019-05-29 | 2024-01-10 | Leica Biosystems Imaging, Inc. | Neural network based identification of areas of interest in digital pathology images |
-
2020
- 2020-05-29 EP EP23206311.5A patent/EP4303820A1/en active Pending
- 2020-05-29 EP EP20746403.3A patent/EP3884428A1/en not_active Withdrawn
- 2020-05-29 KR KR1020217020383A patent/KR20220012830A/ko unknown
- 2020-05-29 JP JP2021538305A patent/JP2022534155A/ja active Pending
- 2020-05-29 US US17/416,394 patent/US12094182B2/en active Active
- 2020-05-29 CN CN202080011682.XA patent/CN113474811A/zh active Pending
- 2020-05-29 WO PCT/US2020/035302 patent/WO2020243556A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20220076411A1 (en) | 2022-03-10 |
| EP4303820A1 (en) | 2024-01-10 |
| EP3884428A1 (en) | 2021-09-29 |
| CN113474811A (zh) | 2021-10-01 |
| WO2020243556A1 (en) | 2020-12-03 |
| US12094182B2 (en) | 2024-09-17 |
| JP2022534155A (ja) | 2022-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12094182B2 (en) | Neural network based identification of areas of interest in digital pathology images | |
| US11893732B2 (en) | Computer supported review of tumors in histology images and post operative tumor margin assessment | |
| US11164316B2 (en) | Image processing systems and methods for displaying multiple images of a biological specimen | |
| JP7553451B2 (ja) | デジタルパソロジーのための人工知能処理システムおよび自動化された事前診断ワークフロー | |
| US12020477B2 (en) | Systems and methods for generating encoded representations for multiple magnifications of image data | |
| JP2023530070A (ja) | 電子画像を処理して組織マップ可視化を生成するシステム及び方法 | |
| US20230230709A1 (en) | Systems and methods for automatically managing image data |