KR20230011954A - 공간적 특징 분석을 기반으로 한 병리 예측 - Google Patents
공간적 특징 분석을 기반으로 한 병리 예측 Download PDFInfo
- Publication number
- KR20230011954A KR20230011954A KR1020227040518A KR20227040518A KR20230011954A KR 20230011954 A KR20230011954 A KR 20230011954A KR 1020227040518 A KR1020227040518 A KR 1020227040518A KR 20227040518 A KR20227040518 A KR 20227040518A KR 20230011954 A KR20230011954 A KR 20230011954A
- Authority
- KR
- South Korea
- Prior art keywords
- biological
- biological entity
- digital pathology
- subject
- spatial distribution
- Prior art date
Links
- 230000007170 pathology Effects 0.000 title claims abstract description 307
- 238000004458 analytical method Methods 0.000 title claims description 58
- 238000009826 distribution Methods 0.000 claims abstract description 192
- 238000012545 processing Methods 0.000 claims abstract description 136
- 238000011282 treatment Methods 0.000 claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 98
- 210000004881 tumor cell Anatomy 0.000 claims abstract description 82
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 45
- 230000005746 immune checkpoint blockade Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 64
- 238000010801 machine learning Methods 0.000 claims description 36
- 238000005314 correlation function Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 13
- 201000011510 cancer Diseases 0.000 claims description 11
- 230000028993 immune response Effects 0.000 claims description 10
- 239000012472 biological sample Substances 0.000 claims description 9
- 210000002865 immune cell Anatomy 0.000 claims description 9
- 230000002068 genetic effect Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000004043 responsiveness Effects 0.000 claims description 3
- 210000004698 lymphocyte Anatomy 0.000 abstract description 96
- 238000002560 therapeutic procedure Methods 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 86
- 239000000523 sample Substances 0.000 description 74
- 210000004027 cell Anatomy 0.000 description 55
- 230000008569 process Effects 0.000 description 36
- 238000004393 prognosis Methods 0.000 description 33
- 238000003745 diagnosis Methods 0.000 description 30
- 238000011156 evaluation Methods 0.000 description 29
- 239000000975 dye Substances 0.000 description 27
- 238000001514 detection method Methods 0.000 description 19
- 230000004083 survival effect Effects 0.000 description 19
- 210000001519 tissue Anatomy 0.000 description 19
- 239000003550 marker Substances 0.000 description 17
- 238000001574 biopsy Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 14
- 238000013459 approach Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 239000006185 dispersion Substances 0.000 description 10
- 230000002601 intratumoral effect Effects 0.000 description 10
- 238000010200 validation analysis Methods 0.000 description 10
- 238000012512 characterization method Methods 0.000 description 9
- 238000010186 staining Methods 0.000 description 9
- 208000032818 Microsatellite Instability Diseases 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 210000003171 tumor-infiltrating lymphocyte Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000009169 immunotherapy Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000002790 cross-validation Methods 0.000 description 6
- 239000007788 liquid Substances 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 239000001993 wax Substances 0.000 description 6
- 108020004414 DNA Proteins 0.000 description 5
- 108091092878 Microsatellite Proteins 0.000 description 5
- 229930012538 Paclitaxel Natural products 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 190000008236 carboplatin Chemical compound 0.000 description 5
- 229960004562 carboplatin Drugs 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 5
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 5
- 229960001592 paclitaxel Drugs 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 210000002536 stromal cell Anatomy 0.000 description 5
- RCINICONZNJXQF-MZXODVADSA-N taxol Chemical compound O([C@@H]1[C@@]2(C[C@@H](C(C)=C(C2(C)C)[C@H](C([C@]2(C)[C@@H](O)C[C@H]3OC[C@]3([C@H]21)OC(C)=O)=O)OC(=O)C)OC(=O)[C@H](O)[C@@H](NC(=O)C=1C=CC=CC=1)C=1C=CC=CC=1)O)C(=O)C1=CC=CC=C1 RCINICONZNJXQF-MZXODVADSA-N 0.000 description 5
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 5
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 4
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 102000037982 Immune checkpoint proteins Human genes 0.000 description 4
- 108091008036 Immune checkpoint proteins Proteins 0.000 description 4
- 229960003852 atezolizumab Drugs 0.000 description 4
- 229960000397 bevacizumab Drugs 0.000 description 4
- 239000000090 biomarker Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 238000002512 chemotherapy Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008045 co-localization Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000834 fixative Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000001764 infiltration Methods 0.000 description 3
- 230000008595 infiltration Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 206010061289 metastatic neoplasm Diseases 0.000 description 3
- 102000008096 B7-H1 Antigen Human genes 0.000 description 2
- 108010074708 B7-H1 Antigen Proteins 0.000 description 2
- 102100022595 Broad substrate specificity ATP-binding cassette transporter ABCG2 Human genes 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 101000823298 Homo sapiens Broad substrate specificity ATP-binding cassette transporter ABCG2 Proteins 0.000 description 2
- 108091028043 Nucleic acid sequence Proteins 0.000 description 2
- 241000736199 Paeonia Species 0.000 description 2
- 235000006484 Paeonia officinalis Nutrition 0.000 description 2
- PPBRXRYQALVLMV-UHFFFAOYSA-N Styrene Chemical compound C=CC1=CC=CC=C1 PPBRXRYQALVLMV-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000000170 cell membrane Anatomy 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 230000013632 homeostatic process Effects 0.000 description 2
- 230000001394 metastastic effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000009772 tissue formation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 1
- 229940076838 Immune checkpoint inhibitor Drugs 0.000 description 1
- 102000037984 Inhibitory immune checkpoint proteins Human genes 0.000 description 1
- 108091008026 Inhibitory immune checkpoint proteins Proteins 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 238000003559 RNA-seq method Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000005773 cancer-related death Effects 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000004081 cilia Anatomy 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000013264 cohort analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 231100000727 exposure assessment Toxicity 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000008098 formaldehyde solution Substances 0.000 description 1
- 230000004077 genetic alteration Effects 0.000 description 1
- 231100000118 genetic alteration Toxicity 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000005182 global health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001900 immune effect Effects 0.000 description 1
- 239000012274 immune-checkpoint protein inhibitor Substances 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008611 intercellular interaction Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 238000001325 log-rank test Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000394 mitotic effect Effects 0.000 description 1
- 238000013425 morphometry Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000001558 permutation test Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 229940068196 placebo Drugs 0.000 description 1
- 239000000902 placebo Substances 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000011272 standard treatment Methods 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
본 시스템 및 방법은 디지털 병리 이미지의 처리에 관한 것이다. 더 구체적으로, 제1 부류의 개체(예컨대, 림프구)의 묘사 및 제2 부류의 개체(예컨대, 종양 세포)의 묘사가 검출된다. 각각의 생물학적 개체 묘사의 위치가 식별되며, 이는 제1 부류의 개체 묘사가 제2 부류의 개체에 상대적으로 위치하는 곳을 특성화하는 다중 공간 분포 메트릭을 생성하는 데 사용된다. 상기 공간 분포 메트릭은 대상체의 예측된 생물학적 상태 또는 잠재적 치료에 대응하는 결과를 생성하는 데 사용된다. 예를 들어, 상기 결과는 림프구가 종양에 침투했는지의 여부 및/또는 정도, 관문 차단 요법이 상기 대상체에 대한 효과적인 치료인지의 여부, 및/또는 대상체가 임상 시험에 적합한지의 여부를 예측할 수도 있다.
Description
우선권
본 출원은 2020년 9월 11일에 출원한 미합중국 가출원 특허 제63/077,232호, 및 2020년 5월 18일에 출원한 미합중국 가출원 특허 제 63/026,545호의 35 U.S.C. § 119(e)에 따른 우선권 이익을 주장한다.
본 출원은 일반적으로 이미지 내에 특정 유형의 물체에 대한 공간 정보를 특성화하는 출력을 생성하기 위한 디지털 병리 이미지의 이미지 처리에 관한 것이다. 더 구체적으로, 디지털 병리 이미지는 이미지의 전체 또는 일부에 걸쳐 하나 이상의 유형의 생물학적 개체 묘사에 대한 공간 분포 및 상호 관계를 특성화하는 메트릭을 생성하도록 처리될 수 있다.
이미지 분석에는 개별 이미지를 처리하여 이미지 수준의 결과를 생성하는 것이 포함된다. 예를 들어, 결과는 상기 이미지가 특정 유형의 객체를 포함하는지 여부에 대한 평가에 대응하는 이진화된 결과일 수 있다. 다른 예로서, 결과는 이미지 내에서 검출된 특정 유형의 다수의 객체에 대한 이미지 수준의 계수를 포함할 수 있다. 디지털 병리학의 맥락에서, 결과는 샘플의 이미지 내에서 감지된 특정 유형의 세포 수, 전체 이미지에 걸친 타 유형의 세포 수에 대한 일 유형의 세포 수의 비율, 및/또는 특정 유형의 세포 밀도를 포함할 수 있다.
상기 이미지 수준의 접근 방식은 단순화한 메타데이터 저장을 용이하게 하고 상기 결과가 생성된 방식의 면에서 쉽게 이해할 수 있기 때문에 편리할 수 있다. 하지만, 상기 이미지 수준의 접근 방식은 묘사된 상황 및/또는 환경의 세부 사항을 감지하는 데 방해가 될 수 있는 이미지의 세부 사항을 제거할 수 있다. 상기 단순화는 특정 유형의 세포의 현재 또는 잠재적인 미래 활동이 미세 환경에 크게 의존할 수 있기 때문에 디지털 병리학 맥락에서 특히 영향을 미칠 수 있다.
따라서, 묘사된 생물학적 개체의 공간적 특성화를 반영하는 출력을 생성하기 위해 디지털 병리 이미지를 처리하는 기술을 개발하는 것이 유리할 것이다.
일부 구현예들예에서, 피험자의 생물학적 시료의 섹션을 묘사하는 디지털 병리 이미지에 액세스하는 디지털 병리 이미지 처리 시스템을 포함하는 컴퓨터 구현 방법이 제공된다. 디지털 병리 이미지 처리 시스템은 디지털 병리 이미지 내에서 생물학적 개체 묘사의 제1 세트 및 생물학적 개체 묘사의 제2 세트를 검출한다. 생물학적 개체 묘사의 제1 세트의 각각은 제1 유형의 생물학적 개체의 제1 생물학적 개체를 묘사한다. 생물학적 개체 묘사의 제2 세트의 각각은 제2 유형의 생물학적 개체의 제2 생물학적 개체를 묘사한다. 디지털 병리 이미지 처리 시스템은, 생물학적 개체 묘사의 제1 세트 및 생물학적 개체 묘사의 제2 세트를 사용하여, 생물학적 개체 묘사의 제2 세트에 관련된 생물학적 개체 묘사의 제1 세트의 위치를 특성화하는 공간 분포 메트릭을 생성한다. 디지털 병리 이미지 처리 시스템은, 공간 분포 메트릭을 사용하여, 피험자의 예측된 생물학적 상태 또는 피험자를 위한 잠재적 치료에 대응하는 피험자 수준의 결과를 생성한다. 디지털 병리 이미지 처리 시스템은 피험자 수준의 결과를 포함하는 디스플레이를 생성한다. 특정 구현예들에서, 제1 유형의 생물학적 개체는 제1 유형의 세포를 포함하고 제2 유형의 생물학적 개체는 제2 유형의 세포를 포함한다. 특정 구현예들에서, 제1 유형의 생물학적 개체는 림프구를 포함하고 제2 유형의 생물학적 개체는 종양 세포를 포함한다. 특정 구현예들에서, 디지털 병리 이미지는 하나 이상의 염색으로 처리된 후 피험자로부터의 생물학적 시료를 묘사하며, 상기 하나 이상의 염색의 각각은 제1 유형의 생물학적 개체 또는 제2 유형의 생물학적 개체 중 하나 이상의 외관을 향상시킨다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은: 하나 이상의 제1 생물학적 개체 묘사의 각각의 제1 생물학적 개체 묘사에 대하여 제1 생물학적 개체 묘사에 대응하는 디지털 병리 이미지 내의 제1 지점 위치를 식별하고; 하나 이상의 제2 생물학적 개체 묘사의 각각의 제2 생물학적 개체 묘사에 대하여 제2 생물학적 개체 묘사에 대응하는 디지털 병리 이미지 내의 제2 지점 위치를 식별하고; 그리고 제1 지점 위치 및 제2 지점 위치를 기반으로 공간 분포 메트릭을 결정하여 공간 분포 메트릭을 생성한다. 특정 구현예들에서, 디지털 병리 이미지 내의 제1 지점 위치는 제1 생물학적 개체 묘사의 위치를 나타낸다. 특정 구현예들에서, 디지털 병리 이미지 내의 제1 지점 위치는, 제1 생물학적 개체 묘사에 대하여, 평균점 위치, 중심점 위치, 중앙점 위치, 또는 가중점 위치를 계산함으로써 선택된다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은, 하나 이상의 제1 생물학적 개체 묘사의 적어도 일부의 제1 생물학적 개체 묘사의 각각에 대하여 및 하나 이상의 제2 생물학적 개체 묘사의 적어도 일부의 제2 생물학적 개체 묘사의 각각에 대하여, 제1 생물학적 개체 묘사에 대응하는 제1 지점 위치 및 제2 생물학적 개체 묘사에 대응하는 제2 지점 위치 사이의 거리를 계산함으로써 공간 분포 메트릭을 생성한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은, 하나 이상의 제1 생물학적 개체 묘사의 적어도 일부의 제1 생물학적 개체 묘사의 각각에 대하여, 제1 생물학적 개체 묘사 및 제2 생물학적 개체 묘사 사이의 거리와 관련된 제2 생물학적 개체 묘사의 하나 이상을 식별함으로써 공간 분포 메트릭을 생성한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은: 디지털 병리 이미지의 영역을 이미지 영역 세트로 분할하도록 구성된 공간 격자를 정의하고; 하나 이상의 제1 생물학적 개체 묘사의 각각의 제1 생물학적 개체 묘사를 이미지 영역 세트의 이미지 영역에 할당하고; 하나 이상의 제2 생물학적 개체 묘사의 각각의 제2 생물학적 개체 묘사를 이미지 영역 세트의 이미지 영역에 할당하고; 그리고 이미지 영역 할당을 기반으로 공간 분포 메트릭을 생성하여 공간 분포 메트릭을 생성한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은, 이웃하는 이미지 영역보다 제1 생물학적 개체 묘사를 포함할 확률이 더 큰 이미지 영역 세트의 하나 이상의 이미지 영역의 제1 세트를 결정하고; 이웃하는 이미지 영역보다 제2 생물학적 개체 묘사를 포함할 확률이 더 큰 이미지 영역 세트의 하나 이상의 이미지 영역의 제2 세트를 결정하고; 그리고 추가적으로 이미지 영역의 제1 세트 및 이미지 영역의 제2 세트를 기반으로 공간 분포 메트릭을 결정하여 공간 분포 메트릭을 생성한다. 디지털 병리 이미지 처리 시스템은, 이웃하는 이미지 영역보다 제1 생물학적 개체 묘사 및 제2 생물학적 개체 묘사 둘 모두를 포함할 확률이 더 큰 이미지 영역 세트의 하나 이상의 이미지 영역의 제3 세트를 결정하고; 그리고 추가적으로 이미지 영역의 제3 세트를 기반으로 공간 분포 메트릭을 결정하여 공간 분포 메트릭을 생성한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은, 디지털 병리 이미지에 대해 생성된 공간 분포 메트릭을 이전 디지털 병리 이미지에 대해 생성된 이전 공간 분포 메트릭과 비교하고; 그리고 상기 비교를 기반으로 이전 디지털 병리 영상에 대해 생성된 피험자 수준의 결과를 출력하여, 제1 공간 분포 메트릭을 사용하여 피험자의 예측된 생물학적 상태 또는 피험자를 위한 잠재적 치료에 대응하는 피험자 수준의 결과를 생성한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은, 훈련된 기계 학습 모델을 사용하여 공간 분포 메트릭 및 생물학적 개체 묘사의 제1 세트 및 생물학적 객체 묘사의 제2 세트를 처리하는 것을 기반으로 피험자에 대한 진단, 예후, 치료 권고, 또는 치료 적합성 평가를 결정함으로써 피험자 수준의 결과를 생성한다. 특정 구현예들에서, 공간 분포 메트릭은 K 최근접 이웃(KNN) 분석을 기반으로 정의된 메트릭; 리플리(Ripley) K 함수를 기반으로 정의된 메트릭; 모리스타-혼(Morisita-Horn) 지수; 모란(Moran) 지수; 상관 함수를 기반으로 정의된 메트릭; 열점/냉점 분석을 기반으로 정의된 메트릭; 또는 크리깅(Kriging) 기반 분석을 기반으로 정의된 메트릭을 포함한다. 특정 구현예들에서, 상기 공간 분포 메트릭은 제1 유형의 메트릭이다. 디지털 병리 이미지 처리 시스템은, 생물학적 개체 묘사의 제1 세트 및 생물학적 개체 묘사의 제2 세트를 사용하여, 생물학적 개체 묘사의 제2 세트에 관련된 생물학적 개체 묘사의 제1 세트의 위치를 특성화하는 제2 공간 분포 메트릭을 생성한다. 제2 공간 분포 메트릭은 제1 유형의 메트릭과 상이한 제2 유형의 메트릭이다. 피험자 수준의 결과는 제2 공간 분포 메트릭에 추가로 사용하여 생성된다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은 피험자의 식별자 또는 디지털 병리 이미지의 식별자를 포함하여 사용자 장치로부터 사용자 입력 데이터를 수신한다. 디지털 병리 이미지는 수신된 사용자 입력 데이터를 기반으로 액세스한다. 디지털 병리 이미지 처리 시스템은 사용자 장치에 피험자 수준의 결과를 제공함으로써 디스플레이를 위한 피험자 수준의 결과를 제공한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은 피험자의 사용자 장치에 임상 평가를 출력한다. 상기 임상 평가는 피험자에 대한 진단, 예후, 치료 권고, 또는 치료 적합성 평가를 포함한다.
일부 구현예들에서, 디지털 병리 이미지 처리 시스템에 의해, 주어진 의학적 상태를 갖는 피험자로부터 수집된 생물학적 시료의 섹션을 묘사하는 디지털 병리 이미지에 액세스하는 단계를 포함하는 방법이 제공된다. 디지털 병리 이미지 처리 시스템은 디지털 병리 이미지 내에서 생물학적 개체 묘사의 세트를 검출한다. 상기 생물학적 개체 묘사의 세트는 제1 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제1 세트 및 제2 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제2 세트를 포함한다. 디지털 병리 이미지 처리 시스템은 생물학적 객체 묘사의 하나 이상의 관계적 위치 표현을 생성한다. 상기 하나 이상의 관계적 위치 표현의 각각은 제2 생물학적 개체 묘사와 관련된 제1 생물학적 개체 묘사의 위치를 나타낸다. 디지털 병리 이미지 처리 시스템은, 상기 하나 이상의 관계적 위치 표현을 이용하여, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부와 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부와 산재된 정도를 특성화하는 공간 분포 메트릭을 결정한다. 디지털 병리 이미지 처리 시스템은, 상기 공간 분포 메트릭에 기초하여, 면역학적 반응을 조절하는 주어진 치료가 상기 대상체의 주어진 의학적 상태를 효과적으로 치료하는 정도에 관한 예측에 대응하는 결과를 생성한다. 디지털 병리 이미지 처리 시스템은 상기 결과에 기초하여 피험자가 임상 시험에 적합하다고 결정한다. 디지털 병리 이미지 처리 시스템은 피험자가 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성한다. 특정 구현예들에서, 공간 분포 메트릭은 K 최근접 이웃(KNN) 분석을 기반으로 정의된 메트릭, 리플리 K 함수를 기반으로 정의된 메트릭, 모리스타-혼 지수, 모란 지수, 상관 함수를 기반으로 정의된 메트릭, 열점/냉점 분석을 기반으로 정의된 메트릭, 또는 크리깅 기반 분석을 기반으로 정의된 메트릭을 포함한다. 특정 구현예들에서, 공간 분포 메트릭은 제1 유형의 메트릭이고; 디지털 병리 이미지 처리 시스템은, 상기 하나 이상의 관계적 위치 표현을 이용하여, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부와 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부와 산재된 정도를 특성화하는 제2 공간 분포 메트릭을 결정한다. 제2 공간 분포 메트릭은 제1 유형의 메트릭과 상이한 제2 유형의 메트릭이다. 상기 결과는 상기 제2 공간 분포 메트릭에 추가로 기초하여 생성된다. 특정 구현예들에서, 상기 결과를 생성하는 것은 훈련된 기계 학습 모델을 사용하여 제1 공간 분포 메트릭 및 제2 공간 분포 메트릭을 처리하는 디지털 병리 이미지 처리 시스템을 포함한다. 훈련된 기계 학습 모델은 훈련 요소 세트를 사용하여 훈련되었다. 훈련 요소 세트의 각각은 임상 시험과 관련된 특정 치료를 받은 다른 피험자에 대응한다. 훈련 요소 세트의 각각은 공간 분포 메트릭의 다른 세트 및 주어진 치료가 다른 피험자에서 면역학적 반응을 활성화한 정도를 나타내는 반응성 값을 포함한다. 특정 구현예들에서, 상기 결과를 생성하는 단계는 공간 분포 메트릭의 값을 임계값과 비교하는 단계를 포함한다. 특정 구현예들에서, 상기 주어진 의학적 상태는 암의 한 유형이고, 상기 주어진 치료는 면역 관문 차단 치료이다. 특정 구현예들에서, 상기 하나 이상의 관계적 위치 표현은, 상기 생물학적 개체 묘사 세트의 각각의 생물학적 개체 묘사에 대하여, 상기 디지털 병리 이미지 내에서 생물학적 개체 묘사의 위치를 식별하는 좌표 세트를 포함한다. 특정 구현예들에서, 상기 생물학적 개체 묘사의 하나 이상의 관계적 위치 표현을 생성하는 단계는: 상기 생물학적 개체 묘사의 제1 세트의 각각의 생물학적 개체 묘사에 대하여, 상기 생물학적 개체 묘사에 대응하는 디지털 병리 이미지 내의 제1 지점 위치를 식별하는 단계; 상기 생물학적 개체 묘사의 제2 세트의 각각의 생물학적 개체 묘사에 대하여, 상기 생물학적 개체 묘사에 대응하는 디지털 병리 이미지 내의 제2 지점 위치를 식별하는 단계; 및 상기 제1 지점 위치와 상기 제2 지점 위치를 비교하는 단계를 포함한다. 특정 구현예들에서, 상기 디지털 병리 이미지 내의 제1 지점 위치는, 상기 생물학적 개체 묘사의 제1 세트의 생물학적 개체 묘사에 대하여, 평균점 위치, 중심점 위치, 중앙점 위치, 또는 가중점 위치를 계산함으로써 선택된다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부의 각각에 대하여 및 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부의 각각에 대하여, 상기 생물학적 개체 묘사의 제1 세트의 생물학적 개체 묘사에 대응하는 제1 지점 위치와 상기 생물학적 개체 묘사의 제2 세트의 생물학적 개체 묘사에 대응하는 제2 지점 위치 사이의 거리를 계산하는 단계에 의해, 공간 분포 메트릭을 결정한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부의 각각에 대하여, 상기 생물학적 개체 묘사의 제1 세트의 생물학적 개체 묘사에 대응하는 제1 지점 위치와 상기 생물학적 개체 묘사의 제2 세트의 생물학적 개체 묘사에 대응하는 제2 지점 위치 사이의 거리와 관련된 상기 생물학적 개체 묘사의 제2 세트의 하나 이상을 식별하는 단계에 의해, 공간 분포 메트릭을 결정한다. 특정 구현예들에서, 상기 하나 이상의 관계적 위치 표현은, 디지털 병리 이미지의 이미지 영역 세트의 각각에 대하여, 상기 영역 내 위치하는 것으로 식별되는 제1 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 절대적 또는 상대적인 양에 대한 표현, 및 상기 영역 내 위치하는 것으로 식별되는 제2 유형의 생물학적 개체에 대한 생물학적 개체 묘사의 절대적 또는 상대적인 양에 대한 표현을 포함한다. 특정 구현예들에서, 상기 하나 이상의 관계적 위치 표현은 생물학적 개체 묘사의 제2 세트에 대한 생물학적 개체 묘사로부터 주어진 거리 내에 위치하는 것으로 묘사되는 생물학적 개체 묘사의 제1 세트에 대한 생물학적 개체 묘사의 거리 기반 확률을 포함한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은 상기 피험자에 대한 유전자 서열분석 또는 방사선 영상 데이터에 액세스하고, 여기서 상기 결과는 상기 유전자 서열분석 또는 방사선 영상 데이터의 특성을 기반으로 추가로 생성된다. 특정 구현예들에서, 상기 제1 부류의 생물학적 개체는 종양 세포이고 상기 제2부류의 생물학적 개체는 면역 세포이다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은 피험자의 식별자를 포함하여 사용자 장치로부터 사용자 입력 데이터를 수신하고 상기 식별자를 수신하는 것에 응답하여 상기 디지털 병리 이미지에 액세스한다. 디지털 병리 이미지 처리 시스템은 상기 피험자가 상기 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성하고 상기 피험자가 상기 임상 시험에 적합하다는 표시를 상기 사용자 장치에 제공한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은 상기 피험자가 상기 임상 시험에 등록되었다는 표시를 수신한다. 특정 구현예들에서, 디지털 병리 이미지 처리 시스템은 상기 피험자에게 상기 임상 시험에 대한 적합성 여부의 결정을 알림으로써 상기 피험자가 상기 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성한다.
일부 실시예에서, 하나 이상의 데이터 프로세서와, 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하는 비일시적 컴퓨터 판독가능 저장 매체를 포함하는 시스템이 제공된다.
일부 실시예에서, 비일시적 기계-판독 가능 저장 매체에 유형으로 구현된, 그리고, 여기서 개시되는 하나 이상의 방법들의 전부 또는 일부를 하나 이상의 데이터 프로세서로 하여금 수행하게 하도록 구성된 명령어를 포함하는, 컴퓨터 프로그램 제품이 제공된다.
본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 실시예에서, 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 하나 이상의 프로세서 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다. 본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 여기서 개시된 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 기계 판독형 저장 매체로 유형으로 구현되는 컴퓨터-프로그램 프로덕트를 포함한다.
사용된 용어 및 표현은 설명의 용어로 사용되며 제한이 없으며, 이러한 용어 및 표현의 사용에 있어서 도시 및 설명된 특징 또는 그 일부의 등가물을 배제하려는 의도는 없지만, 청구된 발명의 범위 내에서 다양한 수정이 가능하다는 것이 인정된다. 따라서, 청구된 바와 같은 본 발명이 실시예 및 선택적인 특징에 의해 구체적으로 개시되었지만, 여기에 개시된 개념의 수정 및 변형이 당업자에 의해 의지될 수 있고, 그러한 수정 및 변형이 첨부된 청구범위에 의해 정의된 바와 같이 본 발명의 범위 내에 있다는 것을 이해해야 한다.
본 개시는 첨부된 도면과 함께 설명된다:
도 1은 일부 구현예들에 따른 생물학적 개체의 상대적 공간 정보를 특성화하기 위해 디지털 병리 이미지를 생성 및 처리하기 위한 상호작용 시스템을 도시한다.
도 2는 일부 구현예들에 따른 공간 분포 메트릭을 생성하기 위해 객체 묘사 데이터를 처리하기 위한 예시적인 시스템을 도시한다.
도 3a 및 도 3b는 일부 구현예들에 따른 디지털 병리 이미지의 공간적으로 특정한 이미지 처리에 기초하여 건강 관련 평가를 제공하는 방법을 도시한다.
도 4는 일부 구현예들에 따른 경관 기반 공간 점 과정(landscape-based spatial-point-process) 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 5a 내지 도 5c는 일부 구현예들에 따른 판별(discrimination) 기반 공간 점 과정 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 6a 내지 도 6d는 일부 구현예예들에 따른 예시적인 이미지에서 객체 묘사의 공간적 배열을 특성화하는 예시적인 거리 및 강도 기반 메트릭을 도시한다.
도 7은 일부 구현예들에 따른 격자 기반 공간 영역 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 8은 일부 구현예들에 따른 모란 지수를 사용하여 이미지를 처리하는 방법을 도시한다.
도 9는 일부 구현예들에 따른 열점(hotspot) 기반 공간 영역 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 10은 일부 구현예들에 따른 지리 통계적 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 11은 일부 구현예들에 따른 디지털 병리 이미지의 처리에 기초하여 미세위성 불안정성의 발생을 예측하기 위하여 훈련된 로지스틱 회귀 모델의 성능을 특성화하는 수신기 작동 곡선을 도시한다.
도 12는 내포된 몬테카를로 교차 검증(Monte Carlo Cross Validation) 모델링 전략을 사용하여 연구 코호트의 각 피험자에 예측된 결과 표지를 할당하는 방법을 도시한다.
도 13은 2개의 피험자 코호트 분석에서 피험자에 대한 카플라-마이어(Kaplan-Meir) 플롯을 도시한다.
첨부된 도면에서, 유사한 구성요소 및/또는 특징은 동일한 참조 라벨을 가질 수 있다. 또한, 동일한 유형의 다양한 구성요소가 참조 라벨 뒤에 대시와 유사한 구성 요소를 구별하는 두 번째 라벨을 사용하여 구별할 수 있다. 명세서에서 첫 번째 참조 라벨만 사용되는 경우, 설명은 두 번째 참조 라벨과 상관없이 동일한 첫 번째 참조 라벨을 갖는 유사한 구성 요소 중 하나에 적용 가능하다.
도 1은 일부 구현예들에 따른 생물학적 개체의 상대적 공간 정보를 특성화하기 위해 디지털 병리 이미지를 생성 및 처리하기 위한 상호작용 시스템을 도시한다.
도 2는 일부 구현예들에 따른 공간 분포 메트릭을 생성하기 위해 객체 묘사 데이터를 처리하기 위한 예시적인 시스템을 도시한다.
도 3a 및 도 3b는 일부 구현예들에 따른 디지털 병리 이미지의 공간적으로 특정한 이미지 처리에 기초하여 건강 관련 평가를 제공하는 방법을 도시한다.
도 4는 일부 구현예들에 따른 경관 기반 공간 점 과정(landscape-based spatial-point-process) 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 5a 내지 도 5c는 일부 구현예들에 따른 판별(discrimination) 기반 공간 점 과정 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 6a 내지 도 6d는 일부 구현예예들에 따른 예시적인 이미지에서 객체 묘사의 공간적 배열을 특성화하는 예시적인 거리 및 강도 기반 메트릭을 도시한다.
도 7은 일부 구현예들에 따른 격자 기반 공간 영역 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 8은 일부 구현예들에 따른 모란 지수를 사용하여 이미지를 처리하는 방법을 도시한다.
도 9는 일부 구현예들에 따른 열점(hotspot) 기반 공간 영역 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 10은 일부 구현예들에 따른 지리 통계적 분석틀을 사용하여 이미지를 처리하는 방법을 도시한다.
도 11은 일부 구현예들에 따른 디지털 병리 이미지의 처리에 기초하여 미세위성 불안정성의 발생을 예측하기 위하여 훈련된 로지스틱 회귀 모델의 성능을 특성화하는 수신기 작동 곡선을 도시한다.
도 12는 내포된 몬테카를로 교차 검증(Monte Carlo Cross Validation) 모델링 전략을 사용하여 연구 코호트의 각 피험자에 예측된 결과 표지를 할당하는 방법을 도시한다.
도 13은 2개의 피험자 코호트 분석에서 피험자에 대한 카플라-마이어(Kaplan-Meir) 플롯을 도시한다.
첨부된 도면에서, 유사한 구성요소 및/또는 특징은 동일한 참조 라벨을 가질 수 있다. 또한, 동일한 유형의 다양한 구성요소가 참조 라벨 뒤에 대시와 유사한 구성 요소를 구별하는 두 번째 라벨을 사용하여 구별할 수 있다. 명세서에서 첫 번째 참조 라벨만 사용되는 경우, 설명은 두 번째 참조 라벨과 상관없이 동일한 첫 번째 참조 라벨을 갖는 유사한 구성 요소 중 하나에 적용 가능하다.
디지털 이미지는 다양한 다른 사용들 중에서 진단, 예후, 치료 선택, 및 치료 평가와 같은 임상 평가를 용이하게 하기 위하여 의료 맥락에서 점점 더 많이 사용되고 있다. 디지털 병리학 분야에서, 디지털 병리학 이미지의 처리는 주어진 이미지에 특정 유형 또는 부류의 생물학적 개체에 대한 묘사가 포함되는지의 여부를 추정하기 위해 실시할 수 있다. 예를 들어, 특정 유형의 생물학적 개체(예컨대, 특정 유형의 세포, 특정 유형의 세포 소기관 또는 혈관)에 대한 묘사가 우선적으로 얼룩을 흡수하여 더 높은 강도의 특정 색상으로 묘사되도록 조직 시료의 섹션을 염색할 수 있다. 조직 시료는 본원에 개시된 기술에 따라 이미지화할 수 있다. 그런 다음, 디지털 병리 이미지를 처리하여 생물학적 개체 묘사를 감지할 수 있다. 생물학적 개체 묘사의 감지는 염색 프로파일, 예컨대, 정의된 범위 내의 크기, 정의된 유형의 모양, 정의된 양 이상의 고강도 픽셀의 연속성 등을 가지는 것에 대응하는 분석 하에서 특정 기준을 충족하는 생물학적 개체를 기반으로 할 수 있다. 특정 구현예들에서, 임상 평가 또는 권고는 특정 유형 또는 부류의 객체에 대한 묘사가 관찰되었는지의 여부 및/또는 하나 이상의 특정 유형 또는 부류의 객체에 대한 묘사의 양에 기초하여 실시할 수 있다.
이미지화 기술의 발전으로, 종양 조직 슬라이드의 디지털 이미지화는 여러 유형의 상태를 관리하기 위한 일상적인 임상 절차가 되었다. 디지털 병리 이미지는 주어진 유형 또는 부류의 다수의 객체를 고해상도로 캡처할 수 있다. 디지털 병리 이미지에서 캡처된 생물학적 개체의 공간적 이질성의 정도 및 주어진 유형의 객체가 서로와 관련된 및/또는 상이한 유형의 객체에 대해 상대적으로 공간적으로 집계 및/또는 분포되는 정도를 특성화하는 것이 유리할 수 있다. 생물학적 개체의 현재 또는 잠재적인 활동 또는 기능은 생물학적 개체의 미세 환경에 따라 크게 가변될 수 있다. 특정 유형의 생물학적 개체 묘사의 위치를 객관적으로 특성화하는 것은 현재의 진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성 결정의 품질에 실질적으로 영향을 미칠 수 있다. 유사하게, 디지털 병리 이미지 또는 디지털 병리 이미지의 영역 내에서 다수 유형의 생물학적 개체들의 관계를 객관적으로 특성화하는 것은 분석 결과에 실질적으로 영향을 미칠 수 있다. 디지털 병리 이미지에서 생물학적 개체 묘사의 위치 및 관계는 피험자의 조직 샘플에서 대응하는 생물학적 개체의 위치 및 관계와 상관될 수 있다. 본원에 개시된 바와 같이, 이러한 객관적 공간 특성화는 디지털 병리 이미지로부터 생물학적 개체 묘사의 세트를 검출함으로써 실시할 수 있다. 객체는 공간 점 과정 분석틀, 공간 영역 분석틀, 지리 통계적 분석틀, 그래프 기반 틀 등을 포함하지만 이에 제한되지는 않는 하나 이상의 공간 분석틀에 따라 표현될 수 있다. 일부 구현예들에서, 각각의 검출된 생물학적 개체 묘사는 이미지 내의 특정 지점 위치와 연관되고 특정 유형의 피험자에 대한 식별자와 추가로 연관될 수 있다. 일부 구현예들에서, 이미지 내의 영역 세트의 각각 및 하나 이상의 특정 유형의 객체의 각각에 대하여, 영역 내에 위치하는 것으로 예측되거나 결정된 각각의 특정 유형의 생물학적 개체 묘사의 양 또는 밀도를 나타내는 메타데이터가 저장될 수 있다.
공간 집계는 디지털 병리 이미지 내의 객체가 전체 디지털 병리 이미지 또는 디지털 병리 이미지의 영역에 걸쳐 공간적으로 집계 또는 분포되는 방법에 대한 측정을 포함할 수 있다. 예를 들어, 한 유형 또는 부류(예컨대, 림프구)의 생물학적 개체가 다른 유형 또는 부류(예컨대, 종양 세포)의 생물학적 개체와 공간적으로 혼합되는 정도를 결정하는 것이 유리할 수 있다. 설명을 위해, 종양 내 종양 침윤 림프구(TIL)는 종양 내에 위치하고 종양 세포와 직접적인 상호 작용을 하는 반면, 기질 TIL은 종양 기질에 위치하고 종양 세포와 직접적인 상호 작용을 하지 않는다. 종양 내 TIL은 기질 TIL과 상이한 활동 패턴을 가질 뿐만 아니라, 각 세포 유형은 TIL 유형 간의 거동 차이에 추가로 영향을 미치는 상이한 유형의 미세 환경과 연관될 수 있다. 림프구가 특정 위치(예컨대, 종양 내)에서 검출되면, 림프구가 종양에 침투할 수 있다는 사실이 림프구 및/또는 종양 세포의 활동에 대한 정보를 전달할 수 있다. 또한, 미세 환경은 림프구의 현재 및 미래 활동에 영향을 미칠 수 있다. 특정 유형의 생물학적 개체의 상대적 위치를 식별하는 것은 예후 및 치료 옵션의 식별, 임상 시험에 대한 환자의 적합성을 평가, 피험자 및 이의 상태의 면역학적 특성의 유형화와 같은 예측 적용에 특히 유용할 수 있다.
검출된 생물학적 개체 묘사의 위치 및 관계의 객관적 특성화의 또 다른 형태로서, 검출된 생물학적 개체 묘사는 영역, 이미지 및/또는 피험자 수준에서 주어진 유형 또는 부류의 생물학적 개체가 다른 유형 또는 부류의 생물학적 개체와 산재되고, 동일한 유형의 다른 객체와 군집화되거나, 및/또는 다른 주어진 다른 유형의 생물학적 개체와 군집될 것으로 예측되는 정도를 특성화할 수 있는 하나 이상의 공간 분포 메트릭을 생성하는 데 사용될 수 있다. 예를 들어, 디지털 병리 이미지 처리 시스템은 디지털 병리 이미지에서 생물학적 개체 묘사의 제1 세트 및 생물학적 개체 묘사의 제2 세트를 검출할 수 있다. 상기 시스템은 생물학적 개체 묘사의 제1 세트의 각각이 제1 유형(예컨대, 림프구)의 생물학적 개체를 묘사하고 생물학적 개체 표사의 제2 세트의 각각이 제2 유형(예컨대, 종양 세포)의 생물학적 개체를 묘사한다고 예측할 수 있다. 디지털 병리 이미지 처리 시스템은 생물학적 개체 묘사의 제1 세트 내 개별 생물학적 개체 묘사가 생물학적 개체 묘사의 제2 세트 내 개별 생물학적 개체 묘사와 공간적으로 통합되거나 또는 이와 분리되는 정도 및/또는 생물학적 개체 묘사의 제1 세트가(예컨대, 집합적으로) 생물학적 개체 묘사의 제2 세트와(예컨대, 집합적으로) 공간적으로 통합되거나 또는 이와 분리되는 정도를 나타내는 공간 분포 메트릭을 생성하기 위한 공간 기반 평가를 실시할 수 있다. 본원에 개시된 바와 같이, 다양한 공간 분포 메트릭이 이러한 목적을 위해 개발되고 적용되어 왔다.
고급 분석(예컨대, 공간 통계)의 원리 및 정량적 방법을 적용하여 이러한 요구를 충족하는 새로운 해결책을 생성할 수 있다. 본원에 제공된 기술은 하나 이상의 특정 유형 또는 부류의 묘사된 객체(예컨대, 생물학적 개체)의 공간 분포 및/또는 공간 패턴을 특성화하는 결과를 생성하기 위해 디지털 병리 이미지를 처리하는 데 사용할 수 있다. 상기 디지털 병리 이미지는 시료의 염색된 섹션의 디지털 이미지를 포함할 수 있다. 상기 처리는 다수의 특정 유형 각각의 생물학적 개체에 대한 묘사를(예컨대, 다수 유형 각각의 생물학적 세포에 대응함) 검출하는 것을 포함할 수 있다. 생물학적 개체 검출은 제1 생물학적 개체 유형에 대응하는 제1 생물학적 개체 묘사 세트 및 제2 생물학적 개체 유형에 대응하는 제2 생물학적 개체 묘사 세트의 각각을 검출하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 상기 객체 검출은 디지털 병리 이미지 내의 영역 세트의 각 영역에 대하여, 및 다수의 특정 생물학적 개체 유형의 각각에 대하여 생물학적 개체의 수량 또는 하위 메트릭에 의존적이고 이에 상관된 상위 메트릭을 식별하는 것을 포함할 수 있다(예컨대, 대응하는 이미지 영역 내에 제시된 특정 유형의 생물학적 개체의 양을 나타내는 것으로 추론되는 개수, 밀도, 또는 이미지 강도). 또한, 공간 분포 메트릭은 다른 메트릭(예컨대, RNA 서열분석, 방사선 이미지화(CT, MRI 등))과 함께 사용하여 예측 기능을 개선하거나 또는 충족되지 않은 의료 요구에 대한 새로운 생체표지자를 발견할 수 있다.
하나 이상의 생물학적 개체 묘사의 이미지 위치가 결정될 수 있다. 이미지 위치는 공간 점 과정 분석틀, 공간 영역 분석틀, 지리 통계적 분석틀, 또는 그래프 기반 틀과 같은 하나 이상의 공간 분석틀에 따라 결정되고 표시될 수 있다. 예를 들어, 생물학적 개체는 디지털 병리 이미지 내의 단일 지점 위치와 연관될 수 있다. 생물학적 개체의 묘사가 다수의 픽셀 또는 복셀에 걸쳐 확장될 수 있더라도, 단일 지점 위치는 디지털 병리 이미지 내에서 생물학적 개체의 묘사 위치를 나타내거나 대표하는 것으로 선택될 수 있다. 다른 예로서, 생물학적 개체 묘사는 이미지의 특정 영역 내에서 검출된 객체의 수, 이미지의 특정 영역 내에서 감지된 생물학적 개체의 밀도, 이미지의 특정 영역 내에서 감지된 생물학적 개체의 패턴에 기여하는 것으로서 하나 이상의 다른 생물학적 개체 묘사와 함께 집합적으로 표현되거나 표시될 수 있다.
디지털 병리 영상 처리 시스템은 공간 분포 메트릭을 사용하여, 예를 들어, 진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성(예컨대, 임상 시험 또는 상기 임상 시험의 특정 부문에 허용되거나 권고되는 피험자의 적합성)에 대한 식별을 용이하게 할 수 있다. 예를 들어, 특정 예후는 제2 유형 또는 부류의 생물학적 개체 내에서 제1 유형 또는 부류의 생물학적 개체 세트의 특정 정도의 침투를 감지하는 것에 대한 응답으로 식별될 수 있고: 보다 적절하고 정확한 예후는 개별 종양 및/또는 전이성 종양 세포소(tumor nest) 내에서 더 높은 림프구 침윤물을 검출하는 것에 대한 응답으로 식별될 수 있다. 다른 예로서, 종양 또는 암 병기의 진단은 면역 세포가 암세포와 공간적으로 통합되는 정도(예컨대, 일반적으로 더 낮은 병기에 대응하는 더 높은 통합으로)에 기초하여 통지될 수 있다. 또 다른 예로서, 치료 효능은 종양 세포에 대한 림프구의 공간적 근접성이 치료 전과 비교하여 치료를 시작한 후에 작을 때, 또는 주어진 피험자에 대해 실시된 하나 이상의 사전 평가에 기초하여 예상되는 근접성과 비교하여 작을 때 더 높게 결정될 수 있다.
생물학적 개체 검출은 동일하거나 상이한 유형의 생물학적 개체의 묘사 사이의 근접성 및/또는 하나 이상의 유형의 생물학적 개체 묘사의 공동 국소화 정도를 나타낼 수 있는 공간 분포 메트릭을 포함하거나 이에 기초할 수 있는 결과를 생성하는 데 사용할 수 있다. 생물학적 개체 묘사의 공동 국소화는 디지털 병리 이미지의 하나 이상의 영역의 각각 내에서 다수의 세포 유형의 유사한 위치를 나타낼 수 있다. 결과는 피험자 또는 환자로부터 수집된 시료에 의해 표시되는 피험자 또는 환자 내 구조의 미세 환경 내에서 발생할 수 있는 생물학적 개체의 상이한 유형 및 생물학적 개체의 유형들 간의 상호 작용을 나타내거나 예측할 수 있다. 이러한 상호 작용은 조직 형성, 항상성, 재생 과정 또는 면역 반응 등과 같은 생물학적 과정을 지원하거나, 및/또는 이에 필수적일 수 있다. 따라서 결과에 의해 전달되는 공간 정보는 특정 생물학적 구조의 기능 및 활동에 대한 유익한 정보를 알려줄 수 있고, 따라서, 예를 들어, 질병 상태 및 예후를 특성화하기 위한 정량적 기반으로 사용할 수 있다. 생물학적 미세환경에서 특정 생물학적 개체가 위치하는 곳을 나타내는 결과는 특정 개체에 대해(예컨대, 다른 치료 선택 사항에 비해) 효과적일 것으로 예측된 치료를 선택하거나 또는 다른 피험자의 결과를 예측하는 데 사용될 수 있다.
특정 구현예들에서, 다수의 공간 분포 메트릭이 생성될 수 있다. 특히, 각각이 하나 이상의 메트릭 유형 중 한 메트릭 유형에 대응하는 하나 이상의 메트릭이 생성될 수 있다. 예를 들어, 공간 점 과정 분석틀을 사용하여 하나 이상의 제1 메트릭을 생성할 수 있다. 제1 메트릭은 서로 상이한 유형의 생물학적 개체 묘사 간의 거리를 기반으로 할 수 있다. 예를 들어, 제1 메트릭은 종양 세포에 대응하는 생물학적 객체 묘사 및 림프구에 대응하는 생물학적 객체 묘사 사이의 유클리드 거리를 사용할 수 있다. 다른 거리 메트릭이 또한 사용될 수 있다. 공간 영역 분석틀을 사용하여 하나 이상의 제2 메트릭을 생성할 수 있다. 제2 메트릭은 제2 유형의 생물학적 물체의 다른 묘사의 계수 또는 밀도와 관련된 다양한 이미지 영역 내에서 제1 유형의 생물학적 개체의 묘사의 계수 또는 밀도를 특성화할 수 있다.
기계 학습 모델 또는 규칙을 사용하여, 예를 들어, 이의 각각이 하나 이상의 메트릭 유형 중 한 메트릭 유형에 대응하는 하나 이상의 메트릭을 사용하여 유전적 돌연변이, 유전자 변경, 바이오마커 발현 수준(유전자 또는 단백질을 포함하지만 이에 제한되지는 않음) 등의 진단, 예후, 치료 평가, 치료 선택, 치료 적합성(예컨대, 임상 시험 또는 임상 시험의 특정 부문에 대해 허용 또는 권장되는 적합성) 및/또는 예측에 대응하는 결과를 생성할 수 있다. 기계 학습 모델은 결과를 생성하기 위해 메트릭을 처리할 때 사용할 하나 이상의 가중치를 학습하도록 훈련된 분류, 회귀, 결정 트리 또는 신경망 기술을 예로서 포함할 수 있지만 이에 제한되지는 않는다.
디지털 병리 이미지 처리 시스템은 하나 이상의 공간 분포 메트릭에 부분적으로 기초하여 위치 패턴 및 검출된 생물학적 개체 묘사의 관계를 식별하고 인식하도록 학습할 수 있다. 예를 들어, 디지털 병리 이미지 처리 시스템은 제1 샘플의 디지털 병리 이미지에서 검출된 생물학적 개체 묘사의 위치 및 관계 패턴을 검출할 수 있다. 디지털 병리 이미지 처리 시스템은 인식된 패턴으로부터 마스크 또는 기타 패턴 저장 데이터 구조를 생성할 수 있다. 디지털 병리 영상 처리 시스템은 본원에 기재된 공간 분포 메트릭을 사용하여 진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성 결정을 예측할 수 있다. 디지털 병리 영상 처리 시스템은 검출된 패턴(들) 및/또는 생성된 마스크와 관련된 예측된 예후 등을 저장할 수 있다. 디지털 병리 영상 처리 시스템은 피험자 결과를 수신하여 예측된 예후 등을 검증할 수 있다.
그런 다음, 디지털 병리 이미지 처리 시스템은 제2 샘플로부터 제2 디지털 병리 이미지를 처리할 때, 제2 디지털 병리 이미지에서 검출된 생물학적 개체 묘사의 위치 및 관계 패턴을 검출할 수 있다. 디지털 병리 영상 처리 시스템은 제2 디지털 병리 영상에서 검출된 위치 및 관계의 패턴과 제1 디지털 병리 이미지로부터 마스크 또는 저장된 검출 패턴 사이의 유사성을 인식할 수 있다. 디지털 병리 이미지 처리 시스템은 인식된 유사성 및/또는 피험자 결과를 기반으로 예측된 예후, 치료 권장 사항, 또는 치료 적합성 결정을 알릴 수 있다. 예로서, 디지털 병리 이미지 처리 시스템은 저장된 마스크를 제2 디지털 병리 이미지에서 검출된 생물학적 개체 묘사의 위치 및 관계 패턴과 비교할 수 있다. 디지털 병리 이미지 처리 시스템은 제2 디지털 병리 이미지에 대한 하나 이상의 공간 분포 메트릭을 결정할 수 있고 제1 디지털 병리 이미지 및 제2 디지털 병리 이미지에서 검출된 생물학적 개체 묘사의 공간 분포 메트릭의 비교에 기초하여 제2 디지털 병리 이미지로부터 인식된 패턴에 대한 저장된 마스크의 비교를 실시할 있다.
제1 디지털 병리 이미지 처리 시스템으로부터 검출된 패턴은 하나 이상의 유형의 하나 이상의 제1 생물학적 개체 묘사의 위치 및 관계와 여러 방식으로 관련될 수 있다. 예를 들어, 상기 패턴은 디지털 병리 이미지에서 다른 생물학적 개체 묘사의 맥락 없이 디지털 병리 이미지에서 제1 유형의 제1 생물학적 개체의 위치 및 관계와 관련될 수 있다. 상기 패턴은 디지털 병리 이미지의 경계 내에서 생물학적 개체 묘사의 위치 및/또는 관계의 추상적인 표현과 관련될 수 있다(예컨대, 생물학적 개체 묘사로서의 맥락이 잠재적으로 결여된 감지된 생물학적 개체 묘사의 좌표를 평가). 다른 예로서, 상기 패턴은 디지털 병리학 이미지 내 다른 모든 생물학적 개체 묘사와 관련된 제1 유형의 생물학적 개체 묘사의 위치 및 관계와 관련될 수 있다. 또 다른 예로서, 상기 패턴은 제2 유형의 하나 이상의 생물학적 개체 묘사의 위치 및 관계와 관련된 제1 유형의 하나 이상의 생물학적 개체 묘사의 위치 및 관계와 관련될 수 있다.
디지털 병리 이미지로부터 감지된 패턴은, 예를 들어, 디지털 병리 이미지가 묘사하는 샘플 유형(예컨대, 폐 생검, 간 조직 샘플, 혈액 샘플, 포르말린 고정 파라핀 포매 표본, 냉동 표본, 외과적 제거술로부터 수득한 세포 제제, 다양한 기관, 종양, 및/또는 전이 부위 등으로부터의 코어 바늘 생검 미세 바늘 흡인물 등을 포함하지만 이에 제한되지는 않는 생검 절차.), 샘플 준비 방법(예컨대, 사용된 염색 유형, 샘플 연령 등), 샘플 전체에 묘사되거나 패턴에 통합되는 생물학적 개체의 수 및 특정 유형(예컨대, 샘플 세포의 유형, 구조 - 예컨대, 땀샘, 종양 덩어리, 세포 시트, 혈관 등) - 개별 세포 - 예컨대, 종양 세포, 면역 세포, 유사분열 세포, 기질 세포, 내피 세포 등 - 및 세포의 구성 요소 - 예컨대, 핵, 세포질, 막, 섬모, 점액 배설물 등), 패턴을 감지하거나 준비하는 데 사용되는 공간 분포 메트릭의 수 및 유형, 패턴과 관련된 피험자 수준의 결과 유형, 피험자 수준의 결과 유형 내 표시, 피험자 수준의 결과의 검증 정도 , 그리고 디지털 병리 이미지에서 감지된 패턴을 특성화하는 방향으로 가는 다른 많은 요소를 포함하는 문맥에서 관련될 수 있다. 상기 문맥은 미래의 디지털 병리 이미지에 대한 패턴의 인식 및 적용을 개선하는 데 사용할 수 있다.
일부 구현예들에서 패턴은 동일한 유형의 샘플, 동일한 유형의 생물학적 개체 묘사, 동일한 유형의 공간 분포 메트릭, 샘플 유형의 피험자 수준의 결과 등에만 적용될 수 있지만, 디지털 병리학 이미지 처리 시스템은 유형 전반에 걸쳐 패턴 인식 방법론을 적용하도록 훈련될 수 있다. 예를 들어, 디지털 병리 이미지 처리 시스템은 조직 샘플 세포로의 림프구의 침윤 및 림프구 배열과 관련된 패턴의 광범위한 적용 가능성을 인식하고 상이한 유형의 조직 샘플에 대응하는 디지털 병리 이미지의 분석을 기반으로 유사한 피험자 수준의 결과를 제공하도록 훈련될 수 있다. 패턴을 참조하고 적용하는 능력은 상이한 유형의 검출된 생물학적 개체 묘사와 관련된 공간 분포 메트릭 및 상이한 조직 샘플 유형의 디지털 병리 이미지에 걸친 적용 가능성을 기반으로 할 수 있다. 공간 분포 메트릭은 다양한 비교를 위한 객관적이고 정량화 가능한 측정값을 제공한다.
추가적으로 또는 대안적으로, 디지털 병리 이미지 처리 시스템은 치료 선택의 식별을 용이하게 하기 위해 공간 분포 메트릭을 추가로 사용할 수 있다. 예를 들어, 림프구가 종양 세포와 공간적으로 통합되어 있음을 나타내는 출력이 감지되면 면역 요법 또는 면역 관문 요법을 선택적으로 권장할 수 있다. 다른 예로서, 아테졸리주맙 + 베바시주맙 + 카르보플라틴 + 파클리탁셀(ABCP) 또는 아테졸리주맙 + 카르보플라틴 + 파클리탁셀(ACP)은 림프구가 종양 세포와 공간적으로 통합되어 있음을 나타내는 출력을 감지할 때 다른 화학요법 치료보다 선택적으로 권장될 수 있다. 다른 화학요법 치료에는 베바시주맙 + 카르보플라틴 + 파클리탁셀(BCP)이 포함될 수 있다. 다른 접근법은 진단, 바이오마커 발현, 또는 치료 반응(예컨대, 혈관 분포, 림프종의 특정 핵 특징 분포 등)을 예측하기 위해 다른 생물학적 개체 또는 세포 구성요소 또는 구획을 사용할 수 있다.
진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성의 식별을 용이하게 하는 것은 잠재적 진단, 예후, 치료 평가, 및/또는 치료 선택을 자동으로 생성하는 것을 포함할 수 있다. 자동 식별은 하나 이상의 학습 및/또는 정적 규칙을 기반으로 할 수 있다. 규칙은 조건에, 예를 들어, 임계값 초과의 메트릭이 특정 치료의 적합성과 연관됨을 나타낼 수 있는 하나 이상의 임계값 및/또는 부등식을 포함할 수 있는 조건문(if-then) 형식을 가질 수 있다. 규칙은 숫자 메트릭을 질병의 심각도 점수 또는 치료에 대한 적합성의 정량화된 점수와 관련시키는 기능과 같은 기능을 대안적으로 또는 추가로 포함할 수 있다. 디지털 병리 영상 처리 시스템은 잠재적 진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성 결정을 추천 및/또는 예측으로 출력할 수 있다. 예를 들어, 디지털 병리 이미지 처리 시스템은 로컬 결합 디스플레이에 출력을 제공하고, 원격 장치에 출력을 전송하거나 원격 장치의 단말에 액세스하고, 결과를 로컬 또는 원격 데이터 저장소 등에 저장할 수 있다. 이러한 방식으로, 인간 사용자(예컨대, 의사 및/또는 의료 제공자)는 자동으로 생성된 출력을 사용하거나 본원에서 논의된 정량적 메트릭에 의해 정보를 받는 상이한 평가를 형성할 수 있다.
진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성 결정의 식별을 용이하게 하는 것은 개시된 주요 대상과 일치하는 공간 분포 메트릭을 출력하는 것을 포함할 수 있다. 예를 들어, 출력은 피험자의 식별자(예컨대, 피험자의 이름), 상기 피험자와 관련된 저장된 임상 데이터(예컨대, 과거 진단, 가능한 진단, 현재 치료, 증상, 검사 결과, 및/또는 활력 징후) 및 결정된 공간 분포 메트릭을 포함한다. 상기 출력은 공간 분포 메트릭(들)이 파생된 디지털 병리 이미지 및/또는 이의 수정된 버전을 포함할 수 있다. 예를 들어, 디지털 병리 이미지의 수정된 버전은 디지털 병리 이미지에서 검출된 각각의 생물학적 개체 묘사를 식별하는 오버레이(overlay) 및/또는 표시를 포함할 수 있다. 디지털 병리 이미지의 수정된 버전은 감지된 생물학적 개체 묘사에 대한 정보를 추가로 제공할 수 있다. 예를 들어, 각 생물학적 개체 묘사에 대해, 대화형 오버레이는 객체에 대응하는 특정 객체 범주를 제공할 수 있다. 그런 다음, 인간 사용자(예컨대, 의사 및/또는 의료 제공자)는 공간 분포 메트릭을 포함한 출력을 사용하여 진단, 예후, 치료 평가, 치료 선택, 또는 치료 적합성 결정을 식별할 수 있다.
특정 구현예들에서, 단일 디지털 병리 이미지로부터 검출된 생물학적 개체 묘사를 사용하여 다중 유형의 공간 분포 메트릭이 생성된다. 다수 유형의 공간 분포 메트릭이 본원에 개시된 주요 대상에 따라 조합되어 사용될 수 있다. 다수 유형의 공간 분포 메트릭은, 예를 들어, 각 생물학적 개체 묘사의 위치가 특성화되는 방법과 관련된 상이하거나 동일한 틀에 대응할 수 있다. 다수 유형의 공간 분포 메트릭은 상이한 변수 유형(예컨대, 상이한 알고리즘을 사용하여 계산함)을 포함할 수 있으며 상이한 값 척도로 표시될 수 있다. 다수 유형의 공간 분포 메트릭은 표지를 생성하는 규칙 또는 기계 학습 모델을 사용하여 집합적으로 처리될 수 있다. 상기 표지는 예측된 진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성 결정에 대응할 수 있다.
특정 구현예들에서, 컴퓨터로 구현되는 방법이 제공된다. 디지털 병리 영상 처리 시스템은 하나 이상의 디지털 병리 영상에 액세스할 수 있다. 상기 하나 이상의 디지털 병리학 이미지의 각각은 피험자로부터의 생물학적 샘플의 섹션을 묘사할 수 있다. 상기 묘사된 섹션은 하나 이상의 염료로 염색된 섹션을 포함할 수 있다. 디지털 병리 이미지 처리 시스템은 하나 이상의 디지털 병리 이미지의 각각 내에서 생물학적 개체 묘사의 제1 세트 및 생물학적 개체 묘사의 제2 세트를 검출한다. 생물학적 개체 묘사의 제1 세트의 각각은 제1 유형의 생물학적 개체를 묘사할 수 있다. 객체 묘사의 제2 세트의 각각은 제2 유형의 생물학적 개체를 묘사할 수 있다. 생물학적 개체 묘사의 제1 세트 및 생물학적 개체 묘사의 제2 세트를 사용하여, 디지털 병리 이미지 처리 시스템은 제1 유형의 공간 분포 메트릭의 하나 이상의 공간 분포 메트릭을 생성한다. 하나 이상의 제1 공간 분포 메트릭의 각각은 생물학적 개체 묘사의 제2 세트와 관련된 생물학적 개체 묘사의 제1 세트의 위치를 특성화한다. 제1 세트의 생물학적 물체 묘사 및 제2 세트의 생물학적 물체 묘사를 사용하여, 디지털 병리 이미지 처리 시스템은 제2 유형의 하나 이상의 공간 분포 메트릭을 생성한다. 제2 유형의 공간 분포 메트릭은 생물학적 개체 묘사의 제2 세트와 관련된 생물학적 개체 묘사의 제1 세트의 위치를 특성화한다. 하나 이상의 제1 공간 분포 메트릭 및 하나 이상의 제2 공간 분포 메트릭을 사용하여, 디지털 병리 이미지 처리 시스템은 피험자의 예측된 생물학적 상태 또는 피험자에 대한 잠재적 치료에 대응하는 피험자 수준의 결과를 생성할 수 있다. 디지털 병리 영상 처리 시스템은 디스플레이를 위한 피험자 수준의 결과를 제공한다. 디지털 병리 영상 처리 시스템은 피험자 수준의 결과를 제공하는 것 외에도 피험자 수준의 결과를 기반으로 상기 피험자에 대한 임상 평가를 제공할 수 있다. 상기 임상 평가는 진단, 예후, 치료 평가, 치료 선택, 및/또는 치료 적합성을 포함할 수 있다.
위치를 특성화하는 공간 분포 메트릭에서, 생물학적 개체 묘사의 제1 세트는, 예로서 그리고 이에 제한되지 않고, 점 과정, 영역/격자 과정, 지리 통계적 과정 등에 기초하여 결정될 수 있다. 특정 구현예들에서, 제1 유형의 생물학적 개체 묘사는 제1 유형의 세포를 포함할 수 있고, 제2 유형의 생물학적 개체는 제2 유형의 세포를 포함할 수 있다. 예로서, 제1 유형의 생물학적 개체는 림프구를 포함할 수 있고 제2 유형의 생물학적 개체는 종양 세포를 포함할 수 있다. 다른 예로서, 제1 유형의 생물학적 개체는 대식세포를 포함할 수 있고 제2 유형의 생물학적 개체는 섬유아세포를 포함할 수 있다. 특정 구현예들에서, 제1 유형의 생물학적 개체는, 예를 들어, 제1 유형의 주요 특성들(예컨대, 생물학적 개체의 크기, 모양, 색상, 예상되는 거동, 질감, 또는 생물학적 개체의 구성요소 또는 구획)에 의해 정의되는 제1 부류의 생물학적 개체를 포함할 수 있고, 제2 유형의 생물학적 개체는, 예를 들어, 제2 유형의 주요 특성들 또는 제1 유형의 변형의 주요 특성들에 의해 정의된 제2 부류의 생물학적 개체를 포함할 수 있다. 본원에 개시된 주요 대상은 디지털 병리 이미지의 위치에 대응하는 점으로서 표현될 수 있는 임의의 생물학적 개체에 동등하게 적용될 수 있다는 것이 이해될 것이다.
특정 구현예들에서, 제1 유형의 하나 이상의 공간 분포 메트릭을 생성하는 것은 하나 이상의 제1 생물학적 개체 묘사의 각각의 제1 생물학적 개체 묘사의 각각에 대해, 하나 이상의 디지털 병리 이미지 내의 제1 점 위치를 식별하는 것을 포함할 수 있다. 제1 지점 위치는 묘사된 제1 생물학적 개체의 위치에 대응할 수 있다. 제1 유형의 하나 이상의 공간 분포 메트릭을 생성하는 것은 하나 이상의 제2 생물학적 개체의 각각의 제2 생물학적 개체에 대해 하나 이상의 디지털 병리 이미지 내의 제2 지점 위치를 식별하는 것을 추가로 포함할 수 있다. 제2 지점 위치는 묘사된 제2 생물학적 개체의 위치에 대응할 수 있다. 제1 유형의 하나 이상의 공간 분포 메트릭을 생성하는 것은 제1 및 제2 지점 위치에 기초하여 제1 유형의 하나 이상의 공간 분포 메트릭을 결정하는 것을 추가로 포함할 수 있다. 특정 구현예들에서, 하나 이상의 공간 분포 메트릭을 생성하는 것은 하나 이상의 제1 생물학적 개체 중 적어도 일부의 각각의 제1 생물학적 개체에 대해 및 하나 이상의 제2 생물학적 개체 중 적어도 일부에 대해 제1 생물학적 개체에 대응하는 제1 지점 위치와 제2 생물학적 개체에 대응하는 제2 지점 위치 사이의 거리를 평가하는 거리 기반 기술을 실시하는 것을 포함할 수 있다.
특정 구현예들에서, 제2 유형의 하나 이상의 공간 분포 메트릭을 생성하는 것은 디지털 병리 이미지의 디지털 병리 이미지의 영역을 이미지 영역의 세트로 분할하도록 구성된 공간 격자를 정의하는 것을 포함할 수 있다. 제2 유형의 하나 이상의 공간 분포 메트릭을 생성하는 것은 하나 이상의 제2 생물학적 개체의 각각의 제2 생물학적 개체를 이미지 영역 세트 중 한 이미지 영역에 할당하는 것을 포함할 수 있다. 제2 유형의 하나 이상의 공간 분포 메트릭을 생성하는 것은 하나 이상의 제2 생물학적 개체의 각각의 제2 생물학적 객체의 이미지 영역 할당에 기초하여 제2 유형의 하나 이상의 공간 분포 메트릭을 생성하는 것을 포함할 수 있다.
피험자 수준의 결과를 생성하는 것은 훈련된 기계 학습 모델을 사용하여 제1 유형의 하나 이상의 공간 분포 메트릭 및 제2 유형의 하나 이상의 공간 분포 메트릭을 처리하는 것을 포함할 수 있다. 훈련된 기계 학습 모델은, 예로서, 회귀 모델, 결정 트리 모델, 또는 신경망 모델을 포함할 수 있으며 이에 제한되지는 않는다. 제1 유형의 메트릭은 메트릭 유형의 세트 중 하나일 수 있다. 제2 유형의 메트릭은 메트릭 유형의 세트 중 다른 하나일 수 있다. 메트릭 유형의 세트는 K 최근접 이웃(KNN) 분석을 기반으로 정의된 메트릭, 리플리 K 함수를 기반으로 정의된 메트릭, 모리스타-혼 지수, 모란 지수, 기어리(Geary’s) C 지수, G 함수, 상관 함수를 기반으로 정의된 메트릭, 열점 분석 또는 냉점 분석을 기반으로 정의된 메트릭, 또는 크리깅 기반 분석을 기반으로 정의된 메트릭을 포함한다.
특정 구현예들에서, 하기를 포함하는 방법이 제공된다: 클라이언트 컴퓨팅 시스템으로부터 원격 컴퓨팅 시스템으로 피험자로부터의 생물학적 샘플의 특정 섹션을 묘사하는 하나 이상의 디지털 병리 이미지를 처리하기 위한 요청 통신을 전송하고, 여기서 상기 클라이언트 컴퓨팅 시스템으로부터 요청 통신의 수신에 응답하여 상기 원격 컴퓨팅 시스템은 하나 이상의 디지털 병리 이미지에 액세스하고 본원에 개시된 주요 대상에 따라 분석을 실시한다.
본원에 개시된 주요 대상에 따라, 특정 구현예들에서, 피험자의 치료에서 피험자 수준의 결과의 사용이 제공된다. 피험자 수준의 결과는 본원에 개시된 주요 대상에 따라 제공될 수 있다.
특정 구현예들에서, 방법이 제공된다. 디지털 병리 이미지는 디지털 병리 이미지 처리 시스템에서 액세스된다. 상기 디지털 병리 이미지는 하나 이상의 염료로 염색된 조직 슬라이드를 묘사하고 상기 조직 슬라이드의 조직은 특정한 의학적 상태를 갖는 피험자로부터 수집되었다. 상기 디지털 병리 이미지에는 하나 이상의 생물학적 개체에 대한 묘사가 포함된다. 상기 하나 이상의 생물학적 개체는 세포 세트를 포함할 수 있다. 상기 세포 세트는 종양 세포 세트 및 다른 세포 세트를 포함할 수 있다. 상기 다른 세포 세트는 면역 세포 세트 또는 기질 세포 세트일 수 있다. 디지털 병리 이미지 처리 시스템은 종양 세포 위치와 같은 하나 이상의 생물학적 개체에 대응하는 디지털 병리 이미지 내의 위치 세트를 식별할 수 있다. 종양 세포 위치 세트의 각 종양 세포 위치는 종양 세포 세트의 종양 세포에 대응할 수 있다. 디지털 병리 이미지 처리 시스템은 다른 세포 위치와 같은 하나 이상의 다른 생물학적 개체에 대응하는 디지털 병리 이미지 내의 위치 세트를 식별할 수 있다. 다른 세포 위치 세트의 각 다른 세포 위치는 다른 세포 세트의 세포에 대응할 수 있다. 디지털 병리 이미지 처리 시스템은 하나 이상의 관계적 위치 표현을 생성할 수 있다. 하나 이상의 관계적 위치 표현들의 각각은 세포 세트의 제2 적어도 일부의 위치와 관련된 세포 세트의 제1 적어도 일부의 위치를 나타낼 수 있다. 하나 이상의 관계적 위치 표현을 사용하여, 디지털 병리 이미지 처리 시스템은 공간 분포 메트릭 세트를 결정할 수 있다. 공간 분포 메트릭 세트의 각각의 공간 분포 메트릭은 다른 세포 세트의 적어도 일부와 종양 세포 세트의 적어도 일부와 산재된 것으로 묘사된 정도를 특성화할 수 있다. 디지털 병리 이미지 처리 시스템은 공간 분포 메트릭 세트를 기반으로 결과를 생성할 수 있다. 상기 결과는 면역학적 반응을 조절하는 특정 치료가 피험자의 특정 의학적 상태를 효과적으로 치료할 것인지의 여부 및/또는 정도에 대한 예측에 대응한다. 상기 결과에 따라, 상기 피험자가 임상 시험에 적합하다고 결정한다. 상기 피험자가 임상 시험에 적합하다는 표시가 출력된다.
상기 결과를 생성하는 것은 훈련된 기계 학습 모델을 사용하여 공간 이질성 메트릭 세트를 처리하는 것을 포함할 수 있다. 훈련된 기계 학습 모델은 훈련 요소 세트를 사용하여 훈련될 수 있었다. 훈련 요소 세트의 각각은 임상 시험과 관련된 특정 치료를 받은 다른 피험자에 대응할 수 있다. 훈련 요소 세트의 각각은 공간 이질성 메트릭의 다른 세트 및 특정 치료가 피험자에서 면역학적 반응을 활성화한 여부 및/또는 정도를 나타내는 반응성 값을 포함할 수 있다.
특정 구현예들에서, 의학적 상태는 암의 한 유형일 수 있고, 그리고/또는 특정 치료는 면역 관문 차단 치료일 수 있다. 하나 이상의 관계적 위치 표현은 세포 세트의 각 세포에 대해 디지털 병리 이미지 내의 세포 묘사의 위치를 식별하는 좌표 세트를 포함할 수 있다. 하나 이상의 관계적 위치 표현은 디지털 병리 이미지의 영역 세트의 각각에 대해 대응 영역 내에 위치하는 것으로 식별된 종양 세포, 대응 영역 내 위치하는 것으로 식별된 기질 세포 및/또는 면역 세포의 절대적 또는 상대적인 양의 표현을 포함할 수 있다. 하나 이상의 관계적 위치 표현은 제1 유형의 세포가 제2 유형의 세포로부터 거리 내에 위치되는 것으로 묘사되는 거리 기반 확률을 나타낼 수 있다. 제1 유형 및 제2 유형의 각각은 면역 세포, 기질 세포 또는 종양 세포에 대응할 수 있다. 유전자 서열분석 및/또는 방사선 이미징 데이터는 피험자에 대해 수집될 수 있다. 결과는 유전자 서열분석 및/또는 방사선 이미징 데이터의 특성에 더 의존할 수 있다.
본원에 언급된 용어 "생물학적 개체 묘사"는 특정 유형의 생물학적 개체에 대응하는 것으로 식별되거나 식별되었던 이미지의 특정 부분(예컨대, 하나 이상의 픽셀, 상기 이미지의 정의된 영역 등)을 지칭할 수 있다. 생물학적 개체 묘사는 생물학적 개체(예컨대, 세포)를 묘사할 수 있다. 생물학적 객체 묘사는 하나 이상의 픽셀 및/또는 하나 이상의 복셀을 포함할 수 있다. 생물학적 객체 묘사의 픽셀(들) 또는 복셀(들)은, 예를 들어, 생물학적 개체의 묘사인 것으로 예측되는 것의 중심, 가장자리, 질량 중심, 또는 전체에 대응할 수 있다. 생물학적 개체 묘사는 기계 학습 알고리즘, 하나 이상의 정적 규칙, 및/또는 컴퓨터 시각 인식 기술을 사용하여 식별할 수 있다. 디지털 병리 이미지에 적용된다. 상기 이미지는 염색된 섹션을 묘사할 수 있고, 상기 염색은 관심이 되는 특정 유형의 생물학적 개체에 우선적으로 흡수되도록 선택되어 생물학적 개체 묘사의 식별이 강도 기반 평가를 포함할 수 있다.
본원에서 언급된 "생물학적 개체"라는 용어는 생물학적 단위를 의미할 수 있다. 생물학적 개체는 비제한적인 예로서 세포, 소기관(예컨대, 핵), 세포막, 기질, 종양, 또는 혈관을 포함할 수 있다. 생물학적 개체는 3차원 객체를 포함할 수 있고 디지털 병리 이미지는 상기 객체의 단일 2차원 슬라이스만 캡처할 수 있으며, 이는 2차원 슬라이스의 평면을 따라 객체 전체에 걸쳐 완전히 확장될 필요가 없다. 그럼에도 불구하고, 본원에서의 참조는 생물학적 개체를 묘사하는 것과 같은 캡처된 부분을 참조할 수 있다.
본원에 언급되는 "생물학적 개체의 유형" 또는 생물학적 개체 유형이라는 용어는 생물학적 단위의 범주를 지칭할 수 있다. 비제한적인 예로서, 생물학적 개체의 유형은 세포(일반적으로), 특정 유형의 세포(예컨대, 림프구 또는 종양 세포), 세포막(일반적으로) 등을 나타낼 수 있다. 일부 개시 내용은 제1 유형의 생물학적 개체에 대응하는 생물학적 개체 묘사 및 제2 유형의 생물학적 개체에 대응하는 다른 생물학적 개체 묘사를 검출하는 것을 지칭할 수 있다. 제1 및 제2 유형의 생물학적 개체는 유사하거나 동일하거나 상이한 수준의 특이성 및/또는 일반성을 가질 수 있다. 예를 들어, 제1 및 제2 유형의 생물학적 개체는 각각 림프구 및 종양 세포 유형으로서 식별될 수 있다. 다른 예로서, 제1 유형의 생물학적 개체는 림프구로서 식별될 수 있고, 제2 유형의 생물학적 개체는 종양으로서 식별될 수 있다.
본원에서 언급된 용어 "공간 분포 메트릭"은 서로와 관련된 및/또는 다른 특정한 생물학적 개체 묘사와 관련된 이미지 내 특정 생물학적 개체 묘사의 공간적 배열을 특성화하는 메트릭을 나타낼 수 있다. 공간 분포 메트릭은 한 유형의 생물학적 개체(예컨대, 림프구)가 다른 유형의 객체(예컨대, 종양)에 침투하고, 다른 유형의 객체(예컨대, 종양 세포)와 산재되고, 다른 유형의 개체(예컨대, 종양 세포)와 물리적으로 근접하며, 그리고/또는 다른 유형의 객체(예컨대, 종양 세포)와 함께 공동 국소화되는 정도를 특성화할 수 있다.
도 1은 개시된 주요 대상에 따라 일부 구현예들에 따른 생물학적 개체의 상대적 공간 정보를 특성화하기 위해 디지털 병리 이미지를 생성 및 처리하는데 사용될 수 있는 상호작용 시스템(예컨대, 특별히 구성된 컴퓨터 시스템)의 상호작용 시스템 또는 네트워크(100)를 도시한다.
디지털 병리 이미지 생성 시스템(105)은 특정 샘플에 대응하는 하나 이상의 디지털 이미지를 생성할 수 있다. 예를 들어, 디지털 병리 이미지 생성 시스템(105)에 의해 생성된 이미지는 생검 샘플의 염색된 섹션을 포함할 수 있다. 다른 예로서, 디지털 병리 이미지 생성 시스템(105)에 의해 생성된 이미지는 액체 샘플의 슬라이드 이미지(예컨대, 혈액 필름)를 포함할 수 있다. 다른 예로서, 디지털 병리 이미지 생성 시스템(105)에 의해 생성된 이미지는 형광 프로브가 표적 DNA 또는 RNA 서열에 결합된 후 제자리 혼성화(FISH) 내 형광 발광을 묘사하는 슬라이드 이미지와 같은 형광 현미경을 포함할 수 있다.
일부 유형의 샘플(예컨대, 생검, 고체 샘플 및/또는 조직을 포함하는 샘플)은 샘플을 고정 및/또는 포매하기 위해 샘플 제조 시스템(110)에 의해 처리할 수 있다. 샘플 제조 시스템(110)은 고정제(예컨대, 포름알데히드 용액과 같은 액체 고정제) 및/또는 포매 물질(예컨대, 조직학적 왁스)로 샘플을 침투시키는 것을 용이하게 할 수 있다. 예를 들어, 고정 하위 시스템은 샘플을 최소 임계 시간(예컨대, 최소 3시간, 최소 6시간, 또는 최소 12시간) 동안 고정제에 노출시켜 샘플을 고정할 수 있다. 탈수 하위 시스템은 샘플을 탈수할 수 있고(예컨대, 고정된 샘플 및/또는 고정된 샘플의 일부를 하나 이상의 에탄올 용액에 노출함으로써) 제거 중간제(예컨대, 에탄올 및 조직학적 왁스를 포함)를 사용하여 탈수된 샘플을 잠재적으로 제거할 수 있다. 포매 하위 시스템은 가열된(예컨대, 따라서 액체) 조직학적 왁스로 샘플(예컨대, 미리 정의된 대응하는 기간 동안 1회 이상)에 침투할 수 있다. 조직학적 왁스는 파라핀 왁스 및 잠재적으로 하나 이상의 수지(예컨대, 스티렌 또는 폴리에틸렌)를 포함할 수 있다. 그런 다음, 샘플 및 왁스를 냉각한 다음, 왁스가 침투한 샘플을 차단할 수 있다.
샘플 슬라이서(115)는 고정 및 포매된 샘플을 수용할 수 있고 섹션 세트를 생성할 수 있다. 샘플 슬라이서(115)는 고정되고 포매된 샘플을 차갑거나 낮은 온도에 노출시킬 수 있다. 그런 다음, 샘플 슬라이서(115)는 섹션 세트를 생성하기 위해 냉각된 샘플(또는 이의 다음어진 버전)을 절단할 수 있다. 각 섹션은 (예를 들어) 100 μm 미만, 50 μm 미만, 10 μm 미만 또는 5 μm 미만의 두께를 가질 수 있다. 각 섹션은 (예를 들어) 0.1 μm 초과, 1 μm 초과, 2 μm 초과 또는 4 μm 초과의 두께를 가질 수 있다. 냉각된 샘플의 절단은 온수 수조(예컨대, 30℃ 이상, 35℃ 이상 또는 40℃ 이상의 온도)에서 실시할 수 있다.
자동화된 염색 시스템(120)은 각 섹션을 하나 이상의 염색제(예컨대, 헤마톡실린 및 에오신, 면역조직화학, 또는 특수 염색)에 노출시킴으로써 샘플 섹션 중 하나 이상을 염색하는 것을 용이하게 할 수 있다. 각 섹션은 사전 정의된 기간 동안 사전 정의된 양의 염색제에 노출될 수 있다. 특정 구현예들에서, 단일 섹션은 동시에 또는 순차적으로 다수의 염색제에 노출된다.
하나 이상의 염색된 섹션의 각각은 상기 섹션의 디지털 이미지를 캡처할 수 있는 이미지 스캐너(125)에 제시될 수 있다. 이미지 스캐너(125)는 현미경 카메라를 포함할 수 있다. 상기 이미지 스캐너(125)는 (예컨대, 10x 대물렌즈, 20x 대물렌즈, 40x 대물렌즈 등을 사용하여) 다양한 배율로 디지털 이미지를 캡처할 수 있다. 이미지 조작을 사용하여 원하는 배율 범위에서 샘플의 선택된 부분을 캡처할 수 있다. 이미지 스캐너(125)는 인간 조작자에 의해 식별된 주석 및/또는 형태측정을 추가로 캡처할 수 있다. 특정 구현예들에서, 섹션이 세척되고, 하나 이상의 다른 염색에 노출되고, 다시 이미지화될 수 있도록 상기 섹션은 하나 이상의 이미지가 캡처된 후 자동화된 염색 시스템(120)으로 복귀된다. 다중 염색이 사용되는 경우, 상기 염색은 상이한 색상 프로파일을 갖도록 선택될 수 있으므로, 많은 양의 제1 염색을 흡수한 제1 섹션 부분에 대응하는 이미지의 제1 영역이 많은 양의 제2 염색을 흡수한 제2 섹션 부분에 대응하는 이미지(또는 상이한 이미지)의 제2 영역과 구별될 수 있다.
디지털 병리학 이미지 생성 시스템(105)의 하나 이상의 구성요소는, 특정 구현예들에서, 인간 조작자와 관련하여 작동할 수 있다는 것이 이해될 것이다. 예를 들어, 인간 조작자는 다양한 하위 시스템(예컨대, 샘플 제조 시스템(110) 또는 디지털 병리 이미지 생성 시스템(105))에 걸쳐 샘플을 이동할 수 있고, 그리고/또는 디지털 병리 이미지 생성 시스템(105)의 하나 이상의 하위 시스템, 시스템 또는 구성 요소의 작동을 시작하거나 종료할 수 있다. 다른 예로서, 디지털 병리 이미지 생성 시스템의 하나 이상의 구성요소(예컨대, 샘플 제조 시스템(110)의 하나 이상의 하위 시스템)의 일부 또는 전부는 부분적으로 또는 전체적으로 인간 조작자의 동작으로 대체될 수 있다.
추가적으로, 디지털 병리 이미지 생성 시스템(105)의 다양한 설명 및 묘사된 기능 및 구성요소가 고체 및/또는 생검 샘플의 처리에 관한 것인 반면, 다른 구현예들은 액체 샘플(예컨대, 혈액 샘플)과 관련될 수 있음을 이해할 것이다. 예를 들어, 디지털 병리 이미지 생성 시스템(105)은 베이스 슬라이드, 도말된 액체 샘플 및 커버를 포함하는 액체 샘플(예컨대, 혈액 또는 소변) 슬라이드를 수신하도록 구성될 수 있다. 이미지 스캐너(125)는 샘플 슬라이드의 이미지를 캡처할 수 있다. 디지털 병리 이미지 생성 시스템(105)의 추가 구현예들은 본원에 기재된 FISH와 같은 고급 이미징 기술을 사용하여 샘플의 이미지를 캡처하는 것과 관련될 수 있다. 예를 들어, 형광 프로브가 샘플에 도입되고 표적 서열에 결합하도록 허용되면, 적절한 이미징을 사용하여 추가 분석을 위해 샘플의 이미지를 캡처할 수 있다.
주어진 샘플은 한 명 이상의 사용자(예컨대, 한 명 이상의 의사, 검사실 기술자 및/또는 의료 제공자)와 연관될 수 있다. 관련 사용자는 이미지화되는 샘플을 생성한 검사 또는 생검을 주문한 사람 및/또는 검사 또는 생검 결과를 받을 권한이 있는 사람을 포함할 수 있다. 예를 들어, 사용자는 의사, 병리학자, 임상의, 또는 피험자(샘플을 채취한 대상)에 대응할 수 있다. 사용자는 하나 이상의 장치(130)를 사용하여 (예를 들어) 샘플이 디지털 병리 이미지 생성 시스템(105)에 의해 처리되고, 그 결과로서 생성된 이미지가 디지털 병리 이미지 처리 시스템(135)에 의해 처리되도록 하나 이상의 요청(예컨대, 피험자를 식별함)을 처음으로 제출할 수 있다.
특정 구현예들에서, 디지털 병리 이미지 생성 시스템(105)은 이미지 스캐너(125)에 의해 생성된 디지털 병리 이미지를 다시 사용자 장치(130)로 전송하고, 사용자 장치(130)는 디지털 병리 이미지의 자동화된 처리를 개시하기 위해 디지털 병리 이미지 처리 시스템(135)과 통신한다. 특정 구현예들에서, 디지털 병리 이미지 생성 시스템(105)은, 예컨대, 사용자 장치(130)의 사용자 지시에 따라 이미지 스캐너(125)에 의해 생성된 디지털 병리 이미지를 디지털 병리 이미지 처리 시스템(135)에 직접 이용한다. 도시되지는 않았지만, 다른 중개 장치(예컨대, 디지털 병리 영상 생성 시스템(105) 또는 디지털 병리 영상 처리 시스템(135)에 연결된 서버의 데이터 저장소)가 또한 사용될 수 있다. 추가적으로, 단순성을 위해 하나의 디지털 병리 이미지 처리 시스템(135), 디지털 병리 이미지 생성 시스템(105) 및 사용자 장치(130)만이 네트워크(100)에 예시되어 있다. 본 개시는 본 개시의 교시로부터 반드시 벗어나지 않고서 각각의 유형의 시스템 및 이의 구성요소의 하나 이상의 사용을 예상한다.
디지털 병리 이미지 처리 시스템(135)은 이미지의 공간적 특성을 식별하며, 그리고/또는 생물학적 개체 묘사의 공간적 분포를 특성화하도록 구성될 수 있다. 섹션 정렬기 하위 시스템(140)은 동일한 샘플에 대응하는 다중 디지털 병리 이미지 및/또는 디지털 병리 이미지의 영역을 정렬하도록 구성될 수 있다. 예를 들어, 다중 디지털 병리 이미지는 동일한 샘플의 동일한 섹션에 대응할 수 있다. 각 이미지는 상이한 염료로 염색된 섹션을 묘사할 수 있다. 다른 예로서, 다중 디지털 병리 이미지의 각각은 동일한 샘플의 상이한 섹션에 대응할 수 있다(예컨대, 각각은 동일한 염료에 대응하거나 이미지의 상이한 하위 집합이 상이한 염료에 대응함). 예를 들어, 샘플의 교차하는 섹션이 상이한 염료로 염색될 수 있다.
섹션 정렬기 하위 시스템(140)은 단일 샘플 및/또는 단일 섹션에 대응하는 디지털 병리 이미지가 정렬되도록 각각의 디지털 병리 이미지가 번역, 회전, 확대 및/또는 왜곡되는지 여부 및/또는 방법을 결정할 수 있다. 정렬은 (예를 들어) 상관 평가를 사용하여 결정할 수 있다(예컨대어, 상관 관계를 최대화하는 정렬을 식별하기 위해).
생물학적 개체 검출기 하위 시스템(145)은 정렬된 디지털 병리 이미지의 각각에서 하나 이상의 특정 유형의 객체(예컨대, 생물학적 개체)의 묘사를 자동으로 검출하도록 구성될 수 있다. 객체 유형은, 예를 들어, 세포와 같은 생물학적 구조 유형을 포함할 수 있다. 예를 들어, 생물학적 개체의 제1 세트는 제1 세포 유형(예컨대, 면역 세포, 백혈구, 림프구, 종양 침윤 림프구 등)에 대응할 수 있고, 생물학적 개체의 제2 세트는 제2 세포 유형(예컨대, 종양 세포, 악성 종양 세포 등) 또는 생물학적 구조의 유형(예컨대, 종양, 악성 종양 등)에 대응할 수 있다. 생물학적 개체 검출기 하위 시스템(145)은 정렬된 디지털 병리 이미지로부터 하나 이상의 특정 유형 각각의 생물학적 개체의 묘사를 검출할 수 있다. 디지털 병리 이미지는 단일 디지털 병리 이미지의 다양한 염색을 묘사할 수 있다. 이러한 디지털 병리 이미지는 다중 염료의 각각으로 염색된 샘플의 섹션에 대응할 수 있는 단일 이미지를 포함할 수 있다. 예를 들어, 생물학적 개체 검출기 하위 시스템(145)은 단일 디지털 병리 이미지로부터 림프구 및 종양 세포의 묘사를 검출할 수 있다. 생물학적 개체 검출기(145)는, 예를 들어, 다수의 염료에 대응하는 다양한 디지털 병리 이미지로부터 생물학적 개체의 묘사를 검출할 수 있다.
예를 들어, 림프구의 묘사는 제1 디지털 병리 이미지에서 검출될 수 있는 반면, 종양 세포의 묘사는 제2 디지털 병리 이미지에서 검출될 수 있다. 제1 디지털 병리 이미지는 제1 염료로 염색된 샘플의 섹션 이미지를 묘사할 수 있고, 제2 디지털 병리 이미지는 제2 염료로 염색되고 다시 이미지화된 동일한 섹션을 묘사할 수 있다. 생물학적 개체 검출기 하위 시스템(145)은 제1 염료로 염색된 샘플의 섹션에 대응할 수 있는 제1 디지털 병리 이미지에서 제1 특정 유형의 생물학적 개체의 묘사를 검출할 수 있다. 생물학적 개체 검출기 하위 시스템(145)은 제2 염료로 염색된 동일 섹션 또는 제2 염료로 염색된 샘플의 다른 섹션에 대응할 수 있는 제2 디지털 병리 이미지에 도시된 제2 특정 유형의 생물학적 개체의 묘사를 검출할 수 있다. 또한, 생물학적 개체 검출기 하위 시스템(145)은 공간 분포 메트릭 및 피험자 수준의 결과를 생성할 목적으로 동일한 샘플과 관련되지 않은 하나 이상의 디지털 병리 이미지에서 하나 이상의 생물학적 개체 유형의 하나 이상의 생물학적 개체를 검출할 수 있다.
생물학적 개체 검출기 하위 시스템(145)은 생물학적 개체를 검출하고 특성화하기 위해 정적 규칙 및/또는 훈련된 모델을 사용할 수 있다. 규칙 기반 생물학적 개체 검출은 하나 이상의 가장자리를 검출하고, 충분히 연결되고 모양이 닫힌 가장자리의 하위 집합을 식별하며, 그리고/또는 하나 이상의 고강도 영역 또는 픽셀을 검출하는 것을 포함할 수 있다. 디지털 병리 이미지의 일부는, 예를 들어, 닫힌 가장자리 내의 영역의 일부가 미리 정의된 범위 내에 있거나, 그리고/또는 고강도 영역이 미리 정의된 범위 내의 크기를 갖는 경우, 생물학적 개체를 묘사하도록 결정될 수 있다. 훈련된 모델을 사용하여 생물학적 객체 묘사를 검출하는 것은 합성곱 신경망, 심층 합성곱 신경망 및/또는 그래프 기반 합성곱 신경망과 같은 신경망을 사용하는 것을 포함할 수 있다. 상기 모델은 객체의 위치 및/또는 경계를 나타내는 주석이 포함된 주석이 있는 이미지를 사용하여 훈련되었을 수 있다. 주석이 있는 이미지는 데이터 저장소(예컨대, 공용 데이터 저장소) 및/또는 하나 이상의 인간 주석자와 연관된 하나 이상의 장치로부터 수신될 수 있다. 상기 모델은 범용 또는 자연 이미지를 사용하여 훈련되었을 수 있다(예컨대, 디지털 병리 사용 또는 일반적으로 의료 사용을 위해 캡처된 이미지만이 아님). 이는 상이한 유형의 생물학적 개체를 구별하는 모델의 능력을 확장할 수 있다. 특정 유형의 객체를 검출하기 위해 모델을 훈련하기 위해 선택된 디지털 병리 이미지와 같은 이미지의 특수 훈련 세트를 사용하여 훈련되었을 수 있다.
규칙 기반 생물학적 개체 검출 및 학습된 모델 생물학적 개체 검출은 임의의 조합으로 사용할 수 있다. 예를 들어, 규칙 기반 생물학적 개체 검출은 한 유형의 생물학적 개체에 대한 묘사를 검출할 수 있는 반면, 훈련된 모델은 다른 유형의 생물학적 개체에 대한 묘사를 검출하는 데 사용된다. 다른 예는 훈련된 모델에 의해 생물학적 개체 출력을 사용하여 규칙 기반 생물학적 개체 검출의 결과를 검증하거나 또는 규칙 기반 접근 방식을 사용하여 훈련된 모델의 결과를 검증하는 것을 포함할 수 있다. 또 다른 예는 규칙 기반 생물학적 개체 검출을 초기 개체 검출로서 사용한 다음, 보다 정교한 생물학적 개체 분석을 위해 훈련된 모델을 사용하거나, 또는 훈련된 네트워크를 통해 생물학적 개체의 초기 세트를 묘사한 후 이미지에 규칙 기반 객체 검출 접근 방식을 적용하는 것을 포함할 수 있다.
생물학적 개체 검출은 또한 (예를 들어) 디지털 병리 이미지를 사전 처리하는 것을 포함할 수 있다. 사전 처리는 디지털 병리 이미지의 해상도를 목표 해상도로 변환하고, 하나 이상의 컬러 필터를 적용하며, 그리고/또는 규칙 기반 생물학적 개체 검출 방법 또는 훈련된 모델에 의한 사용을 위해 디지털 병리 이미지를 정규화할 수 있다. 예를 들어, 자동 염색 시스템(120)에 의해 사용되는 염료의 컬러 프로파일에 대응하는 컬러를 통과시키는 컬러 필터가 적용될 수 있다. 규칙 기반 생물학적 개체 검출 또는 학습된 모델 생물학적 개체 검출은 전처리된 이미지에 적용될 수 있다.
각각의 검출된 생물학적 개체에 대해, 생물학적 개체 검출기 하위 시스템(145)은 묘사된 생물학적 개체의 대표 위치(예컨대, 중심점 또는 중간점), 묘사된 개체의 가장자리에 대응하는 픽셀 또는 복셀의 세트, 및/또는 묘사된 생물학적 개체의 영역에 대응하는 픽셀 또는 복셀의 세트를 식별 및 저장할 수 있다. 이러한 생물학적 개체 데이터는 생물학적 개체에 대한 메타데이터와 함께 저장될 수 있으며, 여기에는, 비제한적인 예로서, 생물학적 개체의 식별자(예컨대, 숫자 식별자), 대응하는 디지털 병리 이미지의 식별자, 대응하는 디지털 병리 이미지 내의 대응하는 영역의 식별자, 대응하는 피험자의 식별자, 및/또는 객체 유형의 식별자가 포함될 수 있다.
생물학적 개체 검출기 하위 시스템(145)은 디지털 병리 이미지를 포함하고 이미지 내에서 검출된 생물학적 개체가 묘사되는 위치를 식별하는 하나 이상의 오버레이를 더 포함하는 주석이 있는 디지털 병리 이미지를 생성할 수 있다. 다수 유형의 생물학적 개체가 검출되는 특정 구현예들에서, 상이한 유형의 주석은, 예를 들어, 상이한 색상을 사용하여 표현될 수 있다.
생물학적 개체 분포 검출기 하위 시스템(150)은 하나 이상의 개체의 공간적 분포를 생성 및/또는 특성화하도록 구성될 수 있다. 상기 분포는 (예를 들어) 하나 이상의 정적 규칙(예컨대, 생물학적 개체의 점-위치 표현의 거리 기반 메트릭을 적용하는 방법을 식별하고, 디지털 병리학 이미지 등의 그리드 영역 내 생물학적 개체의 절대 또는 평활 계수 또는 밀도를 사용하는 방법을 식별함)을 사용하고, 및/또는 훈련된 기계 학습 모델을 사용하여(예컨대, 초기 개체 묘사 데이터가 하나 이상의 디지털 병리 이미지의 예측된 품질을 고려하여 조정될 것으로 예측할 수 있음) 생성할 수 있다. 예를 들어, 특성화는 하기를 나타낼 수 있다: 특정 유형의 생물학적 개체가 서로에 대해 밀집되어 있는 것으로 묘사되는 정도, 특정 유형의 생물학적 개체에 대한 묘사가 이미지의 전체 또는 일부에 퍼져 있는 정도, 특정 유형의 생물학적 개체 묘사의 근접성(서로 상대적)이 다른 유형의 생물학적 개체 묘사의 근접성과 비교하는 방법(서로 상대적), 하나 이상의 다른 유형의 생물학적 개체의 묘사와 관련한 하나 이상의 특정 유형의 생물학적 개체의 묘사의 근접성, 및/또는 하나 이상의 특정 유형의 생물학적 개체에 대한 묘사가 하나 이상의 다른 유형의 생물학적 개체에 대한 하나 이상의 묘사에 의해 정의된 영역 내에 및/또는 이에 근접한 정도. 도 2와 관련하여 하기에 추가로 상세하게 기재되는 바와 같이, 생물학적 개체 분포 검출기 하위 시스템(150)은 특정 틀(예컨대, 공간 점 과정 분석틀, 공간 영역 분석틀, 또는 지리 통계적 분석틀 등)을 사용하여 생물학적 개체의 표현을 초기에 생성할 수 있다.
피험자 수준의 표지 생성기 하위 시스템(155)은 공간 분포 메트릭을 사용하여 하나 이상의 피험자 수준의 표지를 생성할 수 있다. 피험자 수준의 표지는 개별 피험자(예컨대, 환자), 정의된 피험자 군(예컨대, 유사한 특성을 갖는 환자), 임상 연구 부문 등에 대해 결정된 표지를 포함할 수 있다. 표지는, 예를 들어, 잠재적 진단, 예후, 치료 평가, 치료 권고, 또는 치료 적합성 결정에 대응할 수 있다. 특정 구현예들에서, 상기 표지는 미리 정의되거나 학습된 규칙을 사용하여 생성될 수 있다. 예를 들어, 규칙은 미리 정의된 임계값을 초과하는 공간 분포 메트릭이 특정 의학적 상태(예컨대, 잠재적 진단)와 연관되어야 하는 반면, 상기 임계값 미만의 메트릭은 특정 의학적 상태와 연관되어야 하지 않음을 나타낼 수 있다. 다른 예로서, 규칙은 공간 분포 메트릭이 사전 정의된 범위 내에 있을 때 특정 치료가 권장되어야 함을 나타낼 수 있다(예컨대, 그렇지 않은 경우 제외). 예를 들어, 거리 기반 메트릭(예컨대, 림프구 묘사의 중심이 종양 세포 묘사의 중심에서 얼마나 멀리 떨어져 있는지를 특성화함)이 미리 정의된 임계값 미만인 경우, 면역 관문 요법이 권장될 수 있다. 또 다른 예로서, 규칙은 덜 최근에 수집된 디지털 병리 이미지에 대응하는 저장된 기준선 공간 분포 메트릭에 대한 최근에 수집된 디지털 병리 이미지에 대응하는 공간 분포 메트릭의 비율에 기초하여 치료 효능의 상이한 대역을 식별할 수 있다.
피험자 수준의 표지 생성기 하위 시스템(155)은 하나 이상의 피험자 수준의 표지를 생성하기 위해, 예를 들어, 공간 분포 메트릭과 함께 하나 이상의 패턴 또는 마스크를 추가로 사용할 수 있다. 특정 구현예들에서, 피험자 수준의 표지 생성기 하위 시스템(155)은 이전 표지 및/또는 피험자 결과(표지를 검증하는 역할을 할 수 있음)와 연관된 하나 이상의 패턴 또는 마스크를 검색하거나 제공받을 수 있다. 특정 구현예들에서, 피험자 수준의 표지 생성기 하위 시스템(155)은 하나 이상의 규칙에 따라 또는 훈련된 모델을 사용하여 마스크를 검색할 수 있다. 예를 들어, 규칙은 특정 마스크 또는 마스크의 하위 집합이 검색되고 디지털 병리 이미지에 묘사된 하나 이상의 생물학적 개체의 하나 이상의 유형의 결정에 응답하여 디지털 병리 이미지와 비교됨을 나타낼 수 있다. 다른 예로서, 규칙은 특정 마스크 또는 마스크의 하위 집합이 검색되어 임계값을 충족하거나 충족하지 못하는, 또는 임계값 범위를 점유하거나 점유하지 못하는 공간 분포 메트릭의 결정에 응답하여 디지털 병리 이미지와 비교됨을 나타낼 수 있다. 규칙과 관련된 값은 피험자 수준의 표지 생성기 하위 시스템(155)에 의해 학습될 수 있다. 특정 구현예들에서, 모델은 디지털 병리 이미지, 이로부터 파생된 데이터, 및 이와 관련된 메타데이터의 전체론적 특성화에 기초하여 디지털 병리 이미지를 검색하고 이에 적용할 패턴을 식별하기 위해 본원에 기재된 하나 이상의 기계 학습 과정을 사용하여 훈련될 수 있다.
디지털 병리 이미지 처리 시스템(135)은 생성된 공간 분포 메트릭(들), 피험자 수준의 표지(들) 및/또는 주석이 있는 이미지를 출력할 수 있다. 상기 출력은 (예컨대, 사용자 장치(130)에 대한) 로컬 프리젠테이션 또는 전송을 포함할 수 있다.
도 1의 각 구성요소 및/또는 시스템은 (예를 들어) 하나 이상의 컴퓨터, 하나 이상의 서버, 하나 이상의 프로세서 및/또는 하나 이상의 컴퓨터 판독가능 매체를 포함할 수 있다. 특정 구현예들에서, 단일 컴퓨팅 시스템(하나 이상의 컴퓨터, 하나 이상의 서버, 하나 이상의 프로세서 및/또는 하나 이상의 컴퓨터 판독가능 매체를 가짐)은 도 1에 도시된 다중 구성요소를 포함할 수 있다. 예를 들어, 디지털 병리 이미지 처리 시스템(135)은 섹션 정렬기 하위 시스템(140), 생물학적 개체 검출기 하위 시스템(145), 생물학적 개체 분포 검출기 하위 시스템(150) 및 피험자 수준의 표지 생성기 하위 시스템(155)의 기능성을 집합적으로 구현하는 단일 서버 및/또는 서버 집합을 포함할 수 있다.
다양한 대안적인 구현예가 고려된다는 것이 이해될 것이다. 예를 들어, 디지털 병리 이미지 처리 시스템(135)은 피험자 수준의 표지 생성기 하위 시스템(155)을 포함할 필요가 없고, 그리고/또는 피험자 수준의 표지를 생성할 필요가 없다. 오히려 주석이 있는 이미지(생물학적 개체 검출기 하위 시스템(145)에 의해 생성된 주석을 포함) 및/또는 하나 이상의 공간 분포 메트릭(생물학적 개체 분포 검출기 하위 시스템(150)에 의해 생성됨)이 디지털 병리 이미지 처리 시스템(135)에 의해 출력될 수 있다. 그런 다음, 사용자는 출력 데이터의 관점에서 표지(예컨대, 진단, 예후, 치료 평가 또는 치료 권장 사항에 대응함)를 식별할 수 있다.
도 2는 본 발명의 일부 구현예들에 따른 공간 분포 메트릭을 생성하기 위해 객체 데이터를 처리하기 위한 예시적인 생물학적 개체 패턴 계산 시스템(200)을 도시한다. 생물학적 개체 분포 검출기 하위 시스템(150)은 시스템(200)의 일부 또는 전부를 포함할 수 있다.
생물학적 개체 패턴 계산 시스템(200)은 다중 하위 시스템: 점 처리 하위 시스템(205), 영역 처리 하위 시스템(210), 및 지리 통계적 하위 시스템(215)을 포함한다. 하위 시스템의 각각은 공간 분포 메트릭 또는 이의 구성 데이터; 점 과정 분석틀(225), 실제 분석틀(230), 또는 지리 통계적 틀(235)을 생성하기 위해 상이에 틀에 대응하고 이를 사용한다. 점 과정 분석틀(225)은 객체 특이적 초점을 가질 수 있으며, 예를 들어, 점 위치는 각각의 검출된 생물학적 개체 묘사에 대해 식별될 수 있다. 영역 분석틀(230)은 데이터(예컨대, 묘사된 생물학적 개체의 위치)가 개별 생물학적 개체 묘사보다는 좌표 및/또는 공간 격자를 사용하여 인덱싱(index)되는 틀일 수 있다. 지리 통계적 분석틀(235)은 위치의 세트 각각에서 특정 유형의 생물학적 개체 묘사의 유병률 및/또는 관찰 확률에 대한 예측을 제공할 수 있다. 각 프레임워크는 하나 이상의 유형 각각에 대한 하나 이상의 생물학적 개체의 묘사에 걸쳐 형성된 공간 패턴 및/또는 분포를 특성화하는 하나 이상의 메트릭의 생성을 지원할 수 있다.
예를 들어, 점 처리 하위 시스템(205)은 점 과정 분석틀(225)을 사용할 수 있으며, 여기서 각각의 생물학적 개체 묘사는 이미지 내의 점 위치로서 표현될 수 있다. 특정 구현예들에서, 상기 점 위치는 생물학적 개체 묘사의 중심, 중간점, 또는 질량 중심 등이 될 수 있다. 일부 구현예들에서, 생물학적 개체 묘사를 검출할 때 점 위치가 (예컨대, 생물학적 개체 검출기 하위 시스템(145)에 의해) 검출된다. 일부 구현예들에서, 점 처리 하위 시스템(205)은 생물학적 개체 묘사의 위치를 결정한다(예컨대, 묘사된 생물학적 개체의 가장자리 및/또는 영역과 연관된 위치에 기초하여). 점 처리 하위 시스템(205)은 생물학적 개체 묘사들 사이의 하나 이상의 거리를 검출하고 처리하기 위한 거리 검출기(245); 하나 이상의 유형 각각에 대한 하나 이상의 생물학적 개체 묘사들 간의 교차 및/또는 자기 상관을 특성화하기 위한 상관 검출기(255) 및 점 기반 클러스터 생성기(250); 및 이미지의 차원에 대응하는 2차원 공간에 걸쳐 생물학적 개체 묘사의 계산된 양에 대응하는 3차원 경관을 생성하기 위한 경관 생성기(260)(예컨대, 경관의 3차원이 계산된 양을 표시함)를 포함한다. 교차 및 자동 상관은 제1 유형의 생물학적 개체 묘사(따라서, 샘플의 생물학적 개체)를 나타내는 지점이 관찰된 생물학적 개체 표서에서 멀리 떨어진 곳에 위치할 확률을 거리의 함수로서 식별할 수 있다. 교차 상관의 경우, 제2 유형의 생물학적 개체에 대한 확률이 계산된다. 자기 상관의 경우, 제1 유형의 생물학적 개체에 대한 확률이 계산된다. 교차 또는 자기 상관은 1차원 표현(예컨대, x축이 거리로 설정됨) 또는 2차원 표현(예컨대, x축이 수평 거리로 설정되고 y축이 수직 거리로 설정됨)을 포함할 수 있다.
거리 검출기(245)는 이미지 내의 점 및 상기 점의 각각의 위치를 검출할 수 있다. 하나 이상의 점 쌍(예컨대, "점 쌍")의 각각에 대해, 대응 쌍과 관련된 점 위치들 간의 거리(예컨대, 유클리드 거리)가 계산된다. 하나 이상의 점 쌍의 각각은 동일한 유형의 생물학적 개체 묘사 또는 상이한 유형의 생물학적 개체 묘사에 대응할 수 있다. 예를 들어, 주어진 묘사된 림프구와 관련된, 거리 검출기(245)는 묘사된 림프구의 위치와 묘사된 서로 다른 림프구 사이의 거리를 식별할 수 있고, 상기 거리 탐지기(245)는 묘사된 림프구의 위치와 각각의 묘사된 종양 세포 사이의 거리를 식별할 수 있다. 거리 검출기(245)는 통계에 기초하여 하나 이상의 공간 분포 메트릭을 생성할 수 있다. 예를 들어, 공간 분포 메트릭은 주어진 유형의 생물학적 개체의 묘사들 사이의 거리 및/또는 하나 이상의 상이한 유형의 생물학적 개체의 묘사들 사이의 거리의 평균, 중앙값 및/또는 표준 편차 등으로서 및/또는 이에 기초하여 정의될 수 있다. 설명하자면, 묘사된 모든 림프구의 위치들 사이의 거리를 감지할 수 있고, 그런 다음 평균 거리를 계산할 수 있으며; 각 림프구-종양-세포 쌍 사이의 거리를 기반으로 유사한 계산을 실시할 수 있다. 공간 분포 메트릭은 제1 유형의 생물학적 개체의 묘사들 사이의 거리에 기초하여 생성된 제1 통계 및 제2 유형의 생물학적 개체의 묘사들 사이의 거리에 기초하여 생성된 제2 통계에 기초할 수 있다.
점 기반 클러스터 생성기(250)는 클러스터 분석(예컨대, 리플리 K 함수와 같은 다중 거리 공간 클러스터 분석)을 실시하기 위해 거리를 사용할 수 있다. 예를 들어, 리플리 K 함수를 사용하여 생성된 K 값은 생물학적 개체 묘사의 공간 분포가 공간적으로 무작위 분포(예컨대, 하나 이상의 공간 클러스터를 갖는 분포와 반대됨)에 대응하는 추정된 정도를 나타낼 수 있다.
상관 검출기(255)는 하나 이상의 상관 기반 메트릭을 생성하기 위해 거리 및/또는 점 위치를 사용할 수 있다. 상관 기반 메트릭(들)은 한 위치에 주어진 유형의 생물학적 개체 묘사의 존재가 주어진 유형 또는 다른 유형의 다른 생물학적 개체 묘사가 다른 위치에 존재하는지 여부를 예측하는 정도를 나타낼 수 있다. 상기 다른 위치는, 예를 들어, 생물학적 개체 묘사를 둘러싸는 미리 정의된 공간 증분 또는 타겟 영역을 기반으로 지정될 수 있다. 예를 들어, 교차 상관도는 림프구 묘사로부터 다양한 거리의 각각 내에서 종양 세포 묘사를 관찰할 확률을 식별할 수 있다. 메트릭은 0 거리에서 특정 거리까지의 거리에 따른 확률의 합계를 식별할 수 있다. 상관 기반 메트릭은 무작위 종속 계수 또는 상관 계수를 포함할 수 있다. 특정 구현예들에서, 상관 기반 메트릭은 교차 상관도의 최대값과 연관된 거리 값을 표시한다.
경관 생성기(260)는 이미지의 각 수평 및 수직 위치에 대해, 주어진 유형의 객체 묘사가 관찰될 확률을 나타내는 3차원 "경관" 데이터 구조(예컨대, 경관 지도)를 생성하기 위해 주어진 유형 또는 유형들의 생물학적 개체 묘사의 점 위치를 사용할 수 있다. 경관 데이터 구조는 하나 이상의 알고리즘을 피팅(fitting)하여 식별할 수 있다. 예를 들어, 0을 나타내도록 구성된 데이터 구조, 하나 이상의 가우시안(또는 다른 피크 구조)이 적합할 수 있다. 경관 생성기(260)는 주어진 생물학적 객체 유형에 대해 생성된 경관 데이터 구조를 다른 생물학적 개체 유형에 대해 생성된 다른 경관 데이터 구조와 비교하도록 구성될 수 있다. 예를 들어, 경관 생성기(260)는 주어진 생물학적 객체 유형에 대응하는 경관의 하나 이상의 피크의 위치(들), 진폭(들) 및/또는 폭(들)을 다른 생물학적 객체 유형에 대응하는 다른 경관 데이터 구조의 하나 이상의 피크의 위치(들), 진폭(들) 및/또는 폭(들)과 비교할 수 있다. 상기 경관은 시각화될 때 주어진 유형의 객체가 대응하는 영역에 위치할 높은 확률을 피크가 나타내는 3차원 표현을 포함할 수 있다. 경관 데이터 표현은 3차원을 통해 개체의 밀도 및/또는 개수를 나타내지만, 동일한 데이터는 대안적으로 다른 시각화 접근 방식(예컨대, 열 지도를 통해)을 사용하여 전달할 수 있다. 경관 생성기(260)에 의해 생성된 예시적인 경관 데이터 구조가 경관 표현(420a, 420b)으로서 도 4에 도시되어 있다.
점 과정 분석틀(225)이 생물학적 객체의 개별 묘사에 의해 데이터를 인덱싱할 수 있는 반면, 영역 분석틀(230)은 보다 추상적인 의미에서 좌표 및/또는 공간 격자를 사용하여 데이터를 인덱싱할 수 있다. 영역 처리 하위 시스템(210)은 이미지 영역과 연관된 좌표 및/또는 영역 세트의 각각에 대한 밀도(또는 개수)를 식별하기 위해 영역 분석틀(230)를 적용할 수 있다. 상기 밀도는 격자 기반 분할기(265), 그리드 기반 클러스터 모니터 및/또는 열점 모니터(275) 중 하나 이상을 사용하여 식별될 수 있다.
격자 기반 분할기(265)는 이미지 상의 묘사된 생물학적 객체의 위치의 표현을 포함하여 이미지 상에 공간 격자를 부과할 수 있다. 행 세트 및 열 세트를 포함하는 공간 격자는 각 영역이 행-열 조합에 대응하는 영역 세트를 정의할 수 있다. 각 행은 정의된 높이를 가질 수 있고, 각 열은 정의된 폭을 가질 수 있으므로, 공간 격자의 각 영역이 정의된 영역을 가질 수 있다.
격자 기반 분할기(265)는 생물학적 객체 묘사의 공간 격자 및 점 위치를 사용하여 강도 메트릭을 결정할 수 있다. 예를 들어, 각각의 격자 영역에 대해, 강도 메트릭은 영역 내에서 점 위치를 갖는 하나 이상 유형의 각각에 대한 생물학적 객체 묘사의 양을 나타낼 수 있고, 그리고/또는 이에 기초할 수 있다(예컨대, 생물학적 객체 묘사의 적어도 임계 부분에 대해). 특정 구현예들에서, 상기 강도 메트릭은 디지털 병리 이미지 내에서 및/또는 샘플에 대해 검출된 (예컨대, 주어진 유형의) 생물학적 객체의 총 수; 다른 샘플에서 감지된 주어진 유형의 생물학적 객체의 수; 및/또는 디지털 병리 이미지의 규모에 기초하여 정규화 및/또는 가중치를 줄 수 있다. 특정 구현예들에서, 상기 강도 메트릭은 평활화되고, 그리고/또는 그렇지 않으면 변환된다. 예를 들어, 최종 강도 메트릭이 이진화되도록 초기 개수를 임계값으로 지정할 수 있다. 예를 들어, 이진화 메트릭은 격자 영역이 임계값(예컨대, 영역에 할당된 적어도 5개의 종양 세포가 있었는지의 여부)을 충족하는 다수의 생물학적 객체 묘사와 연관되는지 여부를 결정하는 것을 포함할 수 있다. 특정 구현예들에서, 격자 기반 분할기(265)는 (예를 들어) 상이한 유형의 생물학적 객체에 걸쳐 강도 메트릭을 비교함으로써 영역 데이터를 사용한 하나 이상의 공간 분포 메트릭을 생성할 수 있다.
그리드 기반 클러스터 생성기(270)는 하나 이상의 생물학적 객체 유형에 속하는 클러스터 관련 데이터에 기초하여 하나 이상의 공간 분포 메트릭을 생성할 수 있다. 예를 들어, 하나 이상의 생물학적 객체 유형의 각각에 대해, 클러스터링 및/또는 피팅 기술은 상기 유형의 생물학적 객체의 묘사가, 예를 들어, 서로 간에 및/또는 다른 유형의 생물학적 객체에 대한 묘사와 공간적으로 클러스터링되는 정도를 결정하도록 적용될 수 있다. 상기 클러스터링 및/또는 피팅 기술은 생물학적 객체의 묘사가 공간적으로 분산 및/또는 무작위로 분포되는 정도를 결정하기 위해 추가로 적용될 수 있다. 예를 들어, 그리드 기반 클러스터 생성기(270)는 모리시타-혼 지수 및/또는 모란 지수를 결정할 수 있다. 예를 들어, 단일 메트릭은 한 유형의 생물학적 객체에 대한 묘사가 공간적으로 클러스링되며, 그리고/또는 다른 유형의 객체에 대한 묘사에 근접한 정도를 나타낼 수 있다.
열점/냉점 모니터(275)는 하나 이상의 특정 유형의 생물학적 객체의 묘사가 존재할 가능성이 있는 임의의 "열점" 위치 또는 하나 이상의 특정 유형의 생물학적 객체의 묘사가 존재하지 않을 가능성이 있는 임의의 "냉점" 위치를 검출하기 위한 분석을 실시할 수 있다. 특정 구현예들에서, 격자 분할 강도 메트릭은 (예를 들어) 국소 강도 극값(예컨대, 최대 또는 최소)을 식별하며, 그리고/또는 열점으로 특성화될 수 있는 하나 이상의 피크, 또는 냉점으로 특성화될 수 있는 하나 이상의 밸리(valley)를 맞추는 데 사용될 수 있다. 특정 구현예들에서, 게티스-오드(Getis-Ord) 열점 알고리즘은 임의의 열점(예컨대, 디지털 병리 이미지의 다른 강도와 비교하여 유의적으로 상이할 만큼 충분히 높은 인접 픽셀 세트에 걸친 강도) 또는 임의의 냉점(예컨대, 디지털 병리 이미지의 다른 강도와 비교하여 유의적으로 상이할 만큼 충분히 낮은 인접 픽셀 세트에 걸친 강도)을 식별하는 데 사용할 수 있다. 특정 구현예들에서, "유의적으로 상이한"은 통계적 유의성의 결정에 대응할 수 있다. 객체 유형별 열점 및 냉점이 식별되면, 열점/냉점 모니터(275)는 하나의 생물학적 객체 유형에 대해 검출된 임의의 열점 또는 냉점의 위치, 진폭, 및/또는 폭을 다른 생물학적 객체 유형에 대해 검출된 임의의 열점/냉점과 비교할 수 있다.
지리 통계적 하위 시스템(215)은 이산 샘플에 기초하여 기본 평활 분포를 추정하기 위해 지리 통계적 분석틀(235)을 사용할 수 있다. 지리 통계적 분석틀(235)은 제1 차원 및/또는 해상도에 대응하는 데이터를 제2 차원 및/또는 해상도로 변환하도록 구성될 수 있다. 예를 들어, 생물학적 객체 묘사의 위치는 초기에 디지털 병리 이미지에서 1 mm 해상도를 사용하여 정의할 수 있다. 그런 다음, 위치 데이터는 mm 해상도로 제한되지 않는 연속 함수에 맞출 수 있다. 다른 예로서, 초기에 2차원 좌표로 정의된 생물학적 객체 묘사의 위치는 행-열 조합의 세트 각각 내에서 생물학적 객체 묘사의 개수를 포함하는 데이터 구조를 생성하도록 변환될 수 있다. 지리 통계적 분석틀(235)은 (예를 들어) (주어진 유형의) 특정 생물학적 객체 묘사의 위치를 식별하는 다수의 데이터 점을 사용하여 기능을 맞추도록 구성될 수 있다. 예를 들어, 거리 세트의 각각에 대해 상기 거리만큼 분리된 동일한 유형의 두 생물학적 객체가 감지되었는지 여부를 나타내는 각 특정 유형의 생물학적 객체에 대해 분산도(variogram)가 생성될 수 있다. 단일 유형의 객체는 더 긴 거리에 비해 짧은 분리 거리에서 감지될 가능성이 더 높다. 그런 다음, 반분산도(semivariogram)는 분산도 데이터를 피팅하여 생성될 수 있다. 그런 다음, 관찰된 생물학적 객체 및 반분산도는 위치의 세트 각각에서 특정 유형의 생물학적 객체 묘사의 유병률 및/또는 관찰 확률을 예측하는 이미지 지도를 생성하기 위해 지리 통계적 하위 시스템(215)에 의해 사용될 수 있다. 이미지 지도의 해상도 및/또는 크기는 생물학적 객체 묘사를 초기에 검출하기 위해 처리된 하나 이상의 디지털 병리 이미지와 비교하여 각각 더 높거나 및/또는 더 클 수 있다. 지리 통계적 하위 시스템(215)은 (예를 들어) 다양한 유형의 생물학적 개체에 걸쳐 예측된 생물학적 개체 값을 비교하고(예를 들어, 유병률 및/또는 관찰 확률을 예측하는), 서로 상이한 유형의 생물학적 객체 간의 예측된 생물학적 개체 값의 공간적 상관 관계를 특성화하고, 생물학적 객체의 개별 유형에 대하여 예측된 객체 값을 사용하여 공간적 자기 상관 관계를 특성화하고, 그리고/또는 상이한 유형의 객체에 걸쳐 예측된 객체 값의 공간 클러스터(또는 열점/냉점)의 위치를 비교함으로써 지리 통계적 데이터를 사용하여 하나 이상의 공간 분포 메트릭을 생성할 수 있다.
다양한 하위 시스템이 묘사되지 않은 구성요소를 포함할 수 있고 명시적으로 기재되지 않은 처리를 실시할 수 있음이 이해될 것이다. 예를 들어, 영역 처리 하위 시스템(210)은 엔트로피 기반 상호 정보 측정에 대응하는 공간 분포 메트릭을 생성하여 주어진 영역 내 제1 유형의 생물학적 객체 묘사 위치에 관한 정보가 (동일하거나 다른 유형의) 다른 생물학적 객체의 묘사가 다른 영역 내의 위치에 존재하는지 여부에 대한 불확실성을 감소시키는 정도를 나타낸다. 예를 들어, 상호 정보 메트릭은 한 생물학적 객체 유형의 위치가 다른 생물학적 객체 유형의 위치에 대한 정보를 제공(따라서 엔트로피를 감소시킴)한다는 것을 나타낼 수 있다. 이러한 상호 정보는 잠재적으로 한 세포 유형의 세포가 다른 세포 유형(예컨대, 종양 세포 내에 산재된 종양 침윤 림프구)의 세포와 산재되어 있는 경우와 연관될 수 있다.
다른 예로서, 점 처리 하위 시스템(205)은 주어진 생물학적 객체 유형의 개별 생물학적 객체 검출 점과 동일한 생물학적 객체 유형 및/또는 다른 생물학적 객체 유형의 생물학적 객체 묘사에 대응하는 하나 이상의 가장 가까운 다른 점들 사이의 거리(또는 거리 통계)에 기초하여 최근접 이웃 거리 메트릭을 생성할 수 있다. 설명하자면, 생물학적 객체의 각 묘사에 대해, 객체 유형 내 거리 값은 생물학적 객체의 묘사 위치와 동일한 유형의 생물학적 객체에 대한 가장 가까운 수의 묘사 위치 사이의 평균 거리를 나타낼 수 있다. 생물학적 객체 유형에 대한 객체 유형 내 거리 통계는 (예를 들어) 객체 유형의 모든 생물학적 객체 묘사에 대한 객체 유형 내 거리 값의 평균 또는 중앙값을 지칭할 수 있다. 객체 유형간 거리 값은 생물학적 객체 묘사의 위치와 상이한 유형의 객체 묘사의 가장 가까운 수의 위치 사이의 평균 거리를 지칭할 수 있다. 객체 간 거리 통계는 (예를 들어) 객체 간 거리 값의 평균 또는 중앙값일 수 있다. 작거나 낮은 객체 간 거리 통계는 생물학적 객체에 대한 상이한 유형의 묘사가 서로 근접함을 나타낼 수 있다. 객체 유형 내 거리 통계는 (예를 들어) 정규화 목적으로 사용되거나, 또는 주어진 유형의 생물학적 객체의 일반적인 클러스터링을 평가하는 데 사용할 수 있다.
또 다른 예로서, 점 처리 하위 시스템(205)은 쌍 상관(교차 유형) 함수 또는 마크 상관 함수와 같은 교차 및/또는 자기 상관 함수에 기초하여 상관 기반 메트릭을 생성할 수 있다. 상관 함수는 (예를 들어) 거리의 함수로서 상관 값을 포함할 수 있다. 기준선 상관 값은 무작위 분포에 대응할 수 있다. 메트릭은 상관 함수(또는 상관 함수의 평활 버전)가 기준선 상관 값(또는 고정된 양을 기준선 상관 값에 추가하고, 그리고/또는 기준선 상관 값을 미리 정의된 인자로 곱함으로써 계산된 임계값과 같은 기준선 상관 값의 일부 조정된 버전)과 교차하는 공간 거리를 포함할 수 있다.
생물학적 객체 패턴 계산 시스템(200)은 다양한 유형의 다수(예컨대, 2개 이상, 3개 이상, 4개 이상, 또는 5개 이상)의 공간 분포 메트릭(예컨대, 본원에 개시된 것과 같은)의 조합을 사용하여 결과(그 자체가 공간 분포 메트릭일 수 있음)를 생성할 수 있다. 다중 공간 분포 메트릭은 상이한 틀(예컨대, 점 과정 분석틀(225), 영역 분석틀(230), 및 지리 통계적 틀(235)의 2개 이상, 3개 이상, 또는 모두)을 사용하여 생성된 메트릭, 및/또는 상이한 하위 시스템(예컨대, 점 처리 하위 시스템(205), 영역 처리 하위 시스템(210) 및 지리 통계적 하위 시스템의 2개 이상, 3개 이상, 또는 모두)에 의해 생성된 메트릭을 포함할 수 있다. 예를 들어, 공간 분포 메트릭은 거리 기반 메트릭(공간 점 과정 분석틀을 사용하여 생성됨) 및 모리스타-혼 지수 메트릭(공간 영역 분석틀)을 사용하여 생성할 수 있다.
특정 구현예들에서, 다중 메트릭은 하나 이상의 사용자 정의 및/또는 미리 정의된 규칙을 사용하여 및/또는 훈련된 모델을 사용하여 조합할 수 있다. 예를 들어, 기계 학습(ML) 모델 컨트롤러(295)는 통합 공간 분포 메트릭을 생성하기 위해 다양한 하위 수준 메트릭이 집합적으로 처리되는 방법을 지정하는 하나 이상의 매개변수(예컨대, 가중치)를 학습하기 위해 기계 학습 모델을 훈련시킬 수 있다. 통합된 공간 분포 메트릭은 개별 매개변수만 사용하는 것보다 종합적으로 더 정확할 수 있다. 기계 학습 모델의 아키텍처는 ML 모델 아키텍처 데이터 저장소(296)에 저장될 수 있다. 예를 들어, 기계 학습 모델은 로지스틱 회귀, 선형 회귀, 의사 결정 트리, 랜덤 포레스트, 지원 벡터 머신, 또는 신경망(예컨대, 피드포워드(feedforward) 신경망)을 포함할 수 있고, ML 모델 아키텍처 데이터 저장소(296)는 모델을 정의하는 하나 이상의 방정식을 저장할 수 있다. 선택적으로, ML 모델 초매개변수 데이터 저장소(297)는 모델 및/또는 이의 훈련을 정의하는 데 사용되지만 학습되지 않은 하나 이상의 초매개변수를 저장한다. 예를 들어, 초매개변수는 많은 수의 숨겨진 층, 중퇴자, 학습률 등을 식별할 수 있다. 학습된 매개변수(예컨대, 하나 이상의 가중치, 임계값, 계수 등에 대응)는 ML 모델 매개변수 데이터 저장소(298)에 저장될 수 있다.
특정 구현예들에서, 하나 이상의 하위 시스템의 일부 또는 전부는 ML 모델을 훈련하는 데 사용되는 동일한 훈련 데이터 세트의 일부 또는 전부를 사용하여 훈련된(따라서, ML 모델 매개변수 데이터 저장소(298)에 저장된 ML 모델 매개변수를 학습함). 특정 구현예들에서, ML 모델 컨트롤러(295)에 의해 제어되는 ML 모델과 비교하여 하나 이상의 하위 시스템을 훈련하기 위해 상이한 훈련 데이터 세트가 사용된다. 유사하게, 다수의 틀, 하위 시스템 및/또는 하위 시스템 구성 요소를 사용하여 공간 분포 메트릭을 생성하기 위해 통합되는 메트릭을 생성할 때, 개별 틀, 하위 시스템 및/또는 하위 시스템 구성 요소는 다른 훈련 데이터 세트와 관련하여 겹치지 않거나 부분적으로 겹치거나 완전히 겹치는 훈련 데이터 세트를 이용하여 훈련될 수 있다.
도 2에는 도시되지 않았지만. 생물학적 객체 패턴 계산 시스템(200)은 피험자의 샘플 섹션에 걸쳐 공간 분포 메트릭을 집계하고 하나 이상의 집계된 공간 분포 메트릭을 생성하기 위해 하나 이상의 구성요소를 더 포함할 수 있다. 그러한 집계된 메트릭은 (예를 들어) 하위 시스템 내의 구성요소에 의해(예컨대, 열점 모니터(275)에 의해), 하위 시스템에 의해(예컨대, 점 처리 하위 스템(205)에 의해), ML 모델 컨트롤러(295) 및/또는 생물학적 객체 패턴 계산 시스템(200)에 의해 생성될 수 있다. 집계된 공간 분포 메트릭은 (예를 들어) 섹션별 메트릭 세트의 합계, 중앙값, 평균, 최대값, 또는 최소값을 포함할 수 있다.
도 3a 및 도 3b는 일부 구현예들에 따른 공간 분포 메트릭을 사용하여 디지털 병리 이미지의 이미지 처리에 기초하여 건강 관련 평가를 제공하기 위한 방법(300a 및 300b)를 도시한다. 보다 구체적으로, 디지털 병리 이미지는, 예컨대, 디지털 병리 이미지 처리 시스템에 의해 처리되어 하나 이상의 세포 유형의 공간 패턴(들) 및/또는 분포(들)를 특성화하는 하나 이상의 메트릭을 생성할 수 있고, 그런 다음 상기 메트릭은 진단, 예후, 치료 평가, 또는 치료 적합성 결정에 정보를 제공할 수 있다. 상기 방법은 피험자 관련 식별자가 디지털 병리 이미지 처리 시스템(예컨대, 디지털 병리 이미지 처리 시스템(135))에 의해 수신될 수 있는 단계(310)에서 시작한다. 피험자 관련 식별자는 피험자, 샘플, 섹션 및/또는 디지털 병리 이미지의 식별자를 포함할 수 있다. 상기 피험자 관련 식별자는 사용자(예컨대, 피험자를 위한 의료 제공자 및/또는 의사)가 제공할 수 있다. 예를 들어, 상기 사용자는 식별자를 디지털 병리 이미지 처리 시스템(135)에 전송할 수 있는 사용자 장치에 대한 입력으로서 식별자를 제공할 수 있다.
단계(315)에서, 디지털 병리 이미지 처리 시스템(135)은 식별자와 연관된 염색 조직 샘플의 하나 이상의 디지털 병리 이미지에 액세스할 수 있다. 예를 들어, 식별자를 사용하여 로컬 또는 원격 데이터 저장소를 쿼리할 수 있다. 다른 예로서, 식별자(들)를 포함하는 요청은 다른 시스템(예컨대, 디지털 병리 이미지 생성 시스템)으로 전송될 수 있고, 응답은 이미지(들)를 포함할 수 있다. 상기 이미지는 피험자로부터의 샘플의 염색된 섹션을 묘사할 수 있다. 특정 구현예들에서, 제1 디지털 병리 이미지는 제1 염료로 염색된 섹션을 묘사하고 제2 디지털 병리 이미지는 제2 염료로 염색된 섹션을 묘사한다. 특정 구현예들에서, 단일 디지털 병리 이미지는 다수의 염료로 염색된 섹션을 묘사한다. 특정 구현예들에서, 디지털 병리 이미지는 분석 과정(300a) 이전에 또는 그 동안에 영역 또는 타일로 분리될 수 있다. 상기 분리는 특정 영역에 대한 사용자 표시 초점, 감지된 관심 영역(예컨대, 기계 학습 방식 등에 기반한 규칙에 따라 감지됨)을 기반으로 할 수 있다.
단계(320)에서, 제1 유형의 생물학적 객체에 대한 제1 세트의 묘사 및 제2 유형의 생물학적 객체에 대한 제2 세트의 묘사가 디지털 병리 이미지(들)로부터 검출될 수 있다. 특정 구현예들에서, 제1 유형의 객체는 제1 염료와 연관된 생물학적 객체에 대응할 수 있고, 제2 유형의 객체는 제2 염료와 연관된 생물학적 객체에 대응할 수 있다. 제1 유형의 객체는 제1 유형의 생물학적 객체(예컨대, 제1 세포 유형)에 대응할 수 있고, 제2 유형의 객체는 제2 유형의 생물학적 객체(예컨대, 제2 세포 유형)에 대응할 수 있다.
각각의 생물학적 객체는 디지털 병리 이미지(들) 내에서 객체가 묘사되는 위치를 나타내는 위치 메타데이터와 연관될 수 있다. 상기 위치 메타데이터는 (예를 들어) 이미지 내의 점에 대응하는 좌표 세트, 생물학적 객체 묘사의 가장자리 또는 경계에 대응하는 좌표 및/또는 묘사된 객체의 영역에 대응하는 좌표를 포함할 수 있다. 예를 들어, 감지된 생물학적 객체 묘사는 분석 중인 이미지 내의 5x5 정사각형 픽셀에 대응할 수 있다. 위치 메타데이터는 생물학적 객체 묘사의 모든 25픽셀, 경계를 따라 16픽셀 또는 단일 대표 지점을 식별할 수 있다. 상기 단일 대표점은 (예를 들어) 중간점이거나 강도 값을 사용하여 25개 픽셀 각각에 사전 가중치를 부여한 다음, 가중치 중심점을 계산하여 계산함으로써 생성될 수 있다. 내용 또는 문맥 인식 가중치 측정을 포함한 다른 가중치 측정이 또한 적용될 수 있다.
단계(325)에서, 데이터 구조는 단계(320)에서 검출된 생물학적 객체 묘사에 기초하여 생성된다. 상기 데이터 구조는 생물학적 객체 묘사를 특성화하는 객체 정보를 포함할 수 있다. 각각의 검출된 생물학적 객체 묘사에 대해, 상기 데이터 구조는 생물학적 객체 묘사의 중심, 생물학적 객체 묘사의 둘레에 대응하는 픽셀, 또는 생물학적 객체 묘사의 영역에 대응하는 픽셀을 식별할 수 있다. 상기 데이터 구조는 각각의 생물학적 객체 묘사에 대해 묘사된 생물학적 객체에 대응하는 생물학적 객체의 유형(예컨대, 림프구, 종양 세포 등)을 추가로 식별할 수 있다.
단계(330)에서, 하나 이상의 공간 분포 메트릭이 생성된다. 상기 공간 분포 메트릭(들)은 생물학적 객체 묘사의 상대적 위치를 특성화한다. 일부 경우에, 단계(330)는 예시적인 단계(320)의 검출된 생물학적 객체 묘사 및 객체 유형에 기초하여 공간 분포 메트릭(들)을 생성하는 것을 포함할 수 있다. 예를 들어, 공간 분포 메트릭은 특정 유형의 객체 묘사가 서로에 대해 및/또는 다른 특정 유형의 객체 묘사에 대해 얼마나 근접 및/또는 클러스터되는지를 특성화할 수 있다.
단계(335)에서, 단계(330)에서 생성된 공간 분포 메트릭(들)은 저장 실체(entity)/데이터베이스, 사용자 인터페이스, 또는 서비스 플랫폼으로 출력된다. 상기 서비스 플랫폼은 출력 공간 분포 메트릭(들)을 사용하여 추가 분석을 제공할 수 있다. 상기 공간 분포 메트릭(들)은 (메트릭을 사용자에게 제시할 수 있는) 사용자 장치로 전송될 수 있으며, 그리고/또는 사용자 인터페이스를 통해 국소적으로 제시될 수 있다. 특정 구현예들에서, 검출된 생물학적 객체 묘사에 대응하는 이미지(들) 및/또는 주석이 추가로 출력(예컨대, 전송 및/또는 출력)된다.
특정 구현예들에서, 상기 사용자는 피험자에 대한 진단, 예후, 치료 추천, 또는 치료 적합성 결정에 대한 결정을 알리기 위해 공간 분포 메트릭(들)을 사용할 수 있다. 예를 들어, 면역 요법 및/또는 관문 면역 요법은 공간 분포 메트릭이 림프구가 종양 세포에 가깝거나 종양 세포와 함께 공동 국소화되어 있음을 나타낼 때 치료 권장 사항으로 식별될 수 있다. (예를 들어) 림프구와 종양 세포 사이의 거리를 나타내는 메트릭이 (예컨대, 300% 미만, 200% 미만, 150% 미만 또는 110% 미만) 동일 세포 유형(예컨대, 림프구 또는 종양 세포) 간의 거리를 나타내는 메트릭 유사할 때 림프구가 종양 세포에 가깝거나 이와 산재되어 있다고 결정할 수 있다. 이미지 내의 개별 영역에 할당된 각 세포 유형의 양을 나타내는 강도 값이 유사한 경우 림프구가 종양 세포에 가깝거나 이와 산재되어 있음을 결정할 수 있다. 예를 들어, 분석을 통해 강도 값이 세포 유형이 이미지 영역의 동일하거나 유사한 하위 집합 내에 밀집되어 위치함을 나타내는지 여부를 결정할 수 있다.
사용자는 피험자에 대한 진단, 예후 등을 제공할 수 있다. 예를 들어, 진단, 예후 등은 피험자에게 구두로 전달될 수 있으며, 그리고/또는 사용자의 장치에서 피험자의 장치로 전송될 수 있다(예컨대, 보안 포털을 통해). 사용자는 진단, 예후 등을 포함하도록 피험자의 전자 건강 기록을 업데이트하기 위해 사용자 장치를 추가로 사용할 수 있다.
권고의 결과, 피험자의 치료가 시작, 변경 또는 중단될 수 있다. 예를 들어, 추천된 치료가 시작될 수 있으며, 그리고/또는 특정 질병에 대한 승인된 치료가 특정 질병을 갖는 피험자를 진단하는 것에 대한 응답으로 시작될 수 있다.
도 3b는 일부 구현예들에 따른 공간 분포 메트릭을 사용하여 디지털 병리 이미지의 이미지 처리에 기초하여 건강 관련 평가를 제공하기 위한 방법(300b)을 도시한다. 방법(300b)의 단계(305-330)는 방법(300a)의 단계(305-330)와 대체로 유사하다. 하지만, 특정 구현예들에서, 디지털 병리 이미지 처리 시스템(135)은 (예컨대, 단계 347에서) 피험자에 대한 진단, 예후, 치료 권고, 또는 치료 적합성 결정을 예측하기 위해 공간 분포 메트릭(들)을 사용할 수 있다. 메트릭(들)에 대한 하나 이상의 임계값 및/또는 범위를 식별하는 하나 이상의 규칙을 사용하여 예측을 생성할 수 있다. 상기 예측은 진단, 예후 또는 치료 권장을 나타내는 결과를 포함할 수 있다. 상기 결과는 (예를 들어) 이진 값(예컨대, 피험자가 특정 의학적 상태를 가지고 있는지의 여부를 예측); 범주 값(예컨대, 종양 단계를 예측하거나 또는 잠재적 치료 세트 중에서 특정 치료를 식별) 또는 숫자(예컨대, 피험자가 주어진 상태를 가질 확률을 식별하고, 주어진 치료가 질병의 진행을 늦출 확률을 예측하며, 그리고/또는 상태가 다음 단계로 진행될 때까지의 기간을 예측)일 수 있다. 치료 권장은 관문 차단 요법 또는 면역 요법의 사용을 포함할 수 있다(예컨대, 메트릭이 종양 세포가 림프구와 산재되어 있음을 나타내는 경우).
상기 결과는, 비제한적인 예로서, 훈련된 회귀, 의사결정 트리, 또는 신경망 모델과 같은 훈련된 기계 학습 모델에 의해 생성될 수 있다. 특정 구현예들에서, 공간 분포 메트릭은 다수의 상이한 유형의 메트릭을 포함하고, 상기 모델은 다중 유형의 데이터를 처리하도록 구성된다. 예를 들어, 메트릭 유형 세트는 K 최근접 이웃(KNN) 분석을 기반으로 정의된 메트릭; 리플리 K 함수를 기반으로 정의된 메트릭; 모리스타-혼 지수; 모란 지수; 상관 함수를 기반으로 정의된 메트릭; 열점 분석을 기반으로 정의된 메트릭; 및 크리깅 보간을 기반으로 한 메트릭(예컨대, 일반 크리깅 또는 표시자 크리깅)을 기반으로 정의된 메트릭을 포함할 수 있으며, 그 결과는 메트릭 유형 세트 중 적어도 2개, 적어도 3개 또는 적어도 4개의 메트릭에 기초하여 생성될 수 있다.
단계(348)에서, 디지털 병리 이미지 처리 시스템(135)은 예측(결과를 출력하는 것을 포함할 수 있음)을 저장 실체/데이터베이스, 사용자 인터페이스, 또는 서비스 플랫폼에 출력할 수 있다. 예를 들어, 상기 예측은 국소적으로 제시될 수 있으며, 그리고/또는 (예컨대, 예측을 디스플레이하거나, 또는 그렇지 않으면 달리 제시할 수 있는) 사용자 장치로 전송될 수 있다. 디지털 병리학 이미지 처리 시스템(135)은 검출된 생물학적 객체 묘사를 식별하는 공간 분포 메트릭, 디지털 이미지(들) 및/또는 주석 데이터를 추가로 출력할 수 있다(사용자는 추가로 수신할 수 있음).
그런 다음, 상기 사용자는 확인된 진단, 예후, 치료 권장, 또는 치료 적합성 결정을 식별할 수 있다. 상기 확인된 진단, 예후 등은 예측된 진단, 예후 등과 일치 및/또는 대응할 수 있다. 디지털 병리 이미지 처리 시스템에 의해 생성된 예측(및/또는 기타 데이터)은 어떤 진단, 예후 또는 치료 권장이 식별되는지에 대해 사용자의 결정을 알릴 수 있다. 특정 구현예들에서, 사용자 식별 진단, 예후 또는 치료 권장이 예측된 것과 일치하는지 여부를 나타내는 피드백이 사용자로부터 디지털 병리 이미지 처리 시스템으로 제공될 수 있다. 상기 피드백은 공간 분포 메트릭을 예측 출력과 연관시키는 모델 및/또는 업데이트 규칙을 훈련하는 데 사용할 수 있다.
도 4는 공간 패턴 및 분포 메트릭을 식별하는 다양한 단계를 도시한다. 예를 들어, 도 4는 초기 디지털 병리 이미지, 수신된 이미지로부터의 생물학적 객체 묘사의 검출 결과, 검출된 생물학적 객체 묘사를 기반으로 한 이미지의 점 과정 분석, 및 수신된 이미지에서 검출된 생물학적 객체 묘사의 위치/강도를 보여주는 공간 분포(랜드마크 평가로 묘사됨)를 도시한다. 상기 공간 분포는 랜드마크 평가로 묘사되며, 감지된 개체는 림프구 및 종양 세포이다.
도 4는 피험자의 조직 생검의 예시적인 염색 섹션에 대한 디지털 병리 이미지(405)를 도시한다. 상기 조직 생검을 수집, 고정, 포매 및 절편화하였다. 각 섹션은 H&E 염색으로 염색하고 이미지화할 수 있었다. 염료의 헤마톡실린은 특정 세포 구조(예컨대, 세포 핵)를 제1 색으로 염색할 수 있고, 상기 염료의 에오신은 세포외 기질 및 세포질을 분홍색으로 염색할 수 있다. 디지털 병리 이미지(405)는 림프구 및 종양 세포의 두 가지 유형의 객체 묘사를 검출하기 위해 처리되었다(심부 신경망을 사용). 객체 데이터는 공간 분포 메트릭(하기에 설명됨)을 생성하기 위해 다양한 이미지 처리 프레임워크 및 기술(하기에 설명됨)에 따라 처리되었다.
일부 구현예들은 신규 및 수정된 프레임워크 및 메트릭 및 디지털 병리 이미지를 처리하기 위한 프레임워크 및 메트릭의 새로운 사용을 포함한다.
도 4에 도시된 표(410)는 다수의 생물학적 객체 묘사의 각각에 대해 하기를 식별하는 예시적인 생물학적 객체 데이터를 포함한다: 생물학적 객체와 관련된 개체 식별자, 이미징 전에 샘플을 염색하는 데 사용되는 염료 유형, 생물학적 객체의 유형(예컨대, 림프구 또는 종양 세포) 및 디지털 병리 이미지에서 생물학적 객체 묘사의 중심 좌표. 객체 검출기(예컨대, 생물학적 객체 검출기 하위 시스템(145))는 각각의 생물학적 객체 묘사에 대해 단일 지점 위치가 식별되도록 표(410)를 생성하는 데 사용되었다. 상기 단일 점 위치는 생물학적 객체 묘사를 위한 중심점으로 정의되었다. 점 과정 분석틀은 표 410을 기반으로 실시되었다.
림프구 점 이미지(415a)는 검출된 모든 림프구 묘사에 대한 종양 세포 좌표에서 림프구 점 표현(417a)을 묘사한다. 종양 세포 점 이미지(415b)는 검출된 모든 종양 세포 묘사에 대한 점 좌표에서 점 표현(417b)을 묘사한다.
예시적인 경관 표현(420a, 420b)은 생물학적 객체 특징 유형, 이 경우 림프구 및 종양 세포 특징 유형 각각에 대한 3차원 경관 데이터를 그래픽으로 도시한다.
경관 표현(420a, 420b)에 대한 3차원 경관 데이터는 두 가지 유형의 생물학적 객체 각각에 대한 점 데이터를 사용하여 생성될 수 있다(예컨대, 표 410에 도시된 바와 같이). 경관 표현(420a)의 x축 및 y축은 (예를 들어) 이미지(405) 및 림프구 점 이미지(415a)의 x 및 y축에 대응할 수 있다. 특정 구현예들에서, 경관 표현(420b)의 x축 및 y축은 디지털 이미지(405) 및 종양 세포 점 이미지(415b)의 x축 및 y축에 대응할 수 있다. 경관 데이터는 (x,y) 좌표에 대응하는 영역 내에서 검출된 주어진 유형의 생물학적 객체 묘사의 계산된 양을 특성화하는 z 값을 더 포함할 수 있다. 경관 데이터의 각 (x,y) 좌표 쌍은 x 값 범위와 y 값 범위에 대응한다. 따라서, z 값은 x 값 범위(경관의 전체 폭의 일부에 대응) 및 y 값 범위(경관의 전체 길이의 일부에 대응)에 의해 정의되는 영역에 걸쳐 위치하는 주어진 유형의 생물학적 객체 묘사의 수를 기반으로 결정할 수 있다.
3차원 표현은 피크의 높이를 시각적으로 비교할 수 있다는 점에서 이미지의 주어진 부분에서 한 유형의 생물학적 객체 묘사의 밀도가 다른 유형의 생물학적 객체의 묘사 밀도와 어떻게 비교되는지 결정하는 것을 용이하게 한다. 예를 들어, 림프구 및 종양 세포와 같은 생물학적 객체의 하나 이상의 유형의 각각에 대해 경관 데이터를 생성할 수 있다. 따라서, 림프구 경관 데이터의 피크는 피크의 위치에 대응하는 디지털 병리 이미지의 영역에서 많은 수의 림프구를 나타낼 수 있으며, 종양 세포 경관 데이터의 피크는 피크의 위치에 대응하는 디지털 병리 이미지의 영역에서 많은 수의 종양 세포를 나타낼 수 있다. 제2 생물학적 객체 유형의 피크와 비교하여 제1 생물학적 객체 유형의 피크를 관찰하는 것은 생물학적 객체 유형 및/또는 이의 묘사 사이의 관계를 나타낼 수 있다. 예를 들어, 림프구 피크가 있는 영역에 대응하는 영역에 있는 종양 세포 경관 피크를 관찰하는 것은 종양 세포가 림프구와 산재되어 있음을 나타낼 수 있다. 예를 들어, 경관 표현(420a)의 피크(425a)는 경관 표현(420b)의 피크(425b)에 대응할 수 있고; 피크(430a)는 피크(430b)에 대응할 수 있다. 경관 표현(420a) 및 경관 표현(420b)의 피크는 일반적으로 동일한 위치에 있으며, 따라서 생물학적 객체 유형들 간의 산재를 나타낸다. 피크들의 비교는 피크(430a) 및 피크(430b)의 위치에서의 산재와 비교할 때 피크(425a) 및 피크(425b)의 위치에서 더 적은 산재를 나타낸다. 일부 경우에, 피크(430a) 및 피크(430b)의 위치에 대응하는 디지털 병리 위치가 관심이 될 수 있고, 더 많은 디지털 병리 이미지 데이터 또는 대응 이미지 위치에 대응하는 추가의 생물학적 샘플을 수집하라는 프롬프트가 생성될 수 있다.
리플리 K 함수는 점 집합(예컨대, 생물학적 객체 묘사의 점 대표 이미지 위치에 대응하는 점)에서 공간 균질성의 편차를 감지하기 위한 추정기로서 사용할 수 있으며 많은 거리 척도에서 공간 클러스터링 또는 분산의 정도를 평가하는 데 사용할 수 있다. K 함수(또는 보다 구체적으로 샘플 기반 추정값)는 하기와 같이 정의할 수 있다:
여기서 d ij 는 총 n개의 생물학적 객체 묘사 중 i번째와 j번째의 쌍별 유클리드 거리를 나타내고; r은 검색 반경이며, 은 생물학적 객체 묘사의 평균 밀도이고(예컨대, n/A, 여기서 A는 모든 생물학적 객체 묘사를 포함하는 조직 영역이고; I()는 d ij ≤ r일 때 1인 지표 함수이며; w ij 는 에지 효과로 인한 편향된 추정을 피하기 위한 에지 보정 함수로 인한 편향된 추정을 피하기 위한 에지 보정 함수이다.
효율적인 기계 학습 체계를 설계하기 위해, 하기의 메트릭을 공식화하여 전체 K 함수를 요약할 수 있다:
1. 곡선 아래 면적: 생물학적 객체와 생물학적 객체 사이의 거리 r의 임상적으로 유의한 최대값이며, r max 가 식별되고, 0 ≤ r ≤ r max 에 대한 관찰된 K 함수와 이론적인 K 함수 사이의 면적을 계산할 수 있다(예컨대, 동일하거나 상이한 유형의 생물학적 객체가 공간적으로 독립된다고 가정하는 귀무 가설 하에).
2. r = r max 에서 관찰된 리플리 K 함수와 이론적인 리플리의 K 함수 간의 차이에 대한 점 추정치.
위의 특징은 제1 유형의 생물학적 객체 및 제2 유형의 생물학적 객체(예컨대, 종양 세포 및 림프구)에 대해 별도로 유도될 수 있다. 또한, 교차형 리플리 K 함수가 유사한 방식으로 유도될 수 있다. 리플리 K 함수를 사용하여, 생물학적 객체의 공간적 클러스터링 또는 분산의 정도를 추정하고 출력하여 생물학적 객체의 묘사 사이에서 이러한 클러스터링에 대한 이해를 제공할 수 있다(예컨대, 제1 유형의 생물학적 객체의 침투 또는 분리를 제2 유형의 생물학적 객체로 나타냄).
최근접 이웃 메트릭을 식별하기 위해, 검출된 생물학적 객체 묘사의 다양한 쌍의 위치 사이의 거리를 결정할 수 있다. 각 거리는 서로 상이한 유형의 생물학적 객체 묘사의 각 쌍에 대해 계산할 수 있다(예컨대, 각 종양 세포/림프구 쌍 사이). 주어진 생물학적 객체 묘사(예컨대, 개별 림프구의 묘사)와 관련된, 최근접 이웃 객체 묘사의 하위 집합은 주어진 유형의 것으로 식별되고 주어진 생물학적 객체의 묘사에 가장 가까운 것으로 묘사되는 것으로 정의될 수 있다. 예를 들어, 주어진 림프구에 대해, 최근접 이웃 하위 집합은 이미지에 묘사된 다른 종양 세포에 비해 주어진 림프구에 가장 가깝게 묘사된 n개의 종양 세포를 식별할 수 있다. 여기서, n은 프로그래밍 가능, 사용자 지시, 또는 기계 학습 값일 수 있다. 각 하위 집합에 대해, 상기 하위 집합의 생물학적 객체 묘사 위치들의 위치 중심을 계산할 수 있다. 주어진 생물학적 객체의 중심과 묘사 위치 사이의 최근접 이웃 메트릭은 이로부터 결정할 수 있다.
도 5a 및 도 5b는 2개의 예시적인 최근접 이웃 하위 집합을 도시한다. 예시적인 생물학적 객체 묘사의 위치는 도 5a 및 도 5b의 각각에 열린 원 데이터 점으로 표시된다. 각각의 생물학적 객체 묘사(예컨대, 림프구)에 대해, 제2 유형의 하나 이상의 최근접 이웃 생물학적 객체 묘사(예컨대, 미리 정의된 수의 최근접 이웃 종양 생물학적 객체 묘사)가 식별될 수 있다. 묘사된 예에서, 5개의 최근접 이웃 생물학적 객체 묘사가 식별되었다. 이러한 최근접 이웃의 위치는 채워진 데이터 점에 의해 도 5a 및 도 5b에 나타내었다. 최근접 이웃의 중심은 최근접 이웃 위치에 대해 계산할 수 있다. 중간점은, 예를 들어, 최근접 이웃 위치에 대한 평균, 중앙값, 가중 평균, 질량 중심 등으로 계산할 수 있다. 도시된 예에서, 중심 위치는 열린 원으로부터 연장되는 선의 끝 위치로 표시된다. 예시적인 생물학적 객체의 위치와 중심 사이의 최근접 이웃 거리 메트릭은 열린 원으로부터 연장되는 선에 의해 도 5a 및 도 5b에 도시되어 있다.
따라서, 주어진 생물학적 객체에 대해, 최근접 이웃 거리 메트릭은 제2 유형의 생물학적 객체의 최근접 이웃 하위집합에 대해 계산할 수 있다. 거리 메트릭을 사용하여 생물학적 객체를 분류할 수 있다. 예로서, 제1 생물학적 객체가 림프구이고 최근접 이웃 생물학적 객체가 종양 세포인 경우, 상기 분류는 인접 종양 림프구 또는 종양내 림프구인 것으로서 분류될 수 있다. 상기 분류는 최근접 이웃 거리에 대한 학습된 평가 또는 규칙 기반 평가를 기반으로 할 수 있다. 예를 들어, 림프구는 거리 메트릭이 임계값을 초과할 때 인접 종양 림프구로 분류될 수 있고 거리 메트릭이 임계값을 초과하지 않을 때 종양내 림프구로 분류될 수 있다. 상기 임계값은 하나 이상의 디지털 병리 이미지와 관련된 거리 메트릭을 기반으로 고정되거나 정의될 수 있다. 특정 구현예들에서, 상기 임계값은 2 성분 가우시안 혼합 모델을 디지털 병리 이미지에 묘사된 모든 생물학적 객체와 연관된 거리 메트릭에 피팅함으로써 계산할 수 있다. 도 5c는 이러한 식별 분석에 따라 과정의 문맥에 따라 생물학적 객체의 예시적인 특성화를 도시한다(예컨대, 생물학적 객체 묘사의 동일성, 생물학적 객체 묘사의 수, 생물학적 객체 묘사 유형의 동일성, 생물학적 객체 묘사 유형의 수, 최근접 이웃 거리의 절대값 및 상대값 등). 도 5c에 도시된 예에서, 흑색 점은 종양 세포 묘사를 나타낸다. 파란색 점은 종양 내 림프구로 분류된 림프구 묘사를 나타낸다. 녹색 점은 인접 종양 림프구로 분류된 림프구 묘사를 나타낸다.
교차 유형 쌍 상관 함수(PCF 교차)는 공간 점 과정에서 점(예컨대, 생물학적 객체 묘사의 점 대표 이미지 위치에 대응하는 점) 간의 공간 종속성에 대한 다른 통계적 측정이다. 특정 구현예들에서, 상기 PCF 교차 함수는 제1 유형(예컨대, 림프구)의 생물학적 객체 묘사가 제2 유형(예컨대, 종양 세포)의 생물학적 객체 묘사에 의해 어떻게 둘러싸여 있는지를 정량화할 수 있다. PCF 교차는 하기와 같이 표현할 수 있다:
여기서, 
, ψ ij 및 d ij 는 리플리 K 함수로 유사하게 정의되며, k h (.)는 평활 대역폭 h > 0로 평활 커널이다.
전체 PCF 교차는 하기의 메트릭에 따라 요약할 수 있다:
1. 곡선 아래 면적: 생물학적 객체와 생물학적 객체 사이의 거리 r의 임상적으로 유의한 최대값이며, r max 가 선택되고, 0 ≤ r ≤ rmax에 대한 관찰된 PCF 교차와 이론적인 PCF 교차 사이의 면적을 계산할 수 있다(예컨대, 동일하거나 상이한 유형의 생물학적 객체가 공간적으로 독립된다고 가정하는 귀무 가설 하에).
2. r = r max 에서 관찰된 리플리 PCF 교차와 이론적인 PCF 교차 간의 차이에 대한 점 추정치.
마크 상관 함수(MCF)는 생물학적 개체 묘사의 위치가 근처의 생물학적 객체 묘사(예컨대, 상이한 유형)의 위치와 관련하여 예상보다 다소 유사한지 여부, 또는 상기 위치가 제2 유형의 생물학적 객체 묘사와 독립적(예컨대, 무작위)인지 여부를 결정하는 것을 용이하게 한다. 다시 말해서, 제2 유형의 생물학적 객체 묘사의 위치및 존재가 제1 유형의 생물학적 객체 묘사의 위치 및 존재에 영향을 미치는지 여부이다. 상기 마크 상관 함수는 하기와 같이 정의할 수 있다:
여기서 
(s i , s j )는 거리 r만큼 떨어진 디지털 병리 이미지 위치 s i 및 s j 에 생물학적 객체 묘사가 있다고 가정할 때 경험적 조건부 기대치를 나타내며, M(s i ), M(s j )는 이러한 두 가지 생물학적 객체 묘사와 관련된 생물학적 객체 유형을 나타낸다. 분모에서, M, M’은 주변 분포에서 무작위로 독립적으로 추출된 생물학적 객체 유형이고; I(m1;m2)는 m1 == m2일 때 1로 정의된다.
전체 MCF는 하기의 메트릭에 따라 요약하였다:
1. 곡선 아래 면적: 생물학적 객체와 생물학적 객체 사이의 거리 r의 임상적으로 유의한 최대값이며, r max 가 선택되고, 0 ≤ r ≤ r max 에 대한 관찰된 MCF와 이론적인 MCF 사이의 면적을 계산하였다(예컨대, 동일하거나 상이한 유형의 생물학적 객체가 공간적으로 독립된다고 가정하는 귀무 가설 하에).
2. r = r max 에서 관찰된 MCF와 이론적인 MCF 간의 차이에 대한 점 추정치.
생물학적 객체 묘사에 대한 추가적인 평가는 하나 이상의 유형의 생물학적 객체 묘사의 보급률의 비교에 기초할 수 있다. 예를 들어, 특징은 제1 유형의 생물학적 객체 묘사의 양과 제2 유형의 생물학적 객체 묘사의 비교로부터 도출될 수 있다. 또한, 상기 특징은 특정 분류를 갖는 생물학적 객체 묘사(예컨대, 제1 유형 또는 제2 유형)의 비교에 의해 향상될 수 있다.
예를 들어, 종양 공간 이질성의 통계적 분석에 기초한 림프구 묘사의 분류는 종양 세포 밀도와 관련된 림프구 묘사 위치를 특성화할 수 있는 종양내 림프구 비율(ITLR)에 의해 특성화할 수 있다. 일부 구현예들에서, 평가는 관심 영역(예컨대, 종양 영역)의 주석과 같은 디지털 병리 이미지 주석의 사용에 의해 안내될 수 있다. 이들 영역의 각각 내에서, 각각의 림프구 묘사는 유클리드 거리 측정(본원에 기재된 바와 같음)에 기초하여 인접 종양 림프구 또는 종양내 림프구인 것으로 특징지어질 수 있다. 최근접 n개의 종양 세포는 각 림프구 묘사에 대해 식별될 수 있다(예컨대, 섹션 VI.A.3에 기재된 기술과 같은 최근접 이웃 기술을 사용). 여기서, n은 사용할 이웃 수에 대한 정의 가능한 매개변수이다. 둘째, n개의 최근접 종양 세포 묘사에 의해 형성된 볼록 껍질 영역의 중심 좌표가 유도될 수 있다. 각 림프구 묘사에서 최근접 종양 세포 묘사 및 볼록 껍질의 중심까지의 거리를 계산할 수 있으며, 2 성분 가우스 혼합 모델을 피팅하여 림프구를 인접 종양 림프구 또는 종양 내 림프구로 추가로 구별할 수 있다. 림프구가 종양 코어 영역으로 침투한 경우, 중심까지의 거리가 작아야 한다. 대조적으로, 상기 림프구가 여전히 종양 코어 영역으로 이동 중인 경우, 거리가 더 클 가능성이 있다. ITLR 기능은 하기와 같이 정의되었다:
여기서 N 종양내 림프구 는 종양 내 림프구의 총 수를 나타내고; N 종양 세포 는 종양 세포의 총 수를 나타낸다. 특정 생물학적 객체 유형의 특정 분류의 맥락에서 기재되었지만, BOR은 유사한 원리를 사용하여 자체의 맥락 의존적 특성화를 갖는 다른 생물학적 객체 묘사로 확장될 수 있다.
G-교차 함수는 임의의 주어진 거리 내에서 제1 유형의 생물학적 객체 묘사에서 제2 유형의 최근접 생물학적 객체 묘사까지 거리의 확률 분포를 계산한다. 구체적으로, G-교차 함수는 주어진 지점(예컨대, 디지털 병리 이미지에서 생물학적 객체 묘사의 점 위치 표현)을 중심으로 하는 r 반경 원 내에서 적어도 하나의 생물학적 객체 묘사(예컨대, 특정 유형의)를 찾을 확률을 나타내는 공간 거리 분포 메트릭으로 간주될 수 있다. 이러한 확률 분포는 두 가지 유형의 생물학적 객체 묘사의 상대적 근접성을 정량화하는 데 적용될 수 있다. 따라서, 예를 들어, G-교차 함수는 침투 결정의 정량적 대리가 될 수 있다. 수학적으로, G-교차 함수는 하기와 같이 표현된다:
여기서 
, j는 제1 유형의 생물학적 객체 묘사의 지수를 나타내고; I()는 d i ≤ r일 때 1인 표시기 함수이며; n lym 은 생물학적 개체의 총 수이다.
마찬가지로, 전체 G-교차 함수는 하기의 메트릭에 따라 요약할 수 있다:
1. 곡선 아래 면적: 생물학적 객체와 생물학적 객체 사이의 거리 r의 임상적으로 유의한 최대값이며, r max 가 선택되고, 0 ≤ r ≤ r max 에 대한 관찰된 G-교차 함수와 이론적인 G-교차 함수 사이의 면적을 계산하였다(예컨대, 동일하거나 상이한 유형의 생물학적 객체가 공간적으로 독립된다고 가정하는 귀무 가설 하에).
2. r = r max 에서 관찰된 G-교차 함수와 이론적인 G-교차 함수 간의 차이에 대한 점 추정치.
도 6a 내지 도 6d는 일부 구현예예들에 따른 예시적인 디지털 병리 이미지에서 생물학적 객체 묘사의 공간적 배열을 특성화하는 예시적인 거리 및 강도 기반 메트릭을 도시한다. 디지털 병리 이미지를 기반으로 파생된 4가지 유형의 공간 특징 메트릭의 각각에 대해, 통계 값이 r 값 범위에 걸쳐 표시된다. 도 6a는 샘플로부터 계산된 관찰된 G-교차 함수에 대한 G-교차 함수(좁은 점선) 및 제1 유형의 생물학적 객체와 제2 유형의 생물학적 객체가 공간적으로 독립적이라고(넓은 점선) 가정하는 귀무 가설 하에서 이론적 G-교차 함수를 도시한다. 상기 G-교차 함수는 본원에 기재된 바와 같이 계산할 수 있다. 도 6b는 제1 유형의 생물학적 객체 묘사에 대해 계산된 K-함수와 제2 유형(실선)의 생물학적 객체 묘사에 대해 계산된 K-함수 간의 차이를 도시한다. 상기 K-함수는 본원에 기재된 바와 같이 계산할 수 있다. 도 6c는 제1 유형의 생물학적 객체와 제2 유형의 생물학적 객체가 공간적으로 독립적이라고 가정하는 귀무 가설 하에(점선) 또는 묘사된 제1 유형의 생물학적 객체의 위치를 묘사된 제2 유형의 생물학적 객체(실선)와 비교함으로써 교차 유형의 쌍 상관 함수를 도시한다. 상기 쌍 상관은 본원에 기재된 바와 같이 계산하였다. 도 6d는 제1 유형의 생물학적 객체와 제2 유형의 생물학적 객체가 공간적으로 독립적이라고 가정하는 귀무 가설 하에(점선) 또는 묘사된 제1 유형의 생물학적 객체의 위치를 묘사된 제2 유형의 생물학적 객체(실선)와 비교함으로써 마크(Mark) 상관 함수를 도시한다. 상기 마크 상관은 본원에 기재된 바와 같이 계산하였다.
도 6a 내지 도 6d의 플롯은 본 예에 대해 제1 유형 및 제2 유형의 생물학적 객체 묘사가 객관적 측정에 기초하여 공간적으로 상관된다는 것을 도시한다. 본원에 개시된 알고리즘에 기초하여 추가적인 정량적 특징이 도출될 수 있다.
도 7은 영역 분석틀(230)의 적용을 도시한다. 특히, 영역 분석틀(230)은 염색된 샘플 섹션의 디지털 병리 이미지(405)를 처리하는 데 사용되었다. 특정 유형의 생물학적 객체(예컨대, 림프구 및 종양 세포)에 대한 묘사는 공간 점 과정 분석틀과 관련하여 상기 기재된 바와 같이 검출되었다. 상기 영역 분석틀(230)은 생물학적 객체 데이터를 추가로 생성하며, 이의 예가 표(410)에 도시되어 있다.
정의된 수의 열 및 정의된 수의 행을 갖는 공간 격자를 사용하여 디지털 병리 이미지(405)를 영역으로 분할할 수 있다. 예로서, 도 7에 도시된 바와 같이, 디지털 병리 이미지(405)를 공간 격자를 이용하여 22열 19행으로 분할하였다. 상기 공간 격자는 418개의 영역을 포함한다. 각 생물학적 객체 묘사는 영역에 할당될 수 있다. 특정 구현예들에서, 상기 영역은 생물학적 객체 묘사의 중간점 또는 다른 표현 지점을 함유하는 영역일 수 있다. 각 생물학적 객체 유형 및 각 격자 영역에 대해 대응 영역에 할당된 생물학적 객체 유형의 많은 생물학적 객체 묘사가 식별될 수 있다. 각 생물학적 객체 유형에 대해 지역별 생물학적 개체 수의 수집은 생물학적 객체 유형의 격자 데이터로 정의할 수 있다. 도 7은 제1 유형의 생물학적 객체 묘사를 위한 격자 데이터(715a) 및 제2 유형의 생물학적 객체 묘사를 위한 격자 데이터(715b)의 특정 구현예를 도시하며, 이의 각각은 염색된 섹션의 디지털 병리 이미지(405)의 표현에 오버레이된다. 격자 데이터는 격자의 각 지역에 대해 모든 영역에 걸쳐 총 개수로 나눈 영역에 대한 동일한 개수로 정의된 유병률 값을 포함하도록 정의될 수 있다. 따라서, 주어진 유형의 생물학적 객체가 없는 영역은 유병률 값이 0인 반면, 주어진 유형의 생물학적 객체가 하나 이상 있는 영역은 0이 아닌 양의 유병률 값을 갖는다.
두 가지 상이한 상황(예컨대, 종양)에서 생물학적 객체(예컨대, 림프구)의 동일한 양은 특성화 또는 특성화 정도(예컨대, 동일한 면역 침투)를 의미하지 않는다. 대신에, 제1 유형의 생물학적 객체 묘사가 제2 유형의 생물학적 객체 묘사와 관련하여 어떻게 분포되어 있는지는 기능적 상태를 나타낼 수 있다. 따라서, 동일하거나 상이한 유형의 생물학적 객체 묘사의 근접성을 특성화하면 더 많은 정보를 반영할 수 있다. 모리스타-혼 지수는 생물학적 또는 생태학적 시스템에서 유사성(예컨대, 중복)의 생태학적 측정이다. 특정 구현예들에서, 생물학적 객체 묘사의 두 집단(예컨대, 두 가지 유형) 간의 이변수 관계를 특성화하기 위한 모리스타-혼 지수(MH)는 하기와 같이 정의될 수 있다:
여기서, 
, 
는 정사각형 격자 i에서 각각 제1 유형의 생물학적 객체 묘사와 제2 유형의 생물학적 객체 묘사의 보급률을 나타낸다. 도 7에서, 격자 데이터(715a)는 격자점에 걸친 제1 유형의 생물학적 객체 묘사의 예시적인 유병률 값 
을 나타내고, 격자 데이터(715b)는 격자점에 걸친 생물학적 객체의 제2 유형의 묘사의 예시적인 유병률 값 
을 도시한다.
모리스타-혼 지수는 개별 격자 영역에 두 가지 유형의 생물학적 객체 묘사가 포함되지 않은 경우 0으로 정의한다(서로 상이한 생물학적 객체 유형의 분포가 공간적으로 분리되어 있음을 나타냄). 예를 들어, 상기 지수는 예시적인 제1 격자 데이터(720a)에 도시된 예시적인 공간적으로 분리된 분포를 고려할 때 0일 것이다. 모리스타-혼 지수는 격자 영역에 걸친 제1 생물학적 객체 유형의 분포가 격자 영역에 걸친 제2 생물학적 객체 유형의 분포와 일치(또는 축소된 버전)될 때 1로 정의된다. 예를 들어, 상기 지수는 예시적인 제2 격자 데이터(720b)에 도시된 예시적인 고도로 공동-국소화된 분포를 고려할 때 1에 가까울 것이다.
도 7에 도시된 예에서, 격자 데이터(715a) 및 격자 데이터(715b)를 사용하여 계산된 모리스타-혼 지수는 0.47이었다. 높은 지수 값은 제1 유형과 제2 유형의 생물학적 객체에 대한 묘사가 고도로 공동 국소화되었음을 나타낸다.
자카드(Jaccard) 지수(J) 및 쇠렌센(Sorensen) 지수(L)는 유사하며 서로 밀접한 관련이 있다. 특정 구현예들에서, 이들은 하기와 같이 정의될 수 있다:
여기서 
, 
는 정사각형 격자 i에서 각각 제1 유형의 생물학적 객체 묘사와 제2 유형의 생물학적 객체 묘사의 보급율을 나타내며 min(a, b) 는 a와 b 사이의 최소값을 반환한다.
특정 구현예들에서, 생물학적 객체 묘사의 공간적 분포를 특징짓는 다른 메트릭은 공간 자기상관의 척도인 모란 지수(Moran's Index)이다. 일반적으로, 모란 지수 통계량은 이웃하는 공간단위에서 제1 변수와 제2 변수 간의 관계에 대한 상관계수이다. 특정 구현예들에서, 상기 제1 변수는 제1 유형의 생물학적 객체 묘사의 보급율로 정의될 수 있고, 상기 제2 변수는 제2 유형의 생물학적 객체 묘사의 보급율로 정의될 수 있어, 생물학적 객체 묘사의 유형은 디지털 병리학 이미지에 산재되어 있다. 일부 구현예들에서, 모란 지수는 하기와 같이 정의될 수 있다:
여기서 x i , y j 는 영역 단위 i에서 제1 유형(예컨대,종양 세포)의 생물학적 객체 묘사의 표준화된 보급율을 나타내고, 영역 단위 j에서 제2 유형(예컨대, 림프구)의 생물학적 객체 묘사의 표준화된 보급율을 나타낸다. Ij 는 면적 단위 i와 j에 대한 이진 가중치이며, 두 개의 단위가 이웃하면 가중치는 1이고, 그렇지 않으면 0이며, 1차 체계를 사용하여 이웃 구조를 정의할 수 있다. 모란 지수(I)는 다양한 유형의 생물학적 객체에 대한 생물학적 객체 묘사에 대해 별도로 파생될 수 있다.
도 8에 도시된 바와 같이, 생물학적 객체 묘사가 격자를 가로질러 완벽하게 분산될 때(따라서 음의 공간 자기상관을 가질 때; "공동 국소화된 시나리오" 820a) 모란 지수는 -1과 동일한 것으로 정의되고; 생물학적 객체 묘사가 밀접하게 클러스터링된 경우(따라서 양의 자기상관을 가질 때; "분리된 시나리오"(820b)) 1이 된다. 모란 지수는 객체 분포가 임의의 분포와 일치할 때 0으로 정의된다. 따라서, 특정 생물학적 객체 묘사 유형의 영역 표현은 각 생물학적 객체 유형에 대한 모란 지수 계산을 지원하는 그리드 생성을 용이하게 한다.
격자 데이터(715a)를 이용하여 계산한 모란 지수는 0.50이었다. 림프구 격자 데이터 715b를 사용하여 계산한 모란 지수는 0.22이었다. 두 가지 유형의 생물학적 객체 묘사의 각각에 대해 계산된 모란 지수 간의 차이는 공동 위치의 표시를 제공할 수 있다(예컨대, 0에 가까운 차이는 공동 위치를 나타냄).
기어리(Geary)의 연속성 비율이라고도 하는 기어리 C는 공간적 자기상관의 척도 또는 동일한 현상에 대한 인접 관찰이 상관되는지 여부를 결정하려는 시도이다. 기어리 C는 모란 지수(I)와 반비례하지만, 동일하지는 않다. 모란 지수(I)가 전역 공간 자기 상관의 척도인 반면, 기어리 C는 국소 공간 자기 상관에 더 민감하다.
여기서 z i 는 사각형 격자 i에서 제1 유형 또는 제2 유형의 생물학적 객체 묘사의 보급율을 나타내고, i,j 는 상기 정의한 바와 같다.
특정 구현예들에서, 격자 데이터(715a) 및 격자 데이터(715b)는 제1 유형의 생물학적 객체의 검출된 묘사에 대응하는 열점 데이터(915a) 및 제2 유형의 생물학적 객체의 검출된 묘사에 각각 대응하는 열점 데이터(915b)를 생성하도록 추가로 처리될 수 있다. 도 9에서, 열점 데이터(915a) 및 열점 데이터(915b)는 생물학적 객체의 검출된 묘사의 각각의 유형에 대한 열점으로 결정된 영역을 나타낸다. 열점으로 검출된 영역은 빨간색 기호로 표시되고 열점이 아닌 것으로 결정된 영역은 검은색 기호로 표시된다. 열점 데이터(915a, 915b)는 0이 아닌 객체 수와 관련된 각 영역에 대해 정의되었다. 열점 데이터(915a, 915b)는 또한 주어진 영역이 열점으로 식별되었는지 여부를 나타내는 이진 값을 포함할 수 있다. 열점 데이터 및 분석 외에도, 냉점 데이터 및 분석을 실시할 수 있다.
생물학적 객체의 묘사와 관련하여, 열점 데이터(915a, 915b)는 생물학적 객체 유형에 대한 0이 아닌 객체 개수와 연관된 각 영역에 대한 게티스-오드 국소 통계를 결정함으로써 각 생물학적 객체 유형에 대해 생성될 수 있다. 게티스-오드 열점/냉점 분석은 종양 세포 또는 림프구의 통계적으로 유의미한 열점/냉점을 식별하는 데 사용할 수 있다. 여기서 열점은 인접 영역 단위 및 냉점과 비교하여 생물학적 객체 묘사의 보급률 값이 통계적으로 유의하게 높은 영역 단위이다. 냉점은 인접 영역 단위와 비교하여 생물학적 객체 묘사의 보급률 값이 통계적으로 유의하게 낮은 영역 단위이다. 열점/냉점 영역을 이웃 영역과 비교하는 값 및 결정은 사용자 선호도에 따라 선택할 수 있으며, 특정 구현예들에서는 규칙 기반 접근 방식 또는 학습된 모델에 따라 선택할 수 있다. 예를 들어, 검출된 생물학적 객체 묘사의 수 및/또는 유형, 묘사의 절대 수 및 기타 요인이 고려될 수 있다. 게티스-오드 국소 통계는 z-점수이며, 정사각형 그리드 i에 대해, 하기와 같이 정의할 수 있다:
여기서 i는 격자의 개별 영역(특정 행-열 조합)을 나타내고, n은 격자의 행 및 열 조합 수(즉, 영역의 수)이고, 
은 i와 j 사이의 공간 가중치이고, z j 는 영역에서 주어진 유형의 생물학적 객체 묘사의 보급률이며, 
은 영역 전체에 걸쳐 주어진 유형의 평균 객체 보급률이다.
특정 구현예들에서, 게티스-오드 국소 통계는 각 통계가 임계값을 초과하는지 여부를 결정함으로써 이진 값으로 변환될 수 있다. 예를 들어, 임계값을 0.16으로 설정할 수 있다. 상기 임계값은 사용자 선호도에 따라 선택할 수 있으며, 특정 구현예들에서는 기계 학습 접근 방식에 기반한 규칙에 따라 설정할 수 있다.
특정 구현예들에서, 논리적 AND 기능은 생물학적 객체의 하나 이상의 유형의 묘사에 대한 열점인 것으로 식별되는 영역을 식별하는 데 사용할 수 있다. 예를 들어, 공동 국소화된 열점 데이터(920)는 두 가지 유형의 생물학적 객체 묘사(빨간색 기호로 표시됨)에 대한 열점으로 식별된 영역을 나타낸다. 주어진 개체 유형(예컨대, 종양 세포 객체의 경우)에 대해 식별된 열점 영역의 수에 비해 공동 국소화된 열점으로 식별된 영역의 비율이 높으면 주어진 유형의 생물학적 객체 묘사가 다른 객체 유형과의 공간적 특성을 공유한다는 것을 나타낼 수 있다. 한편, 0 또는 0에 가까운 낮은 비율은 상이한 유형의 생물학적 객체의 공간적 분리와 일치할 수 있다.
지리 통계학은 원래 채굴 작업을 위한 공간 확률적 공정의 확률 분포를 예측하기 위해 개발된 수학적/통계적 방법의 모음이다. 지리 통계학은 석유 지질학, 지구 및 대기 과학, 농업, 토양 과학 및 환경 노출 평가를 포함한 다양한 분야에서 널리 적용된다. 지리 통계학의 영역에서 분산도는 데이터의 공간적 연속성을 설명하는 데 사용할 수 있다. 분산도 맞춤에서 기능을 생성하려면, 먼저 다양한 거리로 분리된 점 쌍(예컨대, 생물학적 객체 묘사의 대표적인 위치) 간의 가변성 측정을 사용하여 경험적 분산도를 이산 함수로 계산할 수 있다. 둘째, 경험적 분산도의 추정에 이론적인 분산도를 맞출 수 있다. 특정 구현예들, 마턴(Matern) 함수는 이론적인 분산도로서 사용할 수 있다. 공간 모델 {Z(s) : s 
D}을 고려한다. 여기서 Z(s)는 위치 s에서 종양 세포 또는 림프구의 유병률이고, D는 샘플 점 s1, s2, …, sn의 세트를 나타낸다. 경험적 분산도는 하기와 같이 계산할 수 있다:
도 10의 예에서, H&E 염색 이미지(405)에서 검출된 생물학적 객체의 묘사에 기초하여 경험적 분산도가 생성되었다(도 10에서 이론적인 분산도 플롯의 점으로 도시됨). 그런 다음, 이론적인 분산도(1015)는 경험적 분산도에 마턴 함수를 맞춰 생성하였다.
위의 계산에서, 합산은 유클리드 거리 h로 분리된 N(h) 쌍의 관찰(예컨대, 생물학적 객체 묘사의 쌍)에 대해서만 이루어진다. 마턴 함수의 매개변수를 상기 방법의 기능으로 사용할 수 있다. 특징은 제1 유형의 생물학적 객체(예컨대, 종양 세포)의 검출된 묘사와 제2 유형(예컨대, 림프구)의 생물학적 객체의 검출된 묘사의 분산도 맞춤으로부터 개별적으로 수득할 수 있다. 대안적으로, 여러 유형에 걸쳐 생물학적 객체의 검출된 묘사를 조합할 때 지표 분산도 맞춤이 실시될 수도 있다.
생물학적 객체 추정의 검출된 묘사의 분산도 및 점 위치는 디지털 병리 이미지(405)의 각 영역(예컨대, 픽셀)에 대해 특정 유형의 생물학적 객체가 대응 영역에서 묘사될 확률을 생성하는 데 사용될 수 있다. 도 10에 도시된 크리깅 지도(1020)는 디지털 병리 이미지(405)의 다중 영역 각각에 대해 특정 유형의 생물학적 객체(예컨대, 종양 세포)가 상기 영역에서 묘사될 확률을 도시한다.
특정 구현예들에서, 회귀 기계 학습 모델은 디지털 병리 이미지로부터 피험자의 상태에 대한 평가를 예측하기 위해, 예컨대, 피험자로부터의 생검 섹션의 디지털 병리 이미지를 처리하도록 훈련될 수 있다. 예를 들어, 회귀 기계 학습 모델은 대장암으로 진단된 피험자의 생검 섹션의 디지털 병리 이미지를 기반으로 암이 종양 DNA에서 미세위성 안정성(종양 DNA의 미세위성 불안정성)을 나타내는지 여부를 예측하도록 훈련될 수 있다. 미세위성 불안정성은 미세위성 내에서 상대적으로 많은 수의 돌연변이와 관련될 수 있다.
생검은 병태(본 예에서는, 결장직장암)를 갖는 여러 피험자 각각으로부터 수집될 수 있다. 샘플은 본원에 개시된 주요 대상에 따라 고정, 포매, 슬라이스, 염색 및 이미지화될 수 있다. 특정 유형의 생물학적 객체의 묘사, 예컨대, 종양 세포 및 림프구 생물학적 객체 묘사는, 예를 들어, 생물학적 객체 검출기 하위 시스템(145)을 사용하여 검출될 수 있다. 특정 구현예들에서, 상기 생물학적 객체 검출기 하위 시스템(145)은 생물학적 객체의 묘사를 인식하고 식별하기 위해 훈련된 심층 합성곱 신경망을 사용할 수 있다. 다수의 피험자의 각 피험자에 대해, 상태(예컨대, 암)가 특정 특징(예컨대, 미세위성 안정성 대 미세위성 불안정성)을 나타내는지 여부를 나타내기 위해 표지를 생성할 수 있다. 병리학자 평가 및 분석 기반 검사 결과를 기반으로 실측 표지를 생성할 수 있다.
각 피험자에 대해, 공간 분포 메트릭 세트를 포함하도록 입력 벡터를 정의할 수 있다. 공간 분포 메트릭의 세트는 본원에 기재된 메트릭의 선택을 포함할 수 있다. 예로서, 상기 입력 벡터에 포함될 메트릭은 하기를 포함할 수 있다:
- 0에서 최대 관찰 거리 범위의 생물학적 객체 대 생물학적 객체 거리에 대한 관찰된 K 함수와 이론적인 K 함수 사이의 영역.
- 최대 생물학적 객체 대 생물학적 객체 거리에서 관찰된 리플리 K 함수와 이론적인 리플리 K 함수 간의 차이에 대한 점 추정치.
- 0에서 최대 관찰 거리 범위의 생물학적 객체 대 생물학적 객체 거리에 대한 G-교차 함수의 곡선 아래 면적.
- 최대 생물학적 객체 대 생물학적 객체 거리에서 관찰된 리플리 G 교차 함수와 이론적인 G 교차 함수 간의 차이에 대한 점 추정치.
- 0에서 최대 관찰 거리 범위의 생물학적 객체 대 생물학적 객체 거리에 대한 쌍 상관 함수(교차 유형)의 곡선 아래 면적.
- 최대 생물학적 객체 대 생물학적 객체 거리에서 관찰된 쌍 상관 함수(교차 유형)와 이론적인 쌍 상관 함수 간의 차이에 대한 점 추정치.
- 0에서 최대 관찰 거리 범위의 생물학적 객체 대 생물학적 객체 거리에 대한 마크(Mark) 상관 함수(교차 유형)의 곡선 아래 면적.
- 최대 생물학적 객체 대 생물학적 객체 거리에서 관찰된 마크 상관 함수(교차 유형)와 이론적인 마크 상관 함수 간의 차이에 대한 점 추정치.
- 종양내 림프구 비율;
- 모리스타-혼 지수;
- 자카드 지수;
- 쇠렌센 지수;
- 모란 지수;
- 기어리 C;
- 게티스-오드 국소 통계를 사용하여 정의된 스팟(예컨대, 핫스팟, 콜드스팟, 중요하지 않은 스팟)을 갖는 제1 유형의 생물학적 객체 묘사에 대해 스팟(예컨대, 열점, 냉점, 중요하지 않은 스팟)의 수에 대한 생물학적 객체 묘사 유형에 대한 공동 국소화 스팟(예컨대, 열점, 냉점, 중요하지 않는 스팟)의 비율; 및
- 두 가지 유형의 생물학적 객체 묘사(예컨대, 종양 세포 및 림프구)의 분산도 맞춤으로 얻은 특징.
선택한 메트릭은 다수의 프레임워크(점 과정 분석틀, 영역 과정 분석틀 및 지리 통계적 틀)에 대응한다. 특정 구현예들에서, 각각의 피험자에 대해, 표시된 특징(예컨대, 미세위성 안정성)이 관찰되었는지 여부를 나타내기 위해 표지가 정의될 수 있다. L1 정규화된 로지스틱 회귀 모델은 라쏘(lasso)를 사용한 반복된 중첩 5중 교차 검증을 사용하여 쌍을 이루는 입력 데이터 및 표지로 훈련 및 시험할 수 있다. 구체적으로, 5개의 데이터 폴드 각각에 대해 나머지 4개 폴드에서 모델을 훈련하고 나머지 폴드에서 시험하여 ROC 아래 영역을 계산할 수 있다.
도 11은 5중 교차 검증을 사용하여 생성된 예시적인 중앙값 수신기 작동 곡선(ROC)을 도시한다. 기재된 예에서 검증 세트를 사용하여 생성된 ROC 아래의 중앙값 영역은 0.931이었다. 95% 신뢰구간은 (0.88, 0.96)이었다. L1 정규화된 로지스틱 회귀 모델에 의해 가장 자주 선택되는 입력 데이터 세트의 변수를 식별하여 피험자 조건의 지정된 기능을 가장 잘 예측하는 것으로 간주된 메트릭을 나타낼 수 있다. 예를 들어, 가장 자주 선택되는 메트릭은 게티스-오느 국소 통계를 사용하여 계산된 쌍 상관 함수 및 열점 비율의 곡선 아래 영역일 수 있으며, 이는 이러한 메트릭이 미세위성 불안정성을 가장 잘 예측함을 나타낸다. 디지털 병리 이미지를 처리하는 것은 번거롭고 비용이 많이 드는 검사를 대신할 수 있다. 예를 들어, 본원에서 논의된 예에서, 디지털 병리 이미지 처리 시스템은 주어진 피험자의 종양이 미세위성 불안정성을 나타내는지 여부를 결정하는 측면에서 처리가 DNA 분석을 미러링하거나 초과할 수 있음을 나타낼 수 있다. 따라서, 본 개시의 주요 대상에 따른 이미지 기반 접근법을 사용하면 DNA를 수집하기 위해 피험자로부터 추가적인 생검 샘플을 수집할 필요가 없을 수 있고, DNA 분석을 실시하기 위한 시간과 비용이 추가로 절약될 수 있다.
특정 구현예들에서, 제1 피험자 및 제2 피험자 각각에 대해, 염색된 생검 섹션의 디지털 병리 이미지가 액세스된다. 제1 유형의 생물학적 객체의 묘사 및 제2 유형의 생물학적 객체(예컨대, 림프구 및 종양 세포)의 묘사는 본원에 기재된 기술에 따라 각 이미지 내에서 검출될 수 있다. 본원에 기재된 입력 벡터는 각 피험자에 대해 생성될 수 있다. 상기 입력 벡터는 본원에 기재된 대로 훈련된 로지스틱 회귀 모델에 의해 별도로 처리될 수 있다.
상기 모델은 제1 피험자와 관련된 입력 벡터 처리에 대한 응답으로 제1 표지를 출력한다. 상기 제1 표지는, 예를 들어, 제1 피험자의 암이 미세위성 불안정성을 나타낸다는 예측에 대응할 수 있다.
상기 모델은 제2 피험자와 관련된 입력 벡터 처리에 대한 응답으로 제2 표지를 출력한다. 상기 제2 표지는, 예를 들어, 제2 피험자의 암이 미세위성 안정성을 나타내 않는다는 예측에 대응할 수 있다.
제1 표지 및 제2 표지는 각각 치료 권고 규칙에 따라 (별도로) 처리될 수 있다. 상기 규칙은 특정 치료, 예컨대, 피험자 상태의 특정 특징을 검출할 때, 예컨대, 미세위성 불안정성을 검출할 때, 면역 요법(또는 면역 관문 요법) 치료를 권장하도록 구성될 수 있거나, 또는 피험자 상태의 특정 특징을 검출할 때, 다른 치료, 예컨대, 면역 요법(또는 면역 관문 요법) 치료의 사용을 권장하도록 구성할 수 있다. 예를 들어, 규칙 처리의 결과는 면역 요법 치료가 제1 피험자에게는 권장되지만 제1 피험자에게는 권장되지 않음을 나타낼 수 있다.
특정 구현예들에서, 디지털 병리 이미지는 조직 구성요소의 공간 구조 및 이들의 미세환경 상호작용을 포함하는 종양 미세환경을 묘사할 수 있다. 상기 미세 환경은 조직 형성, 항상성, 재생 과정, 및 면역 반응 등과 관련하여 큰 영향을 미칠 수 있다.
비소세포폐암(NSCLC)은 주요 글로벌 건강 문제이며 전 세계적으로 암 관련 사망의 주요 원인이다. 이용 가능한 다양한 치료 옵션에도 불구하고 전이성(EGFR- 및 ALK-음성/미공지) NSCLC 환자의 경우, 화학요법이 여전히 치료의 주류를 이룬다. 하지만, 면역 관문 억제제가 상기 하위군에 대한 치료 알고리즘에 혁명을 일으키고 있다.
공간 통계(예컨대, 공간 분포 메트릭)는 통계가 다양한 치료에 대한 전체 생존을 예측하는 정도를 결정하기 위해 디지털 병리 이미지를 사용하여 계산할 수 있다. 다양한 치료법의 유효성을 시험하기 위해 임상 연구의 군을 설정할 수 있다. IV기 비편평 비소세포폐암을 갖는 화학요법 경험이 없는 참가자에서 카보플라틴 및 파클리탁셀 및 베바시주맙(예: "CPB 군")을 사용한 치료와 비교되는, 베바시주맙을 포함하거나 포함하지 않는(예: “ABCP 군”) 카보플라틴 및 파클리탁셀(예컨대, "ACP 군")과 병용한 아테졸리주맙(조작된 항 예정 사멸 리간드 1[PD-L1] 항체)의 안전성 및 유효성을 평가하기 위해 예시적인 임상 시험이 실시하였다. 참가자는 ACP 군, ACPB 군 또는 대조군인 CPB 군에 대해 1:1:1 비율로 무작위 배정되었다.
조직 샘플을 기준선에서 수집히였다. 각 치료 군의 각 피험자에 대해, 기준선 조직 샘플의 디지털 병리(예: H&E 병리학) 이미지를 캡처할 수 있다. 조직 샘플의 H&E 염색 슬라이드를 스캔하고 디지털화하여 본원에 기재된 유형의 디지털 병리 이미지를 생성하였다. 상기 디지털 병리 이미지(전체 슬라이드 이미지 또는 "WSI"라고도 함)에서 생물학적 객체의 하나 이상의 묘사와 관련된 영역에 주석을 달았다. 종양 세포, 면역 세포 및, 기타 기질 세포를 포함한 특정 유형의 생물학적 객체에 대한 묘사가 검출되었다. 생물학적 객체의 각 유형의 각각의 묘사에 대한 위치 좌표는, 예컨대, 본원에 개시된 주요 대상에 따라 생성되었다. 일 실시예에서, 다양한 연구 군의 유효성을 조사하는 동안, 예를 들어, 면역 침윤, 종양 자원 분포, 및 세포-세포 상호작용을 조사하기 위해 림프구 및 종양 세포에 초점을 맞출 수 있다.
각각의 이미지에 대해, 다양한 공간적 특징이, 예를 들어, 공간 점 과정의 방법(예컨대, 리플리 K 함수의 특징, G 기능의 특징, 쌍 상관 함수의 특징, 마크 상관 함수의 특징, 및 종양 내 림프구의 비율), 공간 격자 과정 방법(예컨대, 모리스타-혼 지수, 자카드 지수, 쇠렌센 지수, 모란 지수, 기어리 C 및 게티스-오드 열점), 및 지리 통계적 과정의 방법(일반 크리깅 기능, 지표 크리깅 기능)을 포함하여 본원에 논의된 공간 통계(예컨대, 공간 분포 메트릭) 알고리즘을 기반으로 감지된 생물학적 객체 조건 및/또는 이의 각각의 관련 위치를 기반으로 도출할 수 있다.
추가적으로, 임상 연구의 목적으로, 예를 들어, 피험자의 전체 생존과 같은 결과 변수를 식별할 수 있다.
일반적으로, 본 실시예에서 실시한 분석은 ACP 코호트와 BCP 코호트 간의 전체 생존 차이가 각 코호트의 일부만이 고려될 때 더 두드러지는지 여부를 결정하기 위해 - 대응 부분은 코호트의 다른 피험자들에 비해 더 긴 생존을 가질 것으로 예측되는 개체로서 선택됨 - 실시하였다. 예측은, 예를 들어, 피험자로부터 취한 샘플의 디지털 병리 이미지에 대해 생성된 본원에서 논의된 공간 분포 메트릭 중 하나 이상에 기초할 수 있다. 특정 구현예들에서, 제1 분석은 ACP 대 BCP의 치료 의도 집단을 전체 생존과 비교하는 것을 포함하였다. 제2 분석에는 파생된 공간 기능과 전체 생존(OS) 간의 연관성을 조사하기 위해 모델 기반 예측 강화 전략을 사용하는 것이 포함되었다. NSCLC 임상 연구를 포함한 임상 연구에 대한 예측 강화는, 예를 들어, 승산비(OR), 상대 위험도(RR), 또는 위험 비율(HR)로 측정된 치료에 대한 평균 반응보다 큰 전체 환자 모집단 Ω0에서 응답자 하위군 Ω을 식별한다. 상기 하위군에 초점을 맞추는 것은 연구 유효성 또는 실행 가능성을 높이고 전체 집단과 비교하여 하위 군의 피험자에 대한 이익-위험 관계를 향상시키는 이점이 있다. 한 가지 가능한 강화 전략은 무작위 배정이 뒤따르는 개방형 단일군 시험이다. 본 설계에서, 연구 치료는 모든 피험자에게 제공되고, 사전 지정된 기준(예컨대, 연구 평가변수 또는 생체표지자)에 의해 식별된 반응자는 위약 대조 시험으로 무작위화된다.
예를 들어, 모델 기반 방법론을 사용하여 예측 강화 문제를 해결할 수 있다. 특히, 임상 연구가 이미 실시행된 경우 강화 모델을 소급하여 개발할 수 있다. 상기 강화 모델을 소급적으로 개발하기 위해, 데이터를 각 군에서 60:20:20으로 훈련, 검증 및 검사 세트로 나눌 수 있다(예컨대, 본원에 개시된 주요 대상에 따라). 치료군의 훈련 세트는, 예를 들어, 경험적 설계에서 공개 라벨 사전 무작위화 단계를 시뮬레이션하는 데 사용할 수 있다. 공간 통계적 특성을 입력으로 포함하는 Cox 모델 또는 객관적 반응 모델은 치료 군(예: ACP)의 훈련 세트에서 L 1 또는 L 2 정규화로 맞출 수 있다. 맞춰진 Cox 모델에서 예측된 위험 점수 또는 예측된 반응 확률을 반응 점수 S로 사용할 수 있으며, 반응자 기준은 하위 집합 조건의 형태로 지정할 수 있다:
여기서 S q 는 반응 점수의 q-분위수를 나타내고 x는 특징 벡터로 특성화되는 피험자 수준의 공변량을 나타낸다. 조합된 치료 및 대조군 환자의 검증 세트를 사용하여 무작위화 전에 모집된 피험자 군을 시뮬레이션할 수 있다. 하위 집합 조건을 구현하기 위해, 검증 세트의 치료군 및 대조군에 대한 분위수를 동일한 q를 사용하여 각각 계산할 수 있지만, 상기 방정식을 사용하여 검증 세트의 치료군과 대조군에 대한 하위 집합을 각각 취한다. 본 실시예의 하위 집합 
은 검증 세트의 응답자 하위 그룹에 대한 하위 집합인 처리와 대조군 사이의 가장 중요한 차이에 대해 생존 데이터에 대한 로그 순위 시험 또는 객관적 반응 데이터에 대한 순열 시험을 사용하는 q를 평가하여 추정할 수 있다. 하위 집합 
은 사전 특정 반응 임계값 q를 사용하여 추정할 수도 있다. 상기 임계값 
이 있는 강화 조건은 
이 되고, 위험 비율 또는 승산비에 대한 시험 세트에서 동일한 방법으로 평가할 수 있다.
샘플 크기가 제한된 구현예들에서, 내포된 몬테카를로 교차 검증(Monte Carlo Cross Validation, nMCCV)을 사용하여 모델 성능을 평가할 수 있다. 훈련, 검증 및 시험 세트 간에 동일한 비율로 무작위로 분할하여 동일한 강화 절차를 B번 반복함으로써, 점수 함수 및 임계값 
의 조합을 생성할 수 있다. i 번째 피험자에 대해, 조합된 반응자 상태는 i가 시험 세트에 무작위화되고, 이는 i에 대한 반응자 군의 구성요소이며, 0.5 만큼 임계화하는 반복들 중에서 평균화하여 평가할 수 있다. 95% 신뢰 구간 및 p 값과 함께 위험 비율 또는 승산 비는 집계된 시험 피험자들에 대해 계산할 수 있다.
예측 분석을 위한 전체 작업 흐름은 도 12의 흐름도에 요약되어 있다. 더 구체적으로, 연구 코호트의 각 피험자에게 표지를 할당하기 위해, 내포된 몬테카를로 교차 검증(nMCCV) 모델링 전략을 사용하여 과적합(overfitting)을 극복하였다.
구체적으로, 각 피험자에 대해, 블록(1205)에서, 데이터 세트는 60:20:20의 비율로 훈련, 검증, 및 검사 데이터 부분으로 분할될 수 있다. 블록(1210)에서, 10개의 모델(동일한 모델 아키텍처를 가짐)을 생성하기 위해 훈련 세트를 사용하여 10배의 교차 검증 리지-콕스(Ridge-Cox, L2 정규화된 Cox 모델)가 실시될 수 있다. 생성된 10개의 모델 중 특정 모델을 10배의 학습 데이터를 기반으로 선택하여 저장할 수 있다. 블록(1215)에서, 특정 모델은 특정 변수를 조정하기 위해 검증 세트에 적용될 수 있다. 예를 들어, 상기 변수는 위험 점수에 대한 임계값을 식별할 수 있다. 그런 다음, 블록(1220)에서, 임계값 및 특정 모델은 피험자가 더 긴 생존 군 또는 더 짧은 생존 군으로 계층화되는지 여부를 예측하는 피험자에 대한 투표를 생성하기 위해 독립 검사 세트에 적용될 수 있다. 데이터 분할, 훈련, 컷오프(cut-off) 식별 및 투표 생성(블록 1205-1220)은 N(예: = 1000)번 반복할 수 있다. 블록(1225)에서, 상기 피험자는 그런 다음 투표에 기초하여 더 긴 생존 군 또는 더 짧은 생존 군 중 하나에 할당된다. 예를 들어, 블록(1225)의 단계는 어떤 군이 다수의 투표와 연관되었는지를 결정함으로써 더 긴 생존 군 또는 더 짧은 생존 군에 피험자를 할당하는 것을 포함할 수 있다. 블록(1230)에서, 그런 다음 생존 분석이 더 긴/짧은 생존 군의 피험자에 대해 실시될 수 있다. 관심의 결과를 기반으로 데이터에 다양한 표지를 적용하는 유사한 절차를 임의의 적합한 임상 평가 또는 적합성 연구에 적용할 수 있음을 이해해야 한다.
ACP 대 BCP의 치료 의도 집단을 전체 생존 위험 비율(HR) 0.85(95% CI 0.71-1.03)와 비교할 때의 주요 결과와 대조적으로, 제안된 접근 방식은 본 실시예의 ACP의 식별된 군 및 BCP 코호트 군 간의 명확한 구분을 가져왔다(HR = 0·64(95% CI 0·45-0.91, 도 13)). 1.0의 전체 생존 위험 비율은 생존이 코호트에서 통계적으로 동일함을 나타낸다. 따라서, 본 설명된 실시예서, 제2 분석 접근 방식을 사용하여 확보한 더 낮은 위험 비율(그런 동안, 통계는 공간 통계 및/또는 공간 분포 메트릭을 기반으로 더 긴 생존을 가질 것으로 예측된 코호트의 일부에 대해서만 계산됨)은 제2 분석이 치료(ACP 치료)가 효과적일 수 있는 피험자를 더 잘 식별할 수 있음을 암시한다. 따라서, 공간 분포 메트릭의 사용은 이전 접근 방식에 비해 개선된 사항을 나타낸다.
본 실시예의 분석에 사용된 공간 통계 및 공간 분포 메트릭을 기반으로 하는 포괄적인 모델은 조직 병리학 이미지를 공간 데이터로 모델링함으로써, 이 경우, 종양 미세 환경 공간 이질성에 대한 시스템 수준의 지식을 생성하는 분석 파이프라인을 강화하였다. 결과는 공간 통계에 기반한 방법이 표준 치료와 비교하여 아테졸리주맙 치료로부터 혜택을 받는 피험자를 계층화할 수 있음을 보여준다. 이 효과는 본 실시예에서 논의된 특정 치료 평가에 제한되지 않는다. 공간 통계를 사용하여 조직병리학 이미지 및 기타 디지털 병리 이미지를 특성화하면, 임상 환경에서 치료 결과를 예측하고, 따라서 치료 선택을 알리는 데 유용할 수 있다.
본 개시내용의 일부 구현예들은 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 구현예들에서, 상기 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 하나 이상의 프로세서 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다. 본 개시내용의 일부 구현예들은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 여기서 개시된 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 기계 판독형 저장 매체로 유형으로 구현되는 컴퓨터-프로그램 프로덕트를 포함한다.
사용된 용어 및 표현은 설명의 용어로 사용되며 제한이 없으며, 이러한 용어 및 표현의 사용에 있어서 도시 및 설명된 특징 또는 그 일부의 등가물을 배제하려는 의도는 없지만, 청구된 발명의 범위 내에서 다양한 수정이 가능하다는 것이 인정된다. 따라서, 청구된 바와 같은 본 발명이 실시예 및 선택적인 특징에 의해 구체적으로 개시되었지만, 여기에 개시된 개념의 수정 및 변형이 당업자에 의해 의지될 수 있고, 그러한 수정 및 변형이 첨부된 청구범위에 의해 정의된 바와 같이 본 발명의 범위 내에 있다는 것을 이해해야 한다.
뒤 이은 설명은 단지 바람직한 예시적인 실시 형태를 제공하며, 본 개시내용의 범위, 적용 가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 바람직한 예시적인 실시예의 뒤 이은 설명은 다양한 실시예를 구현하기 위한 가능한 설명을 통상의 기술자에게 제공할 것이다. 첨부된 특허청구범위에 기재된 정신 및 범위를 벗어나지 않고 요소의 기능 및 배열에 다양한 변경이 이루어질 수 있음을 이해해야 한다.
실시예의 완전한 이해를 제공하기 위해 다음 설명에서 특정 세부사항이 제공된다. 그러나, 이러한 특정 세부사항 없이 실시예가 실시될 수 있음이 이해될 것이다. 예를 들어, 회로, 시스템, 네트워크, 프로세스 및 그 밖의 다른 구성요소는 실시예를 불필요한 세부 사항으로 모호하게 하지 않기 위해 블록도 형태의 구성요소로 표시될 수 있다. 다른 경우에서, 일반적으로 공지된 회로, 프로세스, 알고리즘, 구조 및 기술은 실시예를 모호하게 하는 것을 피하기 위해 불필요한 세부 사항 없이 표시될 수 있다.
Claims (20)
- 주어진 의학적 상태를 갖는 대상체로부터 수집된 생물학적 샘플의 한 섹션을 묘사하는 디지털 병리 이미지에 컴퓨팅 시스템이 액세스하는 단계,
상기 디지털 병리 이미지 내에서 생물학적 개체 묘사의 세트를 검출하는 단계이며, 상기 생물학적 개체 묘사의 세트는
제1 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제1 세트 및
제2 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제2 세트
를 포함하는 것인 단계,
상기 생물학적 개체 묘사의 하나 이상의 관계적 위치 표현을 생성하는 단계이며, 상기 하나 이상의 관계적 위치 표현의 각각은 제2 생물학적 개체 묘사에 대한 제1 생물학적 개체 묘사의 위치를 나타내는 것인 단계,
상기 하나 이상의 관계적 위치 표현을 이용하여, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부와 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부 사이에 산재된 정도를 특성화하는 공간 분포 메트릭을 결정하는 단계,
상기 공간 분포 메트릭에 기초하여, 면역학적 반응을 조절하는 주어진 치료가 상기 대상체의 주어진 의학적 상태를 효과적으로 치료하는 정도에 관한 예측에 대응하는 결과를 생성하는 단계,
상기 결과에 기초하여 상기 대상체가 임상 시험에 적합하다고 결정하는 단계, 및
상기 대상체가 상기 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성하는 단계
를 포함하는 방법. - 제1항에 있어서, 상기 공간 분포 메트릭은
K 최근접 이웃(K-nearest-neighbor) 분석을 기반으로 정의된 메트릭,
리플리(Ripley) K 함수를 기반으로 정의된 메트릭,
모리스타-혼(Morisita-Horn) 지수,
모란(Moran) 지수,
상관 함수를 기반으로 정의된 메트릭,
열점/냉점 분석을 기반으로 정의된 메트릭, 또는
크리깅(Kriging) 기반 분석을 기반으로 정의된 메트릭
을 포함하는 것인 방법. - 제1항에 있어서,
상기 공간 분포 메트릭은 제1 유형의 메트릭이고,
상기 방법은
상기 하나 이상의 관계적 위치 표현을 사용하여, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부와 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부 사이에 산재된 정도를 특성화하는 제2 공간 분포 메트릭을 결정하는 단계
를 추가로 포함하고,
여기서
상기 제2 공간 분포 메트릭은 상기 제1 유형의 메트릭과 상이한 제2 유형의 메트릭이며,
상기 결과는 상기 제2 공간 분포 메트릭에 추가로 기초하여 생성되는 것인 방법. - 제3항에 있어서,
상기 결과를 생성하는 단계는 훈련된 기계 학습 모델을 사용하여 상기 제1 공간 분포 메트릭 및 제2 공간 분포 메트릭을 처리하는 것을 포함하고,
상기 훈련된 기계 학습 모델은 훈련 요소 세트를 사용하여 훈련된 것이고,
상기 훈련 요소 세트의 각각은 상기 임상 시험과 관련된 특정 치료를 받았던 다른 대상체에 대응하며,
상기 훈련 요소 세트의 각각은 공간 분포 메트릭의 다른 세트 및 상기 주어진 치료가 상기 다른 대상체에서 면역학적 반응을 활성화한 정도를 나타내는 반응성 값을 포함하는 것인 방법. - 제1항에 있어서, 상기 결과를 생성하는 단계는 상기 공간 분포 메트릭의 값을 임계값과 비교하는 것을 포함하는 것인 방법.
- 제1항에 있어서,
상기 주어진 의학적 상태는 암의 한 유형이고,
상기 주어진 치료는 면역 관문 차단 치료인 방법. - 제1항에 있어서, 상기 하나 이상의 관계적 위치 표현은, 상기 생물학적 개체 묘사 세트의 각각의 생물학적 개체 묘사에 대하여, 상기 디지털 병리 이미지 내에서 생물학적 개체 묘사의 위치를 식별하는 좌표 세트를 포함하는 것인 방법.
- 제1항에 있어서, 상기 생물학적 개체 묘사의 하나 이상의 관계적 위치 표현을 생성하는 단계는
상기 생물학적 개체 묘사의 제1 세트의 각각의 생물학적 개체 묘사에 대하여, 상기 생물학적 개체 묘사에 대응하는 디지털 병리 이미지 내의 제1 지점 위치를 식별하고,
상기 생물학적 개체 묘사의 제2 세트의 각각의 생물학적 개체 묘사에 대하여, 상기 생물학적 개체 묘사에 대응하는 디지털 병리 이미지 내의 제2 지점 위치를 식별하며,
상기 제1 지점 위치와 상기 제2 지점 위치를 비교하는 것
을 포함하는 것인 방법. - 제8항에 있어서, 상기 디지털 병리 이미지 내의 제1 지점 위치는, 상기 생물학적 개체 묘사의 제1 세트의 생물학적 개체 묘사에 대하여, 평균점 위치, 중심점 위치, 중앙점 위치, 또는 가중점 위치를 계산함으로써 선택되는 것인 방법.
- 제8항에 있어서, 상기 공간 분포 메트릭은, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부의 각각에 대하여 및 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부의 각각에 대하여, 상기 생물학적 개체 묘사의 제1 세트의 생물학적 개체 묘사에 대응하는 제1 지점 위치와 상기 생물학적 개체 묘사의 제2 세트의 생물학적 개체 묘사에 대응하는 제2 지점 위치 사이의 거리를 계산하는 것을 포함하는 것인 방법.
- 제8항에 있어서, 상기 공간 분포 메트릭은, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부의 각각에 대하여, 상기 생물학적 개체 묘사의 제1 세트의 생물학적 개체 묘사에 대응하는 제1 지점 위치와 상기 생물학적 개체 묘사의 제2 세트의 생물학적 개체 묘사에 대응하는 제2 지점 위치 사이의 거리와 관련된 상기 생물학적 개체 묘사의 제2 세트의 하나 이상을 식별하는 것을 추가로 포함하는 것인 방법.
- 제1항에 있어서, 상기 하나 이상의 관계적 위치 표현은, 디지털 병리 이미지의 이미지 영역 세트의 각각에 대하여,
상기 영역 내 위치하는 것으로 식별되는 제1 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 절대적 또는 상대적인 양에 대한 표현, 및
상기 영역 내 위치하는 것으로 식별되는 제2 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 절대적 또는 상대적인 양에 대한 표현
을 포함하는 것인 방법. - 제1항에 있어서, 상기 하나 이상의 관계적 위치 표현은 생물학적 개체 묘사의 제2 세트에 대한 생물학적 개체 묘사로부터 주어진 거리 내에 위치하는 것으로 묘사되는 생물학적 개체 묘사의 제1 세트에 대한 생물학적 개체 묘사의 거리 기반 확률을 포함하는 것인 방법.
- 제1항에 있어서,
상기 대상체에 대한 유전자 서열분석 또는 방사선 영상 데이터에 액세스하는 단계
를 추가로 포함하고,
상기 결과는 상기 유전자 서열분석 또는 방사선 영상 데이터의 특성을 기반으로 추가로 생성되는 것인 방법. - 제1항에 있어서,
상기 제1 부류의 생물학적 개체는 종양 세포이고,
상기 제2 부류의 생물학적 개체는 면역 세포인 방법. - 제1항에 있어서,
상기 대상체의 식별자를 포함하는 사용자 장치로부터 사용자 입력 데이터를 수신하는 단계이며, 상기 식별자를 수신하는 것에 응답하여 상기 컴퓨팅 시스템이 상기 디지털 병리 이미지에 액세스하는 것인 단계
를 추가로 포함하고,
여기서 상기 대상체가 상기 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성하는 단계는 상기 대상체가 상기 임상 시험에 적합하다는 표시를 상기 사용자 장치에 제공하는 것을 포함하는 것인 방법. - 제16항에 있어서,
상기 대상체가 상기 임상 시험에 등록되었다는 표시를 수신하는 단계
를 추가로 포함하는 방법. - 제1항에 있어서, 상기 대상체가 상기 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성하는 단계는 상기 대상체에게 상기 임상 시험에 대한 적합성의 결정을 알리는 것을 포함하는 것인 방법.
- 하나 이상의 데이터 프로세서, 및
상기 하나 이상의 데이터 프로세서에 통신 가능하게 연결되고, 상기 하나 이상의 데이터 프로세서에 의해 실행될 때 상기 하나 이상의 데이터 프로세서가 하기의 하나 이상의 동작을 실시하게 하는 명령을 포함하는 비일시적 컴퓨터 판독가능 저장 매체
를 포함하는 시스템이며,
상기 하나 이상의 동작은
주어진 의학적 상태를 갖는 대상체로부터 수집된 생물학적 샘플의 한 섹션을 묘사하는 디지털 병리 이미지에 액세스하는 단계,
상기 디지털 병리 이미지 내에서 생물학적 개체 묘사의 세트를 검출하는 단계이며, 상기 생물학적 개체 묘사의 세트는
제1 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제1 세트 및
제2 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제2 세트
를 포함하는 것인 단계,
상기 생물학적 개체 묘사의 하나 이상의 관계적 위치 표현을 생성하는 단계이며, 상기 하나 이상의 관계적 위치 표현의 각각은 제2 생물학적 개체 묘사와 관련된 제1 생물학적 개체 묘사의 위치를 나타내는 것인 단계,
상기 하나 이상의 관계적 위치 표현을 이용하여, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부와 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부 사이에 산재된 정도를 특성화하는 공간 분포 메트릭을 결정하는 단계,
상기 공간 분포 메트릭에 기초하여, 면역학적 반응을 조절하는 주어진 치료가 상기 대상체의 주어진 의학적 상태를 효과적으로 치료하는 정도에 관한 예측에 대응하는 결과를 생성하는 단계,
상기 결과에 기초하여 상기 대상체가 임상 시험에 적합하다고 결정하는 단계, 및
상기 대상체가 상기 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성하는 단계
를 포함하는 것인 시스템. - 하나 이상의 데이터 프로세서에 의해 실행될 때 상기 하나 이상의 데이터 프로세서가 하기의 단계들을 포함하는 동작을 실시하게 하는 명령을 포함하는 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체이며,
상기 동작은
주어진 의학적 상태를 갖는 대상체로부터 수집된 생물학적 샘플의 한 섹션을 묘사하는 디지털 병리 이미지에 액세스하는 단계,
상기 디지털 병리 이미지 내에서 생물학적 개체 묘사의 세트를 검출하는 단계이며, 상기 생물학적 개체 묘사의 세트는
제1 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제1 세트 및
제2 부류의 생물학적 개체에 대한 생물학적 개체 묘사의 제2 세트
를 포함하는 것인 단계,
상기 생물학적 개체 묘사의 하나 이상의 관계적 위치 표현을 생성하는 단계이며, 상기 하나 이상의 관계적 위치 표현의 각각은 제2 생물학적 개체 묘사와 관련된 제1 생물학적 개체 묘사의 위치를 나타내는 것인 단계,
상기 하나 이상의 관계적 위치 표현을 이용하여, 상기 생물학적 개체 묘사의 제1 세트의 적어도 일부와 상기 생물학적 개체 묘사의 제2 세트의 적어도 일부 사이에 산재된 정도를 특성화하는 공간 분포 메트릭을 결정하는 단계,
상기 공간 분포 메트릭에 기초하여, 면역학적 반응을 조절하는 주어진 치료가 상기 대상체의 주어진 의학적 상태를 효과적으로 치료하는 정도에 관한 예측에 대응하는 결과를 생성하는 단계,
상기 결과에 기초하여 상기 대상체가 임상 시험에 적합하다고 결정하는 단계, 및
상기 대상체가 상기 임상 시험에 적합하다는 표시를 포함하는 디스플레이를 생성하는 단계
를 포함하는 것인, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063026545P | 2020-05-18 | 2020-05-18 | |
| US63/026,545 | 2020-05-18 | ||
| US202063077232P | 2020-09-11 | 2020-09-11 | |
| US63/077,232 | 2020-09-11 | ||
| PCT/US2021/032811 WO2021236544A1 (en) | 2020-05-18 | 2021-05-17 | Pathology prediction based on spatial feature analysis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230011954A true KR20230011954A (ko) | 2023-01-25 |
Family
ID=76306054
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227043274A KR20230012524A (ko) | 2020-05-18 | 2021-05-17 | 디지털 병리 영상에 대한 공간 특징 분석 |
| KR1020227040518A KR20230011954A (ko) | 2020-05-18 | 2021-05-17 | 공간적 특징 분석을 기반으로 한 병리 예측 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227043274A KR20230012524A (ko) | 2020-05-18 | 2021-05-17 | 디지털 병리 영상에 대한 공간 특징 분석 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US20230143860A1 (ko) |
| EP (2) | EP4154164A1 (ko) |
| JP (2) | JP2023531154A (ko) |
| KR (2) | KR20230012524A (ko) |
| CN (2) | CN115668284A (ko) |
| WO (2) | WO2021236544A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220108442A1 (en) * | 2020-10-02 | 2022-04-07 | Leif E. Honda | Identifying Morphologic, Histopathologic, and Pathologic Features with a Neural Network |
| US20220130542A1 (en) * | 2020-10-22 | 2022-04-28 | The Regents Of The University Of Michigan | Using machine learning to assess medical information based on a spatial cell organization analysis |
| WO2023154573A1 (en) * | 2022-02-14 | 2023-08-17 | Bostongene Corporation | Machine learning techniques for tertiary lymphoid structure (tls) detection |
| WO2023167448A1 (ko) * | 2022-03-03 | 2023-09-07 | 주식회사 루닛 | 병리 슬라이드 이미지를 분석하는 방법 및 장치 |
| WO2024076538A1 (en) * | 2022-10-03 | 2024-04-11 | Ventana Medical Systems, Inc. | System and method for multimodal prediction of patient outcomes |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9865053B1 (en) * | 2011-09-28 | 2018-01-09 | Flagship Biosciences, Inc. | Method for scoring pathology images using spatial statistics of cells in tissues |
| US20180089495A1 (en) * | 2011-09-28 | 2018-03-29 | Flagship Biosciences, Inc. | Method for scoring pathology images using spatial analysis of tissues |
| GB201420859D0 (en) * | 2014-11-24 | 2015-01-07 | Cancer Res Inst Royal | Tumour analysis |
| WO2019108230A1 (en) * | 2017-12-01 | 2019-06-06 | Flagship Biosciences Inc. | Method for scoring pathology images using spatial analysis of tissues |
-
2021
- 2021-05-17 KR KR1020227043274A patent/KR20230012524A/ko active Search and Examination
- 2021-05-17 JP JP2022571162A patent/JP2023531154A/ja active Pending
- 2021-05-17 CN CN202180035995.3A patent/CN115668284A/zh active Pending
- 2021-05-17 EP EP21733258.4A patent/EP4154164A1/en active Pending
- 2021-05-17 EP EP21730773.5A patent/EP4154163A1/en active Pending
- 2021-05-17 CN CN202180036001.XA patent/CN115668304A/zh active Pending
- 2021-05-17 WO PCT/US2021/032811 patent/WO2021236544A1/en active Search and Examination
- 2021-05-17 JP JP2022569467A patent/JP2023531144A/ja active Pending
- 2021-05-17 KR KR1020227040518A patent/KR20230011954A/ko active Search and Examination
- 2021-05-17 WO PCT/US2021/032816 patent/WO2021236547A1/en active Search and Examination
-
2022
- 2022-11-14 US US17/986,737 patent/US20230143860A1/en active Pending
- 2022-11-15 US US17/987,647 patent/US20230140977A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4154164A1 (en) | 2023-03-29 |
| US20230143860A1 (en) | 2023-05-11 |
| JP2023531144A (ja) | 2023-07-21 |
| EP4154163A1 (en) | 2023-03-29 |
| CN115668304A (zh) | 2023-01-31 |
| WO2021236547A1 (en) | 2021-11-25 |
| KR20230012524A (ko) | 2023-01-26 |
| JP2023531154A (ja) | 2023-07-21 |
| CN115668284A (zh) | 2023-01-31 |
| US20230140977A1 (en) | 2023-05-11 |
| WO2021236544A1 (en) | 2021-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200279125A1 (en) | Systems and methods for finding regions of interest in hematoxylin and eosin (h&e) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images | |
| KR20230011954A (ko) | 공간적 특징 분석을 기반으로 한 병리 예측 | |
| JP7231631B2 (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
| US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
| US10991097B2 (en) | Artificial intelligence segmentation of tissue images | |
| US10650221B2 (en) | Systems and methods for comprehensive multi-assay tissue analysis | |
| JP2022527145A (ja) | 予測的組織パターン特定のためのマルチプルインスタンスラーナ | |
| CN102388305B (zh) | 基于图像的风险分数-来自数字组织病理学的存活率和结果的预后预估 | |
| CN112543934A (zh) | 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析系统 | |
| US20180089495A1 (en) | Method for scoring pathology images using spatial analysis of tissues | |
| Yuan et al. | Self-organizing maps for cellular in silico staining and cell substate classification | |
| US9865053B1 (en) | Method for scoring pathology images using spatial statistics of cells in tissues | |
| KR20240012401A (ko) | 공간 분포 분석에 기초하는 종양 면역표현법 | |
| WO2019108230A1 (en) | Method for scoring pathology images using spatial analysis of tissues | |
| CN117377982A (zh) | 基于空间分布分析的肿瘤免疫分型 | |
| Alomari et al. | Adaptive Localization of Focus Point Regions via Random Patch Probabilistic Density from Whole‐Slide, Ki‐67‐Stained Brain Tumor Tissue | |
| CN117378015A (zh) | 从数字病理学图像预测可操作突变 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |