KR20220062332A - 디지털 병리학을 위한 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 - Google Patents
디지털 병리학을 위한 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20220062332A KR20220062332A KR1020227011396A KR20227011396A KR20220062332A KR 20220062332 A KR20220062332 A KR 20220062332A KR 1020227011396 A KR1020227011396 A KR 1020227011396A KR 20227011396 A KR20227011396 A KR 20227011396A KR 20220062332 A KR20220062332 A KR 20220062332A
- Authority
- KR
- South Korea
- Prior art keywords
- electronic image
- target
- target electronic
- specimen
- region
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 230000007170 pathology Effects 0.000 title description 34
- 238000012549 training Methods 0.000 claims abstract description 91
- 238000010801 machine learning Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 239000000523 sample Substances 0.000 description 48
- 210000001519 tissue Anatomy 0.000 description 45
- 238000003860 storage Methods 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 20
- 238000003745 diagnosis Methods 0.000 description 19
- 201000010099 disease Diseases 0.000 description 18
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 18
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000007689 inspection Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 201000011510 cancer Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 239000000090 biomarker Substances 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 108090000623 proteins and genes Proteins 0.000 description 7
- 238000010186 staining Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 6
- 238000003364 immunohistochemistry Methods 0.000 description 5
- 230000008676 import Effects 0.000 description 5
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 238000000275 quality assurance Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000009897 systematic effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000009223 counseling Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000007901 in situ hybridization Methods 0.000 description 3
- 210000004940 nucleus Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000000890 drug combination Substances 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010166 immunofluorescence Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010603 microCT Methods 0.000 description 2
- 230000000394 mitotic effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 239000003298 DNA probe Substances 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 108020004518 RNA Probes Proteins 0.000 description 1
- 239000003391 RNA probe Substances 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003560 cancer drug Substances 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002648 combination therapy Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002962 histologic effect Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000011278 mitosis Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002018 overexpression Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
타겟 표본에 대응하는 타겟 전자 이미지를 수신하고―상기 타겟 표본은 환자의 조직 샘플을 포함함―, 상기 타겟 전자 이미지에 기계 학습 시스템을 적용하여 상기 타겟 표본의 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 적어도 하나의 특성을 결정하고―상기 기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지들을 처리함으로써 생성되고, 상기 훈련 이미지들은 인간 조직의 이미지들 및/또는 알고리즘적으로 생성되는 이미지들을 포함함―, 상기 타겟 표본의 상기 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 상기 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 상기 타겟 전자 이미지를 출력하기 위한 시스템들 및 방법들이 개시된다.
Description
관련 출원(들)
본 출원은 2019년 9월 9일자로 출원된 미국 가출원 제62/897,745호에 대한 우선권을 주장하며, 그 전체 개시내용은 그 전체가 본 명세서에 참고로 포함된다.
개시내용의 분야
본 개시내용의 다양한 실시예들은 일반적으로 이미지 기반 표본 분석 및 관련 이미지 처리 방법들에 관한 것이다. 보다 구체적으로, 본 개시내용의 특정 실시예들은 표본 속성들을 식별하고 조직 표본들의 이미지들을 처리하는 것에 기초하여 통합된 병리학 작업흐름을 제공하기 위한 시스템들 및 방법들에 관한 것이다.
병원 내에서 또는 연구 환경에서 디지털 병리학 이미지들을 이용하기 위해, 표본의 조직 타입, 표본의 획득의 성질(예를 들어, 전립선 바늘 생검, 유방 생검, 유방 절제 등), 및 표본 또는 이미지의 다른 관련 속성들을 식별하고 분류하는 것이 중요할 수 있다.
조직 표본들의 이미지들을 처리하는 것에 기초하여 통합된 병리학 작업흐름을 제공하는 방법에 대한 요구가 존재한다. 이하의 개시내용은 병리학자의 작업 솔루션들을 촉진하고 개선하기 위해 작업흐름에 통합될 수 있는 사용자 인터페이스들 및 인공 지능(AI) 툴들을 제공하기 위한 시스템들 및 방법들에 관한 것이다.
전술한 일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적이며, 본 개시내용을 제한하지 않는다. 본 명세서에서 제공되는 배경 설명은 본 개시내용의 맥락을 일반적으로 제시하기 위한 것이다. 본 명세서에서 달리 지시되지 않는 한, 본 섹션에서 설명되는 자료들은 본 출원에서의 청구항들에 대한 종래 기술이 아니며, 본 섹션에서의 포함에 의해 종래 기술 또는 종래 기술의 제안들인 것으로 인정되지 않는다.
본 개시내용의 특정 양태들에 따르면, 표본 속성들을 식별하고 조직 표본들의 이미지들을 처리하는 것에 기초하여 통합된 병리학 작업흐름을 제공하기 위한 시스템들 및 방법들이 개시된다.
표본에 대응하는 전자 이미지를 분석하기 위한 컴퓨터로 구현된 방법은, 타겟 표본에 대응하는 타겟 전자 이미지를 수신하는 단계―타겟 표본은 환자의 조직 샘플을 포함함―; 타겟 전자 이미지에 기계 학습 시스템을 적용하여 타겟 표본의 적어도 하나의 특성 및/또는 타겟 전자 이미지의 적어도 하나의 특성을 결정하는 단계―기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지들을 처리함으로써 생성되고, 훈련 이미지들은 인간의 이미지들 및/또는 알고리즘적으로 생성되는 이미지들을 포함함―; 및 타겟 표본의 적어도 하나의 특성 및/또는 타겟 전자 이미지의 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 타겟 전자 이미지를 출력하는 단계를 포함한다.
표본에 대응하는 전자 이미지를 분석하기 위한 시스템은 명령어들을 저장하는 메모리; 및 프로세스를 수행하기 위해 명령어들을 실행하는 프로세서를 포함하고, 프로세스는 타겟 표본에 대응하는 타겟 전자 이미지를 수신하는 것―타겟 표본은 환자의 조직 샘플을 포함함―; 타겟 전자 이미지에 기계 학습 시스템을 적용하여 타겟 표본의 적어도 하나의 특성 및/또는 타겟 전자 이미지의 적어도 하나의 특성을 결정하는 것―기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지들을 처리함으로써 생성되고, 훈련 이미지들은 인간 조직의 이미지들 및/또는 알고리즘적으로 생성되는 이미지들을 포함함―; 및 타겟 표본의 적어도 하나의 특성 및/또는 타겟 전자 이미지의 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 타겟 전자 이미지를 출력하는 것을 포함한다.
프로세서에 의해 실행될 때, 프로세서로 하여금 표본에 대응하는 이미지를 분석하기 위한 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 방법은, 타겟 표본에 대응하는 타겟 전자 이미지를 수신하는 단계―타겟 표본은 환자의 조직 샘플을 포함함―; 타겟 전자 이미지에 기계 학습 시스템을 적용하여 타겟 표본의 적어도 하나의 특성 및/또는 타겟 전자 이미지의 적어도 하나의 특성을 결정하는 단계―기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지들을 처리함으로써 생성되고, 훈련 이미지들은 인간의 이미지들 및/또는 알고리즘적으로 생성되는 이미지들을 포함함―; 및 타겟 표본의 적어도 하나의 특성 및/또는 타겟 전자 이미지의 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 타겟 전자 이미지를 출력하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.
상기한 일반적인 설명 및 다음의 상세한 설명 모두는 단지 예시적이고 설명을 위한 것이며, 청구된 바와 같은 개시된 실시예들에 한정적이지 않다는 것이 이해되어야 한다.
본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하는 것이며, 설명과 함께 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 디지털 병리 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 개시내용의 예시적인 실시예에 따른, 질병 검출 플랫폼(100)의 예시적인 블록도를 도시한다.
도 1c는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 블록도를 도시한다.
도 1d는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 블록도를 도시한다.
도 2는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 관심 영역을 식별하는 타겟 이미지를 출력하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 3은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 출력을 도시한다.
도 4는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 오버레이 툴의 예시적인 출력을 도시한다.
도 5는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 작업목록 툴의 예시적인 출력을 도시한다.
도 6은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 트레이 툴의 예시적인 출력을 도시한다.
도 7은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 공유 툴의 예시적인 출력을 도시한다.
도 8은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴의 예시적인 출력을 도시한다.
도 9는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴의 예시적인 출력을 도시한다.
도 10은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴의 예시적인 출력을 도시한다.
도 11은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 검사 툴(inspect tool)의 예시적인 출력을 도시한다.
도 12는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 검사 툴의 예시적인 출력을 도시한다.
도 13은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 작업흐름을 도시한다.
도 14a, 도 14b, 및 도 14c는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 뷰에 대한 예시적인 출력들을 도시한다.
도 15는 본 개시내용의 예시적인 실시예에 따른, 새로운 사용자들에 대한 계정들을 생성하고 상담을 요청하기 위한 예시적인 작업흐름을 도시한다.
도 16a 및 16b는 본 개시내용의 예시적인 실시예에 따른, 병리 상담 대시보드에 대한 예시적인 출력들을 도시한다.
도 17은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)에 대한 케이스 뷰의 예시적인 출력을 도시한다.
도 18은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 디지털 병리 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 개시내용의 예시적인 실시예에 따른, 질병 검출 플랫폼(100)의 예시적인 블록도를 도시한다.
도 1c는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 블록도를 도시한다.
도 1d는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 블록도를 도시한다.
도 2는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 관심 영역을 식별하는 타겟 이미지를 출력하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 3은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 출력을 도시한다.
도 4는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 오버레이 툴의 예시적인 출력을 도시한다.
도 5는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 작업목록 툴의 예시적인 출력을 도시한다.
도 6은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 트레이 툴의 예시적인 출력을 도시한다.
도 7은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 공유 툴의 예시적인 출력을 도시한다.
도 8은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴의 예시적인 출력을 도시한다.
도 9는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴의 예시적인 출력을 도시한다.
도 10은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴의 예시적인 출력을 도시한다.
도 11은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 검사 툴(inspect tool)의 예시적인 출력을 도시한다.
도 12는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 검사 툴의 예시적인 출력을 도시한다.
도 13은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 작업흐름을 도시한다.
도 14a, 도 14b, 및 도 14c는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 뷰에 대한 예시적인 출력들을 도시한다.
도 15는 본 개시내용의 예시적인 실시예에 따른, 새로운 사용자들에 대한 계정들을 생성하고 상담을 요청하기 위한 예시적인 작업흐름을 도시한다.
도 16a 및 16b는 본 개시내용의 예시적인 실시예에 따른, 병리 상담 대시보드에 대한 예시적인 출력들을 도시한다.
도 17은 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)에 대한 케이스 뷰의 예시적인 출력을 도시한다.
도 18은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
실시예들의 설명
이제, 본 개시내용의 예시적인 실시예들을 상세히 참조할 것이며, 그 예들이 첨부 도면들에 도시되어 있다. 가능한 경우, 도면들 전체에 걸쳐 동일하거나 유사한 부분을 지칭하기 위해 동일한 참조 번호들이 이용될 것이다.
본 명세서에 개시된 시스템들, 디바이스들, 및 방법들은 예들로서 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에 논의된 예들은 단지 예들일 뿐이고, 본 명세서에 설명된 장치들, 디바이스들, 시스템들, 및 방법들의 설명을 돕기 위해 제공된다. 도면들에 도시되거나 이하에 논의되는 특징들 또는 컴포넌트들 중 어느 것도, 의무적인 것으로서 구체적으로 지시되지 않으면, 이들 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현에 의무적인 것으로서 취해져서는 안된다.
또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지에 관계없이, 문맥에 의해 달리 명시되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 임의의 명시적 또는 암시적 순서는, 이들 단계들이 제시된 순서로 수행되어야 한다는 것을 암시하는 것이 아니라, 대신에 상이한 순서로 또는 병렬로 수행될 수도 있다는 것을 이해해야 한다.
본 명세서에서 이용되는 바와 같이, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현("a" 및 "an") 용어들은 양의 제한을 나타내는 것이 아니라, 오히려 언급된 항목들 중 하나 이상의 존재를 나타낸다.
병리학은 질병의 연구를 지칭한다. 보다 구체적으로, 병리학은 질병을 진단하기 위해 이용되는 테스트 및 분석을 수행하는 것을 지칭한다. 예를 들어, 조직 샘플들은 병리학자(예를 들어, 임의의 비정상들이 존재하는지를 결정하기 위해 조직 샘플들을 분석할 때 전문가인 의사)에 의해 현미경 하에서 보여질 슬라이드들 상에 배치될 수 있다. 즉, 병리학 표본들은 병리학자가 검사하고 진단을 행하기 위한 슬라이드들로서, 다수의 섹션들로 절단되고, 염색되고, 준비될 수 있다. 슬라이드 상의 진단 발견의 불확실성이 있을 때, 병리학자는 조직으로부터 더 많은 정보를 수집하기 위해 추가의 절단 레벨들, 염색들, 또는 다른 테스트들을 주문할 수 있다. 기술자(들)는 이어서 진단을 행할 때 병리학자가 이용하기 위한 추가의 정보를 포함할 수 있는 새로운 슬라이드(들)를 생성할 수 있다. 추가의 슬라이드들을 생성하는 이 프로세스는 조직의 블록을 검색하는 것, 새로운 슬라이드를 만들기 위해 이를 절단하는 것, 및 이어서 슬라이드를 염색하는 것을 포함할 수 있을 뿐만 아니라, 다수의 주문들에 대해 일괄처리될 수 있기 때문에, 시간 소모적일 수 있다. 이는 병리학자가 행하는 최종 진단을 상당히 지연시킬 수 있다. 또한, 지연 후에도, 새로운 슬라이드(들)가 진단을 행하기에 충분한 정보를 가질 것이라는 보장이 여전히 없을 수 있다.
컴퓨터들은 조직 샘플의 이미지를 분석하여 특정 조직 샘플에 관한 추가 정보가 필요할 수 있는지를 신속하게 식별하고/하거나 병리학자가 더 밀접하게 볼 필요가 있을 수 있는 영역을 병리학자에게 강조하기 위해 이용될 수 있다. 따라서, 추가 염색된 슬라이드들 및 테스트들을 획득하는 프로세스는 병리학자에 의해 검토되기 전에 자동으로 행해질 수 있다. 자동 슬라이드 분할 및 염색 기계들과 쌍을 이룰 때, 이는 완전 자동화된 슬라이드 준비 파이프라인을 제공할 수 있다. 이러한 자동화는 적어도, (1) 슬라이드가 진단을 행하기에 불충분하다고 결정하는 병리학자에 의해 낭비되는 시간의 양을 최소화하고, (2) 추가적인 테스트들이 주문될 때와 그것들이 생성될 때 사이의 추가적인 시간을 회피함으로써 표본 취득으로부터 진단까지의 (평균 총) 시간을 최소화하고, (3) 조직 블록들(예를 들어, 병리학 표본들)이 절단 책상에 있는 동안 재절단이 행해지게 함으로써 재절단 당 시간의 양 및 낭비되는 재료의 양을 감소시키고, (4) 슬라이드 준비 동안 필요한 조직 재료의 양을 감소시키고, (5) 절차를 부분적으로 또는 완전히 자동화함으로써 슬라이드 준비의 비용을 감소시키고, (6) 샘플들로부터 더 많은 대표적/정보적 슬라이드들을 초래할 슬라이드들의 자동 맞춤화된 절단 및 염색을 허용하고, (7) 조직 블록 당 더 높은 부피의 슬라이드들이 생성되게 하여, 병리학자에 대한 추가적인 테스트를 요청하는 오버헤드를 감소시킴으로써 더 정보에 입각한/정확한 진단들에 기여하고/하거나, (8) 디지털 병리학 이미지의 (예를 들어, 표본 타입에 관한) 정확한 속성들을 식별 또는 검증하는 등의 이점들을 갖는다.
병리학자들을 보조하기 위해 컴퓨터들을 이용하는 프로세스는 계산 병리학(computational pathology)으로서 알려져 있다. 계산 병리학을 위해 이용되는 컴퓨팅 방법들은 통계 분석, 자율 또는 기계 학습, 및 AI를 포함할 수 있지만, 이들로 제한되지 않는다. AI는 심층 학습, 신경망들, 분류들, 클러스터링, 및 회귀 알고리즘들을 포함할 수 있지만, 이들로 제한되지 않는다. 계산 병리학을 이용함으로써, 병리학자들이 그들의 진단 정확도, 신뢰성, 효율, 및 접근성을 개선하는 것을 돕는 것에 의해 생명들을 구할 수 있다. 예를 들어, 계산 병리학은 암에 대해 의심스러운 슬라이드들을 검출하는 것을 보조하는데 이용될 수 있고, 그에 의해 병리학자들이 최종 진단을 행하기 전에 그들의 초기 평가들을 체크하고 확인하는 것을 허용한다.
조직병리학(histopathology)은 슬라이드 상에 배치된 표본의 연구를 지칭한다. 예를 들어, 디지털 병리학 이미지는 표본(예를 들어, 도말(smear))을 함유하는 현미경 슬라이드의 디지털화된 이미지로 구성될 수 있다. 슬라이드 상의 이미지를 분석하기 위해 병리학자가 이용할 수 있는 한 방법은 핵들(nuclei)을 식별하고 핵이 정상인지(예를 들어, 양성(benign)) 또는 비정상인지(예를 들어, 악성(malignant))를 분류하는 것이다. 핵들을 식별하고 분류하는데 있어서 병리학자들을 보조하기 위해, 조직학적 염색들을 이용하여 세포들을 가시화할 수 있다. 주기적 산-시프 반응(periodic acid-Schiff reaction), 메이슨의 삼색(Masson's trichrome), 니슬 및 메틸렌 블루(nissl and methylene blue), 및 헤모톡실린 및 에오신(Haemotoxylin and Eosin)(H&E)을 포함한 많은 염료-기반 염색 시스템들이 개발되었다. 의학적 진단을 위해, H&E는 헤마톡실린 염색 세포 핵 블루(hematoxylin staining cell nuclei blue), 에오신 염색 세포질 및 세포외 매트릭스 핑크(eosin staining cytoplasm and extracellular matrix pink), 및 이들 컬러들의 변형들을 취하는 다른 조직 영역들을 갖는 널리 이용되는 염료-기반 방법이다. 그러나, 많은 경우에, H&E-염색된 조직학적 제제(H&E-stained histologic preparations)는 병리학자가 진단 또는 가이드 치료를 보조할 수 있는 바이오마커들(biomarkers)을 시각적으로 식별하기에 충분한 정보를 제공하지 않는다. 이러한 상황에서, 면역조직화학(immunohistochemistry)(IHC), 면역형광(immunofluorescence), 제자리 혼성화(in situ hybridization)(ISH), 또는 형광 제자리 혼성화(fluorescence in situ hybridization)(FISH)와 같은 기술들이 이용될 수 있다. IHC 및 면역형광은, 예를 들어, H&E 염색된 슬라이드들의 분석에 기초하여 훈련된 병리학자에게 신뢰가능하게 식별가능하지 않은 바이오마커들을 드러낼 수 있는, 관심의 특정 단백질들을 표현하는 세포들의 시각적 검출을 가능하게 하는 조직들 내의 특정 항원들(antigens)에 결합하는 항체들(antibodies)을 이용하는 것을 수반한다. ISH 및 FISH는 이용된 프로브들(probes)의 타입(예를 들어, 유전자 카피 수를 위한 DNA 프로브들 및 RNA 발현의 평가를 위한 RNA 프로브들)에 따라, 유전자들의 카피들의 수 또는 특정 RNA 분자들의 풍부함을 평가하기 위해 이용될 수 있다. 이들 방법이 또한 일부 바이오마커들을 검출하기에 충분한 정보를 제공하는데 실패하는 경우, 조직의 유전자 테스트를 이용하여 바이오마커가 존재하는지를 확인할 수 있다(예를 들어, 종양에서의 특정 단백질 또는 유전자 생성물의 과다발현, 암에서의 주어진 유전자의 증폭).
디지털화된 이미지는 염색된 현미경 슬라이드를 보여주도록 준비될 수 있고, 이는 병리학자가 슬라이드 상의 이미지를 수동으로 보고 이미지에서의 다수의 염색된 비정상 세포들을 추정하게 할 수 있다. 그러나, 이 프로세스는 시간 소모적일 수 있고, 일부 비정상들은 검출하기 어렵기 때문에 비정상들을 식별하는데 오류들을 야기할 수 있다. 계산 프로세스들 및 디바이스들은 달리 검출하기 어려울 수 있는 비정상들을 검출하는데 있어서 병리학자들을 보조하기 위해 이용될 수 있다. 예를 들어, AI는 H&E 및 다른 염료 기반 방법들을 이용하여 염색된 조직들의 디지털 이미지들 내의 두드러진 영역들(salient regions)로부터의 (단백질 및/또는 유전자 생성물의 과다 발현, 증폭, 또는 특정 유전자들의 돌연변이들과 같은) 바이오마커들을 예측하기 위해 이용될 수 있다. 조직들의 이미지들은 전체 슬라이드 이미지들(WSI), 마이크로어레이들 내의 조직 코어들의 이미지들 또는 조직 섹션 내의 선택된 관심 영역들일 수 있다. H&E와 같은 염색 방법들을 이용하면, 이들 바이오마커들은 추가적인 테스트의 도움 없이는 인간들이 시각적으로 검출 또는 정량화하기 어려울 수 있다. AI를 이용하여 조직들의 디지털 이미지들로부터 이들 바이오마커들을 추론하는 것은 환자 관리를 개선할 잠재력을 갖고, 또한 더 빠르고 덜 비싸다.
이어서 검출된 바이오마커들 또는 이미지는 단독으로 환자를 치료하기 위한 특정 암 약물들 또는 약물 조합 요법들을 권고하는데 이용될 수 있고, AI는 검출된 바이오마커들을 치료 옵션들의 데이터베이스와 상관시킴으로써 어느 약물들 또는 약물 조합들이 성공할 것 같은지를 식별할 수 있다. 이는 환자의 특정 암을 표적화하기 위한 면역요법 약물들의 자동 권고를 용이하게 하는데 이용될 수 있다. 또한, 이는 환자들의 특정 서브세트 및/또는 보다 드문 암 타입들에 대한 개인화된 암 치료를 가능하게 하는데 이용될 수 있다.
오늘날의 병리학의 분야에서, 조직병리학 작업흐름 전체에 걸쳐, 병리학 표본 준비에 관한 체계적 품질 제어("QC"), 및 진단의 품질에 관한 품질 보증("QA")을 제공하는 것은 어려울 수 있다. 체계적 품질 보증은 그것이 2명의 병리학자에 의한 중복 노력을 요구할 수 있으므로 자원 및 시간 집약적이기 때문에 어렵다. 품질 보증을 위한 일부 방법들은 (1) 1회 진단 암 케이스의 두 번째 검토; (2) 품질 보증 위원회에 의한 불일치하거나 변경된 진단의 주기적 검토들; 및/또는 (3) 케이스들의 서브세트의 무작위 검토를 포함한다. 이들은 비포괄적이고, 대부분 소급적이며, 수동적이다. 자동화된 및 체계적 QC 및 QA 메커니즘으로, 모든 케이스에 대한 작업흐름 전체에 걸쳐 품질이 보장될 수 있다. 실험실 품질 제어 및 디지털 병리학 품질 제어는 환자 표본들의 성공적인 유입(intake), 프로세스, 진단, 및 보관에 중요할 수 있다. QC 및 QA에 대한 수동 및 샘플링된 접근법들은 상당한 이점들을 부여한다. 체계적 QC 및 QA는 효율성들을 제공하고 진단 품질을 개선하는 잠재력을 갖는다.
전술된 바와 같이, 본 개시내용의 계산적인 병리학 프로세스들 및 디바이스들은 웹-브라우저 또는 다른 사용자 인터페이스를 통한 디지털 병리학 이미지들의 데이터 수집, 처리 및 뷰잉을 포함하는 완전히 자동화된 프로세스를 허용하면서 실험실 정보 시스템(LIS)과 통합하는 통합된 플랫폼을 제공할 수 있다. 또한, 임상 정보는 환자 데이터의 클라우드-기반의 데이터 분석을 이용하여 집결될 수 있다. 데이터는, 병원, 진료소, 현장 연구원 등으로부터 나올 수 있고, 기계 학습, 컴퓨터 비전, 자연어 처리, 및/또는 통계 알고리즘들에 의해 분석되어, 다수의 지리적 특이성 레벨들에서 건강 패턴들의 실시간 모니터링 및 예측을 행할 수 있다.
본 개시내용은, 예를 들어, 슬라이드 평가, 작업들, 이미지 분석 및 암 검출 AI, 주석들, 상담들, 및 추천들을 하나의 워크스테이션에 통합하는 작업흐름을 제공함으로써, 질병 검출 및/또는 암 진단을 용이하게 하기 위한 통합된 작업흐름을 제시한다. 본 개시내용은 작업흐름에서 이용가능한 다양한 예시적인 사용자 인터페이스들뿐만 아니라, 병리학자의 작업을 촉진하고 보조하기 위해 작업흐름에 통합될 수 있는 AI 툴들을 설명한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 기계 학습을 이용하여, 디지털 병리 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정 및 출력하기 위한 작업흐름을 제공하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
구체적으로, 도 1a는 병원들, 실험실들, 및/또는 의사들의 사무실들 등에 있는 서버들에 접속될 수 있는 전자 네트워크(120)를 도시한다. 예를 들어, 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 등은 각각 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(120)에 접속될 수 있다. 본 출원의 예시적인 실시예에 따르면, 전자 네트워크(120)는 또한, 본 개시내용의 예시적인 실시예에 따른, 기계 학습을 이용하여, 디지털 병리 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정 및 출력하기 위한 뷰잉 애플리케이션 툴(101)을 포함하는, 질병 검출 플랫폼(100)을 구현하도록 구성되는 처리 디바이스들을 포함할 수 있는 서버 시스템들(127)에 접속될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 하나 이상의 환자의 세포학 표본(들), 조직병리학 표본(들), 세포학 표본(들)의 슬라이드(들), 조직병리학 표본(들)의 슬라이드(들)의 디지털화된 이미지들, 또는 이들의 임의의 조합을 생성하거나, 그렇지 않은 경우 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 또한 연령, 병력, 암 치료 이력, 가족 이력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 전자 네트워크(120)를 통해 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 서버 시스템들(127)에 송신할 수 있다. 서버 시스템(들)(127)은 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(126)를 포함할 수 있다. 서버 시스템들(127)은 또한 저장 디바이스들(126)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(127)은 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 예를 들어, 처리 디바이스들은, 일 실시예에 따라, 질병 검출 플랫폼(100)을 위한 기계 학습 툴을 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 이용되는 시스템들을 지칭한다. 병원 설정들에서, 조직 타입 정보는 LIS(125)에 저장될 수 있다. 그러나, 정확한 조직 분류 정보는 항상 이미지 콘텐츠와 쌍을 이루는 것은 아니다. 추가적으로, LIS가 디지털 병리학 이미지에 대한 표본 타입에 액세스하는데 이용되더라도, 이 라벨은 LIS의 많은 컴포넌트들이 수동으로 입력될 수 있다는 사실로 인해 부정확할 수 있어, 에러를 위한 큰 마진을 남긴다. 본 개시내용의 예시적인 실시예에 따르면, LIS(125)에 액세스할 필요 없이 표본 타입 및/또는 다른 표본 정보가 식별될 수 있거나, 가능하게는 LIS(125)를 정정하도록 식별될 수 있다. 예를 들어, 제3자는 LIS에 저장된 대응하는 표본 타입 라벨 없이 이미지 콘텐츠에 대한 익명화된 액세스를 부여받을 수 있다. 또한, LIS 콘텐츠에 대한 액세스는 그것의 민감한 콘텐츠로 인해 제한될 수 있다.
도 1b는, 기계 학습을 이용하여, 디지털 병리 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정 및 출력하기 위한 질병 검출 플랫폼(100)의 예시적인 블록도를 도시한다.
구체적으로, 도 1b는 일 실시예에 따른, 질병 검출 플랫폼(100)의 컴포넌트들을 도시한다. 예를 들어, 질병 검출 플랫폼(100)은 뷰잉 애플리케이션 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 및/또는 저장소(106)를 포함할 수 있다.
뷰잉 애플리케이션 툴(101)은, 후술되는 바와 같이, 예시적인 실시예에 따라, 디지털 병리 이미지(들)에 관한 표본 속성 및/또는 이미지 속성 정보를 사용자 (예를 들어, 병리학자)에게 제공하기 위한 프로세스 및 시스템을 지칭할 수 있다. 이 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스, 및/또는 웹 브라우저 등)를 통해 제공될 수 있다.
데이터 수집 툴(102)은, 예시적인 실시예에 따라, 디지털 병리학 이미지들을 분류하고 처리하기 위해 이용되는 다양한 툴들, 모듈들, 컴포넌트들, 및 디바이스들에 대한 디지털 병리학 이미지들의 전송을 용이하게 하기 위한 프로세스 및 시스템을 지칭한다.
슬라이드 유입 툴(103)은, 예시적인 실시예에 따라, 병리학 이미지들을 스캐닝하고 이들을 디지털 형태로 변환하기 위한 프로세스 및 시스템을 지칭한다. 슬라이드들은 슬라이드 스캐너(104)로 스캐닝될 수 있고, 슬라이드 관리자(105)는 슬라이드들 상의 이미지들을 디지털화된 병리학 이미지들로 처리하고, 디지털화된 이미지들을 저장소(106)에 저장할 수 있다.
뷰잉 애플리케이션 툴(101), 및 그것의 컴포넌트들 각각은 네트워크(120)를 통해 서버 시스템들(127), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)에 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 송신 및/또는 수신할 수 있다. 또한, 서버 시스템들(127)은 뷰잉 애플리케이션 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 및/또는 슬라이드 관리자(105) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 저장 디바이스들을 포함할 수 있다. 서버 시스템들(127)은 또한 저장 디바이스들에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(127)은, 예를 들어, 처리 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
상기의 디바이스들, 툴들, 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(120)에 접속될 수 있는 디바이스 상에 위치될 수 있다.
도 1c는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 블록도를 도시한다. 뷰잉 애플리케이션 툴(101)은 작업목록 툴(107), 슬라이드 트레이 툴(108), 슬라이드 공유 툴(109), 및 주석 툴(110), 검사 툴(111), 및/또는 오버레이 툴(112)을 포함할 수 있다. 작업목록 툴(107)은 슬라이드 뷰잉 및/또는 케이스 관리를 위한 엔드-투-엔드 작업흐름의 개요를 제공할 수 있다. 슬라이드 트레이 툴(108)은 케이스의 슬라이드들을 부분적으로 조직화하고, 케이스 번호, 인구통계학적 정보 등을 포함하는 하이-레벨 케이스 정보를 제공할 수 있다. 슬라이드 공유 툴(109)은 다양한 슬라이드들을 공유하고, 공유의 성질에 대한 간단한 코멘트를 포함 및/또는 기입하는 능력을 사용자에게 제공할 수 있다. 주석 툴(110)은 브러시 툴, 오토 브러시 툴, 로커스 툴(loci tool), 피닝 툴(pinning tool), 화살표 툴, 텍스트 필드 툴, 상세 영역 툴, ROI 툴, 예측 툴, 측정 툴, 다중 측정 툴, 코멘트 툴, 및/또는 스크린샷 툴을 포함할 수 있다. 검사 툴(111)은 타겟 이미지에 대한 관심 영역의 확대된 뷰를 특징으로 하는 검사 윈도우를 제공할 수 있다. 오버레이 툴은 타겟 이미지의 확대된 뷰의 조직 표본 상의 관심 영역들을 식별하는 타겟 이미지에 대한 관심 영역의 확대된 뷰 상에 히트 맵 오버레이를 제공할 수 있다.
도 1d는 본 개시내용의 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 블록도를 도시한다. 뷰잉 애플리케이션 툴(101)은 훈련 이미지 플랫폼(131) 및/또는 타겟 이미지 플랫폼(135)을 포함할 수 있다.
일 실시예에 따르면, 훈련 이미지 플랫폼(131)은 훈련 이미지 유입 모듈(132) 및/또는 이미지 분석 모듈(133)을 포함할 수 있다.
훈련 이미지 플랫폼(131)은, 일 실시예에 따라, 디지털 병리학 이미지들을 효과적으로 분석 및 분류하기 위해 기계 학습 시스템을 훈련하는데 이용되는 훈련 이미지들을 생성 또는 수신할 수 있다. 예를 들어, 훈련 이미지들은 서버 시스템들(127), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.
훈련 이미지 유입 모듈(132)은 인간 조직의 이미지들 및 그래픽적으로/합성적으로 렌더링되는 이미지들 중 어느 하나 또는 둘다에 대응하는 하나 이상의 훈련 이미지를 포함하는 데이터세트를 생성 또는 수신할 수 있다. 예를 들어, 훈련 이미지들은 서버 시스템들(127), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 이 데이터세트는 디지털 저장 디바이스 상에 유지될 수 있다. 이미지 분석 모듈(133)은 표본 속성 및/또는 이미지 속성 정보(예를 들어, 표본 타입, 표본의 절단의 전체 품질, 유리 병리 슬라이드 자체의 전체 품질, 및/또는 조직 형태 특성들)를 식별하기 위해 이미지를 분석할 수 있다.
일 실시예에 따르면, 타겟 이미지 플랫폼(135)은 타겟 이미지 유입 모듈(136), 표본 검출 모듈(137), 및 출력 인터페이스(138)를 포함할 수 있다. 타겟 이미지 플랫폼(135)은 타겟 이미지를 수신하고, 기계 학습 시스템을 수신된 타겟 이미지에 적용하여 타겟 표본의 특성을 결정할 수 있다. 예를 들어, 타겟 이미지는 서버 시스템들(127), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 타겟 이미지 유입 모듈(136)은 타겟 표본에 대응하는 타겟 이미지를 수신할 수 있다. 표본 검출 모듈(137)은 기계 학습 시스템을 타겟 이미지에 적용하여 타겟 표본의 특성 및/또는 타겟 이미지의 특성을 결정할 수 있다. 예를 들어, 표본 검출 모듈(137)은 타겟 표본의 표본 타입을 검출할 수 있다. 또한, 표본 검출 모듈(137)은 기계 학습 시스템을 적용하여 표본의 영역이 하나 이상의 비정상을 포함하는지를 결정할 수 있다.
출력 인터페이스(138)는 타겟 이미지 및 타겟 표본에 관한 정보를 (예를 들어, 스크린, 모니터, 저장 디바이스, 웹 브라우저 등에) 출력하는데 이용될 수 있다.
도 2는 본 개시내용의 예시적인 실시예에 따른, 표본 정보를 식별하기 위한 뷰잉 애플리케이션 툴(101)을 제공하고, 표본 정보를 뷰잉하기 위한 사용자 인터페이스를 제공하는 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 방법(200)(예를 들어, 단계들 202 내지 206)은 뷰잉 애플리케이션 툴(101)에 의해 자동으로 또는 사용자(예를 들어, 의사, 병리학자, 기술자 등)로부터의 요청에 응답하여 수행될 수 있다.
일 실시예에 따르면, 표본 정보를 식별하고, 표본 정보를 뷰잉하기 위한 사용자 인터페이스를 제공하기 위한 예시적인 방법(200)은 다음의 단계들 중 하나 이상을 포함할 수 있다. 단계 202에서, 방법은 타겟 표본에 대응하는 타겟 이미지를 수신하는 것을 포함할 수 있고, 타겟 표본은 환자의 조직 샘플을 포함한다. 예를 들어, 타겟 이미지는 서버 시스템들(127), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다.
단계 204에서, 방법은 타겟 표본의 적어도 하나의 특성 및/또는 타겟 이미지의 적어도 하나의 특성을 결정하기 위해 타겟 이미지에 기계 학습 시스템을 적용하는 것을 포함할 수 있다. 타겟 표본의 특성을 결정하는 것은 타겟 표본의 표본 정보를 결정하는 것을 포함할 수 있다. 예를 들어, 특성을 결정하는 것은 타겟 표본에 비정상이 있는지를 결정하는 것을 포함할 수 있다.
기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지를 처리함으로써 생성될 수 있고, 훈련 이미지들은 인간 조직의 이미지들 및/또는 알고리즘적/합성적으로 생성되는 이미지들을 포함할 수 있다. 기계 학습 시스템은 분류 및 회귀를 위한 기계 학습 방법들을 이용하여 구현될 수 있다. 훈련 입력들은 실제 또는 합성 이미지를 포함할 수 있다. 훈련 입력들은 증대될 수 있거나 증대되지 않을 수 있다(예를 들어, 잡음을 추가하거나 플립핑/왜곡들에 의해 입력의 변형들을 생성할 수 있다). 예시적인 기계 학습 시스템들은 신경망들, 컨볼루션 신경망들, 랜덤 포레스트, 로지스틱 회귀, 및 최근린 이웃 중 임의의 하나 또는 임의의 조합을 포함할 수 있지만, 이들로 제한되지 않는다. 컨볼루션 신경망들은 각각의 표본에 대해 훈련할 많은 양의 데이터가 있을 때 극히 잘 작동할 수 있는, 특성들 간을 구별하는데 필요한 이미지 특징 표현들을 직접 학습할 수 있는 반면, 다른 방법들은 전통적인 컴퓨터 비전 특징들, 예를 들어, 가속 강건 특징(SIFT) 또는 스케일 불변 특징 변환(SURF), 또는 훈련할 적은 양의 데이터만이 있을 때 이점들을 제공할 수 있는, 훈련된 컨볼루션 신경망에 의해 생성된 학습된 임베딩(예를 들어, 서술자들)과 함께 이용될 수 있다. 훈련 이미지들은 서버 시스템들(127), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 이 데이터세트는 디지털 저장 디바이스 상에 유지될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.
단계 206에서, 방법은 타겟 표본의 적어도 하나의 특성 및/또는 타겟 이미지의 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 타겟 이미지를 출력하는 것을 포함할 수 있다.
기계 학습 알고리즘들 및/또는 아키텍처들을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(ensemble methods)(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM(support vector machine)들, MLP(multiplayer perceptron), 및/또는 차원 감소 기술들(예를 들어, PCA(principal component analysis), LDA(linear discriminant analysis) 등)에 따른 특징 추출을 포함할 수 있지만, 이들로 제한되지 않는다. 예시적인 특징들은 CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 대해 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)을 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행될 수 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 전에 전처리 단계로서 이용될 수 있다.
하나 이상의 실시예에 따르면, 상기의 알고리즘들, 아키텍처들, 방법론들, 속성들, 및/또는 특징들 중 임의의 것은 다른 알고리즘들, 아키텍처들, 방법론들, 속성들, 및/또는 특징들 중 임의의 것 또는 모두와 조합될 수 있다. 예를 들어, 기계 학습 알고리즘들 및/또는 아키텍처들(예를 들어, 신경망 방법들, 컨볼루션 신경망(CNN)들, 순환 신경망(RNN)들 등) 중 임의의 것은 훈련 방법론들(예를 들어, 다중 인스턴스 학습, 강화 학습, 능동 학습 등) 중 임의의 것으로 훈련될 수 있다.
아래의 용어들의 설명은 단지 예시적인 것이며, 용어들을 어떤 식으로든 제한하도록 의도되지 않는다.
라벨은 알고리즘이 예측하려고 시도하고 있는 기계 학습 알고리즘에 대한 입력에 관한 정보를 지칭할 수 있다.
크기 NxM의 주어진 이미지에 대해, 세그먼트화는 원래의 이미지에서의 각각의 픽셀에 대해, 그 픽셀의 클래스 또는 타입을 기술하는 수를 할당하는 크기 NxM의 다른 이미지일 수 있다. 예를 들어, WSI에서, 마스크 내의 요소들은 입력 이미지에서의 각각의 픽셀을, 예를 들어, 배경, 조직 및/또는 미지의(unknown) 클래스들에 속하는 것으로 분류할 수 있다.
슬라이드 레벨 정보는 일반적으로 슬라이드에 관한 정보를 지칭할 수 있지만, 반드시 슬라이드에서의 그 정보의 특정 위치를 지칭하는 것은 아니다.
휴리스틱(heuristic)은, 입력들이 주어지면, 출력을 결정론적으로 생성하는 논리 규칙 또는 함수를 지칭할 수 있다. 예를 들어, 슬라이드가 비정상을 갖는다는 예측이 존재하면, 1을 출력하고, 그렇지 않으면, 0을 출력한다.
임베딩은 저차원 데이터의 개념적인 고차원 수치 표현을 지칭할 수 있다. 예를 들어, WSI가 조직 타입을 분류하기 위해 CNN 훈련을 통과하는 경우, 네트워크의 마지막 계층 상의 숫자들은 슬라이드에 관한 정보(예를 들어, 조직의 타입에 관한 정보)를 포함하는 숫자들의 어레이(예를 들어, 수천 개 정도)를 제공할 수 있다.
슬라이드 레벨 예측은 슬라이드 전체에 관한 구체적인 예측을 지칭할 수 있다. 예를 들어, 슬라이드 레벨 예측은 슬라이드가 비정상을 포함한다는 것일 수 있다. 또한, 슬라이드 레벨 예측은 정의된 클래스들의 세트에 대한 개별 확률 예측들을 지칭할 수 있다.
분류자는 입력 데이터를 취하고 그것을 카테고리와 연관시키도록 훈련되는 모델 및/또는 시스템을 지칭할 수 있다.
하나 이상의 실시예에 따르면, 기계 학습 모델 및/또는 시스템은 상이한 방식들로 훈련될 수 있다. 예를 들어, 기계 학습 모델의 훈련은 감독 훈련(supervised training), 반감독 훈련(semi-supervised training), 무감독 훈련(unsupervised training) 분류기 훈련, 혼합 훈련, 및/또는 불확실성 추정 중 임의의 하나 또는 임의의 조합에 의해 수행될 수 있다. 이용되는 훈련의 타입은 데이터의 양, 데이터의 타입, 및/또는 데이터의 품질에 의존할 수 있다. 아래의 표 1은 일부 타입의 훈련 및 대응하는 특징들의 비제한적인 리스트를 설명한다.
감독 훈련은 기계 학습 모델에 대한 시드(seed)를 제공하기 위해 소량의 데이터와 함께 이용될 수 있다. 감독 훈련에서, 기계 학습 모델은 특정 항목(예를 들어, 버블들(bubbles), 조직 폴드들(tissue folds) 등)을 찾고, 슬라이드를 플래깅하고, 특정 항목이 슬라이드에 얼마나 많이 존재하는지를 정량화할 수 있다.
일 실시예에 따르면, 예시적인 완전 감독 훈련은 입력으로서 WSI를 취할 수 있고, 세그먼트화의 라벨을 포함할 수 있다. 완전 감독 훈련을 위한 파이프라인들은 (1) 1; (2) 1, 휴리스틱;(3) 1, 4, 휴리스틱; (4) 1, 4, 5, 휴리스틱; 및/또는 (5) 1, 5, 휴리스틱을 포함할 수 있다. 완전 감독 훈련의 이점들은 (1) 더 적은 수의 슬라이드를 필요로 할 수 있고/있거나 (2) 이미지의 어느 영역들이 진단에 기여하는지를 알 수 있기 때문에 출력이 설명 가능하다는 것일 수 있다. 완전 감독 훈련을 이용하는 것의 단점은, 그것이 획득하기 어려울 수 있는 많은 양의 세그먼트화를 필요로 할 수 있다는 것일 수 있다.
일 실시예에 따르면, 예시적인 반감독(예를 들어, 약하게 감독된) 훈련은 입력으로서 WSI를 취할 수 있고, 슬라이드 레벨 정보의 라벨을 포함할 수 있다. 반감독 훈련을 위한 파이프라인들은 (1) 2; (2) 2, 휴리스틱;(3) 2, 4, 휴리스틱; (4) 2, 4, 5, 휴리스틱; 및/또는 (5) 2, 5, 휴리스틱을 포함할 수 있다. 반감독 훈련을 이용하는 것의 이점들은 (1) 요구된 라벨들의 타입들이 많은 병원 기록들에 존재할 수 있고; (2) 이미지의 어느 영역들이 진단에 가장 많이 기여했는지를 알 수 있기 때문에 출력이 설명 가능하다는 것일 수 있다. 반감독 훈련을 이용하는 것의 단점은 훈련하기가 어려울 수 있다는 것이다. 예를 들어, 시스템은 슬라이드에서의 어디에 결정으로 이끌 정보가 있는지에 관한 제한된 정보가 있다는 사실을 고려하기 위해 다중 인스턴스 학습, 능동 학습, 및/또는 분산 훈련과 같은 훈련 방식을 이용할 필요가 있을 수 있다.
일 실시예에 따르면, 예시적인 무감독 훈련은 입력으로서 WSI를 취할 수 있고, 라벨을 필요로 하지 않을 수 있다. 무감독 훈련을 위한 파이프라인들은 (1) 3, 4; 및/또는 (2) 3, 4, 휴리스틱을 포함할 수 있다. 무감독 훈련의 이점은, 그것이 어떤 라벨도 필요로 하지 않는다는 것일 수 있다. 무감독 훈련을 이용하는 것의 단점들은 (1) 훈련이 어려울 수 있다는 것일 수 있다. 예를 들어, 슬라이드에서의 어디에 결정으로 이끌 정보가 있는지에 관한 제한된 정보가 있다는 사실을 고려하기 위해 다중 인스턴스 학습, 능동 학습, 및/또는 분산 훈련과 같은 훈련 방식을 이용할 필요가 있을 수 있고; (2) 추가 슬라이드들을 필요로 할 수 있고; 및/또는 (3) 그 예측이 행해진 이유를 설명하지 않고 예측 및 확률을 출력할 수 있기 때문에 덜 설명 가능할 수 있다.
일 실시예에 따르면, 예시적인 혼합 훈련은 완전 감독 훈련, 반감독 훈련, 및/또는 무감독 훈련에 대해 전술한 예시적인 파이프라인들 중 임의의 것을 훈련시키는 것을 포함할 수 있고, 이어서 결과적인 모델을 훈련 방법들 중 임의의 것에 대한 초기점으로서 이용할 수 있다. 혼합 훈련의 이점들은 (1) 보다 적은 데이터를 필요로 할 수 있고; (2) 개선된 성능을 가질 수 있고; 및/또는 (3) 상이한 레벨들의 라벨들(예를 들어, 세그먼트화, 슬라이드 레벨 정보, 정보 없음)의 혼합을 가능하게 할 수 있다는 것일 수 있다. 혼합 훈련의 단점들은 (1) 훈련이 보다 복잡하고/하거나 비용이 많이 들 수 있고; 및/또는 (2) 잠재적인 버그들의 수 및 복잡도를 증가시킬 수 있는 보다 많은 코드를 필요로 할 수 있다는 것일 수 있다.
일 실시예에 따르면, 예시적인 불확실성 추정은, 파이프라인의 끝에서 불확실성 추정을 이용하여 슬라이드 데이터와 관련된 임의의 작업에 대해, 완전 감독 훈련, 반감독 훈련, 및/또는 무감독 훈련에 대해 전술한 예시적인 파이프라인들 중 임의의 것을 훈련하는 것을 포함할 수 있다. 또한, 휴리스틱 또는 분류기는, 테스트의 예측에서 불확실성의 양에 기초하여 슬라이드가 비정상을 갖는지를 예측하는데 이용될 수 있다. 불확실성 추정의 이점은, 분포 외(out-of-distribution) 데이터에 강건하다는 것일 수 있다. 예를 들어, 친숙하지 않은 데이터가 제시될 때, 그것이 불확실하다는 것을 여전히 정확하게 예측할 수 있다. 불확실성 추정의 단점들은 (1) 더 많은 데이터를 필요로 할 수 있고; (2) 불량한 전체 성능을 가질 수 있고; 및/또는 (3) 모델이 슬라이드 또는 슬라이드 임베딩이 어떻게 비정상인지를 반드시 식별하지 못할 수 있기 때문에 덜 설명 가능할 수 있다는 것일 수 있다.
일 실시예에 따르면, 앙상블 훈련은 전술한 예시적인 파이프라인들 중 임의의 것에 의해 생성된 모델들을 동시에 실행하는 것, 및 강건하고 정확한 결과들을 생성하기 위해 휴리스틱 또는 분류기에 의해 출력들을 결합하는 것을 포함할 수 있다. 앙상블 훈련의 이점들은 (1) 분포 외 데이터에 강건하다는 것; 및/또는 (2) 다른 모델들의 이점들 및 단점들을 결합하여, 단점들(예를 들어, 불확실성 추정 모델과 결합된 감독 훈련 모델, 및 인입되는 데이터가 분포 중일 때 감독 모델을 이용하고 데이터가 분포 외일 때 불확실성 모델을 이용하는 휴리스틱 등)을 최소화시킬 수 있다는 것일 수 있다. 앙상블 훈련의 단점들은 (1) 더 복잡할 수 있다는 것; 및/또는 (2) 훈련 및 실행에 비용이 많이 들 수 있다는 것일 수 있다.
본 명세서에서 논의되는 훈련 기술들은 또한 더 큰 주석들을 갖는 이미지들이 훈련을 위해 초기에 이용되는 스테이지들에서 진행할 수 있으며, 이는 더 적은 주석들을 갖고, 덜 감독되는 등의 슬라이드들을 이용하는 더 효과적인 나중의 훈련을 가능하게 할 수 있다.
훈련은 이용될 수 있는 모든 훈련 슬라이드 이미지들에 대해 가장 철저하게 주석이 달린 슬라이드들을 이용하여 시작될 수 있다. 예를 들어, 훈련은 감독 학습을 이용하여 시작될 수 있다. 제1 세트의 슬라이드들 이미지들은 연관된 주석들로 수신 또는 결정될 수 있다. 각각의 슬라이드는 마킹된 및/또는 마스킹된 영역들을 가질 수 있고, 슬라이드가 비정상을 갖는지와 같은 정보를 포함할 수 있다. 제1 세트의 슬라이드들은 제1 세트의 슬라이드들과 이들의 연관된 주석들 사이의 상관성들을 결정할 수 있는 훈련 알고리즘, 예를 들어, CNN에 제공될 수 있다.
제1 세트의 이미지들로 훈련이 완료된 후에, 제1 세트보다 더 적은 주석들을 갖는, 예를 들어, 부분적인 주석들을 갖는 제2 세트의 슬라이드 이미지들이 수신되거나 결정될 수 있다. 일 실시예에서, 주석들은 슬라이드가 그와 연관된 진단 또는 품질 문제를 갖는 것만을 표시할 수 있지만, 어떤 또는 어디서 질병이 발견될 수 있는지 등을 지정하지 않을 수 있다. 제2 세트의 슬라이드 이미지들은 제1과는 상이한 훈련 알고리즘, 예를 들어, 다중 인스턴스 학습을 이용하여 훈련될 수 있다. 제1 세트의 훈련 데이터는 시스템을 부분적으로 훈련하는데 이용될 수 있고, 제2 훈련 라운드를 정확한 알고리즘을 생성하는데 더 효과적이게 할 수 있다.
이러한 방식으로, 훈련은 훈련 슬라이드 이미지들의 품질 및 타입들에 기초하여, 임의의 수의 알고리즘들을 이용하여, 임의의 수의 스테이지들에서 진행될 수 있다. 이러한 기술들은 다양한 품질, 주석 레벨들, 및/또는 주석 타입들일 수 있는 이미지들의 다수의 훈련 세트들이 수신되는 상황들에서 이용될 수 있다.
도 3은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 출력(300)을 도시한다. 도 3에 도시된 바와 같이, 뷰잉 애플리케이션 툴(101)은 작업목록 툴(107)에 대한 작업목록 뷰, 슬라이드 트레이 툴(108) 및 슬라이드 공유 툴(109)에 대한 슬라이드 뷰, 주석 툴(110), 검사 툴(111), 및/또는 오버레이 툴(112)에 대한 오버레이 토글로 내비게이팅하기 위한 내비게이션 메뉴(301)를 포함할 수 있다. 내비게이션 메뉴(301)는 또한 뷰를 조절(예를 들어, 다수의 슬라이드들 및/또는 염색들을 한번에 보기 위해 스크린들을 분할)하기 위한 뷰 모드 입력을 포함할 수 있다. 줌 메뉴(302)는 타겟 이미지(303)의 줌 레벨을 신속하게 조절하는데 이용될 수 있다. 타겟 이미지는 임의의 컬러로 디스플레이될 수 있다. 예를 들어, 어둡고 중립적인 컬러 방식이 타겟 이미지(303)의 상세를 디스플레이하는데 이용될 수 있다. 뷰잉 애플리케이션 툴(101)은 이미지에서의 (x, y) 좌표에 가능한 질병이 존재하는지에 대한 긍정/부정 표시자를 포함할 수 있다. 추가적으로, 긍정/부정 표시자의 확인 및/또는 편집이 사용자에 의해 수행될 수 있다.
슬라이드들은 타겟 이미지에서 식별된 특성들에 기초하여 우선순위화 특징을 이용하여 우선순위화될 수 있다. 슬라이드들은 디폴트 시스템 및 커스텀 시스템을 포함하는 폴더 시스템을 이용하여 조직될 수 있다. 뷰잉 애플리케이션 툴(101)은 결과들, 노트들, 첨부물들, 환자 정보, 및 상태 아이콘들을 포함할 수 있는 케이스 뷰를 포함할 수 있다. 케이스에서의 슬라이드들은 타입에 의해 조직될 수 있고, 컬러-코딩될 수 있다. 케이스 공유 기능은 안전하고 신뢰되도록 설계될 수 있다. 케이스들은 필요한 저장 공간을 제공하도록 보관될 수 있다. 단일 슬라이드 내의 매스들 사이에서 전환하기 위한 기능이 있을 수 있다. 뷰잉 애플리케이션 툴(101)은 새로운 메시지들 및/또는 새로운 슬라이드들에 대한 통지들을 제공할 수 있다. 상태 아이콘은 케이스 및/또는 슬라이드가 새로운 것인지, 및 그것이 공유 및/또는 정렬된 것인지를 표시할 수 있다. 케이스들, 환자들, 및/또는 프로젝트들을 검색하기 위한 기능이 있을 수 있다. 뷰잉 애플리케이션 툴(101)은 환자 큐 및/또는 상담 큐를 포함할 수 있다.
뷰잉 애플리케이션 툴(101)은 뷰잉 모드, 윈도우, 회전, 스케일 바 및/또는 오버레이들을 포함할 수 있는 뷰잉 옵션들을 포함할 수 있다. 뷰잉 애플리케이션 툴(101)의 예시적인 출력은 환자 정보, 슬라이드 정보(예를 들어, 이미지 개요), 및/또는 파일 정보(예를 들어, 슬라이드 맵)를 포함할 수 있다. 뷰잉 모드들은 디폴트 뷰, 및 상이한 비율들에 대한 뷰잉 모드들을 포함할 수 있다. 뷰잉 애플리케이션 툴(101)은 형광 모드, 확대기 뷰, 스케일 바, 팬 및 줌 기능, 회전 이미지 기능, 관심 초점, 및/또는 다른 슬라이드 동작들(예를 들어, 새로운 염색들을 정렬함)을 포함할 수 있다. 뷰잉 애플리케이션은 이미지를 분석하고 환자의 생존율을 결정할 수 있다.
뷰잉 애플리케이션 툴(101)은 슬라이드들 및 레벨들을 정렬하고, 슬라이드들을 추천하는 기능을 포함할 수 있다. 예를 들어, 뷰잉 애플리케이션 툴(101)은 슬라이드 타입을 선택하고, 새로운 슬라이드 순서를 전송하며, 슬라이드 순서 확인을 수신하고, 슬라이드 순서 표시자를 수신하며, 새로운 슬라이드들을 보고, 및/또는 새로운 슬라이드들을 이전의 슬라이드와 비교하는 옵션들을 포함할 수 있다. 뷰잉 애플리케이션 툴(101)은 또한 레벨들을 추천하고 레벨들을 선택하는 기능을 포함할 수 있다.
예시적인 실시예에 따르면, 뷰잉 애플리케이션 툴(101)은 뷰잉 애플리케이션 툴(101)과 유사한 케이스들을 검색하는 기능을 포함할 수 있다. 예를 들어, 관심 영역이 식별될 수 있고, 관심 영역이 회전되고 정량화될 수 있으며, 유사한 관심 영역을 갖는 케이스들이 식별되어 환자 케이스에 부착될 수 있다.
뷰잉 애플리케이션 툴(101)은 유사분열 카운트(mitosis count)를 제공하는 기능을 포함할 수 있다. 예를 들어, 관심 영역이 식별될 수 있고, 관심 영역이 이동/회전 및 정량화될 수 있으며, 유사한 관심 영역을 갖는 케이스들이 식별되어 환자 케이스에 부착될 수 있다. 뷰잉 애플리케이션 툴(101)은 유사분열 및/또는 시각적 마커들의 수를 포함하는 카운트 결과들을 디스플레이할 수 있다. 식별된 영역이 줌인될 수 있고, 카운트 결과들이 사용자에 의해 확인 및/또는 편집될 수 있다. 결과들이 시스템에 걸쳐 공유될 수 있다.
도 4는 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 오버레이 툴(112)의 예시적인 출력(400)을 도시한다. 오버레이 툴(112)은 타겟 이미지(303) 상에 히트 맵 오버레이(401)를 제공할 수 있다. 히트 맵 오버레이는 타겟 이미지의 조직 표본 상의 관심 영역들을 식별할 수 있다. 예를 들어, 히트 맵 오버레이는 AI 시스템이 조직 표본에 비정상이 있을 수 있다고 예측하는 영역을 식별할 수 있다. 예측 히트 맵 오버레이 시각화는 내비게이션 메뉴(301)를 이용하여 토글링 온 및 오프될 수 있다. 예를 들어, 사용자는 히트 맵 오버레이를 토글 온 또는 오프하기 위해 내비게이션 메뉴 상의 오버레이 아이콘을 선택할 수 있다. 예측 히트 맵 인터페이스는 사용자가 검사해야 하는 조직 상의 하나 이상의 영역을 사용자들(예를 들어, 병리학자들)에게 표시할 수 있다. 히트 맵 오버레이는 사용자가 히트 맵 오버레이를 보는 동안 하부 조직을 볼 수 있도록 투명 및/또는 반투명할 수 있다. 히트 맵 오버레이는 검출된 질병의 심각성을 표시하기 위해 상이한 컬러들 및/또는 음영을 포함할 수 있다. 보여지고 있는 조직의 타입과 관련하여 다른 타입들의 오버레이가 이용가능할 수 있다. 예를 들어, 도 4는 전립선 생검을 도시한다. 그러나, 다른 질병들은 그들과 관련된 상이한 시각화 또는 AI 시스템들을 요구할 수 있다.
도 5는 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 작업목록 툴(107)의 예시적인 출력(500)을 도시한다. 도 5에 도시된 바와 같이, 뷰잉 애플리케이션 툴(101)은 내비게이션 메뉴(301)에서 작업목록 아이콘을 선택하는 것에 의해 열릴 수 있는 작업목록(501)을 포함할 수 있다. 메인 내비게이션 메뉴(301)는 슬라이드 뷰잉 및/또는 케이스 관리를 위한 엔드-투-엔드 작업흐름의 개요를 제공할 수 있다. 예를 들어, 개요는 사용자(예를 들어, 병리학자)의 케이스들 전부를 디스플레이할 수 있는 작업목록(501)을 포함할 수 있다. 이것은 작업목록 패널을 여는 것에 의해 뷰어 사용자 인터페이스(UI)로부터 액세스될 수 있다. 작업목록 패널 내에서, 병리학자는 환자의 의료 기록 번호(MRN), 환자 ID 번호, 환자 이름, 의심되는 질병의 타입, 케이스의 상태, 수술 날짜를 보고, 뷰 케이스 상세, 케이스 공유, 및/또는 검색 등과 같은 다양한 케이스 동작들로부터 선택할 수 있다.
도 6은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 트레이 툴(108)의 예시적인 출력(600)을 도시한다. 도 6에 도시된 바와 같이, 내비게이션 메뉴(301)에서의 슬라이드 아이콘은 슬라이드 트레이(601)를 스크린의 좌측에 있는 메뉴로부터 드로어/드롭다운(drawer/dropdown)으로서 열 수 있다. 메뉴는 케이스 번호, 인구통계학적 정보 등을 포함하는 하이-레벨 케이스 정보를 제시할 수 있다. 케이스의 슬라이드들은 슬라이드 트레이(601)에 어두운 회색으로 되어 있는 부모 탭들로서 표현되어 있는 부분들로 조직될 수 있다. 각각의 부분은 슬라이드들을 그 안에 디스플레이하기 위해 확장될 수 있다. 따라서, 샘플의 미리 결정된 영역 또는 환자의 미리 결정된 샘플 영역일 수 있는, 동일한 부분과 연관되어 있는 것으로 결정되는 슬라이드들은 서로의 미리 결정된 근접도 내에 디스플레이될 수 있다. 부분 상의, 상이한 컬러 또는 상이한 형상의 표시자일 수 있는 적색 점(602)은 AI 시스템이 그 부분 내의 어딘가에 있는 가능한 질병(예를 들어, 암)을 발견했다는 것을 표시할 수 있다. 슬라이드 상의 적색 점(603)은 AI 시스템이 그 슬라이드 상의 어딘가에 있는 가능한 질병을 발견했다는 것을 표시할 수 있다. AI 시스템이 가능한 질병을 발견한 이 부분들 및 슬라이드들은 사용자(예를 들어, 병리학자)에 의한 즉각적인 보기를 위해 목록의 상단으로 가져올 수 있다. 이 작업흐름은 병리학자가 질병을 보다 빠르게 식별하는데 도움을 줄 수 있다.
도 7은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 공유 툴(109)의 예시적인 출력(700)을 도시한다. 슬라이드 패널로부터, 사용자는 공유를 위해 "공유" 버튼을 선택하고, 단일의, 다수의, 및/또는 모든 슬라이드를 선택할 수 있다. 슬라이드 공유 패널(701)은 슬라이드 트레이(601)의 우측에 배치될 수 있고, 사용자가 공유의 수신자를 입력하고, 공유의 성질에 관한 간단한 코멘트를 포함 및/또는 기입하기 위해 다양한 슬라이드들을 선택하게 해줄 수 있다. 전송 버튼이 선택되면, 슬라이드들 및 간단한 코멘트는 이 슬라이드들 및/또는 코멘트를 그들의 뷰잉 애플리케이션에서 보기 위한 통지들을 수신할 수 있는 수신자에게 전송될 수 있다. 사용자들 간의 대화가 이하에서 설명되는 로그에서 캡처될 수 있다.
도 8은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴(110)의 예시적인 출력(800)을 도시한다. 행해진 각각의 주석에 대해, 주석 로그(801)는 행해진 실제 주석의 시각, 주석의 타입, 임의의 측정들, 코멘트들, 주석을 행한 사용자 및/또는 주석의 시간을 캡처할 수 있다. 주석 로그(801)는 주석 또는 관심 영역과 관련하여 검토될 상담 및 비공식 공유를 위한 중앙집중식 뷰로서 역할할 수 있다. 상담을 요청하는 사용자(예를 들어, 병리학자) 및 상담 병리학자는, 각각이 타임 스탬프를 갖는, 각각의 주석에 특정적인 진행 중인 대화를 읽고, 코멘트를 행하며, 및/또는 가질 수 있다. 사용자는 또한 메인 뷰어 윈도우 내에서 그 관심 영역을 대규모로 보기 위해 주석 로그(801) 내의 썸네일들을 선택할 수 있다.
도 9는 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴(110)의 예시적인 출력을 도시한다. 예를 들어, 도 9에 도시된 주석 로그는 슬라이드를 논의하기 위한 병리학자들 간의 대화를 포함한다. 병리학자들은 슬라이드 상의 임의의 관심 영역에 관해 신속하게 상담하기 위해 주석된 이미지와 함께 노트들을 전송할 수 있다.
도 10은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 주석 툴(110)의 예시적인 출력(1000)을 도시한다. 뷰잉 애플리케이션은 주석 메뉴(1001)에 예시된 다양한 주석 툴들을 포함할 수 있다. 예를 들어, 주석 툴들은 브러시 툴, 오토 브러시 툴, 로커스 툴, 피닝 툴, 화살표 툴, 텍스트 필드 툴, 상세 영역 툴, ROI 툴, 예측 툴, 측정 툴, 다중 측정 툴, 초점 툴의 드로우 영역, 관심 영역 툴, 태그 추가 툴, 코멘트 툴, 및/또는 스크린샷 툴을 포함할 수 있다. 주석들은 연구 목적을 위해 및/또는 임상 설정에서 이용될 수 있다. 예를 들어, 병리학자는 주석을 행하고, 코멘트를 기입하며, 및/또는 제2 의견을 얻기 위해 그것을 동료와 공유할 수 있다. 주석들은 또한 진단의 증거를 지원하는 것으로서 최종 진단 보고에서 이용될 수 있다(예를 들어, 종양이 x 길이이고, y 번호 유사분열 카운트를 갖는 등).
도 11은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 검사 툴(111)의 예시적인 출력(1100)을 도시한다. 검사 툴(111)은 타겟 이미지에 대한 관심 영역의 확대된 뷰를 특징으로 하는 검사 윈도우(1101)를 포함할 수 있다. 사용자 입력에 기초하여, 검사 윈도우가 이미지를 신속하게 조사하기 위해 이미지에 걸쳐 드래그될 수 있다. 따라서, 병리학자는 슬라이드들이 현재 현미경 검사에서 어떻게 이동되는지와 유사한 방식으로 슬라이드를 가로질러 신속하게 이동할 수 있다. 사용자는 검사 툴(111)을 통해 보는 동안 예측 히트 맵 오버레이를 신속히 스위칭 또는 토글링 온 및 오프할 수 있다. 사용자는 검사 툴 내에서 볼 수 있는 조직의 스크린샷들을 취하고 스크린샷들을 신속하게 공유할 수 있다. 측정 툴 및/또는 영역의 하이라이팅과 같은, 상이한 주석 툴들이 또한 검사 툴과 함께 이용가능할 수 있다. 추가적으로, 사용자는, 메인 슬라이드의 확대 레벨과 관계없이, 검사 툴 내에서의 확대를 증가 및 감소시킬 수 있다.
도 12는 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 검사 툴(111)의 예시적인 출력(1200)을 도시한다. 도 12에 도시된 바와 같이, 검사 윈도우(1201)는 검증 및 진단의 보조를 위해 확대된 뷰에 AI 출력들을 디스플레이할 수 있다. 검사 윈도우(1201)는 AI 시스템에 의해 예측된 조직 표본의 특성들을 디스플레이하는 히트 맵 오버레이를 포함할 수 있다. 예를 들어, 히트 맵 오버레이는 AI 시스템이 조직 표본에 비정상이 있을 수 있다고 예측하는 영역을 식별할 수 있다.
도 13은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 예시적인 작업흐름을 도시한다. 작업흐름은 사용자(예를 들어, 병리학자)의 작업흐름에서의 모드들로서 작업목록, 케이스 뷰, 및/또는 슬라이드 뷰를 포함할 수 있다. 도 13에 도시된 바와 같이, 디지털 사인 아웃에 필요한 정보를 포함할 수 있는 진단 보고가 케이스 뷰로부터 출력될 수 있다.
도 14a, 도 14b, 및 도 14c는 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)의 슬라이드 뷰에 대한 예시적인 출력을 도시한다. 예를 들어, 도 14a의 하부에 도시된 바와 같이, 슬라이드 뷰 툴바(1401)는 슬라이드들의 수직 배향으로 디스플레이의 하부에 위치될 수 있다. 슬라이드들은 부분적으로 그룹화될 수 있고, 그 문맥 내에서 관련 케이스 정보를 디스플레이할 수 있다. 도 14b에 도시된 바와 같이, 툴바(1401)는 디스플레이의 좌측에 위치될 수 있고, 여기서 툴바는 툴들, 줌 기능, 및 썸네일 슬라이드들과 같은 메뉴 항목들을 포함할 수 있다. 도 14c에 도시된 바와 같이, 2개의 수직 툴바들(1401 및 1402)은 스크린의 좌측 및 우측에 위치될 수 있고, 이는 터치 스크린 디바이스(예를 들어, 툴들 및/또는 뷰들)에 대한 다양한 기능들에 쉽게 액세스하게 할 수 있다.
도 15는 예시적인 실시예에 따른, 상담을 요청하고 수신하기 위해 새로운 사용자들(예를 들어, 환자들, 의사들 등)에 대한 계정들을 생성하기 위한 예시적인 작업흐름을 도시한다. 새로운 계정을 생성하라는 요청이 병원 웹사이트를 통해 및/또는 뷰잉 애플리케이션 툴(101)을 통해 제출될 수 있다. 계정이 생성되면, 병리학자들은 슬라이드 상의 임의의 관심 영역들에 관해 신속하게 상담하기 위해 주석된 이미지들과 함께 노트들을 전송할 수 있다. 환자들은 또한 병리학자들로부터의 상담 정보 및/또는 그의 케이스와 관련된 청구 정보를 수신할 수 있다. 사용자가 의사인 경우, 청구받은 당사자가 의뢰 의사(referring physician), 환자, 및/또는 보험 사업자인지에 기초하여 청구 옵션들이 상이할 수 있다. 사용자가 환자인 경우, 환자가 직접 또는 보험 사업자를 통해 청구받을 수 있다.
도 16a 및 도 16b는 예시적인 실시예에 따른, 병리 상담 대시보드에 대한 예시적인 출력들을 도시한다. 도 16a에 도시된 바와 같이, 새로운 요청들 및 가입 상담들은 환자 이름, 의뢰 의사, 외부 ID, 내부 ID, 기관, 요청된 날짜, 상태, 업데이트된 날짜, 및/또는 추가 상세들에 대한 링크를 포함할 수 있다. 상담 대시보드는 전송할 슬라이드들, 전송 슬라이드 대화 상자, 상담 요청 노트, 상담 첨부물들, 및/또는 상담 로그를 선택하기 위한 기능을 포함할 수 있다. 도 16b에 도시된 바와 같이, 상담 요청들은 환자 이름, 의뢰 의사, 기관, 요청된 날짜, 상태, 업데이트된 날짜, 및/또는 요청에 대한 추가 상세들에 대한 링크를 포함할 수 있다.
도 17은 예시적인 실시예에 따른, 뷰잉 애플리케이션 툴(101)에 대한 케이스 뷰의 예시적인 출력을 도시한다. 케이스 뷰는 디지털 시그넷 작업흐름(digital signet workflow)에 필요한 모든 정보를 포함할 수 있다. 추가적으로, 도 17에 도시된 바와 같이, 주석 로그가 케이스 뷰에 통합될 수 있다.
도 18에 도시된 바와 같이, 디바이스(1800)는 중앙 처리 유닛(CPU)(1820)을 포함할 수 있다. CPU(1820)는, 예를 들어, 임의의 타입의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는, 임의의 타입의 프로세서 디바이스일 수 있다. 관련 기술 분야의 통상의 기술자라면 잘 알 수 있듯이, CPU(1820)는 또한 멀티코어/멀티프로세서 시스템(이러한 시스템은 단독으로 동작함), 또는 클러스터 또는 서버 팜(server farm)에서 동작하는 컴퓨팅 디바이스들의 클러스터에서의 단일 프로세서일 수 있다. CPU(1820)는 데이터 통신 인프라스트럭처(1810), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티코어 메시지 전달 스킴에 접속될 수 있다.
디바이스(1800)는 또한 메인 메모리(1840), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(1830)를 포함할 수 있다. 보조 메모리(1830), 예를 들어, 판독 전용 메모리(ROM)는, 예를 들어, 하드 디스크 드라이브 또는 착탈식 저장 드라이브일 수 있다. 그러한 착탈식 저장 드라이브는, 예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 착탈식 저장 드라이브는 이 예에서 잘 알려진 방식으로 착탈식 저장 유닛으로부터 판독 및/또는 그에 기입한다. 착탈식 저장 유닛은 착탈식 저장 드라이브에 의해 판독 및 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 그러한 착탈식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터를 저장한 컴퓨터 이용가능 저장 매체를 포함한다.
대안적인 구현들에서, 보조 메모리(1830)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(1800) 내로 로딩되는 것을 허용하기 위한 다른 유사한 수단을 포함할 수 있다. 그러한 수단의 예들은 프로그램 카트리지 및 카트리지 인터페이스(예를 들어, 비디오 게임 디바이스들에서 발견되는 것), 착탈식 메모리 칩(예를 들어, EPROM, 또는 PROM) 및 관련 소켓, 및 소프트웨어 및 데이터가 착탈식 저장 유닛으로부터 디바이스(1800)로 전송되는 것을 허용하는 다른 착탈식 저장 유닛들 및 인터페이스들을 포함할 수 있다.
디바이스(1800)는 또한 통신 인터페이스("COM")(1860)를 포함할 수 있다. 통신 인터페이스(1860)는 소프트웨어 및 데이터가 디바이스(1800)와 외부 디바이스들 사이에서 전송되게 한다. 통신 인터페이스(1860)는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(1860)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(1860)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수 있는 신호들의 형태일 수 있다. 이러한 신호들은, 예를 들어, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있는, 디바이스(1800)의 통신 경로를 통해 통신 인터페이스(1860)에 제공될 수 있다.
그러한 장비의 하드웨어 요소들, 운영 체제들 및 프로그래밍 언어들은 사실상 통상적이며, 본 기술분야의 통상의 기술자들은 그와 적절히 친숙하다고 가정된다. 디바이스(1800)는 또한 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 접속하기 위한 입력 및 출력 포트들(1850)을 포함할 수 있다. 물론, 다양한 서버 기능들은 처리 부하를 분산시키기 위해 다수의 유사한 플랫폼 상에 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.
본 개시내용 전체에 걸쳐, 컴포넌트들 또는 모듈들에 대한 참조들은 일반적으로, 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 유사한 참조 번호들은 일반적으로 동일하거나 유사한 컴포넌트들을 지칭하도록 의도된다. 컴포넌트들 및 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.
전술한 툴들, 모듈들, 및 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장" 타입 매체는 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장을 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등의 유형의 메모리, 또는 이들의 연관된 모듈들 중 임의의 것 또는 전부를 포함할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 원격통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 것으로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 이용되는 바와 같이, 비일시적인 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령어들을 제공하는데 참여하는 임의의 매체를 지칭한다.
상기의 일반적인 설명은 단지 예시적인 것이고 설명을 위한 것이며, 본 개시내용을 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에 개시된 본 발명의 명세서 및 실시의 고려로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 명세서 및 예들은 단지 예시적인 것으로 간주되는 것이 의도된다.
Claims (20)
- 표본에 대응하는 전자 이미지를 분석하기 위한 컴퓨터로 구현된 방법으로서,
타겟 표본에 대응하는 타겟 전자 이미지를 수신하는 단계―상기 타겟 표본은 환자의 조직 샘플을 포함함―;
상기 타겟 전자 이미지에 기계 학습 시스템을 적용하여 상기 타겟 표본의 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 적어도 하나의 특성을 결정하는 단계―상기 기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지들을 처리함으로써 생성되고, 상기 훈련 이미지들은 인간 조직의 이미지들 및/또는 알고리즘적으로 생성되는 이미지들을 포함함―; 및
상기 타겟 표본의 상기 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 상기 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 상기 타겟 전자 이미지를 출력하는 단계를 포함하는
컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 관심 영역을 식별하는 단계는 상기 타겟 전자 이미지 상에 히트 맵 오버레이를 디스플레이하는 단계를 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 관심 영역을 식별하는 단계는 상기 타겟 전자 이미지 상에 히트 맵 오버레이를 디스플레이하는 단계를 포함하고, 상기 히트 맵 오버레이는 위치가 비정상을 포함할 예측된 가능성에 기초한 음영 및/또는 컬러레이션(coloration)을 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 관심 영역을 식별하는 단계는 상기 타겟 전자 이미지 상에 히트 맵 오버레이를 디스플레이하는 단계를 포함하고, 상기 히트 맵 오버레이는 위치가 비정상을 포함할 예측된 가능성에 기초한 음영 및/또는 컬러레이션을 포함하고,
상기 히트 맵 오버레이는 투명 또는 반투명한, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 타겟 전자 이미지의 적어도 일부 위에 확대 윈도우를 디스플레이하는 단계; 및
상기 타겟 전자 이미지의 확대 레벨과는 상이한 확대 레벨에서 상기 타겟 표본의 확대된 이미지를 상기 확대 윈도우에 제시하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 타겟 전자 이미지의 적어도 일부 위에 확대 윈도우를 디스플레이하는 단계; 및
상기 타겟 전자 이미지의 확대 레벨과는 상이한 확대 레벨에서 상기 타겟 표본의 확대된 이미지를 상기 확대 윈도우에 제시하는 단계를 더 포함하고,
상기 확대 윈도우는 상기 확대된 이미지 상에 히트 맵 오버레이를 토글링하기 위한 선택가능한 아이콘을 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 타겟 전자 이미지 상의 상기 타겟 표본의 개요를 식별하는 슬라이드 트레이 툴을 디스플레이하는 단계;
상기 타겟 표본의 부분이 비정상을 포함하는지를 결정하기 위해 상기 타겟 전자 이미지에 상기 기계 학습 시스템을 적용하는 단계; 및
상기 부분이 비정상을 포함한다고 결정하는 것에 응답하여, 상기 비정상의 표시자를 상기 슬라이드 트레이 툴에 제시하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 관심 영역을 식별하는 표시자 및 상기 관심 영역에 관련된 상담 요청을 포함하는 주석 로그를 디스플레이하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 타겟 표본에 대응하는 제2 타겟 전자 이미지를 수신하는 단계;
상기 타겟 전자 이미지와 연관된 상기 타겟 표본의 제1 부분을 결정하는 단계;
상기 제2 타겟 전자 이미지와 연관된 상기 타겟 표본의 제2 부분을 결정하는 단계;
상기 제1 부분 및 상기 제2 부분이 동일한지 또는 중첩하는지를 식별하는 단계;
상기 제1 부분 및 상기 제2 부분이 동일하거나 또는 중첩한다는 것을 식별하는 것에 응답하여, 상기 타겟 전자 이미지의 제1 표현 및 상기 제2 타겟 전자 이미지의 제2 표현을 서로 미리 결정된 근접도로 디스플레이하는 단계;
상기 타겟 전자 이미지와 연관된 관심 영역 및/또는 상기 제2 타겟 전자 이미지와 연관된 관심 영역이 존재하는지를 결정하는 단계;
상기 타겟 전자 이미지와 연관된 상기 관심 영역을 결정하는 것에 응답하여, 상기 타겟 전자 이미지의 상기 제1 표현과 연관된 표시자를 디스플레이하는 단계; 및
상기 제2 타겟 전자 이미지와 연관된 상기 관심 영역을 결정하는 것에 응답하여, 상기 제2 타겟 전자 이미지의 상기 제2 표현과 연관된 표시자를 디스플레이하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 표본에 대응하는 전자 이미지를 분석하기 위한 시스템으로서,
명령어들을 저장하는 적어도 하나의 메모리; 및
프로세스를 수행하기 위해 상기 명령어들을 실행하는 적어도 하나의 프로세서를 포함하고,
상기 프로세스는,
타겟 표본에 대응하는 타겟 전자 이미지를 수신하는 것―상기 타겟 표본은 환자의 조직 샘플을 포함함―;
상기 타겟 전자 이미지에 기계 학습 시스템을 적용하여 상기 타겟 표본의 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 적어도 하나의 특성을 결정하는 것―상기 기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지들을 처리함으로써 생성되고, 상기 훈련 이미지들은 인간 조직의 이미지들 및/또는 알고리즘적으로 생성되는 이미지들을 포함함―; 및
상기 타겟 표본의 상기 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 상기 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 상기 타겟 전자 이미지를 출력하는 것을 포함하는
시스템. - 제10항에 있어서,
상기 관심 영역을 식별하는 것은 상기 타겟 전자 이미지 상에 히트 맵 오버레이를 디스플레이하는 것을 포함하는, 시스템. - 제10항에 있어서,
상기 관심 영역을 식별하는 것은 상기 타겟 전자 이미지 상에 히트 맵 오버레이를 디스플레이하는 것을 포함하고, 상기 히트 맵 오버레이는 위치가 비정상을 포함할 예측된 가능성에 기초한 음영 및/또는 컬러레이션을 포함하는, 시스템. - 제10항에 있어서,
상기 관심 영역을 식별하는 것은 상기 타겟 전자 이미지 상에 히트 맵 오버레이를 디스플레이하는 것을 포함하고, 상기 히트 맵 오버레이는 위치가 비정상을 포함할 예측된 가능성에 기초한 음영 및/또는 컬러레이션을 포함하고,
상기 히트 맵 오버레이는 투명 또는 반투명한, 시스템. - 제10항에 있어서,
상기 타겟 전자 이미지의 적어도 일부 위에 확대 윈도우를 디스플레이하는 것; 및
상기 타겟 전자 이미지의 확대 레벨과는 상이한 확대 레벨에서 상기 타겟 표본의 확대된 이미지를 상기 확대 윈도우에 제시하는 것을 더 포함하는, 시스템. - 제10항에 있어서,
상기 타겟 전자 이미지의 적어도 일부 위에 확대 윈도우를 디스플레이하는 것; 및
상기 타겟 전자 이미지의 확대 레벨과는 상이한 확대 레벨에서 상기 타겟 표본의 확대된 이미지를 상기 확대 윈도우에 제시하는 것을 더 포함하고,
상기 확대 윈도우는 상기 확대된 이미지 상에 히트 맵 오버레이를 토글링하기 위한 선택가능한 아이콘을 포함하는, 시스템. - 제10항에 있어서,
상기 타겟 전자 이미지 상의 상기 타겟 표본의 개요를 식별하는 슬라이드 트레이 툴을 디스플레이하는 것;
상기 타겟 표본의 부분이 비정상을 포함하는지를 결정하기 위해 상기 타겟 전자 이미지에 상기 기계 학습 시스템을 적용하는 것; 및
상기 부분이 비정상을 포함한다고 결정하는 것에 응답하여, 상기 비정상의 표시자를 상기 슬라이드 트레이 툴에 제시하는 것을 더 포함하는, 시스템. - 제10항에 있어서,
상기 관심 영역을 식별하는 표시자 및 상기 관심 영역에 관련된 상담 요청을 포함하는 주석 로그를 디스플레이하는 것을 더 포함하는, 시스템. - 제10항에 있어서,
상기 타겟 표본에 대응하는 제2 타겟 전자 이미지를 수신하는 것;
상기 타겟 전자 이미지와 연관된 상기 타겟 표본의 제1 부분을 결정하는 것;
상기 제2 타겟 전자 이미지와 연관된 상기 타겟 표본의 제2 부분을 결정하는 것;
상기 제1 부분 및 상기 제2 부분이 동일한지 또는 중첩하는지를 식별하는 것;
상기 제1 부분 및 상기 제2 부분이 동일한지 또는 중첩하는지를 식별하는 것에 응답하여, 상기 타겟 전자 이미지의 제1 표현 및 상기 제2 타겟 전자 이미지의 제2 표현을 서로 미리 결정된 근접도로 디스플레이하는 것;
상기 타겟 전자 이미지와 연관된 관심 영역 및/또는 상기 제2 타겟 전자 이미지와 연관된 관심 영역이 존재하는지를 결정하는 것;
상기 타겟 전자 이미지와 연관된 상기 관심 영역을 결정하는 것에 응답하여, 상기 타겟 전자 이미지의 상기 제1 표현과 연관된 표시자를 디스플레이하는 것; 및
상기 제2 타겟 전자 이미지와 연관된 상기 관심 영역을 결정하는 것에 응답하여, 상기 제2 타겟 전자 이미지의 상기 제2 표현과 연관된 표시자를 디스플레이하는 것을 더 포함하는, 시스템. - 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 표본에 대응하는 전자 이미지를 분석하기 위한 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은,
타겟 표본에 대응하는 타겟 전자 이미지를 수신하는 단계―상기 타겟 표본은 환자의 조직 샘플을 포함함―;
상기 타겟 전자 이미지에 기계 학습 시스템을 적용하여 상기 타겟 표본의 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 적어도 하나의 특성을 결정하는 단계―상기 기계 학습 시스템은 적어도 하나의 특성을 예측하기 위해 복수의 훈련 이미지들을 처리함으로써 생성되고, 상기 훈련 이미지들은 인간 조직의 이미지들 및/또는 알고리즘적으로 생성되는 이미지들을 포함함―; 및
상기 타겟 표본의 상기 적어도 하나의 특성 및/또는 상기 타겟 전자 이미지의 상기 적어도 하나의 특성에 기초하여 관심 영역을 식별하는 상기 타겟 전자 이미지를 출력하는 단계를 포함하는
비일시적 컴퓨터 판독가능 매체. - 제19항에 있어서,
상기 관심 영역을 식별하는 단계는 상기 타겟 전자 이미지 상에 히트 맵 오버레이를 디스플레이하는 단계를 포함하고, 상기 히트 맵 오버레이는 위치가 비정상을 포함할 예측된 가능성에 기초한 음영 및/또는 컬러레이션을 포함하는, 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962897745P | 2019-09-09 | 2019-09-09 | |
| US62/897,745 | 2019-09-09 | ||
| PCT/US2020/049698 WO2021050421A1 (en) | 2019-09-09 | 2020-09-08 | Systems and methods for processing images of slides for digital pathology |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220062332A true KR20220062332A (ko) | 2022-05-16 |
Family
ID=72644894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227011396A KR20220062332A (ko) | 2019-09-09 | 2020-09-08 | 디지털 병리학을 위한 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11551357B2 (ko) |
| EP (1) | EP4028989A1 (ko) |
| JP (1) | JP2022546595A (ko) |
| KR (1) | KR20220062332A (ko) |
| CN (1) | CN114616590A (ko) |
| AU (1) | AU2020344517A1 (ko) |
| BR (1) | BR112022003461A2 (ko) |
| CA (1) | CA3147085A1 (ko) |
| WO (1) | WO2021050421A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220351428A1 (en) * | 2020-01-17 | 2022-11-03 | Olympus Corporation | Information processing apparatus, information processing method, and computer readable recording medium |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11436713B2 (en) * | 2020-02-19 | 2022-09-06 | International Business Machines Corporation | Application error analysis from screenshot |
| TW202213261A (zh) * | 2020-09-28 | 2022-04-01 | 林易霆 | 無引導者機器學習模型輔助之醫病共享決策系統及其共享方法 |
| US11663838B2 (en) * | 2020-10-29 | 2023-05-30 | PAIGE.AI, Inc. | Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens |
| WO2023278205A1 (en) * | 2021-06-28 | 2023-01-05 | Gestalt Diagnostics, LLC | Methods, apparatuses, and computer-readable media for enhancing digital pathology platform |
| USD1027977S1 (en) | 2021-06-28 | 2024-05-21 | Gestalt Diagnostics, LLC | Display screen or portion thereof having a graphical user interface |
| JP2024066977A (ja) * | 2022-10-28 | 2024-05-16 | 京セラ株式会社 | 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体 |
| US20240221961A1 (en) * | 2022-12-29 | 2024-07-04 | Idexx Laboratories, Inc. | Methods and Systems for Processing Pathology Data of a Patient For Pre-Screening Veterinary Pathology Samples |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1613734A4 (en) * | 2003-04-04 | 2007-04-18 | Agilent Technologies Inc | VISUALIZATION OF EXPRESSION DATA ON CHROMOSOMIC GRAPHIC SCHEMES |
| US7694234B2 (en) * | 2005-08-04 | 2010-04-06 | Microsoft Corporation | Virtual magnifying glass with on-the fly control functionalities |
| CA2682940A1 (en) * | 2007-04-11 | 2008-10-23 | Forth Photonics Limited | A supporting structure and a workstation incorporating the supporting structure for improving, objectifying and documenting in vivo examinations of the uterus |
| US8463741B2 (en) * | 2009-09-04 | 2013-06-11 | Omnyx, LLC | Digital pathology system |
| US9335894B1 (en) * | 2010-03-26 | 2016-05-10 | Open Invention Network, Llc | Providing data input touch screen interface to multiple users based on previous command selections |
| US20120069049A1 (en) * | 2010-09-16 | 2012-03-22 | Omnyx, LLC | Digital pathology image manipulation |
| US20120127297A1 (en) * | 2010-11-24 | 2012-05-24 | Baxi Vipul A | Digital microscopy with focus grading in zones distinguished for comparable image structures |
| WO2015069824A2 (en) * | 2013-11-06 | 2015-05-14 | Lehigh University | Diagnostic system and method for biological tissue analysis |
| JP6588444B2 (ja) * | 2014-01-28 | 2019-10-09 | ベンタナ メディカル システムズ， インコーポレイテッド | 全スライド組織セグメント化のための適応分類 |
| WO2015155808A1 (ja) * | 2014-04-09 | 2015-10-15 | パナソニック株式会社 | 情報端末の制御方法及びプログラム |
| JP6469977B2 (ja) * | 2014-07-09 | 2019-02-13 | オリンパス株式会社 | 標本観察装置および標本観察方法 |
| CA2970129C (en) * | 2015-01-31 | 2023-04-11 | Ventana Medical Systems, Inc. | Systems and methods for area-of-interest detection using slide thumbnail images |
| US9956054B2 (en) * | 2015-06-25 | 2018-05-01 | EchoPixel, Inc. | Dynamic minimally invasive surgical-aware assistant |
| KR102474244B1 (ko) * | 2015-11-20 | 2022-12-06 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작방법 |
| KR20190007445A (ko) * | 2016-05-12 | 2019-01-22 | 라이프 테크놀로지스 코포레이션 | 이미지 캡처 및 표시를 위한 시스템, 방법 및 장치 |
| JP6885564B2 (ja) * | 2016-11-22 | 2021-06-16 | ユニバーシダッド デ ラス パルマス デ グラン カナリア | 腫瘍および／または健常組織の非侵襲的検出方法およびハイパースペクトルイメージング装置 |
| CN110476101B (zh) * | 2017-06-13 | 2022-02-18 | 谷歌有限责任公司 | 用于病理学的增强现实显微镜 |
| US10937540B2 (en) * | 2017-12-21 | 2021-03-02 | International Business Machines Coporation | Medical image classification based on a generative adversarial network trained discriminator |
| US10592779B2 (en) * | 2017-12-21 | 2020-03-17 | International Business Machines Corporation | Generative adversarial network medical image generation for training of a classifier |
| EP3979127A1 (en) | 2018-02-15 | 2022-04-06 | Verily Life Sciences LLC | Pathology predictions on unstained tissue |
| US10957041B2 (en) * | 2018-05-14 | 2021-03-23 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
| US11508168B2 (en) * | 2018-10-15 | 2022-11-22 | Upmc | Systems and methods for specimen interpretation |
| JP7270058B2 (ja) * | 2019-03-12 | 2023-05-09 | エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト | 予測的組織パターン特定のためのマルチプルインスタンスラーナ |
| US10970837B2 (en) * | 2019-03-18 | 2021-04-06 | Siemens Healthcare Gmbh | Automated uncertainty estimation of lesion segmentation |
| JP2022534157A (ja) * | 2019-05-29 | 2022-07-28 | ライカ バイオシステムズ イメージング インコーポレイテッド | 組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー |
| US11276176B2 (en) * | 2019-09-04 | 2022-03-15 | International Business Machines Corporation | Intelligent boundary delineation of regions of interest of an organism from multispectral video streams using perfusion models |
| CN115004260A (zh) * | 2019-11-18 | 2022-09-02 | 10X基因组学有限公司 | 用于组织分类的系统和方法 |
| KR102492463B1 (ko) * | 2020-06-24 | 2023-01-27 | 주식회사 뷰노 | 병변 판독 결과 표시 방법 |
-
2020
- 2020-09-08 CA CA3147085A patent/CA3147085A1/en active Pending
- 2020-09-08 BR BR112022003461A patent/BR112022003461A2/pt unknown
- 2020-09-08 KR KR1020227011396A patent/KR20220062332A/ko active Search and Examination
- 2020-09-08 CN CN202080077319.8A patent/CN114616590A/zh active Pending
- 2020-09-08 AU AU2020344517A patent/AU2020344517A1/en not_active Abandoned
- 2020-09-08 JP JP2022514706A patent/JP2022546595A/ja active Pending
- 2020-09-08 EP EP20780419.6A patent/EP4028989A1/en active Pending
- 2020-09-08 WO PCT/US2020/049698 patent/WO2021050421A1/en unknown
- 2020-09-08 US US17/014,532 patent/US11551357B2/en active Active
-
2022
- 2022-12-05 US US18/061,837 patent/US20230095896A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220351428A1 (en) * | 2020-01-17 | 2022-11-03 | Olympus Corporation | Information processing apparatus, information processing method, and computer readable recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210073984A1 (en) | 2021-03-11 |
| US20230095896A1 (en) | 2023-03-30 |
| BR112022003461A2 (pt) | 2022-05-24 |
| AU2020344517A1 (en) | 2022-03-24 |
| US11551357B2 (en) | 2023-01-10 |
| JP2022546595A (ja) | 2022-11-04 |
| EP4028989A1 (en) | 2022-07-20 |
| CN114616590A (zh) | 2022-06-10 |
| CA3147085A1 (en) | 2021-03-18 |
| WO2021050421A8 (en) | 2022-03-24 |
| WO2021050421A1 (en) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11893510B2 (en) | Systems and methods for processing images to classify the processed images for digital pathology | |
| US11551357B2 (en) | Systems and methods for processing images of slides for digital pathology | |
| KR102403397B1 (ko) | 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| CN115210817A (zh) | 用于分析电子图像以进行质量控制的系统和方法 | |
| KR102553095B1 (ko) | 디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들 | |
| KR20230021665A (ko) | 디지털 병리학에서 현저한 정보를 결정하기 위해 전자 이미지들을 처리하는 시스템들 및 방법들 | |
| BR112022013004B1 (pt) | Métodos implementados por computador para processar imagens eletrônicas empregando amostras in vitro e sistema para processar imagens eletrônicas |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |