KR20240038756A - 조직병리학 품질 결정을 위한 전자 이미지 처리 시스템 및 방법 - Google Patents
조직병리학 품질 결정을 위한 전자 이미지 처리 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240038756A KR20240038756A KR1020247005852A KR20247005852A KR20240038756A KR 20240038756 A KR20240038756 A KR 20240038756A KR 1020247005852 A KR1020247005852 A KR 1020247005852A KR 20247005852 A KR20247005852 A KR 20247005852A KR 20240038756 A KR20240038756 A KR 20240038756A
- Authority
- KR
- South Korea
- Prior art keywords
- feature vectors
- digital
- images
- slide
- tile
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000012545 processing Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 56
- 238000010801 machine learning Methods 0.000 claims abstract description 44
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 35
- 230000015654 memory Effects 0.000 claims description 15
- 238000000638 solvent extraction Methods 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 48
- 238000012549 training Methods 0.000 description 41
- 238000003860 storage Methods 0.000 description 32
- 238000004458 analytical method Methods 0.000 description 31
- 238000003908 quality control method Methods 0.000 description 31
- 238000002372 labelling Methods 0.000 description 16
- 238000007726 management method Methods 0.000 description 16
- 230000007170 pathology Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003364 immunohistochemistry Methods 0.000 description 2
- 238000010603 microCT Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000003326 Quality management system Methods 0.000 description 1
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
전자 이미지를 처리하기 위한 컴퓨터로 구현되는 방법은 인공 지능(AI) 시스템의 전자 저장소에서 AI 시스템에 의해 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하고, 하나 이상의 디지털 WSI의 타일 이미지의 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 단계를 포함할 수 있다. 이 방법은 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하는 단계 및 훈련된 머신 러닝 모델의 출력에 기초하여 하나 이상의 디지털 WSI에 하나 이상의 품질 문제가 존재하는지 여부를 결정하는 단계를 포함할 수 있다.
Description
관련 출원
본 출원은 2021년 7월 26일에 출원된 미국 가출원 번호 제63/203,513호에 대한 우선권을 주장하며, 이 출원의 전체 개시 내용은 그 전체가 참조로 본 명세서에 포함된다.
공개 분야
본 개시의 다양한 실시예는 일반적으로 이미지 처리 방법에 관한 것이다. 보다 구체적으로, 본 개시의 특정 실시예는 디지털 병리학 영상에서 관련 품질 관리 문제의 위치, 존재 및 종류를 결정하기 위한 시스템 및 방법에 관한 것이다.
병리학 슬라이드의 품질은 인간 병리학자 또는 이에 대해 작용하는 인공 지능(AI) 시스템에 의한 올바른 해석에 매우 중요하다. 그러나 슬라이드 품질이 부족하거나 거부된 이유를 보고하는 자동화 시스템이 필요하며, 이 거부 임계값은 특정 응용예에 따라 이미지에서 작용하는 알고리즘에 대해 조정되어야 할 수도 있다.
본 명세서에 제공된 배경 설명은 본 개시의 맥락을 일반적으로 제시하기 위한 것이다. 여기에 달리 명시하지 않는 한, 이 부분에 설명된 자료는 본 출원의 청구범위에 대한 선행 기술이 아니며, 이 부분에 포함된다고 해서 선행 기술 또는 선행 기술의 제안으로 인정되지 않는다.
본 개시의 특정 양태에 따르면, 디지털 전체 슬라이드 이미지에 존재하는 품질 문제를 결정하기 위한 시스템 및 방법이 개시된다.
전자 이미지를 처리하기 위한 컴퓨터로 구현되는 방법은 인공 지능(AI) 시스템의 전자 저장소에서 인공 지능(AI) 시스템에 의해, 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 단계, 및 하나 이상의 디지털 WSI의 타일 이미지의 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 단계를 포함할 수 있다. 방법은 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하는 단계 및 훈련된 머신 러닝 모델의 출력에 기초하여 하나 이상의 디지털 WSI에 하나 이상의 품질 문제가 존재하는지 여부를 결정하는 단계를 포함할 수 있다.
전자 이미지를 처리하기 위한 컴퓨터 시스템은 명령어를 저장하는 적어도 하나의 메모리와, 동작을 수행하도록 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다. 동작에는 인공 지능(AI) 시스템의 전자 저장소에서 인공 지능(AI) 시스템에 의해 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하고, 하나 이상의 디지털 WSI의 이미지의 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 것이 포함될 수 있다. 동작에는 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하고 훈련된 머신 러닝 모델의 출력에 기초하여 하나 이상의 디지털 WSI에 하나 이상의 품질 문제가 있는지 여부를 결정하는 것이 포함될 수 있다.
비일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때 프로세서가 전자 이미지를 처리하기 위한 동작을 수행하게 하는 명령어를 저장할 수 있다. 동작에는 AI 시스템의 전자 저장소에서 인공 지능(AI) 시스템에 의해, 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하고 하나 이상의 디지털 WSI 중 타일 이미지들 중 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 것이 포함될 수 있다. 동작에는 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하고, 훈련된 머신 러닝 모델의 출력에 기초하여 하나 이상의 디지털 WSI에 하나 이상의 품질 문제가 있는지 여부를 결정하는 것이 포함될 수 있다.
전술한 일반적인 설명과 다음의 상세한 설명은 단지 예시적이고 설명을 위한 것이며 청구된 바와 같이 개시된 실시예를 제한하지 않는다는 것이 이해되어야 한다.
본 명세서에 포함되어 일부를 구성하는 첨부 도면은 다양한 예시적인 실시예를 예시하고, 설명과 함께 개시된 실시예의 원리를 설명하는 역할을 한다.
도 1a는 본 개시의 예시적인 실시예에 따라, 조직병리학 품질을 결정하기 위해 전자 이미지를 처리하기 위한 시스템 및 네트워크의 예시적인 블록도를 예시한다.
도 1b는 본 발명의 예시적인 실시예에 따라 도 1a의 시스템의 품질 관리 플랫폼의 예시적인 블록도를 도시한다.
도 1c는 본 발명의 예시적인 실시예에 따라 도 1a의 시스템의 슬라이드 분석 도구의 예시적인 블록도를 도시한다.
도 2a-2c는 본 개시의 예시적인 실시예에 따른 전체 슬라이드 이미지의 예시적인 품질 관리(QC) 문제를 도시한다.
도 3a는 본 발명의 예시적인 실시예에 따른, 전문가 라벨링을 이용한 알고리즘을 훈련하는 예시적인 방법의 흐름도이다.
도 3b는 본 개시의 예시적인 실시예에 따른, 본 개시의 예시적인 실시예에 따른, 전문가 라벨링을 이용한 알고리즘을 사용하기 위한 예시적인 방법의 흐름도이다.
도 4는 본 개시의 예시적인 실시예에 따른 관심 영역에 대한 예시적인 클러스터링 분석을 도시한다.
도 5a는 본 발명의 예시적인 실시예에 따라 관심 영역을 식별하기 위해 클러스터링 분석을 사용하여 알고리즘을 훈련하는 예시적인 방법의 흐름도이다.
도 5b는 본 개시의 예시적인 실시예에 따라, 본 개시의 예시적인 실시예에 따른 관심 영역을 식별하기 위해 클러스터링 분석과 함께 알고리즘을 사용하는 예시적인 방법의 흐름도이다.
도 6은 본 발명의 예시적인 실시예에 따른 품질 관리 플랫폼을 갖춘 스캐너의 예시적인 작업 흐름을 도시한다.
도 7은 본 발명의 예시적인 실시예에 따른 품질 관리 플랫폼의 디지털 뷰어의 예시적인 작업 흐름을 도시한다.
도 8은 본 발명의 예시적인 실시예에 따른 품질 관리 플랫폼을 갖춘 예시적인 슬라이드 저장소를 도시한다.
도 9는 본 개시의 특정 실시예에 따른 예시적인 컴퓨팅 장치를 도시한다.
도 1a는 본 개시의 예시적인 실시예에 따라, 조직병리학 품질을 결정하기 위해 전자 이미지를 처리하기 위한 시스템 및 네트워크의 예시적인 블록도를 예시한다.
도 1b는 본 발명의 예시적인 실시예에 따라 도 1a의 시스템의 품질 관리 플랫폼의 예시적인 블록도를 도시한다.
도 1c는 본 발명의 예시적인 실시예에 따라 도 1a의 시스템의 슬라이드 분석 도구의 예시적인 블록도를 도시한다.
도 2a-2c는 본 개시의 예시적인 실시예에 따른 전체 슬라이드 이미지의 예시적인 품질 관리(QC) 문제를 도시한다.
도 3a는 본 발명의 예시적인 실시예에 따른, 전문가 라벨링을 이용한 알고리즘을 훈련하는 예시적인 방법의 흐름도이다.
도 3b는 본 개시의 예시적인 실시예에 따른, 본 개시의 예시적인 실시예에 따른, 전문가 라벨링을 이용한 알고리즘을 사용하기 위한 예시적인 방법의 흐름도이다.
도 4는 본 개시의 예시적인 실시예에 따른 관심 영역에 대한 예시적인 클러스터링 분석을 도시한다.
도 5a는 본 발명의 예시적인 실시예에 따라 관심 영역을 식별하기 위해 클러스터링 분석을 사용하여 알고리즘을 훈련하는 예시적인 방법의 흐름도이다.
도 5b는 본 개시의 예시적인 실시예에 따라, 본 개시의 예시적인 실시예에 따른 관심 영역을 식별하기 위해 클러스터링 분석과 함께 알고리즘을 사용하는 예시적인 방법의 흐름도이다.
도 6은 본 발명의 예시적인 실시예에 따른 품질 관리 플랫폼을 갖춘 스캐너의 예시적인 작업 흐름을 도시한다.
도 7은 본 발명의 예시적인 실시예에 따른 품질 관리 플랫폼의 디지털 뷰어의 예시적인 작업 흐름을 도시한다.
도 8은 본 발명의 예시적인 실시예에 따른 품질 관리 플랫폼을 갖춘 예시적인 슬라이드 저장소를 도시한다.
도 9는 본 개시의 특정 실시예에 따른 예시적인 컴퓨팅 장치를 도시한다.
이제 본 발명의 예시적인 실시예를 상세히 참조할 것이며, 그 예는 첨부 도면에 도시되어 있다. 가능하면 도면 전체에 걸쳐 동일한 참조 번호를 사용하여 동일하거나 유사한 부품을 나타낸다.
본 명세서에 개시된 시스템, 장치 및 방법은 예를 통해 그리고 도면을 참조하여 상세히 설명된다. 여기에 설명된 예는 단지 예일 뿐이며 여기에 설명된 장치, 장치, 시스템 및 방법의 설명을 돕기 위해 제공된다. 도면에 표시되거나 아래에 설명된 기능이나 구성 요소는 필수 항목으로 특별히 지정되지 않는 한 이러한 장치, 시스템 또는 방법의 특정 구현에 필수 항목으로 간주되어서는 안 된다.
또한, 설명된 임의의 방법에 대해, 방법이 흐름도와 함께 설명되는지 여부에 관계없이, 문맥에 의해 달리 지정되거나 요구되지 않는 한, 방법의 실행 시 수행되는 단계들의 명시적 또는 암시적 순서가, 해당 단계가 제시된 순서대로 수행되어야 함을 의미하는 것이 아니라 다른 순서로 또는 병렬로 수행될 수 있음을 의미한다.
본 명세서에 사용된 바와 같이, "예시적인"이라는 용어는 "이상적인"보다는 "예"의 의미로 사용된다. 또한, 본 명세서에서 사용되는 "하나의" 및 "일"은 수량의 제한을 의미하는 것이 아니라, 참조 항목이 하나 이상 존재함을 의미한다.
병리학 테스트는 의료 시스템의 중요한 부분이며, 임상의는 치료 결정의 최대 70%를 병리학 테스트에 의존한다. 수집 과정 중에 임상의에게 발행된 결과에 영향을 줄 수 있는 오류가 발생할 가능성이 많다. 어떤 측정 품질 문제가 의료 오류로 이어지는지는 불분명할 수 있지만, 품질 문제로 인해 병리학자의 진단이 상당히 지연되어 환자 결과에 부정적인 영향을 미칠 수 있다.
조직병리학 실험실에서 분석-전 품질 관리와 관련된 오류는 최대 5%인 것으로 확인되었다. 보고 가능한 분석-전 오류가 무엇인지에 대해서는 합의가 이루어지지 않았지만, 연구에서는 기록되어 잘못된 결과를 가져온 오류만 포착할 수 있다. 따라서 기록된 오류율은 결과를 감지할 만큼 크게 변경하지 않은 분석-전 오류로 인해 실험실의 실제 오류율보다 낮을 수 있다.
본 명세서에 제시된 기술은 아티팩트를 검출하고, 슬라이드의 각 국소 영역 내에 존재하는 조직의 종류에 기초하여 슬라이드의 각 영역을 분류하는 것과 관련이 있다. 또한, 여기에 제시된 기술은 인공 지능(AI) 및/또는 컴퓨터 비전 알고리즘을 사용하여 슬라이드의 일부 또는 전체와 관련된 품질 문제를 추론하는 방법을 설명한다. 특정 실시예는 슬라이드에 대한 문제를 보고할 수 있으며 이미지에서 문제가 발견되는 위치를 구체적으로 나타낼 수 있다.
도 1a는 본 발명의 예시적인 실시예에 따라 조직병리학 품질을 결정하기 위해 전자 이미지를 처리하기 위한 시스템 및 네트워크의 블록도를 예시한다. 구체적으로, 도 1a는 다양한 처리 장치(예: 슬라이드 분석 도구(101)를 포함하는 품질 관리 플랫폼(100)) 및 저장 장치(109), 네트워크(120), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124), 및 실험실 정보 시스템(125)을 포함하는 서버 시스템(110)을 도시한다.
서버 시스템(110)은 서버 장치의 하나 이상의 상호 연결된 시스템(예를 들어, 다중 상호 연결된 데이터 센터 또는 클라우드 네트워크, 데이터 센터 또는 클라우드 네트워크 내의 다중 상호 연결된 시스템 등)을 포함할 수 있다. 서버 시스템(110)은 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125) 중 적어도 하나로부터 수신된 이미지 및 데이터를 저장하기 위한 하나 이상의 저장 장치(109)(예: 디지털 및/또는 전자 저장 장치(109))를 포함할 수 있다. 서버 시스템(110)은 또한 하나 이상의 저장 장치(109)에 저장된 이미지 및 데이터를 처리하기 위한 처리 장치를 포함할 수 있다. 예를 들어, 서버 시스템(110)은 품질 관리 플랫폼(100)을 구현하도록 구성되는 처리 장치를 포함할 수 있다. 품질 관리 플랫폼(100)은 슬라이드 분석 도구(101)를 이용하여 전체 슬라이드 이미지(WSI) 내의 조직을 분석할 수 있다.
서버 시스템(110)은 하나 이상의 머신 러닝 도구 또는 기능을 더 포함할 수 있다. 예를 들어, 처리 장치는 품질 관리 플랫폼(100)을 위한 머신 러닝 도구를 포함할 수 있다(예를 들어, 처리 장치는 하나 이상의 훈련된 머신 러닝 모델을 실행할 수 있다). 특정 실시예에서, 처리 장치에 의해 수행되는 동작의 일부 또는 전부는 로컬 처리 장치(예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 휴대폰, 태블릿 등)에서 수행될 수 있다.
네트워크(120)는 인터넷, 인트라넷, 셀룰러 네트워크(예를 들어, 3GPP(3세대 파트너십 프로젝트) 3G 네트워크, 4G 네트워크, 5G 네트워크, 등), WAN(Wide Area Network), LAN(Local Area Network), PLMN(Public Land Mobile Network) 등과 같은 하나 이상의 유선 및/또는 무선 네트워크를 포함할 수 있다. 네트워크(120)는 예를 들어 병원, 실험실, 진료실 등의, 서버에 연결될 수 있다. 예를 들어, 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125) 등은 각각 하나 이상의 컴퓨터, 서버 및/또는 휴대용 모바일 장치를 통해 인터넷과 같은 네트워크(120)에 연결될 수 있다. 본 발명의 실시 예에 따르면, 네트워크(120)는 서버 시스템(110)과 연결될 수도 있다.
의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 하나 이상의 서버 장치를 포함할 수 있다(예를 들어, 데이터 센터에 있거나 클라우드 네트워크에 분산되어 있음). 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 하나 이상의 환자의 세포학 표본, 조직병리학 표본, 표본의 슬라이드, 표본 슬라이드의 디지털화된 이미지 또는 이들의 조합의 이미지를 생성하거나 획득할 수 있다. 의사 서버(121), 병원 서버(122), 임상 실험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 또한 연령, 병력, 암 치료 병력, 가족력, 과거 생검 또는 세포학 정보 등과 같은 환자별 정보의 임의의 조합을 얻을 수도 있다. 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 디지털화된 슬라이드 이미지 및/또는 환자별 정보를 네트워크(120)를 통해 서버 시스템(110)에 전송할 수 있다.
의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)은 병리학자가 검토할 슬라이드 이미지를 제공할 수 있다. 병원 설정에서, 조직 유형 정보는 실험실 정보 시스템(125)에 저장될 수 있다. 특정 실시 예에서, 전자 이미지는 실험실 정보 시스템(125)에 액세스할 필요 없이 조직병리학 품질을 결정하기 위해 처리될 수 있다. 추가적으로, 실험실 정보 시스템(125)에 의해 저장된 콘텐츠에 대한 액세스는 민감한 특성으로 인해 제한될 수 있다.
도 1b는 본 개시의 특정 실시예에 따른 도 1a의 시스템의 품질 관리 플랫폼(100)의 예시적인 블록도를 도시한다. 도 1b에 도시된 바와 같이, 품질 관리 플랫폼(100)은 슬라이드 분석 도구(101), 데이터 수집 도구(102), 슬라이드 흡입 도구(103)(슬라이드 스캐너(104), 슬라이드 관리자(105) 및 저장 장치(106)를 포함할 수 있음) 및 보기 애플리케이션 도구(108)를 포함할 수 있다. 슬라이드 분석 도구(101)는 예를 들어 조직병리학 품질을 결정하기 위해 전자 이미지를 처리할 수 있는 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 예를 들어, 슬라이드 분석 도구(101)는 디지털화된 슬라이드 이미지 및/또는 환자 정보를 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124), 및/또는 실험실 정보 시스템(125)에 네트워크(120)를 통해 전송할 수 있다.
데이터 수집 도구(102)는 예를 들어 디지털 병리학 이미지를 분류하고 처리하는 데 사용되는 본 명세서에 설명된 다양한 도구, 모듈, 구성요소 및 장치로의 디지털 병리학 이미지의 전송을 촉진할 수 있는 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 슬라이드 흡입 도구(103)는 예를 들어 병리학 이미지를 스캐닝하고 이를 디지털 형식으로 변환할 수 있는 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 예를 들어, 슬라이드는 슬라이드 스캐너(104)로 스캔될 수 있고, 슬라이드 관리자(105)는 슬라이드의 이미지를 디지털화된 병리학 이미지로 처리하고 디지털화된 이미지를 저장소(106)(예를 들어, 디지털 또는 전자 저장 장치)에 저장할 수 있다. 보기 애플리케이션 도구(108)는 디지털 병리학 이미지에 관한 표본 속성 또는 이미지 속성 정보를 예를 들어 사용자(예를 들어 병리학자)에게 제공할 수 있는 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 상기 정보는 다양한 출력 인터페이스(예: 화면, 모니터, 저장 장치, 웹 브라우저 등)를 통하여 제공될 수 있다.
서버 시스템(110)(도 1b에는 도시되지 않음)은 슬라이드 분석 도구(101), 데이터 수집 도구(102), 슬라이드 흡입 도구(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 및/또는 보기 애플리케이션 도구(108)(예를 들어, 이 정보를 저장 장치(109)에 저장할 수 있음)로부터 수신되는 이미지 및 데이터를 저장할 수 있다. 서버 시스템(110)은 처리 장치를 이용하여 이미지 및 데이터를 처리할 수 있다. 서버 시스템(110)은 이미지와 데이터를 처리하기 위해 하나 이상의 머신 러닝 도구 또는 기능을 추가로 사용할 수 있다.
도 1c는 본 개시의 특정 실시예에 따른, 도 1a의 시스템의 슬라이드 분석 도구(101)의 예시적인 블록도를 도시한다. 슬라이드 분석 도구(101)는 훈련 이미지 플랫폼(131)(예를 들어, 훈련 이미지 흡입 모듈(132), 훈련 품질 관리 모듈(133) 및 슬라이드 배경 모듈(134)을 포함할 수 있음) 및/또는 표적 이미지 플랫폼(135)(예를 들어, 표적 이미지 흡입 모듈(136), 품질 관리 모듈(137) 및 출력 인터페이스(138)를 포함할 수 있음)을 포함할 수 있다.
훈련 이미지 플랫폼(131)은 디지털 병리 이미지를 효과적으로 분석하고 분류하기 위해 머신 러닝 모델을 훈련하는 데 사용되는 훈련 이미지를 생성하거나 수신할 수 있는 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 예를 들어, 훈련 이미지는 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)으로부터 수신될 수 있다. 훈련에 사용되는 이미지는 실제 소스(예: 인간, 동물 등)에서 얻을 수도 있고 합성 소스(예: 그래픽 렌더링 엔진, 3차원(3D) 모델 등)에서 얻을 수도 있다. 디지털 병리학 이미지의 예에는 (a) H&E, 헤마톡실린 단독, 면역조직화학(IHC), 분자 병리 등과 같은 다양한 염색으로 염색된 디지털화된 슬라이드; 및/또는 (b) 마이크로컴퓨터 단층촬영(microCT)과 같은 3D 이미징 장치의 디지털화된 조직 샘플을 포함할 수 있다.
훈련 이미지 흡입 모듈(132)은 예를 들어, 하나 이상의 건강 변수 및/또는 하나 이상의 데이터 변수에 대응하는 하나 이상의 훈련 데이터 세트를 포함하는 데이터 세트를 생성, 수신 또는 분석할 수 있는, 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 예를 들어, 훈련 데이터 세트는 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)으로부터 수신될 수 있다. 데이터세트가 디지털 및/또는 전자 저장 장치에 보관된다. 훈련 품질 관리 모듈(133)은 예를 들어, 훈련 이미지가 머신 러닝 모델을 훈련하기에 충분한 품질 수준을 가지고 있는지 여부를 결정할 수 있는, 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 슬라이드 배경 모듈(134)은 예를 들어, 개별 셀 세트가 관심 셀에 속하는지 또는 디지털화된 이미지의 배경에 속하는지 식별할 수 있는, 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 훈련 이미지의 배경 부분이 식별되면, 슬라이드 배경 모듈(134).
표적 이미지 플랫폼(135)은 예를 들어, 표적 이미지를 수신하고, 표적 데이터 세트의 특성을 결정하기 위해 수신된 표적 이미지에 머신 러닝 모델을 적용할 수 있는, 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 예를 들어, 표적 데이터는 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124) 및/또는 실험실 정보 시스템(125)으로부터 수신될 수 있다. 표적 이미지 흡입 모듈(136)은 예를 들어, 표적 건강 변수 또는 데이터 변수에 대응하는 표적 데이터 세트를 수신할 수 있는, 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 품질 관리 모듈(137)은 예를 들어, 표적 건강 변수 또는 데이터 변수의 특성을 결정하고 표적 데이터 세트가 머신 러닝 모델에 의한 처리에 충분한 품질을 가지고 있는지 여부를 결정하기 위해 표적 데이터 세트에 머신 러닝 모델을 적용할 수 있는, 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 품질 관리 모듈(137)은 또한 표적 데이터세트에 대한 품질 점수를 결정하기 위해 머신 러닝 모델을 표적 데이터세트에 적용할 수 있다. 또한, 품질 관리 모듈(137)은 표적 이미지에 머신 러닝 모델을 적용하여 표적 요소가 결정된 관계로 존재하는지 판단할 수 있다.
출력 인터페이스(138)는 예를 들어, 표적 데이터 및 결정된 관계에 대한 정보를 (예를 들어, 화면, 모니터, 저장 장치, 웹 브라우저 등에) 출력할 수 있는, 하나 이상의 컴퓨팅 장치를 포함할 수 있다.
위의 장치, 도구 및 모듈 중 하나는 하나 이상의 컴퓨터, 서버 및/또는 핸드헬드 모바일 장치를 통해 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(120)에 연결될 수 있는 장치에 위치할 수 있다.
도 2a-2c는 본 발명의 예시적인 실시예에 따른 전체 슬라이드 이미지의 예시적인 QC 문제를 도시한다. 도 2a는 슬라이드에 존재하는 기포(200)에 의해 발생할 수 있는 예시적인 QC 문제를 도시한다. 도 2b는 일련의 스캔 라인(210)에 의해 발생할 수 있는 예시적인 QC 문제를 도시한다. 도 2c는 흐려짐, 과도 염색 및 부서진 조직을 포함한, 여러 문제로 인해 발생할 수 있는 예시적인 QC 문제를 보여준다.
병리학 슬라이드와 그 디지털 이미지는 도 2a-2c에 도시된 바와 같이 인간 또는 알고리즘 분석을 방해할 수 있는 다양한 문제 세트를 겪을 수 있다. 이 분석에는 진단, 종양 분할, 보관, 게놈 테스트 및 이러한 이미지에 대한 머신 러닝 시스템 훈련이 포함되지만 이에 국한되지 않는다. 이 문제를 완화하기 위해, 가능한 작업흐름 기술 중 하나는 흐려짐을 감지하기 위한 간단한 장치-내 알고리즘(종종 실패함)과 기술자에 의한 수동 검토를 사용할 수 있다. 그러나 다운스트림 분석을 복잡하게 만들 수 있는 흐려짐 이상의 문제가 많기 때문에 이러한 솔루션은 제한적이다. 더욱이, 흐려짐은 이질적이며 디지털 이미지의 모든 곳에 위치하지 않을 수 있다. 예를 들어, 후속 분석과 관련 없는 위치에서 흐려짐이 발생할 수 있거나, 흐려짐이 분석을 방해할 만큼 심각하지 않을 수 있다. 흐려짐이나 기타 QC 문제로 인해 슬라이드나 슬라이드 이미지를 거부하는 경우, 시간과 비용 측면에서 부담이 될 수 있다. 슬라이드가 제대로 준비되지 않아 거부되면 병리학자나 AI 시스템이 해당 슬라이드를 분석하기까지 더 많은 시간이 필요할 수 있다. 작업 흐름 내에서 시간을 절약하려면 품질 요소가 다운스트림 분석을 방해할 것으로 예상되는 경우에만 슬라이드를 거부하는 것이 도움이 될 수 있다.
QC 기술의 제2 문제는 슬라이드가 거부될 수 있는 모든 이유를 보고하지 못할 수 있다는 점이며, 이는 기술자가 문제를 식별하고 슬라이드를 다시 스캔하는 것을 어렵게 만들 수 있다. 예를 들어, 슬라이드가 얼룩졌거나 잘못 절단되었는지 식별하기 어려울 수 있다.
일반적으로 분석 전 품질 관리와 관련된 일부 문제에는 관리 문제(예: 식별, 추적 또는 의료 양식), 유리 슬라이드 생산과 관련된 문제(예: 조직 장착, 염색, 부유물, 접힘, 두꺼운 절단, 거품, 긁힘 또는 먼지), 디지털화 문제(예: 포커싱, 작은 샘플, 화이트 밸런스 또는 스캐닝 아티팩트) 또는 조직 자체에서 직접 발생하는 문제(예: 불충분, 보존 또는 분쇄)가 포함될 수 있다. 어떤 상황에서는 유리 슬라이드에 다른 아티팩트(예: 펜 자국)가 나타날 수 있다. 가능한 문제는 많지만 상대적인 중요성을 정량화하기는 어렵다. 예를 들어, 지방 조직이 포함된 슬라이드의 흐릿한 부분은 임상적 암 진단에 중요하지 않을 수 있다. 마찬가지로, 큰 생검 부위가 포함된 슬라이드는 임상 진단에 거의 영향을 미치지 않을 수 있지만 분자 테스트의 정확한 결과를 얻는 능력을 손상시킬 수 있다.
문제가 제기되면 일반적으로 가능한 교정 조치(예: 재스캔, 재장착, 재절단 또는 재얼룩)를 구현하기 위한 교정 프로세스가 존재한다. 이러한 수정을 수행하는 데 소요되는 소요 시간으로 인해 생산 파이프라인에서는 분석을 위해 병리학자에게 샘플이 도달한 후 샘플이 거부되지 않을 가능성을 최대화하기 위해 분석-전 품질 관리 단계를 구현할 수 있다. 임상 진단 이상의 병리학 사용이 계속 증가함에 따라, 고유한 분석-전 품질 관리 매개변수 세트를 결정하는 것이 차선책일 수 있다. 유리 슬라이드가 생성된 작업에 따라 특정 계획 작업에 샘플을 사용할 수 있도록 유지하면서 일부 제약 조건이 완화될 수 있다. 이를 통해 비용과 처리 시간을 줄일 수 있으며, 충분히 좋은 샘플에 불필요한 교정 프로세스를 적용하는 것을 피할 수 있다.
본 개시 내용은 AI 시스템을 사용하여 전체 슬라이드에 관한 품질 문제와 슬라이드를 사용하는 병리학자 또는 AI 시스템의 능력에 영향을 미칠 수 있는 로컬 품질 문제를 모두 추론할 수 있다. AI 시스템은 또한 슬라이드의 특정 문제를 보고할 수 있으며, 이 보고는 이미지에서 문제가 발견될 수 있는 위치를 구체적으로 나타내기 위해 공간적 방식으로 수행될 수 있다. 본 개시 내용은 슬라이드가 거부된 이유를 보고하는 방법을 설명하고, 해당 거부를 초래한 슬라이드 내 위치를 나타낼 수 있다. 이러한 방식으로 보고하면 병리학 실험실의 시간과 비용을 절약할 수 있으며, AI 시스템이 사람의 검토 없이 백그라운드에서 자동으로 실행될 경우 AI 시스템을 더욱 안전하게 만들 수 있다.
본 문서에 제시된 기술은 인공물을 검출하기 위해 컴퓨터 비전 및/또는 머신 러닝을 사용할 수 있으며 슬라이드의 각 국소 영역 내에 존재하는 조직의 종류에 기초하여 슬라이드의 각 영역을 분류할 수 있다. 디지털 슬라이드 이미지를 감지하고 분류하기 위해 머신 러닝 시스템을 사용하고 훈련하는 방법에는 두 가지가 있을 수 있다. 본 개시의 다양한 실시예가 가능하다. 제1 예시적인 실시예는 슬라이드의 인간 전문가 주석을 사용할 수 있으며, 품질 문제가 성능을 방해할 가능성이 있는지 결정하기 위해 이미지에 대해 AI 시스템을 실행함으로써 관련성에 순위를 매길 수 있다. 제2 실시예에서는 슬라이드의 유용성을 추론하는 시그니처를 제공할 수 있는 클러스터링 기반 방법을 사용할 수 있다.
전문가 라벨링을 활용한 훈련 시스템
아래의 설명은 위에서 설명한 제1 예시적인 실시예에 따라 인간 전문가 슬라이드 주석을 사용하여 알고리즘을 훈련하는 방법을 설명한다. 품질 문제가 성능을 방해할 가능성이 있는지 확인하기 위해 이미지에 AI 알고리즘을 실행하여 관련성에 따라 품질 문제의 순위를 매길 수 있다.
이 실시예는 슬라이드 상의 각 품질 문제를 나타내기 위해 인간 주석자가 라벨을 붙인 슬라이드를 사용할 수 있다. 품질 문제의 존재 여부는 슬라이드 내의 특정 위치(예: 타일)를 식별하여 지정할 수 있다. 대안적으로, 본 개시의 실시예는 주요 품질 문제의 존재 또는 부재에 대한 슬라이드 수준 주석에 기초한 약한 라벨링을 사용하여 훈련될 수도 있다. 약한 라벨링에는 사람의 작업이 덜 필요할 수 있지만 정확한 훈련을 위해서는 특정 데이터가 필요할 수 있다. 반대로, 강력한 라벨링에는 인간 주석자의 작업이 더 많이 필요할 수 있지만 데이터는 더 적게 필요할 수 있다.
도 3a는 전문가 라벨링을 사용하여 알고리즘을 훈련하기 위한 예시적인 방법(300)의 흐름도이고, 도 3b는 본 발명의 예시적인 실시예에 따라, 전문가 라벨링의 알고리즘을 사용하기 위한 예시적인 방법(314)의 흐름도이다. 예를 들어, 방법(300)(예를 들어, 단계 302-312) 및 방법(314)(예를 들어, 단계 316-324)은 슬라이드 분석 도구(101)에 의해 자동으로, 또는 사용자(예를 들어 의사, 병리학자, 등)의 요청에 응답하여, 수행될 수 있다.
일 실시예에 따르면, 전문가 라벨링을 사용하여 알고리즘을 훈련하기 위한 예시적인 방법(300)은 다음 단계들 중 하나 이상을 포함할 수 있다. 단계(302)에서, 방법(300)은 전자 저장소(예: 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM(Random Access Memory) 등)에서 해당 주석과 함께 특정 유형(예: 조직 종류, 조직학에 사용되는 염색, 또는 슬라이드가 세포학 슬라이드인지 여부)의 하나 이상의 훈련 디지털 전체 슬라이드 이미지를 수신하는 것을 포함할 수 있다. 주석은 하나 이상의 훈련 디지털 전체 슬라이드 이미지에 존재하는 하나 이상의 품질 문제에 대한 정보를 포함할 수 있다. 주석은 슬라이드 상의 각 위치에 대한 것일 수 있으며, 해당 위치의 품질 관리 문제(강한 라벨링)를 나타내거나 슬라이드에서 식별된 품질 문제(약한 라벨링)를, 해당되는 경우, 나타낼 수 있다. 일부 실시예에서, 하나 이상의 훈련 디지털 전체 슬라이드 이미지와 주석은 별도의 수신 단계에서 수신되거나, 동일한 수신 단계에서 수신될 수 있다.
단계(304)에서, 방법(300)은 하나 이상의 훈련 디지털 전체 슬라이드 이미지에 대해 AI 시스템을 실행하여, 하나 이상의 훈련 디지털 전체 슬라이드 이미지가 하나 이상의 품질 문제로 인해 불합격되거나 잘못된 결과를 생성하는지 여부를 결정하는 단계를 포함할 수 있다. 존재하는 품질 문제와 관계없이 슬라이드가 견고한 경우, AI 시스템은 품질 문제가 관련 문제가 아닌 관련 없는 문제인지 결정하도록 훈련될 수 있다. 예를 들어, 사소한 흐려짐이 잘못된 성능을 유발하지 않을 수도 있고, 작업에 진단적으로 중요하지 않은 이미지 영역에 흐려짐이 있을 수도 있다. 품질 문제로 인해 슬라이드가 견고하지 않은 경우, AI 시스템은 품질 문제로 인해 슬라이드가 분석에 사용되지 않을 가능성이 있음을 나타내는 정보를 출력하도록 훈련될 수 있다.
단계(306)에서, 방법(300)은 하나 이상의 훈련 디지털 전체 슬라이드 이미지를 정사각형 조직 타일 이미지로 분할하고 하나 이상의 정사각형 조직 타일 이미지의 배경 타일을 제거하는 단계를 포함할 수 있다. 배경 타일은 예를 들어 Otsu의 방법을 사용하여 타일 픽셀 값을 기준 전경 분포와 비교하는 등, 타일이 전경인지 식별하기 위해 타일의 픽셀의 변화에 기초한 임계값을 사용하여 제거될 수 있다. 일부 실시예에서, AI 시스템은 전경 타일 또는 배경 타일의 선택을 수신할 수 있다. 특정 실시예가 "정사각형" 조직 타일 이미지를 사용하는 것을 포함하지만, 본 명세서에서 설명되는 특정 실시예들이 임의의 모양의 타일을 사용할 수 있다.
단계(308)에서, 방법(300)은 정사각형 조직 타일 이미지로부터 하나 이상의 특징 벡터를 추출하는 단계를 포함할 수 있다. 이는 예를 들어 수동 엔지니어링 특징(예를 들어 SIFT(scale-invariant feature Transform), ORB(Oriented Fast and Rotated Brief), RIFT(radiation-invariant feature Transform), SURF(speed-up robust features), 등 설명자), 지도 학습을 이용한 사전 훈련된 CNN(convolutional neural network) 임베딩, 약한 지도 또는 자체 지도 학습 기술을 이용한 사전 훈련된 CNN 임베딩, 사전 훈련된 변환기 신경망 특징, 등을 포함한, 하나 이상의 기술을 사용하여 수행될 수 있다.
단계(310)에서, 방법(300)은 약한 라벨링 및/또는 강한 라벨링이 사용되는지 여부에 따라 머신 러닝 모델을 훈련하는 단계를 포함할 수 있다. 예를 들어, 머신 러닝 모델을 훈련하기 위해 약한 라벨링이 사용되는 경우, 머신 러닝 모델을 훈련시켜서, 정사각형 조직 타일에서 일련의 품질 문제의 존재 여부를 학습하고 각 정사각형 조직 타일에 대한 라벨을 출력할 수 있다. 강력한 라벨링을 사용하여 머신 러닝 모델을 훈련하는 경우, 머신 러닝 모델은 정사각형 조직 타일을 별도로 처리하는 대신 각 정사각형 조직 타일을 개별 인스턴스로 처리하여 지도 문제(a supervised problem)로 직접 훈련할 수 있다.
단계(312)에서, 방법(300)은 머신 러닝 모델 정보(예를 들어, 이미지를 인코딩하는 벡터를 생성하는 머신 러닝 모델의 매개변수에 대응하는 가중치)를 전자 저장소에 기록하여 하나 이상의 훈련 디지털 전체 슬라이드 이미지에 대한 품질 수준을 예측하는 단계를 포함할 수 있다. 예를 들어 품질 수준은 슬라이드 내 QC 문제를 나타낼 수 있다.
아래의 설명은 위에서 설명된 제1 예시적인 실시예에 따라, 전문가 라벨링과 함께 알고리즘을 사용하는 방법을 설명한다. 머신 러닝 모델을 사용하기 위한 예시적인 방법(314)은 다음 단계들 중 하나 이상을 포함할 수 있다. 단계(316)에서, 방법(314)은 전자 저장소, 예를 들어, 클라우드 기반 저장소, 하드 디스크, RAM 등에서 특정 유형의 하나 이상의 디지털 전체 슬라이드 이미지를 수신하는 단계를 포함할 수 있다.
단계(318)에서, 방법(314)은 하나 이상의 디지털 전체 슬라이드 이미지를 정사각형 조직 타일 이미지로 분할하는 단계를 포함할 수 있다. 일부 실시예에서, 타일의 하위 집합은 분석을 위해 수동으로 선택될 수 있다. 빠른 처리를 위해, 하나 이상의 디지털 전체 슬라이드 이미지의 배경 타일도 제거될 수 있다. 배경 타일을 제거하는 것은, 예를 들어, Otsu의 방법을 사용하여 타일 픽셀 값을 기준 전경 분포와 비교하는 등, 정사각형 조직 타일 이미지가 전경인지 여부를 식별하기 위해 정사각형 조직 타일 이미지의 픽셀의 변화에 기초한 임계값 지정을 사용하여 수행될 수 있다. AI 시스템은 전경 타일 또는 배경 타일의 선택을 수신할 수 있다.
단계(320)에서, 방법(314)은 정사각형 조직 타일 이미지의 하나 이상의 전경 타일로부터 특징의 하나 이상의 벡터를 추출하는 단계를 포함할 수 있다. 추출은 예를 들어 수동 엔지니어링 특징(예: SIFT, ORB, RIFT, SURF 등 설명자), 지도 학습을 사용한 사전 훈련된 CNN 임베딩, 약한 지도 또는 자체 지도 학습 기술을 사용한 사전 훈련된 CNN 임베딩, 사전 훈련된 변환기 신경망 특징, 등을 포함한, 다양한 기술을 사용하여 수행될 수 있다.
단계(322)에서, 방법(314)은 하나 이상의 품질 문제가 하나 이상의 디지털 전체 슬라이드 이미지에 존재하는지 여부를 추론하기 위해 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하는 단계를 포함할 수 있다. 일부 실시예에서, 방법(314)은 품질 문제의 유형을, 존재하는 경우, 예측하는 것을 포함할 수 있다. 예를 들어, AI 시스템은, 훈련된 머신 러닝 모델의 출력에 기초하여, 하나 이상의 디지털 전체 슬라이드 이미지에 품질 문제가 있는지 여부를 판단하고 품질 문제에 흐려짐, 부서진 조직 등이 포함되는지 예측할 수 있다.
단계(324)에서, 방법(314)은 훈련된 머신 러닝 모델을 실행한 결과를 작업(예를 들어, 암 검출, 암 분류 또는 하위 분류, 기타 형태학적 특징 검출, 처방에 대한 반응 예측, 바이오마커 존재 여부 결정, 등)을 위해 전자 저장소에 기록하는 단계를 포함할 수 있다. 예를 들어 AI 시스템은 예측 결과를 전자 저장소에 기록할 수 있다. 일부 실시예에서, 방법(314)은 각 품질 문제의 존재 또는 부재에 대한 시각화를 생성하고 사용자에게 이미지를 출력하는 단계를 포함할 수 있다. 추가적으로 또는 대안적으로, 각각의 정사각형 조직 타일 이미지가 충분한 양의 품질 문제를 갖는 경우, 방법(314)은 디지털 전체 슬라이드 이미지가 다운스트림 작업(예를 들어, 인간 전문가에 의한 진단, 또는 진단을 위해 AI 시스템의 입력으로 사용됨)에 사용될 수 있는지 여부를 나타내는 시각적 표시자를 사용자에게 플래깅(flagging)하는 단계를 포함할 수 있다. 방법(314)은 또한 문제가 존재하는 디지털 전체 슬라이드 이미지에 대한 하나 이상의 특정 문제를 사용자에게(예를 들어, 사용자 장치를 통해) 보고하고, 문제를 개선하기 위한 권장 사항을 제공하는 단계를 포함할 수 있다. 이러한 보고에는 보고서 생성, 시각화 생성 등이 포함될 수 있다.
클러스터링 분석을 활용하여 관심 영역을 식별하는 시스템
본 발명의 일 실시예에 따르면, 각각의 디지털 전체 슬라이드 이미지는 보다 작은 조직 타일 이미지로 분할될 수 있다. 이러한 조직 타일 이미지로부터, 시각적 특징 세트를 나타내는 시그니처가 추출될 수 있다. 유사한 특징을 가진 조직 타일 이미지는 작업에 대한 관심 영역의 일부로 할당된 클러스터로 그룹화될 수 있다. 분류해야 하는 임의의 새로운 조직 타일 이미지는 이 시그니처를 사용하여 가장 가까운 클러스터 및 그 라벨을 찾을 수 있다. 그런 다음 주어진 디지털 전체 슬라이드 이미지의 관심 조직 타일 이미지들을 조합하여, 디지털 전체 슬라이드 이미지의 구성을 나타내는 슬라이드 시그니처(slide2vec)를 생성할 수 있다. 품질 수준 주석과 연관된 이 디지털 전체 슬라이드 이미지 시그니처는 새로운 슬라이드의 유용성을 예측하는 데 사용될 수 있는 분류 모델을 훈련하는 데 사용될 수 있다.
도 4는 본 개시의 예시적인 실시예에 따른 관심 영역에 대한 예시적인 클러스터링 분석을 도시한다. 특히, 도 4는 클러스터링 분석을 위한 예시적인 작업흐름(400)을 도시한다. 작업흐름(400)은 디지털 전체 슬라이드 이미지(402)(WSI, 도 4에서 "WSI(402)"로 라벨링됨)를 정사각형 조직 타일 이미지(404)(도 4에서 "타일(404)"로 라벨링됨)로 분할하는 단계를 포함할 수 있다. 예를 들어, 분할은 도 5a의 단계(504)와 같이, 본 문서의 다른 곳에서 설명한 것과 유사한 방식으로 수행될 수 있다. 특징 벡터(406)(도 4에서 "특징 벡터(406)"로 라벨링됨)는 예를 들어 도 5a의 단계(506)과 같이 본 문서의 다른 곳에서 설명한 것과 유사한 방식으로 타일(404)로부터 추출될 수 있다. 일단 추출되면, 작업흐름(400)은 타일 클러스터링 단계(408)(도 4에서 "타일 클러스터링(408)"으로 라벨링됨)을 포함할 수 있다. 타일 클러스터링(408)은 도 5a의 단계(508)에서와 같이 본 명세서의 다른 곳에서 설명된 것과 유사한 방식으로 수행될 수 있다. 추가 특징 벡터(410)(도 4에서 "특징 벡터(410)"로 표시됨)가 생성되어 모델(414)을 훈련하는 데 사용될 수 있다. 이러한 추가 특징 벡터(410)는 도 5a의 단계(514)에서와 같이 본 문서의 다른 곳에 설명된 것과 유사한 방식으로 생성될 수 있다. 특징 벡터들이 클러스터링될 수 있고 표준 특징(예를 들어, 본 문서의 다른 곳에서 설명된 시그니처를 나타냄)이 선택될 수 있다. 또한, 디지털 전체 슬라이드 이미지의 품질이 충분한지 나쁜지, 특정 품질 문제가 존재하는지 등에 대한 표시가 훈련용 모델에 입력될 수 있다. 예를 들어, 이러한 표시가 도 5a의 단계(516)에서와 같이 본 문서의 다른 곳에서 설명된 것과 유사한 방식으로 제공될 수 있다.
도 5a는 관심 영역을 식별하기 위해 클러스터링 분석을 사용하여 알고리즘을 훈련하는 예시적인 방법(500)을 나타내는 흐름도이고, 도 5b는 본 개시의 예시적인 실시예에 따른, 관심 영역을 식별하기 위해 클러스터링 분석과 함께 알고리즘을 사용하기 위한 예시적인 방법(520)의 흐름도이다. 예를 들어, 예시적인 방법(500)(예를 들어, 단계(502-518)) 및/또는 방법(520)(예를 들어, 단계(522-534))은 슬라이드 분석 도구(101)에 의해 자동으로 또는 사용자(가령, 의사, 병리학자, 등)로부터의 요청에 응답하여, 수행될 수 있다.
일 실시예에 따르면, 머신 러닝 모델을 훈련하기 위한 예시적인 방법(500)은 다음 단계들 중 하나 이상을 포함할 수 있다. 단계(502)에서, 방법(500)은 전자 저장소, 예를 들어 클라우드 기반 저장소, 하드 디스크, RAM 등에서, 특정 유형의 하나 이상의 훈련 디지털 전체 슬라이드 이미지를 수신하는 단계를 포함할 수 있다.
단계(504)에서, 방법(500)은 하나 이상의 훈련 디지털 전체 슬라이드 이미지를 정사각형 조직 타일 이미지로 분할하는 단계를 포함할 수 있다. 보다 빠른 처리를 위해, 정사각형 조직 타일 이미지의 배경 타일이 제거될 수 있다. 배경 타일을 제거하는 것은 예를 들어 Otsu의 방법을 사용하여 정사각형 조직 타일 픽셀 값을 기준 전경 분포와 비교하는 등, 전경 타일인지 식별하기 위해, 정사각형 조직 타일 이미지의 픽셀의 변화에 기초한 임계값 지정을 사용하여 수행될 수 있다. AI 시스템은 전경 타일 또는 배경 타일의 선택을 수신할 수 있다.
단계(506)에서, 방법(500)은 정사각형 조직 타일 이미지로부터 하나 이상의 특징 벡터를 추출하는 단계를 포함할 수 있다. 추출은 예를 들어 수동 엔지니어링 특징(예: SIFT, ORB, RIFT, SURF 등의 설명자), 지도 학습을 사용하는 사전 훈련된 CNN 임베딩, 약한 지도 또는 자체 지도 학습 기술을 사용한 사전 훈련된 CNN 임베딩, 사전 훈련된 변환기 신경망 특징, 등을 포함한, 하나 이상의 기술을 사용하여 수행될 수 있다.
단계(508)에서, 방법(500)은 정사각형 조직 타일 이미지를 클러스터링하기 위해 하나 이상의 특징 벡터에 대해 클러스터링 알고리즘을 실행하는 단계를 포함할 수 있다. 정사각형 조직 타일 이미지의 클러스터링은 k-평균, 평균 이동, HDBSCAN(hierarchical density-based spatial clustering of applications with noise), 스펙트럼, 버치(Birch), 등을 사용하여 수행될 수 있다.
단계(510)에서, 방법(500)은 클러스터링 정보(예를 들어, 중심, 유사성 검색을 위한 인덱스, 등)를 전자 저장소에 기록하는 것을 포함할 수 있다. 일부 실시예에서, 저장된 정보는 새로운 샘플의 클러스터 멤버십을 결정하는 데 사용될 수 있다.
단계(512)에서, 방법(500)은 작업에 대한 관심 영역을 구성하는 클러스터링 정보에서 식별된 하나 이상의 클러스터에 주석을 추가하는 단계를 포함할 수 있다. 일부 실시예에서, 단계(512)는 사용자가 하나 이상의 클러스터에 수동으로 주석을 다는 것을 포함할 수 있다.
단계(514)에서, 방법(500)은 작업을 위해, 하나 이상의 훈련 디지털 전체 슬라이드 이미지에 대한 하나 이상의 특징 벡터를 생성하기 위해 하나 이상의 클러스터와 연관된 정사각형 조직 타일 이미지 중 하나 이상을 결합하는 단계를 포함할 수 있다. 일부 실시예에서, 하나 이상의 정사각형 조직 타일 이미지는 관심 영역의 일부로 표시되어 그 구성을 나타내는 각 슬라이드에 대한 특징 벡터(slide2vec)를 생성할 수 있다. 이는 원-핫 인코딩(one-hot-encoding), 카운트, TF-IDF(term frequency-inverse document frequency) 등을 사용하여 수행될 수 있다.
단계(516)에서, 방법(500)은 작업에 대한 품질 수준의 주석이 달린 하나 이상의 훈련 디지털 전체 슬라이드 이미지에 대해, 하나 이상의 연관된 특징 벡터를 생성하고, 하나 이상의 분류자를 훈련하는 단계를 포함할 수 있다. 이는 그래디언트 부스트 트리(gradient boosted trees), 지원 벡터 머신(support vector machines), 다층 퍼셉트론(multilayer perceptron), 변환기 등과 같이, 머신 러닝을 사용하여 수행될 수 있다.
단계(518)에서, 방법(500)은 작업을 위해, 하나 이상의 분류자로부터 전자 저장소로 머신 러닝 모델 정보(예를 들어, 가중치)를 기록하는 단계를 포함할 수 있다. 일부 실시예에서, 저장된 정보는 슬라이드 품질 수준을 예측하는 데 사용될 수 있으며, AI 시스템은 슬라이드 품질 수준 예측 결과를 전자 저장소에 기록할 수 있다.
일 실시예에 따르면, 머신 러닝 모델을 사용하기 위한 예시적인 방법(520)은 다음 단계들 중 하나 이상을 포함할 수 있다. 단계(522)에서, 방법(520)은 전자 저장소, 예를 들어 클라우드 기반 저장소, 하드 디스크, RAM 등에 특정 유형의 하나 이상의 디지털 전체 슬라이드 이미지를 수신하는 단계를 포함할 수 있다.
단계(524)에서, 방법(520)은 하나 이상의 디지털 전체 슬라이드 이미지를 정사각형 조직 타일 이미지로 분할하는 단계를 포함할 수 있다. 일부 실시예에서, 타일들의 하위 집합은 분석을 위해 수동으로 선택될 수 있다. 보다 빠른 처리를 위해 정사각형 조직 타일 이미지에서 배경 타일을 제거할 수 있다. 배경 타일을 제거하는 것은 가령, Otsu 방법, 정사각형 조직 타일 이미지 픽셀 값을 기준 전경 분포와 비교하는 것 등을 사용하여, 정사각형 조직 타일 이미지가 전경인지 식별하기 위해 정사각형 조직 타일 이미지의 픽셀의 변화에 기초한 임계값 지정을 이용하여 수행될 수 있다. AI 시스템은 전경 또는 배경 타일을 선택할 수 있다.
단계(526)에서, 방법(500)은 정사각형 조직 타일 이미지의 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 단계를 포함할 수 있다. 추출은 수동 엔지니어링 특징(예: SIFT, ORB, RIFT, SURF 등 설명자), 지도 학습을 사용한 사전 훈련된 CNN 임베딩, 약한 지도 학습 또는 자체 지도 학습 기술을 사용한 사전 훈련된 CNN 임베딩, 사전 훈련된 변환기 신경망 특징, 등을 포함한, 다양한 기술을 사용하여 수행될 수 있다.
단계(528)에서, 방법(520)은 훈련 동안(예를 들어, 방법(500) 동안) 기록된 클러스터링 정보를 판독하는 단계 및 하나 이상의 디지털 전체 슬라이드 이미지의 정사각형 조직 타일 이미지에 대한 클러스터 멤버십을 결정하는 단계를 포함할 수 있다. 단계(530)에서, 방법(520)은 관심 영역을 포함하는 것으로 주석달린 연관된 클러스터를 갖는 작업 세트에 대해, 하나 이상의 특징 벡터를 결합하여 작업 세트에 대한 하나 이상의 특징 벡터(slide2vec)를 생성하는 단계를 포함할 수 있다. . 일부 실시예에서, 이는 방법(500)의 훈련 단계에서 사용된 것과 동일한 기술을 사용하여 수행될 수 있다.
단계(532)에서, 방법(520)은 훈련 중에 기록된 머신 러닝 모델 정보를 판독하는 단계와 하나 이상의 특징 벡터를 사용하여 작업 세트에 대한 품질 수준을 예측하는 단계를 포함할 수 있다. 방법(520)은 일부 실시예에서, 예측에 대한 불확실성, 신뢰 수준, 등을 추정하거나, 예측에 대한 메트릭(예를 들어 신뢰 수준을 가진 점수)을 포함할 수 있다. 단계(534)에서, 방법(520)은 작업 세트에 대한 예측 결과를 전자 저장소에 기록하는 것을 포함할 수 있다.
예시적인 실시예: 품질 관리 플랫폼(100)을 갖춘 스캐너
디지털화 프로세스 동안 슬라이드 스캐닝 작업자는 디지털 슬라이드의 품질을 평가하고 존재할 수 있는 모든 문제를 수정하기 위해 생산 작업 흐름의 일부로 특정 실시예를 사용할 수 있다. 이는 슬라이드 스캐닝 조작자가 올바른 동작 과정, 예를 들어 슬라이드 재스캔, 조직 블록 재절단 등을 더욱 신속하게 결정할 수 있게 해줄 수 있다. 도 6은 품질 관리 플랫폼(100)과 함께 스캐너를 사용하는 예를 도시한다.
도 6은 품질 관리 플랫폼(100)을 갖춘 스캐너의 예시적인 작업 흐름(600)을 예시한다. 예시적인 작업 흐름(600)은 슬라이드 스캐너(602)에서 시작할 수 있으며, 여기서 조직 표본은 품질 관리 플랫폼(100) 내로 스캔될 수 있다. 슬라이드 스캐너(602)는 디지털 전체 슬라이드 이미지(WSI)(604)를 출력할 수 있고, 이는 본 문서의 다른 곳에 설명된 바와 같이 조직 타일 이미지(606)의 컬렉션으로 분할될 수 있다. 본 명세서의 다른 곳에서 설명된 바와 같이, 하나 이상의 타일 특징 벡터(608)가 타일(606)로부터 추출될 수 있다. 특징 벡터(608)는 클러스터(610)들로 클러스터링될 수 있고, 클러스터 멤버십이 본 명세서의 다른 곳에서 설명된 바와 같이 결정될 수 있다. 작업과 연관된 클러스터의 멤버가 아닌 것으로 결정된 임의의 클러스터는 작업흐름(600)에서 제거될 수 있다. 작업 및 연관된 클러스터 세트(610)에 대해, 타일 특징 벡터(608)들은 하나 이상의 추가 특징 벡터(612)를 생성하기 위해 결합될 수 있다. 추가 특징 벡터(612)의 매개변수는 훈련된 모델(614)에 의해 처리되어 업로드된 슬라이드에 대한 품질 관리에 사용될 수 있다. 슬라이드 품질의 표시(616)는 모델로부터 출력될 수 있다(예를 들어, 품질 보고서(618)에서, 사용자에게 표시되는, 등). 보고서에는 시각화, 문서 등이 포함될 수 있다.
실시예: 품질 관리 시스템을 갖춘 디지털 뷰어
진단을 내리기 위해 병리학자가 디지털화된 슬라이드를 사용할 때, 디지털화된 슬라이드는 본 문서의 다른 곳에 설명된 바와 같이 품질 관리 플랫폼(100)에 의해 평가될 수 있다. 디지털화된 슬라이드에 품질 문제가 있는 경우, 보기 애플리케이션 도구(108)는 보기 애플리케이션 도구의 슬라이드 카탈로그에 있는 슬라이드 이름과 관련하여 또는 슬라이드를 볼 때 슬라이드 옆에 이 정보를 표시할 수 있다. 일부 실시예에서, 슬라이드가 품질 문제 있는 타일을 포함하는 경우, 이러한 타일은 품질 문제에 기초하여 서로 다른 색상으로 강조 표시될 수 있다. 발행할 색상을 매핑하는 범례는 보기 애플리케이션 도구(108)에 의해 슬라이드 옆에 표시될 수 있다. 일부 실시예에서 슬라이드는 보기 애플리케이션 도구(108)에 의해 병리학자에게 1차 진단을 위한 준비가 되었거나 준비되지 않은 것으로 표시될 수 있다. 예를 들어, 보기 애플리케이션 도구(108)의 슬라이드 카탈로그에 있는 슬라이드 이름 옆에 또는 슬라이드가 열릴 때 슬라이드 옆에 표시가 나타날 수 있다.
도 7은 품질 관리 플랫폼(100)의 디지털 뷰어(예를 들어, 보기 애플리케이션 도구(108))의 예시적인 작업 흐름(700)을 도시한다. 작업 흐름(700)은 디지털 뷰어에 표시되는 슬라이드(702)를 포함할 수 있다. 슬라이드(702)는 본 문서의 다른 곳에서 설명한 바와 같이 품질 관리 플랫폼(100)에 의해 타일(706)의 집합으로 분할될 수 있는 WSI(704)와 같은 것일 수 있다.
본 명세서의 다른 곳에서 설명된 바와 같이, 다수의 타일 특징 벡터(708)가 타일(706)의 컬렉션으로부터 추출될 수 있다. 타일 특징 벡터(708)는 타일 클러스터링(710)을 통해 클러스터링될 수 있고 클러스터 멤버십은 본 명세서의 다른 곳에서 설명된 바와 같이 결정될 수 있다. 주어진 작업과 연관된 클러스터의 멤버가 아닌 것으로 결정된 임의의 클러스터는 작업 흐름(700)에서 삭제될 수 있다. 작업 및 연관된 클러스터 세트에 대해, 하나 이상의 추가 특징 벡터(712)가 형성될 수 있다. 특징 벡터(712)의 매개변수는 특징 벡터(712)의 품질 관리 문제를 결정하기 위해 훈련된 모델(714)에 의해 처리될 수 있다. 예를 들어, 훈련된 모델(714)은 가능한 품질 문제가 존재함을 나타내는 강조된 슬라이드(716)를 출력할 수 있다(예를 들어, 보기 애플리케이션 도구(108)를 통해 강조 표시된 슬라이드를 표시함으로써).
예시적인 실시예: 품질 관리 플랫폼을 갖춘 슬라이드 저장소
디지털화된 슬라이드가 (예를 들어, 일차 진단, 보관, 보존 또는 기타 용도로 향후 사용을 위해 연구실 기술자에 의해) 연구실의 디지털 슬라이드 저장소에 추가되면, 슬라이드는 품질 관리 플랫폼(100)에 의해 평가될 수 있다. 슬라이드에 품질 문제가 있는 경우, 품질 관리 플랫폼(100)은 저장소에 문제를 기록할 수 있고, 이 정보를 슬라이드와 연관시킬 수 있다. 일부 실시예에서, 품질 관리 플랫폼(100)은 슬라이드가 예를 들어, 인간에 의한 1차 진단, AI 시스템을 이용한 1차 진단, 디지털 바이오마커 스크리닝, 등에 적합한, 병리학 작업흐름의 사용 사례를 기록할 수도 있다. 일부 실시예에서, 슬라이드에는 통합 알림 시스템을 사용하여 품질 문제 유형에 따라 적절한 담당자에게 플래그를 지정하여, 슬라이드와 관련될 수 있는 추가 조치를 제안할 수 있다.
도 8은 본 발명의 예시적인 실시예에 따른 품질 관리 플랫폼(100)을 갖춘 슬라이드 저장소에 대한 예시적인 작업 흐름(800)을 도시한다. 작업 흐름(800)은 디지털 뷰어(예를 들어, 보기 애플리케이션 도구(108))에 표시되는 슬라이드(802)를 포함할 수 있다. 슬라이드(802)는 WSI(804)일 수 있으며, 이는 본 문서의 다른 곳에서 설명한 바와 같이 타일(806)들의 집합으로 분할될 수 있다. 본 명세서의 다른 곳에서 설명된 바와 같이, 다수의 타일 특징 벡터(808)들이 타일(806)의 컬렉션으로부터 추출될 수 있다. 타일 특징 벡터(808)는 본 명세서의 다른 곳에 설명된 바와 같이 타일 클러스터링(810)을 사용하여 클러스터링될 수 있고 클러스터 멤버십이 결정될 수 있다. 작업과 연관된 클러스터의 멤버가 아닌 것으로 결정된 임의의 클러스터는 작업 흐름(800)에서 삭제될 수 있다. 작업 및 연관된 클러스터 세트에 대해 추가 특징 벡터(812)가 생성될 수 있다. 특징 벡터(812)는 훈련된 모델(814)에 입력되어, 업로드된 슬라이드에 대한 품질 관리에 사용될 수 있다. 슬라이드의 문제, 슬라이드의 유용성 및/또는 품질 문제를 해결하기 위해 취할 수 있는 조치와 관련된 정보는 슬라이드 저장소(816)에 저장될 수 있다.
도 9는 본 개시의 특정 실시예에 따른 예시적인 컴퓨팅 장치(900)를 도시한다. 특히, 도 9는 도 2-8의 방법 또는 작업흐름을 실행하기 위한 장치로서 구성될 수 있는 컴퓨팅 장치(900)의 단순화된 기능 블록도이다. 예를 들어, 컴퓨팅 장치(900)는 품질 관리 플랫폼(100)(또는 도 1b에 도시된 그 도구), 슬라이드 분석 도구(101)(또는 도 1c에 도시된 그 플랫폼 또는 모듈), 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구실 서버(124), 실험실 정보 시스템(125), 및/또는 본 문서에 설명된 특정 실시예에 따른 다른 장치 또는 시스템으로 구성될 수 있다. 다양한 실시예에서, 본 명세서에 기술된 장치 또는 시스템 중 임의의 것은 도 9에 도시된 컴퓨팅 장치(900)이거나 및/또는 컴퓨팅 장치(900) 중 하나 이상을 포함할 수 있다.
도 9에 도시된 바와 같이, 컴퓨팅 장치(900)는 프로세서(902), 메모리(904), 출력 구성요소(906), 통신 버스(908), 입력 구성요소(910) 및 통신 인터페이스(912)를 포함할 수 있다. 프로세서(902)는 중앙 처리 장치(CPU), GPU(그래픽 처리 장치), APU(가속 처리 장치), 마이크로프로세서, 마이크로컨트롤러, DSP(디지털 신호 프로세서), FPGA(필드 프로그래밍 가능 게이트 어레이), ASIC(주문형 집적 회로), 또는 다른 유형의 처리 구성 요소를 포함할 수 있다. 일부 실시예에서, 프로세서(902)는 기능을 수행하도록 프로그래밍될 수 있는 하나 이상의 프로세서를 포함한다. 메모리(904)는 프로세서(902)에 의한 사용을 위한 정보 및/또는 명령어를 저장하는 RAM(Random Access Memory), ROM(Read Only Memory), 및/또는 다른 유형의 동적 또는 정적 저장 장치(예를 들어, 플래시 메모리, 자기 메모리 및/또는 광학 메모리)를 포함할 수 있다.
출력 구성요소(906)는 컴퓨팅 장치(900)로부터의 출력 정보를 제공하는 구성요소(예를 들어, 디스플레이, 스피커 및/또는 하나 이상의 발광 다이오드(LED))를 포함할 수 있다. 통신 버스(908)는 컴퓨팅 장치(900)의 구성요소들 간의 통신을 허용하는 구성요소를 포함할 수 있다. 입력 구성요소(910)는 컴퓨팅 장치(900)가 가령, 사용자 입력(예를 들어, 터치 스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치 및/또는 마이크로폰)을 통해, 정보를 수신할 수 있게 하는 구성요소를 포함할 수 있다. 추가적으로 또는 대안적으로, 입력 구성요소(910)는 정보를 감지하기 위한 센서(예를 들어, GPS(Global Positioning System) 구성요소, 가속도계, 자이로스코프 및/또는 액추에이터)를 포함할 수 있다. 통신 인터페이스(912)는 컴퓨팅 장치(900)가 유선 연결, 무선 연결 또는 유선 및 무선 연결의 조합을 통해서와 같이, 다른 장치와 통신할 수 있도록 하는 트랜시버형 구성요소(예: 트랜시버 및/또는 별도의 수신기 및 송신기)를 포함할 수 있다. 통신 인터페이스(912)는 컴퓨팅 장치(900)가 다른 장치로부터 정보를 수신하고/하거나 다른 장치에 정보를 제공하도록 허용할 수 있다. 예를 들어, 통신 인터페이스(912)는 이더넷 인터페이스, 광 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(Radio Frequency) 인터페이스, USB(Universal Serial Bus) 인터페이스, 무선 근거리 네트워크 인터페이스, 셀룰러 네트워크 인터페이스 및/또는 등을 포함할 수 있다.
위에서 언급한 바와 같이, 도 9에 도시된 컴퓨팅 장치(900)는 본 명세서에 설명된 하나 이상의 프로세스를 수행할 수 있다. 컴퓨팅 장치(900)는 메모리(904) 및/또는 다른 저장 구성 요소와 같은, 비일시적 컴퓨터 판독 가능 매체에 저장된 소프트웨어 명령어를 실행하는 프로세서(902)에 기초하여 이러한 프로세스를 수행할 수 있다. 예를 들어, 저장 구성요소는 하드 디스크(예를 들어, 자기 디스크, 광 디스크, 광자기 디스크 및/또는 솔리드 스테이트 디스크), 컴팩트 디스크(CD), 디지털 다목적 디스크(DVD), 플로피 디스크, 카트리지, 자기 테이프 및/또는 다른 유형의 비일시적 컴퓨터 판독 가능 매체를 해당 드라이브와 함께 포함할 수 있다. 컴퓨터 판독 가능 매체는 본 명세서에서 비일시적 메모리 장치로 정의된다. 메모리 장치에는 단일 물리적 저장 장치 내의 메모리 공간 또는 여러 물리적 저장 장치에 분산된 메모리 공간이 포함된다.
소프트웨어 명령어는 통신 인터페이스(912)를 통해 다른 컴퓨터 판독 가능 매체 또는 다른 장치로부터 메모리(904) 및/또는 저장 구성요소로 판독될 수 있다. 실행될 때, 메모리(904) 및/또는 저장 구성요소에 저장된 소프트웨어 명령어는 프로세서(902)가 본 명세서에 설명된 하나 이상의 프로세스를 수행하게 할 수 있다. 추가적으로 또는 대안적으로, 하드배선 회로가, 본 명세서에 설명된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어 대신에 또는 소프트웨어 명령어와 결합하여 사용될 수 있다. 따라서, 본 명세서에 설명된 실시예는 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
본 개시 전체에 걸쳐, 구성요소 또는 모듈에 대한 언급은 일반적으로 하나의 기능 또는 관련된 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목을 지칭한다. 유사한 참조 번호는 일반적으로 동일하거나 유사한 구성요소를 지칭하도록 의도된다. 구성요소 및/또는 모듈은 소프트웨어, 하드웨어 또는 소프트웨어 및/또는 하드웨어의 조합으로 구현될 수 있다.
위에서 설명한 도구, 모듈, 및/또는 기능은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장소" 유형 매체에는 다양한 반도체 메모리, 테이프 드라이브, 디스크 드라이브 등과 같이, 컴퓨터, 프로세서 등, 또는 관련 모듈의 유형 메모리의 일부 또는 전부를 포함할 수 있으며, 이는 소프트웨어 프로그래밍을 위한 비일시적 저장소를 언제라도 제공할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자 또는 기타 통신 네트워크를 통해 통신될 수 있다. 예를 들어, 통신을 통해 한 컴퓨터나 프로세서에서 다른 컴퓨터나 프로세서로 소프트웨어를 로드할 수 있다. 본 명세서에 사용된 바와 같이, 비일시적, 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계의 "판독 가능한 매체"와 같은 용어는 실행을 위해 프로세서에 명령어를 제공하는 데 참여하는 임의의 매체를 의미한다.
전술한 일반적인 설명은 단지 예시적이고 설명적일 뿐, 본 개시 내용을 제한하는 것은 아니다. 본 발명의 다른 실시예는 본 명세서에 개시된 본 발명의 명세서 및 실시를 고려하여 당업자에게 명백할 수 있다. 명세서와 실시예는 단지 예시적인 것으로 간주되도록 의도되었다.
Claims (20)
- 전자 이미지를 처리하기 위한 컴퓨터로 구현되는 방법으로서, 상기 방법은:
인공 지능(AI) 시스템의 전자 저장소에서 상기 AI 시스템에 의해, 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 단계;
상기 하나 이상의 디지털 WSI의 타일 이미지의 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 단계;
상기 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하는 단계; 그리고
상기 훈련된 머신 러닝 모델의 출력에 기초하여, 상기 하나 이상의 디지털 WSI에 하나 이상의 품질 문제가 존재하는지 여부를 결정하는 단계를 포함하는, 컴퓨터로 구현되는 방법. - 제1항에 있어서,
상기 하나 이상의 특징 벡터를 추출하기 전에 상기 하나 이상의 디지털 WSI를 타일 이미지로 분할하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법. - 제1항에 있어서,
상기 하나 이상의 품질 문제가 존재하는지 여부를 결정한 결과를 상기 전자 저장소에 기록하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법. - 제1항에 있어서, 상기 타일 이미지는 조직 타일 이미지를 포함하는 컴퓨터로 구현되는, 컴퓨터로 구현되는 방법.
- 제1항에 있어서,
상기 하나 이상의 전경 타일로부터 상기 하나 이상의 특징 벡터를 추출하기 전에 상기 하나 이상의 전경 타일의 선택을 수신하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법. - 제1항에 있어서,
상기 하나 이상의 전경 타일로부터 상기 하나 이상의 특징 벡터를 추출하기 전에 상기 타일 이미지로부터 하나 이상의 배경 타일을 제거하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법. - 제1항에 있어서,
상기 하나 이상의 품질 문제가 존재한다고 결정한 후 상기 하나 이상의 품질 문제의 유형을 예측하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법. - 제1항에 있어서,
상기 하나 이상의 품질 문제가 존재하는지 여부를 결정한 결과를 시각화하는 단계 또는
상기 하나 이상의 품질 문제가 존재하는지 여부를 결정한 결과를 나타내는 보고서를 생성 및 출력하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법. - 전자 이미지를 처리하기 위한 컴퓨터 시스템으로서, 상기 컴퓨터 시스템은:
명령어를 저장하는 적어도 하나의 메모리; 그리고
동작들을 수행하기 위한 명령어를 실행하도록 구성되는 적어도 하나의 프로세서를 포함하며, 상기 동작들은:
인공 지능(AI) 시스템의 전자 저장소에서 상기 AI 시스템에 의해, 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 것;
상기 하나 이상의 디지털 WSI의 타일 이미지의 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 것;
상기 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하는 것; 그리고
상기 훈련된 머신 러닝 모델의 출력에 기초하여, 상기 하나 이상의 디지털 WSI에 하나 이상의 품질 문제가 존재하는지 여부를 결정하는 것을 포함하는, 컴퓨터 시스템. - 제9항에 있어서, 상기 동작들은,
상기 하나 이상의 특징 벡터를 추출하기 전에 상기 하나 이상의 디지털 WSI를 타일 이미지로 분할하는 것을 더 포함하는, 컴퓨터 시스템. - 제9항에 있어서, 상기 동작들은,
상기 하나 이상의 품질 문제가 존재하는지 여부를 결정한 결과를 상기 전자 저장소에 기록하는 것을 더 포함하는, 컴퓨터 시스템. - 제9항에 있어서, 상기 동작들은,
상기 하나 이상의 전경 타일로부터 상기 하나 이상의 특징 벡터를 추출하기 전에 상기 하나 이상의 전경 타일의 선택을 수신하는 것을 더 포함하는, 컴퓨터 시스템. - 제9항에 있어서, 상기 동작들은,
상기 하나 이상의 전경 타일로부터 상기 하나 이상의 특징 벡터를 추출하기 전에 상기 타일 이미지로부터 하나 이상의 배경 타일을 제거하는 것을 더 포함하는, 컴퓨터 시스템. - 제9항에 있어서, 상기 동작들은,
상기 하나 이상의 품질 문제가 존재한다고 결정한 후 상기 하나 이상의 품질 문제의 유형을 예측하는 것을 더 포함하는, 컴퓨터 시스템. - 제9항에 있어서, 상기 동작들은,
상기 하나 이상의 품질 문제가 존재하는지 여부를 결정한 결과를 시각화하는 것 또는
상기 하나 이상의 품질 문제가 존재하는지 여부를 결정한 결과를 나타내는 보고서를 생성 및 출력하는 것을 더 포함하는, 컴퓨터 시스템. - 프로세서에 의해 실행될 때 상기 프로세서로 하여금 전자 이미지를 처리하기 위한 동작들을 수행하게 하는 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체로서, 상기 동작들은:
인공 지능(AI) 시스템의 전자 저장소에서 상기 AI 시스템에 의해, 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 것;
상기 하나 이상의 디지털 WSI의 타일 이미지의 하나 이상의 전경 타일로부터 하나 이상의 특징 벡터를 추출하는 것;
상기 하나 이상의 특징 벡터에 대해 훈련된 머신 러닝 모델을 실행하는 것; 그리고
상기 훈련된 머신 러닝 모델의 출력에 기초하여, 상기 하나 이상의 디지털 WSI에 하나 이상의 품질 문제가 존재하는지 여부를 결정하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 매체. - 제16항에 있어서, 상기 동작들은,
상기 하나 이상의 특징 벡터를 추출하기 전에 상기 하나 이상의 디지털 WSI를 타일 이미지로 분할하는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체. - 제16항에 있어서, 상기 동작들은,
상기 하나 이상의 전경 타일로부터 상기 하나 이상의 특징 벡터를 추출하기 전에 상기 하나 이상의 전경 타일의 선택을 수신하는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체. - 제16항에 있어서, 상기 동작들은,
상기 하나 이상의 전경 타일로부터 상기 하나 이상의 특징 벡터를 추출하기 전에 상기 타일 이미지로부터 하나 이상의 배경 타일을 제거하는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체. - 제16항에 있어서, 상기 동작들은,
상기 하나 이상의 품질 문제가 존재한다고 결정한 후 상기 하나 이상의 품질 문제의 유형을 예측하는 것을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163203513P | 2021-07-26 | 2021-07-26 | |
| US63/203,513 | 2021-07-26 | ||
| PCT/US2022/073638 WO2023009936A1 (en) | 2021-07-26 | 2022-07-12 | Systems and methods to process electronic images to determine histopathology quality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240038756A true KR20240038756A (ko) | 2024-03-25 |
Family
ID=83193266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247005852A KR20240038756A (ko) | 2021-07-26 | 2022-07-12 | 조직병리학 품질 결정을 위한 전자 이미지 처리 시스템 및 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20230024468A1 (ko) |
| EP (1) | EP4377882A1 (ko) |
| JP (1) | JP2024529947A (ko) |
| KR (1) | KR20240038756A (ko) |
| CN (1) | CN118043845A (ko) |
| AU (1) | AU2022320779A1 (ko) |
| CA (1) | CA3226743A1 (ko) |
| WO (1) | WO2023009936A1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110073404B (zh) * | 2016-10-21 | 2023-03-21 | 南坦生物组学有限责任公司 | 数字组织病理学和显微解剖 |
| EP3570753B1 (en) * | 2017-02-23 | 2024-08-07 | Google LLC | Method and system for assisting pathologist identification of tumor cells in magnified tissue images |
| TWI701639B (zh) * | 2018-12-11 | 2020-08-11 | 緯創資通股份有限公司 | 辨識影像中前景物件的方法與電子裝置 |
| US10831417B1 (en) * | 2019-06-17 | 2020-11-10 | Kyocera Document Solutions Inc. | Convolutional neural network based copy or print wizard |
-
2022
- 2022-06-29 US US17/852,884 patent/US20230024468A1/en active Pending
- 2022-07-12 EP EP22765352.4A patent/EP4377882A1/en active Pending
- 2022-07-12 CN CN202280064749.5A patent/CN118043845A/zh active Pending
- 2022-07-12 WO PCT/US2022/073638 patent/WO2023009936A1/en active Application Filing
- 2022-07-12 KR KR1020247005852A patent/KR20240038756A/ko unknown
- 2022-07-12 JP JP2024504502A patent/JP2024529947A/ja active Pending
- 2022-07-12 CA CA3226743A patent/CA3226743A1/en active Pending
- 2022-07-12 AU AU2022320779A patent/AU2022320779A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN118043845A (zh) | 2024-05-14 |
| JP2024529947A (ja) | 2024-08-14 |
| AU2022320779A1 (en) | 2024-02-15 |
| EP4377882A1 (en) | 2024-06-05 |
| WO2023009936A1 (en) | 2023-02-02 |
| US20230024468A1 (en) | 2023-01-26 |
| CA3226743A1 (en) | 2023-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230186657A1 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| AU2014237346B2 (en) | System and method for reviewing and analyzing cytological specimens | |
| JP2020205063A (ja) | コンテキストフィーチャを用いた画像解析システム | |
| Marée | The need for careful data collection for pattern recognition in digital pathology | |
| Lei et al. | Automatic detection and counting of urediniospores of Puccinia striiformis f. sp. tritici using spore traps and image processing | |
| CN114616590A (zh) | 用于为数字病理学处理载玻片图像的系统和方法 | |
| Bouchet et al. | Intuitionistic fuzzy set and fuzzy mathematical morphology applied to color leukocytes segmentation | |
| US20230066976A1 (en) | Systematic characterization of objects in a biological sample | |
| EP3611695A1 (en) | Generating annotation data of tissue images | |
| Hossain et al. | Region of interest (ROI) selection using vision transformer for automatic analysis using whole slide images | |
| AU2021349226C1 (en) | Critical component detection using deep learning and attention | |
| KR20230021665A (ko) | 디지털 병리학에서 현저한 정보를 결정하기 위해 전자 이미지들을 처리하는 시스템들 및 방법들 | |
| US20220138939A1 (en) | Systems and Methods for Digital Pathology | |
| Lee et al. | Image analysis using machine learning for automated detection of hemoglobin H inclusions in blood smears-a method for morphologic detection of rare cells | |
| JP2024522550A (ja) | ホールスライド画像の検索 | |
| Tafavvoghi et al. | Publicly available datasets of breast histopathology H&E whole-slide images: A scoping review | |
| Zachariou et al. | Automated methods for tuberculosis detection/diagnosis: A literature review | |
| US20230024468A1 (en) | Systems and methods to process electronic images to determine histopathology quality | |
| CA3200162A1 (en) | Systems and methods for identifying cancer in pets | |
| Zeng et al. | Recognition of rare antinuclear antibody patterns based on a novel attention-based enhancement framework | |
| Ghashghaei et al. | Grayscale Image Statistical Attributes Effectively Distinguish the Severity of Lung Abnormalities in CT Scan Slices of COVID-19 Patients | |
| Aulia et al. | A Novel Digitized Microscopic Images of ZN-Stained Sputum Smear and Its Classification Based on IUATLD Grades | |
| US20230215145A1 (en) | System and method for similarity learning in digital pathology | |
| US20230222653A1 (en) | Systems and methods for processing electronic images using uncertainty estimation | |
| Ekbote et al. | Genetic syndrome identification: an image processing approach |