KR20240004642A - 전자 이미지를 프로세싱하여 속성을 식별하는 시스템 및 방법 - Google Patents
전자 이미지를 프로세싱하여 속성을 식별하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240004642A KR20240004642A KR1020237040741A KR20237040741A KR20240004642A KR 20240004642 A KR20240004642 A KR 20240004642A KR 1020237040741 A KR1020237040741 A KR 1020237040741A KR 20237040741 A KR20237040741 A KR 20237040741A KR 20240004642 A KR20240004642 A KR 20240004642A
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- electronic medical
- panning
- determining
- determined
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 168
- 238000012545 processing Methods 0.000 title description 10
- 238000004091 panning Methods 0.000 claims abstract description 70
- 230000007170 pathology Effects 0.000 claims abstract description 20
- 230000008520 organization Effects 0.000 claims description 34
- 201000010099 disease Diseases 0.000 claims description 17
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 17
- 230000002308 calcification Effects 0.000 claims description 10
- 239000000090 biomarker Substances 0.000 claims description 7
- 230000009191 jumping Effects 0.000 claims description 5
- 206010061218 Inflammation Diseases 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 230000002068 genetic effect Effects 0.000 claims description 4
- 230000004054 inflammatory process Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 claims description 4
- 102000004169 proteins and genes Human genes 0.000 claims description 4
- 108090000623 proteins and genes Proteins 0.000 claims description 4
- 238000004043 dyeing Methods 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 47
- 238000013473 artificial intelligence Methods 0.000 description 42
- 238000004458 analytical method Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 235000008694 Humulus lupulus Nutrition 0.000 description 17
- 206010028980 Neoplasm Diseases 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 210000002307 prostate Anatomy 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 10
- 208000004434 Calcinosis Diseases 0.000 description 9
- 238000001574 biopsy Methods 0.000 description 9
- 238000013188 needle biopsy Methods 0.000 description 9
- 238000012552 review Methods 0.000 description 9
- 201000011510 cancer Diseases 0.000 description 8
- 210000000481 breast Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 208000028715 ductal breast carcinoma in situ Diseases 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 description 3
- 206010073094 Intraductal proliferative breast lesion Diseases 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 201000007273 ductal carcinoma in situ Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 201000009030 Carcinoma Diseases 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000030776 invasive breast carcinoma Diseases 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 1
- 206010062129 Tongue neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011532 immunohistochemical staining Methods 0.000 description 1
- 239000012678 infectious agent Substances 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010603 microCT Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 201000006134 tongue cancer Diseases 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
컴퓨터 구현 방법은 전자 이미지들의 속성들을 식별하고 속성들을 디스플레이할 수 있다. 본 방법은 병리학 표본과 연관된 하나 이상의 전자 의료 이미지를 수신하는 단계, 하나 이상의 전자 의료 이미지 내의 복수의 특징 영역들을 결정하는 단계, 복수의 특징 영역들의 미리 결정된 순서를 결정하는 단계, 및 디스플레이를 사용하여, 미리 결정된 순서에 따라 하나 이상의 특징 영역에 걸쳐 자동으로 패닝(panning)하는 단계를 포함할 수 있다.
Description
관련 출원(들)
본 출원은 2021년 5월 3일자로 출원된 미국 가출원 제63/183,290호에 대한 우선권을 주장하며, 이의 전문이 본 명세서에 참조로 통합된다.
기술분야
본 개시의 다양한 실시예들은 일반적으로 이미지 프로세싱 방법들에 관한 것이다. 보다 구체적으로, 본 개시의 특정 실시예들은 전자 이미지들의 속성들을 식별하기 위한 시스템들 및 방법들에 관한 것이다.
기존 프로세스 하에서, 병리학자들은 슬라이드에서 특징 정보(salient information)를 수동으로 찾아 그 발견사항(finding)의 보고서를 작성해야 했다. 이 프로세스는 시간이 많이 걸리고, 병리학자의 피곤과 눈의 피로감을 초래할 수 있다.
본 명세서에서 제공된 배경기술 설명은 일반적으로 본 개시의 맥락을 제시하기 위한 것이다. 본 명세서에서 달리 나타내어지지 않는 한, 본 섹션에서 설명된 소재가 본 섹션에 포함된 것에 의해, 본 출원의 청구범위에 대한 종래기술인 것은 아니고, 종래기술 또는 종래기술이 시사하는 것으로 인정되는 것도 아니다.
본 개시의 특정 양태들에 따르면, 전자 이미지들의 속성들을 식별하고 속성들을 디스플레이하기 위한 시스템들 및 방법들이 개시된다.
전자 이미지의 속성을 식별하고 속성을 디스플레이하기 위한 방법은 병리학 표본과 연관된 하나 이상의 전자 의료 이미지를 수신하는 단계, 하나 이상의 전자 의료 이미지 내의 복수의 특징 영역을 결정하는 단계, 복수의 특징 영역의 미리 결정된 순서를 결정하는 단계, 디스플레이를 사용하여, 미리 결정된 순서에 따라 하나 이상의 특징 영역에 걸쳐 자동으로 패닝(panning)하는 단계를 포함한다.
본 방법은 하나 이상의 전자 의료 이미지 내의 조직을 검출하는 단계를 포함할 수 있다. 복수의 특징 영역들은 검출된 조직의 적어도 일부분을 포함할 수 있다. 조직을 검출하는 단계는 백그라운드를 제거하는 단계를 포함할 수 있다. 백그라운드를 제거하는 단계는 하나 이상의 전자 의료 이미지 내의 복수의 로컬 영역들을 복수의 로컬 영역들 중 각 로컬 영역의 분산(variance)을 기반으로 스레시홀딩(thresholding)하여, 복수의 로컬 영역들 중 어느 로컬 영역들이 조직을 포함하지 않는지를 결정하는 단계를 포함할 수 있다.
미리 결정된 순서는 정책에 따라 결정될 수 있다. 미리 결정된 순서는 조직 타입, 조직 텍스처, 석회화 존재 또는 수준, 염증 존재 또는 수준, 특징 영역 크기, 특징 영역 형상, 특징 영역 위치, 질병 타입, 색상, 염색 타입, 조직 텍스처, 바이오마커 타입, 유전학적 시그니처(genetic signature), 단백질 타입, 또는 하나 이상의 혈액 표지자(blood marker) 중 적어도 하나에 따라 결정될 수 있다.
본 방법은 복수의 특징 영역들의 각 특징 영역의 확대 수준을 결정하는 단계를 포함할 수 있다. 디스플레이를 사용하여 자동으로 패닝하는 단계는 각 특징 영역의 결정된 확대 수준에 또한 따를 수 있다. 각 특징 영역의 확대 수준을 결정하는 단계는 정책을 기반으로 할 수 있다.
하나 이상의 전자 의료 이미지는 제1 전자 의료 이미지를 포함할 수 있다. 복수의 특징 영역들은 제1 전자 의료 이미지 내의 제1 특징 영역 및 제2 특징 영역을 포함할 수 있다. 제2 특징 영역은 미리 결정된 순서에 따라 제1 특징 영역 이후일 수 있다.
본 방법은 제2 특징 영역이 제1 전자 의료 이미지 내에 있는지 여부를 결정하는 단계를 포함할 수 있다. 제2 특징 영역이 또한 제1 전자 의료 이미지 내에 있다고 결정된다면, 디스플레이를 사용하여 자동으로 패닝하는 단계는 제1 특징 영역에 걸쳐 제1 전자 의료 이미지 내의 제2 특징 영역으로 패닝하는 단계를 포함할 수 있다. 제2 특징 영역이 제1 전자 의료 이미지 내에 있지 않다고 결정된다면, 방법은 제2 특징 영역이 제2 전자 의료 이미지 내에 있다고 결정하는 단계를 포함할 수 있고, 디스플레이를 사용하여 자동으로 패닝하는 단계는 제1 전자 의료 이미지 내의 제1 특징 영역에 걸쳐 패닝하는 단계, 제2 전자 의료 이미지로 점프하는 단계, 및 제2 특징 영역에 걸쳐 패닝하는 단계를 포함할 수 있다.
하나 이상의 전자 의료 이미지는 제1 전자 의료 이미지를 포함할 수 있다. 복수의 특징 영역들은 제1 전자 의료 이미지 내의 제1 특징 영역 및 제2 특징 영역을 포함할 수 있다. 제2 특징 영역은 미리 결정된 순서에 따라 제1 특징 영역 이후일 수 있다.
본 방법은 제2 특징 영역이 또한 제1 전자 의료 이미지 내에 있는지 여부를 결정하는 단계를 포함할 수 있다. 제2 특징 영역이 또한 제1 전자 의료 이미지 내에 있다고 결정된다면, 방법은 제1 특징 영역이 제2 영역으로부터 미리 결정된 거리 이상인지 여부를 결정하는 단계를 포함할 수 있다. 제1 특징 영역이 제2 영역으로부터 미리 결정된 거리 이상이라고 결정된다면, 디스플레이를 사용하여 자동으로 패닝하는 단계는 제1 특징 영역에 걸쳐 패닝하는 단계, 제2 특징 영역으로 점프하는 단계, 및 제2 특징 영역에 걸쳐 패닝하는 단계를 포함할 수 있다.
본 방법은 일시 정지 커맨드가 수신되었는지 여부를 결정하는 단계를 포함할 수 있다. 일시 정지 커맨드가 수신되었다고 결정된다면, 본 방법은 디스플레이의 자동 패닝을 일시 정지하는 단계를 포함할 수 있다. 일시 정지 커맨드가 수신되지 않았다고 결정된다면, 본 방법은 디스플레이의 자동 패닝을 계속하는 단계를 더 포함할 수 있다.
본 방법은 어노테이션이 수신되었는지 여부를 결정하는 단계를 포함할 수 있다. 어노테이션이 수신되었다고 결정된다면, 본 방법은 어노테이션에 따라 디스플레이를 자동으로 패닝하는 단계를 포함할 수 있다. 어노테이션이 수신되지 않았다고 결정된다면, 본 방법은 디스플레이를 계속해서 자동으로 패닝하는 단계를 포함할 수 있다.
본 방법은 수신된 어노테이션 또는 정책을 기반으로 미리 결정된 순서를 결정하는 단계를 포함할 수 있다. 수신된 어노테이션 또는 정책은 자동으로 패닝하기 전에 수신되었을 수 있다.
자동으로 패닝하는 동안, 본 방법은 어노테이션 또는 정책 중 적어도 하나를 수신하는 단계 및 수신된 어노테이션 또는 정책을 기반으로 미리 결정된 순서를 수정하는 단계를 포함할 수 있다. 하나 이상의 전자 의료 이미지는 현미경을 사용하여 획득된 전체 슬라이드 이미지들일 수 있다.
전자 이미지들의 속성들을 식별하고 속성들을 디스플레이하기 위한 시스템은 명령어들을 저장하는 적어도 하나의 메모리 및 명령어들을 실행하여 동작들을 수행하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다. 동작들은 병리학 표본과 연관된 하나 이상의 전자 의료 이미지를 수신하는 동작, 하나 이상의 전자 의료 이미지 내의 복수의 특징 영역들을 결정하는 동작, 복수의 특징 영역들의 미리 결정된 순서를 결정하는 동작, 및 디스플레이를 사용하여, 미리 결정된 순서에 따라 하나 이상의 특징 영역에 걸쳐 자동으로 패닝하는 동작을 포함할 수 있다.
동작들은 복수의 특징 영역들의 각 특징 영역의 확대 수준을 결정하는 동작을 더 포함할 수 있다. 디스플레이를 사용하여 자동으로 패닝하는 동작은 각 특징 영역의 결정된 확대 수준에 또한 따를 수 있다. 어노테이션 또는 정책을 수신할 시, 프로세서는 명령어들을 수정하도록 구성될 수 있다.
비일시적 컴퓨터 판독가능 매체는 프로세서에 의해 실행될 때, 전자 이미지의 속성들을 식별하고 속성들을 디스플레이하기 위한 방법을 수행하는 명령어들을 저장할 수 있다. 본 방법은 병리학 표본과 연관된 하나 이상의 전자 의료 이미지를 수신하는 단계, 하나 이상의 전자 의료 이미지 내의 복수의 특징 영역들을 결정하는 단계, 복수의 특징 영역들의 미리 결정된 순서를 결정하는 단계, 및 디스플레이를 사용하여, 미리 결정된 순서에 따라 하나 이상의 특징 영역에 걸쳐 자동으로 패닝하는 단계를 포함할 수 있다.
전술한 설명과 후술하는 상세한 설명 둘 모두는 단지 예시적이고 설명적인 것이며, 개시된 실시예들을 제한하지 않는다는 것을 이해해야 한다.
본 명세서에 통합되고 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하고, 상세한 설명과 함께, 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1a는 본 개시의 예시적인 실시예에 따른, 디지털 또는 전자 슬라이드 이미지들의 특징 속성들을 식별하고 식별된 특징 속성들을 (줌잉, 패닝 등을 통해) 평활하게(smoothly) 디스플레이하는 정책 또는 전략을 따르기 위한 시스템 및 네트워크의 예시적인 블록도를 나타낸다.
도 1b는 본 개시의 예시적인 실시예에 따른, 질병 검출 플랫폼의 예시적인 블록도를 나타낸다.
도 1c는 본 개시의 예시적인 실시예에 따른, 슬라이드 분석 툴의 예시적인 블록도를 나타낸다.
도 2는 예시적인 실시예에 따른, 다수의 중심부들을 갖는 예시적인 전립선 중심부 바늘 생검을 나타낸다.
도 3은 특징 영역을 갖는 샘플의 예시적인 슬라이드의 예를 나타낸다.
도 4는 예시적인 실시예에 따른, 전략 또는 정책에 따라 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 5는 예시적인 실시예에 따른, 교육 환경에서 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 6은 예시적인 실시예에 따른, AI 없이 특징 속성들을 디스플레이하고 슬라이드 컬렉션을 검토하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 7은 전립선 조직 샘플에 대한 특징 속성들을 검출하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 8은 유방 절제 샘플에 대한 특징 속성들을 검출하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 9는 유방 생검 샘플에 대한 특징 속성들을 검출하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 1a는 본 개시의 예시적인 실시예에 따른, 디지털 또는 전자 슬라이드 이미지들의 특징 속성들을 식별하고 식별된 특징 속성들을 (줌잉, 패닝 등을 통해) 평활하게(smoothly) 디스플레이하는 정책 또는 전략을 따르기 위한 시스템 및 네트워크의 예시적인 블록도를 나타낸다.
도 1b는 본 개시의 예시적인 실시예에 따른, 질병 검출 플랫폼의 예시적인 블록도를 나타낸다.
도 1c는 본 개시의 예시적인 실시예에 따른, 슬라이드 분석 툴의 예시적인 블록도를 나타낸다.
도 2는 예시적인 실시예에 따른, 다수의 중심부들을 갖는 예시적인 전립선 중심부 바늘 생검을 나타낸다.
도 3은 특징 영역을 갖는 샘플의 예시적인 슬라이드의 예를 나타낸다.
도 4는 예시적인 실시예에 따른, 전략 또는 정책에 따라 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 5는 예시적인 실시예에 따른, 교육 환경에서 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 6은 예시적인 실시예에 따른, AI 없이 특징 속성들을 디스플레이하고 슬라이드 컬렉션을 검토하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 7은 전립선 조직 샘플에 대한 특징 속성들을 검출하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 8은 유방 절제 샘플에 대한 특징 속성들을 검출하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 9는 유방 생검 샘플에 대한 특징 속성들을 검출하기 위한 예시적인 방법을 나타내는 흐름도이다.
이제 본 개시의 예시적인 실시예들이 상세히 참조될 것이며, 이의 예들은 첨부 도면들에 예시되어 있다. 가능한 한, 동일한 참조 번호들은 동일하거나 유사한 부분들을 지칭하기 위해 도면들 전체에 걸쳐 사용될 것이다.
본 명세서에서 개시되는 시스템들, 디바이스들, 및 방법들은 예들을 통해 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에서 논의되는 예들은 단지 예들이고, 본 명세서에서 설명되는 장치들, 디바이스들, 시스템들, 및 방법들에 대한 설명을 돕기 위해 제공된다. 도면들에 도시되거나 아래에서 논의되는 피처들 또는 구성요소들 중 어느 것도, 특별히 필수적인 것으로 지정되지 않는 한, 이들 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현예에 대해 필수적인 것으로 취해지지 않아야 한다.
또한, 설명되는 임의의 방법들에 대해, 그 방법이 흐름도와 함께 설명되는지 여부에 관계없이, 문맥에 의해 달리 지정되거나 요구되지 않는 한, 방법의 실행 시 수행되는 단계들의 임의의 명시적 또는 암시적 순서는 이러한 단계들이 제시된 순서로 수행되어야 한다는 것을 암시하지 않는 것이 아니라, 상이한 순서로 또는 병렬로 수행될 수 있다는 것을 이해해야 한다.
본 명세서에서 사용될 때, "예시적인"이라는 용어는 "이상적인"이 아니라, "예"의 의미로 사용된다. 또한, 본 명세서에서 단수 표현은 언급되는 항목들의 수량의 제한을 나타내는 것이 아니라, 하나 이상의 존재를 나타낸다.
최근까지, 병리학자들은 조직 표본을 연구하거나 진단하는 데 필요한 임상적 또는 다른 피처들의 존재 또는 부재에 대해 글라스 슬라이드를 검토하기 위해 전통적인 현미경을 사용해왔다. 이러한 적용은 약물이 연구용 동물에서 용인가능한 독성 수준을 갖는지를 결정하는 것, 사람이 암에 걸렸는지를 결정하는 것, 그리고/또는 사람이 염증성 장 질병을 갖는지를 결정하는 것 등으로부터 다양하다. 그러나, 이러한 전통적인 워크플로우에는 비효율성이 많다. 중요한 이슈들 중 하나는 글라스 슬라이드의 저장 및 검색(retrieval)이다. 이제, 디지털 병리학은 이 문제를 해결할 수 있으며, 슬라이드가 높은 확대 수준으로 스캐닝되고, 그런 다음 전자 저장소로부터 즉시 검색되고 모니터 상에 보여질 수 있다.
디지털 병리학은 저장 및 검색 문제를 해결할 수 있지만, 다른 이슈들이 있을 수 있다. 기존 디지털 병리학 슬라이드/케이스 검토 플랫폼은 병리학자들이 팬(pan) 및 줌(zoom)과 같은 툴을 갖는 전통적인 현미경을 사용할 때의 경험을 재현하려고 한다. "팬"이라는 단어는 하나 이상의 이미지의 두 개의 영역들 사이의 시야의 시각적 이동을 설명하기 위해 사용될 수 있다. "줌"은 슬라이드의 시야의 확대 수준의 변화를 설명하기 위해 사용될 수 있다. 패닝 및 줌잉의 이러한 디지털 버전들은 현미경 경험과 잘 매칭되지 않고, 이에 따라 병리학자는 현미경을 사용할 때보다 느릴 수 있다. 또한, 많은 병리학자들은 큰 영역 조직에 걸쳐 패닝 및 줌잉하고 매일 많은 경우들을 검토하기 위해 마우스를 움직이는 물리적 동작으로 인한 팔과 손목 피로를 보고하며, 여기서 케이스는 100개 초과의 전체 슬라이드 이미지(whole slide image, WSI)로 구성될 수 있다. 정확한 진단을 결정하는 데 중요한 특징들이 작고 단일 슬라이드로 분리될 수 있기 때문에, 케이스 내의 모든 또는 다수의 슬라이드들은 진단이 정확함을 보장하기 위해 병리학자에 의해 검토되어야 한다.
슬라이드들은 어떠한 조직도 포함하지 않는 상당한 영역들을 가질 수 있기 때문에, 빈번한 슬라이드 패닝 및 줌잉이 필요할 수 있으며, 따라서 특정 슬라이드 상의 조직은 상당량의 "화이트 스페이스"만큼 분리될 수 있다(도 2 참조). 또한, 다수의 슬라이드들이 케이스에 속할 때, 환자는 적절한 평가를 행하기 위해 다수의 슬라이드들 사이에서 점프할 필요가 있을 수 있다.
이러한 문제들에 대한 잠재적인 솔루션은 병리학자에게 즉시 보여질 수 있도록 임상적 특징들의 존재 또는 부재를 자동으로 결정하기 위해 인공 지능(AI)을 사용하는 것일 수 있다. 본 개시는 병리학자에게 이러한 속성들에 대한 AI의 증거를 자동으로 제시하기 위한 정책들(예를 들어, 계획들)을 설명하며, 이는 병리학자들이 마우스 및/또는 다른 입력 디바이스들 및 인터페이스들을 사용할 필요 없이 AI의 발견사항들을 검증하는 것을 돕는다.
하지만, 이는 병리학자의 시간을 최적화하지 않을 수 있는데, 이는 병리학자가 다수의 AI 출력을 횡단해야 할 수 있으며, 이는 여전히 하나 이상의 슬라이드에 걸쳐 상당량의 패닝 및 줌잉을 초래할 수 있기 때문이다. "조직 홉"과 관련하여 본 명세서에서 제시된 기술들은 조직 및 질병에 특유한 정책(예를 들어, 전략)을 사용하여, AI 시스템에 의해 결정된 발견사항들을 자동으로 횡단함으로써 상기한 문제들을 해결할 수 있다. 본 시스템은 조직 타입, AI에 의해 결정된 발견사항들, 및/또는 사용자의 목적을 고려하여 적절한 방식으로 한 위치로부터 다음 위치로 평활하게 패닝 또는 "점프"할 수 있다. 예를 들어, 유방암 조직 표본을 검토할 때, 병리학자들은 통상적으로 먼저 슬라이드 컬렉션 전반에 걸쳐 모든 석회화를 식별한다. 본 명세서에서 제시된 기술들은 병리학자가 먼저 석회화 및 암이 있는 적절한 슬라이드로 점프하고, 그런 다음 마우스 또는 다른 입력 디바이스들을 최소한으로 사용하여 슬라이드 상에서 식별된 발견사항들을 평활하게 횡단할 수 있게 하여, 피로를 줄일 수 있다. 본 명세서에서 제시되는 기술들은 유방암을 넘어서, 가장 심각한 발견사항이 있는 슬라이드들을 먼저 검토할 수 있게 할 수 있고, 그런 다음 AI에 의해 결정된 슬라이드 상의 증거를 검토할 수 있게 하여, 발견사항이 표본에 걸쳐 평활하게 패닝되고 줌잉될 수 있다는 것과 이 케이스에서의 모든 슬라이드들의 이러한 "투어"가 다수의 슬라이드들에도 걸쳐 있을 수 있다는 것을 지원할 수 있다.
도 1a 내지 도 1c는 본 개시의 예시적인 실시예에 따른, 디지털 슬라이드 이미지들의 특징 속성들을 식별하고 식별된 특징 속성들을 (줌잉, 패닝 등을 통해) 평활하게(smoothly) 디스플레이하는 정책 또는 전략을 따르기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
구체적으로, 도 1a는 병원, 실험실, 및/또는 의원 등에서의 서버들에 연결될 수 있는 전자 네트워크(120)를 나타낸다. 예를 들어, 의료진 서버들(121), 병원 서버(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 등은 각각 하나 이상의 컴퓨터, 서버 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(120)에 각각 연결될 수 있다. 본 출원의 예시적인 실시예에 따르면, 전자 네트워크(120)는 본 개시의 예시적인 실시예에 따라, 디지털 병리학적 이미지(들)에 관한 검체 속성 또는 이미지 속성 정보를 결정하고, 기계 학습을 사용하여 질병 또는 감염체가 존재하는지 여부를 결정하기 위해 슬라이드 분석 툴(101)을 포함하는 질병 검출 플랫폼(100)을 구현하도록 구성된 프로세싱 디바이스를 포함할 수 있는 서버 시스템(110)에 또한 연결될 수 있다. 슬라이드 분석 툴(101)은 액상 종양 제제의 '적절성'의 신속한 평가를 가능하게 할 수 있고, 액상 종양 제제의 진단(세포학, 혈액학/혈액병리학)을 용이하게 할 수 있으며, 액상 제제에 의해 검출되는 다양한 종양들에서 발견될 가능성이 가장 높은 분자 발견물을 예측할 수 있다.
의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125)은 하나 이상의 환자의 세포학적 검체(들), 조직병리학적 검체(들), 세포학적 검체(들)의 슬라이드(들), 조직병리학적 검체(들)의 슬라이드(들)의 디지털화된 이미지, 또는 이들의 임의의 조합의 이미지들을 생성하거나 또는 달리 획득할 수 있다. 의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125)은 연령, 병력, 암 치료 이력, 가족력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 또한 획득할 수 있다. 의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125)은 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 전자 네트워크(120)를 통해 서버 시스템(110)에 송신할 수 있다. 서버 시스템(들)(110)은 의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125) 중 적어도 하나로부터 수신되는 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템들(110)은 저장 디바이스들(109)에 저장된 이미지들 및 데이터를 프로세싱하기 위한 프로세싱 디바이스들을 또한 포함할 수 있다. 서버 시스템들(110)은 하나 이상의 기계 학습 툴(들) 또는 능력을 더 포함할 수 있다. 예를 들어, 프로세싱 디바이스들은 일 실시예에 따른, 질병 검출 플랫폼(100)을 위한 기계 학습 툴을 포함할 수 있다. 대안적으로 또는 추가적으로, 본 개시(또는 본 개시의 시스템 및 방법의 부분들)은 로컬 프로세싱 디바이스(예를 들어, 랩탑) 상에서 수행될 수 있다.
의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125)은 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 사용되는 시스템들을 지칭한다. 병원 환경에서, 조직 타입 정보가 실험실 정보 시스템(125)에 저장될 수 있다.
도 1b는 기계 학습을 사용하여, 디지털 병리학적 이미지(들)에 관한 검체 속성 또는 이미지 속성 정보를 결정하기 위한 질병 검출 플랫폼(100)의 예시적인 블록도를 나타낸다. 질병 검출 플랫폼(100)은 슬라이드 분석 툴(101), 데이터 수집 툴(102), 슬라이드 수용 툴(103), 슬라이드 스캐너(104), 슬라이드 매니저(105), 저장소(106), 실험실 정보 시스템(107), 및 관찰 애플리케이션 툴(108)을 포함할 수 있다.
슬라이드 분석 툴(101)은 아래에서 설명되는 바와 같이, 디지털 병리학적 이미지(들)에 관한 데이터 가변 속성 또는 건강 가변 속성 정보를 결정하기 위한 프로세스 및 시스템을 지칭한다. 기계 학습은 예시적인 실시예에 따라, 이미지를 분류하기 위해 사용될 수 있다. 슬라이드 분석 툴(101)은 아래의 실시예들에서 설명되는 바와 같이, 미래 관계들을 또한 예측할 수 있다.
데이터 수집 툴(102)은 예시적인 실시예에 따라, 디지털 병리학적 이미지들을 분류 및 프로세싱하는 데 사용되는 다양한 툴들, 모듈들, 구성요소들, 및 디바이스들로의 디지털 병리학적 이미지들의 전송을 가능하게 할 수 있다.
슬라이드 수용 툴(103)은 예시적인 실시예에 따라, 병리학적 이미지들을 스캔하고 이들을 디지털 형태로 변환할 수 있다. 슬라이드들은 슬라이드 스캐너(104)로 스캔될 수 있고, 슬라이드 매니저(105)는 슬라이드들 상의 이미지들을 디지털화된 병리학적 이미지들로 프로세싱하고 디지털화된 이미지들을 스토리지(106)에 저장할 수 있다.
관찰 애플리케이션 툴(108)은 예시적인 실시예에 따라, 디지털 병리학적 이미지(들)에 관한 검체 속성 또는 이미지 속성 정보를 사용자에게 제공할 수 있다. 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스 및/또는 웹 브라우저 등)을 통해 제공될 수 있다.
슬라이드 분석 툴(101) 및 이의 구성요소들 중 하나 이상은 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 네트워크(120)를 통해 서버 시스템들(110), 의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125)에 송신 및/또는 수신할 수 있다. 또한, 서버 시스템들(110)은 슬라이드 분석 툴(101), 데이터 수집 툴(102), 슬라이드 수용 툴(103), 슬라이드 스캐너(104), 슬라이드 매니저(105), 및 관찰 애플리케이션 툴(108) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 저장 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 저장 디바이스들에 저장된 이미지들 및 데이터를 프로세싱하기 위한 프로세싱 디바이스들을 또한 포함할 수 있다. 서버 시스템들(110)은 예를 들어, 프로세싱 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력을 더 포함할 수 있다. 대안적으로 또는 추가적으로, 본 개시(또는 본 개시의 시스템 및 방법의 부분들)는 로컬 프로세싱 디바이스(예를 들어, 랩탑) 상에서 수행될 수 있다.
상기한 디바이스들, 툴들 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크에 연결될 수 있는 디바이스 상에 위치할 수 있다.
도 1c는 본 개시의 예시적인 실시예에 따른, 슬라이드 분석 툴(101)의 예시적인 블록도를 나타낸다. 슬라이드 분석 툴(101)은 트레이닝 이미지 플랫폼(131) 및/또는 타겟 이미지 플랫폼(135)을 포함할 수 있다.
일 실시예에 따르면, 트레이닝 이미지 플랫폼(131)은 트레이닝 이미지 수용 모듈(132), 데이터 분석 모듈(133), 및 세포 식별 모듈(134)을 포함할 수 있다.
트레이닝 데이터 플랫폼(131)은 일 실시예에 따르면, 기계 학습 모델을 트레이닝하여 디지털 병리학적 이미지들을 효과적으로 분석 및 분류하는 데 사용되는 트레이닝 이미지들을 생성 또는 수신할 수 있다. 예를 들어, 트레이닝 이미지들은 서버 시스템들(110), 의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125) 중 임의의 것 또는 임의의 조합으로부터 수신될 수 있다. 트레이닝에 사용되는 이미지들은 실제 소스들(예를 들어, 인간, 동물 등)로부터 비롯될 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 비롯될 수 있다. 디지털 병리학적 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은(그러나 이에 제한되지 않음) 다양한 염색제로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 검체들을 포함할 수 있다.
트레이닝 이미지 수용 모듈(132)은 하나 이상의 보건 변수 및/또는 하나 이상의 데이터 변수에 대응하는 하나 이상의 트레이닝 데이터세트를 포함하는 데이터세트를 생성하거나 수신할 수 있다. 예를 들어, 트레이닝 데이터세트들은 서버 시스템들(110), 의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125) 중 임의의 것 또는 임의의 조합으로부터 수신될 수 있다. 이러한 데이터세트는 디지털 저장 디바이스 상에 유지될 수 있다. 데이터 분석 모듈(133)은 영역이 관심 영역 또는 특징 영역에 속하는지, 또는 디지털화된 이미지의 백그라운드에 속하는지를 식별할 수 있다. 특징 영역 검출 모듈(134)은 디지털화된 이미지들을 분석하고, 샘플에서의 영역이 추가 분석을 필요로 하는지 여부를 결정할 수 있다. 이와 같은 식별은 사용자에게 알림을 트리거할 수 있다.
일 실시예에 따르면, 타겟 이미지 플랫폼(135)은 타겟 이미지 수용 모듈(136), 검체 검출 모듈(137), 및 출력 인터페이스(138)를 포함할 수 있다. 타겟 이미지 플랫폼(135)은 타겟 이미지를 수신하고, 타겟 데이터세트의 특성을 결정하기 위한 기계 학습 모델을 수신된 타겟 이미지에 적용할 수 있다. 예를 들어, 타겟 데이터는 서버 시스템들(110), 의료진 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124) 및/또는 실험실 정보 시스템들(125) 중 임의의 것 또는 임의의 조합으로부터 수신될 수 있다. 타겟 이미지 수용 모듈(136)은 타겟 보건 변수 또는 데이터 변수에 대응하는 타겟 데이터세트를 수신할 수 있다. 검체 검출 모듈(137)은 타겟 보건 변수 또는 데이터 변수의 특성을 결정하기 위한 기계 학습 모델을 타겟 데이터세트에 적용할 수 있다. 예를 들어, 검체 검출 모듈(137)은 타겟 관계의 추세를 검출할 수 있다. 검체 검출 모듈(137)은 타겟 데이터세트에 대한 품질 스코어를 결정하기 위한 기계 학습 모델을 타겟 데이터세트에 또한 적용할 수 있다. 또한, 검체 검출 모듈(137)은 타겟 요소가 결정된 관계로 존재하는지 여부를 결정하기 위한 기계 학습 모델을 타겟 이미지들에 적용할 수 있다.
출력 인터페이스(138)는 타겟 데이터 및 결정된 관계에 대한 정보를 (예를 들어, 스크린, 모니터, 저장 디바이스, 웹 브라우저 등에) 출력하기 위해 사용될 수 있다. 출력 인터페이스(138)는 슬라이드들을 내비게이트하기 위해 (예를 들어, 줌잉, 패닝, 및/또는 점프에 의해) 정책 또는 전략에 따라 분석된 슬라이드들의 식별된 특징 영역들을 디스플레이할 수 있다. 출력 인터페이스(138) 상의 최종 결과 또는 출력은 슬라이드들의 자동화된, 맞춤화된 비디오 또는 "투어"로서 나타날 수 있다.
도 2는 예시적인 실시예에 따른, 다수의 중심부들(201, 202, 및 203)을 갖는 예시적인 전립선 중심부 바늘 생검(200)을 도시한다. 중심부들(201, 202 및 203) 사이의 많은 화이트 스페이스량에 유의한다. 슬라이드에 걸쳐 수동으로 패닝하는 것은 줌 아웃하는 것, 다음 위치로 패닝하는 것, 그러고 나서 다시 줌 인하는 것을 수반한다. 본 명세서에서 제시된 기술들은 사용자로부터의 지속적인 입력을 요구하지 않고 시야를 적절하게 자동으로 이동시킴으로써 이 문제를 해결할 수 있다.
본 명세서에서 제시된 기술들은 글라스 슬라이드 검토와 비교해 디지털 슬라이드들을 검토하는 병리학자에 의해 보여지는 비효율적인 진단 검토 시간을 해결할 수 있다. 의심되는 잠재적 영역들의 내림차순 또는 우선순위로 조직을 자동으로 내비게이트함으로써, 병리학자에게 슬라이드들을 내비게이트하는 조직 경로가 즉시 재생된다. 현재 방법론은 주로 병리학자들이 슬라이드의 하나의 모서리에서 시작하여 다른 대각선 모서리까지 슬라이드 상의 모든 조직을 구불구불한 방식으로 검토함으로써 조직을 검토하게 한다. 이러한 신규한 방법론은 관심 진단 영역들을 탐색하는 병리학자 요구사항을 배제하는 것을 포함하고, 이러한 영역들을 병리학자에게 내림차순으로 제시한다. 특징 영역들의 우선순위의 순서는 특징 영역 크기, 석회화 존재 및/또는 수준, 색상, 염색 타입 또는 색상, 조직 텍스처, 조직 타입, 바이오마커 타입, DNA, 단백질 타입, 혈액 표지자, 특징 영역 형상, 위치, 염증 수준, 및/또는 이들의 조합에 의해 결정될 수 있다. 우선순위는 특징 영역 영역에서의 미리 결정된 신뢰 임계치, 질병 중증도, 질병 단계, 연관된 질병 타입, 질병 사망, 및/또는 이들의 조합에 의해 또한 결정될 수 있다. 특징 영역들의 우선순위의 순서는 자동으로, 알고리즘 또는 인공 지능에 의해, 사용자가 결정한 정책에 의해, 그리고/또는 사용자에 의해 결정될 수 있다.
전체 슬라이드 이미지들에서 조직의 내비게이션을 자동화하기 위한 다른 툴들은 현재 존재하지 않는다. 본 명세서에서 제시되는 실시예들에 가장 가까운 방법은 다음 조직 조각으로 이동하기 위해 수동으로 그리고 결과적으로 버튼을 클릭함으로써 슬라이드상의 조직의 한 조각으로부터 다른 조각으로 "비지능적으로(unintelligibly)" 이동하는 것에 관한 것일 수 있다.
특징 영역은 샘플의 이미지 내의 관심 영역을 포함할 수 있다. 특징 영역은 조직 샘플의 일부 또는 전부를 포함할 수 있고, 자동적으로 또는 수동으로 결정될 수 있다. 특징 영역은 미리 결정된 임계치를 초과하는 바이오마커, 암 영역, 조직학적 피처 등을 포함할 수 있다. 영역은 피처 크기, 석회화 존재 및/또는 수준, 색상, 염색 타입 또는 색상, 조직 텍스처, 조직 타입, 바이오마커 타입, 유전학적 시그니처, 단백질 타입, 혈액 표지자, 조직 위치, 염증 수준, 및/또는 이들의 조합과 같은 관심 피처를 기반으로 특징인 것으로 결정될 수 있다. 특징 영역은 질병 중증도, 질병 단계, 연관된 질병 타입, 질병 사망, 및/또는 이들의 조합을 포함하여, 관심 피처가 존재하는 미리 결정된 신뢰도에 의해 또한 결정될 수 있다. 도 3은 특징 영역(302)을 갖는 샘플(301)의 IHC 염색을 포함하는 예시적인 슬라이드를 도시한다. 본 시스템은 이러한 이미지를 기반으로, 바이오마커들(예를 들어, HER2 바이오마커들)을 예측할 수 있다. 본 명세서에서, 본 시스템은 슬라이드를 HER2+로서 정확하게 분류하였다.
특징 영역들 및/또는 이들의 위치들을 결정하는 것은, 각 서브 영역에 대한 예측을 생성하기 위한 기계 학습 모델을 이미지 서브 영역들 상에서 실행하는 것, 그리고/또는 기계 학습 시각화 툴을 사용하여 상세한 히트맵을 생성하는 것을 포함하지만 이에 국한되지 않는 다양한 방법들을 사용하여 행해질 수 있다. 상세한 히트맵은 클래스 활성화 맵, GradCAM 등을 사용하여 생성될 수 있다. 그런 다음, 기계 학습 시각화 툴이 관련 영역들 및/또는 위치 정보를 추출하기 위해 사용될 수 있다. 특징 영역들을 결정하는 것에 대한 추가적인 세부사항들은 2020년 9월 9일에 출원된 미국 출원 제17/016,048호(대리인 문서 번호 00233-0005-01000), 및 2021년 5월 6일에 출원된 제17/313,617호(대리인 문서 번호 00233-0016-01000)에서 밝혀지며, 이의 전체 내용은 본 명세서에 참조로 통합된다.
도 4는 특징 발견사항들을 디스플레이하는 예시적인 방법의 흐름도이다. 예시적인 방법(400)은 예를 들어, 슬라이드 분석 툴(101) 및/또는 타겟 이미지 플랫폼(135)에 의해 수행될 수 있지만, 본 명세서에서 개시된 실시예들은 제한되지 않는다.
방법(400)은 단계(401)에서, 표본의 적어도 일부에 대해 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 단계를 포함할 수 있다. WSI는 전자 저장소로 수신될 수 있다.
단계(402)에서, 방법(400)은 하나 이상의 WSI 내에서 표본의 조직을 검출하는 단계를 포함할 수 있다. 이 단계는 섬네일로부터 백그라운드를 제거하는 방법(예를 들어, Otsu의 방법)을 사용하여, WSI 내의 로컬 영역들을 이들의 분산을 기반으로 스레시홀딩하여 어느 영역들이 조직을 갖지 않는지를 결정하는 단계 등을 포함할 수 있다.
단계(403)에서, 방법(400)은 WSI 상에서 검출된 조직의 특징 속성들을 검출하거나 식별하는 단계를 포함할 수 있다. 이러한 검출은 AI 또는 대안적으로 또는 이에 추가적으로, (예를 들어, 사용자에 의한) 수동 어노테이션들을 사용하여 수행되거나 보조될 수 있다. 임의의 AI는 이미 존재하는 시스템(예를 들어, 슬라이드 분석 툴(101) 및/또는 특징 영역 검출 모듈(134))을 이용하여 수행될 수 있다.
단계(404)에서, 방법(400)은 (예를 들어, 출력 인터페이스(138)를 통해) 검출된 특징 발견사항들의 디스플레이 동안 이들 발견사항들 사이에서 평활하게 이동(예를 들어, 패닝 및 줌잉)하기 위한 정책 또는 전략을 따르거나 적용하는 단계를 포함할 수 있다. 정책 또는 전략은 발견사항들을 기반으로 적절하거나 규정된 확대 수준들을 포함할 수 있다. 발견사항들은 정책 또는 사용자에 의해 결정된 내림차순 또는 우선순위를 기반으로 제시될 수 있다.
정책 또는 전략에 따른 이러한 디스플레이 또는 제시는 조직의 적절한 진단을 위한 증거를 사용자에게 제시할 수 있다. 제시는 AI 또는 수동 어노테이션들을 사용하지 않고, 모든 또는 다수의 조직 영역들에 걸쳐 패닝할 수 있다. 제시(즉, 발견사항들의 제시 또는 우선순위 순서, 조직 홉, 및 확대 수준)는 재생을 위해 저장되고/되거나 레코딩될 수 있다.
단계(405)에서, 제시 또는 패닝 동안, 방법(400)은 사용자가 키 또는 다른 입력, 예를 들어, 마우스 스틱 또는 버튼, 조이스틱, 또는 키보드 버튼을 눌렀다고 결정할 시 제시 또는 디스플레이를 중단 또는 일시 정지하는 단계를 포함할 수 있다.
단계(406)에서, 방법(400)은 커맨드들, 코멘트들, 또는 어노테이션들을 수신하고, 수신된 커맨드들을 기반으로 제시(예를 들어, 발견사항들의 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경하는 단계를 포함할 수 있다. 예를 들어, 사용자는 코멘트 또는 그 외 어노테이트하기 위해 조직의 자동 패닝 또는 핸즈오프 동안 조직의 섹션과 상호작용할 수 있다. 사용자는 AI 시스템이 식별하거나 하이라이트한 영역을 거부하거나 어노테이션을 추가함으로써 제시(예를 들어, 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경할 수 있다.
방법(400)은 이들 단계들(401-406) 중 하나 이상을 생략할 수 있다. 예를 들어, 단계(405) 및/또는 단계(406)는 사용자가 제시를 중단하거나 수정하기를 원하지 않는다면 생략될 수 있다. 다른 예로서, 단계(402)가 생략될 수 있거나, 대안적으로, 단계(403)가 생략될 수 있다.
예시적인 실시예: 교육 환경에서의 슬라이드 컬렉션 검토
도 5는 예시적인 실시예에 따른, 교육 환경에서 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
디지털 병리학은 교육에 대한 많은 적용예들을 갖는다. 디지털 슬라이드들의 검색 및 어노테이션은 디지털 병리학에 의해 훨씬 더 쉽게 이루어진다. 실시예들은 발견사항들 및 관심 영역들을 다른 이들에게 가르치거나 시연하는 것을 돕기 위해 사용될 수 있다. 교사는 슬라이드 상에 관심 영역들을 생성하고/하거나, 관심 영역들을 관찰하는 데 바람직한 줌 수준을 결정하고/하거나, 이들 영역들에 걸쳐 패닝하기 위한 정책을 생성할 수 있으며; 이에 따라, (즉, 회의 환경 또는 종양 위원회와 같은 다른 제시에서) 가르치거나 달리 교육하기 위해 시연가능한 워크스루 슬라이드 또는 슬라이드 컬렉션을 를 생성할 수 있다.
예시적인 방법(500)은 예를 들어, 슬라이드 분석 툴(101) 및/또는 타겟 이미지 플랫폼(135)에 의해 수행될 수 있지만, 본 명세서에서 개시된 실시예들은 제한되지 않는다.
방법(500)은 도 4를 참조하여 설명된 예시적인 방법(400)의 단계들(401-403), 그리고 또한 단계들(404-406)과 유사한 단계들을 포함할 수 있다. 방법(500)은 정책을 적용하기 전에 사용자로부터 커맨드들을 수신하고 사용자로부터 정책을 또한 수신하는 단계를 더 포함함으로써 방법(400)과 상이할 수 있다.
방법(500)은 단계(501)에서, 표본의 적어도 일부에 대해 하나 이상의 디지털 전체 슬라이드 이미지(whole slide image, WSI)를 수신하는 단계를 포함할 수 있다. WSI는 전자 저장소로 수신될 수 있다.
단계(502)에서, 방법(500)은 하나 이상의 WSI 내에서 표본의 조직을 검출하는 단계를 포함할 수 있다. 이 단계는 섬네일로부터 백그라운드를 제거하는 방법(예를 들어, Otsu의 방법)을 사용하여, WSI 내의 로컬 영역들을 이들의 분산을 기반으로 스레시홀딩하여 어느 영역들이 조직을 갖지 않는지를 결정하는 단계 등을 포함할 수 있다.
단계(503)에서, 방법(500)은 선택사항으로서, WSI 상에서 검출된 조직의 특징 속성들을 검출하거나 식별하는 단계를 포함할 수 있다. 이러한 검출은 AI 또는 대안적으로 또는 이에 추가적으로, (예를 들어, 사용자에 의한) 수동 어노테이션들을 사용하여 수행되거나 보조될 수 있다. 임의의 AI는 이미 존재하는 시스템(예를 들어, 슬라이드 분석 툴(101) 및/또는 특징 영역 검출 모듈(134))을 이용하여 수행될 수 있다.
단계(502), 또는 선택사항으로서, 단계(503) 이후에, 방법(500)은 단계(504)에서, WSI들에 대한 어노테이션들 또는 커맨드들을 수신하는 단계를 더 포함할 수 있다. 본 명세서에서, 어노테이션들은 교육자에 의해 생성되고 교육자로부터 수신되었을 수 있다. 그러나, 이러한 예시적인 방법(500)은 의사/병원 환경과 같은 다른 환경들에도 유사하게 적용될 수 있다.
본 방법은, 단계(505)에서, 어노테이션들을 기반으로 전체 슬라이드 이미지들을 내비게이트하거나 또는 제시하기 위한 정책을 교육자로부터 수신하는 단계를 포함할 수 있다. 정책이 교육자로부터 직접 수신되는 이러한 경우에서, 본 방법은 선택사항으로서, 어노테이션들을 수신하는 단계(504)를 제외할 수 있다. 대안적으로, 본 방법이 어노테이션들을 수신하는 단계(504)를 포함하는 경우에서, 이 단계(505)는 수신된 어노테이션들에 따라 미리 저장되거나 미리 결정된 정책을 수정하는 단계를 포함할 수 있다.
방법(500)은 이전에 설명된 단계(304)와 유사하게, 정책을 적용하는 단계(506)로 계속될 수 있으며, 여기서 적용된 정책은 단계(502)에서 수신된(또는 대안적으로 수정된) 정책이다. 단계 506에서, 정책 또는 전략은 (예를 들어, 출력 인터페이스(138)를 통해) 검출된 특징 발견사항들의 디스플레이 동안 이들 발견사항들 사이에서 평활하게 이동(예를 들어, 패닝 및 줌잉)하는 대 적용되거나 뒤따를 수 있다. 정책 또는 전략은 발견사항들을 기반으로 적절하거나 규정된 확대 수준들을 포함할 수 있다. 발견사항들은 정책 또는 사용자(예를 들어, 교육자)에 의해 결정된 내림차순 또는 우선순위를 기반으로 제시될 수 있다. 정책 또는 전략에 따른 이러한 디스플레이 또는 제시는 조직의 적절한 진단을 위한 증거를 사용자에게 제시할 수 있다. 제시는 AI 또는 수동 어노테이션들을 사용하지 않고, 모든 또는 다수의 조직 영역들에 걸쳐 패닝할 수 있다. 제시(즉, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)는 재생을 위해 저장되고/되거나 레코딩될 수 있다.
방법(500)은 사용자(예를 들어, 교육자)가 키 또는 다른 입력(예를 들어, 마우스 스틱 또는 버튼, 조이스틱, 또는 키보드 버튼)을 눌렀다고 결정할 시 제시를 중단 또는 일시 정지하는 단계(507)를 또한 포함할 수 있다.
본 방법은 사용자(예를 들어, 교육자)로부터의 임의의 추가의 수신된 커맨드들을 기반으로 제시를 변경하는 단계(508)를 포함할 수 있다. 단계(508)에서, 사용자(예를 들어, 교육자)는 코멘트 또는 그 외 어노테이트하기 위해 조직의 자동 패닝 또는 핸즈오프 동안 조직의 섹션과 상호작용할 수 있다. 사용자는 AI 시스템이 식별하거나 하이라이트한 영역을 거부하거나 어노테이션을 추가함으로써 제시(예를 들어, 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경할 수 있다. 예시적인 방법(400)과 같이, 이들 단계들(501-508) 중 하나 이상이 생략될 수 있다.
예시적인 실시예: AI 없이 슬라이드 컬렉션 검토
도 6은 예시적인 실시예에 따른, AI 없이 특징 속성들을 디스플레이하고 슬라이드 컬렉션을 검토하기 위한 예시적인 방법을 나타내는 흐름도이다.
예시적인 실시예에 따르면, 본 명세서에서 제시된 기술들은 피로를 완화시키기 위해 AI 없이 사용될 수 있다. AI를 이용하지 않는 기술들은 AI 시스템이 이용가능할 때보다 덜 효율적이지만, AI가 이용가능하지 않은 경우들이 많다. 예를 들어, 거의 연구되지 않는 조직들, 예를 들어, 설암에 이용가능한 AI 시스템은 없을 수 있다. 이용가능한 AI 시스템이 없는 적용예들에서, 사용자는 슬라이드에 어노테이트할 수 있다. 사용자는 어노테이션 세트를 생성하고/하거나, 각각에 대한 줌 수준을 정의하고/하거나, 본 시스템이 어노테이션마다 이동할 우선순위 순서를 생성할 수 있다. 시스템 및/또는 제시와 상호작용하는 다른 사용자들은 어노테이션들의 컬렉션을 추가하거나, 코멘트하거나, 달리 바꿀 수 있으며, 이에 의해 제시의 조직 홉, 우선순위 순서, 확대 수준 등을 변경할 수 있다.
예를 들어, 유방암에서, 한 사용자가 젖관 제자리암(ductal carcinoma in situ, DCIS)의 영역을 발견한다면, 조직 홉 시스템에 의해 DCIS의 이 섹션에 도달한 다른 사용자는 이 DCIS 내의 미세침윤을 감지한 루트 상에 새로운 포인트를 추가할 수 있다. 이후에 이 조직 홉을 보는 사용자는, 구성된다면, 이 DCIS의 추가된 어노테이션을 볼 수 있다.
예시적인 방법(600)은 예를 들어, 슬라이드 분석 툴(101) 및/또는 타겟 이미지 플랫폼(135)에 의해 수행될 수 있지만, 본 명세서에서 개시된 실시예들은 제한되지 않는다. 본 명세서에서, 예시적인 방법(600)은 도 4를 참조하여 설명된 예시적인 방법(400)과 유사할 수 있지만, WSI 상에서 검출된 조직의 특징 속성들을 검출하거나 식별하는 것이 AI 대신에 수동으로 일어날 수 있다는 점에서 상이할 수 있다.
방법(600)은 단계(601)에서, 표본의 적어도 일부에 대해 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 단계를 포함할 수 있다. WSI는 전자 저장소로 수신될 수 있다.
단계(602)에서, 방법(600)은 하나 이상의 WSI 내에서 표본의 조직을 검출하는 단계를 포함할 수 있다. 이 단계는 섬네일로부터 백그라운드를 제거하는 방법(예를 들어, Otsu의 방법)을 사용하여, WSI 내의 로컬 영역들을 이들의 분산을 기반으로 스레시홀딩하여 어느 영역들이 조직을 갖지 않는지를 결정하는 단계 등을 포함할 수 있다.
단계(603)에서, 방법(600)은 WSI 상에서 검출된 조직의 특징 속성들을 AI 없이 검출하거나 식별하는 단계를 포함할 수 있다. 이러한 검출은 수동적으로, 이를테면 사용자에 의한 수동 어노테이션들을 통해 수행될 수 있다.
단계(604)에서, 방법(600)은 (예를 들어, 출력 인터페이스(138)를 통해) 검출된 특징 발견사항들의 디스플레이 동안 이들 발견사항들 사이에서 평활하게 이동(예를 들어, 패닝 및 줌잉)하기 위한 정책 또는 전략을 따르거나 적용하는 단계를 포함할 수 있다. 본 명세서에서, 평활하게 이동하는 것은 백그라운드를 제외하고 조직에 걸쳐 평활하게 이동하거나 패닝하는 것, 그리고 적절하게 줌 인하는 것을 포함할 수 있다.
정책 또는 전략은 발견사항들을 기반으로 적절하거나 규정된 확대 수준들을 포함할 수 있다. 발견사항들은 정책 또는 사용자에 의해 결정된 내림차순 또는 우선순위를 기반으로 제시될 수 있다. 정책 또는 전략에 따른 이러한 디스플레이 또는 제시는 조직의 적절한 진단을 위한 증거를 사용자에게 제시할 수 있다. 제시는 AI 또는 수동 어노테이션들을 사용하지 않고, 모든 또는 다수의 조직 영역들에 걸쳐 패닝할 수 있다. 제시(즉, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)는 재생을 위해 저장되고/되거나 레코딩될 수 있다.
단계(605)에서, 제시 또는 패닝 동안, 방법(600)은 선택사항으로서, 사용자가 키 또는 다른 입력, 예를 들어, 마우스 스틱 또는 버튼, 조이스틱, 또는 키보드 버튼을 눌렀다고 결정할 시 제시 또는 디스플레이를 중단 또는 일시 정지하는 단계를 포함할 수 있다.
단계(606)에서, 방법(600)은 선택사항으로서, 커맨드들, 코멘트들, 또는 어노테이션들을 수신하는 단계, 및 수신된 커맨드들을 기반으로 제시(예를 들어, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경하는 단계를 포함할 수 있다. 예를 들어, 사용자는 코멘트 또는 그 외 어노테이트하기 위해 조직의 자동 패닝 또는 핸즈오프 동안 조직의 섹션과 상호작용할 수 있다. 사용자는 AI 시스템이 식별하거나 하이라이트한 영역을 거부하거나 어노테이션을 추가함으로써 제시(예를 들어, 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경할 수 있다. 이전의 예들과 마찬가지로, 이들 단계들(601-606) 중 하나 이상이 생략될 수 있다.
예시적인 실시예: 전립선 중심부 바늘 생검
도 7은 예시적인 실시예에 따른, 전립선 중심부 바늘 생검 상황에서 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
전립선 중심부 바늘 생검은 해마다 수행되는 가장 흔한 절차들 중 일부이다. Johns Hopkins에 따르면, 미국에서는 해마다 백만 회 이상의 전립선 생검 절차가 수행된다. 실시예에 따르면, 전립선 중심부 바늘 생검의 평가에서 효율이 증가될 수 있다.
많은 기관에서, 하나보다 많은 중심부가 단일 슬라이드 상에 배치된다. 사용자는 암에 대한 이러한 슬라이드들을 검토할 시, 각 중심부를 검토할 필요가 있을 수 있다. 예를 들어, 도 2를 참조한다. 본 명세서에서 제시된 기술들은 암종으로서 식별된 중심부의 섹션들을 따라 사용자를 패닝할 수 있고, 하나의 슬라이드에 걸친 패닝의 완료 시, 두 개의 조직 조각들 사이의 글라스 또는 화이트 스페이스의 틈을 무시하고 암종의 다음 영역으로 끊김 없이 이동할 수 있다. 단일 슬라이드 상의 중심부들의 경합 시, 본 시스템은 만약 있다면, 추가적인 슬라이드들 상에 존재하는 종양들을 검토하기 위해 사용자를 다음 슬라이드로 자동으로 이동시킬 수 있다.
본 시스템은 또한, 사용자를 가장 공격적인 종양을 가진 중심부로 먼저 데려가고, 침윤의 내림차순으로 앞서 가도록 구성될 수 있다. 이러한 선호도는 기관에 걸쳐 그리고 또한 검체 타입에 걸쳐 구성가능할 수 있다.
예시적인 방법(700)은 예를 들어, 슬라이드 분석 툴(101) 및/또는 타겟 이미지 플랫폼(135)에 의해 수행될 수 있지만, 본 명세서에서 개시된 실시예들은 제한되지 않는다. 본 명세서에서, 예시적인 방법(700)은 도 4를 참조하여 설명된 예시적인 방법(400)과 유사할 수 있지만, 본 방법이 전립선 중심부 바늘 생검에 구체적으로 어떻게 적용될 수 있는지를 예시할 수 있다.
방법(700)은 단계(701)에서, 전립선 중심부 바늘 생검에 대해 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 단계를 포함할 수 있다. WSI는 전자 저장소로 수신될 수 있다.
단계(702)에서, 방법(700)은 하나 이상의 WSI 내에서 전립선 중심부 바늘 생검의 조직을 검출하는 단계를 포함할 수 있다. 이 단계는 섬네일로부터 백그라운드를 제거하는 방법(예를 들어, Otsu의 방법)을 사용하여, WSI 내의 로컬 영역들을 이들의 분산을 기반으로 스레시홀딩하여 어느 영역들이 조직을 갖지 않는지를 결정하는 단계 등을 포함할 수 있다.
단계(703)에서, 방법(700)은 선택사항으로서, WSI 상에서 검출된 조직의 특징 속성들을 검출하거나 식별하는 단계를 포함할 수 있다. 이러한 검출은 AI 또는 대안적으로 또는 이에 추가적으로, (예를 들어, 사용자에 의한) 수동 어노테이션들을 사용하여 수행되거나 보조될 수 있다. 임의의 AI는 이미 존재하는 시스템(예를 들어, 슬라이드 분석 툴(101) 및/또는 특징 영역 검출 모듈(134))을 이용하여 수행될 수 있다.
단계(704)에서, 방법(700)은 (예를 들어, 출력 인터페이스(138)를 통해) 검출된 특징 발견사항들의 디스플레이 동안 이들 발견사항들 사이에서 평활하게 이동(예를 들어, 패닝 및 줌잉)하기 위한 정책 또는 전략을 따르거나 적용하는 단계를 포함할 수 있다. 정책 또는 전략은 발견사항들을 기반으로 적절하거나 규정된 확대 수준들을 포함할 수 있다. 발견사항들은 정책 또는 사용자에 의해 결정된 내림차순 또는 우선순위를 기반으로 제시될 수 있다. 정책 또는 전략에 따른 이러한 디스플레이 또는 제시는 조직의 적절한 진단을 위한 증거를 사용자에게 제시할 수 있다. 제시는 AI 또는 수동 어노테이션들을 사용하지 않고, 모든 또는 다수의 조직 영역들에 걸쳐 패닝할 수 있다. 제시(즉, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)는 재생을 위해 저장되고/되거나 레코딩될 수 있다.
단계(705)에서, 제시 또는 패닝 동안, 방법(700)은 선택사항으로서, 사용자가 키 또는 다른 입력, 예를 들어, 마우스 스틱 또는 버튼, 조이스틱, 또는 키보드 버튼을 눌렀다고 결정할 시 제시 또는 디스플레이를 중단 또는 일시 정지하는 단계를 포함할 수 있다.
단계(706)에서, 방법(700)은 선택사항으로서, 커맨드들, 코멘트들, 또는 어노테이션들을 수신하는 단계, 및 수신된 커맨드들을 기반으로 제시(예를 들어, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경하는 단계를 포함할 수 있다. 예를 들어, 사용자는 코멘트 또는 그 외 어노테이트하기 위해 조직의 자동 패닝 또는 핸즈오프 동안 조직의 섹션과 상호작용할 수 있다. 사용자는 AI 시스템이 식별하거나 하이라이트한 영역을 거부하거나 어노테이션을 추가함으로써 제시(예를 들어, 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경할 수 있다. 이전의 예들과 마찬가지로, 이들 단계들(701-706) 중 하나 이상이 생략될 수 있다.
예시적인 실시예: 유방 절제
도 8은 예시적인 실시예에 따른, 유방 절제 상황에서 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
유방 절제는 매우 클 수 있다 ― 때때로 100개 슬라이드를 초과할 수 있다. 실시예에 따르면, 유방 절제의 보고에서 효율이 증가될 수 있다.
유방 절제에 걸친 관심 영역들을 결정하기 위해 AI 시스템을 실행한 후, 실시예에 따르면, 병리학자들이 일부를 통해 관련 슬라이드로 끊김 없이 이동할 수 있도록 발견사항들이 슬라이드들에 걸쳐 순서화될 수 있다. 본 시스템은 단지 단일 슬라이드에 걸친 패닝이 아니라, 슬라이드들에 걸친 관련 발견사항들로 평활하게 패닝할 수 있다. 예를 들어, 본 시스템은 먼저 슬라이드들에 걸쳐 침윤성 종양을 보여준 다음, 덜 관련성 있는 발견사항들을 이어서 보여줄 수 있다.
예시적인 방법(800)은 예를 들어, 슬라이드 분석 툴(101) 및/또는 타겟 이미지 플랫폼(135)에 의해 수행될 수 있지만, 본 명세서에서 개시된 실시예들은 제한되지 않는다. 본 명세서에서, 예시적인 방법(800)은 도 4를 참조하여 설명된 예시적인 방법(400) 및 도 7을 참조하여 설명된 예시적인 방법(700)과 유사할 수 있지만, 본 방법이 유방 절제에 구체적으로 어떻게 적용될 수 있는지를 예시할 수 있다.
방법(800)은 단계(801)에서, 유방 절제 부분 표본에 대해 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 단계를 포함할 수 있다. WSI는 전자 저장소로 수신될 수 있다.
단계(802)에서, 방법(800)은 하나 이상의 WSI 내에서 유방 절제 부분 표본의 조직을 검출하는 단계를 포함할 수 있다. 이 단계는 섬네일로부터 백그라운드를 제거하는 방법(예를 들어, Otsu의 방법)을 사용하여, WSI 내의 로컬 영역들을 이들의 분산을 기반으로 스레시홀딩하여 어느 영역들이 조직을 갖지 않는지를 결정하는 단계 등을 포함할 수 있다.
단계(803)에서, 방법(800)은 선택사항으로서, WSI 상에서 검출된 조직의 특징 속성들을 검출하거나 식별하는 단계를 포함할 수 있다. 이러한 검출은 AI 또는 대안적으로 또는 이에 추가적으로, (예를 들어, 사용자에 의한) 수동 어노테이션들을 사용하여 수행되거나 보조될 수 있다. 임의의 AI는 이미 존재하는 시스템(예를 들어, 슬라이드 분석 툴(101) 및/또는 특징 영역 검출 모듈(134))을 이용하여 수행될 수 있다.
단계(804)에서, 방법(800)은 (예를 들어, 출력 인터페이스(138)를 통해) 검출된 특징 발견사항들의 디스플레이 동안 이들 발견사항들 사이에서 평활하게 이동(예를 들어, 패닝 및 줌잉)하기 위한 정책 또는 전략을 따르거나 적용하는 단계를 포함할 수 있다. 정책 또는 전략은 발견사항들을 기반으로 적절하거나 규정된 확대 수준들을 포함할 수 있다. 발견사항들은 정책 또는 사용자에 의해 결정된 내림차순 또는 우선순위를 기반으로 제시될 수 있다. 정책 또는 전략에 따른 이러한 디스플레이 또는 제시는 조직의 적절한 진단을 위한 증거를 사용자에게 제시할 수 있다. 제시는 AI 또는 수동 어노테이션들을 사용하지 않고, 모든 또는 다수의 조직 영역들에 걸쳐 패닝할 수 있다. 제시(즉, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)는 재생을 위해 저장되고/되거나 레코딩될 수 있다.
단계(805)에서, 제시 또는 패닝 동안, 방법(800)은 선택사항으로서, 사용자가 키 또는 다른 입력, 예를 들어, 마우스 스틱 또는 버튼, 조이스틱, 또는 키보드 버튼을 눌렀다고 결정할 시 제시 또는 디스플레이를 중단 또는 일시 정지하는 단계를 포함할 수 있다.
단계(806)에서, 방법(800)은 선택사항으로서, 커맨드들, 코멘트들, 또는 어노테이션들을 수신하는 단계, 및 수신된 커맨드들을 기반으로 제시(예를 들어, 발견사항들의 제시 또는 우선순위 순서 및 확대 수준)를 변경하는 단계를 포함할 수 있다. 예를 들어, 사용자는 코멘트 또는 그 외 어노테이트하기 위해 조직의 자동 패닝 또는 핸즈오프 동안 조직의 섹션과 상호작용할 수 있다. 사용자는 AI 시스템이 식별하거나 하이라이트한 영역을 거부하거나 어노테이션을 추가함으로써 제시(예를 들어, 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경할 수 있다. 이전의 예들과 마찬가지로, 이들 단계들(801-806) 중 하나 이상이 생략될 수 있다.
예시적인 실시예: 유방 생검
도 9는 예시적인 실시예에 따른, 유방 생검 상황에서 특징 속성들을 디스플레이하기 위한 예시적인 방법을 나타내는 흐름도이다.
현재, 유방 생검을 검토하는 병리학자들은 암 또는 보통 암의 기표들 또는 표지들인 석회화를 찾기 위해 보통 슬라이드 1로 시작하여 제공된 슬라이드들을 통해 진행한다. 본 명세서에서 제시된 기술들은 암 및 석회화가 유방 생검에 근접해 있는 위치들 사이에서 평활하게 패닝하기 위해 사용될 수 있다.
예시적인 방법(900)은 예를 들어, 슬라이드 분석 툴(101) 및/또는 타겟 이미지 플랫폼(135)에 의해 수행될 수 있지만, 본 명세서에서 개시된 실시예들은 제한되지 않는다. 본 명세서에서, 예시적인 방법(900)은 도 4, 도 7, 및 도 8을 참조하여 설명된 예시적인 방법들(400, 700, 및 800)과 유사할 수 있지만, 본 방법이 유방 절제에 구체적으로 어떻게 적용될 수 있는지를 예시할 수 있다.
방법(900)은 단계(901)에서, 유방 생검 부분 표본에 대해 하나 이상의 디지털 전체 슬라이드 이미지(WSI)를 수신하는 단계를 포함할 수 있다. WSI는 전자 저장소로 수신될 수 있다.
단계(902)에서, 방법(900)은 하나 이상의 WSI 내에서 유방 생검 부분 표본의 조직을 검출하는 단계를 포함할 수 있다. 이 단계는 섬네일로부터 백그라운드를 제거하는 방법(예를 들어, Otsu의 방법)을 사용하여, WSI 내의 로컬 영역들을 이들의 분산을 기반으로 스레시홀딩하여 어느 영역들이 조직을 갖지 않는지를 결정하는 단계 등을 포함할 수 있다.
단계(903)에서, 방법(900)은 선택사항으로서, WSI 상에서 검출된 조직의 특징 속성들(예를 들어, 석회화 부근의 침윤성 유방암)을 검출하거나 식별하는 단계를 포함할 수 있다. 이러한 검출은 AI 또는 대안적으로 또는 이에 추가적으로, (예를 들어, 사용자에 의한) 수동 어노테이션들을 사용하여 수행되거나 보조될 수 있다. 임의의 AI는 이미 존재하는 시스템(예를 들어, 슬라이드 분석 툴(101))을 이용하여 수행될 수 있다.
단계(904)에서, 방법(900)은 (예를 들어, 출력 인터페이스(138)를 통해) 검출된 특징 발견사항들의 디스플레이 동안 이들 발견사항들 사이에서 평활하게 이동(예를 들어, 패닝 및 줌잉)하기 위한 정책 또는 전략을 따르거나 적용하는 단계를 포함할 수 있다. 정책 또는 전략은 발견사항들을 기반으로 적절하거나 규정된 확대 수준들을 포함할 수 있다. 발견사항들은 정책 또는 사용자에 의해 결정된 내림차순 또는 우선순위를 기반으로 제시될 수 있다. 예를 들어, 석회화 부근의 식별된 침윤성 유방암이 먼저 보여질 수 있고, 이들 영역들은 슬라이드들 사이에서 평활하게 패닝될 수 있다.
정책 또는 전략에 따른 이러한 디스플레이 또는 제시는 조직의 적절한 진단을 위한 증거를 사용자에게 제시할 수 있다. 제시는 AI 또는 수동 어노테이션들을 사용하지 않고, 모든 또는 다수의 조직 영역들에 걸쳐 패닝할 수 있다. 제시(즉, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)는 재생을 위해 저장되고/되거나 레코딩될 수 있다.
단계(905)에서, 제시 또는 패닝 동안, 방법(900)은 선택사항으로서, 사용자가 키 또는 다른 입력, 예를 들어, 마우스 스틱 또는 버튼, 조이스틱, 또는 키보드 버튼을 눌렀다고 결정할 시 제시 또는 디스플레이를 중단 또는 일시 정지하는 단계를 포함할 수 있다.
단계(906)에서, 방법(900)은 선택사항으로서, 커맨드들, 코멘트들, 또는 어노테이션들을 수신하는 단계, 및 수신된 커맨드들을 기반으로 제시(예를 들어, 발견사항들의 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경하는 단계를 포함할 수 있다. 예를 들어, 사용자는 코멘트 또는 그 외 어노테이트하기 위해 조직의 자동 패닝 또는 핸즈오프 동안 조직의 섹션과 상호작용할 수 있다. 사용자는 AI 시스템이 식별하거나 하이라이트한 영역을 거부하거나 어노테이션을 추가함으로써 제시(예를 들어, 제시 또는 우선순위 순서, 확대 수준, 및/또는 조직 홉)를 변경할 수 있다. 이전의 방법들과 마찬가지로, 단계들(901-906) 중 하나 이상이 생략될 수 있다.
본 명세서에서 제공되는 기술들은 패닝/줌잉 프로세스에 대한 정책(전략)에 의해, AI 또는 사람이 제공한 어노테이션들을 사용하여 최적화될 수 있는, 상당히 적은 피로로 조직에 걸쳐 평활하게 패닝하기 위한 방법들을 제공한다.
본 개시 전반에 걸쳐, 구성요소들 또는 모듈들의 지칭은 일반적으로 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 유사한 참조 번호들은 일반적으로 동일하거나 유사한 구성요소들을 지칭하는 것으로 의도된다. 구성요소들 및/또는 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어 및/또는 하드웨어의 조합으로 구현될 수 있다.
위에서 설명된 툴, 모듈들, 및/또는 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장소" 타입 매체는 컴퓨터들, 프로세서들 등의 타입의 메모리, 또는 이의 연관된 모듈들, 이를테면 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등 중 임의의 것 또는 전부를 포함할 수 있으며, 이는 소프트웨어 프로그래밍을 위해 언제든 비일시적인 저장소를 제공할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 텔레통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신은 하나의 컴퓨터 또는 프로세서로부터 다른 컴퓨터 또는 프로세서로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 사용될 때, 비일시적인 실체적인 "저장" 매체로 국한되지 않는 한, 컴퓨터 또는 기계 "판독 가능 매체"와 같은 용어들은 프로세서에 실행을 위한 명령어들을 제공하는 데 참여하는 임의의 매체를 지칭한다.
전술한 일반적인 설명은 단지 예시적이고 설명적인 것이며, 본 개시를 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에서 개시된 본 발명의 명세서 및 실행을 고려하여 당업자들에게 명백할 수 있다. 본 명세서 및 예들은 단지 예시적인 것으로 간주되도록 의도된다.
Claims (20)
- 전자 이미지들의 속성들을 식별하고 상기 속성들을 디스플레이하는 컴퓨터 구현 방법으로서,
병리학 표본과 연관된 하나 이상의 전자 의료 이미지를 수신하는 단계;
상기 하나 이상의 전자 의료 이미지 내의 복수의 특징 영역(salient region)들을 결정하는 단계;
상기 복수의 특징 영역들의 미리 결정된 순서를 결정하는 단계; 및
디스플레이를 사용하여, 상기 미리 결정된 순서에 따라 상기 하나 이상의 특징 영역에 걸쳐 자동으로 패닝(panning)하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 하나 이상의 전자 의료 이미지 내의 조직(tissue)을 검출하는 단계를 더 포함하며, 상기 복수의 특징 영역들이 상기 검출된 조직의 적어도 일부분을 포함하는 것인, 방법. - 제2항에 있어서, 상기 조직을 검출하는 단계는 백그라운드를 제거하는 단계를 포함하는 것인, 방법.
- 제3항에 있어서, 상기 백그라운드를 제거하는 단계는 상기 하나 이상의 전자 의료 이미지 내의 복수의 로컬 영역들을 상기 복수의 로컬 영역들 중 각 로컬 영역의 분산(variance)을 기반으로 스레시홀딩(thresholding)하여, 상기 복수의 로컬 영역들 중 어느 로컬 영역들이 조직을 포함하지 않는지를 결정하는 단계를 포함하는 것인, 방법.
- 제1항에 있어서, 상기 미리 결정된 순서는 정책(policy)에 따라 결정되는 것인, 방법.
- 제1항에 있어서, 상기 미리 결정된 순서는:
조직 타입;
조직 텍스처;
석회화 존재 또는 수준;
염증 존재 또는 수준;
특징 영역 크기;
특징 영역 형상;
특징 영역 위치;
질병 타입;
색상;
염색 타입;
조직 텍스처;
바이오마커 타입;
유전학적 시그니처(genetic signature);
단백질 타입; 또는
하나 이상의 혈액 표지자(blood marker) 중, 적어도 하나에 따라 결정되는 것인, 방법. - 제1항에 있어서,
상기 복수의 특징 영역들의 각 특징 영역의 확대 수준(magnification level)을 결정하는 단계를 더 포함하며, 상기 디스플레이를 사용하여 상기 자동으로 패닝하는 단계는 각 특징 영역의 상기 결정된 확대 수준에 또한 따르는 것인, 방법. - 제7항에 있어서, 각 특징 영역의 상기 확대 수준을 결정하는 단계는 정책을 기반으로 하는 것인, 방법.
- 제1항에 있어서,
상기 하나 이상의 전자 의료 이미지는 제1 전자 의료 이미지를 포함하며;
복수의 특징 영역들은 상기 제1 전자 의료 이미지 내의 제1 특징 영역 및 제2 특징 영역을 포함하며, 상기 제2 특징 영역은 상기 미리 결정된 순서에 따라 상기 제1 특징 영역 이후에 있고, 상기 방법은:
상기 제2 특징 영역이 상기 제1 전자 의료 이미지 내에 있는지 여부를 결정하는 단계를 더 포함하며; 그리고
상기 제2 특징 영역이 또한 상기 제1 전자 의료 이미지 내에 있다고 결정된다면, 상기 디스플레이를 사용하여 상기 자동으로 패닝하는 단계는 상기 제1 특징 영역에 걸쳐 상기 제1 전자 의료 이미지 내의 상기 제2 특징 영역으로 패닝하는 단계를 포함하는 것인, 방법. - 제9항에 있어서, 상기 제2 특징 영역이 상기 제1 전자 의료 이미지 내에 있지 않다고 결정된다면, 상기 방법은 상기 제2 특징 영역이 제2 전자 의료 이미지 내에 있다고 결정하는 단계를 포함하고, 상기 디스플레이를 사용하여 상기 자동으로 패닝하는 단계는 상기 제1 전자 의료 이미지 내의 상기 제1 특징 영역에 걸쳐 패닝하는 단계, 상기 제2 전자 의료 이미지로 점프하는 단계, 및 상기 제2 특징 영역에 걸쳐 패닝하는 단계를 포함하는 것인, 방법.
- 제1항에 있어서,
상기 하나 이상의 전자 의료 이미지는 제1 전자 의료 이미지를 포함하며;
복수의 특징 영역들은 상기 제1 전자 의료 이미지 내의 제1 특징 영역 및 제2 특징 영역을 포함하며, 상기 제2 특징 영역은 상기 미리 결정된 순서에 따라 상기 제1 특징 영역 이후에 있고, 상기 방법은:
상기 제2 특징 영역이 또한 상기 제1 전자 의료 이미지 내에 있는지 여부를 결정하는 단계를 더 포함하며,
제2 특징 영역이 또한 상기 제1 전자 의료 이미지 내에 있다고 결정된다면, 상기 방법은 제1 특징 영역이 상기 제2 영역으로부터 미리 결정된 거리 이상인지 여부를 결정하는 단계를 더 포함하고, 상기 제1 특징 영역이 상기 제2 영역으로부터 상기 미리 결정된 거리 이상이라고 결정된다면, 상기 디스플레이를 사용하여 자동으로 패닝하는 단계는 상기 제1 특징 영역에 걸쳐 패닝하는 단계, 상기 제2 특징 영역으로 점프하는 단계, 및 상기 제2 특징 영역에 걸쳐 패닝하는 단계를 포함하는 것인, 방법. - 제1항에 있어서,
일시 정지 커맨드가 수신되었는지 여부를 결정하는 단계;
일시 정지 커맨드가 수신되었다고 결정된다면, 상기 디스플레이의 자동 패닝을 일시 정지하는 단계; 및
일시 정지 커맨드가 수신되지 않았다고 결정된다면, 상기 디스플레이의 자동 패닝을 계속하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
어노테이션이 수신되었는지 여부를 결정하는 단계;
어노테이션이 수신되었다고 결정된다면, 상기 어노테이션에 따라 상기 디스플레이를 자동으로 패닝하는 단계; 및
어노테이션이 수신되지 않았다고 결정된다면, 상기 디스플레이를 계속해서 자동으로 패닝하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
수신된 어노테이션 또는 정책을 기반으로 상기 미리 결정된 순서를 결정하는 단계를 더 포함하며, 상기 수신된 어노테이션 또는 정책은 자동으로 패닝하기 전에 수신된 것인, 방법. - 제1항에 있어서,
자동으로 패닝하는 동안, 어노테이션 또는 정책 중 적어도 하나를 수신하는 단계, 및
상기 수신된 어노테이션 또는 정책을 기반으로 상기 미리 결정된 순서를 수정하는 단계를 더 포함하는, 방법. - 제1항에 있어서, 상기 하나 이상의 전자 의료 이미지는 현미경을 사용하여 획득된 전체 슬라이드 이미지들인 것인, 방법.
- 전자 이미지들의 속성들을 식별하고 상기 속성들을 디스플레이하기 위한 시스템으로서,
명령어들을 저장하는 적어도 하나의 메모리; 및
상기 명령어들을 실행하여 동작들을 수행하도록 구성된 적어도 하나의 프로세서를 포함하며, 상기 동작들은:
병리학 표본과 연관된 하나 이상의 전자 의료 이미지를 수신하는 동작;
상기 하나 이상의 전자 의료 이미지 내의 복수의 특징 영역들을 결정하는 동작;
상기 복수의 특징 영역들의 미리 결정된 순서를 결정하는 동작; 및
디스플레이를 사용하여, 상기 미리 결정된 순서에 따라 상기 하나 이상의 특징 영역에 걸쳐 자동으로 패닝하는 동작을 포함하는 것인, 시스템. - 제17항에 있어서, 상기 동작들은:
상기 복수의 특징 영역들의 각 특징 영역의 확대 수준을 결정하는 단계를 더 포함하며, 상기 디스플레이를 사용하여 상기 자동으로 패닝하는 단계는 각 특징 영역의 상기 결정된 확대 수준에 또한 따르는 것인, 시스템. - 제17항에 있어서, 어노테이션 또는 정책을 수신할 시, 상기 프로세서는 명령어들을 수정하도록 구성된 것인, 시스템.
- 프로세서에 의해 실행될 때, 전자 이미지의 속성들을 식별하고 상기 속성들을 디스플레이하기 위한 방법을 수행하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은:
병리학 표본과 연관된 하나 이상의 전자 의료 이미지를 수신하는 단계;
상기 하나 이상의 전자 의료 이미지 내의 복수의 특징 영역들을 결정하는 단계;
상기 복수의 특징 영역들의 미리 결정된 순서를 결정하는 단계; 및
디스플레이를 사용하여, 상기 미리 결정된 순서에 따라 상기 하나 이상의 특징 영역에 걸쳐 자동으로 패닝하는 단계를 포함하는 것인, 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163183290P | 2021-05-03 | 2021-05-03 | |
| US63/183,290 | 2021-05-03 | ||
| US17/591,640 US20220351368A1 (en) | 2021-05-03 | 2022-02-03 | Systems and methods to process electronic images to identify attributes |
| US17/591,640 | 2022-02-03 | ||
| PCT/US2022/023941 WO2022235375A1 (en) | 2021-05-03 | 2022-04-08 | Systems and methods to process electronic images to identify attributes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240004642A true KR20240004642A (ko) | 2024-01-11 |
Family
ID=81325062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237040741A KR20240004642A (ko) | 2021-05-03 | 2022-04-08 | 전자 이미지를 프로세싱하여 속성을 식별하는 시스템 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4334894A1 (ko) |
| KR (1) | KR20240004642A (ko) |
| CA (1) | CA3216927A1 (ko) |
| WO (1) | WO2022235375A1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120014578A1 (en) * | 2010-07-19 | 2012-01-19 | Qview Medical, Inc. | Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface |
| JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US11367184B2 (en) * | 2019-03-15 | 2022-06-21 | SpIntellx, Inc. | Explainable AI (xAI) platform for computational pathology |
| US20220076411A1 (en) * | 2019-05-29 | 2022-03-10 | Leica Biosystems Imaging Inc. | Neural netork based identification of areas of interest in digital pathology images |
-
2022
- 2022-04-08 CA CA3216927A patent/CA3216927A1/en active Pending
- 2022-04-08 WO PCT/US2022/023941 patent/WO2022235375A1/en active Application Filing
- 2022-04-08 KR KR1020237040741A patent/KR20240004642A/ko unknown
- 2022-04-08 EP EP22717503.1A patent/EP4334894A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022235375A1 (en) | 2022-11-10 |
| CA3216927A1 (en) | 2022-11-10 |
| EP4334894A1 (en) | 2024-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hanna et al. | Whole slide imaging: technology and applications | |
| US11010892B2 (en) | Digital pathology system and associated workflow for providing visualized whole-slide image analysis | |
| US9836865B2 (en) | Systems and methods for split screen display of biological specimen and for capturing records thereof | |
| US9891804B2 (en) | Selection and display of biomarker expressions | |
| Turner et al. | Society of toxicologic pathology digital pathology and image analysis special interest group article*: opinion on the application of artificial intelligence and machine learning to digital toxicologic pathology | |
| US11210787B1 (en) | Systems and methods for processing electronic images | |
| US11551357B2 (en) | Systems and methods for processing images of slides for digital pathology | |
| US20240112338A1 (en) | Systems and methods to process electronic images to produce a tissue map visualization | |
| Sadimin et al. | Pathology imaging informatics for clinical practice and investigative and translational research | |
| US20220351368A1 (en) | Systems and methods to process electronic images to identify attributes | |
| KR20240004642A (ko) | 전자 이미지를 프로세싱하여 속성을 식별하는 시스템 및 방법 | |
| Puttapirat et al. | OpenHI: open platform for histopathological image annotation | |
| US20230177685A1 (en) | Systems and methods for processing electronic images to visualize combinations of semantic pathology features | |
| Molin | Diagnostic Review with Digital Pathology | |
| Fine | Akif Burak Tosun1, D. Lansing Taylor1, 3, 4, S. Filippo Pullara1, Chakra Chennubhotla1, 4, Michael and J. Jeffrey Becich1, 2 |