KR20220070583A - 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 - Google Patents

디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20220070583A
KR20220070583A KR1020227017418A KR20227017418A KR20220070583A KR 20220070583 A KR20220070583 A KR 20220070583A KR 1020227017418 A KR1020227017418 A KR 1020227017418A KR 20227017418 A KR20227017418 A KR 20227017418A KR 20220070583 A KR20220070583 A KR 20220070583A
Authority
KR
South Korea
Prior art keywords
image
target image
machine learning
prioritization
slide
Prior art date
Application number
KR1020227017418A
Other languages
English (en)
Other versions
KR102488986B1 (ko
Inventor
랜 고드리치
질리언 수
레오 그레디
토마스 푸크스
Original Assignee
페이지.에이아이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이지.에이아이, 인크. filed Critical 페이지.에이아이, 인크.
Priority to KR1020237001215A priority Critical patent/KR20230011504A/ko
Publication of KR20220070583A publication Critical patent/KR20220070583A/ko
Application granted granted Critical
Publication of KR102488986B1 publication Critical patent/KR102488986B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/04—Recognition of patterns in DNA microarrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biotechnology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Abstract

표본에 대응하는 전자 이미지를 처리하고 전자 이미지의 처리를 자동으로 우선순위화하기 위한 시스템들 및 방법들이 개시된다. 하나의 방법은, 타겟 표본에 대응하는 슬라이드의 타겟 전자 이미지를 수신하는 단계―타겟 표본은 환자의 조직 샘플을 포함함―; 기계 학습 시스템을 이용하여, 타겟 전자 이미지의 우선순위화 값을 계산하는 단계―기계 학습 시스템은 복수의 훈련 이미지들을 처리함으로써 생성되었고, 각각의 훈련 이미지는 인간 조직의 이미지, 및 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및/또는 분석 난이도 중 적어도 하나를 특징짓는 라벨을 포함함―; 및 디지털화된 병리학 이미지들의 시퀀스를 출력하는 단계―시퀀스에서의 타겟 전자 이미지의 배치는 타겟 전자 이미지의 우선순위화 값에 기초함―를 포함한다.

Description

디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR PROCESSING IMAGES OF SLIDES TO AUTOMATICALLY PRIORITIZE THE PROCESSED IMAGES OF SLIDES FOR DIGITAL PATHOLOGY}
관련 출원(들)
본 출원은 2019년 5월 31일자로 출원된 미국 가출원 제62/855,199호에 대한 우선권을 주장하며, 그 전체 개시내용은 이로써 그 전체가 본 명세서에 참고로 포함된다.
개시내용의 분야
본 개시내용의 다양한 실시예들은 일반적으로 이미지 기반 슬라이드 우선순위화(image-based slide prioritization), 디지털 병리학 작업흐름(digital pathology workflow)의 간소화, 및 관련 이미지 처리 방법들에 관한 것이다. 보다 구체적으로, 본 개시내용의 특정 실시예들은 조직 표본들(tissue specimens)의 슬라이드들의 이미지들을 준비, 처리, 및 검토하기 위한 자동 우선순위화 프로세스를 제공하기 위한 시스템들 및 방법들에 관한 것이다.
병리학 환자 케이스들에 대한 조직 표본들의 이미지들의 검토를 우선순위화하는 표준화된 또는 효율적인 방법은 존재하지 않는다. 확장하여, 병리학 슬라이드들을 검토하기 위한 표준화된 프로세스는 존재하지 않는다. 일부 학술 기관들에서, 병리학 피훈련자들은 환자 케이스들의 예비 검토, 상당한 발견들을 갖는 케이스들의 분류 및 우선순위화를 수행할 수 있고/있거나, 추가적인 진단 워크업(diagnostic workup)(예를 들어, 면역조직화학 염색들(immunohistochemical stains), 재절단들(recuts), 분자 연구들(molecular studies), 특수 염색들(special stains), 부서내 상담(intradepartmental consultation))을 요구할 수 있다. 한편, 환자 진단은 1차 진단을 위해 디지털화된 병리학 슬라이드들을 이용하는 것을 수반할 수 있다. 슬라이드 준비 프로세스를 촉진하거나 간소화하는 방법에 대한 요구가 존재한다. 슬라이드들이 병리학자에 의해 검토되는 시간까지, 병리학 슬라이드들이 진단을 행하기에 충분한 정보를 갖는 것을 보장하는 방법에 대한 요구가 추가로 존재한다.
본 개시내용의 특정 양태들에 따르면, 표본에 대응하는 이미지를 처리하고 슬라이드의 처리를 자동으로 우선순위화하기 위한 시스템들 및 방법들이 개시된다.
표본에 대응하는 전자 이미지를 처리하고 전자 이미지의 처리를 자동으로 우선순위화하는 컴퓨터에 의해 구현되는 방법은, 타겟 표본에 대응하는 슬라이드의 타겟 전자 이미지를 수신하는 단계―타겟 표본은 환자의 조직 샘플을 포함함―; 기계 학습 시스템을 이용하여, 타겟 전자 이미지의 우선순위화 값을 계산하는 단계―기계 학습 시스템은 복수의 훈련 이미지들을 처리함으로써 생성되었고, 각각의 훈련 이미지는 인간 조직의 이미지, 및 슬라이드 형태(slide morphology), 진단 값, 병리학자 검토 결과, 및/또는 분석 난이도(analytic difficulty) 중 적어도 하나를 특징짓는 라벨을 포함함―; 및 디지털화된 병리학 이미지들의 시퀀스를 출력하는 단계―시퀀스에서의 타겟 전자 이미지의 배치는 타겟 전자 이미지의 우선순위화 값에 기초함―를 포함한다.
표본에 대응하는 전자 이미지를 처리하고 전자 이미지의 처리를 자동으로 우선순위화하기 위한 시스템은, 명령어들을 저장하는 적어도 하나의 메모리; 및 명령어들을 실행하여 동작들을 수행하도록 구성된 적어도 하나의 프로세서를 포함하고, 동작들은, 타겟 표본에 대응하는 슬라이드의 타겟 전자 이미지를 수신하는 동작―타겟 표본은 환자의 조직 샘플을 포함함―; 기계 학습 시스템을 이용하여, 타겟 전자 이미지의 우선순위화 값을 계산하는 동작―기계 학습 시스템은 복수의 훈련 이미지들을 처리함으로써 생성되었고, 각각의 훈련 이미지는 인간 조직의 이미지, 및 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및/또는 분석 난이도 중 적어도 하나를 특징짓는 라벨을 포함함―; 및 디지털화된 병리학 이미지들의 시퀀스를 출력하는 동작―시퀀스에서의 타겟 전자 이미지의 배치는 타겟 전자 이미지의 우선순위화 값에 기초함―을 포함한다.
적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금, 표본에 대응하는 전자 이미지를 처리하고 이미지의 처리를 자동으로 우선순위화하기 위한 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 방법은, 타겟 표본에 대응하는 슬라이드의 타겟 전자 이미지를 수신하는 단계―타겟 표본은 환자의 조직 샘플을 포함함―; 기계 학습 시스템을 이용하여, 타겟 전자 이미지의 우선순위화 값을 계산하는 단계―기계 학습 시스템은 복수의 훈련 이미지들을 처리함으로써 생성되었고, 각각의 훈련 이미지는 인간 조직의 이미지, 및 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및/또는 분석 난이도 중 적어도 하나를 특징짓는 라벨을 포함함―; 및 디지털화된 병리학 이미지들의 시퀀스를 출력하는 단계―시퀀스에서의 타겟 전자 이미지의 배치는 타겟 전자 이미지의 우선순위화 값에 기초함―를 포함하는, 비일시적 컴퓨터 판독가능 매체.
상기한 일반적인 설명 및 다음의 상세한 설명 모두는 단지 예시적이고 설명을 위한 것이며, 청구된 바와 같은 개시된 실시예들에 한정적이지 않다는 것이 이해되어야 한다.
본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하는 것이며, 설명과 함께 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 조직 표본들의 슬라이드들의 이미지들을 준비, 처리 및 검토하기 위한 자동 우선순위화 프로세스를 제공하기 위한 시스템 및 네트워크의 예시적인 블록도이다.
도 1b는 본 개시내용의 예시적인 실시예에 따른, 질병 검출 플랫폼(disease detection platform)(100)의 예시적인 블록도이다.
도 1c는 본 개시내용의 예시적인 실시예에 따른, 슬라이드 우선순위화 툴(101)의 예시적인 블록도이다.
도 1d는 본 개시내용의 예시적인 실시예에 따른, 병리학 슬라이드 준비, 처리 및 검토를 위한 자동 우선순위화 프로세스를 위한 예시적인 시스템의 도면이다.
도 2는 본 개시내용의 예시적인 실시예에 따른, 기계 학습을 이용하여, 표본에 대응하는 슬라이드의 이미지를 분석하고, 슬라이드의 자동으로 우선순위화된 처리를 제공하기 위한 예시적인 방법의 흐름도이다.
도 3은 본 개시내용의 예시적인 실시예에 따른, 병리학 슬라이드 준비, 처리 및 검토를 자동으로 우선순위화하기 위한 예시적인 실시예의 흐름도이다.
도 4는 본 개시내용의 예시적인 실시예에 따른, 품질 제어 기반 병리학 슬라이드 준비 우선순위화 툴을 생성하고 이용하는 예시적인 실시예의 흐름도이다.
도 5는 본 개시내용의 예시적인 실시예에 따른, 품질 제어에 대하여, 병리학 슬라이드 준비 우선순위화 툴을 생성하고 이용하는 예시적인 실시예의 흐름도이다.
도 6은 본 개시내용의 예시적인 실시예에 따른, 진단 특징 우선순위화 툴을 생성하고 이용하는 예시적인 실시예의 흐름도이다.
도 7은 본 개시내용의 예시적인 실시예에 따른, 병리학 슬라이드 처리 우선순위화 툴을 생성하고 이용하는 예시적인 실시예의 흐름도이다.
도 8은 본 개시내용의 예시적인 실시예에 따른, 병리학 슬라이드 검토 및 할당 우선순위화 툴을 생성하고 이용하는 예시적인 실시예의 흐름도이다.
도 9는 본 개시내용의 예시적인 실시예에 따른, 개인화된 병리학 슬라이드 우선순위화 툴을 생성하고 이용하는 예시적인 실시예의 흐름도이다.
도 10은 본 개시내용의 예시적인 실시예에 따른, 교육적 병리학 슬라이드 우선순위화 툴을 생성하고 이용하는 예시적인 실시예의 흐름도이다.
도 11은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
실시예들의 설명
이제, 본 개시내용의 예시적인 실시예들을 상세히 참조할 것이며, 그 예들이 첨부 도면들에 도시되어 있다. 가능한 경우, 도면들 전체에 걸쳐 동일하거나 유사한 부분을 지칭하기 위해 동일한 참조 번호들이 이용될 것이다.
본 명세서에 개시된 시스템들, 디바이스들, 및 방법들은 예들로서 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에 논의된 예들은 단지 예들일 뿐이고, 본 명세서에 설명된 장치들, 디바이스들, 시스템들, 및 방법들의 설명을 돕기하기 위해 제공된다. 도면들에 도시되거나 이하에 논의되는 특징들 또는 컴포넌트들 중 어느 것도, 의무적인 것으로서 구체적으로 지시되지 않으면, 이들 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현에 의무적인 것으로서 취해져서는 안된다.
또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지에 관계없이, 문맥에 의해 달리 명시되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 임의의 명시적 또는 암시적 순서는, 이들 단계들이 제시된 순서로 수행되어야 한다는 것을 암시하는 것이 아니라, 대신에 상이한 순서로 또는 병렬로 수행될 수도 있다는 것을 이해해야 한다.
본 명세서에서 이용되는 바와 같이, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현은 양의 제한을 나타내는 것이 아니라, 오히려 언급된 항목들 중 하나 이상의 존재를 나타낸다.
병리학은 질병의 연구를 지칭한다. 보다 구체적으로, 병리학은 질병을 진단하기 위해 이용되는 테스트 및 분석을 수행하는 것을 지칭한다. 예를 들어, 조직 샘플들은 병리학자(예를 들어, 임의의 이상들(abnormalities)이 존재하는지를 결정하기 위해 조직 샘플들을 분석할 때 전문가인 의사)에 의해 현미경 하에서 보여질 슬라이드들 상에 배치될 수 있다. 즉, 병리학 표본들은 병리학자가 검사하고 진단을 행하기 위한 슬라이드들로서, 다수의 섹션들로 절단되고, 염색되고, 준비될 수 있다. 슬라이드 상의 진단 발견의 불확실성이 있을 때, 병리학자는 조직으로부터 더 많은 정보를 수집하기 위해 추가의 절단 레벨들, 염색들, 또는 다른 테스트들을 주문할 수 있다. 기술자(들)는 이어서 진단을 행할 때 병리학자가 이용하기 위한 추가의 정보를 포함할 수 있는 새로운 슬라이드(들)를 생성할 수 있다. 추가의 슬라이드들을 생성하는 이 프로세스는 조직의 블록을 검색하는 것, 새로운 슬라이드를 만들기 위해 이를 절단하는 것, 및 이어서 슬라이드를 염색하는 것을 포함할 수 있을 뿐만 아니라, 다수의 주문들에 대해 일괄처리될 수 있기 때문에, 시간 소모적일 수 있다. 이는 병리학자가 행하는 최종 진단을 상당히 지연시킬 수 있다. 또한, 지연 후에도, 새로운 슬라이드(들)가 진단을 행하기에 충분한 정보를 가질 것이라는 보장이 여전히 없을 수 있다.
병리학자들은 암 및 다른 질병 병리학 슬라이드들을 개별적으로 평가할 수 있다. 통합된 작업흐름은 암 및 다른 질병들의 진단을 개선할 수 있다. 작업흐름은, 예를 들어, 슬라이드 평가, 작업들, 이미지 분석 및 암 검출 인공 지능(AI), 주석들(annotations), 상담들, 및 추천들을 하나의 워크스테이션에 통합할 수 있다. 특히, 예시적인 사용자 인터페이스들은 병리학자의 작업을 촉진하고 개선하기 위해 작업흐름에 통합될 수 있는 AI 툴들뿐만 아니라, 작업흐름에서 이용가능할 수 있다.
예를 들어, 컴퓨터들은 조직 샘플의 이미지를 분석하여 특정 조직 샘플에 관한 추가 정보가 필요할 수 있는지를 신속하게 식별하고/하거나 병리학자가 더 밀접하게 보아야 하는 영역을 병리학자에게 강조하기 위해 이용될 수 있다. 따라서, 추가 염색된 슬라이드들 및 테스트들을 획득하는 프로세스는 병리학자에 의해 검토되기 전에 자동으로 행해질 수 있다. 자동 슬라이드 분할 및 염색 기계들과 쌍을 이룰 때, 이는 완전 자동화된 슬라이드 준비 파이프라인을 제공할 수 있다.
병리학자들을 보조하기 위해 컴퓨터들을 이용하는 프로세스는 계산 병리학(computational pathology)으로서 알려져 있다. 계산 병리학을 위해 이용되는 컴퓨팅 방법들은 통계 분석, 자율 또는 기계 학습, 및 AI를 포함할 수 있지만, 이들로 제한되지 않는다. AI는 심층 학습, 신경망들, 분류들, 클러스터링, 및 회귀 알고리즘들을 포함할 수 있지만, 이들로 제한되지 않는다. 계산 병리학을 이용함으로써, 병리학자들이 그들의 진단 정확도, 신뢰성, 효율, 및 접근성을 개선하는 것을 돕는 것에 의해 생명들을 구할 수 있다. 예를 들어, 계산 병리학은 암에 대해 의심스러운 슬라이드들을 검출하는 것을 보조하는데 이용될 수 있고, 그에 의해 병리학자들이 최종 진단을 행하기 전에 그들의 초기 평가들을 체크하고 확인하는 것을 허용한다.
조직병리학(histopathology)은 슬라이드 상에 배치된 표본의 연구를 지칭한다. 예를 들어, 디지털 병리학 이미지는 표본(예를 들어, 도말(smear))을 함유하는 현미경 슬라이드의 디지털화된 이미지로 구성될 수 있다. 슬라이드 상의 이미지를 분석하기 위해 병리학자가 이용할 수 있는 한 방법은 핵들(nuclei)을 식별하고 핵이 정상인지(예를 들어, 양성(benign)) 또는 비정상인지(예를 들어, 악성(malignant))를 분류하는 것이다. 핵들을 식별하고 분류하는데 있어서 병리학자들을 보조하기 위해, 조직학적 염색들을 이용하여 세포들을 가시화할 수 있다. 주기적 산-시프 반응(periodic acid-Schiff reaction), 메이슨의 삼색(Masson's trichrome), 니슬 및 메틸렌 블루(nissl and methylene blue), 및 헤모톡실린 및 에오신(Haemotoxylin and Eosin)(H&E)을 포함한 많은 염료-기반 염색 시스템들이 개발되었다. 의학적 진단을 위해, H&E는 헤마톡실린 염색 세포 핵 블루(hematoxylin staining cell nuclei blue), 에오신 염색 세포질 및 세포외 매트릭스 핑크(eosin staining cytoplasm and extracellular matrix pink), 및 이들 컬러들의 변형들을 취하는 다른 조직 영역들을 갖는 널리 이용되는 염료-기반 방법이다. 그러나, 많은 경우에, H&E-염색된 조직학적 제제(H&E-stained histologic preparations)는 병리학자가 진단 또는 가이드 치료를 보조할 수 있는 바이오마커들(biomarkers)을 시각적으로 식별하기에 충분한 정보를 제공하지 않는다. 이러한 상황에서, 면역조직화학(immunohistochemistry)(IHC), 면역형광(immunofluorescence), 제자리 혼성화(in situ hybridization)(ISH), 또는 형광 제자리 혼성화(fluorescence in situ hybridization)(FISH)와 같은 기술들이 이용될 수 있다. IHC 및 면역형광은, 예를 들어, H&E 염색된 슬라이드들의 분석에 기초하여 훈련된 병리학자에게 신뢰가능하게 식별가능하지 않은 바이오마커들을 드러낼 수 있는, 관심의 특정 단백질들을 표현하는 세포들의 시각적 검출을 가능하게 하는 조직들 내의 특정 항원들(antigens)에 결합하는 항체들(antibodies)을 이용하는 것을 수반한다. ISH 및 FISH는 이용된 프로브들(probes)의 타입(예를 들어, 유전자 카피 수를 위한 DNA 프로브들 및 RNA 발현의 평가를 위한 RNA 프로브들)에 따라, 유전자들의 카피들의 수 또는 특정 RNA 분자들의 풍부함을 평가하기 위해 이용될 수 있다. 이들 방법이 또한 일부 바이오마커들을 검출하기에 충분한 정보를 제공하는데 실패하는 경우, 조직의 유전자 테스트를 이용하여 바이오마커가 존재하는지를 확인할 수 있다(예를 들어, 종양에서의 특정 단백질 또는 유전자 생성물의 과다발현, 암에서의 주어진 유전자의 증폭).
디지털화된 이미지는 염색된 현미경 슬라이드를 보여주도록 준비될 수 있고, 이는 병리학자가 슬라이드 상의 이미지를 수동으로 보고 이미지에서의 다수의 염색된 비정상 세포들을 추정하게 할 수 있다. 그러나, 이 프로세스는 시간 소모적일 수 있고, 일부 비정상들은 검출하기 어렵기 때문에 비정상들을 식별하는데 오류들을 야기할 수 있다. 계산 프로세스들 및 디바이스들은 달리 검출하기 어려울 수 있는 비정상들을 검출하는데 있어서 병리학자들을 보조하기 위해 이용될 수 있다. 예를 들어, AI는 H&E 및 다른 염료 기반 방법들을 이용하여 염색된 조직들의 디지털 이미지들 내의 두드러진 영역들(salient regions)로부터의 (단백질 및/또는 유전자 생성물의 과다 발현, 증폭, 또는 특정 유전자들의 돌연변이들과 같은) 바이오마커들을 예측하기 위해 이용될 수 있다. 조직들의 이미지들은 전체 슬라이드 이미지들(WSI), 마이크로어레이들 내의 조직 코어들의 이미지들 또는 조직 섹션 내의 선택된 관심 영역들일 수 있다. H&E와 같은 염색 방법들을 이용하면, 이들 바이오마커들은 추가적인 테스트의 도움 없이는 인간들이 시각적으로 검출 또는 정량화하기 어려울 수 있다. AI를 이용하여 조직들의 디지털 이미지들로부터 이들 바이오마커들을 추론하는 것은 환자 관리를 개선할 잠재력을 갖고, 또한 더 빠르고 덜 비싸다.
이어서 검출된 바이오마커들 또는 이미지는 단독으로 환자를 치료하는데 이용될 특정 암 약물들 또는 약물 조합 요법들을 권고하는데 이용될 수 있고, AI는 검출된 바이오마커들을 치료 옵션들의 데이터베이스와 상관시킴으로써 어느 약물들 또는 약물 조합들이 성공할 것 같지 않은지를 식별할 수 있다. 이는 환자의 특정 암을 표적화하기 위한 면역요법 약물들의 자동 권고를 용이하게 하는데 이용될 수 있다. 또한, 이는 환자들의 특정 서브세트 및/또는 보다 드문 암 타입들에 대한 개인화된 암 치료를 가능하게 하는데 이용될 수 있다.
병리학의 분야에서, 조직병리학 작업흐름 전체에 걸쳐, 병리학 표본 준비에 관한 체계적 품질 제어("QC"), 및 진단의 품질에 관한 품질 보증("QA")을 제공하는 것은 어려울 수 있다. 체계적 품질 보증은 그것이 2명의 병리학자에 의한 중복 노력을 요구할 수 있으므로 자원 및 시간 집약적이기 때문에 어렵다. 품질 보증을 위한 일부 방법들은 (1) 1회 진단 암 케이스의 두 번째 검토; (2) 품질 보증 위원회에 의한 불일치하거나 변경된 진단의 주기적 검토들; 및/또는 (3) 케이스들의 서브세트의 무작위 검토를 포함한다. 이들은 비포괄적이고, 대부분 소급적이며, 수동적이다. 자동화된 및 체계적 QC 및 QA 메커니즘으로, 모든 케이스에 대한 작업흐름 전체에 걸쳐 품질이 보장될 수 있다. 실험실 품질 제어 및 디지털 병리학 품질 제어는 환자 표본들의 성공적인 유입(intake), 프로세스, 진단, 및 보관에 중요하다. QC 및 QA에 대한 수동 및 샘플링된 접근법들은 상당한 이점들을 부여한다. 체계적 QC 및 QA는 효율성들을 제공하고 진단 품질을 개선하는 잠재력을 갖는다.
전술된 바와 같이, 본 명세서에 설명된 예시적인 실시예들은, 웹-브라우저 또는 다른 사용자 인터페이스를 통한 디지털 병리학 이미지들의 데이터 수집, 처리 및 뷰잉을 포함하는 완전히 자동화된 프로세스를 허용하면서 실험실 정보 시스템(LIS)과 통합하는 통합된 플랫폼을 제공한다. 또한, 임상 정보는 환자 데이터의 클라우드-기반의 데이터 분석을 이용하여 집결될 수 있다. 데이터는, 병원, 진료소, 현장 연구원 등으로부터 나올 수 있고, 기계 학습, 컴퓨터 비전, 자연어 처리, 및/또는 통계 알고리즘들에 의해 분석되어, 다수의 지리적 특이성 레벨들에서 건강 패턴들의 실시간 모니터링 및 예측을 행할 수 있다.
이전에, 병리학 슬라이드들의 생성 또는 분석을 우선순위화할 방법이 없었다. 따라서, 본 명세서에 설명된 예시적인 실시예들은 디지털화된 병리학 이미지 기반 진단을 간소화하고 가속화하기 위해 슬라이드 준비, 처리 및 검토를 자동으로 우선순위화한다.
이러한 자동화는, 적어도, (1) 슬라이드가 진단을 행하기에 불충분하다고 결정하는 병리학자에 의해 낭비되는 시간량을 최소화하고, (2) 추가적인 테스트들이 주문될 때와 그것들이 생성될 때 사이의 추가적인 시간을 회피함으로써 표본 취득으로부터 진단까지의 시간(예를 들어, 평균 총 시간)을 최소화하고, (3) 더 많은 양의 슬라이드들이 더 짧은 시간량 내에 병리학자에 의해 처리되거나 검토되게 하고, (4) 병리학자에 대한 추가적인 테스트를 요청하는 오버헤드를 감소시킴으로써 더 많은 정보에 입각한/정확한 진단에 기여하고, (5) 디지털 병리학 이미지의 (예를 들어, 표본 타입에 관한) 정확한 속성들을 식별하거나 검증하고, 및/또는 (6) 병리학자들을 훈련시키는 등의 이점들을 갖는다. 본 개시내용은, 병리학 슬라이드 분석이 병리학자에 의한 진단 검토 전에 우선순위화될 수 있도록, 디지털화된 병리학 슬라이드들을 수반하는 임상 디지털 작업흐름에 대한 모든 병리학 케이스들의 자동화된 검출, 우선순위화 및 분류를 이용한다. 예를 들어, 개시된 실시예들은 케이스-레벨 우선순위화를 제공할 수 있고, 각각의 케이스 내에서 중요한 발견들을 갖는 슬라이드들을 우선순위화할 수 있다. 이러한 우선순위화 실시예들은 다양한 설정들(예를 들어, 학술, 상업 실험실, 병원 등)에서 병리학 슬라이드들의 디지털 검토를 더 효율적이게 할 수 있다.
개시된 실시예들의 예시적인 글로벌 출력들은 전체 이미지 또는 슬라이드에 관한 정보 또는 슬라이드 파라미터(들), 예를 들어, 도시된 표본 타입, 슬라이드의 표본의 절단의 전체 품질, 유리 병리학 슬라이드 자체의 전체 품질, 또는 조직 형태 특성들을 포함할 수 있다. 예시적인 로컬 출력들은 이미지 또는 슬라이드의 특정 영역들에서의 정보를 표시할 수 있고, 예를 들어, 특정 슬라이드 영역은 블러링되거나 관련없는 표본을 포함하는 것으로 라벨링될 수 있다. 본 개시내용은, 아래에 더 상세히 설명되는 바와 같이, 슬라이드 준비, 처리, 및 검토를 위해 개시된 자동 우선순위화 프로세스를 개발하는 것 및 이용하는 것 둘 다를 위한 실시예들을 포함한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 기계 학습을 이용하여, 조직 표본들의 슬라이드들의 이미지들을 준비, 처리 및 검토하기 위한 자동 우선순위화 프로세스를 제공하기 위한 시스템 및 네트워크의 블록도를 도시한다.
구체적으로, 도 1a는 병원들, 실험실들, 및/또는 의사들의 사무실들 등에 있는 서버들에 접속될 수 있는 전자 네트워크(120)를 도시한다. 예를 들어, 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 등은 각각 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(120)에 접속될 수 있다. 본 출원의 예시적인 실시예에 따르면, 전자 네트워크(120)는 또한, 본 개시내용의 예시적인 실시예에 따른, 조직 표본들의 슬라이드들의 이미지들을 준비, 처리 및 검토하기 위한 자동 우선순위화 프로세스를 제공하기 위한 슬라이드 우선순위화 툴(101)을 포함하는, 질병 검출 플랫폼(100)을 구현하도록 구성되는 처리 디바이스들을 포함할 수 있는 서버 시스템들(110)에 접속될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 하나 이상의 환자의 세포학 표본(들), 조직병리학 표본(들), 세포학 표본(들)의 슬라이드(들), 조직병리학 표본(들)의 슬라이드(들)의 디지털화된 이미지들, 또는 이들의 임의의 조합을 생성하거나, 그렇지 않은 경우 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 또한 연령, 병력, 암 치료 이력, 가족 이력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 전자 네트워크(120)를 통해 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 서버 시스템들(110)에 송신할 수 있다. 서버 시스템(들)(110)은 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(LIS)(125) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들(109)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 예를 들어, 처리 디바이스들은, 일 실시예에 따라, 질병 검출 플랫폼(100)을 위한 기계 학습 툴을 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 LIS(125)는 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 이용되는 시스템들을 지칭한다. 병원 설정들에서, 조직 타입 정보는 LIS(125)에 저장될 수 있다. 본 개시내용의 예시적인 실시예에 따르면, 슬라이드들은 LIS(125)에 액세스할 필요 없이 자동으로 우선순위화될 수 있다. 예를 들어, 제3자는 LIS에 저장된 대응하는 표본 타입 라벨 없이 이미지 콘텐츠에 대한 익명화된 액세스를 부여받을 수 있다. 또한, LIS 콘텐츠에 대한 액세스는 그것의 민감한 콘텐츠로 인해 제한될 수 있다.
도 1b는 기계 학습을 이용한, 조직 표본들의 슬라이드들의 이미지들을 준비, 처리 및 검토하기 위한 자동 우선순위화 프로세스를 제공하기 위한 질병 검출 플랫폼(100)의 예시적인 블록도를 도시한다.
구체적으로, 도 1b는 일 실시예에 따른, 질병 검출 플랫폼(100)의 컴포넌트들을 도시한다. 예를 들어, 질병 검출 플랫폼(100)은 슬라이드 우선순위화 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 저장소(106), 및 뷰잉 애플리케이션 툴(viewing application tool)(108)을 포함할 수 있다.
슬라이드 우선순위화 툴(101)은, 후술되는 바와 같이, 예시적인 실시예에 따라, 조직 표본들의 슬라이드들의 이미지들을 준비, 처리 및 검토하기 위한 자동 우선순위화 프로세스를 제공하기 위한 프로세스 및 시스템을 지칭한다.
예시적인 실시예에 따르면, 데이터 수집 툴(102)은 디지털 병리학 이미지들을 분류하고 처리하기 위해 이용되는 다양한 툴들, 모듈들, 컴포넌트들, 및 디바이스들에 대한 디지털 병리학 이미지들의 전송을 용이하게 하기 위한 프로세스 및 시스템을 지칭한다.
슬라이드 유입 툴(103)은, 예시적인 실시예에 따라, 병리학 이미지들을 스캐닝하고 이들을 디지털 형태로 변환하기 위한 프로세스 및 시스템을 지칭한다. 슬라이드들은 슬라이드 스캐너(104)로 스캐닝될 수 있고, 슬라이드 관리자(105)는 슬라이드들 상의 이미지들을 디지털화된 병리학 이미지들로 처리하고, 디지털화된 이미지들을 저장소(106)에 저장할 수 있다.
뷰잉 애플리케이션 툴(108)은, 예시적인 실시예에 따라, 디지털 병리학 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 사용자(예를 들어, 병리학자)에게 제공하기 위한 프로세스 및 시스템을 지칭한다. 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스, 및/또는 웹 브라우저 등)을 통해 제공될 수 있다.
슬라이드 우선순위화 툴(101), 및 그것의 컴포넌트들 각각은 네트워크(120)를 통해 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)에 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 송신 및/또는 수신할 수 있다. 또한, 서버 시스템들(110)은 슬라이드 우선순위화 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 및 뷰잉 애플리케이션 툴(108) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 저장 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은, 예를 들어, 처리 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
상기의 디바이스들, 툴들, 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(120)에 접속될 수 있는 디바이스 상에 위치될 수 있다.
도 1c는 본 개시내용의 예시적인 실시예에 따른, 슬라이드 우선순위화 툴(101)의 예시적인 블록도를 도시한다. 슬라이드 우선순위화 툴(101)은 훈련 이미지 플랫폼(131) 및/또는 타겟 이미지 플랫폼(135)을 포함할 수 있다.
훈련 이미지 플랫폼(131)은 훈련 이미지 유입 모듈(132), 라벨 처리 모듈(133) 및/또는 우선순위화 랭크 모듈(134)을 포함할 수 있다.
훈련 이미지 플랫폼(131)은 디지털 병리학 이미지들을 효과적으로 분석 및 분류하기 위해 기계 학습 모델 및/또는 시스템을 훈련하는데 이용되는 훈련 이미지들을 생성 또는 수신할 수 있다. 예를 들어, 훈련 이미지들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.
훈련 이미지 유입 모듈(132)은 인간 조직의 이미지들 및/또는 그래픽적으로 렌더링되는 이미지들에 대응하는 하나 이상의 훈련 이미지들을 포함하는 데이터세트를 생성 또는 수신할 수 있다. 예를 들어, 훈련 이미지들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 이 데이터세트는 디지털 저장 디바이스 상에 유지될 수 있다. 라벨 처리 모듈(133)은, 각각의 훈련 이미지에 대해, 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및/또는 분석 난이도 중 적어도 하나를 특징짓는 라벨을 결정할 수 있다. 우선순위화 랭크 모듈(134)은 조직들의 이미지들을 처리하고, 각각의 훈련 이미지에 대한 예측된 우선순위화 랭크를 결정할 수 있다.
일 실시예에 따르면, 타겟 이미지 플랫폼(135)은 타겟 이미지 유입 모듈(136), 우선순위화 값 모듈(137), 및 출력 인터페이스(138)를 포함할 수 있다. 타겟 이미지 플랫폼(135)은 타겟 이미지를 수신하고, 기계 학습 모델을 타겟 이미지에 적용하여 타겟 이미지에 대한 우선순위화 값을 계산할 수 있다. 예를 들어, 타겟 이미지는 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 타겟 이미지 유입 모듈(136)은 타겟 표본에 대응하는 타겟 이미지를 수신할 수 있다. 우선순위화 값 모듈(137)은 기계 학습 모델을 타겟 이미지에 적용하여 타겟 이미지에 대한 우선순위화 값을 계산할 수 있다.
출력 인터페이스(138)는 타겟 이미지 및 타겟 표본에 관한 정보를 (예를 들어, 스크린, 모니터, 저장 디바이스, 웹 브라우저 등에) 출력하는데 이용될 수 있다.
도 1d는 디지털 병리학 작업흐름에서 슬라이드들을 우선순위화하기 위한 예시적인 시스템 및 작업흐름의 개략도를 도시한다. 이 작업흐름에서, 기계 학습 모델(142)은 디지털화된 케이스들 및 슬라이드들(140)을 입력으로서 수신할 수 있다. 디지털화된 케이스들 및 슬라이드들(140)은 환자의 병리학 슬라이드들의 이미지들 및/또는 환자 특성들, 치료 이력, 환자 정황, 슬라이드 데이터 등에 관한 전자 데이터로 구성될 수 있다. 환자 특성들은 환자의 연령, 신장, 체중, 가족 병력, 알레르기 등을 포함할 수 있다. 치료 이력은 환자에 대해 수행된 테스트들, 환자에 대해 수행된 과거 절차들, 환자의 방사선 노출 등을 포함할 수 있다. 케이스 정황은 케이스/슬라이드가 임상 연구, 실험적 치료, 후속 보고 등의 일부인지를 지칭할 수 있다. 슬라이드 데이터는 수행된 염색(들), 조직 슬라이스의 위치, 슬라이드가 만들어진 시간/날짜, 슬라이드를 만든 실험실 등을 포함할 수 있다.
기계 학습 모델(142)은 디지털화된 케이스들 및 슬라이드들(140)을 이용하여 훈련될 수 있다. 훈련된 기계 학습 모델(142)은 하나 이상의 우선순위화 값 예측들(144)을 출력할 수 있다. 예를 들어, 훈련된 기계 학습 모델(142)은 선택된 디지털화된 케이스/슬라이드에 대한 우선순위화 값(144)을 생성할 수 있다. 선택된 디지털화된 케이스/슬라이드는 입력 디지털화된 케이스들 및 슬라이드들(140)에 포함되지 않은 새로운 또는 추가적인 케이스/슬라이드일 수 있다. 대안적으로, 기계 학습 모델(142)은 또한 디지털화된 케이스들 및 슬라이드들(140)의 일부였던 선택된 디지털화된 케이스/슬라이드에 대한 우선순위화 값을 출력하기 위해 이용될 수 있다.
우선순위화 순서(146)는 생성된 우선순위화 값(144)에 기초하여 생성될 수 있다. 예를 들어, 우선순위화 값(144)은 케이스들/슬라이드들의 세트 내의 각각의 케이스/슬라이드에 대해, 기계 학습 모델(142)에 의해 출력될 수 있다. 이어서 우선순위화 순서(146)는 병리학자가 검토할 케이스들의 리스팅(listing) 또는 일람표(docket)로 구성될 수 있고, 여기서 케이스들은 각각의 케이스의 우선순위화 값(144)에 기초한 순서로 리스팅된다. 케이스들의 이 우선순위화는 병리학자가 그들의 케이스들을 분류하고, 더 높은 긴급성 또는 우선순위의 케이스들을 먼저 검토하는 것을 허용할 수 있다. 일부 케이스들에서, 우선순위화 순서(146)는, 병리학자의 검토에 앞서, 조정될 수 있다. 예를 들어, 케이스의 우선순위화 값(144)은, 케이스가 특정 시간량을 지나 큐(queue)에 있는 경우, 또는 케이스에 관한 추가 정보가 수신되는 경우, 증가할 수 있다. 도 1d의 방법들은 이하에서 더 상세히 설명된다.
도 2는 본 개시내용의 예시적인 실시예에 따른, 표본에 대응하는 슬라이드의 이미지를 처리하고, 슬라이드의 처리를 자동으로 우선순위화하기 위한 툴의 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 방법(200)(예를 들어, 단계들 202 내지 206)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 슬라이드의 처리를 자동으로 우선순위화하기 위한 예시적인 방법(200)은 다음의 단계들 중 하나 이상을 포함할 수 있다. 단계 202에서, 방법은 타겟 표본에 대응하는 슬라이드의 타겟 이미지를 수신하는 것을 포함할 수 있고, 타겟 표본은 환자의 조직 샘플을 포함한다. 예를 들어, 타겟 이미지는 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다.
단계 204에서, 방법은 기계 학습 모델을 이용하여, 타겟 이미지의 우선순위화 값을 계산하는 것을 포함할 수 있고, 기계 학습 모델은 복수의 훈련 이미지들을 처리함으로써 생성되었고, 각각의 훈련 이미지는 인간 조직의 이미지, 및 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및/또는 분석 난이도 중 적어도 하나를 특징짓는 라벨을 포함한다. 라벨은 타겟 이미지에 대해 추가 준비가 수행될 가능성에 대응하는 준비 값을 포함할 수 있다. 표본 재절단, 면역조직화학 염색, 추가적인 진단 테스트, 추가적인 상담, 및/또는 특수 염색 중 적어도 하나에 기초하여 타겟 이미지에 대해 추가 준비가 수행될 수 있다. 라벨은 타겟 이미지의 진단 특징을 포함할 수 있고, 진단 특징은 암 존재, 암 등급, 치료 효과들, 전암성 병변들(precancerous lesions), 및/또는 감염성 유기체들의 존재 중 적어도 하나를 포함한다. 타겟 이미지의 우선순위화 값은 제1 사용자에 대한 타겟 이미지의 제1 우선순위화 값 및 제2 사용자에 대한 타겟 이미지의 제2 우선순위화 값을 포함할 수 있고, 제1 우선순위화 값은 제1 사용자의 선호도들에 기초하여 결정될 수 있고, 제2 우선순위화 값은 제2 사용자의 선호도들에 기초하여 결정될 수 있다. 라벨은 스캐닝 라인들, 누락 조직, 및/또는 블러(blur) 중 적어도 하나에 대응하는 아티팩트 라벨을 포함할 수 있다.
훈련 이미지들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 이 데이터세트는 디지털 저장 디바이스 상에 유지될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.
단계 206에서, 방법은 디지털화된 병리학 이미지들의 시퀀스를 출력하는 것을 포함할 수 있고, 시퀀스에서의 타겟 이미지의 배치는 타겟 이미지의 우선순위화 값에 기초한다.
기계 학습 알고리즘들 및/또는 아키텍처들을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(ensemble methods)(예를 들어, 랜덤 포레스트(random forest)), 선형/비선형 분류기들(예를 들어, SVM(support vector machine)들, MLP(multiplayer perceptron), 및/또는 차원 감소 기술들(예를 들어, PCA(principal component analysis), LDA(linear discriminant analysis) 등)에 따른 특징 추출을 포함할 수 있지만, 이들로 제한되지 않는다. 예시적인 특징들은 CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 대해 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)을 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행될 수 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 전에 전처리 단계로서 이용될 수 있다.
하나 이상의 실시예에 따르면, 상기의 알고리즘들, 아키텍처들, 방법론들, 속성들, 및/또는 특징들 중 임의의 것은 다른 알고리즘들, 아키텍처들, 방법론들, 속성들, 및/또는 특징들 중 임의의 것 또는 모두와 조합될 수 있다. 예를 들어, 기계 학습 알고리즘들 및/또는 아키텍처들(예를 들어, 신경망 방법들, 컨볼루션 신경망(CNN)들, 순환 신경망(RNN)들 등) 중 임의의 것은 훈련 방법론들(예를 들어, 다중 인스턴스 학습, 강화 학습, 능동 학습 등) 중 임의의 것으로 훈련될 수 있다.
아래의 용어들의 설명은 단지 예시적인 것이며, 용어들을 어떤 식으로든 제한하도록 의도되지 않는다.
라벨은 알고리즘이 예측하려고 시도하고 있는 기계 학습 알고리즘에 대한 입력에 관한 정보를 지칭할 수 있다.
크기 NxM의 주어진 이미지에 대해, 세그먼트화는 원래의 이미지에서의 각각의 픽셀에 대해, 그 픽셀의 클래스 또는 타입을 기술하는 수를 할당하는 크기 NxM의 다른 이미지일 수 있다. 예를 들어, WSI에서, 마스크 내의 요소들은 입력 이미지에서의 각각의 픽셀을, 예를 들어, 배경, 조직 및/또는 미지의(unknown) 클래스들에 속하는 것으로 분류할 수 있다.
슬라이드 레벨 정보는 일반적으로 슬라이드에 관한 정보를 지칭할 수 있지만, 반드시 슬라이드에서의 그 정보의 특정 위치를 지칭하는 것은 아니다.
휴리스틱(heuristic)은, 입력들이 주어지면, 출력을 결정론적으로 생성하는 논리 규칙 또는 함수를 지칭할 수 있다. 예를 들어, 슬라이드가 다른 슬라이드보다 우선순위화되어야 한다는 예측이 32% 이상이면, 1을 출력하고, 그렇지 않으면, 0을 출력한다.
임베딩은 저차원 데이터의 개념적인 고차원 수치 표현을 지칭할 수 있다. 예를 들어, WSI가 조직 타입을 분류하기 위해 CNN 훈련을 통과하는 경우, 네트워크의 마지막 계층 상의 숫자들은 슬라이드에 관한 정보(예를 들어, 조직의 타입에 관한 정보)를 포함하는 숫자들의 어레이(예를 들어, 수천 개 정도)를 제공할 수 있다.
슬라이드 레벨 예측은 슬라이드 전체에 관한 구체적인 예측을 지칭할 수 있다. 예를 들어, 슬라이드 레벨 예측은 슬라이드가 다른 슬라이드보다 우선순위화되어야 한다는 것일 수 있다. 또한, 슬라이드 레벨 예측은 정의된 클래스들의 세트에 대한 개별 확률 예측들을 지칭할 수 있다.
분류자는 입력 데이터를 취하고 그것을 카테고리와 연관시키도록 훈련되는 모델을 지칭할 수 있다.
하나 이상의 실시예에 따르면, 기계 학습 모델은 상이한 방식들로 훈련될 수 있다. 예를 들어, 기계 학습 모델의 훈련은 감독 훈련(supervised training), 반감독 훈련(semi-supervised training), 무감독 훈련(unsupervised training) 분류기 훈련, 혼합 훈련, 및/또는 불확실성 추정 중 임의의 하나 또는 임의의 조합에 의해 수행될 수 있다. 이용되는 훈련의 타입은 데이터의 양, 데이터의 타입, 및/또는 데이터의 품질에 의존할 수 있다. 아래의 표 1은 일부 타입의 훈련 및 대응하는 특징들의 비제한적인 리스트를 설명한다.
Figure pat00001
감독 훈련은 기계 학습 모델에 대한 시드(seed)를 제공하기 위해 소량의 데이터와 함께 이용될 수 있다. 감독 훈련에서, 기계 학습 모델은 특정 항목(예를 들어, 버블들(bubbles), 조직 폴드들(tissue folds) 등)을 찾고, 슬라이드를 플래깅하고, 특정 항목이 슬라이드에 얼마나 많이 존재하는지를 정량화할 수 있다.
일 실시예에 따르면, 예시적인 완전 감독 훈련은 입력으로서 WSI를 취할 수 있고, 세그먼트화의 라벨을 포함할 수 있다. 완전 감독 훈련을 위한 파이프라인들은 (1) 1; (2) 1, 휴리스틱; (3) 1, 4, 휴리스틱; (4) 1, 4, 5, 휴리스틱; 및/또는 (5) 1, 5, 휴리스틱을 포함할 수 있다. 완전 감독 훈련의 이점들은 (1) 더 적은 수의 슬라이드를 필요로 할 수 있고/있거나 (2) (a) 이미지의 어느 영역들이 진단에 기여하는지를 알 수 있고; (b) 슬라이드가 다른 것보다 우선순위화되는 이유(예를 들어, 진단 값, 분석 난이도 등)를 알 수 있기 때문에 출력이 설명 가능하다는 것일 수 있다. 완전 감독 훈련을 이용하는 것의 단점은, 그것이 획득하기 어려울 수 있는 많은 양의 세그먼트화를 필요로 할 수 있다는 것일 수 있다.
일 실시예에 따르면, 예시적인 반감독(예를 들어, 약하게 감독된) 훈련은 입력으로서 WSI를 취할 수 있고, 슬라이드 레벨 정보의 라벨을 포함할 수 있다. 반감독 훈련을 위한 파이프라인들은 (1) 2; (2) 2, 휴리스틱; (3) 2, 4, 휴리스틱; (4) 2, 4, 5, 휴리스틱; 및/또는 (5) 2, 5, 휴리스틱을 포함할 수 있다. 반감독 훈련을 이용하는 것의 이점들은 (1) 요구된 라벨들의 타입들이 많은 병원 기록들에 존재할 수 있고; (2) (a) 이미지의 어느 영역들이 진단에 가장 많이 기여했는지를 알 수 있고; (b) 슬라이드가 다른 것보다 우선순위화되었는지의 이유(예를 들어, 진단 값, 분석 난이도 등)를 알 수 있기 때문에 출력이 설명 가능하다는 것일 수 있다. 반감독 훈련을 이용하는 것의 단점은 훈련하기가 어려울 수 있다는 것이다. 예를 들어, 모델은 슬라이드에서의 어디에 결정으로 이끌 정보가 있는지에 관한 제한된 정보가 있다는 사실을 고려하기 위해 다중 인스턴스 학습, 능동 학습, 및/또는 분산 훈련과 같은 훈련 방식을 이용할 필요가 있을 수 있다.
일 실시예에 따르면, 예시적인 무감독 훈련은 입력으로서 WSI를 취할 수 있고, 라벨을 필요로 하지 않을 수 있다. 무감독 훈련을 위한 파이프라인들은 (1) 3, 4; 및/또는 (2) 3, 4, 휴리스틱을 포함할 수 있다. 무감독 훈련의 이점은, 그것이 어떤 라벨도 필요로 하지 않는다는 것일 수 있다. 무감독 훈련을 이용하는 것의 단점들은 (1) 훈련이 어려울 수 있다는 것일 수 있다. 예를 들어, 슬라이드에서의 어디에 결정으로 이끌 정보가 있는지에 관한 제한된 정보가 있다는 사실을 고려하기 위해 다중 인스턴스 학습, 능동 학습, 및/또는 분산 훈련과 같은 훈련 방식을 이용할 필요가 있을 수 있고; (2) 추가 슬라이드들을 필요로 할 수 있고; 및/또는 (3) 그 예측이 행해진 이유를 설명하지 않고 예측 및 확률을 출력할 수 있기 때문에 덜 설명 가능할 수 있다.
일 실시예에 따르면, 예시적인 혼합 훈련은 완전 감독 훈련, 반감독 훈련, 및/또는 무감독 훈련에 대해 전술한 예시적인 파이프라인들 중 임의의 것을 훈련시키는 것을 포함할 수 있고, 이어서 결과적인 모델을 훈련 방법들 중 임의의 것에 대한 초기점으로서 이용할 수 있다. 혼합 훈련의 이점들은 (1) 보다 적은 데이터를 필요로 할 수 있고; (2) 개선된 성능을 가질 수 있고; 및/또는 (3) 상이한 레벨들의 라벨들(예를 들어, 세그먼트화, 슬라이드 레벨 정보, 정보 없음)의 혼합을 가능하게 할 수 있다는 것일 수 있다. 혼합 훈련의 단점들은 (1) 훈련이 보다 복잡하고/하거나 비용이 많이 들 수 있고; 및/또는 (2) 잠재적인 버그들의 수 및 복잡도를 증가시킬 수 있는 보다 많은 코드를 필요로 할 수 있다는 것일 수 있다.
일 실시예에 따르면, 예시적인 불확실성 추정은, 파이프라인의 끝에서 불확실성 추정을 이용하여 슬라이드 데이터와 관련된 임의의 작업에 대해, 완전 감독 훈련, 반감독 훈련, 및/또는 무감독 훈련에 대해 전술한 예시적인 파이프라인들 중 임의의 것을 훈련하는 것을 포함할 수 있다. 또한, 휴리스틱 또는 분류기는, 테스트의 예측에서 불확실성의 양에 기초하여 슬라이드가 다른 것보다 우선순위화되어야 하는지를 예측하는데 이용될 수 있다. 불확실성 추정의 이점은, 분포 외(out-of-distribution) 데이터에 강건하다는 것일 수 있다. 예를 들어, 친숙하지 않은 데이터가 제시될 때, 그것이 불확실하다는 것을 여전히 정확하게 예측할 수 있다. 불확실성 추정의 단점들은 (1) 더 많은 데이터를 필요로 할 수 있고; (2) 불량한 전체 성능을 가질 수 있고; 및/또는 (3) 모델이 슬라이드 또는 슬라이드 임베딩이 어떻게 비정상인지를 반드시 식별하지 못할 수 있기 때문에 덜 설명 가능할 수 있다는 것일 수 있다.
일 실시예에 따르면, 앙상블 훈련은 전술한 예시적인 파이프라인들 중 임의의 것에 의해 생성된 모델들을 동시에 실행하는 것, 및 강건하고 정확한 결과들을 생성하기 위해 휴리스틱 또는 분류기에 의해 출력들을 결합하는 것을 포함할 수 있다. 앙상블 훈련의 이점들은 (1) 분포 외 데이터에 강건하다는 것; 및/또는 (2) 다른 모델들의 이점들 및 단점들을 결합하여, 단점들(예를 들어, 불확실성 추정 모델과 결합된 감독 훈련 모델, 및 인입되는 데이터가 분포 중일 때 감독 모델을 이용하고 데이터가 분포 외일 때 불확실성 모델을 이용하는 휴리스틱 등)을 최소화시킬 수 있다는 것일 수 있다. 앙상블 훈련의 단점들은 (1) 더 복잡할 수 있다는 것; 및/또는 (2) 훈련 및 실행에 비용이 많이 들 수 있다는 것일 수 있다.
본 명세서에서 논의되는 훈련 기술들은 또한 더 큰 주석들을 갖는 이미지들이 훈련을 위해 초기에 이용되는 스테이지들에서 진행할 수 있으며, 이는 더 적은 주석들을 갖고, 덜 감독되는 등의 슬라이드들을 이용하는 더 효과적인 나중의 훈련을 가능하게 할 수 있다.
훈련은 이용될 수 있는 모든 훈련 슬라이드 이미지들에 대해 가장 철저하게 주석이 달린 슬라이드들을 이용하여 시작될 수 있다. 예를 들어, 훈련은 감독 학습을 이용하여 시작될 수 있다. 제1 세트의 슬라이드들 이미지들은 연관된 주석들로 수신 또는 결정될 수 있다. 각각의 슬라이드는 마킹된 및/또는 마스킹된 영역들을 가질 수 있고, 슬라이드가 다른 것보다 우선순위화되어야 하는지와 같은 정보를 포함할 수 있다. 제1 세트의 슬라이드들은 제1 세트의 슬라이드들과 이들의 연관된 주석들 사이의 상관성들을 결정할 수 있는 훈련 알고리즘, 예를 들어, CNN에 제공될 수 있다.
제1 세트의 이미지들로 훈련이 완료된 후에, 제1 세트보다 더 적은 주석들을 갖는, 예를 들어, 부분적인 주석들을 갖는 제2 세트의 슬라이드 이미지들이 수신되거나 결정될 수 있다. 일 실시예에서, 주석들은 슬라이드가 그와 연관된 진단 또는 품질 문제를 갖는 것만을 표시할 수 있지만, 어떤 또는 어디서 질병이 발견될 수 있는지 등을 지정하지 않을 수 있다. 제2 세트의 슬라이드 이미지들은 제1과는 상이한 훈련 알고리즘, 예를 들어, 다중 인스턴스 학습을 이용하여 훈련될 수 있다. 제1 세트의 훈련 데이터는 시스템을 부분적으로 훈련하는데 이용될 수 있고, 제2 훈련 라운드를 정확한 알고리즘을 생성하는데 더 효과적이게 할 수 있다.
이러한 방식으로, 훈련은 훈련 슬라이드 이미지들의 품질 및 타입들에 기초하여, 임의의 수의 알고리즘들을 이용하여, 임의의 수의 스테이지들에서 진행될 수 있다. 이러한 기술들은 다양한 품질, 주석 레벨들, 및/또는 주석 타입들일 수 있는 이미지들의 다수의 훈련 세트들이 수신되는 상황들에서 이용될 수 있다.
도 3은 복수의 병리학 슬라이드들을 분석할 순서를 결정하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(300 및 320)(예를 들어, 단계들 301-325)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 복수의 병리학 슬라이드들을 분석할 순서를 결정하기 위한 예시적인 방법(300)은 이하의 단계들 중 하나 이상을 포함할 수 있다. 단계 301에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 하나 이상의 디지털화된 병리학 이미지의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 303에서, 방법은 데이터세트의 각각의 병리학 이미지에 대한 하나 이상의 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 수신 또는 결정하는 것을 포함할 수 있다. 단계 305에서, 방법은 각각의 이미지 및 그것의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다.
단계 307에서, 방법은, 입력으로서, 병리학 표본의 하나 이상의 디지털 이미지를 취하고, 각각의 디지털 이미지에 대한 우선순위화 랭크를 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다. 기계 학습 알고리즘을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 특징들은, CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은, 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은, 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)를 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 이전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 3의 기계 학습 알고리즘들에 적용될 수 있다.
슬라이드 우선순위화 툴을 이용하기 위한 예시적인 방법(320)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 321에서, 방법은 사용자에 대응하는 디지털 병리학 이미지를 수신하는 것을 포함할 수 있다. 단계 323에서, 방법은 수신된 디지털 병리학 이미지와 연관된 케이스 및/또는 슬라이드에 대한 랭크 순서 또는 통계를 결정하는 것을 포함할 수 있다. 랭크 순서 또는 통계는 (예를 들어, 방법(300)의) 훈련된 계산 병리학-기계 학습 알고리즘을 수신된 이미지에 적용함으로써 결정될 수 있다. 랭크 순서 또는 통계는 수신된 이미지와 연관된 슬라이드 또는 수신된 이미지와 연관된 케이스에 대한 검토 또는 추가적인 슬라이드 준비를 우선순위화하는데 이용될 수 있다.
단계 325에서, 방법은 랭크 순서 또는 통계를 출력하는 것을 포함할 수 있다. 하나의 출력은 사용자의 선호도들, 휴리스틱들, 통계들, 목적들(예를 들어, 효율성, 난이도, 긴급성 등)에 기초하여 순서대로 하나 이상의 변화(들)의 결정 및/또는 디스플레이를 포함할 수 있다. 대안적으로 또는 추가로, 출력은 생성된 순서에 기초하여, 케이스 레벨에서 수신된 이미지의 시각적 분류(visual sorting)를 포함할 수 있다. 예를 들어, 그러한 시각적 분류는 타겟 특징에 대한 최대 또는 최소 슬라이드 확률에 기초하여, 타겟 특징에 대한 모든 슬라이드들에 걸친 평균 확률에 기초하여, 타겟 특징을 보여주는 슬라이드들의 원시 수에 기초하여, 등등으로 순서화된 케이스들의 분류를 포함하는 디스플레이를 포함할 수 있다. 또 다른 출력은 생성된 순서에 기초하여, 각각의 케이스 내의 슬라이드 레벨 또는 조직 블록 레벨에서의 분류의 시각화를 포함할 수 있다. 시각적 분류는 사용자에 의해, 및/또는 계산적으로 수행될 수 있다.
전술한 슬라이드 우선순위화 툴은 연구, 및/또는 생산/임상/산업 설정들에서 이용가능한 특정 응용들 또는 실시예들을 포함할 수 있다. 실시예들은 다양한 개발 및 이용 단계들에서 발생할 수 있다. 툴은 아래의 실시예들 중 하나 이상을 이용할 수 있다.
일 실시예에 따르면, 우선순위화는 품질 제어에 기초할 수 있다. 품질 제어 문제들은 진단을 행하는 병리학자의 능력에 영향을 미칠 수 있다. 다시 말해서, 품질 제어 문제들은 케이스에 대한 소요 시간(turnaround time)을 증가시킬 수 있다. 예를 들어, 열악하게 준비되고 스캐닝된 슬라이드는 품질 제어 문제가 발견되기 전에, 병리학자의 큐에 전송될 수 있다. 일 실시예에 따르면, 소요 시간은 그것이 병리학자의 큐에 도달하기 전에 품질 제어 문제를 식별함으로써 단축될 수 있고, 따라서 병리학 진단 작업흐름에서 시간을 절약할 수 있다. 예를 들어, 본 실시예는 품질 제어 문제들로 케이스들/슬라이드(들)를 식별 및 분류하고, 슬라이드(들)가 병리학자에 도달하기 전에, 문제를 실험실 및 스캐너 기술자들에게 시그널링할 수 있다. 이러한 품질 제어 캐치는 작업흐름에서 더 일찍 효율을 개선할 수 있다.
도 4는 품질 제어 우선순위화 툴을 개발하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(400 및 420)(예를 들어, 단계들 401-425)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 품질 제어 우선순위화 툴을 개발하기 위한 예시적인 방법(400)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 401에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 디지털화된 병리학 이미지들의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 403에서, 방법은 데이터세트의 각각의 병리학 이미지에 대한 하나 이상의 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 수신 또는 결정하는 것을 포함할 수 있다. 추가적인 예시적인 라벨들은 스캐닝 아티팩트들(예를 들어, 스캐닝 라인들, 누락 조직, 블러 등) 및 슬라이드 준비 아티팩트들(예를 들어, 폴딩된 조직, 열악한 염색, 손상된 슬라이드, 마킹 등)을 포함할 수 있지만 이에 제한되지 않는다. 단계 405에서, 방법은 각각의 이미지 및 그것의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다.
단계 407에서, 방법은, 입력으로서, 병리학 표본의 하나 이상의 디지털 이미지를 취하고, 각각의 디지털 이미지에 대한 우선순위화 랭크를 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다. 기계 학습 알고리즘을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집결; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 특징들은, CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 대해 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)을 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 4의 기계 학습 알고리즘들에 적용될 수 있다.
품질 제어 우선순위화 툴을 이용하기 위한 예시적인 방법(420)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 421에서, 방법은 사용자에 대응하는 디지털 병리학 이미지를 수신하는 것을 포함할 수 있다. 단계 423에서, 방법은 수신된 디지털 병리학 이미지와 연관된 케이스 및/또는 슬라이드에 대한 랭크 순서 또는 통계를 결정하는 것을 포함할 수 있다. 랭크 순서 또는 통계는 (예를 들어, 방법(400)의) 훈련된 계산 병리학 기계 학습 알고리즘을 수신된 이미지에 적용함으로써 결정될 수 있다. 랭크 순서 또는 통계는 수신된 이미지와 연관된 슬라이드 또는 수신된 이미지와 연관된 케이스에 대한 검토 또는 추가적인 슬라이드 준비를 우선순위화하기 위해 이용될 수 있다.
단계 425에서, 방법은 랭크 순서 또는 통계를 출력하는 것을 포함할 수 있다. 하나의 출력은 사용자의 선호도들, 휴리스틱들, 통계들, 목적들(예를 들어, 효율성, 난이도, 긴급성 등)에 기초하여 순서대로 하나 이상의 변화(들)의 결정 및/또는 디스플레이를 포함할 수 있다. 대안적으로 또는 추가로, 출력은 생성된 순서에 기초하여, 케이스 레벨에서 수신된 이미지의 시각적 분류를 포함할 수 있다. 예를 들어, 그러한 시각적 분류는 타겟 특징에 대한 최대 또는 최소 슬라이드 확률에 기초하여, 타겟 특징에 대한 모든 슬라이드들에 걸친 평균 확률에 기초하여, 타겟 특징을 보여주는 슬라이드들의 원시 수에 기초하여, 등등으로 순서화된 케이스들의 분류를 포함하는 디스플레이를 포함할 수 있다. 다른 출력은 생성된 순서에 기초하여, 각각의 케이스 내의 슬라이드 레벨 또는 조직 블록 레벨에서의 분류의 시각화를 포함할 수 있다. 시각적 분류는 사용자에 의해, 및/또는 계산적으로 수행될 수 있다. 또 다른 출력은 특정 품질 제어 문제의 식별 및/또는 식별된 품질 제어 문제를 다루기 위한 경고를 포함할 수 있다. 예를 들어, 품질 제어 메트릭은 각각의 슬라이드에 대해 계산될 수 있다. 품질 제어 메트릭은 품질 제어 문제의 존재 및/또는 심각도를 나타낼 수 있다. 경고는 특정 요원에게 송신될 수 있다. 예를 들어, 이 단계는 식별된 품질 제어 문제와 연관된 요원을 식별하고, 식별된 요원에 대한 경고를 생성하는 것을 포함할 수 있다. 경고의 다른 양태는 품질 제어 문제가 진단을 행하는 것에 영향을 미치는지를 파악하는 단계를 포함할 수 있다. 일부 실시예들에서, 경고는 식별된 품질 제어 문제가 진단을 행하는 것에 영향을 미치는 경우에만 생성되거나 프롬프트될 수 있다. 예를 들어, 경고는 품질 제어 문제와 연관된 품질 제어 메트릭이 미리 결정된 품질 제어 메트릭 임계값을 통과하는 경우에만 생성될 수 있다.
일 실시예에 따르면, 우선순위화는 효율을 증가시키도록 설계될 수 있다. 현재, 대부분의 기관들 및 연구소들은 각각의 병리학자에 대한 표준화된 소요 시간 예상들을 갖는다. 시간은 병리학 표본의 접근 지점으로부터 측정될 수 있고, 1차 병리학자에 의해 서명될 수 있다. 실제로, 병리학자들은 최종 진단을 행하기 전에 일부 케이스들에 대한 더 많은 정보를 위해 추가적인 염색들 또는 재절단들을 주문할 수 있다. 추가적인 염색 또는 재절단 주문들은 특정 병리학 하위과목들(subspecialties)에서 더 많을 수 있다. 추가적인 주문들은 소요 시간을 증가시킬 수 있고, 따라서 환자에 영향을 미칠 수 있다. 현재 실시예는, 예를 들어, 추가적인 염색(들) 또는 재절단(들)이 병리학자 검토 전에 주문될 수 있도록, 또는 병리학자들이 그러한 슬라이드(들)를 더 빨리 검토하고 추가적인 염색(들) 또는 재절단(들)을 더 빨리 주문할 수 있도록, 검토를 위해 이러한 타입들의 하위과목 케이스들을 우선순위화할 수 있다. 그러한 우선순위화는 소요 시간을 낮추고, 슬라이드 검토의 효율을 높일 수 있다.
도 5는 효율 우선순위화 툴을 개발하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(500 및 520)(예를 들어, 단계들 501-525)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 효율 우선순위화 툴을 개발하기 위한 예시적인 방법(500)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 501에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 디지털화된 병리학 이미지들의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 503에서, 방법은 데이터세트의 각각의 병리학 이미지에 대한 하나 이상의 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 수신 또는 결정하는 것을 포함할 수 있다. 추가적인 예시적인 라벨들은 다음의 슬라이드 준비 라벨들을 포함할 수 있지만 이에 한정되지 않는다: (1) 표본 재절단에 대한 가능성 있는 필요; (2) 면역조직화학 염색에 대한 가능성 있는 필요; (3) 추가적인 진단 테스트(예를 들어, 게놈 테스트)에 대한 가능성 있는 필요; (4) 제2 의견(상담)에 대한 가능성 있는 필요; 및/또는 (5) 특수 염색에 대한 가능성 있는 필요.
단계 505에서, 방법은 각각의 이미지 및 그것의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다. 단계 507에서, 방법은 병리학 표본의 하나 이상의 디지털 이미지를 입력으로서 취하고, 이후 각각의 디지털 이미지에 대한 우선순위화 랭크를 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다. 기계 학습 알고리즘을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만 이에 제한되지 않는다. 예시적인 특징들은 CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 대해 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)을 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 5의 기계 학습 알고리즘들에 적용될 수 있다.
효율 우선순위화 툴을 이용하기 위한 예시적인 방법(520)은 이하의 단계들 중 하나 이상을 포함할 수 있다. 단계 521에서, 방법은 사용자에 대응하는 디지털 병리학 이미지를 수신하는 것을 포함할 수 있다. 단계 523에서, 방법은 수신된 디지털 병리학 이미지와 연관된 케이스 및/또는 슬라이드에 대한 랭크 순서 또는 통계를 결정하는 것을 포함할 수 있다. 랭크 순서 또는 통계는 (예를 들어, 방법(500)의) 훈련된 계산 병리학 기계 학습 알고리즘을 수신된 이미지에 적용함으로써 결정될 수 있다. 랭크 순서 또는 통계는 수신된 이미지와 연관된 슬라이드 또는 수신된 이미지와 연관된 케이스에 대한 검토 또는 추가 슬라이드 준비를 우선순위화하기 위해 이용될 수 있다.
단계 525에서, 방법은 랭크 순서 또는 통계를 출력하는 것을 포함할 수 있다. 하나의 출력은 사용자의 선호도들, 휴리스틱들, 통계들, 목적들(예를 들어, 효율성, 난이도, 긴급성 등)에 기초하여 순서대로 하나 이상의 변화(들)의 결정 및/또는 디스플레이를 포함할 수 있다. 대안적으로 또는 추가로, 출력은 생성된 순서에 기초하여, 케이스 레벨에서 수신된 이미지의 시각적 분류를 포함할 수 있다. 예를 들어, 그러한 시각적 분류는 타겟 특징에 대한 최대 또는 최소 슬라이드 확률에 기초하여, 타겟 특징에 대한 모든 슬라이드들에 걸친 평균 확률에 기초하여, 타겟 특징을 보여주는 슬라이드들의 원시 수에 기초하여, 등등으로 순서화된 케이스들의 분류를 포함하는 디스플레이를 포함할 수 있다. 시각적 분류는 사용자에 의해, 및/또는 계산적으로 수행될 수 있다. 다른 출력은 생성된 순서에 기초하여, 각각의 케이스 내의 슬라이드 레벨 또는 블록 레벨에서의 분류의 시각화를 포함할 수 있다. 또 다른 출력은 염색 또는 재절단 위치 추천을 포함할 수 있다. 또 다른 출력은 예측된 염색 순서(들), 재절단 순서(들), 테스트(들) 또는 상담(들)의 순서 또는 "사전-순서"를 생성하는 것을 포함할 수 있다.
일 실시예에 따르면, 슬라이드 우선순위화는 진단 특징들에 기초할 수 있다. 병리학자들은 다양한 년들(years) 및 타입들의 경험, 및 자원들에 대한 액세스의 레벨들을 가질 수 있다. 예를 들어, 일반 병리학자들은 다양한 진단들을 갖는 광범위한 표본 타입들을 검토할 수 있다. 케이스 볼륨의 증가 및 새로운 병리학자들의 감소로, 실시하는 병리학자들은 다양하고 큰 볼륨들의 케이스들을 검토하기 위한 압박 하에 있을 수 있다. 이하의 실시예는 케이스들/슬라이드들을 분류 시에 병리학자들을 보조하기 위한 특징 식별을 포함할 수 있다. 특징 식별은 디지털화된 병리학 슬라이드/케이스 이미지들에서 이미지 특징들에 대한 시각적 보조들을 포함할 수 있고, 여기서 그렇지 않으면 누락되거나 간과되었을 수 있는 이미지 특징들이 있다.
도 6은 진단 특징 우선순위화 툴을 개발하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(600 및 620)(예를 들어, 단계들 601-625)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 진단 특징 우선순위화 툴을 개발하기 위한 예시적인 방법(600)은 이하의 단계들 중 하나 이상을 포함할 수 있다. 단계 601에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 디지털화된 병리학 이미지들의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 603에서, 방법은 데이터세트의 각각의 병리학 이미지에 대한 하나 이상의 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 포함할 수 있다. 추가적인 예시적인 진단 특징 라벨들은 암 존재, 암 등급, 수술 마진에 가까운 암, 치료 효과들, 전암성 병변들, 및 감염성 유기체들(예를 들어, 바이러스, 진균, 박테리아, 기생충 등)의 존재를 암시하는 특징들을 포함할 수 있지만, 이에 제한되지 않는다. 단계 605에서, 방법은 각각의 이미지 및 그것의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다.
단계 607에서, 방법은, 입력으로서, 병리학 표본의 하나 이상의 디지털 이미지를 취한 다음, 각각의 디지털 이미지에 대한 우선순위화 랭크를 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다. 기계 학습 알고리즘을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집결; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 특징들은, CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은, 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은, 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)를 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 이전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 6의 기계 학습 알고리즘들에 적용될 수 있다.
진단 특징 우선순위화 툴을 이용하기 위한 예시적인 방법(620)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 621에서, 방법은 사용자에 대응하는 디지털 병리학 이미지를 수신하는 것을 포함할 수 있다. 단계 623에서, 방법은 수신된 디지털 병리학 이미지와 연관된 케이스 및/또는 슬라이드에 대한 랭크 순서 또는 통계를 결정하는 것을 포함할 수 있다. 랭크 순서 또는 통계는 (예를 들어, 방법(600)의) 훈련된 계산 병리학 기계 학습 알고리즘을 수신된 이미지에 적용함으로써 결정될 수 있다. 랭크 순서 또는 통계는 수신된 이미지와 연관된 슬라이드 또는 수신된 이미지와 연관된 케이스에 대한 검토 또는 추가적인 슬라이드 준비를 우선순위화하는데 이용될 수 있다. 이 케이스에서의 랭크 순서 또는 통계는 디지털 병리학 이미지에서 검출된 진단 특징들과 연관된 통계(들)를 포함할 수 있다.
단계 625에서, 방법은 랭크 순서 또는 통계를 출력하는 것을 포함할 수 있다. 하나의 출력은 사용자의 선호도들, 휴리스틱들, 통계들, 목적들(예를 들어, 효율성, 난이도, 긴급성 등)에 기초하여 순서대로 하나 이상의 변화(들)의 결정 및/또는 디스플레이를 포함할 수 있다. 대안적으로 또는 추가로, 출력은 생성된 순서에 기초하여, 케이스 레벨에서 수신된 이미지의 시각적 분류를 포함할 수 있다. 예를 들어, 그러한 시각적 분류는 타겟 특징에 대한 최대 또는 최소 슬라이드 확률에 기초하여, 타겟 특징에 대한 모든 슬라이드들에 걸친 평균 확률에 기초하여, 타겟 특징을 보여주는 슬라이드들의 원시 수에 기초하여, 등등으로 순서화된 케이스들의 분류를 포함하는 디스플레이를 포함할 수 있다. 시각적 분류는 사용자에 의해, 및/또는 계산적으로 수행될 수 있다. 다른 출력은 생성된 순서에 기초하여, 각각의 케이스 내의 슬라이드 레벨 또는 블록 레벨에서의 분류의 시각화를 포함할 수 있다. 또 다른 출력은 하나 이상의 식별된 진단 특징에 대한 리스트, 시각적 표시, 또는 경고를 포함할 수 있다. 일 실시예는 검토의 우선순위화를 위해 진단 특징들 중 하나(또는 임의의 조합)를 사용자가 선택하기 위한 옵션 또는 메뉴 인터페이스를 포함할 수 있다.
일 실시예에 따르면, 슬라이드 우선순위화는 긴급성에 기초할 수 있다. 진단은 환자의 의료 프로세스에 중요할 수 있다. 케이스의 임상적 긴급성에 기초하여 병리학 검토/진단을 우선순위화하는 것은 외과의사, 병리학자, 임상의 및 환자 사이의 통신을 간소화할 수 있다. 긴급성은 검출하기 어려울 수 있는데, 그 이유는 많은 임상 시나리오들이 그들의 신체에서 "덩어리(mass)"를 제시하는, 암의 이전 이력을 갖지 않는 환자를 수반하기 때문이다. 결과는 처음으로, 예상치 못한 암 진단일 수 있다. 지식이 존재하지 않거나 이용가능하지 않은 그러한 케이스들에서, "사용자 입력"은 케이스가 "긴급한" 것으로 간주되는 때를 정의할 수 있다. 예를 들어, 임상의는 병리학자를 호출하고 주어진 케이스가 긴급한 것이라고 표시할 수 있다. 그러한 상황들에서, 사람/임상의는 해당 케이스를 급하게 요청했을 수 있다. 현재, 임상의는 표본을 "러쉬(RUSH)" 상태를 갖는 것으로서 수동으로 라벨링할 수 있다. 표본은 새롭게 의심되는 암 진단을 갖는 환자로부터의 "덩어리"를 포함할 수 있다. 러쉬 상태는 표본/케이스를 핸들링하는 병리학자에게 통신될 수 있다. 병리학자가 완료된 슬라이드들의 세트를 수신할 때, 병리학자는 "러쉬" 표본들과 연관된 슬라이드들의 검토를 우선순위화할 수 있다.
도 7은 사용자 입력 기반 우선순위화 툴을 개발하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(700 및 720)(예를 들어, 단계들 701-725)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 사용자 입력 기반 우선순위화 툴을 개발하기 위한 예시적인 방법(700)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 701에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 디지털화된 병리학 이미지들의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 703에서, 방법은 데이터세트의 각각의 병리학 이미지에 대한 하나 이상의 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 수신 또는 결정하는 것을 포함할 수 있다. 추가적인 예시적인 사용자 기반 우선순위 라벨들은 환자 긴급성, 임상 질문에 대한 진단 관련성, 임상 시험 등록, 제시된 위험 인자들, 및/또는 사용자 입력을 포함할 수 있다. 단계 705에서, 방법은 각각의 이미지 및 그것의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다.
단계 707에서, 방법은, 입력으로서, 병리학 표본의 하나 이상의 디지털 이미지를 취한 다음, 각각의 디지털 이미지에 대한 우선순위화 랭크를 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다. 기계 학습 알고리즘을 구현하기 위한 상이한 방법은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 특징들은, CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은, 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은, 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)를 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 이전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 7의 기계 학습 알고리즘들에 적용될 수 있다.
사용자 입력 기반 우선순위화 툴을 이용하기 위한 예시적인 방법(720)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 721에서, 방법은 사용자에 대응하는 디지털 병리학 이미지를 수신하는 것을 포함할 수 있다. 단계 723에서, 방법은 수신된 디지털 병리학 이미지와 연관된 케이스 및/또는 슬라이드에 대한 랭크 순서 또는 통계를 결정하는 것을 포함할 수 있다. 랭크 순서 또는 통계는 (예를 들어, 방법(700)의) 훈련된 계산 병리학 기계 학습 알고리즘을 수신된 이미지에 적용함으로써 결정될 수 있다. 랭크 순서 또는 통계는 수신된 이미지와 연관된 슬라이드 또는 수신된 이미지와 연관된 케이스에 대한 검토 또는 추가적인 슬라이드 준비를 우선순위화하는데 이용될 수 있다. 이 케이스에서의 랭크 순서 또는 통계는 디지털 병리학 이미지에서 검출된 진단 특징들과 연관된 통계(들)를 포함할 수 있다.
단계 725에서, 방법은 랭크 순서 또는 통계를 출력하는 것을 포함할 수 있다. 하나의 출력은 사용자의 선호도들, 휴리스틱들, 통계들, 목적들(예를 들어, 효율성, 난이도, 긴급성 등)에 기초하여 순서대로 하나 이상의 변화(들)의 결정 및/또는 디스플레이를 포함할 수 있다. 대안적으로 또는 추가로, 출력은 생성된 순서에 기초하여, 케이스 레벨에서 수신된 이미지의 시각적 분류를 포함할 수 있다. 예를 들어, 그러한 시각적 분류는 타겟 특징에 대한 최대 또는 최소 슬라이드 확률에 기초하여, 타겟 특징에 대한 모든 슬라이드들에 걸친 평균 확률에 기초하여, 타겟 특징을 보여주는 슬라이드들의 원시 수에 기초하여, 등등으로 순서화된 케이스들의 분류를 포함하는 디스플레이를 포함할 수 있다. 시각적 분류는 사용자에 의해, 및/또는 계산적으로 수행될 수 있다. 다른 출력은 생성된 순서에 기초하여, 각각의 케이스 내의 슬라이드 레벨 또는 블록 레벨에서의 분류의 시각화를 포함할 수 있다. 또 다른 출력은 결정된 랭크 순서 또는 통계에 기초하여, 케이스 완료에 대한 시간 추정을 포함할 수 있다(예를 들어, 단계 725). 시간 추정은 방법(700)의 알고리즘뿐만 아니라, 슬라이드 준비 또는 처리를 위한 큐에서의 다른 슬라이드들/케이스들에 기초할 수 있다. 출력은 시간 추정을 의사에게 제공하는 것을 포함할 수 있다. 추가 실시예는 보고서, 진단, 또는 슬라이드 준비가 완료될 때 참조 의사에게 통지하는 것을 포함할 수 있다.
도 8은 본 개시내용의 예시적인 실시예에 따른, 케이스 당 기관의 요구되는 소요 시간(예를 들어, 48시간), 환자 긴급 요구, 직원 제약 등을 충족시키기 위해 병리학자들에게 케이스들을 우선순위화하고 분배하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(800 및 820)(예를 들어, 단계들 801-825)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 방법은 케이스 당 기관의 요구되는 소요 시간(예를 들어, 48시간), 환자 긴급 요구, 직원 제약 등을 충족시키기 위해 병리학자들에게 케이스들을 우선순위화하고 분배하는 것을 포함할 수 있다. 도 8에 도시된 바와 같이, 케이스 할당 우선순위화 툴을 개발하기 위한 예시적인 방법(800)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 801에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 디지털화된 병리학 이미지들의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 803에서, 방법은 데이터세트의 각각의 병리학 이미지에 대한 하나 이상의 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 수신 또는 결정하는 것을 포함할 수 있다. 단계 803은 추가적인 입력(들), 예를 들어, 기관/실험실 네트워크/조직학 실험실/병리학자 요건들 및/또는 제약들을 수신하는 것을 포함할 수 있다. 단계 805에서, 방법은 각각의 이미지 및 그것의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다.
단계 807에서, 방법은 (1) 병리학 표본의 하나 이상의 디지털 이미지 및/또는 (2) 시스템/작업흐름 요건들/제약들을 입력으로서 취하고, 그 후 각각의 디지털 이미지에 대한 우선순위화 랭크를 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다(예를 들어, 단계 807). 기계 학습 알고리즘을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 특징들은, CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은, 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은, 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)를 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 이전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 8의 기계 학습 알고리즘들에 적용될 수 있다.
케이스 할당 우선순위화 툴을 이용하기 위한 예시적인 방법(820)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 821에서, 방법은 사용자에 대응하는 디지털 병리학 이미지를 수신하는 것을 포함할 수 있다. 단계 823에서, 방법은 수신된 디지털 병리학 이미지와 연관된 케이스 및/또는 슬라이드에 대한 랭크 순서 또는 통계를 결정하는 것을 포함할 수 있다. 랭크 순서 또는 통계는 (예를 들어, 방법(800)의) 훈련된 계산 병리학 기계 학습 알고리즘을 수신된 이미지에 적용함으로써 결정될 수 있다. 랭크 순서 또는 통계는 수신된 이미지와 연관된 슬라이스 또는 수신된 이미지와 연관된 케이스에 대한 검토 또는 추가적인 슬라이드 준비를 우선순위화하는데 이용될 수 있다. 이 케이스에서의 랭크 순서 또는 통계는 디지털 병리학 이미지에서 검출된 진단 특징들과 연관된 통계(들)를 포함할 수 있다.
단계 825에서, 방법은 랭크 순서 또는 통계를 출력하는 것을 포함할 수 있다. 하나의 출력은 사용자의 선호도들, 휴리스틱들, 통계들, 목적들(예를 들어, 효율성, 난이도, 긴급성 등)에 기초하여 순서대로 하나 이상의 변화(들)의 결정 및/또는 디스플레이를 포함할 수 있다. 대안적으로 또는 추가로, 출력은 생성된 순서에 기초하여, 케이스 레벨에서 수신된 이미지의 시각적 분류를 포함할 수 있다. 예를 들어, 그러한 시각적 분류는 타겟 특징에 대한 최대 또는 최소 슬라이드 확률에 기초하여, 타겟 특징에 대한 모든 슬라이드들에 걸친 평균 확률에 기초하여, 타겟 특징을 보여주는 슬라이드들의 원시 수에 기초하여, 등등으로 순서화된 케이스들의 분류를 포함하는 디스플레이를 포함할 수 있다. 시각적 분류는 사용자에 의해, 및/또는 계산적으로 수행될 수 있다. 다른 출력은 생성된 순서에 기초하여, 각각의 케이스 내의 슬라이드 레벨 또는 블록 레벨에서의 분류의 시각화를 포함할 수 있다. 또 다른 출력은 병리학 또는 하위과목 의료 팀 내의, 또는 병리학자(들)의 네트워크 내의 케이스들의 분포 및/또는 할당을 생성하는 것을 포함할 수 있다. 추가 실시예는 특정 병리학자들, 또는 병리학자들의 세트에 케이스들을 할당하는 것을 포함할 수 있다. 생성된 분포 또는 할당은 의료 종사자 가용성, 이전 경험 레벨, 의료 전문, 환자 명단, 및/또는 기관/실험실 요건들 및 제약들에 기초하여 최적화될 수 있다.
도 9는 본 개시내용의 예시적인 실시예에 따른, 병리학자로부터 학습하는 패턴에 기초하여 우선순위화 시스템을 지속적으로 학습 및 최적화하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(900 및 920)(예를 들어, 단계들 901-925)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다. 이 학습 및 최적화 프로세스는 툴이 이용 중인 동안 발생할 수 있다. 그러한 지속적인 학습 및 최적화는 병리학자들이 그들의 선호도들(예를 들어, 용이한 케이스들 전에 어려운 케이스들을 보는 것) 및 습관들(예를 들어, 특정 표본들에 대한 특정 염색들에 대한 장소 순서)에 맞춰진 우선순위화 툴을 경험하게 할 수 있다.
일 실시예에 따르면, 개인화된 툴을 개발하기 위한 예시적인 방법(900)은 아래의 단계들 중 하나 이상을 포함한다. 단계 901에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 디지털화된 병리학 이미지들의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 903에서, 방법은 데이터세트의 각각의 병리학 이미지에 대한 하나 이상의 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 수신 또는 결정하는 것을 포함할 수 있다. 단계 903은 추가적인 입력(들), 예를 들어, 사용자 액션들, 입력들(예를 들어, 선호도들), 또는 패턴들을 수신 또는 검출하는 것을 포함할 수 있다. 단계 905에서, 방법은 각각의 이미지 및 그의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다.
단계 907에서, 방법은 입력으로서 (1) 병리학 표본의 하나 이상의 디지털 이미지 및/또는 (2) 사용자 액션들, 입력들, 또는 패턴들을 취하고, 이후 각각의 디지털 이미지에 대한 우선순위화 랭크를 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다(예를 들어, 단계 907). 기계 학습 알고리즘을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 특징들은, CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은, 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은, 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)를 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 이전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 9의 기계 학습 알고리즘들에 적용될 수 있다.
툴을 이용하기 위한 예시적인 방법(920)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 921에서, 방법은 사용자에 대응하는 디지털 병리학 이미지를 수신하는 것을 포함할 수 있다. 단계 923에서, 방법은 수신된 디지털 병리학 이미지와 연관된 케이스 및/또는 슬라이드에 대한 랭크 순서 또는 통계를 결정하는 것을 포함할 수 있다. 랭크 순서 또는 통계는 (예를 들어, 방법(900)의) 훈련된 계산 병리학 기계 학습 알고리즘을 수신된 이미지에 적용함으로써 결정될 수 있다. 랭크 순서 또는 통계는 수신된 이미지와 연관된 슬라이드 또는 수신된 이미지와 연관된 케이스에 대한 검토 또는 추가적인 슬라이드 준비를 우선순위화하는데 이용될 수 있다. 이 케이스에서의 랭크 순서 또는 통계는 디지털 병리학 이미지에서 검출된 진단 특징들과 연관된 통계(들)를 포함할 수 있다.
단계 925에서, 방법은 랭크 순서 또는 통계를 출력하는 것을 포함할 수 있다. 하나의 출력은 사용자의 선호도들, 휴리스틱들, 통계들, 목적들(예를 들어, 효율성, 난이도, 긴급성 등)에 기초하여 순서대로 하나 이상의 변화(들)의 결정 및/또는 디스플레이를 포함할 수 있다. 대안적으로 또는 추가로, 출력은 생성된 순서에 기초하여, 케이스 레벨에서 수신된 이미지의 시각적 분류를 포함할 수 있다. 예를 들어, 그러한 시각적 분류는 타겟 특징에 대한 최대 또는 최소 슬라이드 확률에 기초하여, 타겟 특징에 대한 모든 슬라이드들에 걸친 평균 확률에 기초하여, 타겟 특징을 보여주는 슬라이드들의 원시 수에 기초하여, 등등으로 순서화된 케이스들의 분류를 포함하는 디스플레이를 포함할 수 있다. 시각적 분류는 사용자에 의해, 및/또는 계산적으로 수행될 수 있다. 다른 출력은 생성된 순서에 기초하여, 각각의 케이스 내의 슬라이드 레벨 또는 조직 블록 레벨에서의 분류의 시각화를 포함할 수 있다. 또 다른 출력은, 예를 들어, 개별 병리학자 선호도들, 강도들, 약점들, 가용성 등에 기초하여, 병리학 또는 하위과목 의료 팀 내의, 또는 병리학자(들)의 네트워크 내의 케이스들의 분포 및/또는 할당을 생성하는 것을 포함할 수 있다.
일 실시예에 따르면, 방법은 병리학자들, 의료 학생들, 병리학 레지던트들, 연구원들 등을 교육 및 평가하기 위해 최적화하는 것을 포함할 수 있다. 숙련된 병리학자가 되기 위해, 의료 학생들 및 병리학 레지던트들은 이 기술에 적합하게 될 많은 슬라이드들 또는 슬라이드 이미지들을 볼 수 있다. 이 실시예는 가장 교육적인 이익을 제공하는 디지털 병리학 이미지들을 사용자에게 제시함으로써 이 학습 프로세스를 더 효율적이게 하는 것을 목표로 한다. 예를 들어, 제시된 병리학 이미지는 특정 질병의 프로토타입, 또는 질병을 검출하는데 있어서 혼동/오류의 공통 지점을 디스플레이할 수 있다. 이 실시예는 진료의들이 가장 많이 학습할 수 있는 이미지를 예측하고 선택하거나, 또는 간격을 둔 반복 메커니즘들을 이용하는 것에 관한 것일 수 있다. 이미지에 대한 예측된 교육적 값은 이미지가 분류하기가 얼마나 어려운지, 사용자가 이미지의 이미지 속성들을 식별하는데 있어서 또는 이미지에 기초한 그들의 진단에 있어서 이전에 오류가 있었는지, 사용자가 기계 학습 모델(예를 들어, 사용자의 능동 학습 또는 모델)을 이용하여 그 이미지에 대한 그들의 지식을 리프레시해야 하는지 등의 함수에 기초하여 계산될 수 있다.
도 10은 본 개시내용의 예시적인 실시예에 따른, 교육 병리학 슬라이드 우선순위화 툴을 생성 및 이용하기 위한 예시적인 방법들을 도시한다. 예를 들어, 예시적인 방법들(1000 및 1020)(예를 들어, 단계들 1001-1027)은 자동으로 또는 사용자(예를 들어, 의사, 병리학자 등)로부터의 요청에 응답하여 슬라이드 우선순위화 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 교육 툴을 개발하기 위한 예시적인 방법(1000)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 1001에서, 방법은 암 서브타입들 및 조직 표본들(예를 들어, 조직학, 세포학, 혈액학, 마이크로CT 등)에 걸쳐 디지털화된 병리학 이미지들의 데이터세트를 생성하는 것을 포함할 수 있다. 단계 1003에서, 방법은 데이터세트의 각각의 병리학 이미지에 대해 하나 이상의 이미지 속성 라벨(예를 들어, 슬라이드 형태, 진단, 결과, 난이도 등)을 수신 또는 결정하는 것을 포함할 수 있다. 단계 1005에서, 방법은 각각의 이미지 및 그것의 대응하는 라벨(들)을 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 저장하는 것을 포함할 수 있다. 단계 1007에서, 방법은 병리학 표본의 하나 이상의 디지털 이미지를 입력으로서 취하고, 그 후 각각의 디지털 이미지에 대한 교육적 값을 예측하는 계산 병리학 기반 기계 학습 알고리즘을 훈련하는 것을 포함할 수 있다. 기계 학습 알고리즘을 구현하기 위한 상이한 방법들은 (1) CNN(Convolutional Neural Network); (2) MIL(Multiple Instance Learning); (3) RNN(Recurrent Neural Network); (4) CNN을 통한 특징 집계; 및/또는 (5) 앙상블 방법들(예를 들어, 랜덤 포레스트), 선형/비선형 분류기들(예를 들어, SVM들, MLP), 및/또는 차원 감소 기술들(예를 들어, PCA, LDA)에 따른 특징 추출을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 특징들은, CNN으로부터의 벡터 임베딩들, CNN으로부터의 단일/다중 클래스 출력, 및/또는 CNN으로부터의 다차원 출력(예를 들어, 원래의 이미지의 마스크 오버레이)을 포함할 수 있다. CNN은, 더 나은 진단 성능으로 이어질 수 있는, 픽셀들로부터 직접 분류 작업들에 대한 특징 표현들을 학습할 수 있다. 영역들 또는 픽셀별 라벨들에 대한 상세한 주석들이 이용가능할 때, CNN은 많은 양의 라벨링된 데이터가 있는 경우에 직접 훈련될 수 있다. 그러나, 라벨들이 전체 슬라이드 레벨에만 있거나 (병리학에서 "부분"으로 불릴 수 있는) 그룹에서의 슬라이드들의 집합에 걸쳐 있을 때, MIL은 CNN 또는 다른 신경망 분류기를 훈련하는데 이용될 수 있고, 여기서 MIL은 완전한 주석들 없이 학습하는 능력을 이끌어내는 분류 작업에 대해 진단적인 이미지 영역들을 학습한다. RNN은 그 후에 예측을 행하기 위해 처리하는 다수의 이미지 영역들(예를 들어, 타일들)로부터 추출된 특징들에 이용될 수 있다. 다른 기계 학습 방법들, 예를 들어, 랜덤 포레스트, SVM, 및 다수의 다른 것들은, 분류 작업을 행하기 위해 CNN에 의해 학습된 특징들, MIL을 갖는 CNN과 함께, 또는 손으로 제작된 이미지 특징들(예를 들어, SIFT 또는 SURF)를 이용하여 이용될 수 있지만, 이들은 픽셀들로부터 직접 훈련될 때 열악하게 수행될 수 있다. 이 방법들은 이용가능한 많은 양의 주석된 훈련 데이터가 있을 때 CNN 기반 시스템들에 비해 열악하게 수행하는 경향이 있다. 차원 감소 기술들은 이용가능한 데이터가 거의 없는 경우에 유용할 수 있는, 언급된 분류기들 중 임의의 것을 이용하기 이전에 전처리 단계로서 이용될 수 있다.
도 2에 대한 기계 학습 알고리즘들의 상기의 설명(예를 들어, 표 1 및 대응하는 설명)은 또한 도 10의 기계 학습 알고리즘들에 적용될 수 있다.
교육 툴을 이용하기 위한 예시적인 방법(1020)은 아래의 단계들 중 하나 이상을 포함할 수 있다. 단계 1021에서, 방법은 교육적 가치를 갖는 것으로 예측되는 병리학 이미지를 사용자(예를 들어, 병리학 피훈련자)에게 디스플레이하는 것을 포함할 수 있다. 단계 1023에서, 방법은 이미지의 하나 이상의 속성을 나타내는 사용자 입력을 수신하는 것을 포함할 수 있다. 사용자 입력은 이미지 속성의 추정, 예를 들어, 암 등급을 포함할 수 있다. 단계 1025에서, 방법은 사용자의 입력을 저장하는 것 및/또는 디스플레이된 이미지와 연관된 이미지 난이도 메트릭을 수정하는 것을 포함할 수 있다. 툴은 저장된 이미지 속성들에 대한 사용자의 입력의 스코어를 더 저장할 수 있다.
단계 1027에서, 툴은 사용자 입력이 올바른 것이었는지에 관한 피드백을 사용자에게 제공할 수 있다. 피드백은 사용자가 이미지 속성들의 그 식별을 개선하는데 도움을 주는 표시자들을 더 포함할 수 있다. 저장된 이미지 속성들의 예시적인 표시자들은 사용자가, 예를 들어, 암을 갖는 영역을 하이라이트함으로써, 주요 이미지 속성들을 식별하기 위해 어디를 주시해야 하는지를 나타낼 수 있다. 이 표시자들은 사용자가 어디를 주시해야 하는지를 알아내는데 도움을 줄 수 있다. 피드백은 사용자가 개선할 수 있는 진단 영역들, 예를 들어, 사용자가 주요 이미지 속성들을 일관성있게 식별하지 못하는 곳을 더 식별할 수 있다. 이 툴 이용은 반복적일 수 있다. 예를 들어, 툴은 저장된 이미지 속성들을 식별하는 사용자의 능력(또는 무능력)에 기초하여, 사용자 명령에 기초하여, 또는 이들의 조합에 기초하여, 다른 이미지를 디스플레이하는 것에 의해 사용자를 훈련시킬 수 있다.
도 11에 도시된 바와 같이, 디바이스(1100)는 중앙 처리 유닛(CPU)(1120)을 포함할 수 있다. CPU(1120)는, 예를 들어, 임의의 타입의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는, 임의의 타입의 프로세서 디바이스일 수 있다. 관련 기술 분야의 통상의 기술자라면 잘 알 수 있듯이, CPU(1120)는 또한 멀티코어/멀티프로세서 시스템(이러한 시스템은 단독으로 동작함), 또는 클러스터 또는 서버 팜(server farm)에서 동작하는 컴퓨팅 디바이스들의 클러스터에서의 단일 프로세서일 수 있다. CPU(1120)는 데이터 통신 인프라스트럭처(1110), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티코어 메시지 전달 스킴에 접속될 수 있다.
디바이스(1100)는 또한 메인 메모리(1140), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(1130)를 포함할 수 있다. 보조 메모리(1130), 예를 들어, 판독 전용 메모리(ROM)는, 예를 들어, 하드 디스크 드라이브 또는 착탈식 저장 드라이브일 수 있다. 그러한 착탈식 저장 드라이브는, 예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 착탈식 저장 드라이브는 이 예에서 잘 알려진 방식으로 착탈식 저장 유닛으로부터 판독 및/또는 그에 기입한다. 착탈식 저장 유닛은 착탈식 저장 드라이브에 의해 판독 및 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 그러한 착탈식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터를 저장한 컴퓨터 이용가능 저장 매체를 포함한다.
대안적인 구현들에서, 보조 메모리(1130)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(1100) 내로 로딩되는 것을 허용하기 위한 다른 유사한 수단을 포함할 수 있다. 그러한 수단의 예들은 프로그램 카트리지 및 카트리지 인터페이스(예를 들어, 비디오 게임 디바이스들에서 발견되는 것), 착탈식 메모리 칩(예를 들어, EPROM, 또는 PROM) 및 관련 소켓, 및 소프트웨어 및 데이터가 착탈식 저장 유닛으로부터 디바이스(1100)로 전송되는 것을 허용하는 다른 착탈식 저장 유닛들 및 인터페이스들을 포함할 수 있다.
디바이스(1100)는 또한 통신 인터페이스("COM")(1160)를 포함할 수 있다. 통신 인터페이스(1160)는 소프트웨어 및 데이터가 디바이스(1100)와 외부 디바이스들 사이에서 전송되게 한다. 통신 인터페이스(1160)는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(1160)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(1160)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수 있는 신호들의 형태일 수 있다. 이러한 신호들은, 예를 들어, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있는, 디바이스(1100)의 통신 경로를 통해 통신 인터페이스(1160)에 제공될 수 있다.
디바이스(1100)는 또한 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 접속하기 위한 입력 및 출력 포트들(1150)을 포함할 수 있다. 물론, 다양한 서버 기능들은 처리 부하를 분산시키기 위해 다수의 유사한 플랫폼 상에 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.
본 개시내용 전체에 걸쳐, 컴포넌트들 또는 모듈들에 대한 참조들은 일반적으로, 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 유사한 참조 번호들은 일반적으로 동일하거나 유사한 컴포넌트들을 지칭하도록 의도된다. 컴포넌트들 및 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.
전술한 툴들, 모듈들, 및 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장" 타입 매체는 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장을 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등의 유형의 메모리, 또는 이들의 연관된 모듈들 중 임의의 것 또는 전부를 포함할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 원격통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 것으로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 이용되는 바와 같이, 비일시적인 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령어들을 제공하는데 참여하는 임의의 매체를 지칭한다.
상기의 일반적인 설명은 단지 예시적인 것이고 설명을 위한 것이며, 본 개시내용을 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에 개시된 본 발명의 명세서 및 실시의 고려로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 명세서 및 예들은 단지 예시적인 것으로 간주되는 것이 의도된다.

Claims (16)

  1. 이미지 처리 방법으로서,
    기계 학습 시스템을 이용하여, 타겟 이미지에서의 다수의 이미지 영역들로부터 추출된 미세 특징들(microscopic features)을 분석함으로써 상기 타겟 이미지의 관심 영역을 식별하는 단계―상기 기계 학습 시스템은 각각이 인간 조직의 이미지, 및 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및 분석 난이도 중 적어도 하나를 특징짓는 진단 라벨을 포함하는 복수의 훈련 이미지를 처리함으로써 생성됨―;
    상기 기계 학습 시스템을 이용하여, 평균 확률에 기초하여 상기 타겟 이미지의 상기 관심 영역에 타겟 특징이 존재할 확률을 결정하는 단계;
    상기 기계 학습 시스템을 이용하여, 상기 타겟 이미지에 상기 타겟 특징이 존재할 상기 확률에 기초하여 상기 타겟 이미지의, 복수의 우선순위화 값들 중의 우선순위화 값을 결정하는 단계―상기 우선순위화 값은 제1 사용자의 선호도들에 기초하여 결정된 제1 우선순위화 값 및 제2 사용자의 선호도들에 기초하여 결정된 제2 우선순위화 값을 포함함―; 및
    상기 기계 학습 시스템을 이용하여, 디지털화된 병리학 이미지들과 연관된 상기 복수의 우선순위화 값들에 기초하여 복수의 디지털화된 병리학 이미지들을 순서화하는 단계―상기 타겟 이미지의 상기 우선순위화 값에 기초한 상기 타겟 이미지의 배치는 상기 타겟 특징에 기초함―를 포함하는,
    이미지 처리 방법.
  2. 제1항에 있어서,
    상기 진단 라벨은 상기 타겟 이미지에 대한 새로운 슬라이드를 준비함으로써 추가 준비가 수행될 가능성에 대응하는 준비 값을 포함하는, 이미지 처리 방법.
  3. 제2항에 있어서,
    추가 준비는, 사용자 검토 전에 수행되는, 표본 재절단, 면역조직화학 염색, 추가적인 진단 테스트, 추가적인 상담, 및/또는 특수 염색 중 적어도 하나에 기초하여 상기 타겟 이미지에 대한 새로운 슬라이드를 준비함으로써 수행되는, 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 타겟 특징이 추가 준비가 수행될 것임을 표시하는 상기 타겟 이미지에서의 특징을 포함한다고 결정 시에, 사용자 검토 전에 상기 타겟 이미지에 대한 새로운 슬라이드를 준비하는 단계를 더 포함하는, 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 진단 특징은 암 존재, 암 등급, 치료 효과들, 전암성 병변들, 치료 선택을 위한 바이오마커들, 및/또는 감염성 유기체들의 존재 중 적어도 하나를 포함하는, 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 진단 라벨은 스캐닝 라인들, 누락 조직, 및/또는 블러 중 적어도 하나에 대응하는 아티팩트 라벨을 포함하는, 이미지 처리 방법.
  7. 이미지 처리 시스템으로서,
    명령어들을 저장하는 메모리; 및
    상기 명령어들을 실행하여 동작들을 수행하도록 구성된 프로세서를 포함하고,
    상기 동작들은,
    기계 학습 시스템을 이용하여, 타겟 이미지에서의 다수의 이미지 영역들로부터 추출된 미세 특징들을 분석함으로써 상기 타겟 이미지의 관심 영역을 식별하는 동작―상기 기계 학습 시스템은 각각이 인간 조직의 이미지, 및 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및 분석 난이도 중 적어도 하나를 특징짓는 진단 라벨을 포함하는 복수의 훈련 이미지를 처리함으로써 생성됨―;
    상기 기계 학습 시스템을 이용하여, 평균 확률에 기초하여 상기 타겟 이미지의 상기 관심 영역에 타겟 특징이 존재할 확률을 결정하는 동작;
    상기 기계 학습 시스템을 이용하여, 상기 타겟 이미지에 상기 타겟 특징이 존재할 상기 확률에 기초하여 상기 타겟 이미지의, 복수의 우선순위화 값들 중의 우선순위화 값을 결정하는 동작―상기 우선순위화 값은 제1 사용자의 선호도들에 기초하여 결정된 제1 우선순위화 값 및 제2 사용자의 선호도들에 기초하여 결정된 제2 우선순위화 값을 포함함―; 및
    상기 기계 학습 시스템을 이용하여, 디지털화된 병리학 이미지들과 연관된 상기 복수의 우선순위화 값들에 기초하여 복수의 디지털화된 병리학 이미지들을 순서화하는 동작―상기 타겟 이미지의 상기 우선순위화 값에 기초한 상기 타겟 이미지의 배치는 상기 타겟 특징에 기초함―을 포함하는,
    이미지 처리 시스템.
  8. 제7항에 있어서,
    상기 진단 라벨은 상기 타겟 이미지에 대한 새로운 슬라이드를 준비함으로써 추가 준비가 수행될 가능성에 대응하는 준비 값을 포함하는, 이미지 처리 시스템.
  9. 제7항에 있어서,
    상기 추가 준비는, 사용자 검토 전에 수행되는, 표본 재절단, 면역조직화학 염색, 추가적인 진단 테스트, 추가적인 상담, 및/또는 특수 염색 중 적어도 하나에 기초하여 상기 타겟 이미지에 대해 수행되는, 이미지 처리 시스템.
  10. 제7항에 있어서,
    상기 진단 라벨은 상기 타겟 이미지의 진단 특징을 포함하는, 이미지 처리 시스템.
  11. 제10항에 있어서,
    상기 진단 특징은 암 존재, 암 등급, 치료 효과들, 전암성 병변들, 치료 선택을 위한 바이오마커들, 및 감염성 유기체들의 존재 중 적어도 하나를 포함하는, 이미지 처리 시스템.
  12. 제7항에 있어서,
    상기 진단 라벨은 스캐닝 라인들, 누락 조직, 및 블러 중 적어도 하나에 대응하는 아티팩트 라벨을 포함하는, 이미지 처리 시스템.
  13. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금, 이미지 처리 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은,
    기계 학습 시스템을 이용하여, 타겟 이미지에서의 다수의 이미지 영역들로부터 추출된 미세 특징들을 분석함으로써 상기 타겟 이미지의 관심 영역을 식별하는 단계―상기 기계 학습 시스템은 각각이 인간 조직의 이미지, 및 슬라이드 형태, 진단 값, 병리학자 검토 결과, 및 분석 난이도 중 적어도 하나를 특징짓는 진단 라벨을 포함하는 복수의 훈련 이미지를 처리함으로써 생성됨―;
    상기 기계 학습 시스템을 이용하여, 평균 확률에 기초하여 상기 타겟 이미지의 상기 관심 영역에 타겟 특징이 존재할 확률을 결정하는 단계;
    상기 기계 학습 시스템을 이용하여, 상기 타겟 이미지에 상기 타겟 특징이 존재할 상기 확률에 기초하여 상기 타겟 이미지의, 복수의 우선순위화 값들 중의 우선순위화 값을 결정하는 단계―상기 우선순위화 값은 제1 사용자의 선호도들에 기초하여 결정된 제1 우선순위화 값 및 제2 사용자의 선호도들에 기초하여 결정된 제2 우선순위화 값을 포함함―; 및
    상기 기계 학습 시스템을 이용하여, 디지털화된 병리학 이미지들과 연관된 상기 복수의 우선순위화 값들에 기초하여 복수의 디지털화된 병리학 이미지들을 순서화하는 단계―상기 타겟 이미지의 상기 우선순위화 값에 기초한 상기 타겟 이미지의 배치는 상기 타겟 특징에 기초함―를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  14. 제13항에 있어서,
    상기 진단 라벨은 상기 타겟 이미지에 대한 새로운 슬라이드를 준비함으로써 추가 준비가 수행될 가능성에 대응하는 준비 값을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  15. 제14항에 있어서,
    추가 준비는, 사용자 검토 전에 수행되는, 표본 재절단, 면역조직화학 염색, 추가적인 진단 테스트, 추가적인 상담, 및/또는 특수 염색 중 적어도 하나에 기초하여 상기 타겟 이미지에 대한 새로운 슬라이드를 준비함으로써 수행되는, 비일시적 컴퓨터 판독가능 매체.
  16. 제13항에 있어서,
    상기 진단 라벨은 상기 타겟 이미지의 진단 특징을 포함하고, 상기 진단 특징은 암 존재, 암 등급, 치료 효과들, 전암성 병변들, 치료 선택을 위한 바이오마커들, 및/또는 감염성 유기체들의 존재 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020227017418A 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 KR102488986B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237001215A KR20230011504A (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962855199P 2019-05-31 2019-05-31
US62/855,199 2019-05-31
PCT/US2020/035295 WO2020243550A1 (en) 2019-05-31 2020-05-29 Systems and methods for processing images of slides to automatically prioritize the processed images of slides for digital pathology
KR1020217043211A KR102403397B1 (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217043211A Division KR102403397B1 (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237001215A Division KR20230011504A (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들

Publications (2)

Publication Number Publication Date
KR20220070583A true KR20220070583A (ko) 2022-05-31
KR102488986B1 KR102488986B1 (ko) 2023-01-18

Family

ID=71787099

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217043211A KR102403397B1 (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
KR1020227017418A KR102488986B1 (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
KR1020237001215A KR20230011504A (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217043211A KR102403397B1 (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237001215A KR20230011504A (ko) 2019-05-31 2020-05-29 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들

Country Status (10)

Country Link
US (5) US20200381122A1 (ko)
EP (1) EP3977472A1 (ko)
JP (2) JP7193818B2 (ko)
KR (3) KR102403397B1 (ko)
CN (1) CN114391168A (ko)
AU (1) AU2020283907B2 (ko)
BR (1) BR112021023713A2 (ko)
CA (2) CA3137860C (ko)
SG (1) SG11202112551SA (ko)
WO (1) WO2020243550A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3977472A1 (en) * 2019-05-31 2022-04-06 PAIGE.AI, Inc. Systems and methods for processing images of slides to automatically prioritize the processed images of slides for digital pathology
US11791035B2 (en) 2021-03-09 2023-10-17 PAIGE.AI, Inc. Systems and methods for artificial intelligence powered molecular workflow verifying slide and block quality for testing
US12014830B2 (en) * 2021-04-18 2024-06-18 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
CN113111595B (zh) * 2021-06-15 2021-08-31 西南交通大学 一种边坡智能预警方法和装置
CN113688266A (zh) * 2021-09-13 2021-11-23 上海联影医疗科技股份有限公司 图像优先级确定方法和图像处理方法、装置、设备、介质
AU2022410763A1 (en) * 2021-12-16 2024-05-23 PAIGE.AI, Inc. Systems and methods for image processing to determine case optimization
US20230214994A1 (en) * 2022-01-05 2023-07-06 Merative Us L.P. Medical image study difficulty estimation
KR102579826B1 (ko) * 2022-12-09 2023-09-18 (주) 브이픽스메디칼 인공지능 기반 진단 보조 정보 제공 방법, 장치 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270666A1 (en) * 2014-12-03 2017-09-21 Ventana Medical Systems, Inc. Computational pathology systems and methods for early-stage cancer prognosis
US20210193323A1 (en) * 2019-12-18 2021-06-24 Dhristi Inc. Systems and methods for predicting patient outcome to cancer therapy

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404906B2 (en) * 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US20020094119A1 (en) * 2001-01-18 2002-07-18 Velayudhan Sahadevan High resolution digitized image analysis of chest x-rays for diagnosis of difficult to visualize evolving very ealrly stage lung cancer, pnumoconiosis and pulmonary diseases
JP4285623B2 (ja) * 2001-04-26 2009-06-24 富士フイルム株式会社 画像表示方法および装置並びにプログラム
US7263214B2 (en) * 2002-05-15 2007-08-28 Ge Medical Systems Global Technology Company Llc Computer aided diagnosis from multiple energy images
GB0707454D0 (en) * 2007-04-18 2007-05-23 Materialise Dental Nv Computer-assisted creation of a custom tooth set-up using facial analysis
EP3466335A1 (en) 2011-12-21 2019-04-10 Catherine M. Shachaf Fluorescence imaging autofocus method
US11126720B2 (en) 2012-09-26 2021-09-21 Bluvector, Inc. System and method for automated machine-learning, zero-day malware detection
JP2016126491A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10169863B2 (en) * 2015-06-12 2019-01-01 International Business Machines Corporation Methods and systems for automatically determining a clinical image or portion thereof for display to a diagnosing physician
EP3523779A1 (en) * 2016-10-07 2019-08-14 Ventana Medical Systems, Inc. Digital pathology system and associated workflow for providing visualized whole-slide image analysis
US10445462B2 (en) * 2016-10-12 2019-10-15 Terarecon, Inc. System and method for medical image interpretation
US10146768B2 (en) 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
EP3662407A2 (en) * 2017-08-03 2020-06-10 Nucleai Ltd Systems and methods for analysis of tissue images
WO2019084697A1 (en) * 2017-11-06 2019-05-09 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
WO2019102043A1 (en) * 2017-11-27 2019-05-31 Deciphex Automated screening of histopathology tissue samples via analysis of a normal model
CN108305671B (zh) 2018-01-23 2021-01-01 深圳科亚医疗科技有限公司 由计算机实现的医学图像调度方法、调度系统及存储介质
EP3752979A1 (en) * 2018-02-12 2020-12-23 F. Hoffmann-La Roche AG Transformation of digital pathology images
US11341649B2 (en) * 2018-02-26 2022-05-24 Mayo Foundation For Medical Education And Research Systems and methods for quantifying multiscale competitive landscapes of clonal diversity in glioblastoma
WO2019172901A1 (en) * 2018-03-07 2019-09-12 Google Llc Virtual staining for tissue slide images
EP3766000A2 (en) * 2018-03-16 2021-01-20 The United States of America as represented by the Secretary of the Department of Health and Human Services Using machine learning and/or neural networks to validate stem cells and their derivatives for use in cell therapy, drug discovery, and diagnostics
US10891731B2 (en) 2018-05-07 2021-01-12 Zebra Medical Vision Ltd. Systems and methods for pre-processing anatomical images for feeding into a classification neural network
CN112334076A (zh) * 2018-06-29 2021-02-05 皇家飞利浦有限公司 利用超声成像进行活检预测和引导以及相关联的设备、系统和方法
GB201812050D0 (en) * 2018-07-24 2018-09-05 Dysis Medical Ltd Computer classification of biological tissue
WO2020076135A1 (ko) * 2018-10-11 2020-04-16 (주)제이엘케이인스펙션 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
US10930386B2 (en) 2018-12-11 2021-02-23 International Business Machines Corporation Automated normality scoring of echocardiograms
EP3977472A1 (en) * 2019-05-31 2022-04-06 PAIGE.AI, Inc. Systems and methods for processing images of slides to automatically prioritize the processed images of slides for digital pathology
US20200388033A1 (en) * 2019-06-10 2020-12-10 Omics Data Automation, Inc. System and method for automatic labeling of pathology images
US20210118136A1 (en) * 2019-10-22 2021-04-22 Novateur Research Solutions LLC Artificial intelligence for personalized oncology
US20210272694A1 (en) * 2020-03-02 2021-09-02 Case Western Reserve University Predicting biochemical recurrence based on computerized quantification of cribriform morphology
US11568536B2 (en) * 2020-04-29 2023-01-31 Flagship Biosciences, Inc Method for digitally generating scores for multiple diagnostic tests from tissue assayed with a single test

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270666A1 (en) * 2014-12-03 2017-09-21 Ventana Medical Systems, Inc. Computational pathology systems and methods for early-stage cancer prognosis
US20210193323A1 (en) * 2019-12-18 2021-06-24 Dhristi Inc. Systems and methods for predicting patient outcome to cancer therapy

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hiroshi Yoshida 외, Automated histological classification of whole-slide images of gastric biopsy specimens, Gastric Cancer, 2017.06.02., Vol.21. pp.249-257. *
Sachin Mehta 외, Learning to Segment Breast Biopsy Whole Slide Images, arXiv, 2017.10.10., pp.1-10. *

Also Published As

Publication number Publication date
CN114391168A (zh) 2022-04-22
JP2023014305A (ja) 2023-01-26
CA3225860A1 (en) 2020-12-03
KR102403397B1 (ko) 2022-05-31
AU2020283907A1 (en) 2022-01-27
KR20230011504A (ko) 2023-01-20
WO2020243550A1 (en) 2020-12-03
SG11202112551SA (en) 2021-12-30
KR20220020284A (ko) 2022-02-18
US20220328190A1 (en) 2022-10-13
KR102488986B1 (ko) 2023-01-18
JP7193818B2 (ja) 2022-12-21
AU2020283907B2 (en) 2022-02-17
US11456077B2 (en) 2022-09-27
BR112021023713A2 (pt) 2022-02-01
EP3977472A1 (en) 2022-04-06
US20220076416A1 (en) 2022-03-10
JP2022525256A (ja) 2022-05-11
US11776681B2 (en) 2023-10-03
US20220012880A1 (en) 2022-01-13
US20200381122A1 (en) 2020-12-03
US11210787B1 (en) 2021-12-28
CA3137860C (en) 2024-03-26
CA3137860A1 (en) 2020-12-03
US20230410986A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US11593684B2 (en) Systems and methods for processing images to classify the processed images for digital pathology
KR102403397B1 (ko) 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
US11551357B2 (en) Systems and methods for processing images of slides for digital pathology

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant