KR20220111725A - 디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들 - Google Patents

디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20220111725A
KR20220111725A KR1020227025751A KR20227025751A KR20220111725A KR 20220111725 A KR20220111725 A KR 20220111725A KR 1020227025751 A KR1020227025751 A KR 1020227025751A KR 20227025751 A KR20227025751 A KR 20227025751A KR 20220111725 A KR20220111725 A KR 20220111725A
Authority
KR
South Korea
Prior art keywords
images
digital
visualization
prediction
information
Prior art date
Application number
KR1020227025751A
Other languages
English (en)
Other versions
KR102553095B1 (ko
Inventor
질리언 수
제이슨 로크
피터 슈에플러
크리스토퍼 카난
토마스 푹스
레오 그래디
Original Assignee
페이지.에이아이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이지.에이아이, 인크. filed Critical 페이지.에이아이, 인크.
Publication of KR20220111725A publication Critical patent/KR20220111725A/ko
Application granted granted Critical
Publication of KR102553095B1 publication Critical patent/KR102553095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하고, 기계 학습 시스템을 이용하여 하나 이상의 디지털 이미지에 대한 예측, 추천, 및/또는 복수의 데이터 중 하나 이상을 결정하고―기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 복수의 게놈 패널 요소들을 예측함―, 예측, 추천, 및/또는 복수의 데이터에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅할지를 결정하기 위한 시스템들 및 방법들이 개시된다.

Description

디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들
관련 출원(들)
본 출원은 2020년 1월 28일자로 출원된 미국 가출원 제62/966,659호에 대한 우선권을 주장하며, 그 전체 개시내용은 그 전체가 본 명세서에 참고로 포함된다.
개시내용의 분야
본 개시내용의 다양한 실시예들은 일반적으로, 병리학 표본들(pathology specimens)의 추가 테스트에 필요한 바이오마커들(biomarkers), 게놈 특징들(genomic features), 치료 저항성(treatment resistance), 및 관련 특징들을 검출하기 위한 인공 지능(AI) 기술의 개발에 관한 것이다. 더 구체적으로는, 본 개시내용의 특정한 실시예들은, 준비된 조직 표본들(tissue specimens)의 바이오마커들 및 게놈 특징들을 예측, 식별 또는 검출하기 위한 시스템들 및 방법들에 관한 것이다. 본 개시내용은 또한, 보이지 않는 슬라이드들로부터 라벨들(labels)을 예측하는 예측 모델을 생성하기 위한 시스템들 및 방법들을 제공한다.
병리학자가 바이오마커 또는 게놈 패널에 대한 결과들을 수신하는 데 필요한 다수의 단계, 초래된 비용, 및 시간이 있을 수 있다. 바이오마커 결과에 대해, (a) 병리학자는 환자의 적절한 또는 의심스러운 부분을 기록할 수 있다; (b) 실험실은 슬라이드 염색(slide stain)에 대한 요청을 수신할 수 있다; (c) 실험실은 블록을 절단하거나 적절한 비염색된 슬라이드를 찾을 수 있다; (d) 그 부분이 염색된다; (e) 테스트는 케이스에 전자적으로 로깅(logging)되고 최종 검토를 위해 병리학자에게 주어진다. 게놈 패널에 대해, (a) 분자 테스트에 대한 요청이 병리학자에게 주어질 수 있다; (b) 병리학자는 염기서열분석(sequencing)할 슬라이드를 선택할 수 있다; (c) 조직의 재절단을 촉구한다; (d) 이전의 생검 절단으로부터 병리학자의 아웃라인에 기초하여 종양을 긁어내도록 촉구한다; (e) 긁어낸 종양 조직에서의 게놈이 염기서열분석될 수 있다; (f) 유전자 보고가 생성될 수 있다. 이들 프로세스들은 고가이고 시간 집약적일 수 있다.
전술한 일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적이며, 본 개시내용을 제한하지 않는다. 본 명세서에서 제공되는 배경 설명은 본 개시내용의 맥락을 일반적으로 제시하기 위한 것이다. 본 명세서에서 달리 지시되지 않는 한, 본 섹션에서 설명되는 자료들은 본 출원에서의 청구항들에 대한 종래 기술이 아니며, 본 섹션에서의 포함에 의해 종래 기술 또는 종래 기술의 제안들인 것으로 인정되지 않는다.
본 개시내용의 특정 양태들에 따르면, 조직 표본과 연관된 디지털 이미지에서의 바이오마커 및/또는 적어도 하나의 게놈 특징을 예측하기 위한 시스템들 및 방법들이 개시된다.
표본에 대응하는 전자 이미지를 처리하기 위한 컴퓨터로 구현된 방법은: 조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 단계; 기계 학습 시스템을 이용하여 하나 이상의 디지털 이미지에 대한 예측, 추천, 및/또는 복수의 데이터 중 하나 이상을 결정하는 단계―기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 복수의 게놈 패널 요소들을 예측함―; 및 예측, 추천, 및/또는 복수의 데이터에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력(case history)의 일부로서 로깅할지를 결정하는 단계를 포함한다.
표본에 대응하는 전자 이미지를 처리하기 위한 시스템은 명령어들을 저장하는 메모리; 및 프로세스를 수행하기 위해 명령어들을 실행하는 적어도 하나의 프로세서를 포함하고, 프로세스는 조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 것; 기계 학습 시스템을 이용하여 하나 이상의 디지털 이미지에 대한 예측, 추천, 및/또는 복수의 데이터 중 하나 이상을 결정하는 것―기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 복수의 게놈 패널 요소들을 예측함―; 및 예측, 추천, 및/또는 복수의 데이터에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅할지를 결정하는 것을 포함한다.
프로세서에 의해 실행될 때, 프로세서로 하여금 표본에 대응하는 전자 이미지를 처리하기 위한 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 단계, 기계 학습 시스템을 이용하여 하나 이상의 디지털 이미지에 대한 예측, 추천, 및/또는 복수의 데이터 중 하나 이상을 결정하는 단계―기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 복수의 게놈 패널 요소들을 예측함―, 및 예측, 추천, 및/또는 복수의 데이터에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅할지를 결정하는 단계를 포함한다.
상기한 일반적인 설명 및 다음의 상세한 설명 모두는 단지 예시적이고 설명을 위한 것이며, 청구된 바와 같은 개시된 실시예들에 한정적이지 않다는 것이 이해되어야 한다.
본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하는 것이며, 설명과 함께 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 바이오마커 및/또는 적어도 하나의 게놈 특징을 검출하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 개시내용의 실시예에 따른, 기계 학습을 이용하여 바이오마커 및 게놈 패널 특징들을 예측하기 위한 바이오마커 검출 플랫폼의 예시적인 블록도를 도시한다.
도 1c는 본 개시내용의 예시적인 실시예에 따른, 슬라이드 분석 툴의 예시적인 블록도를 도시한다.
도 2a는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 바이오마커 및/또는 적어도 하나의 게놈 특징을 검출하기 위해 기계 학습 시스템을 이용하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 2b는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 바이오마커 및/또는 적어도 하나의 게놈 특징을 검출하기 위해 기계 학습 시스템을 훈련하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 3은 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 양성 바이오마커 초점들(positive biomarker foci)을 시각화하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 4는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 분자 병리학자를 안내하기 위해 종양 영역을 시각화하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 5는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 항종양 저항성(antineoplastic resistance)의 예측된 발달을 보고하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 6은 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 사용자가 시각화 및/또는 보고를 검토하기 위한 예시적인 옵션들을 도시한다.
도 7은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
실시예들의 설명
이제, 본 개시내용의 예시적인 실시예들을 상세히 참조할 것이며, 그 예들이 첨부 도면들에 도시되어 있다. 가능한 경우, 도면들 전체에 걸쳐 동일하거나 유사한 부분을 지칭하기 위해 동일한 참조 번호들이 이용될 것이다.
본 명세서에 개시된 시스템들, 디바이스들, 및 방법들은 예들로서 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에 논의된 예들은 단지 예들일 뿐이고, 본 명세서에 설명된 장치들, 디바이스들, 시스템들, 및 방법들의 설명을 돕기 위해 제공된다. 도면들에 도시되거나 이하에 논의되는 특징들 또는 컴포넌트들 중 어느 것도, 의무적인 것으로서 구체적으로 지시되지 않으면, 이들 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현에 의무적인 것으로서 취해져서는 안된다.
또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지에 관계없이, 문맥에 의해 달리 명시되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 임의의 명시적 또는 암시적 순서는, 이들 단계들이 제시된 순서로 수행되어야 한다는 것을 암시하는 것이 아니라, 대신에 상이한 순서로 또는 병렬로 수행될 수도 있다는 것을 이해해야 한다.
본 명세서에서 이용되는 바와 같이, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현("a" 및 "an") 용어들은 양의 제한을 나타내는 것이 아니라, 오히려 언급된 항목들 중 하나 이상의 존재를 나타낸다.
병리학은 질병의 연구뿐만 아니라 질병의 원인 및 효과를 지칭한다. 보다 구체적으로, 병리학은 질병을 진단하기 위해 이용되는 테스트 및 분석을 수행하는 것을 지칭한다. 예를 들어, 조직 샘플들은 병리학자(예를 들어, 임의의 비정상들이 존재하는지를 결정하기 위해 조직 샘플들을 분석할 때 전문가인 의사)에 의해 현미경 하에서 보여질 슬라이드들 상에 배치될 수 있다. 즉, 병리학 표본들은 병리학자가 검사하고 진단을 행하기 위한 슬라이드들로서, 다수의 섹션들로 절단되고, 염색되고, 준비될 수 있다. 슬라이드 상의 진단 발견의 불확실성이 있을 때, 병리학자는 조직으로부터 더 많은 정보를 수집하기 위해 추가의 절단 레벨들, 염색들, 또는 다른 테스트들을 주문할 수 있다. 기술자(들)는 이어서 진단을 행할 때 병리학자가 이용하기 위한 추가의 정보를 포함할 수 있는 새로운 슬라이드(들)를 생성할 수 있다. 추가의 슬라이드들을 생성하는 이 프로세스는 조직의 블록을 검색하는 것, 새로운 슬라이드를 만들기 위해 이를 절단하는 것, 및 이어서 슬라이드를 염색하는 것을 포함할 수 있을 뿐만 아니라, 다수의 주문들에 대해 일괄처리될 수 있기 때문에, 시간 소모적일 수 있다. 이는 병리학자가 행하는 최종 진단을 상당히 지연시킬 수 있다. 또한, 지연 후에도, 새로운 슬라이드(들)가 진단을 행하기에 충분한 정보를 가질 것이라는 보장이 여전히 없을 수 있다.
병리학자들은 암 및 다른 질병 병리학 슬라이드들을 따로따로 평가할 수 있다. 본 개시내용은 바이오마커들 및 게놈 패널 특징들을 검출하고 예측하기 위해 AI를 이용하는 방법을 제시한다. 특히, 본 개시내용은 병리학자의 작업을 촉진하고 개선하기 위해 작업흐름에 통합될 수 있는 AI 툴들뿐만 아니라, 작업흐름에서 이용가능한 다양한 예시적인 사용자 인터페이스들을 설명한다.
예를 들어, 컴퓨터들은 조직 샘플의 이미지를 분석하여 특정 조직 샘플에 관한 추가 정보가 필요할 수 있는지를 신속하게 식별하고/하거나 병리학자가 더 밀접하게 보아야 하는 영역을 병리학자에게 강조하기 위해 이용될 수 있다. 따라서, 추가 염색된 슬라이드들 및 테스트들을 획득하는 프로세스는 병리학자에 의해 검토되기 전에 자동으로 행해질 수 있다. 자동 슬라이드 분할 및 염색 기계들과 쌍을 이룰 때, 이는 완전 자동화된 슬라이드 준비 파이프라인을 제공할 수 있다. 이러한 자동화는 적어도, (1) 슬라이드가 진단을 행하기에 불충분하다고 결정하는 병리학자에 의해 낭비되는 시간의 양을 최소화하고, (2) 추가적인 테스트들이 주문될 때와 그것들이 생성될 때 사이의 추가적인 시간을 회피함으로써 표본 취득으로부터 진단까지의 (평균 총) 시간을 최소화하고, (3) 조직 블록들(예를 들어, 병리학 표본들)이 절단 책상에 있는 동안 재절단이 행해지게 함으로써 재절단 당 시간의 양 및 낭비되는 재료의 양을 감소시키고, (4) 슬라이드 준비 동안 낭비된/폐기된 조직 재료의 양을 감소시키고, (5) 절차를 부분적으로 또는 완전히 자동화함으로써 슬라이드 준비의 비용을 감소시키고, (6) 샘플들로부터 더 많은 대표적/정보적 슬라이드들을 초래할 슬라이드들의 자동 맞춤화된 절단 및 염색을 허용하고, (7) 조직 블록 당 더 높은 부피의 슬라이드들이 생성되게 하여, 병리학자에 대한 추가적인 테스트를 요청하는 오버헤드를 감소시킴으로써 더 정보에 입각한/정확한 진단들에 기여하고/하거나, (8) 디지털 병리학 이미지의 (예를 들어, 표본 타입에 관한) 정확한 속성들을 식별 또는 검증하는 등의 이점들을 갖는다.
병리학자들을 보조하기 위해 컴퓨터들을 이용하는 프로세스는 계산 병리학(computational pathology)으로서 알려져 있다. 계산 병리학을 위해 이용되는 컴퓨팅 방법들은 통계 분석, 자율 또는 기계 학습, 및 AI를 포함할 수 있지만, 이들로 제한되지 않는다. AI는 심층 학습, 신경망들, 분류들, 클러스터링, 및 회귀 알고리즘들을 포함할 수 있지만, 이들로 제한되지 않는다. 계산 병리학을 이용함으로써, 병리학자들이 그들의 진단 정확도, 신뢰성, 효율, 및 접근성을 개선하는 것을 돕는 것에 의해 생명들을 구할 수 있다. 예를 들어, 계산 병리학은 암에 대해 의심스러운 슬라이드들을 검출하는 것을 보조하는데 이용될 수 있고, 그에 의해 병리학자들이 최종 진단을 행하기 전에 그들의 초기 평가들을 체크하고 확인하는 것을 허용한다.
전술된 바와 같이, 본 개시내용의 계산적인 병리학 프로세스들 및 디바이스들은 웹-브라우저 또는 다른 사용자 인터페이스를 통한 디지털 병리학 이미지들의 데이터 수집, 처리 및 뷰잉을 포함하는 완전히 자동화된 프로세스를 허용하면서 실험실 정보 시스템(LIS)과 통합하는 통합된 플랫폼을 제공할 수 있다. 또한, 임상 정보는 환자 데이터의 클라우드-기반의 데이터 분석을 이용하여 집결될 수 있다. 데이터는, 병원, 진료소, 현장 연구원 등으로부터 나올 수 있고, 기계 학습, 컴퓨터 비전, 자연어 처리, 및/또는 통계 알고리즘들에 의해 분석되어, 다수의 지리적 특이성 레벨들에서 건강 패턴들의 실시간 모니터링 및 예측을 행할 수 있다.
본 개시내용은, LIS 또는 유사한 정보 데이터베이스에 반드시 액세스할 필요 없이, 디지털 병리 이미지의 표본 타입, 또는 디지털 병리 이미지에 관련된 임의의 정보를 신속하고 정확하게 식별 및/또는 검증하기 위한 시스템들 및 방법들에 관한 것이다. 본 개시내용의 일 실시예는, 이전의 디지털 병리 이미지들의 데이터세트들에 기초하여, 디지털 병리 이미지의 다양한 속성들을 식별하도록 훈련된 시스템을 포함할 수 있다. 훈련된 시스템은 디지털 병리 이미지에 나타난 표본에 대한 분류를 제공할 수 있다. 분류는 표본과 연관된 환자에 대한 치료 또는 진단 예측(들)을 제공하는 것을 도울 수 있다.
본 개시내용의 시스템들 및 방법들은 추가의 테스트에 대한 전제조건일 수 있는 임의의 특징(예를 들어, 분자에 대한 최고 종양 부피 또는 인간 표피 성장 인자 수용체(human epidermal growth factor receptor) 2/에스트로겐 수용체(estrogen receptor)/프로게스테론 수용체(progesterone receptor)(HER2/ER/PR)에 대한 침습)을 갖는 스캐닝된 슬라이드를 검출하기 위해 인공 지능을 이용할 수 있다. 이 특징 검출은 표본의 케이스, 부분, 또는 블록 레벨들에서 달성될 수 있다. 결과들은 임의의 사용자 인터페이스를 통해(예를 들어, 뷰어, 보고를 통해, 실험실 정보 시스템(LIS)을 통해, 등) 이용가능할 수 있다. 본 개시내용의 시스템들 및 방법들은 또한 환자로부터 획득된 하나의 또는 디지털 병리학 표본 이미지로부터 예측된 면역조직화학(immunohistochemistry)(IHC) 결과, 게놈 패널, AI를 이용하여 유도된 정보(예를 들어, 치료 저항성) 등의 즉각적인 시각화를 제공할 수 있다. 이는 병원들 및 환자들 모두에 대한 소요 시간 및 비용 효율성을 제공할 수 있다. 디지털 IHC 또는 디지털 게놈 패널의 결과들을 보여주는 것에 더하여, 본 시스템은 그 구매에 대한 보상 요소들을 추가로 관리할 수 있다. 이는 병원들 및 환자들에 대한 추가의 효율성을 제공할 수 있다.
본 개시내용의 시스템들 및 방법들은 추가의 테스트에 대한 전제조건일 수 있는 임의의 특징(예를 들어, 분자에 대한 최고 종양 부피 또는 인간 표피 성장 인자 수용체 2/에스트로겐 수용체/프로게스테론 수용체(HER2/ER/PR)에 대한 침습)을 갖는 스캐닝된 슬라이드를 검출하기 위해 인공 지능을 이용할 수 있다. 이 특징 검출은 표본의 케이스, 부분, 또는 블록 레벨들에서 달성될 수 있다. 결과들은 임의의 사용자 인터페이스를 통해(예를 들어, 뷰어, 보고를 통해, 실험실 정보 시스템(LIS)을 통해 등) 이용가능할 수 있다. 본 개시내용의 시스템들 및 방법들은 또한 환자로부터 획득된 하나의 또는 디지털 병리학 표본 이미지로부터 예측된 면역조직화학(IHC) 결과, 게놈 패널, AI를 이용하여 유도된 정보(예를 들어, 치료 저항성) 등의 즉각적인 시각화를 제공할 수 있다. 이는 병원들 및 환자들 모두에 대한 소요 시간 및 비용 효율성을 제공할 수 있다. 디지털 IHC 또는 디지털 게놈 패널의 결과들을 보여주는 것에 더하여, 본 시스템은 그 주문에 대한 보상 요소들을 추가로 관리할 수 있다. 이는 병원들 및 환자들에 대한 추가의 효율성을 제공할 수 있다.
본 개시내용은 슬라이드 분석 툴의 하나 이상의 실시예를 포함한다. 툴에 대한 입력은 디지털 병리 이미지 및 임의의 관련 추가 입력들을 포함할 수 있다. 툴의 출력들은 표본에 관한 글로벌 및/또는 로컬 정보를 포함할 수 있다. 표본은 생검 또는 외과적 절제 표본을 포함할 수 있다.
개시된 툴(들)의 예시적인 글로벌 출력들은 전체 이미지에 관한 정보, 예를 들어, 표본 타입, 표본의 절단의 전체 품질, 유리 병리 슬라이드 자체의 전체 품질, 및/또는 조직 형태 특성들을 포함할 수 있다. 예시적인 로컬 출력들은 이미지의 특정 영역들에서의 정보를 나타낼 수 있고, 예를 들어, 특정 이미지 영역은 슬라이드에서 블러(blur) 또는 균열(crack)을 갖는 것으로 분류될 수 있다. 본 개시내용은 아래에 더 상세히 설명되는 바와 같이, 개시된 슬라이드 분석 툴(들)을 개발하는 것 및 이용하는 것 둘 다를 위한 실시예들을 포함한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 기계 학습을 이용하여, 디지털 병리 이미지들에 관한 표본 속성 또는 이미지 속성 정보를 결정하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
구체적으로, 도 1a는 병원들, 실험실들, 및/또는 의사들의 사무실들 등에 있는 서버들에 접속될 수 있는 전자 네트워크(120)를 도시한다. 예를 들어, 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 등은 각각 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(120)에 접속될 수 있다. 본 개시내용의 예시적인 실시예에 따르면, 전자 네트워크(120)는 또한, 본 개시내용의 예시적인 실시예에 따른, 디지털 병리 이미지들에 관한 표본 속성 또는 이미지 속성 정보를 결정하고, 게놈 패널을 생성하기 위해 기계 학습을 이용하기 위한 슬라이드 분석 툴을 포함하는, 바이오마커 검출 플랫폼(100)을 구현하도록 구성되는 처리 디바이스들을 포함할 수 있는 서버 시스템들(110)에 접속될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 하나 이상의 환자의 세포학 표본(들), 조직병리학 표본(들), 세포학 표본(들)의 슬라이드(들), 조직병리학 표본(들)의 슬라이드(들)의 디지털화된 이미지들, 또는 이들의 임의의 조합의 이미지들을 생성하거나, 그렇지 않은 경우 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 또한 연령, 병력, 암 치료 이력, 가족 이력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 전자 네트워크(120)를 통해 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 서버 시스템들(110)에 송신할 수 있다. 서버 시스템들(110)은 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템들(110)은 또한 하나 이상의 저장 디바이스(109)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 예를 들어, 처리 디바이스들은, 일 실시예에 따라, 바이오마커 검출 플랫폼(100)을 위한 기계 학습 툴을 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 이용되는 시스템들을 지칭한다. 병원 설정들에서, 조직 타입 정보는 실험실 정보 시스템(125)에 저장될 수 있다. 그러나, 정확한 조직 분류 정보는 항상 이미지 콘텐츠와 쌍을 이루는 것은 아니다. 추가적으로, LIS가 디지털 병리학 이미지에 대한 표본 타입에 액세스하는데 이용되더라도, 이 라벨은 LIS의 많은 컴포넌트들이 수동으로 입력될 수 있다는 사실로 인해 부정확할 수 있어, 에러를 위한 큰 마진을 남긴다. 본 개시내용의 예시적인 실시예에 따르면, 실험실 정보 시스템들(125)에 액세스할 필요 없이 표본 타입이 식별될 수 있거나, 가능하게는 실험실 정보 시스템들(125)을 정정하도록 식별될 수 있다. 예를 들어, 제3자는 LIS에 저장된 대응하는 표본 타입 라벨 없이 이미지 콘텐츠에 대한 익명화된 액세스를 부여받을 수 있다. 추가적으로, LIS 콘텐츠에 대한 액세스는 그것의 민감한 콘텐츠로 인해 제한될 수 있다.
도 1b는 본 개시내용의 실시예에 따른, 기계 학습을 이용하여, 바이오마커들 및 게놈 패널 특징들을 예측하기 위한 바이오마커 검출 플랫폼의 예시적인 블록도를 도시한다.
구체적으로, 도 1b는 일 실시예에 따른, 바이오마커 검출 플랫폼(100)의 컴포넌트들을 도시한다. 예를 들어, 바이오마커 검출 플랫폼(100)은 슬라이드 분석 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 저장소(106), 및 뷰잉 애플리케이션 툴(108)을 포함할 수 있다.
슬라이드 분석 툴 (101)은, 이하에서 설명되는 바와 같이, 예시적인 실시예에 따라, 조직 표본과 연관된 디지털 이미지들을 처리하고 기계 학습을 이용하여 슬라이드를 분석하기 위한 프로세스 및 시스템을 지칭한다.
데이터 수집 툴(102)은, 예시적인 실시예에 따라, 디지털 병리학 이미지들을 분류하고 처리하기 위해 이용되는 다양한 툴들, 모듈들, 컴포넌트들, 및 디바이스들에 대한 디지털 병리학 이미지들의 전송을 용이하게 하기 위한 프로세스 및 시스템을 지칭한다.
슬라이드 유입 툴(103)은, 예시적인 실시예에 따라, 병리학 이미지들을 스캐닝하고 이들을 디지털 형태로 변환하기 위한 프로세스 및 시스템을 지칭한다. 슬라이드들은 슬라이드 스캐너(104)로 스캐닝될 수 있고, 슬라이드 관리자(105)는 슬라이드들 상의 이미지들을 디지털화된 병리학 이미지들로 처리하고, 디지털화된 이미지들을 저장소(106)에 저장할 수 있다.
뷰잉 애플리케이션 툴(108)은 예시적인 실시예에 따라, 디지털 병리 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 사용자(예를 들어, 병리학자)에게 제공하기 위한 프로세스 및 시스템을 지칭한다. 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스, 및/또는 웹 브라우저 등)을 통해 제공될 수 있다.
슬라이드 분석 툴(101), 및 그것의 컴포넌트들 각각은 전자 네트워크(120)를 통해 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)에 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 송신 및/또는 수신할 수 있다. 또한, 서버 시스템들(110)은 슬라이드 분석 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 및 뷰잉 애플리케이션 툴(108) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템들(110)은 또한 하나 이상의 저장 디바이스(109)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은, 예를 들어, 처리 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
상기의 디바이스들, 툴들, 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(120)에 접속될 수 있는 디바이스 상에 위치될 수 있다.
도 1c는 본 개시내용의 예시적인 실시예에 따른, 슬라이드 분석 툴(101)의 예시적인 블록도를 도시한다. 슬라이드 분석 툴(101)는 훈련 이미지 플랫폼(131) 및/또는 타겟 이미지 플랫폼(135)을 포함할 수 있다.
훈련 이미지 플랫폼(131)은, 일 실시예에 따라, 디지털 병리학 이미지들을 효과적으로 분석 및 분류하기 위해 기계 학습 시스템을 훈련하는데 이용되는 훈련 이미지들을 생성 또는 수신할 수 있다. 예를 들어, 훈련 이미지들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, 헤모톡실린(Hemotoxylin) 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.
훈련 이미지 유입 모듈(132)은 인간 조직의 이미지들 및 그래픽적으로 렌더링되는 이미지들 중 어느 하나 또는 둘 다에 대응하는 하나 이상의 훈련 이미지를 포함하는 데이터세트를 생성 또는 수신할 수 있다. 예를 들어, 훈련 이미지들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 이 데이터세트는 디지털 저장 디바이스 상에 유지될 수 있다. 품질 점수 결정기 모듈(133)은 디지털 병리학 이미지의 유용성에 크게 영향을 미칠 수 있는 글로벌 또는 로컬 레벨에서 훈련 이미지들에 대한 품질 제어(QC) 문제들(예를 들어, 결함들)을 식별할 수 있다. 예를 들어, 품질 점수 결정기 모듈은 전체 이미지에 대한 정보, 예를 들어, 표본 타입, 표본의 절단의 전체 품질, 유리 병리 슬라이드 자체의 전체 품질, 또는 조직 형태 특성들을 이용하고, 이미지에 대한 전체 품질 점수를 결정할 수 있다. 치료 식별 모듈(134)은 조직들의 이미지들을 분석하고, 어느 디지털 병리 이미지들이 치료 효과들(예를 들어, 사후치료)을 갖는지 및 어느 이미지들이 치료 효과들(예를 들어, 사전치료)을 갖지 않는지를 결정할 수 있다. 조직에서의 이전 치료 효과들이 조직 자체의 형태에 영향을 미칠 수 있기 때문에 디지털 병리 이미지가 치료 효과들을 갖는지를 식별하는 것이 유용하다. 대부분의 LIS는 이러한 특성을 명시적으로 추적하지 않고, 따라서 표본 타입들을 이전 치료 효과들로 분류하는 것이 바람직할 수 있다.
일 실시예에 따르면, 타겟 이미지 플랫폼(135)은 타겟 이미지 유입 모듈(136), 표본 검출 모듈(137), 및 출력 인터페이스(138)를 포함할 수 있다. 타겟 이미지 플랫폼(135)은 타겟 이미지를 수신하고, 기계 학습 모델을 수신된 타겟 이미지에 적용하여 타겟 표본의 특성을 결정할 수 있다. 예를 들어, 타겟 이미지는 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 타겟 이미지 유입 모듈(136)은 타겟 표본에 대응하는 타겟 이미지를 수신할 수 있다. 표본 검출 모듈(137)은 기계 학습 모델을 타겟 이미지에 적용하여 타겟 표본의 특성을 결정할 수 있다. 예를 들어, 표본 검출 모듈(137)은 타겟 표본의 표본 타입을 검출할 수 있다. 표본 검출 모듈(137)은 또한 타겟 이미지에 대한 품질 점수를 결정하기 위해 타겟 이미지에 기계 학습 모델을 적용할 수 있다. 또한, 표본 검출 모듈(137)은 타겟 표본이 사전처리인지 또는 사후처리인지를 결정하기 위해 타겟 표본에 기계 학습 모델을 적용할 수 있다.
출력 인터페이스(138)는 타겟 이미지 및 타겟 표본에 관한 정보를 (예를 들어, 스크린, 모니터, 저장 디바이스, 웹 브라우저 등에) 출력하는데 이용될 수 있다.
도 2a는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 바이오마커 및 적어도 하나의 게놈 패널 요소를 예측하기 위해 기계 학습 시스템을 이용하기 위한 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 방법(200)(즉, 단계 202-212)은 자동으로 또는 사용자로부터의 요청에 응답하여 슬라이드 분석 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 바이오마커 및 적어도 하나의 게놈 패널 요소를 예측하기 위한 예시적인 방법(200)은 다음 단계들 중 하나 이상을 포함할 수 있다. 단계 202에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 단계를 포함할 수 있다. 조직 표본은 조직학 표본(histology specimen)을 포함할 수 있는 반면, 환자 정보는 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분, 총체적인 설명 등을 포함할 수 있다. 복수의 임상 정보는 할당된 병리학자, 관련 표본이 테스트들에 이용가능한지 등을 포함할 수 있다. 디지털 이미지들은 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, 랜덤 액세스 메모리(RAM) 등) 내에 수신될 수 있다.
단계 204에서, 방법은 기계 학습 시스템을 이용하여 하나 이상의 디지털 이미지에 대한 예측 및/또는 시각화를 결정하는 단계―기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 적어도 하나의 게놈 패널 요소를 예측함―를 포함할 수 있다. 기계 학습 시스템은 추천 및/또는 데이터를 전자 저장 디바이스에 추가로 출력할 수 있다.
단계 206에서, 방법은 예측 및/또는 시각화가 이용가능함을 나타내는 통지(notification)를 사용자에게 생성하는 단계를 포함할 수 있다. 통지는 시각적 디스플레이, 팝업 윈도우, 또는 다른 적절한 경보를 포함할 수 있다.
단계 208에서, 방법은 사용자가 예측 및/또는 시각화를 검토하기 위한 옵션을 생성하는 단계를 포함할 수 있다. 옵션은 후술하는 도 6에 도시된 바와 같은 예시적인 스크린 디스플레이를 포함할 수 있다.
단계 210에서, 방법은 예측 및/또는 시각화에 기초하여 적어도 하나의 추천된 치료 경로의 적어도 하나의 디스플레이를 생성하는 단계를 포함할 수 있다. 적어도 하나의 추천된 치료 경로는 생성된 예측에 기초한, 검증된 치료 경로, 새로운 치료 경로, 임상 치료 경로 등, 또는 다음 단계들(예를 들어, 임상 시험들, 전문 의사 방문 등)을 포함할 수 있다. 디지털 면역조직화학 또는 게놈 패널 결과의 시각화는, 제한적인 것은 아니지만, 다음을 포함하는 다수의 방법을 이용하여 달성될 수 있다:
a. 원래 이미지의 상부 상에 적어도 하나의 관심 영역을 오버레이하는 것;
b. 나란한 시각화;
c. 정량화 척도들(quantification measures)을 이용한 보고; 및
d. 결과들로 실행되는 디지털 테스트들을 요약하는 것.
추천의 시각화는 사용자(예를 들어, 병리학자, 종양학자(oncologist), 환자 등)가 인터페이스의 직접 링크들 및 소스들(예를 들어, 웹사이트들, 문헌 등)을 통해 특정 추천(예를 들어, 개방 임상 시험들, 치료에 전문화된 병원/의사들 등)에 대해 더 많이 학습할 수 있는 대화형 웹 인터페이스를 포함할 수 있다. 대안적으로, 시각화는 보고를 포함할 수 있고, 여기서 사용자는, 제한적인 것은 아니지만, 다음의 요소들을 포함할 수 있는 요약되고 변경불가능한 보고를 볼 수 있다:
a. 환자 이력
b. 케이스 요약
c. 진단 요약
d. 디지털 및/또는 '수동' 테스트 결과들
e. 디지털 테스트 결과들에 기초한 환자에 대한 제안된 다음 단계들
방법은 특정 케이스에 대한 의사 결정 프로세스를 지원하기 위해, 주어진 케이스에 대한 참조로서 유사한 환자들(예를 들어, 유사한 형태학적 패턴들, 유사한 바이오마커 표현, 유사한 게놈 프로파일, 유사한 치료 경로들, 또는 다른 유사성들을 갖는 환자들)을 함께 그룹화할 수 있다. 유사한 환자들의 시각화는 케이스에 대한 추천된 치료 경로들에 대한 맥락에 있을 수 있거나 그렇지 않을 수 있다. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 (예를 들어, 임상 시험들, 약물들 등으로부터) 특정 환자들 및 그들의 결과들에 대해 더 많이 학습할 수 있다. 결과들은, 위에서 개시된 바와 같이, 대화형 웹 인터페이스(예를 들어, 필터링, 공유, 저장 등을 위한 방식들)에 의해, 또는 보고에 의해, 시각화될 수 있다.
결과들은 보고 예측들 및 관련 정보(예를 들어, PDF)를 포함하는 통합 보고의 형태일 수 있다. 예시적인 보고는 다음의 요소들 중 하나 이상을 포함할 수 있다:
a. 환자 이력
b. 환자 요약
c. 케이스 요약
d. 완료된 디지털 테스트들
e. 디지털 테스트 결과들
f. 결과들의 합성된 요약 및 결과들이 환자에 대해 의미할 수 있는 바
g. 유사한 환자들에 기초한 결과에 대한 통계(예를 들어, 인포그래픽, 대화형 웹사이트 등)의 시각화
h. 관련 및/또는 최근 문헌의 요약
i. 제안된 다음 단계들(예를 들어, 임상 시험들, 약물들, 화학요법 등) 등.
단계 212에서, 방법은 예측 및/또는 시각화에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅할지를 결정하는 단계를 포함할 수 있다. 방법은 또한 추천들 및 시각화들을 표본에 대한 최종 진단 보고에 통합하는 단계를 포함할 수 있다.
도 2b는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 바이오마커 및 적어도 하나의 게놈 패널 요소를 예측하기 위해 기계 학습 시스템을 훈련하기 위한 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 방법(220)(즉, 단계 221-235)은 자동으로 또는 사용자로부터의 요청에 응답하여 슬라이드 분석 툴(101)에 의해 수행될 수 있다.
일 실시예에 따른, 바이오마커 및 적어도 하나의 게놈 패널 요소를 예측하기 위해 기계 학습 시스템을 훈련하기 위한 예시적인 방법(220). 단계 221에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 단계를 포함할 수 있다. 조직 표본은 조직학 표본을 포함할 수 있는 반면, 환자 정보는 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분, 총체적인 설명 등을 포함할 수 있다. 복수의 임상 정보는, 할당된 병리학자, 관련 표본이 테스트들에 이용가능한지 등을 포함할 수 있다. 디지털 이미지들은 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, 랜덤 액세스 메모리(RAM) 등) 내에 수신될 수 있다.
단계 223에서, 방법은 복수의 환자 데이터와 연관된 복수의 처리된 이미지들을 저장하고 보관하는 시스템을 개발하는 단계를 포함할 수 있다.
단계 225에서, 방법은 복수의 처리된 이미지들을 디지털 저장 디바이스에 저장하는 단계를 포함할 수 있다. 디지털 저장 디바이스는 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등을 포함할 수 있다.
단계 227에서, 방법은 복수의 처리된 이미지들에 기초하여 치료 경로에 대한 적어도 하나의 추천을 생성하는 단계를 포함할 수 있다. 치료 경로는 임상 시험, 치료 등을 포함할 수 있다. 추천은 환자에 대한 것일 수 있고, 복수의 저장된 이미지들 및 환자 데이터의 적어도 하나의 관련 특징(예를 들어, 환자 진단, 이력, 인구통계(demographics) 등)에 기초할 수 있다. 치료 경로들의 추천은 환자 인구통계, 사전-승인-단계 약물들 또는 요법들, 임상 실무 등에 기초하여 맞춤화될 수 있는 임상 실무 가이드라인들을 포함하거나 그에 기초할 수 있다.
단계 229에서, 방법은 바이오마커 및 적어도 하나의 게놈 패널 요소에 대한 예측을 생성하는 단계를 포함할 수 있다.
단계 231에서, 방법은 예측에 기초하여 적어도 하나의 추천된 치료 경로의 리스트를 생성하는 단계를 포함할 수 있다. 적어도 하나의 추천된 치료 경로의 리스트는 약물 치료, 임상 시험 등, 및 예측된 바이오마커 및 게놈 패널 요소들에 기초한 관련된 정보(예를 들어, 성공률, 치료를 위한 위치들 등)를 포함할 수 있다.
단계 233에서, 방법은 예측 및 적어도 하나의 추천된 치료 경로를 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 대해 시각화될 수 있고 사용자에 의해 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다. 방법은 사용자 및 이용 케이스(예를 들어, 대화형, 구조형, 템플릿형, 정적 등)에 따라 다양한 유효 포맷들로 적어도 하나의 결과를 출력하거나 디스플레이하는 단계를 추가로 포함할 수 있다.
단계 235에서, 방법은 하나 이상의 예측 값 및 치료 경로 추천을 사용자 인터페이스에 출력하는 단계를 포함할 수 있다. 결과들을 출력하거나 디스플레이하는 단계는 사용자 및 이용 케이스(예를 들어, 대화형, 구조형, 템플릿형, 정적 등)에 따라 다양한 유효 포맷으로 이루어질 수 있다.
도 3은 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 양성 바이오마커 초점을 시각화하기 위해 기계 학습 시스템을 이용하고 훈련하기 위한 예시적인 방법을 도시하는 흐름도이다. 바이오마커들(예를 들어, IHC 마커들, 게놈 패널들)의 시각화는 병리학자가 계산적인 분석(computational assay)이 어떻게 작동하는지를 이해하는 것을 도울 수 있다. 예시적인 방법들(300 및 320)은 검출된 양성 바이오마커 초점을 시각적으로 디스플레이하는 데 이용될 수 있다. 예시적인 방법들(300 및 320) (즉, 단계 301-313 및 단계 321-333)은 자동으로 또는 사용자로부터의 요청에 응답하여 슬라이드 분석 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 양성 바이오마커 초점을 시각화하기 위해 기계 학습 시스템을 훈련하기 위한 예시적인 방법(300)은 다음 단계들 중 하나 이상을 포함할 수 있다. 단계 301에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지 및 대응하는 정보를 수신하는 단계를 포함할 수 있다. 하나 이상의 디지털 이미지는 조직학 슬라이드들을 포함할 수 있다. 대응하는 정보는 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총체적인 설명 등), 임상 정보(예를 들어, 진단, 바이오마커 정보 등), 및 환자 정보(예를 들어, 인구통계, 성별 등)를 포함할 수 있다.
단계 303에서, 방법은 복수의 디지털 이미지들 및 대응하는 환자 데이터를 저장하고 보관하는 시스템을 개발하는 단계를 포함할 수 있다. 대응하는 환자 데이터는 스크리닝(screening), 후속조치(follow-up), 결과 등으로부터의 이미지들을 포함할 수 있다.
단계 305에서, 방법은 복수의 디지털 이미지들 및 대응하는 환자 데이터를 디지털 저장 디바이스에 저장하는 단계를 포함할 수 있다. 디지털 저장 디바이스는 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등을 포함할 수 있다.
단계 307에서, 방법은 복수의 디지털 이미지들의 적어도 하나의 관련 특징에 기초하여 치료 경로에 대한 적어도 하나의 추천을 생성하는 단계를 포함할 수 있다. 치료 경로는 적어도 하나의 관련 인자(예를 들어, 환자 진단, 이력, 인구통계 등)에 기초하여 환자에 대한 임상 시험들, 치료들 등을 포함할 수 있다.
단계 309에서, 방법은 적어도 하나의 바이오마커 및 게놈 패널 요소를 예측하는 단계를 포함할 수 있다.
단계 311에서, 방법은 예측된 바이오마커 및 게놈 패널 요소에 기초하여 적어도 하나의 추천된 치료 경로의 리스트를 생성하는 단계를 포함할 수 있다. 추천된 치료 경로(예를 들어, 약물들, 임상 시험들 등) 및 임의의 관련된 정보(예를 들어, 성공률들, 치료를 위한 위치들 등)는 예측된 바이오마커 및 게놈 패널 요소들에 기초할 수 있다.
단계 313에서, 방법은 하나 이상의 예측 값 또는 추천을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 의해 시각화되거나 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다.
단계 321에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지, 임상 시스템으로부터의 복수의 관련 케이스 및 환자 정보를 수신하는 단계를 포함할 수 있다. 병리학 표본(예를 들어, 조직학 표본), 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총체적인 설명 등) 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트들에 이용가능한 표본들 등)는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등) 내에 수신될 수 있다.
단계 323에서, 방법은 하나 이상의 디지털 이미지에 대해, 예측, 추천 및/또는 복수의 데이터 중 적어도 하나를 생성하는 단계를 포함할 수 있다.
단계 325에서, 방법은 예측, 추천, 및/또는 복수의 데이터 중 적어도 하나가 이용가능함을 나타내는 통지를 생성하는 단계를 포함할 수 있다. 추가적으로, 면역조직화학 또는 게놈 패널에 대한 시각화가 이용가능할 수 있다.
단계 327에서, 방법은 사용자가 시각화 및/또는 검토할 보고를 선택하기 위한 옵션을 제공하는 단계를 포함할 수 있다. 사용자는 병리학자일 수 있다.
단계 329에서, 방법은 예측, 추천 및/또는 복수의 데이터 중 적어도 하나에 기초하여 추천된 치료 경로의 시각화를 생성하는 단계를 포함할 수 있다. 치료 경로(예를 들어, 검증된, 새로운, 임상 등) 또는 다음 단계들(예를 들어, 임상 시험들, 전문 의사 방문 등)는 출력/생성된 예측들에 기초할 수 있다. 디지털 면역조직화학 또는 게놈 패널 결과들의 시각화는 다음 중 하나 이상을 포함할 수 있다:
a. 원래 이미지 상의 양성 관심 영역들 상에 오버레이하는 것(예를 들어, 아웃라인, 알고리즘 예측들에 대한 컬러 매핑을 갖는 기울기 등)
b. 디지털 IHC 또는 게놈 패널 예측 디스플레이를 갖는 이미지와 예측 디스플레이가 없는 이미지의 나란한 비교들
c. 관심 바이오마커 또는 돌연변이에 대한 양성 영역들로서 식별된 모든 양성 초점들의 우선순위화된 리스트(예를 들어, 이미지 크롭들의 슬라이드쇼, 사용자가 하나의 초점으로부터 다른 초점으로 점프하는 것을 허용하는 인터페이스 등)
d. 모든 테스트들을 하나의 최종 출력(예를 들어, 점수, 결과, 추천 등)으로 요약하거나 각각의 디지털 테스트에 대한 최종 출력을 열거하는 보고.
단계 331에서, 방법은 시각화를 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅하는 단계를 포함할 수 있다.
단계 333에서, 방법은 하나 이상의 테스트 결과를 조직 표본과 연관된 최종 진단 보고 내에 통합하는 단계를 포함할 수 있다.
도 4는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 분자 병리학자를 안내하기 위해 종양 영역을 시각화하기 위해 기계 학습 시스템을 이용하고 훈련하기 위한 예시적인 방법을 도시하는 흐름도이다. 디지털화된 병리학 슬라이드 상의 악성 조직(malignant tissue)의 영역의 시각화는 분자 병리학자가 최적의 하류 테스트를 평가하는 것을 도울 수 있다. 예시적인 실시예는 하류 테스트를 위한 최적의 영역을 선택하기 위해 이용될 수 있다. 예시적인 방법들(400 및 420)은 분자 병리학자를 안내하기 위해 종양 영역을 시각화하기 위해 이용될 수 있다. 예시적인 방법들(400 및 420)(즉, 단계 401-413 및 단계 421-433)은 자동으로 또는 사용자로부터의 요청에 응답하여 슬라이드 분석 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 분자 병리학자를 안내하기 위해 종양 영역을 시각화하도록 기계 학습 시스템을 훈련하기 위한 예시적인 방법(400)은 다음의 단계들 중 하나 이상을 포함할 수 있다. 단계 401에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지 및 대응하는 정보를 수신하는 단계를 포함할 수 있다. 하나 이상의 디지털 이미지는 조직학 슬라이드들을 포함할 수 있다. 대응하는 정보는 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총체적인 설명 등), 임상 정보(예를 들어, 진단, 바이오마커 정보 등) 및 환자 정보(예를 들어, 인구통계, 성별 등)를 포함할 수 있다.
단계 403에서, 방법은 복수의 디지털 이미지들 및 대응하는 환자 데이터를 저장하고 보관하는 시스템을 개발하는 단계를 포함할 수 있다. 대응하는 환자 데이터는 스크리닝, 후속조치, 결과 등으로부터의 이미지들을 포함할 수 있다.
단계 405에서, 방법은 복수의 디지털 이미지들 및 대응하는 환자 데이터를 디지털 저장 디바이스에 저장하는 단계를 포함할 수 있다. 디지털 저장 디바이스는 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등을 포함할 수 있다.
단계 407에서, 방법은 복수의 디지털 이미지들의 적어도 하나의 관련 특징에 기초하여 치료 경로에 대한 적어도 하나의 추천을 생성하는 단계를 포함할 수 있다. 치료 경로는 적어도 하나의 관련 인자(예를 들어, 환자 진단, 이력, 인구통계 등)에 기초하여 환자에 대한 임상 시험들, 치료들 등을 포함할 수 있다.
단계 409에서, 방법은 복수의 디지털 이미지들 상의 종양 영역을 예측하는 단계를 포함할 수 있다.
단계 411에서, 방법은 예측된 종양 영역에 기초하여 적어도 하나의 추천된 치료 경로의 리스트를 생성하는 단계를 포함할 수 있다. 추천된 치료 경로(예를 들어, 약물들, 임상 시험들 등) 및 임의의 관련 정보(예를 들어, 성공률들, 치료를 위한 위치들 등)는 예측된 종양 영역에 기초할 수 있다.
단계 413에서, 방법은 하나 이상의 예측 값 또는 추천을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 의해 시각화되거나 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다.
단계 421에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지, 임상 시스템으로부터의 복수의 관련 케이스 및 환자 정보를 수신하는 단계를 포함할 수 있다. 병리학 표본(예를 들어, 조직학 표본), 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총체적인 설명 등) 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트들에 이용가능한 표본들 등)가 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등)에 수신될 수 있다.
단계 423에서, 방법은 하나 이상의 디지털 이미지에 대해, 예측, 추천, 및/또는 복수의 데이터 중 적어도 하나를 생성하는 단계를 포함할 수 있다.
단계 425에서, 방법은 예측, 추천, 및/또는 복수의 데이터 중 적어도 하나가 이용가능함을 나타내는 통지를 생성하는 단계를 포함할 수 있다. 추가적으로, 면역조직화학 또는 게놈 패널에 대한 시각화가 이용가능할 수 있다.
단계 427에서, 방법은 사용자가 시각화 및/또는 검토할 보고를 선택하기 위한 옵션을 제공하는 단계를 포함할 수 있다. 사용자는 병리학자일 수 있다.
단계 429에서, 방법은 예측, 추천, 및/또는 복수의 데이터 중 적어도 하나에 기초하여 추천된 치료 경로의 시각화를 생성하는 단계를 포함할 수 있다. 치료 경로(예를 들어, 검증된, 새로운, 임상 등) 또는 다음 단계들(예를 들어, 임상 시험들, 전문 의사 방문 등)는 출력/생성된 예측에 기초할 수 있다. 디지털 종양 프로파일러 결과들의 시각화들은 다음 중 하나 이상을 포함할 수 있다:
a. 원래 이미지 상의 양성 관심 영역들 상에 오버레이하는 것(예를 들어, 아웃라인, 알고리즘 예측들에 대한 컬러 매핑을 갖는 기울기 등). 오버레이는 염기서열분석을 위해 종양을 긁어내도록 사용자를 안내하기 위해 후속 이미지 상에 등록될 수 있다.
b. 예측 디스플레이를 갖는 이미지와 예측 디스플레이를 갖지 않는 이미지의 나란한 비교들
c. 상부 영역들의 우선순위화된 리스트(예를 들어, 가장 높은 돌연변이 부담을 갖는 종양들 등). 우선순위화된 리스트는 예측들과 함께 종양-특정적 특징들(예를 들어, 종양 돌연변이 부담)에 대해 분석된 모든 부분들을 요약하는 보고를 포함할 수 있다.
단계 431에서, 방법은 시각화를 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅하는 단계를 포함할 수 있다.
단계 433에서, 방법은 하나 이상의 테스트 결과를 조직 표본과 연관된 최종 진단 보고 내에 통합하는 단계를 포함할 수 있다.
도 5는 본 개시내용의 하나 이상의 예시적인 실시예에 따른, 항종양 저항성의 예측된 발달을 보고하기 위해 기계 학습 시스템을 이용하고 훈련하기 위한 예시적인 방법을 도시하는 흐름도이다. 항종양 저항성은 암 세포들이 항암 치료들에도 불구하고 저항하고 생존할 때 발생한다. 이 능력은 치료 과정 동안 암에서 진화할 수 있다. 환자 치료 및 생존을 개선하기 위해 어느 요법들에서 암이 저항성을 획득하는데 가장 어려움을 가질 것인지를 예측한다. 일부 암들은 치료 과정에 걸쳐 다수의 약물들에 대한 저항성을 진화시킬 수 있다. 이는 비효과적일 가능성이 있는 치료들을 식별하기 위해 전달될 수 있다. 예시적인 실시예는 항종양 저항성의 예측된 발달에 대해 보고하는데 이용될 수 있다. 예시적인 방법들(500 및 520)은 항종양 저항성의 발달을 예측하는데 이용될 수 있다. 예시적인 방법들(500 및 520)(즉, 단계 501-511 및 단계 521-533)은 자동으로 또는 사용자로부터의 요청에 응답하여 슬라이드 분석 툴(101)에 의해 수행될 수 있다.
일 실시예에 따르면, 분자 병리학자를 안내하기 위해 종양 영역을 시각화하도록 기계 학습 시스템을 훈련시하기 위한 예시적인 방법(500)은 다음의 단계들 중 하나 이상을 포함할 수 있다. 단계 501에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지 및 대응하는 정보를 수신하는 단계를 포함할 수 있다. 하나 이상의 디지털 이미지는 조직학 슬라이드들을 포함할 수 있다. 대응하는 정보는 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총체적인 설명 등), 임상 정보(예를 들어, 진단, 바이오마커 정보 등) 및 환자 정보(예를 들어, 인구통계, 성별 등)를 포함할 수 있다.
단계 503에서, 방법은 복수의 디지털 이미지들 및 대응하는 환자 데이터를 저장하고 보관하는 시스템을 개발하는 단계를 포함할 수 있다. 대응하는 환자 데이터는 스크리닝, 후속조치, 결과 등으로부터의 이미지를 포함할 수 있다.
단계 505에서, 방법은 복수의 디지털 이미지들 및 대응하는 환자 데이터를 디지털 저장 디바이스에 저장하는 단계를 포함할 수 있다. 디지털 저장 디바이스는 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등을 포함할 수 있다.
단계 507에서, 방법은 적어도 하나의 치료 경로 또는 적어도 하나의 약물에 대한 현재 또는 미래의 저항성을 예측하는 단계를 포함할 수 있다. 예측은 AI, 테스트 등을 이용하는 것일 수 있다. AI는 인구통계 정보, 종양을 포함하는 (염색된) 조직의 디지털 이미지들, 환자 이력 등을 포함하는 다양한 입력을 이용하여 이 정보를 추론할 수 있다.
단계 509에서, 방법은 효과적이지 않을 것으로 예측되는 적어도 하나의 치료의 리스트를 생성하는 단계를 포함할 수 있다.
단계 511에서, 방법은 예측된 종양 영역에 기초하여 적어도 하나의 추천된 치료 경로의 리스트를 생성하는 단계를 포함할 수 있다. 추천된 치료 경로(예를 들어, 약물들, 임상 시험들 등) 및 임의의 관련 정보(예를 들어, 성공률들, 치료를 위한 위치들 등)는 예측된 종양 영역에 기초할 수 있다.
단계 511에서, 방법은 하나 이상의 예측 값 또는 추천을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 의해 시각화되거나 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다.
단계 521에서, 방법은 조직 표본과 연관된 하나 이상의 디지털 이미지, 임상 시스템으로부터의 복수의 관련 케이스 및 환자 정보를 수신하는 단계를 포함할 수 있다. 병리학 표본(예를 들어, 조직학 표본), 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총체적인 설명 등) 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트들에 이용가능한 표본들 등)는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 스토리지, RAM 등) 내에 수신될 수 있다.
단계 523에서, 방법은 하나 이상의 디지털 이미지에 대해, 적어도 하나의 효능 예측 및/또는 복수의 데이터를 생성하는 단계를 포함할 수 있다.
단계 525에서, 방법은 효과적이지 않을 가능성이 있는 적어도 하나의 치료의 예측 및 시각화가 이용가능함을 나타내는 통지를 생성하는 단계를 포함할 수 있다.
단계 527에서, 방법은 사용자가 시각화 및/또는 검토할 보고를 선택하기 위한 옵션을 제공하는 단계를 포함할 수 있다. 사용자는 병리학자일 수 있다.
단계 529에서, 방법은, 예측에 기초하여, 효과적이지 않을 가능성이 있는 적어도 하나의 치료의 시각화를 생성하는 단계를 포함할 수 있다. 정보의 시각화들은 이하의 것을 통해서 제공될 수 있다:
a. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)가 인터페이스의 직접 링크들 및 소스들(예를 들어, 웹사이트들, 문헌 등)을 통해 적어도 하나의 특정 추천(예를 들어, 개방 임상 시험들, 치료에 전문화된 병원들/의사들 등)에 대해 더 많이 학습할 수 있는 대화형 웹 인터페이스.
b. 보고, 여기서 사용자는, 제한적인 것은 아니지만, 이하의 요소들을 포함할 수 있는 요약된 변경 불가능한 보고를 볼 수 있다:
i. 환자 이력
ii. 케이스 요약
iii. 진단 요약
iv. 디지털 및/또는 '수동' 테스트 결과들
v. 디지털 테스트 결과들에 기초한 환자에 대한 제안된 다음 단계들
단계 531에서, 방법은 시각화를 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅하는 단계를 포함할 수 있다.
단계 533에서, 방법은 하나 이상의 테스트 결과를 조직 표본과 연관된 최종 진단 보고 내에 통합하는 단계를 포함할 수 있다.
도 6은 본 개시내용의 하나 이상의 예시적인 실시예들에 따른, 사용자가 시각화 및/또는 보고를 검토하기 위한 예시적인 옵션들을 도시한다. 디스플레이(60)에는, 슬라이드 점수화 결과들의 디스플레이를 갖는 예시적인 보고가 도시되어 있다. 디스플레이(65)는 사용자가 슬라이드 상에서 실행되는 디지털 IHC를 주문하기 위한 옵션을 갖는 예시적인 윈도우를 도시한다.
도 7에 도시된 바와 같이, 디바이스(700)는 중앙 처리 유닛(CPU)(720)을 포함할 수 있다. CPU(720)는, 예를 들어, 임의의 타입의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는, 임의의 타입의 프로세서 디바이스일 수 있다. 관련 기술 분야의 통상의 기술자라면 잘 알 수 있듯이, CPU(720)는 또한 멀티코어/멀티프로세서 시스템(이러한 시스템은 단독으로 동작함), 또는 클러스터 또는 서버 팜(server farm)에서 동작하는 컴퓨팅 디바이스들의 클러스터에서의 단일 프로세서일 수 있다. CPU(720)는 데이터 통신 인프라스트럭처(710), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티코어 메시지 전달 스킴에 접속될 수 있다.
디바이스(700)는 또한 메인 메모리(740), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(730)를 포함할 수 있다. 보조 메모리(730), 예를 들어, 판독 전용 메모리(ROM)는, 예를 들어, 하드 디스크 드라이브 또는 착탈식 저장 드라이브일 수 있다. 그러한 착탈식 저장 드라이브는, 예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 착탈식 저장 드라이브는 이 예에서 잘 알려진 방식으로 착탈식 저장 유닛으로부터 판독 및/또는 그에 기입한다. 착탈식 저장소는 착탈식 저장 드라이브에 의해 판독 및 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 그러한 착탈식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터를 저장한 컴퓨터 이용가능 저장 매체를 포함한다.
대안적인 구현들에서, 보조 메모리(730)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(700) 내로 로딩되는 것을 허용하기 위한 유사한 수단을 포함할 수 있다. 그러한 수단의 예들은 프로그램 카트리지 및 카트리지 인터페이스(예를 들어, 비디오 게임 디바이스들에서 발견되는 것), 착탈식 메모리 칩(예를 들어, EPROM, 또는 PROM) 및 연관된 소켓, 및 소프트웨어 및 데이터가 착탈식 저장 유닛으로부터 디바이스(700)로 전송되는 것을 허용하는 다른 착탈식 저장 유닛들 및 인터페이스들을 포함할 수 있다.
디바이스(700)는 또한 통신 인터페이스("COM")(760)를 포함할 수 있다. 통신 인터페이스(760)는 소프트웨어 및 데이터가 디바이스(700)와 외부 디바이스들 사이에서 전송되게 한다. 통신 인터페이스(760)는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(760)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(760)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수 있는 신호들의 형태일 수 있다. 이러한 신호들은, 예를 들어, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있는, 디바이스(700)의 통신 경로를 통해 통신 인터페이스(760)에 제공될 수 있다.
그러한 장비의 하드웨어 요소들, 운영 체제들 및 프로그래밍 언어들은 사실상 통상적이며, 본 기술분야의 통상의 기술자들은 그와 적절히 친숙하다고 가정된다. 디바이스(700)는 또한 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 접속하기 위한 입력 및 출력 포트들(750)을 포함할 수 있다. 물론, 다양한 서버 기능들은 처리 부하를 분산시키기 위해 다수의 유사한 플랫폼 상에 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.
본 개시내용 전체에 걸쳐, 컴포넌트들 또는 모듈들에 대한 참조들은 일반적으로, 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 유사한 참조 번호들은 일반적으로 동일하거나 유사한 컴포넌트들을 지칭하도록 의도된다. 컴포넌트들 및 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.
전술한 툴들, 모듈들, 및 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장" 타입 매체는 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장을 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등의 유형의 메모리, 또는 이들의 연관된 모듈들 중 임의의 것 또는 전부를 포함할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 원격통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 것으로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 이용되는 바와 같이, 비일시적인 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령어들을 제공하는데 참여하는 임의의 매체를 지칭한다.
상기의 일반적인 설명은 단지 예시적인 것이고 설명을 위한 것이며, 본 개시내용을 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에 개시된 본 발명의 명세서 및 실시의 고려로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 명세서 및 예들은 단지 예시적인 것으로 간주되는 것이 의도된다.

Claims (20)

  1. 표본에 대응하는 전자 이미지를 처리하기 위한 컴퓨터로 구현된 방법으로서,
    조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 단계;
    기계 학습 시스템을 이용하여 상기 하나 이상의 디지털 이미지에 대한 예측, 추천, 및/또는 복수의 데이터 중 하나 이상을 결정하는 단계―상기 기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 복수의 게놈 패널 요소들을 예측함―; 및
    상기 예측, 상기 추천, 및/또는 상기 복수의 데이터에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅할지를 결정하는 단계를 포함하는
    컴퓨터로 구현된 방법.
  2. 제1항에 있어서,
    상기 방법은 상기 하나 이상의 디지털 이미지에 대한 예측 또는 시각화가 이용가능함을 나타내는 통지를 생성하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
  3. 제1항에 있어서,
    상기 방법은 사용자가 상기 예측 또는 상기 시각화를 검토하기 위한 옵션을 생성하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
  4. 제1항에 있어서,
    상기 방법은 상기 예측에 기초하여 적어도 하나의 추천된 치료의 하나 이상의 디스플레이를 생성하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
  5. 제4항에 있어서,
    상기 하나 이상의 디스플레이는 복수의 다음의 방법들: 원래 이미지의 상부 상에 계층화된 적어도 하나의 관심 영역의 오버레이, 나란한 시각화, 적어도 하나의 정량화 방법을 이용한 보고, 및 복수의 결과들로 실행되는 적어도 하나의 디지털 테스트의 요약 중 하나를 통해 생성될 수 있는, 컴퓨터로 구현된 방법.
  6. 제1항에 있어서,
    디지털 면역조직화학 또는 게놈 패널 결과들의 시각화는 복수의 방법들: 원래 이미지의 상부 상에 계층화된 적어도 하나의 관심 영역의 오버레이, 나란한 시각화, 적어도 하나의 정량화 척도를 이용한 보고, 및 적어도 하나의 결과로 실행되는 디지털 테스트들의 요약 중 하나를 포함하는, 컴퓨터로 구현된 방법.
  7. 제1항에 있어서,
    적어도 하나의 치료 경로의 추천은 복수의 임상 실무 가이드라인들에 기초하는, 컴퓨터로 구현된 방법.
  8. 제1항에 있어서,
    적어도 하나의 예측을 생성하는 단계는,
    병리 표본의 하나 이상의 디지털화된 이미지, 관련 정보, 임상 정보 및 환자 정보를 수신하는 단계;
    복수의 이미지들 및 복수의 대응하는 환자 데이터를 저장하고 보관하는 시스템을 개발하는 단계;
    상기 복수의 이미지들 및 상기 복수의 대응하는 환자 데이터에 기초하여, 적어도 하나의 예측된 바이오마커 및 적어도 하나의 예측된 게놈 패널 요소를 결정하는 단계;
    복수의 예측된 바이오마커 및 게놈 패널 요소들에 기초하여 추천된 치료 경로들의 리스트를 생성하는 단계; 및
    하나 이상의 예측 값 및 적어도 하나의 치료 경로 추천을 사용자에 의해 판독가능한 형태로 변환하는 단계를 포함하는, 컴퓨터로 구현된 방법.
  9. 제8항에 있어서,
    상기 하나 이상의 예측 값 및 상기 적어도 하나의 치료 경로 추천을 사용자 인터페이스에 출력하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
  10. 표본에 대응하는 전자 이미지를 처리하기 위한 시스템으로서,
    명령어들을 저장하는 적어도 하나의 메모리; 및
    동작들을 수행하기 위해 상기 명령어들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 동작들은,
    조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 것;
    기계 학습 시스템을 이용하여 상기 하나 이상의 디지털 이미지에 대한 예측, 추천, 및/또는 복수의 데이터 중 하나 이상을 결정하는 것―상기 기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 복수의 게놈 패널 요소들을 예측함―; 및
    상기 예측, 상기 추천, 및/또는 상기 복수의 데이터에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅할지를 결정하는 것을 포함하는
    시스템.
  11. 제10항에 있어서,
    상기 방법은 상기 하나 이상의 디지털 이미지에 대한 예측 또는 시각화가 이용가능함을 나타내는 통지를 생성하는 것을 더 포함하는, 시스템.
  12. 제10항에 있어서,
    상기 방법은 사용자가 상기 예측 또는 상기 시각화를 검토하기 위한 옵션을 생성하는 것을 더 포함하는, 시스템.
  13. 제10항에 있어서,
    상기 방법은 상기 예측에 기초하여 적어도 하나의 추천된 치료의 하나 이상의 디스플레이를 생성하는 것을 더 포함하는, 시스템.
  14. 제10항에 있어서,
    상기 하나 이상의 디스플레이는 복수의 다음의 방법들: 원래 이미지의 상부 상에 계층화된 적어도 하나의 관심 영역의 오버레이, 나란한 시각화, 적어도 하나의 정량화 방법을 이용한 보고, 및 복수의 결과들로 실행되는 적어도 하나의 디지털 테스트의 요약 중 하나를 통해 생성될 수 있는, 시스템.
  15. 제10항에 있어서,
    디지털 면역조직화학 또는 게놈 패널 결과들의 시각화는 복수의 방법들: 원래 이미지의 상부 상에 계층화된 적어도 하나의 관심 영역의 오버레이, 나란한 시각화, 적어도 하나의 정량화 척도를 이용한 보고, 및 적어도 하나의 결과로 실행되는 디지털 테스트들의 요약 중 하나를 포함하는, 시스템.
  16. 제10항에 있어서,
    적어도 하나의 치료 경로의 추천은 복수의 임상 실무 가이드라인들에 기초하는, 시스템.
  17. 제10항에 있어서,
    적어도 하나의 예측을 생성하는 것은,
    병리 표본의 하나 이상의 디지털화된 이미지, 관련 정보, 임상 정보 및 환자 정보를 수신하는 것;
    복수의 이미지들 및 복수의 대응하는 환자 데이터를 저장하고 보관하는 시스템을 개발하는 것;
    상기 복수의 이미지들 및 상기 복수의 대응하는 환자 데이터에 기초하여, 적어도 하나의 예측된 바이오마커 및 적어도 하나의 예측된 게놈 패널 요소를 결정하는 것;
    복수의 예측된 바이오마커 및 게놈 패널 요소들에 기초하여 추천된 치료 경로들의 리스트를 생성하는 것; 및
    하나 이상의 예측 값 및 적어도 하나의 치료 경로 추천을 사용자에 의해 판독가능한 형태로 변환하는 것을 포함하는, 시스템.
  18. 제10항에 있어서,
    상기 하나 이상의 예측 값 및 상기 적어도 하나의 치료 경로 추천을 사용자 인터페이스에 출력하는 것을 더 포함하는, 시스템.
  19. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 인구 집단의 건강을 모니터링하기 위한 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은,
    조직 표본과 연관된 하나 이상의 디지털 이미지, 관련 케이스, 환자, 및/또는 복수의 임상 정보를 수신하는 단계;
    기계 학습 시스템을 이용하여 상기 하나 이상의 디지털 이미지에 대한 예측, 추천, 및/또는 복수의 데이터 중 하나 이상을 결정하는 단계―상기 기계 학습 시스템은 복수의 훈련 이미지들을 이용하여 훈련되어, 바이오마커 및 복수의 게놈 패널 요소들을 예측함―; 및
    상기 예측, 상기 추천, 및/또는 상기 복수의 데이터에 기초하여, 출력 및 적어도 하나의 시각화 영역을 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅할지를 결정하는 단계를 포함하는
    비일시적 컴퓨터 판독가능 매체.
  20. 제19항에 있어서,
    상기 방법은 상기 하나 이상의 디지털 이미지에 대한 예측 또는 시각화가 이용가능함을 나타내는 통지를 생성하는 단계를 더 포함하는, 방법.
KR1020227025751A 2020-01-28 2021-01-27 디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들 KR102553095B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062966659P 2020-01-28 2020-01-28
US62/966,659 2020-01-28
PCT/US2021/015310 WO2021154869A1 (en) 2020-01-28 2021-01-27 Systems and methods for delivery of digital biomarkers and genomic panels

Publications (2)

Publication Number Publication Date
KR20220111725A true KR20220111725A (ko) 2022-08-09
KR102553095B1 KR102553095B1 (ko) 2023-07-06

Family

ID=74853704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227025751A KR102553095B1 (ko) 2020-01-28 2021-01-27 디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들

Country Status (9)

Country Link
US (2) US11475990B2 (ko)
EP (1) EP4097737A1 (ko)
JP (2) JP7228210B2 (ko)
KR (1) KR102553095B1 (ko)
CN (1) CN114981898A (ko)
AU (2) AU2021213741A1 (ko)
BR (1) BR112022014531A2 (ko)
CA (1) CA3161263A1 (ko)
WO (1) WO2021154869A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102241724B1 (ko) * 2020-05-22 2021-04-19 주식회사 루닛 레이블 정보를 보정하는 방법 및 시스템
US11335462B1 (en) 2020-10-23 2022-05-17 PAIGE.AI, Inc. Systems and methods to process electronic images to identify diagnostic tests
CN113806590A (zh) * 2021-09-27 2021-12-17 北京市律典通科技有限公司 一种刑事同案数据智能推送方法及系统
US20230368894A1 (en) * 2022-05-13 2023-11-16 PAIGE.AI, Inc. Systems and methods for processing electronic images with updated protocols

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364862A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Performing Image Analytics Using Graphical Reporting Associated with Clinical Images
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
WO2019154987A1 (en) * 2018-02-12 2019-08-15 F. Hoffmann-La Roche Ag Transformation of digital pathology images
WO2019172901A1 (en) * 2018-03-07 2019-09-12 Google Llc Virtual staining for tissue slide images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013164277A2 (en) 2012-04-30 2013-11-07 General Electric Company Systems and methods for selection and display of multiplexed images of biological tissue
CN108139711B (zh) 2015-09-22 2023-12-12 西门子保健有限责任公司 数字全息显微术重构中的自动参考
KR101863227B1 (ko) 2016-07-12 2018-05-31 주식회사 인피니트헬스케어 디지털 병리 시스템의 환자 케이스 동일성 판단 방법
US11341649B2 (en) * 2018-02-26 2022-05-24 Mayo Foundation For Medical Education And Research Systems and methods for quantifying multiscale competitive landscapes of clonal diversity in glioblastoma
US11348239B2 (en) * 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US10991097B2 (en) * 2018-12-31 2021-04-27 Tempus Labs, Inc. Artificial intelligence segmentation of tissue images
US20200245918A1 (en) * 2019-02-01 2020-08-06 Mindstrong Health Forecasting Mood Changes from Digital Biomarkers
US20200395117A1 (en) * 2019-06-14 2020-12-17 Cycle Clarity, LLC Adaptive image processing method and system in assisted reproductive technologies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364862A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Performing Image Analytics Using Graphical Reporting Associated with Clinical Images
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
WO2019154987A1 (en) * 2018-02-12 2019-08-15 F. Hoffmann-La Roche Ag Transformation of digital pathology images
WO2019172901A1 (en) * 2018-03-07 2019-09-12 Google Llc Virtual staining for tissue slide images

Also Published As

Publication number Publication date
BR112022014531A2 (pt) 2022-09-20
CN114981898A (zh) 2022-08-30
CA3161263A1 (en) 2021-08-05
KR102553095B1 (ko) 2023-07-06
JP2023502158A (ja) 2023-01-20
US20230005597A1 (en) 2023-01-05
WO2021154869A8 (en) 2022-06-30
AU2021213741A1 (en) 2022-09-08
JP7228210B2 (ja) 2023-02-24
WO2021154869A1 (en) 2021-08-05
US20210233642A1 (en) 2021-07-29
AU2023254922A1 (en) 2023-11-16
US11475990B2 (en) 2022-10-18
JP2023041889A (ja) 2023-03-24
EP4097737A1 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
CN114072879B (zh) 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法
KR102553095B1 (ko) 디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들
KR102403397B1 (ko) 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
KR102498686B1 (ko) 품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들
AU2021213131B2 (en) Systems and methods for processing electronic images for biomarker localization
KR20220062332A (ko) 디지털 병리학을 위한 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
CA3176890A1 (en) Systems and methods to process electronic images to determine salient information in digital pathology
US11501869B2 (en) Systems and methods for processing digital images for radiation therapy

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant