KR20230021665A

KR20230021665A - 디지털 병리학에서 현저한 정보를 결정하기 위해 전자 이미지들을 처리하는 시스템들 및 방법들

Info

Publication number: KR20230021665A
Application number: KR1020227043129A
Authority: KR
Inventors: 질리언 수; 토마스 푹스; 크리스토퍼 카난
Original assignee: 페이지.에이아이, 인크.
Priority date: 2020-05-08
Filing date: 2021-05-06
Publication date: 2023-02-14
Also published as: AU2021267894A1; JP2023524982A; BR112022022429A2; US11574140B2; CN115461821A; EP4147247A1; US20210350166A1; US20230147471A1; WO2021226322A1; CA3176890A1

Abstract

병리학 표본의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터, 임상 정보, 및/또는 환자 정보 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 것, 의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 것 - 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터의 보관소를 이용하여 개발됨 -, 및 디스플레이에 출력하기 위해 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 것을 포함하는, 디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 시스템들 및 방법들이 개시된다.

Description

디지털 병리학에서 현저한 정보를 결정하기 위해 전자 이미지들을 처리하는 시스템들 및 방법들

관련 출원(들)

본 출원은 2020년 5월 8일자로 출원된 미국 가출원 제63/021,955호에 대한 우선권을 주장하며, 그 전체 개시내용 전체가 본 명세서에 참고로 포함된다.

개시내용의 분야

본 개시내용의 다양한 실시예들은 일반적으로 이미지 기반 피처 식별(image-based feature identification) 및 관련 이미지 처리 방법들에 관한 것이다. 더 구체적으로, 본 개시내용의 특정 실시예들은 조직 표본들(tissue specimens)의 이미지들의 처리에 기초하여 진단 피처들을 식별하기 위한 시스템들 및 방법들에 관한 것이다.

병리학은 형태학적 및 조직학적 패턴들의 전문화된 해석을 포함하는 시각적 분야이다. 병리학 표본들의 전체 슬라이드 이미지들(Whole slide images)(WSI)은 병리학자가 검토해야 하는 수십만 개의 픽셀들로 구성된다. 모든 픽셀들이 관련 정보를 포함하는 것은 아니지만, 병리학자들은 진단을 내리기 전에 전체 WSI를 검토할 필요가 있을 수 있다. 본 개시내용은 병리학자들이 신속하고 완전하고 정확한 진단을 위해 관련 영역(들)에 주의를 집중할 수 있게 하는 시각화들을 설명한다.

본 개시내용의 하나 이상의 실시예에 따르면, 출력들은 병리학 조직의 전체 슬라이드 이미지들 상의 특정한 피처들을 식별하기 위해 개발된 시스템들로부터 레버리지될 수 있어, 특정 질문 또는 진단에 관련되는 전체 슬라이드 이미지 상의 영역들에 주의를 집중함으로써 병리학자들의 시간을 절약한다.

또한, 본 개시내용은 (예를 들어, 모든 식별된 관심 있는 영역들에 걸친 히트맵들(heatmaps) 이외의) 디지털화된 병리학 이미지들의 전체 슬라이드 이미지들 상에 식별된 관심 있는 암 병소(cancerous foci)를 시각화하기 위한 추가적인 방법들을 설명한다.

본 개시내용의 특정 양태들에 따르면, 디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 시스템들 및 방법들이 개시된다.

디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 방법으로서, 병리학 표본의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터, 임상 정보, 및/또는 환자 정보 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 단계; 의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 단계 - 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터(prospective patient data)의 보관소(archive)를 이용하여 개발됨 -; 및 디스플레이에 출력하기 위해 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 단계를 포함하는, 방법.

디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 시스템으로서, 명령어들을 저장하는 메모리; 및 프로세스를 수행하기 위해 명령어들을 실행하는 적어도 하나의 프로세서를 포함하고, 프로세스는 병리학 표본의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터, 임상 정보, 및/또는 환자 정보 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 것; 의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 것 - 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터의 보관소를 이용하여 개발됨 -; 및 디스플레이에 출력하기 위해 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 것을 포함하는, 시스템.

명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 명령어들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 방법을 수행하게 하고, 방법은 병리학 표본의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터, 임상 정보, 및/또는 환자 정보 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 단계; 의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 단계 - 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터의 보관소를 이용하여 개발됨 -; 및 디스플레이에 출력하기 위해 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.

전술한 일반적인 설명 및 다음의 상세한 설명 둘 다는 예시적이고 설명적일 뿐이며, 청구된 바와 같은 개시된 실시예들을 제한하지 않는다는 것을 이해해야 한다.

본 명세서에 포함되어 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하고, 설명과 함께, 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1a는 본 개시내용의 예시적 실시예에 따른, 이미지의 진단 피처들을 식별하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 개시내용의 예시적인 실시예에 따른, 질병 검출 플랫폼(100)의 예시적인 블록도를 도시한다.
도 2는 본 개시내용의 예시적인 실시예에 따른, 피처 식별 툴을 개발하기 위한 예시적인 방법의 흐름도이다.
도 3은 본 개시내용의 예시적인 실시예에 따른, 피처 식별 툴을 개발하기 위한 예시적인 방법의 흐름도이다.
도 4는 본 개시내용의 예시적인 실시예에 따른, 예시적인 십자선 출력을 도시하는 도면이다.
도 5는 본 개시내용의 예시적인 실시예에 따른, 관심 시야(Field of View) 출력의 예시적인 출력을 도시하는 도면이다.
도 6은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.

이제, 본 개시내용의 예시적인 실시예들이 상세히 참조될 것이며, 그 예들은 첨부 도면들에 예시된다. 가능한 경우마다, 동일한 참조 번호들은 도면들 전반에 걸쳐 동일하거나 유사한 부분들을 지칭하기 위해 이용될 것이다.

본 명세서에 개시된 시스템들, 디바이스들, 및 방법들은 예들로서 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에서 논의된 예들은 단지 예들이고, 본 명세서에서 설명된 장치들, 디바이스들, 시스템들, 및 방법들의 설명을 돕기 위해 제공된다. 도면들에 도시되거나 아래에 논의되는 피처들 또는 컴포넌트들 중 어느 것도, 필수로서 구체적으로 지정되지 않는 한, 이러한 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현에 대해 필수로서 취해지지 않아야 한다.

또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지에 관계없이, 문맥에 의해 달리 지정되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 임의의 명시적 또는 암시적 순서는 그러한 단계들이 제시된 순서로 수행되어야 함을 암시하는 것이 아니라, 대신에 상이한 순서로 또는 병렬로 수행될 수 있다는 것을 이해해야 한다.

본 명세서에서 이용될 때, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현은 양의 제한을 나타내는 것이 아니라, 참조된 항목들 중 하나 이상의 존재를 나타낸다.

관심 영역들을 식별하는 것은 전문가들에 의한 시각적 해석을 포함하는 시간 집약적인 프로세스이다. 병리학자들의 수가 전 세계에 걸쳐 감소함에 따라, 검토를 위한 병리학적 표본들의 양이 증가하고 있으며, 이는 의사의 소진(physician burnout) 및 오진을 야기한다.

환자 케이스 내의 모든 슬라이드에 대해 전체 WSI를 분석하는 프로세스는 완전히 수동일 수 있으며, 이는 극도로 시간 소모적이며 에러가 발생하기 쉽다. 관심 영역들은 전체 조직의 일부(예를 들어, 크기가 마이크로미터)인 피처들을 포함할 수 있다. 학술 의료 센터들에서, 훈련 중인 병리학자들(예를 들어, 전임의사들(fellows))은 병리학자의 검토에 앞서 환자의 케이스들을 수동으로 검토할 것이다. 검토 동안, 전임의사들은 관심 영역들을 마킹하고, 병리학자의 최종 검토 및 진단을 위해 진단을 미리 작성할 것이다. 이 방법에서, 병리학자들은 수습생의 초기 평가에 기초하여 케이스들의 특정 부분들에 끌리게 된다. 병리학자들이 최종 및/또는 차별 진단을 확신하지 못하는 경우, 그들은 제2 의견을 위해 자료를 다른 병리학자에게 전송하는 옵션을 갖는다. 추천 병리학자는 특정 질문에 대한 대표 슬라이드(들)만을 전송받을 수 있다 - 이 시나리오에서, 병리학자의 주의는 특정 질문 및 병소에 집중된다.

본 개시내용은 병리학적 진단 및 치료 결정들에 이용될 수 있는 관심 있는 피처들(예를 들어, 생체지표들, 암, 조직학적 등)을 검출하는 인공 지능(AI) 기술을 이용한다. 이것은 케이스, 부분, 블록 레벨들, 및/또는 슬라이드 레벨들에서 행해질 수 있다. 데이터 및 예측들이 집계되고, 임의의 사용자 인터페이스를 통해(예를 들어, 디지털 병리학 뷰잉 시스템, 보고, 또는 실험실 정보 시스템 등을 통해) 즉시 이용가능하게 된다.

도 1a는 본 개시내용의 예시적인 실시예에 따른, 이미지의 진단 피처들을 식별하기 위한 시스템 및 네트워크의 예시적 블록도를 도시한다.

구체적으로, 도 1a는 병원들, 실험실들, 및/또는 의사의 사무실들 등에 있는 서버들에 접속될 수 있는 전자 네트워크(120)를 예시한다. 예를 들어, 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및 실험실 정보 시스템들(125) 등은 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷과 같은 전자 네트워크(120)에 각각 접속될 수 있다. 본 출원의 예시적인 실시예에 따르면, 전자 네트워크(120)는 또한 본 개시내용의 예시적인 실시예에 따라, 디지털 병리학 이미지(들)에 관한 진단 피처들을 식별하고, 기계 학습을 이용하여 진단 피처들을 식별하기 위한 피처 식별 툴(101)을 포함하는 질병 검출 플랫폼(100)을 구현하도록 구성되는 처리 디바이스들을 포함할 수 있는 서버 시스템들(110)에 접속될 수 있다. 예시적인 기계 학습 모델들은 신경망들, 컨볼루션 신경망들, 랜덤 포레스트(Random Forest), 로지스틱 회귀(Logistic Regression), 및/또는 최근접 이웃(Nearest Neighbor) 중 임의의 하나 또는 임의의 조합을 포함할 수 있지만, 이에 제한되지 않는다.

의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 하나 이상의 환자의 세포학 표본(들), 종양학 표본(들), 세포학/종양학 표본(들)의 슬라이드(들), 세포학/종양학 표본(들)의 슬라이드(들)의 디지털화된 이미지들, 또는 이들의 임의의 조합의 이미지들을 생성하거나 달리 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 또한 연령, 의료 이력, 암 치료 이력, 가족 이력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 전자 네트워크(120)를 통해 서버 시스템들(110)에 송신할 수 있다. 서버 시스템들(110)은 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들(109)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템(110)은 하나 이상의 기계 학습 툴(들) 또는 능력을 더 포함할 수 있다. 예를 들어, 처리 디바이스들은 일 실시예에 따른, 질병 검출 플랫폼(100)을 위한 기계 학습 툴을 포함할 수 있다. 대안적으로 또는 추가적으로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.

의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및 실험실 정보 시스템들(125)은 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 이용되는 시스템들을 지칭한다. 병원 설정들에서, 조직 타입 정보는 실험실 정보 시스템(125)에 저장될 수 있다.

도 1b는 기계 학습을 이용하여, 디지털 병리학 이미지(들)에 관한 진단 피처들을 식별하기 위한 질병 검출 플랫폼(100)의 예시적인 블록도를 도시한다.

구체적으로, 도 1b는 일 실시예에 따른, 질병 검출 플랫폼(100)의 컴포넌트들을 도시한다. 예를 들어, 질병 검출 플랫폼(100)은 피처 식별 툴(101), 데이터 수집 툴(data ingestion tool)(102), 슬라이드 유입 툴(slide intake tool)(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 저장소(106), 및 뷰잉 애플리케이션 툴(viewing application tool)(108)을 포함할 수 있다.

후술되는 바와 같이, 피처 식별 툴(101)은, 예시적인 실시예에 따른, 디지털 병리학 이미지(들)에 관한 진단 피처들을 식별하고, 기계 학습을 이용하여 진단 피처들을 식별하기 위한 프로세스 및 시스템을 지칭한다.

데이터 수집 툴(102)은 예시적인 실시예에 따른, 디지털 병리학 이미지들을 분류하고 처리하기 위해 이용되는 다양한 툴들, 모듈들, 컴포넌트들, 및 디바이스들에 대한 디지털 병리학 이미지들의 전송을 용이하게 하기 위한 프로세스 및 시스템을 지칭한다.

슬라이드 유입 툴(103)은 예시적인 실시예에 따른, 병리학 이미지들을 스캔하고 그것들을 디지털 형태로 변환하기 위한 프로세스 및 시스템을 지칭한다. 슬라이드들은 슬라이드 스캐너(104)로 스캔될 수 있고, 슬라이드 관리자(105)는 슬라이드들 상의 이미지들을 디지털화된 병리학 이미지들로 처리하고, 디지털화된 이미지들을 저장소(106) 및/또는 저장 디바이스들(109)과 같은 저장소에 저장할 수 있다.

뷰잉 애플리케이션 툴(108)은 예시적인 실시예에 따른, 디지털 병리학 이미지(들)에 관한 표본 특성 또는 이미지 특성 정보를 사용자(예를 들어, 병리학자)에게 제공하기 위한 프로세스 및 시스템을 지칭한다. 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스, 및/또는 웹 브라우저 등)을 통해 제공될 수 있다.

피처 식별 툴(101), 및 그의 컴포넌트들 각각은 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 전자 네트워크(120)를 통해 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)에 송신 및/또는 수신할 수 있다. 더욱이, 서버 시스템들(110)은 피처 식별 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 및/또는 뷰잉 애플리케이션 툴(108) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 저장 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은, 예를 들어, 처리 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력을 더 포함할 수 있다. 대안적으로 또는 추가적으로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.

상기의 디바이스들, 툴들, 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(120)에 접속될 수 있는 디바이스 상에 위치될 수 있다.

도 2는 본 개시내용의 예시적인 실시예에 따른, 디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 툴을 개발하는 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 방법(200)(예를 들어, 단계들 202 내지 206)은 자동으로 또는 사용자(예를 들어, 병리학자, 환자, 종양학자 등)로부터의 요청에 응답하여 피처 식별 툴(101)에 의해 수행될 수 있다.

예시적인 피처 식별 툴 개발: 피처 식별 툴을 개발하기 위한 예시적인 방법(200)은 이하의 단계들 중 하나 이상을 포함할 수 있다. 단계 202에서, 방법은, 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터(예를 들어, 표본 타입, 이용가능한 부분들, 총 설명(gross description) 등), 임상 정보(예를 들어, 진단, 생체지표 정보, 실험실 결과들 등), 및/또는 환자 정보(예를 들어, 인구통계(demographics), 성별 등) 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 것을 포함할 수 있다. 방법은 처리된 이미지들 및 장래의 환자 데이터를 보관하는 파이프라인을 개발하는 것을 포함할 수 있다. 추가적으로, 데이터는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 저장될 수 있다. 단계 204에서, 방법은 의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 것을 포함할 수 있고, 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터(예를 들어, 조직 타입, 표본 타입, 염색 타입, 병리학자 등)의 보관소를 이용하여 개발되었다. 단계 206에서, 방법은 디스플레이에 출력하기 위해 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 것을 포함할 수 있다. 예측 결과들은 사용자의 타입(예를 들어, 병리학자, 환자, 종양학자 등)에 따라 시각적 출력으로 변환될 수 있고, 결과들은 사용자의 타입 및 이용 케이스에 기초한 포맷으로 디스플레이될 수 있다(예를 들어, 대화형, 구조형, 템플릿형, 정적 등).

도 3은 본 개시내용의 예시적인 실시예에 따른, 디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 툴을 이용하는 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 방법(300)(예를 들어, 단계들 302 내지 306)은 자동으로 또는 사용자(예를 들어, 병리학자, 환자, 종양학자 등)로부터의 요청에 응답하여 피처 식별 툴(101)에 의해 수행될 수 있다.

예시적인 피처 식별 툴 이용: 피처 식별 툴을 이용하기 위한 예시적인 방법(300)은 이하의 단계들 중 하나 이상을 포함할 수 있다. 단계 302에서, 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총 설명 등), 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트에 이용가능한 표본들 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 수신하는 것을 포함할 수 있다. 단계 304에서, 예측들, 추천들, 및 다른 데이터가 전자 저장 디바이스에 송신될 수 있고, 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 관심 있는 병소가 이용가능하다는 것을 통지받을 수 있다. 병리학자는 시각화 또는 보고를 검토하기로 선택할 수 있다. 단계 306에서, 관심 있는 병소의 시각화는 (서술자들(descriptors) 또는 다른 툴들이 있거나 없는) 하나 이상의 관심 있는 포인트들 상의 십자선(도 4 참조) 및/또는 (서술자들 또는 다른 툴들이 있거나 없는) 하나 이상의 관심 있는 영역 상의 시야들(도 5 참조)의 형태로 디스플레이될 수 있다. 불규칙한, 비-기하학적 또는 다각형 형상을 가질 수 있는 관심 있는 영역의 윤곽과 같은 다른 시각적 표시자들이 또한 디스플레이될 수 있다. 병리학자는 병소와 상호작용하고 이를 편집할 수 있고/있거나 각각의 관심 있는 영역을 우선순위의 순서 또는 다양한 다른 타입들의 순서화로 볼 수 있다. 예를 들어, 디스플레이는 진단 관련성의 가장 높은 확률을 갖는 관심 있는 제1 영역을 줌인(zoom in)하거나 다른 방식으로 표시하도록 자동으로 수정될 수 있다. 병리학자로부터의 클릭과 같은 표시를 수신할 시에, 디스플레이는 진단 관련성의 두 번째로 높은 확률을 갖는 관심 있는 제2 영역으로 디스플레이의 초점을 맞추도록 자동으로 수정될 수 있는 등으로 된다. 출력들 및 시각화된 영역들은 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅될 수 있다.

예시적인 암 검출 툴 개발: 암 검출 툴을 개발하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총 설명 등), 임상 정보(예를 들어, 진단), 및/또는 환자 정보(예를 들어, 인구통계, 성별 등)를 수신하는 단계를 포함할 수 있다. 방법은 처리된 이미지들 및 장래의 환자 데이터를 보관하는 파이프라인을 개발하는 단계를 포함할 수 있다. 방법은 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 데이터를 저장하는 단계를 포함할 수 있다. 방법은 타겟 피처가 존재하는지 여부를 나타내는 이진 출력을 생성하는 단계를 포함할 수 있다. 방법은, 피처가 존재(예를 들어, 암이 존재)하는 경우, 전체 슬라이드 이미지의 모든 포인트들 상에서 암에 대한 확률을 생성하는 단계를 포함할 수 있다. 방법은 예측 결과들을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 대해 시각화되고 사용자에 의해 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다. 또한, 결과들은 사용자 및 이용 케이스에 따라 다양한 효과적인 포맷들로 디스플레이될 수 있다(예를 들어, 상호작용, 구조형, 템플릿형, 정적 등).

예시적인 암 검출 툴 이용: 암 검출 툴을 이용하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총 설명 등), 및/또는 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트에 이용가능한 표본들 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 수신하는 단계를 포함할 수 있다. 방법은 시스템의 예측들, 추천들, 및 데이터를 전자 저장 디바이스에 출력하는 단계를 포함할 수 있다. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 관심 있는 병소 및/또는 관심 있는 영역들이 이용가능하다는 것을 알게 될 수 있다. 병리학자는 시각화 및/또는 보고를 검토하기로 선택할 수 있다. 관심 있는 병소의 시각화는: 암을 숨기고 있을 가장 높은 통계적 가능성을 갖는 영역을 나타내는 하나의 위치를 보여주는 것; 암을 숨기고 있을 가장 높은 통계적 가능성을 갖는 영역들을 나타내는 (예를 들어, 사용자의 선호도에 기초한) 상위 N개의 위치를 보여주는 것; 피처가 암인지 여부를 결정하기 위한 결정 경계 주위의 값들(예를 들어, 위의 3개의 포인트 및 아래의 3개의 포인트)을 갖는 영역에 대한 위치 또는 위치들을 보여주는 것; 및/또는 슬라이드 상의 조직의 각각의 조각(예를 들어, 개별 림프절들(lymph nodes))에 대한 예측들을 보여주는 것의 형태일 수 있다. 시각화들에는 서술자들(예를 들어, 통계적 가능성 등) 및 다른 툴들(예를 들어, 편집, 삭제, 이동 등)이 제공될 수 있다. 병리학자는 병소와 상호작용하고 이를 편집할 수 있다. 병리학자는 우선순위의 순서로 또는 다른 타입들의 순서화에 기초하여 관심 있는 각각의 영역으로 안내될 수 있다. 출력들 및 시각화된 영역들은 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅될 수 있다.

예시적인 세포 피처 툴 개발: 단일 피처, 예를 들어, 암을 검출하기보다는, 하나 이상의 실시예들이 입력 이미지로부터 다수의 세포 피처들(cellular features)을 예측하는데 이용될 수 있다. 세포 피처 툴을 개발하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총 설명 등), 임상 정보(예를 들어, 진단), 및/또는 환자 정보(예를 들어, 인구통계, 성별 등)를 수신하는 단계를 포함할 수 있다. 방법은 처리된 이미지들 및 장래의 환자 데이터를 보관하는 파이프라인을 개발하는 단계를 포함할 수 있다. 데이터는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 저장될 수 있다. 방법은 각각의 타겟 피처가 존재하는지 여부를 나타내는 이진 출력들을 생성하는 단계를 포함할 수 있다. 방법은, 존재하는 각각의 피처에 대해, 전체 슬라이드 이미지에 각각의 피처가 존재하는 모든 관련 영역들을 식별하는 단계를 포함할 수 있다. 방법은 보고에서 이용될 수 있는 각각의 피처에 대한 전체 스코어를 계산하는 단계를 포함할 수 있다. 방법은 예측 결과들을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 대해 시각화되고 사용자에 의해 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다. 결과들은 사용자 및 이용 케이스에 따라 다양한 효과적인 포맷들로 디스플레이될 수 있다(예를 들어, 대화형, 구조형, 템플릿형, 정적 등).

예시적인 세포 피처 툴 이용: 세포 피처 툴을 이용하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총 설명 등), 및/또는 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트에 이용가능한 표본 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 수신하는 단계를 포함할 수 있다. 방법은 시스템의 예측들, 추천들, 및 데이터를 전자 저장 디바이스에 출력하는 단계를 포함할 수 있다. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 관심 있는 병소 및/또는 관심 있는 영역들이 이용가능하다는 것을 알게 될 수 있다. 병리학자는 시각화 및/또는 보고를 검토하기로 선택할 수 있다. 관심 있는 병소의 시각화는: 관심 있는 피처(예를 들어, 유사분열(mitoses), 선상/관상 분화(glandular/tubular differentiation), 핵 다형성(nuclear pleomorphism), 기저 세포들(basal cells) 등)의 가장 높은 밀도를 포함하는 하나의 위치를 보여주는 것(사용자들은 어느 피처들을 보여주거나 숨길지를 선택할 수 있음); 암을 숨기고 있을 가장 높은 통계적 가능성을 갖는 영역들을 나타내는 (예를 들어, 사용자의 선호도에 기초한) 상위 N개의 위치를 보여주는 것; 및/또는 피처가 암인지 여부를 결정하기 위한 결정 경계 주위의 값들(예를 들어, 위의 3개의 포인트 및 아래의 3개의 포인트)을 갖는 영역에 대한 위치 또는 위치들을 보여주는 것의 형태일 수 있다. 방법은 다수의 피처들에 대한 표시자들을 한번에 또는 개별적으로 보여주는 단계를 포함할 수 있다. 시각화들에는 서술자들(예를 들어, 통계적 가능성 등) 및 다른 툴들(예를 들어, 편집, 삭제, 이동 등)이 제공될 수 있다. 병리학자는 병소와 상호작용하고 이를 편집할 수 있다. 병리학자는 우선순위의 순서로 또는 다른 타입들의 순서화에 기초하여 관심 있는 각각의 영역으로 안내될 수 있다. 출력들 및 시각화된 영역들은 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅될 수 있다.

예시적인 암 등급 툴 개발: 암 등급 툴을 개발하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 이 실시예에서, 사용자의 주의를, 만약 그것이 존재하는 경우, 전체 슬라이드 이미지에서의 특정한 암 등급들로 향하게 하는 방법이 설명된다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총 설명 등), 임상 정보(예를 들어, 진단), 및 환자 정보(예를 들어, 인구통계, 성별 등)를 수신하는 단계를 포함할 수 있다. 방법은 처리된 이미지들 및 장래의 환자 데이터를 보관하는 파이프라인을 개발하는 단계를 포함할 수 있다. 데이터는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 저장될 수 있다. 방법은 타겟 피처가 존재하는지 여부를 나타내는 이진 출력을 생성하는 단계를 포함할 수 있다. 방법은, 피처가 존재하는 경우(예를 들어, 암의 등급), 전체 슬라이드 이미지에 각각의 피처가 존재하는 모든 관련 영역들을 식별하는 단계를 포함할 수 있다. 방법은 보고에서 이용될 수 있는 각각의 피처에 대한 전체 스코어를 계산하는 단계를 포함할 수 있다. 방법은 예측 결과들을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 대해 시각화될 수 있고 사용자에 의해 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다. 결과들은 사용자 및 이용 케이스에 따라 다양한 효과적인 포맷들로 디스플레이될 수 있다(예를 들어, 대화형, 구조형, 템플릿형, 정적 등).

예시적인 암 등급 툴 이용: 암 등급 툴을 이용하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총 설명 등), 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트에 이용가능한 표본들 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 수신하는 단계를 포함할 수 있다. 방법은 시스템의 예측들, 추천들, 및 데이터를 전자 저장 디바이스에 출력하는 단계를 포함할 수 있다. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 관심 있는 병소 및/또는 관심 있는 영역들이 이용가능하다는 것을 인식하게 된다. 병리학자는 시각화 및/또는 보고를 검토하기로 선택할 수 있다. 관심 있는 병소의 시각화는: 특정 등급의 암(예를 들어, 전립선암에 대한 Gleason 등급 3, 4, 5, 유방암에 대한 등급 1, 2, 3, 폐암에 대한 등급 1, 2, 3, 4 등)을 표현할 가장 높은 통계적 가능성을 포함하는 하나의 위치를 보여주는 것; 암 등급을 표현하거나 또는 이를 숨기고 있을 가장 높은 통계적 가능성을 갖는 영역들을 나타내는 (예를 들어, 사용자의 선호도에 기초한) 상위 N개의 위치를 보여주는 것; 및/또는 피처가 암인지 여부를 결정하기 위한 결정 경계 주위의 값들(예를 들어, 위의 3개의 포인트 및 아래의 3개의 포인트)을 갖는 영역에 대한 위치 또는 위치들을 보여주는 것의 형태일 수 있다. 방법은 다수의 피처들에 대한 표시자들을 한번에 또는 개별적으로 보여주는 단계를 포함할 수 있다. 시각화들에는 서술자들(예를 들어, 통계적 가능성 등) 및 다른 툴들(예를 들어, 편집, 삭제, 이동 등)이 제공될 수 있다. 병리학자는 병소화 상호작용하고 이를 편집할 수 있다. 병리학자는 우선순위의 순서로 또는 다른 타입들의 순서화에 기초하여 관심 있는 각각의 영역으로 안내될 수 있다. 출력들 및 시각화된 영역들은 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅될 수 있다.

예시적인 암 타입 툴 개발: 암 타입 툴을 개발하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 일부 조직들의 경우, 여러 형태의 암이 발생할 수 있다(예를 들어, 소엽 및 관상 유방암(lobular and ductal breast cancer)). 일 실시예에 따르면, 사용자의 주의는 이미지에 존재하는 암의 타입에 끌릴 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총 설명 등), 임상 정보(예를 들어, 진단), 및 환자 정보(예를 들어, 인구통계, 성별 등)를 수신하는 단계를 포함할 수 있다. 방법은 처리된 이미지들 및 장래의 환자 데이터를 보관하는 파이프라인을 개발하는 단계를 포함할 수 있다. 데이터는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 저장될 수 있다. 방법은 타겟 피처가 존재하는지 여부를 나타내는 이진 출력을 생성하는 단계를 포함할 수 있다. 방법은 피처(예를 들어, 암의 서브타입)이 존재하는 경우, 전체 슬라이드 이미지에 각각의 피처가 존재하는 모든 관련 영역들을 식별하는 단계를 포함할 수 있다. 방법은 보고에서 이용될 수 있는 각각의 피처에 대한 전체 스코어를 계산하는 단계를 포함할 수 있다. 방법은 예측 결과들을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 대해 시각화되고 사용자에 의해 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다. 결과들은 사용자 및 이용 케이스에 따라 다양한 효과적인 포맷들로 디스플레이될 수 있다(예를 들어, 대화형, 구조형, 템플릿형, 정적 등).

예시적인 암 타입 툴 이용: 암 타입 툴을 이용하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총 설명 등), 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트에 이용가능한 표본들 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 수신하는 단계를 포함할 수 있다. 방법은 시스템의 예측들, 추천들, 및 데이터를 전자 저장 디바이스에 출력하는 단계를 포함할 수 있다. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 관심 있는 병소 및/또는 관심 있는 영역들이 이용가능하다는 것을 알게 될 수 있다. 병리학자는 시각화 및/또는 보고를 검토하기로 선택할 수 있다. 관심 있는 병소의 시각화는: 암의 서브타입(예를 들어, 관상 소엽 유방암, 피부암에 대한 흑색종 등)을 표현할 가장 높은 통계적 가능성을 포함하는 하나의 위치를 보여주는 것; 암 서브타입을 표현하거나 또는 숨기고 있을 가장 높은 통계적 가능성을 갖는 영역들을 나타내는 (예를 들어, 사용자의 선호도에 기초한) 상위 N개의 위치를 보여주는 것; 피처가 암 서브타입인지 여부를 결정하기 위한 결정 경계 주위의 값들(예를 들어, 위의 3개의 포인트 및 아래의 3개의 포인트)을 갖는 영역에 대한 위치 또는 위치들을 보여주는 것의 형태일 수 있다. 방법은 다수의 피처들에 대한 표시자들을 한번에 또는 개별적으로 보여주는 단계를 포함할 수 있다. 시각화들에는 서술자들(예를 들어, 통계적 가능성 등) 및 다른 툴들(예를 들어, 편집, 삭제, 이동 등)이 제공될 수 있다. 병리학자는 병소와 상호작용하고 이를 편집할 수 있다. 병리학자는 우선순위의 순서로 또는 다른 타입들의 순서화에 기초하여 관심 있는 각각의 영역으로 안내될 수 있다. 출력들 및 시각화된 영역들은 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅될 수 있다.

예시적인 비-암성 피처 툴 개발: 비-암성 피처 툴(non-cancerous feature tool)을 개발하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 일 실시예에 따르면, 방법은 다른 비-암(non-cancer) 피처들, 예를 들어, 유방 조직에서의 석회화(calcification)들을 식별하는 단계 또는 방광 조직 샘플들에서 고유 근육(muscularis propria)을 식별하는 단계를 포함한다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총 설명 등), 임상 정보(예를 들어, 진단), 및 환자 정보(예를 들어, 인구통계, 성별 등)를 수신하는 단계를 포함할 수 있다. 방법은 처리된 이미지들 및 장래의 환자 데이터를 보관하는 파이프라인을 개발하는 단계를 포함할 수 있다. 데이터는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 저장될 수 있다. 방법은 타겟 피처가 존재하는지 여부를 나타내는 이진 출력을 생성하는 단계를 포함할 수 있다. 방법은, 피처(예를 들어, 비-암성이지만 의심스러운 피처들)이 존재하는 경우, 전체 슬라이드 이미지에 각각의 피처가 존재하는 모든 관련 영역들을 식별하는 단계를 포함할 수 있다. 방법은 보고에서 이용될 수 있는 각각의 피처에 대한 전체 스코어를 계산하는 단계를 포함할 수 있다. 방법은 예측 결과들을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 대해 시각화되고 사용자에 의해 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다. 결과들은 사용자 및 이용 케이스에 따라 다양한 효과적인 포맷들로 디스플레이될 수 있다(예를 들어, 대화형, 구조형, 템플릿형, 정적 등).

예시적인 비-암성 피처 툴 이용: 비-암성 피처 툴을 이용하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총 설명 등), 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트에 이용가능한 표본들 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 수신하는 단계를 포함할 수 있다. 방법은 시스템의 예측들, 추천들, 및 데이터를 전자 저장 디바이스에 출력하는 단계를 포함할 수 있다. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 관심 있는 병소 및/또는 관심 있는 영역들이 이용가능하다는 것을 알게 될 수 있다. 병리학자는 시각화 및/또는 보고를 검토하기로 선택할 수 있다. 관심 있는 병소의 시각화는: 특정 등급의 암(예를 들어, 진피 샘플들에서의 균류, 결장 샘플들에서의 박테리아 등)을 표현할 가장 높은 통계적 가능성을 포함하는 하나의 위치를 보여주는 것; 임상 병리학 피처들을 표현하거나 또는 숨기고 있을 가장 높은 통계적 가능성을 갖는 영역들을 나타내는 (예를 들어, 사용자의 선호도에 기초한) 상위 N개의 위치를 보여주는 것; 및/또는 피처가 의심스러운지 여부를 결정하기 위한 결정 경계 주위의 값들(예를 들어, 위의 3개의 포인트 및 아래의 3개의 포인트)을 갖는 영역에 대한 위치 또는 위치들을 보여주는 것의 형태일 수 있다. 방법은 다수의 피처들에 대한 표시자들을 한번에 또는 개별적으로 보여주는 단계를 포함할 수 있다. 시각화들에는 서술자들(예를 들어, 통계적 가능성 등) 및 다른 툴들(예를 들어, 편집, 삭제, 이동 등)이 제공될 수 있다. 병리학자는 병소와 상호작용하고 이를 편집할 수 있다. 병리학자는 우선순위의 순서로 또는 다른 타입들의 순서화에 기초하여 관심 있는 각각의 영역으로 안내될 수 있다. 출력들 및 시각화된 영역들은 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅될 수 있다.

예시적인 침습 툴 개발: 암 병리학에서, 병리학자의 작업들 중 하나는 침습(invasion)이 존재하는지를 결정하는 것이다. 침입 툴을 개발하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 정보(예를 들어, 표본 타입, 이용가능한 부분들, 총 설명 등), 임상 정보(예를 들어, 진단), 및 환자 정보(예를 들어, 인구통계, 성별 등)를 수신하는 단계를 포함할 수 있다. 방법은 처리된 이미지들 및 장래의 환자 데이터를 보관하는 파이프라인을 개발하는 단계를 포함할 수 있다. 데이터는 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 저장될 수 있다. 방법은 타겟 피처가 존재하는지 여부를 나타내는 이진 출력을 생성하는 단계를 포함할 수 있다. 방법은, 피처(예를 들어, 암의 침습)이 존재하는 경우, 전체 슬라이드 이미지에 각각의 피처가 존재하는 모든 관련 영역들을 식별하는 단계를 포함할 수 있다. 방법은 보고에서 이용될 수 있는 각각의 피처에 대한 전체 스코어를 계산하는 단계를 포함할 수 있다. 방법은 예측 결과들을 사용자(예를 들어, 병리학자, 환자, 종양학자 등)에 대해 시각화되고 사용자에 의해 해석될 수 있는 형태로 변환하는 단계를 포함할 수 있다. 결과들은 사용자 및 이용 케이스에 따라 다양한 효과적인 포맷들로 디스플레이될 수 있다(예를 들어, 대화형, 구조형, 템플릿형, 정적 등).

예시적인 침습 툴 이용: 침습 툴을 이용하기 위한 예시적인 방법은 이하의 단계들 중 하나 이상을 포함할 수 있다. 방법은 병리학 표본(예를 들어, 조직학)의 하나 이상의 디지털화된 이미지, 관련 케이스 및 환자 정보(예를 들어, 표본 타입, 케이스 및 환자 ID, 케이스 내의 부분들, 총 설명 등), 및 임상 시스템으로부터의 정보(예를 들어, 할당된 병리학자, 테스트에 이용가능한 표본들 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장소, RAM 등) 내에 수신하는 단계를 포함할 수 있다. 방법은 시스템의 예측들, 추천들, 및 데이터를 전자 저장 디바이스에 출력하는 단계를 포함할 수 있다. 사용자(예를 들어, 병리학자, 종양학자, 환자 등)는 관심 있는 병소 및/또는 관심 있는 영역들이 이용가능하다는 것을 알게 될 수 있다. 병리학자는 시각화 및/또는 보고를 검토하기로 선택할 수 있다. 관심 있는 병소의 시각화는: 침습성 암의 증거(예를 들어, 유방암에서의 미세침습, 방광암에서의 고유 근육 침습, 전립선암에서의 신경 주위 침습 등)를 표현할 가장 높은 통계적 가능성을 포함하는 하나의 위치를 보여주는 것; 암 침습의 증거를 표현하거나 숨기고 있을 가장 높은 통계적 가능성을 갖는 영역들을 나타내는 (예를 들어, 사용자의 선호도에 기초한) 상위 N개의 위치를 보여주는 것; 및/또는 피처가 침습성인지 여부를 결정하기 위한 결정 경계 주위의 값들(예를 들어, 위의 3개의 포인트 및 아래의 3개의 포인트)을 갖는 영역에 대한 위치 또는 위치들을 보여주는 것의 형태일 수 있다. 방법은 다수의 피처들에 대한 표시자들을 한번에 또는 개별적으로 보여주는 단계를 포함할 수 있다. 시각화들에는 서술자들(예를 들어, 통계적 가능성 등) 및 다른 툴들(예를 들어, 편집, 삭제, 이동 등)이 제공될 수 있다. 병리학자는 병소와 상호작용하고 이를 편집할 수 있다. 병리학자는 우선순위의 순서로 또는 다른 타입들의 순서화에 기초하여 관심 있는 각각의 영역으로 안내될 수 있다. 출력들 및 시각화된 영역들은 임상 보고 시스템 내의 케이스 이력의 일부로서 로깅될 수 있다.

하나 이상의 실시예에 따르면, 전체 슬라이드 이미지 상의 제한된 수의 영역들 또는 시야들이 병리학자에게 디스플레이될 수 있고, 그 선택된 영역들은 진단 프로세스에서의 특정 작업(예를 들어, 암 검출, 그레이딩(grading), 분류(triaging) 등)을 완료하기에 충분할 수 있다.

하나 이상의 실시예가 병원, 실험실, 의료 센터에서의 임상 작업흐름 내에서 (1) 웹 애플리케이션(클라우드 기반 또는 구내); (2) 모바일 애플리케이션; (3) 대화형 보고; (4) 정적 보고; 및/또는 (5) 대시보드로서 구현될 수 있다.

이용의 용이성을 개선하기 위해, 하나 이상의 실시예는, 핵심적인 정보를 갖는 영역(들)이 개요 정보를 갖는 보고로 조직화될 수 있거나, 또는 전체 슬라이드 이미지의 검토 동안 병리학자에 의해 대화형 검토/편집이 용이하게 될 수 있도록 구현될 수 있다.

하나 이상의 실시예는 다수의 피처들이 하나의 전체 슬라이드 이미지 상에 시각화될 수 있도록 구현될 수 있다.

하나 이상의 실시예에 따른 기술적 작업흐름은 다음과 같을 수 있다: 디지털화된 전체 슬라이드 이미지가 생성될 수 있고, 일부 또는 모든 메타데이터는 병원 및 하드웨어 데이터베이스들로부터 이용가능할 수 있고; 이미지 및 대응하는 데이터는 인공 지능(AI) 기반 시스템으로 전달될 수 있고, 출력들이 생성될 수 있고; 및/또는 출력들 중 일부는 관심 있는 질의(예를 들어, 암, 핵 피처들, 세포 카운트 등)에 기초하여 병리학자에게 시각화(예를 들어, 하나 또는 다수의 포인트 또는 영역)를 생성하고 디스플레이하는 시스템에 공급될 수 있다.

추가로, 본 개시내용의 하나 이상의 실시예는 사전심사(pre-screening)를 위해(즉, 병리학자가 이미지를 검토하기 전) 및/또는 진단이 내려진 후(예를 들어, 품질 보증)에 이용될 수 있다.

도 6에 도시된 바와 같이, 디바이스(600)는 중앙 처리 유닛(CPU)(620)을 포함할 수 있다. CPU(620)는, 예를 들어, 임의의 타입의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는 임의의 타입의 프로세서 디바이스일 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, CPU(620)는 또한 멀티-코어/멀티프로세서 시스템에서의 단일 프로세서일 수 있고, 그러한 시스템은 단독으로, 또는 클러스터 또는 서버 팜에서 동작하는 컴퓨팅 디바이스들의 클러스터에서 동작한다. CPU(620)는 데이터 통신 기반구조(610), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티-코어 메시지-전달 방식에 접속될 수 있다.

디바이스(600)는 또한 메인 메모리(640), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(630)를 포함할 수 있다. 보조 메모리(630), 예를 들어, 판독 전용 메모리(ROM)는, 예컨대, 하드 디스크 드라이브 또는 이동식 저장 드라이브일 수 있다. 그러한 이동식 저장 드라이브는, 예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 이 예에서의 이동식 저장 드라이브는 잘 알려진 방식으로 이동식 저장 유닛으로부터 판독하고/하거나 그것에 기입한다. 이동식 저장 유닛은 이동식 저장 드라이브에 의해 판독되고 그것에 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 관련 기술분야의 통상의 기술자라면 알 수 있듯이, 그러한 이동식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터가 저장되어 있는 컴퓨터 이용가능 저장 매체를 포함한다.

대안적인 구현들에서, 보조 메모리(630)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(600) 내에 로딩되게 하기 위한 다른 유사한 수단을 포함할 수 있다. 그러한 수단의 예들은 프로그램 카트리지 및 카트리지 인터페이스(예컨대, 비디오 게임 디바이스들에서 발견되는 것), 이동식 메모리 칩(예컨대, EPROM, 또는 PROM) 및 연관된 소켓, 및 소프트웨어 및 데이터가 이동식 저장 유닛으로부터 디바이스(600)로 전송되게 하는 다른 이동식 저장 유닛들 및 인터페이스들을 포함할 수 있다.

디바이스(600)는 또한 통신 인터페이스("COM")(660)를 포함할 수 있다. 통신 인터페이스(660)는 소프트웨어 및 데이터가 디바이스(600)와 외부 디바이스들 사이에서 전송될 수 있게 한다. 통신 인터페이스(660)는 모뎀, (이더넷 카드와 같은) 네트워크 인터페이스, 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(660)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(660)에 의해 수신될 수 있는 전자, 전자기, 광학 또는 다른 신호들일 수 있는 신호들의 형태일 수 있다. 이러한 신호들은 디바이스(600)의 통신 경로를 통해 통신 인터페이스(660)에 제공될 수 있으며, 이는 예를 들어 유선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있다.

그러한 장비의 하드웨어 요소들, 운영 체제들 및 프로그래밍 언어들은 사실상 통상적인 것이며, 본 기술 분야의 기술자들은 그와 적절히 친숙한 것으로 가정된다. 디바이스(600)는 또한 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 접속하기 위한 입력 및 출력 포트들(650)을 포함할 수 있다. 물론, 처리 부하를 분산시키기 위해, 다양한 서버 기능들이 다수의 유사한 플랫폼들 상에 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.

본 개시내용 전체에 걸쳐, 컴포넌트들 또는 모듈들에 대한 언급들은 일반적으로 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 아이템들을 지칭한다. 동일한 참조 번호들은 일반적으로 동일하거나 유사한 컴포넌트들을 지칭하도록 의도된다. 컴포넌트들 및 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.

전술한 툴들, 모듈들 및 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장" 타입 매체들은 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적인 저장을 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등의 유형의 메모리, 또는 이들의 연관된 모듈들 중 임의의 것 또는 전부를 포함할 수 있다.

소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 전기통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 것으로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 이용되는 바와 같이, 비일시적, 유형의 "저장" 매체들로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령어들을 제공하는데 참여하는 임의의 매체를 지칭한다.

전술한 일반적인 설명은 예시적이고 설명적일 뿐이며, 본 개시내용을 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에 개시된 본 발명의 명세서 및 실시의 고려로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 명세서 및 예들은 단지 예시적인 것으로 간주되도록 의도된다.

Claims

디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 컴퓨터에 의해 구현된 방법으로서,
병리학 표본의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터, 임상 정보, 및/또는 환자 정보 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 단계;
의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 단계 - 상기 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터의 보관소를 이용하여 개발됨 -; 및
디스플레이에 출력하기 위해 상기 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 단계
를 포함하는 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
상기 적어도 하나의 관련 진단 피처를 결정하는 단계는,
상기 복수의 관련 진단 피처들 각각에 대한 진단 관련성의 확률을 결정하는 단계; 및
상기 디스플레이에 출력하기 위해 상기 복수의 관련 진단 피처들 중에서 가장 높은 확률을 결정하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
상기 적어도 하나의 관련 진단 피처를 결정하는 단계는,
상기 디스플레이에 출력하기 위해 상기 복수의 관련 진단 피처들 중에서 미리 결정된 값을 초과하는 진단 관련성의 적어도 하나의 확률을 결정하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
상기 적어도 하나의 관련 진단 피처를 결정하는 단계는,
상기 디스플레이에 출력하기 위해 상기 복수의 관련 진단 피처들 중에서 진단 관련성의 미리 결정된 개수의 가장 높은 확률들을 결정하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
상기 복수의 관련 진단 피처들 각각의 진단 관련성의 확률들의 랭킹을 결정하는 단계;
상기 진단 관련성의 확률들의 랭킹의 결정에 기초하여 순서대로 상기 관련 진단 피처들 각각에 대해 상기 디스플레이를 자동으로 포커싱하는 단계; 및
상기 디스플레이의 초점을 제1 관련 진단 피처로부터 제2 관련 진단 피처로 수정하기 위한 사용자 입력을 수신하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
적어도 하나의 관심 있는 필드가 디지털화된 병리학 이미지 상에 표시되는, 컴퓨터에 의해 구현된 방법.
제6항에 있어서,
상기 적어도 하나의 관심 있는 필드는 윤곽, 십자선들의 세트, 또는 텍스트 서술자에 의해 표시되는, 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
상기 방법은 데이터의 모음을 디지털 저장 디바이스 내에 저장하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
상기 방법은 전체 슬라이드 이미지의 모든 포인트들 상의 생체지표들, 암, 및/또는 조직학적 피처들에 대한 확률을 생성하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제1항에 있어서,
상기 방법은 타겟 피처가 선택된 영역에 존재하는지의 여부를 나타내는 이진 출력을 생성하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제10항에 있어서,
상기 방법은 상기 타겟 피처가 전체 슬라이드 이미지에 존재하는 관련 영역들의 세트를 식별하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
제11항에 있어서,
상기 방법은 각각의 타겟 피처에 대한 전체 스코어를 계산하는 단계를 더 포함하는, 컴퓨터에 의해 구현된 방법.
디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 시스템으로서,
명령어들을 저장하는 적어도 하나의 메모리; 및
동작들을 수행하기 위해 상기 명령어들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 동작들은,
병리학 표본의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터, 임상 정보, 및/또는 환자 정보 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 것;
의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 것 - 상기 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터의 보관소를 이용하여 개발됨 -; 및
디스플레이에 출력하기 위해 상기 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 것
을 포함하는 시스템.
제13항에 있어서,
상기 적어도 하나의 관련 진단 피처를 결정하는 것은,
상기 복수의 관련 진단 피처들 각각에 대한 진단 관련성의 확률을 결정하는 것; 및
상기 디스플레이에 출력하기 위해 상기 복수의 관련 진단 피처들 중에서 가장 높은 확률을 결정하는 것을 더 포함하는, 시스템.
제13항에 있어서,
상기 적어도 하나의 관련 진단 피처를 결정하는 것은,
상기 디스플레이에 출력하기 위해 상기 복수의 관련 진단 피처들 중에서 미리 결정된 값을 초과하는 진단 관련성의 적어도 하나의 확률을 결정하는 것을 더 포함하는, 시스템.
제13항에 있어서,
상기 적어도 하나의 관련 진단 피처를 결정하는 것은,
상기 디스플레이에 출력하기 위해 상기 복수의 관련 진단 피처들 중에서 진단 관련성의 미리 결정된 개수의 가장 높은 확률들을 결정하는 것을 더 포함하는, 시스템.
제13항에 있어서,
상기 복수의 관련 진단 피처들 각각의 진단 관련성의 확률들의 랭킹을 결정하는 것;
상기 진단 관련성의 확률들의 랭킹의 결정에 기초하여 순서대로 상기 관련 진단 피처들 각각에 대해 상기 디스플레이를 자동으로 포커싱하는 것; 및
상기 디스플레이의 초점을 제1 관련 진단 피처로부터 제2 관련 진단 피처로 수정하기 위한 사용자 입력을 수신하는 것을 더 포함하는, 시스템.
제13항에 있어서,
적어도 하나의 관심 있는 필드가 디지털화된 병리학 이미지 상에 표시되는, 시스템.
제13항에 있어서,
상기 적어도 하나의 관심 있는 필드는 윤곽, 십자선들의 세트, 또는 텍스트 서술자에 의해 표시되는, 시스템.
명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서,
상기 명령어들은, 프로세서에 의해 실행될 때, 디지털화된 병리학 이미지의 진단 피처를 식별하기 위한 방법을 수행하고, 상기 방법은,
명령어들을 저장하는 적어도 하나의 메모리; 및
동작들을 수행하기 위해 상기 명령어들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 동작들은,
병리학 표본의 하나 이상의 디지털화된 이미지, 및 이미지 메타데이터, 표본 메타데이터, 임상 정보, 및/또는 환자 정보 중 적어도 하나를 포함하는 의료 메타데이터를 수신하는 것;
의료 메타데이터에 기초하여 복수의 관련 진단 피처들을 예측하기 위해 기계 학습 모델을 적용하는 것 - 상기 기계 학습 모델은 처리된 이미지들 및 장래의 환자 데이터의 보관소를 이용하여 개발됨 -; 및
디스플레이에 출력하기 위해 상기 관련 진단 피처들 중 적어도 하나의 관련 진단 피처를 결정하는 것
을 포함하는 비일시적 컴퓨터 판독가능 매체.