KR20200066732A

KR20200066732A - 딥 러닝을 사용한 병리 슬라이드 이미지에서의 분자 아형의 종양내 이질성 검출

Info

Publication number: KR20200066732A
Application number: KR1020207014947A
Authority: KR
Inventors: 무스타파 자베르; 빙 송; 크리스토퍼 제토; 찰스 바스크
Original assignee: 난토믹스, 엘엘씨
Priority date: 2017-11-30
Filing date: 2018-11-28
Publication date: 2020-06-10
Also published as: WO2019108695A1; IL274101A; AU2018374207A1; CA3079438A1; SG11202003330PA; TW201926359A; TWI689944B

Abstract

병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하기 위한 기술이 제공된다. 복수의 트레이닝 SI가 복수의 크기 조정된 패치로 분할된다. 각각의 크기 조정된 패치는, 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하고 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여 멀티스케일 기술자로 변환된다. 분류기 모델은 멀티스케일 기술자를 처리하도록 구성 및 트레이닝됨으로써, 각각의 트레이닝 SI에 대해, 분류기 모델은 트레이닝 SI에 해당하는 각각의 크기 조정된 패치에 패치-레벨 분자 아형 분류를 할당하고, 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능하다. 분자 아형 결정 엔진은 트레이닝된 분류기 모델을 사용하여 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정하도록 구성된다.

Description

딥 러닝을 사용한 병리 슬라이드 이미지에서의 분자 아형의 종양내 이질성 검출

본 개시물은 일반적으로 병리 응용을 위한 이미징에 관한 것으로서, 보다 구체적으로는 분자 아형 결정(subtyping) 기술을 위해 병리 슬라이드 이미지를 사용하는 것에 관한 것이다.

일반적으로, 다양한 암은 치료에 대한 환자 반응에 영향을 미치는 특징적인 분자 아형(subtype)을 가질 수 있다. 예를 들어, 유방암은 여성에게서 진단되는 가장 흔한 비피부암(noncutaneous cancer)으로서, 2018년에 미국에서 266,120건이 넘는 새로운 사례가 있는 것으로 추산되었다. 호르몬 수용체(HR) 및 인간 표피 성장 인자 수용체 2(HER2) 상태에 기초하여, 다수의 특징적인 유방암 분자 아형이 확인되었다. 이러한 분자 아형은, 내강 A(luminal A) 및 내강 B(HR-양성/HER2-음성 유방암), HER2-양성, 기저형(basal-like)(HR-음성/HER2-음성), 및 정상형(normal-like)을 포함한다. HR 및 HER2 상태는 이들이 아형에 따라 상이하기 때문에, 치료에 대한 반응 및 예후를 예측하는 데 있어서 중요하다. 면역 조직 화학(IHC) 또는 현장 혼성화(ISH) 분석은 아형을 구별하기 위해 사용되는 표준 방법이다. 최근에는, MammaPrint, Oncotype DX, 및 Predictor Analysis of Microarray 50(PAM50)과 같은 분자 시그니처(signature) 분석이, 표준 임상 병리학적 인자와 비교하여 식별된 아족(subgroup) 간에 더 유의한 특이적 생존임을 입증하는 연구들에 따라 보충적인 예후 지표로서 우세를 보이게 되었다. 특히, (NanoString Prosigna 패널의 일부로서) PAM50 아형 결정은 화학 요법에 대한 반응 가능성을 결정하기 위해 초기 유방암에서 보다 일상적이 되고 있다. 그러나, 이러한 시그니처 기반 테스트는 IHC에 비해 부분적으로 이들의 높은 비용과 긴 처리 시간으로 인해, 보편적으로 사용되지 않는다.

분자 시그니처 분석과 달리, 헤마톡실린 및 에오신(H&E)-착색된 조직검사 슬라이드는 병리적 검사 동안 일상적으로 수집되며, 흔히 병리 슬라이드 이미지(SI)로서 디지털로 기록된다. 일반적으로, 슬라이드 이미징(예를 들어, 전체 슬라이드 이미징)은 디지털 슬라이드를 생성하기 위한 통상적인 유리 슬라이드의 스캐닝을 지칭하며, 진단, 교육 및 연구 목적으로 병리의에 의해 사용된다.

머신 러닝(machine learning) 접근법은, 병리적 검사 작업 속도를 증대시키기 위해 만들어진 많은 컴퓨터 보조 진단(CAD) 소프트웨어 솔루션에 의해 입증된 바와 같이, 인간이 추출할 수 있는 것 이상으로 SI로부터 정보를 추출할 수 있다. SI를 머신 러닝 모델의 입력으로 사용하여, 심지어 유전적 아형 결정도 근사화될 수 있음이 이미 입증되었다. 딥 러닝 방법은 이러한 이미지 기반 분류 작업에 매우 적합한 영향력 있는 일련의 신생 머신 러닝 기술이다. 계산 능력 및 콘볼루션(convolutional) 네트워크 아키텍처 모두에서의 최근의 발전은, 오믹스(omics) 분석, 생의학 신호 처리, 및 생의학 이미징을 포함하는 생물학의 여러 새로운 영역에 대한 이러한 기술의 적용 가능성을 크게 증대시켰다.

SI 분석의 관심사는, 조직 구조체들의 전반적인 상호 의존성을 포착하는 낮은 줌(lower-zoom) 패치(patch)와 세포 레벨 정보를 포착하는 높은 줌 패치의 동시적 사용을 가능하게 하는 크기 조정된(scaled) 패치 표현물의 사용이다. SI의 크기 조정된 패치 표현물은 침습성 관암종(IDC)과 양성 관상피 내암(DCIS)을 구별하기 위한 고정밀 상황 인식 적층형 콘볼루션 신경망(CNN)을 구축하기 위해 사용되었다. 유사하게, 이러한 동일한 접근법은 근처의 림프절 조직으로부터의 조직검사 샘플이 전이에 대해 양성인지 여부를 정확하게 검출하기 위해 사용되었다.

크기 조정된 패치 표현물의 사용은 SI-기반 분류 작업의 성능을 증대시킬 수 있지만, 기가픽셀 SI로부터의 모든 가능한 크기 조정된 패치에 대한 트레이닝의 계산 복잡도는 상당하다. 따라서, 이전의 연구는 분석되는 패치를 전체 이미지의 서브 세트로 제한하는 전략을 사용하였다. 예를 들어, 유방암의 아형의 연구에서, 20배 배율의 청색-황색 채널에 대한 최소 필터를 사용하여, 상피 세포가 풍부한 패치를 선택하였다. 유사하게, 비소 세포 폐암 SI의 연구에서, 40배 배율의 상위 10개의 세포 밀집한 1,000 × 1,000 픽셀 패치만이 사용되었다. 그러나, 이러한 전략들은 이들 각각의 표시에서 세포 형태의 조직-특이적 정보를 활용하였다. 지금까지, 정보가 풍부한 이미지 패치에 초점을 맞추기 위한 일반화 가능한 방법은 진행 중인 연구의 분야로만 여겨져 왔다.

전술한 바와 같이, 발현-기반 PAM50 분석에 의해 분류되는 것과 같은 암 아형은 표준 임상 병리학적 인자와 별개의 예후이지만, 이러한 아형을 밝히기 위해 필요한 분자 테스트는 일상적으로 수행되지 않았다. 또한, 종양내 이질성은 RNA 염기서열 결정법과 같은 덜 표적화된 접근법을 사용하여 검출하기가 어려웠다.

그러나, (예를 들어, 헤마톡실린 및 에오신(H&E)-착색된 조직검사 조직 절개부의) 병리 슬라이드 이미지(SI)만을 사용하여, 분자 아형 분류를 결정하고 분자 아형의 종양내 이질성을 검출하기 위한 시스템, 방법 및 제조 물품이 본원에서 설명된다. 또한, 이러한 패치-레벨 분석이 이질적 종양을 정확하게 식별할 수 있다는 증거가 제시된다. 특히, 분류기 모델은 이전에 아형 결정된 SI를 사용하여 트레이닝될 수 있으며, 후속적으로, 테스트 SI 내의 암-특이적 패치를 주요 분자 아형(예를 들어, 기저형, HER2-농화(enriched), 내강 A, 및 내강 B, 및 정상형)으로 분류하기 위해 사용될 수 있다. 첨단 머신 러닝 방법은 일상적으로 수집된 SI만을 사용하여 분자 테스트를 근사할 수 있다는 점에서, 공격적인 소수 아클론(subclone)을 검출함으로써 예후 능력을 증대시킬 수 있다.

일 실시형태에서, 예를 들어, 환자에 각각 대응하는 복수의 트레이닝 SI가 획득되어 복수의 크기 조정된 패치로 분할된다. 복수의 트레이닝 SI는 헤마톡실린 및 에오신(H&E)-착색된 전체 슬라이드 이미지를 포함할 수 있다. 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 해당 트레이닝 SI 내의 위치에 집중된 하나 이상의 줌 레벨(zoom level)의 하나 이상의 패치 표현물을 포함한다. 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 각각의 크기 조정된 패치에 대해, 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자(descriptor)에 매핑하고 패치 레벨 기술자를 결합함으로써, Inception-v3, resnet34, resnet152, densenet169, densenet201 또는 다른 딥 러닝 콘볼루션 신경망 중 하나와 같은, 딥 러닝 신경망을 사용하여 멀티스케일 기술자로 변환된다. Inception-v3 신경망의 로지트(logit) 계층은 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하도록 구성될 수 있다. 패치-레벨 기술자는 다차원 기술 벡터(descriptive vector)를 포함할 수 있다. 다차원 기술 벡터의 차원을 축소하기 위한 주성분 분석(PCA) 또는 다른 차원수 축소 기술이 사용될 수 있다. 분류기 모델은 멀티스케일 기술자를 처리하도록 구성 및 트레이닝됨으로써, 각각의 트레이닝 SI에 대해, 분류기 모델은 트레이닝 SI에 해당하는 각각의 복수의 크기 조정된 패치에 패치-레벨 분자 아형 분류를 할당하고, 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능하다. 패치-레벨 분자 아형 분류 및 SI-레벨 분자 아형 분류는 복수의 분자 아형을 포함하는 이질적 분류일 수 있다. 분자 아형 결정 엔진은 트레이닝된 분류기 모델을 사용하여 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정하도록 구성된다.

일부 실시형태에서, 각각의 크기 조정된 패치는 5배, 10배, 20배, 및 40배 줌 레벨 패치 표현물 중 하나 이상과 같이, 서로에 대해 상대적으로 높은 줌 레벨 패치 및 상대적으로 낮은 줌 레벨 패치를 포함할 수 있다.

일부 실시형태에서, SI-레벨 분자 아형 분류는 복수의 크기 조정된 패치에 대한 다수 영역 결정(voting) 기준 또는 가중 기준에 기초하여 결정될 수 있다. 가중 기준은 세포 밀도 및 전사 활성 중 적어도 하나에 기초할 수 있다.

일부 실시형태에서, SI-레벨 분자 아형 분류는, 기저형, HER2-농화, 내강 A, 및 내강 B, 및 정상형, 또는 상이한 아형 분류의 조합 중 하나와 같은, Prosigna 유방암 예후 유전자 시그너처 분석 또는 PAM50 아형 분류 중 적어도 하나를 포함할 수 있다.

일부 실시형태에서, 예를 들어, 암 농화 영역을 한정하기 위해, 무작위 선택 또는 k-평균 클러스터링(clustering)과 같은 자율형 클러스터링을 사용하여 복수의 크기 조정된 패치를 클러스터링함으로써, 복수의 크기 조정된 패치의 서브 세트가 추가적인 처리를 위해 선택될 수 있다. 복수의 크기 조정된 패치의 서브 세트는 트레이닝 SI 내의 종양 함량을 요약하도록 선택될 수 있다.

일부 실시형태에서, 복수의 크기 조정된 패치는 최소 색 분산을 위해 필터링될 수 있으며, 빈 공간 또는 백그라운드인 것으로 결정된 각각의 크기 조정된 패치는 필터링에 기초하여 추가적인 처리에 의해 제거될 수 있다.

일부 실시형태에서, 분류기 모델은, 레이디얼 기저 함수(radial basis function: RBF) 커널을 포함하는 멀티클래스 지원 결정 머신(SVM), 나이브 베이지안(naive Bayes) 분류기, 결정 트리, 부스트(boosted) 트리, 랜덤 포레스트(random forest) 분류기, 신경망, 최근접 이웃 분류기, 선형 분류기, 및 비선형 분류기 중 하나 이상을 포함할 수 있다.

일부 실시형태에서, 테스트 SI가 획득될 수 있다. 테스트 SI는 복수의 크기 조정된 패치로 분할될 수 있으며, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 테스트 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함한다. 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 각각의 크기 조정된 패치에 대해, 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하고 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여 멀티스케일 기술자로 변환될 수 있다. 멀티스케일 기술자는 트레이닝된 분류기 모델을 사용하여 처리될 수 있으며, 트레이닝된 분류기 모델은 각각의 복수의 크기 조정된 패치에 패치-레벨 분자 아형 분류를 할당하고, 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능하다. 테스트 SI 내에서 암 농화인 것으로 결정되는 선택된 관심 영역의 표시는 예를 들어, 사용자 인터페이스를 통해 사용자로부터 획득될 수 있거나, 생물학적 기준, 경험적 머신 러닝 또는 이미지 처리 알고리즘의 출력, 또는 딥러닝 콘볼루션 알고리즘의 출력 중 하나 이상에 기초하여 자동으로 선택될 수 있다. 선택된 관심 영역은 중심 또는 폐쇄 곡선일 수 있고, 복수의 크기 조정된 패치는 선택된 관심 영역을 포함할 수 있다.

본 발명의 청구 대상의 다양한 목적, 특징, 양태 및 이점은 유사한 참조 번호가 유사한 구성 요소를 나타내는 첨부된 도면과 함께, 이하의 명세서로부터 더 명백해질 것이다.

특허 또는 출원 파일은 컬러로 이루어진 적어도 하나의 도면을 포함한다. 요청 및 필요한 비용의 지불 시에, 컬러 도면(들)이 있는 본 특허 또는 특허 출원 공보의 사본이 특허청에 의해 제공될 것이다.
도 1은 일 실시형태에 따라 분석되는 병리 슬라이드 이미지의 그래픽 표현물을 도시한다.
도 2는 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 예시적인 작업의 블록도를 도시한다.
도 3은 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 시스템의 블록도를 도시한다.
도 4는 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 예시적인 작업의 흐름도를 도시한다.
도 5는 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 예시적인 작업의 흐름도를 도시한다.
도 6은 일 실시형태에 따라, 병리 슬라이드 이미지의 예시적인 크기 조정된 패치의 그래픽 표현물을 도시한다.
도 7은 일 실시형태에 따라, 병리 슬라이드 이미지의 아형 결정 암 농화 크기 조정된 패치의 그래픽 표현물을 도시한다.
도 8은 일 실시형태에 따른 이질성의 독립적인 증거의 그래픽 표현물을 도시한다.
도 9는 다양한 실시형태의 하나 이상의 양태를 구현하기 위해 사용될 수 있는 예시적인 클라이언트-서버 관계의 블록도를 도시한다; 그리고
도 10은 다양한 실시형태의 하나 이상의 양태를 구현하기 위해 사용될 수 있는 분산형 컴퓨터 시스템의 블록도를 도시한다.
본 발명은 위의 도면을 참조하여 설명되지만, 도면은 예시적인 것으로 의도되며, 다른 실시형태는 본 발명의 범위 내에 있고 본 발명의 사상과 일치한다.

이제, 다양한 실시형태의 일부를 형성하고, 실시형태를 실시하는 구체적인 실시예를 예시적으로 도시하는 첨부된 도면을 참조하여, 이하에서 다양한 실시형태가 더 완전하게 설명될 것이다. 그러나, 본 명세서는 다수의 상이한 형태로 구현될 수 있고, 본원에서 상술되는 실시형태로 제한되는 것으로 해석되어서는 안되며; 오히려, 본 명세서가 철저해지고 완전해지며, 본 발명의 범위를 당업자에게 충분히 전달하도록, 이러한 실시형태가 제공된다. 특히, 본 명세서는 방법 또는 장치로서 구현될 수 있다. 따라서, 본원에서의 임의의 다양한 실시형태는 전적으로 하드웨어 실시형태, 전적으로 소프트웨어 실시형태, 또는 소프트웨어와 하드웨어 양태를 결합한 실시형태의 형태를 취할 수 있다. 따라서, 이하의 명세서는 제한적인 의미로 간주되어서는 안된다.

명세서 및 청구범위 전반에 걸쳐서, 다음의 용어는 문맥상 명백하게 달리 지시되지 않는 한, 본원에 명시적으로 연관된 의미를 취한다.

본원에 사용되는 바와 같은, "일 실시형태에서"라는 문구는 반드시 동일한 실시형태를 지칭하는 것은 아니지만, 그럴 수도 있다. 따라서, 후술되는 바와 같은, 본 발명의 다양한 실시형태는 본 발명의 범위 또는 사상을 벗어나지 않고 용이하게 조합될 수 있다.

본원에 사용되는 바와 같은, "또는"이란 용어는 포괄적인 "또는" 기능어이며, 문맥상 명백하게 달리 지시되지 않는 한, "및/또는"이란 용어와 동등하다.

"~에 기초하는"이라는 용어는 배타적이지 않으며, 문맥상 명백하게 달리 지시되지 않는 한, 설명되지 않은 추가적인 요소에 기초하는 것을 허용한다.

본원에 사용되는 바와 같은, 그리고 문맥상 달리 지시되지 않는 한, "~에 연결된"이란 용어는 직접적인 연결(2개의 요소가 서로 접촉되도록 서로 연결됨) 및 간접적인 연결(적어도 하나의 추가적인 요소가 2개의 요소 사이에 위치됨)을 모두 포함하는 것으로 의도된다. 따라서, "~에 연결된" 및 "~와 연결된"이라는 용어는 동의어로 사용된다. 둘 이상의 구성 요소 또는 장치가 데이터를 교환할 수 있는 네트워크 환경의 맥락 내에서, "~에 연결된" 및 "~와 연결된"이라는 용어는 가능하게는 하나 이상의 중간 장치를 통해, "~와 통신 가능하게 연결된"을 의미하기 위해 또한 사용된다.

또한, 명세서 전반에 걸쳐서, "a", "an" 및 "the"의 의미는 복수의 참조물을 포함하며, "~에"의 의미는 "~에" 및 "~상에"를 포함한다.

본원에 제시된 다양한 실시형태 중 일부는 본 발명의 요소들의 단일 조합을 구성하지만, 본 발명의 청구 대상은 개시된 요소들의 모든 가능한 조합을 포함하는 것으로 간주됨을 이해해야 한다. 따라서, 일 실시형태가 요소 A, B 및 C를 포함하고, 다른 실시형태가 요소 B 및 D를 포함하는 경우, 본 발명의 청구 대상은 본원에서 명시적으로 설명되지 않더라도, A, B, C, 또는 D의 다른 나머지 조합을 포함하는 것으로도 간주된다. 또한, "포함하는"이라는 전이 용어는 부분 또는 부재로서 갖거나, 그러한 부분 또는 부재인 것을 의미한다. 본원에 사용된 바와 같은, "포함하는"이라는 전이 용어는 포괄적이거나 개방형이며, 추가적인 언급되지 않은 요소 또는 방법 단계를 배제하지 않는다.

이하의 설명 전반에 걸쳐서, 서버, 서비스, 인터페이스, 엔진, 모듈, 클라이언트, 피어, 포털, 플랫폼, 또는 컴퓨팅 장치로 형성된 다른 시스템에 관한 많은 참조가 이루어질 것이다. 이러한 용어의 사용은, 컴퓨터 판독 가능한 실체적인(tangible) 비-일시적 매체(예를 들어, 하드 드라이브, 솔리드 스테이트 드라이브, RAM, 플래시, ROM 등)에 저장된 소프트웨어 명령을 실행하도록 구성된 적어도 하나의 프로세서(예를 들어, ASIC, FPGA, DSP, x86, ARM, ColdFire, GPU, 멀티-코어 프로세서 등)를 갖는 하나 이상의 컴퓨팅 장치를 나타내는 것으로 간주됨을 이해해야 한다. 예를 들어, 서버는 설명된 역할, 책임, 또는 기능을 수행하는 방식으로 웹 서버, 데이터베이스 서버, 또는 다른 유형의 컴퓨터 서버로서 작동하는 하나 이상의 컴퓨터를 포함할 수 있다. 개시된 컴퓨터 기반 알고리즘, 프로세스, 방법, 또는 다른 유형의 명령 세트는, 프로세서로 하여금 개시된 단계를 실행하게 하는 명령을 저장하는 비-일시적, 실체적인 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품으로서 구현될 수 있음을 추가로 이해해야 한다. 다양한 서버, 시스템, 데이터베이스, 또는 인터페이스는 가능하게는 HTTP, HTTPS, AES, 공용-개인 키 교환, 웹 서비스 API, 알려진 금융 거래 프로토콜, 또는 다른 전자 정보 교환 방법에 기초하는, 표준화된 프로토콜 또는 알고리즘을 사용하여 데이터를 교환할 수 있다. 데이터 교환은 패킷 교환망, 회선 교환망, 인터넷, LAN, WAN, VPN, 또는 다른 유형의 네트워크를 통해 수행될 수 있다.

본원에서의 설명 및 이하의 청구범위 전반에 걸쳐서 사용된 바와 같이, 시스템, 엔진, 서버, 장치, 모듈, 또는 다른 컴퓨팅 요소가 메모리의 데이터에 대한 기능을 수행하거나 실행하도록 구성되는 것으로 설명되는 경우, "~하도록 구성된" 또는 "~하도록 프로그래밍된"의 의미는, 컴퓨팅 요소의 하나 이상의 프로세서 또는 코어가 메모리에 저장된 타겟 데이터 또는 데이터 객체에 대한 기능 세트를 실행하기 위해, 컴퓨팅 요소의 메모리에 저장된 소프트웨어 명령 세트에 의해 프로그래밍되는 것으로서 정의된다.

컴퓨터에 관련된 임의의 표현은 서버, 인터페이스, 시스템, 데이터베이스, 에이전트, 피어, 엔진, 제어기, 모듈, 또는 개별적으로 또는 집합적으로 작동하는 다른 유형의 컴퓨팅 장치를 포함하는, 컴퓨팅 장치의 임의의 적합한 조합을 포함하는 것으로 이해되어야 한다는 점을 유의해야 한다. 컴퓨팅 장치는 실체적인 비-일시적 컴퓨터 판독 가능 저장 매체(예를 들어, 하드 드라이브, FPGA, PLA, 솔리드 스테이트 드라이브, RAM, 플래시, ROM 등)에 저장된 소프트웨어 명령을 실행하도록 구성된 프로세서를 포함한다는 점을 이해해야 한다. 소프트웨어 명령은 개시된 장치와 관련하여 후술하는 바와 같은 역할, 책임, 또는 다른 기능을 제공하도록 컴퓨팅 장치를 구성하거나 프로그래밍한다. 또한, 개시된 기술은, 프로세서로 하여금, 컴퓨터 기반 알고리즘, 프로세스, 방법, 또는 다른 명령의 구현과 연관되는 개시된 단계를 실행하게 하는 소프트웨어 명령을 저장하는 비-일시적 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 일부 실시형태에서, 다양한 서버, 시스템, 데이터베이스, 또는 인터페이스는 가능하게는 HTTP, HTTPS, AES, 공용-개인 키 교환, 웹 서비스 API, 알려진 금융 거래 프로토콜, 또는 다른 전자 정보 교환 방법에 기초하는, 표준화된 프로토콜 또는 알고리즘을 사용하여 데이터를 교환한다. 장치 간의 데이터 교환은 패킷 교환망, 인터넷, LAN, WAN, VPN, 또는 다른 유형의 패킷 교환망, 회선 교환망, 셀 교환망, 또는 다른 유형의 네트워크를 통해 수행될 수 있다.

개시된 본 발명의 청구 대상의 초점은, 분자 아형 분류를 결정하고, 디지털로 기록된 전체 병리 슬라이드 이미지 내에서 종양내 이질성을 검출하는 것을 포함하는 목적을 위해, 인간의 능력을 넘어서는 대량의 디지털 데이터로 컴퓨팅 장치가 작동하도록 구축 또는 구성될 수 있게 하는 것이다.

개시된 기술은 전체 병리 슬라이드 이미지를 사용하여, 분자 아형 분류를 결정하고 종양내 이질성을 검출하는 범위, 정확성, 간편성, 효율, 및 속도를 개선하는 것을 포함하는, 많은 유리한 기술적 효과를 제공한다는 것을 이해해야 한다. 또한, 이하의 명세서는 광범위한 개요로서 의도된 것이 아니므로, 개념은 명확성 및 간결성을 위해 단순화될 수 있음을 이해해야 한다.

전술한 바와 같이, 발현-기반 PAM50 분석에 의해 분류되는 바와 같은, 암 아형, 예를 들어 유방암 아형은 표준 임상 병리학적 인자와 별개의 예후이지만, 이러한 아형을 밝히기 위해 필요한 분자 테스트는 일상적으로 수행되지 않았다. 또한, 종양내 이질성은 RNA 염기서열 결정법과 같은 덜 표적화된 접근법을 사용하여 검출하기가 어려웠다.

예를 들어, 헤마톡실린 및 에오신(H&E)-착색된 조직검사 조직 절개부의 병리 슬라이드 이미지(SI)에서 크기 조정된 패치만을 사용하여, 암의 임의의 징후의 PAM50 아형 결정을 근사하기 위한 시스템, 방법, 및 제조 물품이 본원에서 설명된다. 분류기 모델은 아형 결정된 SI를 사용하여 암 농화 패치를 식별하도록 트레이닝되며, 후속적으로, 테스트 SI 내의 암-특이적 패치를 주요 분자 아형(예를 들어, 유방암의 경우, 기저형, HER2-농화, 내강 A, 내강 B, 및 정상형)으로 분류하기 위해 사용된다. 다양한 실시형태에서, 전형적으로 병리 슬라이드 분석을 사용하여 구별할 수 없는, 분자로 정의된 아형(즉, PAM50)으로 환자를 분류하기 위해, 비교적 최소 수의 이러한 암 농화 SI 패치가 사용될 수 있다. 또한, 테스트 결과는 본원에 설명된 바와 같은 패치-레벨 분석이 이질적 종양을 정확하게 식별할 수 있음을 보여준다.

본원에 제시된 패치 기반 아형 결정 시스템 및 방법의 하나의 특징적인 이점은, 수치적 디콘볼루션(deconvolution) 방법에 의존하지 않으면서 종양내 이질성을 직접 관찰하는 능력이 보유된다는 점이다. 따라서, 본원의 기술은 동일한 조직 절개부 내에서 적어도 2개의 분자 아형을 나타내는 암 환자를 식별하고, 전반적인 생존 데이터를 포함하는 독립적인 데이터를 사용하여 혼합 집단으로서 이러한 사례를 지원하기 위해 활용될 수 있다. 따라서, 일상적으로 수집된 진단 병리 SI만을 사용함으로써 분자 아형에 대한 첨단 테스트를 근사할 수 있고, 가능하게는, 시간이 지남에 따라 종양 내에서 우성이 될 수 있는 공격적인 소수 아클론을 검출함으로써 예후 능력을 증대시킬 수 있는 머신 러닝 방법이 달성되었다. 다른 것들은 예후 생체표시자(biomarker)로서 이질성의 이미지 기반 척도를 이전에 사용했지만, 본원의 방법은 진단 SI에서 식별되는 예후 고유 아형 이질성에 관한 것이다.

도 1은 본 발명의 일 실시형태에 따라 분석되는 병리 슬라이드 이미지의 그래픽 표현물을 도시한다. 병리의가 의심되는 암의 조직검사에서 보길 원하거나 다른 의학적 진단을 수행하길 원하는 경우, 병리 슬라이드 이미지(SI)(100)가 생성될 수 있다. 전형적으로, SI(100)와 같은 전체 슬라이드 병리 이미지는 2백만 개 이상의 세포를 포함할 수 있다. 따라서, 전체 슬라이드 병리 이미지 내에서 다양한 구조체를 구별하기 위해, 헤마톡실린 및 에오신 착색제("H&E 착색제" 또는 "HE 착색제")가 사용될 수 있다. 도시된 바와 같이, 헤마톡실린은 다양한 조직/세포 영역(102)(즉, DNA 및 RNA와 같은 호염기성 물질)에 결합하는 짙은 청색 또는 보라색 착색제인 반면에, 에오신은 예를 들어, 혈장 영역(104)과 같은 세포외 섬유, 세포내 막, 및 근육 세포에서의 세포질 필라멘트를 포함하는 호산성 물질에 결합하는 적색 또는 분홍색 착색제이다. 일 실시형태에서, SI(100)의 크기 조정된 패치(106)는 다양한 특징적인 조직 영역에 기초하는 의학적 진단 및 연구를 위해 선택될 수 있다. 예를 들어, SI(100)의 하나 이상의 크기 조정된 패치는, 분자 아형 분류를 결정하고 종양내 이질성을 검출하기 위해 선택될 수 있다.

도 2는 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 시스템의 블록도를 도시한다. 시스템(200)에서, 고정된 크기의 크기 조정된 패치 기반 접근법은 영역의 분석을 가능하게 할 뿐만 아니라, SI의 미시적 특성 및 거시적 특성을 동시에 포착할 수 있게 한다. 일 실시형태에서, SI(예를 들어, TCGA 데이터 소스로부터 획득된 관련 PAM50 라벨을 갖는 포르말린-고정 파라핀-내장(FFPE) 블록의 유방 침습 암종(BRCA) 진단 전체 슬라이드 이미지)는 20배 줌 레벨의 1600 × 1600 픽셀 패치(202)로 분할되거나 타일링될 수 있다. 1600 × 1600 픽셀 패치(202)는 추가적 처리에 의해 빈(즉, 백그라운드) 패치를 제거하기 위한 최소 색 분산을 위해 필터링될 수 있다. 또한, 각각의 1600 × 1600 픽셀 패치(202)는 예를 들어, 중심 400 × 400 픽셀로의 다운-샘플링 및 크로핑(cropping)에 의해 동일한 위치 또는 지점 상에 집중된 5배, 10배, 20배, 및 40배 배율 스케일 중 하나 이상의 400 × 400 픽셀 패치 표현물(204)로 변환될 수 있다.

일 실시형태에서, Inception-v3, resnet34, resnet152, densenet169, densenet201 또는 다른 딥 러닝 콘볼루션 신경망 중 적어도 하나는 각각의 400 × 400 픽셀 컬러 패치(204)를 각각의 줌 레벨로 패치-레벨 기술자(즉, 기술 벡터)(208)에 매핑하기 위해 사용될 수 있다. 예를 들어, Inception-v3 이미지 인식 신경망(206)의 로지트 계층은 각각의 컬러 패치(204)를 패치-레벨 기술자(208)에 매핑하기 위해 사용될 수 있다. 일부 실시형태에서, 패치-레벨 기술자의 차원을 축소시키기 위한 주성분 분석(PCA) 또는 다른 차원수 축소 기술이 사용될 수 있다. 예를 들어, >96% 분산이 유지되면서 축소된 차원 패치 표현물(208)을 생성하기 위해, 400 × 400 픽셀 패치 표현물(206)에 대해 PCA가 사용될 수 있는 것으로 확인되었다. 축소된 차원 패치-레벨 기술자(208)의 하나 이상의 줌 레벨(예를 들어, 5배, 10배, 20배, 및 40배 배율 중 하나 이상)에 대한 패치-레벨 기술자는 멀티스케일 기술자(210)로 결합(예를 들어, 연결)될 수 있다.

212에서, 계산 복잡성을 감소시키고, 분류기 모델(214)을 트레이닝하기 위한 위생적인 입력을 보장하기 위해 (세포외 기질 또는 인접한 정상 조직과 대조적으로) 암 농화 위치만을 포함하도록, 분석된 위치가 필터링될 수 있으며, 분류기 모델(214)은, 레이디얼 기저 함수(RBF) 커널을 포함하는 멀티클래스 지원 결정 머신(SVM), 나이브 베이지안 분류기, 결정 트리, 부스트 트리, 랜덤 포레스트 분류기, 신경망, 최근접 이웃 분류기, 선형 분류기, 및 비선형 분류기 중 하나 이상일 수 있다. 일 실시형태에서, 트레이닝을 위해 (예를 들어, 무작위로) 선택된 복수의 크기 조정된 패치(204)는 예를 들어, k-평균 클러스터링과 같은 자율형 클러스터링을 사용하여 그룹화될 수 있으며, 클러스터의 수는 실험적으로 결정될 수 있다. 충분한 세포질을 갖는 크기 조정된 패치의 클러스터는 종양 함량이 농화된 클러스터를 식별하기 위해 (예를 들어, 병리의에 의해) 추가로 조사될 수 있다. 예를 들어, 각각의 SI에 대해, 암 농화 클러스터 내에 속하는 패치는 추가적인 분석을 위해 사용될 수 있다.

언급된 바와 같이, 분류기 모델(214)은 일반적으로 대량의 데이터 세트에 대해 우수한 성능을 나타내는 것으로 알려진 멀티클래스 지원 결정 머신을 포함할 수 있으며, 예를 들어 멀티스케일 기술자(210)에 대한 패치-레벨 분자 아형 분류(216)를 결정하도록 트레이닝될 수 있다. 그 다음, 이러한 패치-레벨 분자 아형 분류(216)는, SI-레벨 분자 아형 분류(218)를 추정하고 분자 아형 이질성(220)을 검출하기 위해 사용될 수 있다.

도 3은 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 시스템의 블록도를 도시한다. 블록도(300)에서, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 요소는 트레이닝 엔진(310), 아형 분류 엔진(320), 영구 저장 장치(330), 및 메인 메모리 장치(340)를 포함한다. 일 실시형태에서, 트레이닝 엔진(310)은 영구 저장 장치(330) 및 메인 메모리 장치(340) 중 하나 또는 둘 모두로부터 트레이닝 SI 1 내지 N(302, 304, 306)을 획득하도록 구성될 수 있다. 그 다음, 트레이닝 엔진(310)은 트레이닝 SI 1 내지 N(302, 304, 306)을 트레이닝 입력으로 사용하여, 영구 저장 장치(330) 및 메인 메모리 장치(340) 중 하나 또는 둘 모두에 저장될 수 있는 분류기 모델(214)(예를 들어, SVM)을 구성 및 트레이닝할 수 있다. 예를 들어, 트레이닝 엔진(310)은 각각의 트레이닝 SI 1 내지 N(302, 304, 306)을 복수의 크기 조정된 패치(204)로 분할할 수 있으며, 복수의 크기 조정된 패치(204)의 각각의 크기 조정된 패치는 해당 트레이닝 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함한다. 그 다음, 트레이닝 엔진(310)은 각각의 크기 조정된 패치에 대해, 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자(208)에 매핑하고 패치-레벨 기술자를 결합하여 멀티스케일 기술자(210)를 생성함으로써, 딥 러닝 신경망(206)(예를 들어, Inception-v3, resnet34, resnet152, densenet169, densenet201 또는 다른 딥 러닝 콘볼루션 신경망 중 하나)을 사용하여, 복수의 크기 조정된 패치(204)의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환할 수 있다. 예를 들어, 패치-레벨 기술자는 멀티스케일 기술자(210)를 생성하기 위해 연결되거나, 평균되거나, 적층되거나, 또는 수학적으로 또는 실험적으로 혼합 또는 조작되는 것 중 하나 이상일 수 있다. 트레이닝 엔진(310)은 멀티스케일 기술자(210)를 처리하도록 분류기 모델(214)을 구성 및 트레이닝할 수 있으므로, 각각의 트레이닝 SI 1 내지 N(302, 304, 306)에 대해, 분류기 모델(214)은 패치-레벨 분자 아형 분류(216)를 트레이닝 SI에 해당하는 각각의 복수의 크기 조정된 패치에 할당하고, 패치-레벨 분자 아형 분류(216)에 기초하여 SI-레벨 분자 아형 분류(218) 또는 이질적 분류(220)를 결정하도록 작동 가능하다.

트레이닝 엔진(310)은 트레이닝된 분류기 모델(314)을 사용하여, 테스트 SI(312)에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 아형 분류 엔진(320)을 구성할 수 있다. 예를 들어, 아형 분류 엔진(320)은, 테스트 SI(312)를 획득할 수 있고; 테스트 SI(312)를 복수의 크기 조정된 패치(204)로 분할할 수 있으며, 복수의 크기 조정된 패치(204)의 각각의 크기 조정된 패치는, 테스트 SI(312) 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함하고; 아형 분류 엔진(320)은, 각각의 크기 조정된 패치에 대해, 각각의 패치 표현물 세트를 패치-레벨 기술자(208)에 매핑하고 패치-레벨 기술자를 멀티스케일 기술자(210)에 결합(예를 들어, 연결, 평균, 적층, 수학적으로 또는 실험적으로 혼합 또는 조작 등)함으로써, 딥 러닝 신경망(206)을 사용하여, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환할 수 있다. 그 다음, 아형 분류 엔진(320)은 트레이닝된 분류기 모델(314)을 사용하여 멀티스케일 기술자(210)를 처리할 수 있으며, 트레이닝된 분류기 모델(314)은 패치-레벨 분자 아형 분류(216)를 각각의 복수의 크기 조정된 패치에 할당하고, 패치-레벨 분자 아형 분류(216)에 기초하여 SI-레벨 분자 아형 분류(218) 또는 이질적 분류(220)를 결정하도록 작동 가능하다.

도 3의 요소, 및 각각의 요소에 기인하는 다양한 기능은 예시적이지만, 이해의 편의를 위한 목적으로만 이에 따라 설명된다는 점을 유의해야 한다. 당업자는 다양한 요소에 주어진 하나 이상의 기능이 다른 요소 중 어느 하나에 의해, 및/또는 다양한 기능의 조합을 수행하도록 구성된 요소(도시되지 않음)에 의해, 수행될 수 있음을 이해할 것이다. 따라서, 트레이닝 엔진(310), 아형 분류 엔진(320), 영구 저장 장치(330) 및 메인 메모리 장치(340)에 관련된 임의의 표현은 서버, 인터페이스, 시스템, 데이터베이스, 에이전트, 피어, 엔진, 제어기, 모듈, 또는 다양한 요소에 주어진 기능을 수행하기 위해 개별적으로 또는 집합적으로 작동하는 다른 유형의 컴퓨팅 장치를 포함하는, 컴퓨팅 장치의 임의의 적합한 조합을 포함하는 것으로 이해되어야 함을 유의해야 한다. 또한, 당업자는 본원에서 설명된 도 3의 시스템의 하나 이상의 기능이 예를 들어, 하나 이상의 서버, 하나 이상의 클라이언트 장치(예를 들어, 하나 이상의 사용자 장치), 및/또는 하나 이상의 서버와 클라이언트 장치의 조합에 의해, 클라이언트-서버 관계의 환경 내에서 수행될 수 있음을 이해할 것이다.

도 4는 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 예시적인 작업의 흐름도를 도시한다. 흐름도(400)에서, 예를 들어 환자에 각각 대응하는 복수의 트레이닝 SI 1 내지 N(302, 304, 306)이 획득되고, 단계(402)에서 복수의 크기 조정된 패치로 분할된다. 예를 들어, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 해당 트레이닝 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함할 수 있다.

단계(404)에서, 각각의 크기 조정된 패치에 대해, 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하고 패치-레벨 기술자를 결합함으로써, Inception-v3, resnet34, resnet152, densenet169, densenet201 또는 다른 딥 러닝 콘볼루션 신경망 중 적어도 하나와 같은 딥 러닝 신경망을 사용하여, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치가 멀티스케일 기술자로 변환된다. 예를 들어, Inception-v3 신경망의 로지트 계층은 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하도록 구성될 수 있다. 패치-레벨 기술자는 다차원 기술 벡터를 포함할 수 있으며, 다차원 기술 벡터의 차원을 감소시키기 위한 주성분 분석(PCA) 또는 다른 차원수 축소 기술이 사용될 수 있다. 또한, 패치-레벨 기술자를 결합하는 단계는, 멀티스케일 기술자를 생성하기 위해, 패치-레벨 기술자를 연결하는 단계, 평균하는 단계, 적층하는 단계, 또는 수학적으로 또는 실험적으로 혼합 또는 조작하는 단계 중 하나 이상을 포함할 수 있다. 일부 실시형태에서, 멀티스케일 기술자를 생성하도록 패치-레벨 기술자를 결합하는 최적의 방법을 결정하거나 학습하기 위해 신경망이 사용될 수 있다.

단계(406)에서, 분류기 모델(예를 들어, SVM)은 멀티스케일 기술자를 처리하도록 구성 및 트레이닝됨으로써, 각각의 트레이닝 SI에 대해, 분류기 모델은 패치-레벨 분자 아형 분류를 트레이닝 SI에 해당하는 각각의 복수의 크기 조정된 패치에 할당하고, 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능하다. 예를 들어, 패치-레벨 분자 아형 분류 및 SI-레벨 분자 아형 분류는 복수의 분자 아형을 포함하는 이질적 분류일 수 있다. 단계(408)에서, 분자 아형 결정 엔진은 트레이닝된 분류기 모델을 사용하여 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정하도록 구성된다.

도 5는 일 실시형태에 따라, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 예시적인 작업의 흐름도를 도시한다. 흐름도(500)에서, 아형 분류 엔진, 예를 들어 아형 분류 엔진(320)은 트레이닝된 분류기 모델을 사용하여 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정하도록 구성된다. 예를 들어, 단계(502)에서 테스트 SI가 획득된다. 단계(504)에서, 테스트 SI는 복수의 크기 조정된 패치로 분할되며, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 테스트 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함한다.

단계(506)에서, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 각각의 크기 조정된 패치에 대해, 각각의 패치 표현물 세트를 패치-레벨 기술자에 매핑하고 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여 멀티스케일 기술자로 변환된다. 예를 들어, 패치-레벨 기술자를 결합하는 단계는, 멀티스케일 기술자를 생성하기 위해, 패치-레벨 기술자를 연결하는 단계, 평균하는 단계, 적층하는 단계, 또는 수학적으로 또는 실험적으로 혼합 또는 조작하는 단계 중 하나 이상을 포함할 수 있다. 일부 실시형태에서, 멀티스케일 기술자를 생성하도록 패치-레벨 기술자를 결합하는 최적의 방법을 결정하거나 학습하기 위해 신경망이 사용될 수 있다.

단계(508)에서, 멀티스케일 기술자는 트레이닝된 분류기 모델을 사용하여 처리되며, 트레이닝된 분류기 모델은 패치-레벨 분자 아형 분류를 각각의 복수의 크기 조정된 패치에 할당하고, 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능하다. 일부 실시형태에서, 테스트 SI 내에서 암 농화인 것으로 결정되는 선택된 관심 영역의 표시는 예를 들어, 사용자 인터페이스를 통해 사용자로부터 획득될 수 있거나, 예를 들어, 생물학적 기준, 경험적 머신 러닝 또는 이미지 처리 알고리즘의 출력, 또는 딥 러닝 콘볼루션 알고리즘의 출력 중 하나 이상에 기초하여 자동으로 선택될 수 있다. 예를 들어, 선택된 관심 영역은 중심 또는 폐쇄 곡선일 수 있고, 복수의 크기 조정된 패치는 선택된 관심 영역을 포함할 수 있다.

테스트 결과

본원의 다양한 실시형태와 관련된 테스트 결과는 TCGA 소스로부터 획득된 관련 PAM50 라벨을 갖는, 793명의 유방암 환자로부터의 1,142개의 진단 (트레이닝) SI에 기초하여 획득되었다. 평균적으로, 각각의 트레이닝 SI는 5배 배율 레벨의 122,600 x 220,968 픽셀이었으며, 총 분석 위치는 2,709,065개였다. 비조직 영역을 제거하기 위한 컬러 필터링을 적용한 후에, 1,985,745개의 위치가 남았다. 각각의 위치는 동일한 위치에 집중된 20배, 10배, 및 5배 줌 레벨을 나타내도록 20배 줌 레벨로부터 다운 샘플링되어, 5,957,235개의 400 × 400 픽셀 컬러 패치를 생성하였다. 이러한 2차원 컬러 패치는 Inception-v3 로지트 계층을 사용하여 2048 길이의 벡터로 변환되었다. 주성분 분석(PCA)은 5배, 10배, 및 20배 패치-레벨 기술자(즉, 다차원 벡터)에 독립적으로 적용되었으며, 아래의 표 1에 나타낸 바와 같이, 다양한 차원수 축소 레벨이 조사되었다.

768의 패치-레벨 기술자 길이가 각각의 줌 레벨에서 > 96% 분산을 유지하는 것으로 확인되었다. 트레이닝 SI를 멀티스케일 패치 표현물로 변환한 후에, 총 데이터 세트 크기는 1,985,745 위치 × 2304 특징부의 행렬이었다.

암 농화

암 농화 중심을 한정하기 위해, 총 238,728개의 멀티스케일 패치 표현물이 무작위로 선택되었다. k-평균 클러스터링을 사용하여 24개의 클러스터가 식별되었다. 24개 클러스터 중 14개는 추가적인 분석을 위해 세포 구조체로 충분히 채워졌다. 병리의는 각각의 클러스터(총 336개)로부터 24개의 패치에 주석을 달아서, 패치가 종양 조직을 포함하는지를 결정하였다(아래의 표 2 참조).

표 2 - 유방암 k -평균 클러스터

도 6은 일 실시형태에 따라, 병리 슬라이드 이미지의 예시적인 크기 조정된 패치의 그래픽 표현물을 도시한다. 표현물(600)에서, 5개의 주요 클러스터는 대부분 암 농화 샘플을 가졌다(패치의 >80%는 암 농화였음). 특히, 클러스터 3(602)은 100% 암 농화였고, 패치의 5.51%를 나타냈으며; 클러스터 5(604)는 91.67% 암 농화였고, 패치의 4.52%를 나타냈으며; 클러스터 11(606)은 87.50% 암 농화였고, 패치의 4.03%를 나타냈으며; 클러스터 16(608)은 87.50% 암 농화였고, 패치의 4.31%를 나타냈으며; 클러스터 2(610)는 82.61% 암 농화였고, 패치의 5.21%를 나타냈다.

PAM50 분류

아래의 표 3은 트레이닝 SI 샘플의 5겹 교차 검증에서, 제공된 테스트 샘플의 패치, SI, 및 환자 레벨에서의 아형 분류의 정확도를 요약한다.

표 3 - 겹에 걸친 아형 결정 정확도: 5겹의 교차 검증에 걸친 제공된 테스트 세트 내에서의 샘플 크기 및 성능 통계

평균적으로, 트레이닝하기 위해 354명의 환자로부터의 SI가 사용되었고, 정확도를 테스트하기 위해 환자로부터의 88개의 SI가 사용되었다. 제공된 테스트 환자 내에서, 개별 패치는 단일 SI-레벨 분류로 집계된 경우에 비해 덜 정확하게 분류되었다(58.6% 대 66.1% 정확). 주어진 환자에 대해 다수의 진단 SI가 이용 가능한 경우, 슬라이드들에 걸친 집계는 정확도를 또한 증대시킬 수 있다(66.1% 대 67.3% 정확).

아래의 표 4는 2개의 검증 세트에서의 성능을 나타낸다: 223명의 환자의 비선택 제1 그룹, 및 낮은 신뢰도의 RNAseq 기반 PAM50 분류를 통한 104명의 환자를 포함하는 제2 그룹.

표 4 - 2가지 테스트 환경에서의 아형 결정 혼동 및 정확도: RNAseq 기반 분류에 의한 비선택 (좌측) 및 낮은 신뢰도(우측)의 환자 레벨에서 참 라벨(열)과 예측 라벨(행) 사이의 혼동 행렬

비선택 환자의 그룹 내에서, 분류 성능은 교차 검증된 환경과 유사하였다(65.9% 대 66.1% 정확). 혼동의 가장 큰 원인은 내강 A 환자를 내강 B로 잘못 분류하고, 기저형을 다른 카테고리로 잘못 분류한 것이었다. 낮은 신뢰도 환자 내에서, 잠재적으로 이러한 집단은 이질성이 농화하기 때문에, 전반적인 환자 정확도가 훨씬 더 낮았다(56.7% 정확).

도 7은 일 실시형태에 따라, 병리 슬라이드 이미지의 아형 결정 암 농화 크기 조정된 패치의 그래픽 표현물을 도시한다. 표현물(700)에서, 4개의 SI 실시예에 대한 패치-레벨 아형 분류 결과가 도시된다. 특히, 패치 A(702)는 100% 기저형 아형을 포함하는 것으로 결정되었고; 패치 B(704)는 2.53% 기저형, 68.35% HER2-농화, 및 29.11% 내강 A 아형을 갖는 것으로 결정되었으며; 패치 C(706)는 100% 내강 A 아형을 갖는 것으로 결정되었고; 패치 D(708)는 2.50% 기저형, 1.25% HER2-농화, 8.75% 내강 A 및 87.50% 내강 B 아형을 갖는 것으로 결정되었다.

이질성 검출

도 8은 일 실시형태에 따른 이질성의 독립적인 증거의 그래픽 표현물(800)을 도시한다. 표현물 A(802)에서, 기저형으로 분류된 > 30%의 패치, 및 내강 A로 분류된 > 30%의 패치를 갖는 76개의 SI가 가능한 이질적 (HET) 샘플로 간주되었다. 이들 HET 샘플은 이들을 순수 내강 A(PLA) 및 순수 기저형(PBL) 샘플과 비교함으로써 분석되었다. 순수 아형을 한정하기 위해, 유덴(Youden) 분석을 사용하여, 패치 기반 분류와 RNAseq 기반 분류 사이의 일치를 최대화하는 임계치가 식별되었다.

내강 A로 분류되는 패치의 적어도 63.7%의 임계치는 0.80의 참-양성 비율(TPR) 및 0.15의 거짓 양성 비율(FPR)로, RNAseq 기반 내강 A 분류와의 일치를 최대화하는 것으로 확인되었다. 이러한 임계치에서, 204개의 SI가 PLA로 분류되었다. 유사하게, 기저형으로 분류되는 적어도 40.5% 패치의 임계치는 0.81의 TPR 및 0.14의 FPR로, RNAseq 기반 기저형 분류와의 일치를 최대화하였다. 이러한 결과로, 81개의 SI가 PBL로 할당되었다. 22명의 환자는 HET, PBL, 또는 PLA로 분류하기에 충분한 혼합물을 갖지 않았고, 아형의 충분한 순도를 갖지 않았으며, 추가적인 분석에 포함되지 않았다.

이질성의 증거

전반적인 RNAseq 발현 분포는 이미지 기반 분류에 의해 정의된 바와 같이, 순수 환경과 이질적 환경 간에 비교되었다. PAM50 유전자 세트의 일괄 분석은, PBL 대 PLA 서브 세트(SSC = 0.987) 간의 예상되는 유의한 분리를 유지하면서, PBL 대 HET(SSC = 0.34)와 PLA 대 HET(SSC = 0.507) 간의 산포도 분리성 기준(SSC)을 사용하여 낮은 분리를 나타냈으며, 표현물 B(804)에 도시된 바와 같이, HET 발현 분포가 PBL과 PLA 아형들 사이의 중간임을 확인하였다. 또한, HET 서브 세트에 대한 특이적 HR 발현은 표현물 C(806)에 도시된 바와 같이, 3개의 주요 유방 관련 수용체(에스트로겐 수용체 알파(ERα/ESR1), 프로게스테론 수용체(PR/PGR), 및 인간 표피 성장 인자 수용체 2(HER2/ERBB2))에 대해 PLA와 PLB 사이의 중간이었다. 예를 들어, 평균 ESR1 발현은 PLA 대 HET에서 1.9배 더 높았지만(p = 3.4 × 10^-7), 평균 HET ESR1 발현은 PBL의 그것보다 3.2배 더 높았다(p = 2.7 × 10^-5). 실제로, HET HR 발현 레벨은 3개의 모든 수용체에서 순수 서브 세트 둘 모두와 크게 구별되었다(p-값은 3.4 × 10^-7 내지 3.0 × 10^-3 범위임). 내강 A 및 기저형 아형은 크게 상이한 예후를 갖는 것으로 나타났기 때문에, 표현물 D(808)에 도시된 바와 같이, 생존 분석을 사용하여 HET 서브 세트가 예후 값을 갖는지 확인하였다. HET로서 식별된 환자는 카플란-마이어 분석에서, 내강 A 환자의 연장된 전체 생존율(OS)과 기저형 환자의 감소된 OS 사이의 생존 특성의 현저하게 중간이었다: 특이한 생존에 대한 로그 랭크(log-rank) 테스트는 PBL과 PLA 환자들 간에 유의하였지만(p = 0.027), HET 대 PBL 또는 HET 대 PLA 서브 세트는 유의하게 구별되지 않았다(각각 p = 0.297 및 p = 0.411). 이러한 테스트 사례의 분석은 기저형 및 내강 A 이질적 샘플로 제한되었지만, 예를 들어, HER2-농화 및 내강 A, 내강 A 및 내강 B, 또는 심지어 3방향 아형 조합과 같은, 다른 아형 조합에 대해 본원의 실시형태를 사용하여 유사한 분석이 수행될 수 있음을 유의해야 한다.

따라서, 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하기 위한 시스템 및 방법이 본원에 제시된다. 전통적으로, 이러한 분류는 유전자 발현 시그니처를 사용하여 달성되었지만, 본원의 실시형태는 223명의 테스트 환자에 대해 RNAseq 기반 분류와의 65.92%의 전반적인 일치를 달성하는 것으로 나타났다. 유방 종양(특히 TNBC)에서 흔한 종양내 이질성은 발현 기반 아형 결정과의 일치를 감소시키는 역할을 할 수 있다. 본원의 실시형태는 크기 조정된 패치를 다수의 영역에 의해 환자-레벨 분류로 요약하는 반면에, 발현 분포는 총 전사 카운트에 기초하여 요약된다. 발현 기반 아형 결정과의 일치는 세포가 밀집한 또는 전사적으로 과민성 패치에 주어지는 가중치를 증가시킴으로써 향후에 개선될 수 있다. 그러나, 아클론 다양성에 대한 이러한 민감성으로 인해, 본원에 제시된 분류 프레임워크는 종양내 이질성을 검출하기 위한 방법으로서 새로운 애플리케이션을 갖는다. 잘못 분류된 환자의 검사는 패치 레벨에서 불일치 아형의 패턴을 나타내었다. 이러한 종양이 실제로 이질적 집단이라는 추가적인 증거는 호르몬-수용체 발현 레벨, 전사체 분포, 및 생존 특성에서 확인되었다. 구체적으로는, 내강 A 아형으로 분류되었지만, 기저형 아클론을 가졌던 환자는 균일한 내강 A 환자에 비해 생존율이 더 낮다. 진단 병리 이미지로부터 공격적인 아클론 집단을 식별하는 능력은 유의한 예후 함축성이 있다. 예를 들어, 이러한 방법에 의해 발견된 특이적 영역은 레이저 미세 해부 및 별도의 특성화에 의해, 분자적으로 특징적인 아클론으로 추가로 확인될 수 있다.

본원에 설명된 시스템, 장치, 및 방법은 디지털 회로를 사용하여 구현될 수 있거나, 잘 알려진 컴퓨터 프로세서, 메모리 장치, 저장 장치, 컴퓨터 소프트웨어, 및 다른 구성 요소를 사용하는 하나 이상의 컴퓨터를 사용하여 구현될 수 있다. 전형적으로, 컴퓨터는 명령을 실행하기 위한 프로세서, 및 명령과 데이터를 저장하기 위한 하나 이상의 메모리를 포함한다. 또한, 컴퓨터는 하나 이상의 자기 디스크, 내장 하드 디스크 및 착탈식 디스크, 광자기 디스크, 광 디스크 등과 같은, 하나 이상의 대용량 저장 장치를 포함할 수 있거나 이에 연결될 수 있다.

본원에서 설명된 시스템, 장치, 및 방법은 클라이언트-서버 관계로 작동하는 컴퓨터를 사용하여 구현될 수 있다. 전형적으로, 이러한 시스템에서, 클라이언트 컴퓨터는 서버 컴퓨터로부터 원격으로 위치되고, 네트워크를 통해 상호 작용한다. 클라이언트-서버 관계는 각각의 클라이언트 및 서버 컴퓨터를 통해 실행되는 컴퓨터 프로그램에 의해 정의 및 제어될 수 있다.

본원에서 설명된 시스템, 장치 및 방법을 구현하기 위해 사용될 수 있는 예시적인 클라이언트-서버 관계의 상위 레벨 블록도가 도 9에 도시된다. 클라이언트-서버 관계(900)는 네트워크(930)를 통해 서버(920)와 통신하는 클라이언트(910)를 포함하며, 클라이언트(910)와 서버(920) 간에 병리 슬라이드 이미지에 기초하여 분자 아형 분류를 결정하는 하나의 가능한 분할을 도시한다. 예를 들어, 전술한 다양한 실시형태에 따라, 클라이언트(910)는 테스트 SI를 획득할 수 있고, 테스트 SI를 서버(920)에 전송할 수 있다. 결과적으로, 서버(920)는, 클라이언트(910)로부터 테스트 SI를 수신할 수 있고; 테스트 SI를 복수의 크기 조정된 패치로 분할할 수 있으며, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는 테스트 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함하고; 서버(920)는, 각각의 크기 조정된 패치에 대해, 각각의 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하고 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여, 복수의 크기 조정된 패치의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환할 수 있으며; 서버(920)는, 패치-레벨 분자 아형 분류가 각각의 복수의 크기 조정된 패치에 할당되고, 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류가 결정되도록, 멀티스케일 기술자를 처리하도록 트레이닝된 분류기 모델을 사용하여, 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정할 수 있고; SI-레벨 분자 아형 분류를 클라이언트(910)에 전송할 수 있다.

당업자는 도 9에 도시된 예시적인 클라이언트-서버 관계가 본원에 설명된 시스템, 장치, 및 방법을 구현하기 위해 가능한 많은 클라이언트-서버 관계 중 하나일 뿐이라는 점을 이해할 것이다. 따라서, 도 9에 도시된 클라이언트-서버 관계는 어떤 식으로든 제한적인 것으로 해석되어서는 안된다. 클라이언트 장치(910)의 실시예는, 셀룰러 스마트폰, 키오스크, 개인 휴대 정보 단말기, 태블릿, 로봇, 차량, 웹 카메라, 또는 다른 유형의 컴퓨팅 장치를 포함할 수 있다.

본원에 설명된 시스템, 장치, 및 방법은 프로그램 가능 프로세서에 의한 실행을 위해, 정보 매체, 예를 들어 비-일시적 기계 판독 가능 저장 장치에 실체적으로 구현된 컴퓨터 프로그램 제품을 사용하여 구현될 수 있으며; 도 4 및 도 5의 단계 중 하나 이상을 포함하는 본원에 설명된 방법 단계는, 이러한 프로세서에 의해 실행 가능한 하나 이상의 컴퓨터 프로그램을 사용하여 구현될 수 있다. 컴퓨터 프로그램은, 특정 활동을 수행하거나 특정 결과를 야기시키기 위해 컴퓨터에서 직접적으로 또는 간접적으로 사용될 수 있는 컴퓨터 프로그램 명령 세트이다. 컴퓨터 프로그램은 컴파일되거나 해석된 언어를 포함하는 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램 또는 모듈로서, 컴포넌트, 서브 루틴, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛을 포함하는 임의의 형태로 전개될 수 있다.

본원에 설명된 시스템, 장치 및 방법을 구현하기 위해 사용될 수 있는 예시적인 장치의 상위 레벨 블록도가 도 10에 도시된다. 장치(1000)는 영구 저장 장치(1020) 및 메인 메모리 장치(1030)에 작동 가능하게 연결된 프로세서(1010)를 포함한다. 프로세서(1010)는 이러한 작동을 정의하는 컴퓨터 프로그램 명령을 실행함으로써 장치(1000)의 전반적인 작동을 제어한다. 컴퓨터 프로그램 명령은 영구 저장 장치(1020), 또는 다른 컴퓨터 판독 가능 매체에 저장될 수 있으며, 컴퓨터 프로그램 명령의 실행이 요구될 때 메인 메모리 장치(1030)로 로딩될 수 있다. 예를 들어, 트레이닝 엔진(310) 및 아형 분류 엔진(320)은 컴퓨터(1000)의 하나 이상의 구성 요소를 포함할 수 있다. 따라서, 도 4 및 도 5의 방법 단계는 메인 메모리 장치(1030) 및/또는 영구 저장 장치(1020)에 저장된 컴퓨터 프로그램 명령에 의해 정의될 수 있고, 컴퓨터 프로그램 명령을 실행하는 프로세서(1010)에 의해 제어될 수 있다. 예를 들어, 컴퓨터 프로그램 명령은 도 4 및 도 5의 방법 단계에 의해 정의된 알고리즘을 수행하도록 당업자에 의해 프로그래밍된 컴퓨터 실행 가능 코드로서 구현될 수 있다. 따라서, 컴퓨터 프로그램 명령을 실행함으로써, 프로세서(1010)는 도 4 및 도 5의 방법 단계에 의해 정의된 알고리즘을 실행한다. 또한, 장치(1000)는 네트워크를 통해 다른 장치와 통신하기 위한 하나 이상의 네트워크 인터페이스(1080)를 포함한다. 또한, 장치(1000)는 장치(1000)와의 사용자 상호 작용을 가능하게 하는 하나 이상의 입력/출력 장치(1090)(예를 들어, 디스플레이, 키보드, 마우스, 스피커, 버튼 등)를 포함할 수 있다.

프로세서(1010)는 범용 및 특수 목적 마이크로프로세서를 모두 포함할 수 있으며, 장치(1000)의 단독 프로세서, 또는 다수의 프로세서 중 하나일 수 있다. 프로세서(1010)는 하나 이상의 중앙 처리 장치(CPU), 및 예를 들어, 본원에 설명된 다양한 이미지 처리 애플리케이션을 위한 처리를 가속화하기 위해, 예를 들어 하나 이상의 CPU와 별도로 작업할 수 있거나/작업할 수 있고 멀티 태스킹할 수 있는 하나 이상의 그래픽 처리 장치(GPU)를 포함할 수 있다. 프로세서(1010), 영구 저장 장치(1020), 및/또는 메인 메모리 장치(1030)는 하나 이상의 주문형 집적회로(ASIC) 및/또는 하나 이상의 필드 프로그램 가능 게이트 어레이(FPGA)를 포함할 수 있거나, 이에 의해 보충될 수 있거나, 이에 통합될 수 있다.

영구 저장 장치(1020) 및 메인 메모리 장치(1030)는 실체적인 비-일시적 컴퓨터 판독 가능 저장 매체를 각각 포함한다. 영구 저장 장치(1020), 및 메인 메모리 장치(1030)는, 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 이중 데이터 레이트 동기식 동적 랜덤 액세스 메모리(DDR RAM), 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 소자와 같은, 고속 랜덤 액세스 메모리를 각각 포함할 수 있으며, 내장 하드 디스크 및 착탈식 디스크와 같은 하나 이상의 자기 디스크 저장 장치, 광자기 디스크 저장 장치, 광 디스크 저장 장치, 플래시 메모리 소자, 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM)와 같은 반도체 메모리 소자, 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크 판독 전용 메모리(DVD-ROM) 디스크, 또는 다른 비휘발성 솔리드 스테이트 저장 장치와 같은, 비휘발성 메모리를 포함할 수 있다.

입력/출력 장치(1090)는 프린터, 스캐너, 디스플레이 스크린 등과 같은 주변 장치를 포함할 수 있다. 예를 들어, 입력/출력 장치(1090)는, 정보(예를 들어, DNA 접근성 예측 결과)를 사용자에게 디스플레이하기 위한 음극선관(CRT), 플라즈마 또는 액정 디스플레이(LCD) 모니터와 같은 디스플레이 장치, 키보드, 및 사용자가 장치(1000)에 입력을 제공하게 할 수 있는 마우스 또는 트랙볼과 같은 포인팅 장치를 포함할 수 있다.

트레이닝 엔진(310) 및 아형 분류 엔진(320)을 포함하는, 본원에 설명된 시스템 및 장치 중 어느 하나 또는 전부는 장치(1000)와 같은 장치에 의해 수행될 수 있거나/수행될 수 있고, 장치에 통합될 수 있다. 또한, 장치(1000)는 트레이닝 엔진(310) 및 아형 분류 엔진(320)을 수행하기 위한 하나 이상의 신경망 또는 다른 딥 러닝 기술, 또는 본원에 설명된 다른 시스템 또는 장치를 사용할 수 있다.

당업자는 실제 컴퓨터 또는 컴퓨터 시스템의 구현이 다른 구조를 가질 수 있고 다른 구성 요소를 또한 포함할 수 있음을 인식할 것이며, 도 10이 예시적인 목적을 위한 이러한 컴퓨터의 구성 요소 중 일부의 상위 레벨 표현임을 인식할 것이다.

전술한 명세서는 모든 면에서 설명을 위한 것이고 예시적인 것이며, 제한적이지 않은 것으로 이해되어야 하고, 본원에 개시된 본 발명의 범위는 명세서로부터 결정되는 것이 아니라, 오히려 특허법에 의해 허용되는 전체 폭에 따라 해석되는 바와 같은 청구범위로부터 결정되어야 한다. 본원에 도시되고 설명된 실시형태는 본 발명의 원리를 설명하기 위한 것일 뿐이며, 본 발명의 범위 및 사상을 벗어나지 않고 당업자에 의해 다양한 변형이 구현될 수 있음을 이해해야 한다. 당업자는 본 발명의 범위 및 사상을 벗어나지 않고 다양한 다른 특징 조합을 구현할 수 있다.

Claims

병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하는 컴퓨터화된 방법으로서,
복수의 트레이닝 SI를 획득하는 단계;
각각의 상기 트레이닝 SI를 복수의 크기 조정된 패치로 분할하는 단계로서, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 해당 트레이닝 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함하는, 단계;
각각의 크기 조정된 패치에 대해, 각각의 상기 하나 이상의 패치 표현물을 패치-레벨 기술자(descriptor)에 매핑하고 상기 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환하는 단계;
상기 멀티스케일 기술자를 처리하도록 분류기 모델을 구성하는 단계로서, 각각의 트레이닝 SI에 대해, 상기 분류기 모델은 상기 트레이닝 SI에 해당하는 각각의 상기 복수의 크기 조정된 패치에 패치-레벨 분자 아형 분류를 할당하고, 상기 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능한, 단계;
상기 멀티스케일 기술자를 사용하여 상기 분류기 모델을 트레이닝하는 단계; 및
상기 트레이닝된 분류기 모델을 사용하여 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정하도록 분자 아형 결정 엔진을 구성하는 단계를 포함하는,
병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하는 컴퓨터화된 방법.
제1항에 있어서,
각각의 상기 복수의 트레이닝 SI는 환자에 대응하는, 방법.
제1항에 있어서,
각각의 상기 크기 조정된 패치는 서로에 대하여 상대적으로 높은 줌 레벨 패치 및 상대적으로 낮은 줌 레벨 패치를 포함하는, 방법.
제3항에 있어서,
각각의 상기 크기 조정된 패치는 5배, 10배, 20배, 및 40배 줌 레벨 패치 표현물 중 하나 이상을 포함하는, 방법.
제1항에 있어서,
상기 패치-레벨 기술자는 다차원 기술 벡터를 포함하는, 방법.
제1항에 있어서,
상기 다차원 기술 벡터의 차원을 축소시키기 위한 주성분 분석(PCA) 또는 다른 차원수 축소 기술을 사용하는 단계를 더 포함하는, 방법.
제1항에 있어서,
상기 SI-레벨 분자 아형 분류는 다수 영역 결정 기준에 기초하여 결정되는, 방법.
제1항에 있어서,
상기 SI-레벨 분자 아형 분류는 상기 복수의 크기 조정된 패치에 대한 가중 기준에 기초하여 결정되는, 방법.
제8항에 있어서,
상기 가중 기준은 세포 밀도 및 전사 활성 중 적어도 하나에 기초하는, 방법.
제1항에 있어서,
상기 패치-레벨 분자 아형 분류는 복수의 분자 아형을 포함하는 이질적 분류인, 방법.
제1항에 있어서,
상기 SI-레벨 분자 아형 분류는 복수의 분자 아형을 포함하는 이질적 분류인, 방법.
제1항에 있어서,
상기 SI-레벨 분자 아형 분류는 Prosigna 유방암 예후 유전자 시그니처 분석 또는 PAM50 아형 분류 중 적어도 하나를 포함하는, 방법.
제12항에 있어서,
상기 SI-레벨 분자 아형 분류는 기저형, HER2-농화, 내강 A, 내강 B, 및 정상형 중 하나인, 방법.
제13항에 있어서,
상기 SI-레벨 분자 아형 분류는 상이한 아형 분류의 조합을 포함하는, 방법.
제1항에 있어서,
추가적인 처리를 위해 상기 복수의 크기 조정된 패치의 서브 세트를 선택하는 단계를 더 포함하는, 방법.
제15항에 있어서,
상기 복수의 크기 조정된 패치의 서브 세트를 선택하는 단계는, k-평균 클러스터링 또는 다른 자율형 클러스터링 기술을 사용하여 상기 복수의 크기 조정된 패치를 클러스터링하는 단계를 포함하는, 방법.
제15항에 있어서,
상기 복수의 크기 조정된 패치의 서브 세트는 암 농화 영역을 한정하도록 무작위로 선택되는, 방법.
제15항에 있어서,
상기 복수의 크기 조정된 패치의 서브 세트는 트레이닝 SI 내의 종양 함량을 요약하도록 선택되는, 방법.
제1항에 있어서,
최소 색 분산을 위해 상기 복수의 크기 조정된 패치를 필터링하는 단계; 및
상기 필터링에 기초하여 추가적인 처리에 의해 빈 공간 또는 백그라운드인 것으로 결정된 각각의 크기 조정된 패치를 제거하는 단계를 더 포함하는, 방법.
제1항에 있어서,
상기 딥 러닝 신경망은 Inception-v3, resnet34, resnet152, densenet169, densenet201 또는 다른 딥 러닝 신경망 중 적어도 하나를 포함하는, 방법.
제20항에 있어서,
Inception-v3 신경망의 로지트(logit) 계층은 각각의 상기 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하도록 구성되는, 방법.
제1항에 있어서,
상기 패치-레벨 기술자를 결합하는 단계는, 상기 멀티스케일 기술자를 생성하기 위해, 상기 패치-레벨 기술자를 연결하는 단계, 평균하는 단계, 적층하는 단계, 또는 수학적으로 또는 실험적으로 혼합 또는 조작하는 단계 중 하나 이상을 포함하는, 방법.
제22항에 있어서,
상기 멀티스케일 기술자를 생성하기 위해 상기 패치-레벨 기술자를 결합하는 방법을 결정하거나 최적화하기 위한 신경망을 사용하는 단계를 더 포함하는, 방법.
제1항에 있어서,
상기 분류기 모델은, 레이디얼 기저 함수(RBF) 커널을 포함하는 멀티클래스 지원 결정 머신(SVM), 나이브 베이지안 분류기, 결정 트리, 부스트 트리, 랜덤 포레스트 분류기, 신경망, 최근접 이웃 분류기, 선형 분류기, 및 비선형 분류기 중 하나 이상을 포함할 수 있는, 방법.
제1항에 있어서,
상기 복수의 트레이닝 SI는 적어도 1000개의 병리 슬라이드 이미지를 포함하는, 방법.
제1항에 있어서,
상기 복수의 크기 조정된 패치는 적어도 200,000개의 패치 표현물을 포함하는, 방법.
제1항에 있어서,
상기 복수의 트레이닝 SI는 헤마톡실린 및 에오신(H&E)-착색된 전체 슬라이드 이미지를 포함하는, 방법.
제1항에 있어서,
상기 테스트 SI를 획득하는 단계;
상기 테스트 SI를 복수의 크기 조정된 패치로 분할하는 단계로서, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 상기 테스트 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함하는, 단계;
각각의 크기 조정된 패치에 대해, 각각의 상기 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하고 상기 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환하는 단계; 및
상기 트레이닝된 분류기 모델을 사용하여 상기 멀티스케일 기술자를 처리하는 단계를 더 포함하며,
상기 트레이닝된 분류기 모델은 각각의 상기 복수의 크기 조정된 패치에 패치-레벨 분자 아형 분류를 할당하고, 상기 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능한, 방법.
제28항에 있어서,
상기 테스트 SI 내에서 암 농화인 것으로 결정되는 선택된 관심 영역의 표시를 획득하는 단계를 더 포함하는, 방법.
제29항에 있어서,
상기 선택된 관심 영역의 표시는 사용자 인터페이스를 통해 사용자로부터 수신되거나, 생물학적 기준, 경험적 머신 러닝 또는 이미지 처리 알고리즘의 출력, 또는 딥 러닝 콘볼루션 알고리즘의 출력 중 하나 이상에 기초하여 자동으로 선택되는, 방법.
제29항에 있어서,
상기 선택된 관심 영역은 중심 또는 폐쇄 곡선인, 방법.
제29항에 있어서,
상기 복수의 크기 조정된 패치는 상기 선택된 관심 영역을 포함하는, 방법.
병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하기 위한 장치로서,
프로세서;
분자 아형 분류를 결정하기 위한 소프트웨어 명령을 저장하는 메모리 장치; 및
상기 메모리 장치에 저장된 소프트웨어 명령에 따라 상기 프로세서를 통해 실행 가능한 트레이닝 엔진을 포함하며,
상기 트레이닝 엔진은, 복수의 트레이닝 SI를 획득하도록 구성되고;
상기 트레이닝 엔진은, 각각의 상기 트레이닝 SI를 복수의 크기 조정된 패치로 분할하도록 구성되며, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 해당 트레이닝 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함하고;
상기 트레이닝 엔진은, 각각의 크기 조정된 패치에 대해, 각각의 상기 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하고 상기 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환하도록 구성되며;
상기 트레이닝 엔진은, 상기 멀티스케일 기술자를 처리하도록 분류기 모델을 구성하도록 구성되고, 각각의 트레이닝 SI에 대해, 상기 분류기 모델은 상기 트레이닝 SI에 해당하는 각각의 상기 복수의 크기 조정된 패치에 패치-레벨 분자 아형 분류를 할당하고, 상기 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능하며;
상기 트레이닝 엔진은, 상기 멀티스케일 기술자를 사용하여 상기 분류기 모델을 트레이닝하도록 구성되고;
상기 트레이닝 엔진은, 상기 트레이닝된 분류기 모델을 사용하여 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정하도록 분자 아형 결정 엔진을 구성하도록 구성되는,
병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하기 위한 장치.
병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하기 위한 컴퓨터 명령이 저장된 비-일시적 컴퓨터 판독 가능 매체로서,
상기 컴퓨터 명령은 프로세서에 의해 실행될 때, 상기 프로세서가,
복수의 트레이닝 SI를 획득하는 단계;
각각의 상기 트레이닝 SI를 복수의 크기 조정된 패치로 분할하는 단계로서, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 해당 트레이닝 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함하는, 단계;
각각의 크기 조정된 패치에 대해, 각각의 패치 표현물 세트를 패치-레벨 기술자에 매핑하고 상기 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환하는 단계;
상기 멀티스케일 기술자를 처리하도록 분류기 모델을 구성하는 단계로서, 각각의 트레이닝 SI에 대해, 상기 분류기 모델은 상기 트레이닝 SI에 해당하는 각각의 상기 복수의 크기 조정된 패치에 패치-레벨 분자 아형 분류를 할당하고, 상기 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류를 결정하도록 작동 가능한, 단계;
상기 멀티스케일 기술자를 사용하여 상기 분류기 모델을 트레이닝하는 단계; 및
상기 트레이닝된 분류기 모델을 사용하여 테스트 SI에 대한 SI-레벨 분자 아형 분류를 결정하도록 분자 아형 결정 엔진을 구성하는 단계
를 포함하는 하나 이상의 단계를 수행하게 하는,
병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하기 위한 컴퓨터 명령이 저장된 비-일시적 컴퓨터 판독 가능 매체.
병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하기 위한 장치로서,
프로세서;
분자 아형 분류를 결정하기 위한 소프트웨어 명령을 저장하는 메모리 장치; 및
상기 메모리 장치에 저장된 소프트웨어 명령에 따라 상기 프로세서를 통해 실행 가능한 아형 분류 엔진을 포함하며,
상기 아형 분류 엔진은,
테스트 SI를 획득하도록 구성되고;
상기 아형 분류 엔진은, 상기 테스트 SI를 복수의 크기 조정된 패치로 분할하도록 구성되며, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치는, 상기 테스트 SI 내의 위치에 집중된 하나 이상의 줌 레벨의 하나 이상의 패치 표현물을 포함하고;
상기 아형 분류 엔진은, 각각의 크기 조정된 패치에 대해, 각각의 상기 하나 이상의 패치 표현물을 패치-레벨 기술자에 매핑하고 상기 패치-레벨 기술자를 결합함으로써, 딥 러닝 신경망을 사용하여, 상기 복수의 크기 조정된 패치의 각각의 크기 조정된 패치를 멀티스케일 기술자로 변환하도록 구성되며;
상기 아형 분류 엔진은, 패치-레벨 분자 아형 분류가 각각의 상기 복수의 크기 조정된 패치에 할당되고, 상기 패치-레벨 분자 아형 분류에 기초하여 SI-레벨 분자 아형 분류가 결정되도록, 상기 멀티스케일 기술자를 처리하도록 트레이닝된 분류기 모델을 사용하여, 상기 테스트 SI에 대한 상기 SI-레벨 분자 아형 분류를 결정하도록 구성되는,
병리 슬라이드 이미지(SI)에 기초하여 분자 아형 분류를 결정하기 위한 장치.
제35항에 있어서,
상기 아형 분류 엔진은 셀룰러 스마트폰, 키오스크, 개인 휴대 정보 단말기, 태블릿, 로봇, 차량, 웹 카메라, 또는 컴퓨팅 장치 중 적어도 하나를 포함하는, 장치.