KR102562708B1

KR102562708B1 - 일반화된 질병 검출을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들

Info

Publication number: KR102562708B1
Application number: KR1020227026407A
Authority: KR
Inventors: 벨마 도그다스; 크리스토퍼 카난; 토마스 푹스; 레오 그래디
Original assignee: 페이지.에이아이, 인크.
Priority date: 2020-01-03
Filing date: 2020-12-18
Publication date: 2023-08-03
Also published as: AU2020417728A1; AU2020417728B2; CA3162254A1; BR112022013000A2; US11322246B2; US20240046615A1; JP2022553446A; WO2021138087A1; US20210350907A1; US11823436B2; US20220230734A1; US11107573B2; CN115210772B; JP7260119B2; KR20220113547A; US20210210195A1; EP4085377A1; CN115210772A; BR112022013000B1; KR20230118198A

Abstract

적어도 하나의 암 특성을 예측하기 위해 복수의 제1 훈련 이미지들을 처리함으로써 생성된 일반화된 기계 학습 모델을 수신하고, 복수의 제2 훈련 이미지들을 수신하고―제1 훈련 이미지들 및 제2 훈련 이미지들은 조직 표본들의 이미지들 및/또는 조직 표본들을 복제하기 위해 알고리즘적으로 생성된 이미지들을 포함함―, 복수의 제2 훈련 이미지들의 각자의 제2 훈련 이미지에 관련된 복수의 타겟 특수화된 속성들을 수신하고, 복수의 제2 훈련 이미지들 및 타겟 특수화된 속성들에 기초하여 일반화된 기계 학습 모델을 수정함으로써 특수화된 기계 학습 모델을 생성하고, 타겟 표본에 대응하는 타겟 이미지를 수신하고, 타겟 이미지에 특수화된 기계 학습 모델을 적용하여 타겟 이미지의 적어도 하나의 특성을 결정하고, 타겟 이미지의 특성을 출력함으로써 특수화된 기계 학습 모델을 생성하기 위한 시스템들 및 방법들이 개시된다.

Description

일반화된 질병 검출을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들

관련 출원(들)

본 출원은 2020년 1월 3일자로 출원된 미국 가출원 제62/956,876호에 대한 우선권을 주장하며, 그 전체 개시내용은 그 전체가 본 명세서에 참고로 포함된다.

개시내용의 분야

본 개시내용의 다양한 실시예들은 일반적으로 이미지 기반 표본 분류 및 관련 이미지 처리 방법들에 관한 것이다. 보다 구체적으로, 본 개시내용의 특정 실시예들은 임상(clinical) 및 전임상(pre-clinical) 연구들에서 바이오마커들의 개발을 위한 일반화된 범-암 기계 학습 모델(generalized pan-cancer machine learning model)을 개발하기 위해 이미지들을 처리하기 위한 시스템들 및 방법들에 관한 것이다.

종양학(oncology) 연구들에서, 개인화된 치료 전략들(personalized therapeutic strategies)을 개발하기 위해, 종양 진행을 측정하기 위해, 그리고/또는 요법들의 효능을 평가하기 위해 상이한 환자 그룹들을 계층화하는 것이 점점 더 중요하다. 그러한 계층화를 위한 현재의 관행은 대부분의 기계 학습 시스템들의 요구들에 비해 비교적 작은 임상 시험 샘플들을 이용하는 것이다. 예를 들어, 많은 III상 임상 시험들은 5000명 미만의 환자들을 등록하고, I상 및 II상 임상 시험들은 훨씬 더 적은 환자들을 등록한다(예를 들어, 1상은 일반적으로 100명 미만의 환자들을 등록하고, 2상은 일반적으로 300명 미만의 환자들을 등록한다). 심층 학습(deep learning) 및 이러한 작은 데이터세트들을 갖는 많은 다른 엔드-투-엔드(end-to-end) 기계 학습 기술들을 이용하는 것은 오버피팅(overfitting)으로 인해 도전적이며, 이는 모델이 부정확한 예측들을 행하게 한다.

따라서, 임상 시험들을 통해 제공되는 것들과 같은 작은 데이터세트들을 갖는 심층 학습 및 다른 엔드-투-엔드 기계 학습 기술들을 위한 기계 학습 기술을 적용하는 것이 유익할 것이다.

전술한 일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적이며, 본 개시내용을 제한하지 않는다. 본 명세서에서 제공되는 배경 설명은 본 개시내용의 맥락을 일반적으로 제시하기 위한 것이다. 본 명세서에서 달리 지시되지 않는 한, 본 섹션에서 설명되는 자료들은 본 출원에서의 청구항들에 대한 종래 기술이 아니며, 본 섹션에서의 포함에 의해 종래 기술 또는 종래 기술의 제안들인 것으로 인정되지 않는다.

본 개시내용의 특정 양태들에 따르면, 조직 표본들의 이미지 분석으로부터 표본 타입 또는 표본 속성들을 식별 또는 검증하기 위한 시스템들 및 방법들이 개시된다.

특수화된 기계 학습 모델을 생성하기 위한 방법은 적어도 하나의 암 특성을 예측하기 위해 복수의 제1 훈련 이미지들을 처리함으로써 생성된 일반화된 기계 학습 모델을 수신하는 단계; 복수의 제2 훈련 이미지들을 수신하는 단계―제1 훈련 이미지들 및 제2 훈련 이미지들은 조직 표본들의 이미지들 및/또는 조직 표본들을 복제하기 위해 알고리즘적으로 생성된 이미지들을 포함함―; 복수의 제2 훈련 이미지들의 각자의 제2 훈련 이미지에 각각 관련된 복수의 타겟 특수화된 속성들을 수신하는 단계; 복수의 제2 훈련 이미지들 및 각자의 타겟 특수화된 속성들에 기초하여 일반화된 기계 학습 모델을 수정함으로써 특수화된 기계 학습 모델을 생성하는 단계; 타겟 표본에 대응하는 타겟 이미지를 수신하는 단계; 타겟 이미지에 특수화된 기계 학습 모델을 적용하여 타겟 이미지의 적어도 하나의 특성을 결정하는 단계; 및 타겟 이미지의 적어도 하나의 특성을 출력하는 단계를 포함한다.

특수화된 기계 학습 모델을 생성하기 위한 시스템은 명령어들을 저장하는 메모리; 및 프로세스를 수행하기 위해 명령어들을 실행하는 프로세서를 포함하고, 프로세스는 적어도 하나의 암 특성을 예측하기 위해 복수의 제1 훈련 이미지들을 처리함으로써 생성된 일반화된 기계 학습 모델을 수신하는 것; 복수의 제2 훈련 이미지들을 수신하는 것―제1 훈련 이미지들 및 제2 훈련 이미지들은 조직 표본들의 이미지들 및/또는 조직 표본들을 복제하기 위해 알고리즘적으로 생성된 이미지들을 포함함―; 복수의 제2 훈련 이미지들의 각자의 제2 훈련 이미지에 각각 관련된 복수의 타겟 특수화된 속성들을 수신하는 것; 복수의 제2 훈련 이미지들 및 각자의 타겟 특수화된 속성들에 기초하여 일반화된 기계 학습 모델을 수정함으로써 특수화된 기계 학습 모델을 생성하는 것; 타겟 표본에 대응하는 타겟 이미지를 수신하는 것; 타겟 이미지에 특수화된 기계 학습 모델을 적용하여 타겟 이미지의 적어도 하나의 특성을 결정하는 것; 및 타겟 이미지의 적어도 하나의 특성을 출력하는 것을 포함한다.

프로세서에 의해 실행될 때, 프로세서로 하여금 특수화된 기계 학습 모델을 생성하기 위한 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 방법은 적어도 하나의 암 특성을 예측하기 위해 복수의 제1 훈련 이미지들을 처리함으로써 생성된 일반화된 기계 학습 모델을 수신하는 단계; 복수의 제2 훈련 이미지들을 수신하는 단계―제1 훈련 이미지들 및 제2 훈련 이미지들은 조직 표본들의 이미지들 및/또는 조직 표본들을 복제하기 위해 알고리즘적으로 생성된 이미지들을 포함함―; 복수의 제2 훈련 이미지들의 각자의 제2 훈련 이미지에 각각 관련된 복수의 타겟 특수화된 속성들을 수신하는 단계; 복수의 제2 훈련 이미지들 및 각자의 타겟 특수화된 속성들에 기초하여 일반화된 기계 학습 모델을 수정함으로써 특수화된 기계 학습 모델을 생성하는 단계; 타겟 표본에 대응하는 타겟 이미지를 수신하는 단계; 타겟 이미지에 특수화된 기계 학습 모델을 적용하여 타겟 이미지의 적어도 하나의 특성을 결정하는 단계; 및 타겟 이미지의 적어도 하나의 특성을 출력하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체. 상기한 일반적인 설명 및 다음의 상세한 설명 모두는 단지 예시적이고 설명을 위한 것이며, 청구된 바와 같은 개시된 실시예들에 한정적이지 않다는 것이 이해되어야 한다.

본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하는 것이며, 설명과 함께 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 병리학 이미지(들)에 기초하여 하나 이상의 특성을 결정하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 개시내용의 예시적인 실시예에 따른, 기계 학습 모델의 예시적인 블록도를 도시한다.
도 2는 본 개시내용의 예시적인 실시예에 따른, 타겟 이미지들의 특성들을 출력하기 위해 특수화된 기계 학습 모델을 생성하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 3은 본 개시내용의 예시적인 실시예에 따른, 훈련 모듈의 예시적인 블록도를 도시한다.
도 4는 본 개시내용의 예시적인 실시예에 따른, 일반화된 기계 학습 모델 및 특수화된 기계 학습 모델의 도면을 도시한다.
도 5는 본 개시내용의 예시적인 실시예에 따른, 약물 반응 예측들의 예시적인 실시예의 흐름도이다.
도 6은 본 개시내용의 예시적인 실시예에 따른, 암 재발 예측들의 예시적인 실시예의 흐름도이다.
도 7은 본 개시내용의 예시적인 실시예에 따른, 약물 독성 및 조직 이상 예측들의 예시적인 실시예의 흐름도이다.
도 8은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.

실시예들의 설명

이제, 본 개시내용의 예시적인 실시예들을 상세히 참조할 것이며, 그 예들이 첨부 도면들에 도시되어 있다. 가능한 경우, 도면들 전체에 걸쳐 동일하거나 유사한 부분을 지칭하기 위해 동일한 참조 번호들이 이용될 것이다. 본 명세서에서 이용되는 바와 같이, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현("a" 및 "an") 용어들은 수량의 제한을 나타내는 것이 아니라, 오히려 언급된 항목들 중 하나 이상의 존재를 나타낸다. 이하의 논의에서, "약", "실질적으로", "대략" 등과 같은 상대적인 용어들은 언급된 값, 수치 등에서±10% 이하의 가능한 변동을 나타내기 위해 이용된다.

본 명세서에 개시된 시스템들, 디바이스들, 및 방법들은 예들로서 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에 논의된 예들은 단지 예들일 뿐이고, 본 명세서에 설명된 장치들, 디바이스들, 시스템들, 및 방법들의 설명을 돕기 위해 제공된다. 도면들에 도시되거나 이하에 논의되는 특징들 또는 컴포넌트들 중 어느 것도, 의무적인 것으로서 구체적으로 지시되지 않으면, 이들 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현에 의무적인 것으로서 취해져서는 안된다.

또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지에 관계없이, 문맥에 의해 달리 명시되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 임의의 명시적 또는 암시적 순서는, 이들 단계들이 제시된 순서로 수행되어야 한다는 것을 암시하는 것이 아니라, 대신에 상이한 순서로 또는 병렬로 수행될 수도 있다는 것을 이해해야 한다.

본 명세서에서 이용되는 바와 같이, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현("a" 및 "an") 용어들은 양의 제한을 나타내는 것이 아니라, 오히려 언급된 항목들 중 하나 이상의 존재를 나타낸다.

병리학은 질병의 연구를 지칭한다. 보다 구체적으로, 병리학은 질병을 진단하기 위해 이용되는 테스트 및 분석을 수행하는 것을 지칭한다. 예를 들어, 조직 샘플들은 병리학자(예를 들어, 임의의 비정상들이 존재하는지를 결정하기 위해 조직 샘플들을 분석할 때 전문가인 의사)에 의해 현미경 하에서 보여질 슬라이드들 상에 배치될 수 있다. 즉, 병리학 표본들은 병리학자가 검사하고 진단을 행하기 위한 슬라이드들로서, 다수의 섹션들로 절단되고, 염색되고, 준비될 수 있다. 슬라이드 상의 진단 발견의 불확실성이 있을 때, 병리학자는 조직으로부터 더 많은 정보를 수집하기 위해 추가의 절단 레벨들, 염색들, 또는 다른 테스트들을 주문할 수 있다. 기술자(들)는 이어서 진단을 행할 때 병리학자가 이용하기 위한 추가의 정보를 포함할 수 있는 새로운 슬라이드(들)를 생성할 수 있다. 추가의 슬라이드들을 생성하는 이 프로세스는 조직의 블록을 검색하는 것, 새로운 슬라이드를 만들기 위해 이를 절단하는 것, 및 이어서 슬라이드를 염색하는 것을 포함할 수 있을 뿐만 아니라, 다수의 주문들에 대해 일괄처리될 수 있기 때문에, 시간 소모적일 수 있다. 이는 병리학자가 행하는 최종 진단을 상당히 지연시킬 수 있다. 또한, 지연 후에도, 새로운 슬라이드(들)가 진단을 행하기에 충분한 정보를 가질 것이라는 보장이 여전히 없을 수 있다.

병리학자들은 암 및 다른 질병 병리학 슬라이드들을 따로따로 평가할 수 있다. 본 개시내용은 암 및 다른 질병들의 진단을 개선하기 위한 통합된 작업흐름을 제시한다. 작업흐름은, 예를 들어, 슬라이드 평가, 작업들, 이미지 분석 및 암 검출 인공 지능(AI), 주석들, 상담들, 및 추천들을 하나의 워크스테이션에 통합할 수 있다. 특히, 본 개시내용은 병리학자의 작업을 촉진하고 개선하기 위해 작업흐름에 통합될 수 있는 다양한 예시적인 AI 툴들을 설명한다.

예를 들어, 컴퓨터들은 조직 샘플의 이미지를 분석하여 특정 조직 샘플에 관한 추가 정보가 필요할 수 있는지를 신속하게 식별하고/하거나, 병리학자가 더 면밀하게 보아야 하는 영역을 병리학자에게 강조하기 위해 이용될 수 있다. 본 명세서에서 설명되는 바와 같이, 이 분석은 임상 시험들과 같은 특수화된 작업들에 대해 또는 잠재적으로 희귀 질병을 갖는 환자들에 대해 행해질 수 있어, 분석을 용이하게 하기 위해 AI 기술을 이용하는 것을 더 어렵게 한다. 따라서, 추가 염색된 슬라이드들 및 테스트들을 획득하는 프로세스는 병리학자에 의해 검토되기 전에 자동으로 행해질 수 있다. 자동 슬라이드 분할 및 염색 기계들 및 특수화된 기계 학습 모델과 쌍을 이룰 때, 이는 완전 자동화된 슬라이드 준비 파이프라인을 제공할 수 있다. 이러한 자동화는 적어도, (1) 병리학자에 의해 낭비되는 시간의 양을 최소화하여, (예를 들어, 과교정으로 인해) 비효과적인 기계 학습 모델을 이용함으로써 슬라이드의 발견들을 결정하고, (2) 수동 분석 또는 의심스러운 기계 학습 분석을 수행하는 추가 시간을 피함으로써 표본 획득으로부터 진단까지의 (평균 총) 시간을 최소화하고, (3) 수동 반복 슬라이드 준비 동안 낭비/폐기되는 조직 재료의 양을 감소시키고, (4) 절차를 부분적으로 또는 완전히 자동화함으로써 슬라이드 준비의 비용을 감소시키고, (5) 조직 블록 당 더 높은 부피의 슬라이드들이 생성되게 하여, 이들이 특수화된 기계 학습 모델에 의해 동시에 분석되게 하고, 병리학자에 대한 추가 테스트를 요청하는 오버헤드를 감소시킴으로써 더 정보에 입각한/정확한 진단들에 기여하고/하거나, (6) 디지털 병리학 이미지의 (예를 들어, 표본 타입에 관한) 정확한 속성들을 식별 또는 검증하는 등의 이점들을 갖는다.

병리학자들을 보조하기 위해 컴퓨터들을 이용하는 프로세스는 계산 병리학(computational pathology)이라고 지칭된다. 계산 병리학을 위해 이용되는 컴퓨팅 방법들은 통계 분석, 자율 또는 기계 학습, 및 AI를 포함할 수 있지만, 이들로 제한되지 않는다. AI는 심층 학습, 신경망들, 분류들, 클러스터링, 및 회귀 알고리즘들을 포함할 수 있지만, 이들로 제한되지 않는다. 계산 병리학을 이용함으로써, 병리학자들이 그들의 진단 정확도, 신뢰성, 효율, 및 접근성을 개선하는 것을 돕는 것에 의해 생명들을 구할 수 있다. 예를 들어, 계산 병리학은 암에 대해 의심스러운 슬라이드들을 검출하는 것을 보조하는데 이용될 수 있고, 그에 의해 병리학자들이 최종 진단을 행하기 전에 그들의 초기 평가들을 체크하고 확인하는 것을 허용한다.

조직병리학(histopathology)은 슬라이드 상에 배치된 표본의 연구를 지칭한다. 예를 들어, 디지털 병리학 이미지는 표본(예를 들어, 도말(smear))을 함유하는 현미경 슬라이드의 디지털화된 이미지로 구성될 수 있다. 슬라이드 상의 이미지를 분석하기 위해 병리학자가 이용할 수 있는 한 방법은 핵들(nuclei)을 식별하고 핵이 정상인지(예를 들어, 양성(benign)) 또는 비정상인지(예를 들어, 악성(malignant))를 분류하는 것이다. 핵들을 식별하고 분류하는데 있어서 병리학자들을 보조하기 위해, 조직학적 염색들을 이용하여 세포들을 가시화할 수 있다. 주기적 산-시프 반응(periodic acid-Schiff reaction), 메이슨의 삼색(Masson's trichrome), 니슬 및 메틸렌 블루(nissl and methylene blue), 및 헤모톡실린 및 에오신(Haemotoxylin and Eosin)(H&E)을 포함한 많은 염료-기반 염색 시스템들이 개발되었다. 의학적 진단을 위해, H&E는 헤마톡실린 염색 세포 핵 블루(hematoxylin staining cell nuclei blue), 에오신 염색 세포질 및 세포외 매트릭스 핑크(eosin staining cytoplasm and extracellular matrix pink), 및 이들 컬러들의 변형들을 취하는 다른 조직 영역들을 갖는 널리 이용되는 염료-기반 방법이다. 그러나, 많은 경우에, H&E-염색된 조직학적 제제(H&E-stained histologic preparations)는 병리학자가 진단 또는 가이드 치료를 보조할 수 있는 바이오마커들(biomarkers)을 시각적으로 식별하기에 충분한 정보를 제공하지 않는다. 이러한 상황에서, 면역조직화학(immunohistochemistry)(IHC), 면역형광(immunofluorescence), 제자리 혼성화(in situ hybridization)(ISH), 또는 형광 제자리 혼성화(fluorescence in situ hybridization)(FISH)와 같은 기술들이 이용될 수 있다. IHC 및 면역형광은, 예를 들어, H&E 염색된 슬라이드들의 분석에 기초하여 훈련된 병리학자에게 신뢰가능하게 식별가능하지 않은 바이오마커들을 드러낼 수 있는, 관심의 특정 단백질들을 표현하는 세포들의 시각적 검출을 가능하게 하는 조직들 내의 특정 항원들(antigens)에 결합하는 항체들(antibodies)을 이용하는 것을 수반한다. ISH 및 FISH는 이용된 프로브들(probes)의 타입(예를 들어, 유전자 카피 수를 위한 DNA 프로브들 및 RNA 발현의 평가를 위한 RNA 프로브들)에 따라, 유전자들의 카피들의 수 또는 특정 RNA 분자들의 풍부함을 평가하기 위해 이용될 수 있다. 이들 방법이 또한 일부 바이오마커들을 검출하기에 충분한 정보를 제공하는데 실패하는 경우, 조직의 유전자 테스트를 이용하여 바이오마커가 존재하는지를 확인할 수 있다(예를 들어, 종양에서의 특정 단백질 또는 유전자 생성물의 과다발현, 암에서의 주어진 유전자의 증폭).

디지털화된 이미지는 염색된 현미경 슬라이드를 보여주도록 준비될 수 있고, 이는 병리학자가 슬라이드 상의 이미지를 수동으로 보고 이미지에서의 다수의 염색된 비정상 세포들을 추정하게 할 수 있다. 그러나, 이 프로세스는 시간 소모적일 수 있고, 일부 비정상들은 검출하기 어렵기 때문에 비정상들을 식별하는데 오류들을 야기할 수 있다. 기계 학습 모델들을 이용한 계산 프로세스들 및 디바이스들은 달리 검출하기 어려울 수 있는 비정상들을 검출하는데 있어서 병리학자들을 보조하기 위해 이용될 수 있다. 예를 들어, AI는 H&E 및 다른 염료 기반 방법들을 이용하여 염색된 조직들의 디지털 이미지들 내의 두드러진 영역들(salient regions)로부터의 (단백질 및/또는 유전자 생성물의 과다 발현, 증폭, 또는 특정 유전자들의 돌연변이들과 같은) 바이오마커들을 예측하기 위해 이용될 수 있다. 조직들의 이미지들은 전체 슬라이드 이미지들(WSI), 마이크로어레이들 내의 조직 코어들의 이미지들 또는 조직 섹션 내의 선택된 관심 영역들일 수 있다. H&E와 같은 염색 방법들을 이용하면, 이들 바이오마커들은 추가적인 테스트의 도움 없이는 인간들이 시각적으로 검출 또는 정량화하기 어려울 수 있다. AI를 이용하여 조직들의 디지털 이미지들로부터 이들 바이오마커들을 추론하는 것은 환자 관리를 개선할 잠재력을 갖고, 또한 더 빠르고 덜 비싸다.

이어서 특수화된 기계 학습 모델에 의해 검출된 바이오마커들은 환자를 치료하는데 이용될 특정 암 약물들 또는 약물 조합 요법들을 권고하는데 이용될 수 있고, AI는 검출된 바이오마커들을 치료 옵션들의 데이터베이스와 상관시킴으로써 어느 약물들 또는 약물 조합들이 성공하지 못할 것 같은지를 식별할 수 있다. 이는 환자의 특정 암을 표적화하기 위한 면역요법 약물들의 자동 권고를 용이하게 하는데 이용될 수 있다. 또한, 이는 환자들의 특정 서브세트 및/또는 보다 희귀 암 타입들에 대한 개인화된 암 치료를 가능하게 하는데 이용될 수 있다.

전술된 바와 같이, 본 개시내용의 계산 병리학 프로세스들 및 디바이스들은 웹-브라우저 또는 다른 사용자 인터페이스를 통한 디지털 병리학 이미지들의 데이터 수집, 처리 및 뷰잉을 포함하는 완전히 자동화된 프로세스를 허용하면서 실험실 정보 시스템(LIS)과 통합하는 통합된 플랫폼을 제공할 수 있다. 또한, 임상 정보는 환자 데이터의 클라우드-기반의 데이터 분석을 이용하여 집결될 수 있다. 데이터는, 병원, 진료소, 현장 연구원 등으로부터 나올 수 있고, 기계 학습, 컴퓨터 비전, 자연어 처리, 및/또는 통계 알고리즘들에 의해 분석되어, 다수의 지리적 특이성 레벨들에서 건강 패턴들의 실시간 모니터링 및 예측을 행할 수 있다.

전술한 AI 및 기계 학습 기술들은 제한된 훈련 데이터세트가 이용가능한 구현들에 적용될 수 있다. 제한된 훈련 데이터세트는 이용가능한 훈련 데이터의 양이 개시되지 않은 기계 학습 모델을 훈련하기에 충분하지 않도록 작은 연구, 임상 시험, 및/또는 희귀 질병에 대응할 수 있는데, 그 이유는 그렇게 하는 것은 오버피팅을 야기하고, 그 결과, 모델이 부정확한 예측들을 행하게 할 것이기 때문이다. 개시된 청구 대상의 구현들에 따르면, 작은 데이터세트의 제한들은 교차 조직 타입들에 걸쳐 종양 특성들, 형태, 및 종양 미세환경들을 학습하도록 구성되는 일반화된 기계 학습 모델(예를 들어, 범-암 검출 모델)을 이용함으로써 완화될 수 있다. 일반화된 기계 학습 모델은 복수의 상이한 암 타입들에 기초하여 그리고 조직학자, 게놈 입력들, 방사선 이미지들, 실험실 테스트들, 환자 특성들 등, 또는 이들의 조합을 포함하는 복수의 상이한 입력들에 기초하여 훈련될 수 있다. 일반화된 기계 학습 모델은 데이터의 작은 세트가 이용가능한, 작은 연구, 임상 시험과 같은 특수화된 작업에 대한, 또는 희귀 질병에 대한 예측들을 행하기에 더 적합한 특수화된 기계 학습 모델을 훈련하기 위해 이용될 수 있다.

일반화된 기계 학습 모델은 환자 특정 입력들을 수신하고 암 특성을 출력하도록 구성되도록 제1 세트의 이미지들 및 다른 입력들에 기초하여 훈련될 수 있다. 암 특성은 암 진단, 종양 특성화, 바이오마커 검출 등일 수 있다.

일반화된 기계 학습 모델은 로우-샷(low-shot) 학습 기술들을 이용하여 특수화된 기계 학습 모델을 생성하도록 최적화될 수 있다. 로우-샷 학습 기술들은 더 작은 데이터세트들에 대한 특수화된 바이오마커들, 약물 반응 예측들, 및/또는 암 결과 예측들을 개발하기 위해 일반화된 기계 학습 모델을 수정하기 위해 이용될 수 있다. 더 작은 데이터세트들은, 예를 들어, 작은 연구들, 임상 시험들로부터, 또는 충분한 훈련 데이터를 수집하기 위해 대규모 임상 시험들을 수행하는 것이 불가능하거나 어려울 수 있는 희귀 질병들에 대한 것일 수 있다. 따라서, 개시된 청구 대상은 임상 및 전임상 연구들에서 바이오마커들의 개발을 위해 종양 특성들, 형태 및 미세환경을 이용하는 일반화된 암 기계 학습 모델을 레버리지한다.

본 명세서에 더 개시된 바와 같이, (예를 들어, 조직학, 세포학, 면역조직화학 등, 또는 그의 조합인) 병리학 표본들의 디지털 이미지들 및 (예를 들어, 게놈, 실험실 테스트들, 방사선학, 환자 특성들 등인) 임의의 연관된 정보가 수신 및 저장될 수 있다. 각각의 병리학 표본은 연관된 정보 뿐만 아니라 각자의 질병 존재, 결과 상태(반응, 재발 등), 및/또는 임의의 바이오마커들의 존재에 대한 질병 정보에 연결될 수 있다.

일반화된 기계 학습 모델은 심층 학습을 이용하여 인스턴스화될 수 있고, 연관된 정보뿐만 아니라 질병 정보에 연결된 많은 양(예를 들어, 5,000 초과, 10,000 초과, 100,000 초과, 1,000,000 초과 등)의 병리학 표본들을 이용하여 훈련될 수 있다. 일반화된 기계 학습 모델은 다수의 조직 타입들로부터 암 진단 및 치료와 관련된 질병, 바이오마커들, 및/또는 다른 속성들을 예측하도록 훈련될 수 있다. 훈련에 기초하여, 일반화된 기계 학습 모델은 일반화된 기계 학습 모델의 계층들이 종양 특성들뿐만 아니라 정상 및 비정상 조직 형태를 식별하기 위해 튜닝되도록 광범위한 상이한 조직 타입들에 걸쳐 암의 존재 및/또는 바이오마커들을 검출할 수 있다. 일반화된 기계 학습 모델은 다운스트림 기계 학습 알고리즘과 함께 이용될 수 있는 진단 특징들을 추출하기 위해 이용될 수 있거나 새로운 작업들에 대해 미세 튜닝될 수 있다.

특수화된 기계 학습 모델은 임상 시험(예를 들어, 1상, 2상, 3상)과 같은 작은 연구(예를 들어, 1000개 샘플들 아래, 3,000개 샘플들 아래, 4,000개 샘플들 아래, 5,000개 샘플들 아래 등), 및/또는 더 큰 데이터 샘플들이 획득될 수 없거나 획득하기 어려운 희귀 질병에 대한 연구에 적용하기 위해 생성될 수 있다. 특수화된 기계 학습 모델은 일반화된 기계 학습 모델이 훈련된 훈련 데이터 세트와 상이한 특수화된 훈련 데이터세트에 기초하여 일반화된 기계 학습 모델을 수정함으로써 생성될 수 있다. 특수화된 훈련 데이터세트는 작은 연구로부터 온 것이거나, 그렇지 않은 경우 작은 데이터 세트들을 갖는 특수화된 작업과 관련될 수 있다. 일반화된 기계 학습 모델은 특수화된 기계 학습 모델을 생성하도록 수정될 수 있어서, 특정된 기계 학습 모델은 일반화된 기계 학습 모델의 하나 이상의 계층을 레버리지하고, 작은 연구의 속성들에 적응하기 위해 하나 이상의 다른 계층을 튜닝 또는 대체할 수 있다. 더 구체적으로, 특수화된 기계 학습 모델은 작은 연구에 대해 구성된 특수화된 모델을 구축하기 위해 일반화된 기계 학습 모델의 암 검출, 종양 특성화, 및/또는 바이오마커 검출 능력들을 레버리지할 수 있다.

도 1a는 본 개시내용의 예시적인 실시예에 따른, 기계 학습을 이용하여, 디지털 병리학 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정하기 위한 시스템 및 네트워크의 블록도를 도시한다. 본 명세서에 더 개시된 바와 같이, 도 1a의 시스템 및 네트워크는 일반화된 기계 학습 모델 또는 특수화된 기계 학습 모델과 함께 이용될 수 있다.

구체적으로, 도 1a는 병원들, 실험실들, 및/또는 의사들의 사무실들 등에 있는 서버들에 접속될 수 있는 전자 네트워크(120)를 도시한다. 예를 들어, 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 등은 각각 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(120)에 접속될 수 있다. 구현에 따르면, 전자 네트워크(120)는 또한, 개시된 청구 대상의 예시적인 실시예에 따른, 기계 학습 모델(100)을 구현하도록 구성되는 처리 디바이스들을 포함할 수 있는 서버 시스템들(110)에 접속될 수 있다.

의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 환자들의 세포학 표본(들), 조직병리학 표본(들), 세포학 표본(들)의 슬라이드(들), 조직학, 면역조직화학, 조직병리학 표본(들)의 슬라이드(들)의 디지털화된 이미지들, 또는 이들의 임의의 조합을 포함하는 하나 이상의 카테고리의 병리학 표본들의 이미지들을 생성하거나, 그렇지 않은 경우 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 또한 연령, 병력, 암 치료 이력, 가족 이력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 전자 네트워크(120)를 통해 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 서버 시스템들(110)에 송신할 수 있다. 서버 시스템(들)(110)은 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들(109)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 기계 학습 모델(100)을 통해 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 일 실시예에 따르면, 예를 들어, 처리 디바이스들은 기계 학습 모델(100)로서 도시된 바와 같이, 일반화된 기계 학습 모델 또는 특수화된 기계 학습 모델을 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.

의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 이용되는 시스템들을 지칭한다. 병원 설정들에서, 조직 타입 정보는 LIS(125)에 저장될 수 있다.

도 1b는, 기계 학습을 이용하여, 디지털 병리학 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정하기 위한 기계 학습 모델(100)의 예시적인 블록도를 도시한다.

구체적으로, 도 1b는 일 실시예에 따른, 기계 학습 모델(100)의 컴포넌트들을 도시한다. 예를 들어, 기계 학습 모델(100)은 표본 특성화 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 저장소(106), 및 뷰잉 애플리케이션 툴(108)을 포함할 수 있다. 명료화를 위해, 도 1a 및 도 1b에 도시된 기계 학습 모델(100)은 이전에 훈련되고 생성된 기계 학습 모델(예를 들어, 일반화된 기계 학습 모델, 특수화된 기계 학습 모델 등)이다. 기계 학습 모델(100)로서 이용될 수 있는 상이한 타입들의 기계 학습 모델들을 훈련하고 생성하기 위한 추가적인 개시내용이 본 명세서에 제공된다.

표본 특성화 툴(101)은, 본 명세서에 설명된 바와 같이, 일반화된 기계 학습 모델 또는 특수화된 기계 학습 모델과 같은 기계 학습 모델을 이용하여 디지털 병리학 이미지(들)에 관한 표본 속성 또는 이미지 속성과 같은 특성(예를 들어, 암 특성)을 결정하기 위한 프로세스 및 시스템을 지칭한다.

데이터 수집 툴(102)은, 예시적인 실시예에 따라, 디지털 병리학 이미지들을 특성화하고 처리하기 위해 이용되는 기계 학습 모델(100)의 다양한 툴들, 모듈들, 컴포넌트들, 및 디바이스들에 대한 디지털 병리학 이미지들의 전송을 용이하게 하기 위한 프로세스 및 시스템을 지칭한다.

슬라이드 유입 툴(103)은, 예시적인 실시예에 따라, 병리학 이미지들을 스캐닝하고 이들을 디지털 형태로 변환하기 위한 프로세스 및 시스템을 지칭한다. 슬라이드들은 슬라이드 스캐너(104)로 스캐닝될 수 있고, 슬라이드 관리자(105)는 슬라이드들 상의 이미지들을 디지털화된 병리학 이미지들로 처리하고, 디지털화된 이미지들을 저장소(106)에 저장할 수 있다.

뷰잉 애플리케이션 툴(108)은, 예시적인 실시예에 따라, 디지털 병리학 이미지(들)에 관한 특성화 또는 이미지 속성 정보를 사용자(예를 들어, 병리학자)에게 제공하기 위한 프로세스 및 시스템을 지칭한다. 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스, 및/또는 웹 브라우저 등)을 통해 제공될 수 있다. 예로서, 뷰잉 애플리케이션 툴(108)은 디지털 병리학 이미지(들) 위에 오버레이 계층을 적용할 수 있고, 오버레이 계층은 고려하는 핵심 영역들을 강조할 수 있다. 오버레이 계층은 기계 학습 모델(100)의 표본 특성화 툴(101)의 출력에 기초할 수 있거나 기초할 수 있다.

표본 특성화 툴(101), 및 그것의 컴포넌트들 각각은 네트워크(120)를 통해 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)에 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 송신 및/또는 수신할 수 있다. 또한, 서버 시스템들(110)은 표본 특성화 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 및 뷰잉 애플리케이션 툴(108) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 저장 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은, 예를 들어, 처리 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.

표본 특성화 툴(101)은 기계 학습 모델(100)(예를 들어, 일반화된 기계 학습 모델, 특수화된 기계 학습 모델 등)의 출력을 제공할 수 있다. 예로서, 슬라이드 유입 툴(103) 및 데이터 수집 툴(102)은 일반화된 기계 학습 모델 또는 특수화된 기계 학습 모델에 대한 입력들을 수신할 수 있고, 표본 특성화 툴은 데이터에 기초하여 슬라이드들에서의 바이오마커들을 식별하고, 뷰잉 애플리케이션 툴(108)을 통해 바이오마커들을 강조하는 이미지를 출력할 수 있다.

상기의 디바이스들, 툴들, 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(120)에 접속될 수 있는 디바이스 상에 위치될 수 있다.

도 2는 개시된 청구 대상의 예시적인 구현들에 따른, 특수화된 타겟 이미지의 적어도 하나의 특성을 출력하기 위한 흐름도(200)를 도시한다. 도 2의 202에서, 일반화된 기계 학습 모델이 생성될 수 있다. 일반화된 기계 학습 모델은 진단, 조직 특성화, 바이오마커 검출 등과 같은 적어도 하나의 암 특성을 예측하기 위해 생성될 수 있다. 일반화된 기계 학습 모델은 인간 조직, 동물 조직, 또는 임의의 적용가능한 조직과 같은 조직 표본들의 이미지들 및/또는 인간 조직, 동물 조직, 또는 임의의 다른 적용가능한 조직을 복제하기 위해 알고리즘적으로 생성되는 이미지들에 기초하여 상이한 암 타입들에 대한 예측들(예를 들어, 바이오마커 검출)을 행할 수 있다. 조직 표본들은 단일 조직 표본 또는 다수 조직 표본으로부터 올 수 있다. 204에서, 일반화된 기계 학습 모델은 본 명세서에 더 개시된 바와 같이, 도 3의 훈련 모듈(300)과 같은 훈련 모듈에서 수신, 결정, 및/또는 위치될 수 있다. 206에서, 인간 조직, 동물 조직, 또는 임의의 적용가능한 조직의 복수의 특수화된 훈련 이미지들 및/또는 인간 조직, 동물 조직, 또는 임의의 적용가능한 조직을 복제하기 위해 알고리즘적으로 생성되는 이미지들이 수신될 수 있다. 복수의 특수화된 훈련 이미지들은 제한된 양의 데이터만이 이용가능한 작은 연구(예를 들어, 임상 시험, 희귀 질병 등)에 대응할 수 있다. 특수화된 훈련 이미지들은 모두 본 명세서에 개시된 바와 같이, 병리학 표본들의 동일한 카테고리에 대응할 수 있다. 208에서, 각자의 특수화된 훈련 이미지와 각각 관련된 복수의 타겟 특수화된 속성들이 수신될 수 있다. 속성들은 특수화된 훈련 이미지들이 생성되는 것에 기초하여 각자의 환자들과 관련될 수 있고, 각자의 절차들, 각자의 치료들, 및/또는 다른 각자의 속성들에 기초할 수 있다. 210에서, 특수화된 기계 학습 모델은 206에서 수신된 복수의 특수화된 이미지들 및 208에서 수신된 타겟 특수화된 속성들에 기초하여 일반화된 기계 학습 모델을 수정함으로써 생성될 수 있다. 210에서 생성된 특수화된 기계 학습 모델은 도 1a의 기계 학습 모델(100)에 대응할 수 있다.

특수화된 기계 학습 모델을 이용하여 분석될 타겟 이미지가 212에서 수신된다. 타겟 이미지는 206에서 수신된 복수의 특수화된 훈련 이미지에 의해 표현된 특수화된 훈련 데이터세트에 기초하여 분석될 이미지에 대응할 수 있다. 214에서, 특수화된 기계 학습 모델이 타겟 이미지의 적어도 하나의 특성을 결정하기 위해 타겟 이미지에 적용될 수 있다. 타겟 이미지의 적어도 하나의 특성은, 본 명세서에서 더 논의되는 바와 같이, 예를 들어, 보고, 디스플레이, 또는 임의의 다른 적용가능한 출력을 통해 출력될 수 있다.

도 2의 202에서 생성된 일반화된 기계 학습 모델은 심층 학습을 이용하여 인스턴스화될 수 있는 엔드-투-엔드 기계 학습 모듈일 수 있다. 일반화된 기계 학습 모델은 하나보다 많은 조직 타입(예를 들어, 전립선암, 유방암, 방광암 등)에 걸쳐 암의 존재 또는 부재를 검출할 수 있다. 또한, 스테이징(staging)에 중요한 추가의 바이오마커 또는 정보를 검출할 수 있다. 예를 들어, 방광암에 대해, 일반화된 기계 학습 모델은 방광암 스테이징을 위해 검출될 필요가 있는 근육인 근육 조직(muscularis propria)의 존재 또는 부재를 출력할 수 있다. 일반화된 기계 학습 모델은 다수의 조직 타입으로부터의 암 치료와 관련된 질병, 바이오마커들, 및 다른 속성들을 예측하기 위해 많은 양의 데이터로 훈련될 수 있다. 이 프로세스를 통해, 광범위한 상이한 조직 타입들에 걸쳐 암 및/또는 바이오마커의 존재를 검출하여, 그 계층들이 종양 특성뿐만 아니라 정상 및 비정상 조직 형태의 이해에 기초하여 구축될 수 있다. 본 명세서에 더 개시된 바와 같이, 일반화된 기계 학습 모델은 다운스트림 기계 학습 알고리즘과 함께 이용될 수 있는 진단 특징들을 추출하는데 이용될 수 있거나, 새로운 작업들에 대해 "미세-튜닝"될 수 있다.

202에서 일반화된 기계 학습 모델을 생성하기 위해, (예를 들어, 조직학, 세포학, 면역조직화학 등인) 병리학 표본들의 큰 복수의 디지털 이미지들을 포함하는 환자 데이터세트가 수신될 수 있다. 병리학 표본들은 본 명세서에 개시된 바와 같이, 물리적 생검 샘플들에 기초하여 생성된 디지털 이미지들일 수 있거나, 또는 예를 들어, 렌더링 시스템 또는 생성 적대적 모델에 의해, 인간 조직, 동물 조직, 또는 임의의 적용가능한 조직을 복제하기 위해 알고리즘적으로 생성된 이미지들일 수 있다. 환자 연관 정보(게놈 정보, 실험실 테스트들, 방사선학, 환자 특성들, 환자 정보, 치료 정보 등)는 또한 환자 데이터세트의 일부로서 수신될 수 있다. 추가적으로, 기계 학습 모델을 훈련하는 것의 일부로서, 각각의 환자 데이터세트는 질병 존재/부재, 스테이징 변수들(예를 들어, 방광암에 대한 근육 조직), 암 형태의 분류(예를 들어, 유방암에 대한 소엽 또는 관), 및 상이한 암 타입들에 대한 다른 관련 변수들, 결과 상태(예를 들어, 반응, 재발 등) 및/또는 임의의 바이오마커들의 존재와 같은 암 특성 출력들(예를 들어, 바이오마커들)에 관한 정보 또는 표시들과 쌍을 이룰 수 있다.

환자 데이터세트, 환자 연관 정보, 및/또는 암 특성 출력들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.

일반화된 기계 학습 모델은, 암 특성 출력과 쌍을 이루는 환자 데이터세트 및 환자 연관된 정보를 기계 학습 알고리즘에 적용하는 것에 기초하여 생성될 수 있다. 기계 학습 알고리즘은, 입력들로서, 병리학 표본들, 환자 연관된 정보, 및 암 특성 출력들을 수락하고, 하나 이상의 기술을 이용하여 훈련을 구현할 수 있다. 예를 들어, 일반화된 기계 학습 모델은, 하나 이상의 컨볼루션 신경망(CNN), 다중-인스턴스 학습 또는 다중-라벨 다중 인스턴스 학습을 수반한 CNN, 순환 신경망(RNN), 롱-쇼트 텀 메모리 RNN(LSTM), 게이티드 순환 유닛 RNN(GRU), 그래프 컨볼루션 네트워크 등 또는 이들의 조합에서 훈련될 수 있다. 컨볼루션 신경망들은, 각각의 표본에 대해 훈련할 많은 양의 데이터가 있을 때 극히 양호하게 동작할 수 있는, 특성들간의 판별에 필요한 이미지 특징 표현들을 직접 학습할 수 있는 반면, 다른 방법들은, 전통적인 컴퓨터 비전 특징들, 예를 들어, SURF 또는 SIFT와 함께, 또는 훈련될 소량의 데이터만이 있을 때 이점을 생성할 수 있는, 훈련된 컨볼루션 신경망에 의해 생성된 학습된 임베딩들(예를 들어, 설술자)과 함께 이용될 수 있다. 훈련된 기계 학습 모델은, 환자 데이터 및 환자 연관된 정보에 기초하여 출력들로서 암 특성을 제공하도록 구성될 수 있다.

일반화된 기계 학습 모델은 환자 데이터세트(예를 들어, (예를 들어, 조직학, 세포학, 면역조직화학 등인) 병리학 표본의 하나 이상의 디지털 이미지)뿐만 아니라 환자 연관된 정보(게놈, 실험실 테스트들, 방사선학, 환자 특성들 등)를 수신할 수 있다. 일반화된 기계 학습 모델의 훈련된 알고리즘은 디지털 이미지들에서의 하나 이상의 암 영역과 같은 하나 이상의 암 특성을 결정하기 위해 환자 데이터세트 및 환자 연관된 정보에 적용될 수 있다. 암 특성들은 암 특정적일 수 있어서, 일반화된 기계 학습 모델은, 있다면, 암 타입들에 걸쳐 암 특성들을 제공할 수 있다. 암 특성들은 하나 이상의 디지털 슬라이드에 걸쳐 공간적으로 변할 수 있다.

일반화된 기계 학습 모델의 출력(즉, 있다면, 하나 이상의 암 특성)은 저장 컴포넌트(예를 들어, 클라우드 스토리지, 하드 드라이브, 네트워크 드라이브 등)에 제공될 수 있다. 공간적으로 변하는 결정이 이루어진다면, 대응하는 암 특성(들)은, 예를 들어, 좌표들, 비트마스크들, 오버레이들 등 또는 이들의 조합으로서 디지털 디스플레이를 위해 제공될 수 있다.

도 3은 본 명세서에 더 개시된 바와 같이, 일반화된 기계 학습 모델 또는 특수화된 기계 학습 모델을 훈련하기 위한 예시적인 훈련 모듈(300)을 도시한다. 도 3에 도시된 바와 같이, 훈련 데이터(302)는 환자 데이터(306)에 관련된 병리학 이미지들(304)(예를 들어, 생검 이미지들의 디지털 표현), 환자 데이터(306)(예를 들어, 환자 데이터세트), 및 알려진 결과들(308)(예를 들어, 암 특성들) 중 하나 이상을 포함할 수 있다. 훈련 데이터(302) 및 훈련 알고리즘(310)은 기계 학습 모델을 생성하기 위해 훈련 데이터(302)를 훈련 알고리즘(310)에 적용할 수 있는 훈련 컴포넌트(320)에 제공될 수 있다.

도 2의 206에서, 인간 조직, 동물 조직, 또는 임의의 적용가능한 조직의 복수의 타겟 특수화된 훈련 이미지들 및/또는 인간 조직, 동물 조직, 또는 임의의 적용가능한 조직을 복제하기 위해 알고리즘적으로 생성되는 이미지들이 제공될 수 있다. 타겟 특수화된 훈련 이미지들은 작은 연구에서 생성되는 이미지들에 대응할 수 있고, 특정 암 기반 구현에 관한 것일 수 있다. 병리학 표본들은 본 명세서에 개시된 바와 같은 물리적 생검 샘플들에 기초하여 생성되는 디지털 이미지들일 수 있거나, 예를 들어, 렌더링 시스템 또는 생성 적대 모델에 의해 인간 조직, 동물 조직, 또는 임의의 적용가능한 조직을 복제하기 위해 알고리즘적으로 생성되는 이미지들일 수 있다.

(예를 들어, 희귀 질병, 작은 연구, 임상 연구 등에 대응하는) 타겟 특수화된 작업에 대한 타겟 특수화된 훈련 이미지들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 그러한 디지털 병리학 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 한정되지 않는) 다양한 염색들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.

일반화된 기계 학습 모델의 훈련 데이터세트의 일부로서 수신된 이미지들에 비해, 특수화된 기계 학습 모델을 훈련하기 위한 타겟 특수화된 훈련 이미지들의 수는 (예를 들어, 1 또는 2 크기만큼) 실질적으로 더 낮을 수 있다. 더 적은 수의 타겟 특수화된 훈련 이미지들은 더 많은 수의 훈련 데이터가 이용가능하지 않은 작은 연구, 임상 연구, 또는 희귀 질병에 대한 타겟 특수화된 작업에 대응하는 타겟 특수화된 훈련 이미지들의 결과일 수 있다.

208에서, 각자의 특수화된 훈련 이미지에 관련된 복수의 타겟 특수화된 속성들이 수신될 수 있다. 타겟 특수화된 속성들은 훈련 이미지들과 쌍을 이룰 수 있고 환자 관련 정보(게놈 정보, 실험실 테스트들, 방사선학, 환자 특성들, 환자 정보, 치료 정보 등)를 포함할 수 있다. 추가적으로, 타겟 특수화된 속성들은 질병 존재/부재, 스테이징 변수들의 존재, 약물 반응, 독성, 암 형태의 분류, 및 상이한 암 타입들에 대한 다른 관련 변수들, 결과 상태 및/또는 임의의 바이오마커들의 존재와 같은 암 특성 출력들(예를 들어, 바이오마커들)에 관한 정보 또는 표시들을 포함할 수 있다.

도 2의 210에서, 특수화된 기계 학습 모델은 타겟 특수화된 작업에 대해 생성될 수 있다. 특수화된 기계 학습 모델은 타겟 특수화된 작업에 대한 적절한 출력들을 갖도록 일반화된 기계 학습 모델을 먼저 수정함으로써 일반화된 기계 학습 모델을 수정함으로써 생성될 수 있다. 일반화된 기계 학습 모델은 다양한 암 타입들 및 다른 출력 타겟들(예를 들어, 암의 심각성, 존재하는 돌연변이들 등)과 연관된 데이터를 이용하여 훈련될 수 있다. 일반화된 기계 학습 모델은 대응하는 조직이 연관되는 암 타입을 구체적으로 제공하지 않고 상이한 타입들의 암 타입들에 대한 종양 영역들/특성들을 인식 가능할 수 있다. 상이한 타입들의 암에 대한 영역들/특성들을 인식하는 그러한 능력은 더 적은 데이터가 있는 다른 작업들에 대해 효과적으로 작용하는 내부 표현들(예를 들어, 파라미터들, 계층들, 계층들과 연관된 가중치들, 관계들 등)을 일반화된 기계 학습 모델에 제공한다. 구현에 따르면, 바이오마커 검출 시스템(예를 들어, 특수화된 기계 학습 모델)은 일반화된 기계 학습 모델의 파라미터들로 초기화되고, 예를 들어, 출력 계층은, 신경망의 형태로 구현되는 경우, 바이오마커 작업을 추론하기 위해 미세 튜닝되도록 재초기화된다. 미세 튜닝 훈련은 그 후 기울기 하강(gradient descent)으로 행해질 수 있다. 선택적으로, 이 프로세스는 네트워크의 마지막 M 계층들만을 훈련시키거나 또는 네트워크가 오버피팅되는 능력을 제한하기 위해 L2-SP와 같은 방법들을 이용함으로써 제약될 수 있다. 추가적으로, 특수화된 기계 학습 모델은 206의 복수의 특수화된 훈련 이미지들 및 208의 복수의 타겟 특수화된 속성들을 이용하여 일반화된 기계 학습 모델을 수정함으로써 생성될 수 있다. 일반화된 기계 학습 모델은 바이오마커 검출 작업에 대한 적절한 출력들을 갖도록 수정될 수 있다. 추가적으로 또는 대안적으로, 일반화된 기계 학습 모델은 특수화된 기계 학습 모델과 함께 이용하기 위한 샘플들로부터 특징들을 추출하도록 수정될 수 있다.

특수화된 기계 학습 모델은 특수화된 작업 및 관련 재료(예를 들어, 특수화된 훈련 이미지들, 타겟 특수화된 속성들 등)를 이용하여 일반화된 기계 학습 모델의 하나 이상의 계층을 미세 튜닝(예를 들어, 재훈련)함으로써 일반화된 기계 학습 모델을 수정함으로써 소량의 데이터를 이용하여 생성될 수 있다. 미세 튜닝은 L2-SP, 심층 학습 전달(DELTA)(예를 들어, 특징 맵을 이용함), 및/또는 일반화를 개선하도록 설계된 하나 이상의 다른 접근법을 이용하여 수행될 수 있다. 대안적으로 또는 추가로, 특수화된 기계 학습 모델은 일반화를 개선하기 위해 일반화된 기계 학습 모델의 상부에 구축된 큰 마진 방법들을 이용하여 생성될 수 있다. 대안적으로 또는 추가로, 특수화된 기계 학습 모델은 로우-샷 학습을 위한 방법들을 이용하여 생성될 수 있다. 대안적으로 또는 추가로, 특수화된 기계 학습 모델은 특징들을 추출하기 위해 일반화된 기계 학습 모델을 이용하여 생성된 다음, 그러한 특징들(예를 들어, 최근접 이웃, 랜덤 포레스트, 지원 벡터 기계, 신경망 등)에 기초하여 모델을 훈련시킬 수 있다.

특수화된 기계 학습 모델은 일반화된 기계 학습 모델을 이용하여 심층 학습에서 전이 학습(transfer learning)을 수행함으로써 생성될 수 있다. 전이 학습은 가중치 초기화 방식(weight initialization scheme) 또는 특징 추출 방법으로서 특수화된 기계 학습 모델의 훈련을 가속화하기 위해 이용될 수 있다. 충분히 많은 수의 인스턴스들을 갖는 훈련 데이터세트에 의해 미리 훈련된 일반화된 기계 학습 모델의 가중치들은 랜덤 초기화들보다, 타겟 특수화된 작업 기반 특수화된 기계 학습 모델에 대해 더 양호한 초기화를 제공할 수 있다.

가중치 초기화 방식에 따르면, 하위 컨볼루션 계층들에서의 가중치들은 고정될 수 있고, 상위 계층들에서의 가중치들은 타겟 작업 및 그것의 관련 재료(예를 들어, 특수화된 훈련 이미지들, 타겟 특수화된 속성들 등)로부터의 데이터를 이용하여 재훈련될 수 있다. 재이용된 계층들에서의 가중치들은 훈련 프로세스를 위한 시작점으로서 이용될 수 있고 타겟 작업에 응답하여 적응될 수 있다. 이 가중치 초기화 방식은 전이 학습을 가중치 초기화 방식의 타입으로서 취급할 수 있다.

대안적으로, 특징 추출 방식에 따르면, 일반화된 기계 학습 네트워크의 가중치들은 타겟 작업에 응답하여 특수화된 기계 학습 네트워크를 훈련할 때 적응되지 않을 수 있으며, 따라서 재이용된 계층들 이후의 새로운 계층들만이 그들의 출력을 해석하도록 훈련될 수 있다.

따라서, 일반화된 기계 학습 모델 및 특수화된 기계 학습 모델은 하나 이상의 계층을 공유할 수 있고, 서로 상이한 적어도 하나의 계층을 가질 수 있다. 예로서, 일반화된 기계 학습 모델의 출력 계층은 도 2의 210에서, 특수화된 기계 학습 모델에서 입력으로서 수신된 타겟 이미지가 동일한 타겟 이미지가 일반화된 기계 학습 모델에서 입력으로서 수신된 경우와 상이한 결과를 제공하도록 수정될 수 있다.

도 2의 210에서, 특수화된 기계 학습 모델은 일반화된 기계 학습 모델을 훈련하기 위해 본 명세서에 설명된 것과 유사한 방식으로 도 3의 훈련 모듈(300)을 이용하여 훈련될 수 있다. 도 3에 도시된 바와 같이, 훈련 데이터(302)는 환자 데이터(306)에 관련된 병리학 이미지들(304)(예를 들어, 생검 이미지들의 디지털 표현), 환자 데이터(306)(예를 들어, 환자 데이터세트), 및 알려진 결과들(308)(예를 들어, 암 특성들) 중 하나 이상을 포함할 수 있다. 병리학 이미지들(304)은 도 2의 특수화된 훈련 이미지(206)를 포함할 수 있다. 알려진 결과들(308)은 도 2의 타겟 특수화된 속성들(208)을 포함할 수 있다. 훈련 데이터(302) 및 훈련 알고리즘(310)은 특수화된 기계 학습 모델을 생성하기 위해 훈련 데이터(302)를 훈련 알고리즘(310)에 적용할 수 있는 훈련 컴포넌트(320)에 제공될 수 있다.

도 4는 일반화된 기계 학습 모델(400) 및 특수화된 기계 학습 모델(420)을 도시하는 도면이다. 일반화된 기계 학습 모델은 다수의 내부 계층(402)뿐만 아니라 제1 외부 계층(404) 및 제2 외부 계층(406)을 가질 수 있다. 예에 따르면, 외부 계층은 내부 계층과 비교하여 기계 학습 모델의 훈련에서 나중에 형성되는 계층일 수 있다. 다른 예에 따르면, 외부 계층은 더 일반적인 내부 계층과 비교하여 더 특정적일 수 있다. 일반화된 기계 학습 모델(400)은 본 명세서에 개시된 바와 같이, 상이한 암 타입들에 걸쳐 암 특성들을 출력하기 위해 많은 양의 훈련 데이터를 이용하여 생성될 수 있다. 일반화된 기계 학습 모델(400)은 도 2의 특수화된 훈련 이미지들(206) 및 타겟 특수화된 속성들(208)과 함께 훈련 모듈(300)에 제공될 수 있다.

훈련 모듈(300)은 일반화된 기계 학습 모델의 내부 계층들(402)을 유지하고, 제1 외부 계층(404) 및 제2 외부 계층(406)을 제1 외부 계층(424) 및 제2 외부 계층(426)으로 수정함으로써 특수화된 기계 학습 모델(420)을 생성하도록 구성될 수 있다. 특수화된 기계 학습 모델(420)의 훈련은 내부 계층들(402)에 기초하여 초기화될 수 있고, 훈련 모듈(300)은 도 2의 206의 특수화된 훈련 이미지들 및 208의 타겟 특수화된 속성들에 기초하여 제1 외부 계층(404) 및 제2 외부 계층(406)을 대체, 수정, 또는 트위킹(tweaking)할 수 있다. 따라서, 특수화된 기계 학습 모델(420)은 비교적 적은 양의 데이터를 이용하여 훈련될 수 있고, 일반화된 기계 학습 모델(400)의 이전에 훈련된 내부 계층들(402)을 레버리지할 수 있다. 일반화된 기계 학습 모델(400)이 암 특성들을 식별하도록 훈련됨에 따라, 내부 계층들(402)은 내부 계층들(402) 없이 특수화된 기계 학습 모델(420)을 초기화하는 것보다 더 적용가능한 초기화를 특수화된 기계 학습 모델(420)에 제공할 수 있다.

제1 외부 계층(404) 및 제2 외부 계층(406)이 수정되는 것으로 도시되지만, 일반화된 기계 학습 모델(400)에서의 계층들의 총 수보다 적은 임의의 수의 계층들이 특수화된 기계 학습 모델(420)을 생성하기 위해 수정될 수 있다는 것이 이해될 것이다. 예로서, 제2 외부 계층(406)은 출력 계층일 수 있고, 일반화된 기계 학습 모델의 출력 계층만이 특수화된 기계 학습 모델(420)을 생성할 때 수정될 수 있다. 추가적으로, 일반화된 기계 학습 모델(400)의 내부 계층들(402)이 특수화된 기계 학습 모델(420)을 훈련할 때 유지되지만, 개시된 청구 대상의 구현들은 내부 계층들로 제한되지 않는다는 것이 이해될 것이다. 일반화된 기계 학습 모델(400)의 임의의 적용가능한 계층들은 특수화된 기계 학습 모델(420)을 생성하기 위해 유지되거나 수정/대체될 수 있다.

특수화된 기계 학습 모델은 암 타입들에 걸쳐 하나 이상의 바이오마커를 결정하는 것과 같은 예측들을 행하기 위해 이용될 수 있다. 특수화된 기계 학습 모델은 하나 이상의 슬라이드 이미지 내의 하나 이상의 바이오마커의 존재 또는 부재를 결정할 수 있다. 이 결정은 슬라이드들의 상이한 영역들 내의 상이한 종양들이 상이한 바이오마커들의 존재 또는 부재를 갖는 것으로 결정되도록 타겟 이미지(예를 들어, 디지털 병리학 슬라이드)에 걸쳐 공간적으로 변할 수 있다.

210에서 생성된 기계 학습 모델은 도 1a의 기계 학습 모델(100)과 동일하거나 유사할 수 있고, 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 등 중 하나 이상으로부터 타겟 이미지들, 및 환자 정보를 수신할 수 있다. 212에서, 타겟 표본에 대응하는 타겟 이미지가 수신될 수 있다. 214에서, 특수화된 기계 학습 모델이 타겟 이미지에 적용되어 타겟 이미지의 적어도 하나의 특성을 결정할 수 있다. 적어도 하나의 특성은 타겟 특수화된 작업과 연관된 암 특성일 수 있고, 이 타겟 특수화된 작업에 기초하여 특수화된 기계 학습 모델이 생성되었다. 216에서, 타겟 이미지의 적어도 하나의 특성은 하나 이상의 출력 인터페이스(예를 들어, 스크린, 모니터, 저장 디바이스, 및/또는 웹 브라우저 등)를 통해 출력될 수 있다. 출력 특성은 표본 타입(예를 들어, 암 예측, 약물 반응, 암 재발률, 독성, 조직 이상 등)일 수 있다. 따라서, 216에서의 출력은 212에서 수신된 타겟 이미지에 기초한 표본 타입의 예측일 수 있다. 예로서, 도 1a의 뷰잉 애플리케이션 툴(108)은 디지털 병리학 이미지(들) 위에 오버레이 계층을 적용할 수 있고, 오버레이 계층은 주요 고려하는 영역들을 강조할 수 있다. 출력은 좌표들, 비트마스크들, 오버레이들 등 또는 이들의 조합으로서 제공될 수 있다.

특수화된 기계 학습 모델은, 임상 시험에서의 환자 계층화에 대한 약물 반응 예측들, 암 재발 예측들, 약물 독성 또는 비정상 예측 등의, 그러나 이것으로 제한되지 않는, 다수의 구현에 이용될 수 있다.

도 5는 약물 반응 예측들을 위한, 일반화된 기계 모델을 이용하여 생성된, 특수화된 기계 학습 모델의 예시적인 구현을 도시한다. 시험 약물에 대한 바이오마커를 개발하는 것은 전통적으로 임상 연구를 통해 수행되며, 여기서 샘플 크기는 전형적으로 5000명의 환자 아래이다. 이러한 작은 데이터세트에 의해, 기저 질환 메카니즘을 완전히 이해하고 치료에 대한 환자 특성을 예측하는 것은 어렵다. 종양들 그들의 형태를 완전히 특성화하는 일반화된 기계 학습 모델을 포함하는 본 명세서에 개시된 기술들은, 어느 환자가 임상 시험에서의 치료에 반응할 것인지, 및 반응이 무엇일 수 있는지를 식별하기 위한 바이오마커들을 검출하기 위한 초기화 단계로서 이용될 수 있다. 도 5에 도시된 바와 같이, 502에서, 일반화된 기계 학습 모델이 502에서 수신될 수 있다. 일반화된 기계 학습 모델은 504에서 약물 반응 예측 출력들을 갖도록 조정될 수 있다. 일반화된 기계 학습 모델의 하나 이상의 계층에서의 가중치들 및/또는 일반화된 기계 학습 모델의 출력 계층의 가중치들을 조정하고/하거나 일반화된 기계 학습 모델의 출력들의 속성들을 수정함으로써 조정이 행해질 수 있다.

조정된 기계 학습 모델은 훈련 모듈(300)에 제공될 수 있다. 훈련 모듈(300)은, 510에서, 일반화된 기계 학습 모델의 하나 이상의 계층(예를 들어, 내부 계층들)을 유지하고 기계 학습 모델의 하나 이상의 계층(예를 들어, 외부 계층들)을 수정함으로써, 특수화된 기계 학습 모델을 생성하도록 구성될 수 있다. 특수화된 기계 학습 모델은 비교적 적은 양의 데이터를 이용하여 훈련될 수 있고, 일반화된 기계 학습 모델의 이전에 훈련된 계층들을 레버리지할 수 있다. 특수화된 기계 학습 모델은 타겟 약물을 제공받은 환자들에 대한 병리학 이미지들 및 대응하는 환자 데이터를 제공함으로써 훈련될 수 있다. 추가적으로, 타겟 약물의 알려진 결과들이 또한 훈련 모듈(300)에 제공되어 특수화된 기계 학습 모델을 훈련시킬 수 있다.

510에서, 특수화된 기계 학습 모델은 520에서 수신된 일반화된 기계 학습 모델을 수정하는 것 및 약물에 대한 그들의 알려진 반응들뿐만 아니라, 타겟 약물을 제공받은 환자들로부터의 특수화된 훈련 이미지들에 기초하여 훈련하는 것에 기초하여 생성될 수 있다. 510에서 생성된 특수화된 기계 학습 모델은 하나 이상의 타겟 이미지들에 기초하여 약물 반응 결과들을 예측하는 데 이용될 수 있다. 도 5는 도 2의 단계들 212, 214, 및 216을 도시하고, 이러한 단계들과 관련된 개시내용은 간결성을 위해 여기서 반복되지 않는다. 212에서, 타겟 표본에 대응하는 타겟 이미지가 수신될 수 있다. 214에서, 510에서 생성된 특수화된 기계 학습 모델은 타겟 이미지의 특성을 결정하기 위해 타겟 이미지에 적용될 수 있다. 도 5에 제공된 구현에서, 타겟 이미지의 특성은 타겟 이미지가 캡처된 환자가 타겟 약물에 대해 가질 수 있는 반응(예를 들어, 양성, 음성, 중성, 예측 문제들 등)일 수 있다. 216에서, 특성은 본 명세서에 제공된 개시내용에 따라 출력될 수 있다.

구현에 따르면, 도 5(즉, 502에서), 도 6(즉, 602에서), 및 도 7(즉, 702에서)에서 제공된 예시적인 구현들에서 수신된 일반화된 기계 학습 모델은 동일한 일반화된 기계 학습 모델일 수 있다. 510, 610, 및 710에서 생성된 각자의 특수화된 기계 학습 모델들 각각은 일반화된 기계 학습 모델로부터의 계층들의 전부 또는 일부를 이용하여 초기화될 수 있다. 그러나, 510, 610, 및 710에서 생성된 각자의 특수화된 기계 학습 모델들 각각은 그들이 그 특정한 특수화된 작업들 각각에 튜닝되도록 상이할 수 있다. 따라서, 510, 610, 및 710에서 생성된 특수화된 기계 학습 모델들 각각에 제공된 주어진 입력 이미지는 510, 610, 및 710에서 생성된 특수화된 기계 학습 모델들 사이의 차이들에 기초하여, 상이한 출력들을 초래할 수도 있다.

도 6은 암 재발 예측들을 위해, 일반화된 기계 모델을 이용하여 생성된, 특수화된 기계 학습 모델의 예시적인 구현을 도시한다. 암의 재발은 치료(예를 들어, 성공적인 또는 성공적이지 않은 치료) 후에 암이 재발할 때 발생할 수 있다. 암이 재발할 것인지를 아는 것은 더 나은 치료 계획을 가능하게 할 수 있다. 예를 들어, 하나 이상의 주어진 치료(예를 들어, 면역요법, 키메라 항원 수용체 T(CART-T) 세포 기반 요법 등)에 기초하여 잠재적인 재발 확률을 아는 것은 각각의 환자에 대한 치료들의 고객화(customization) 또는 맞춤화(tailoring)를 가능하게 할 수 있다. 추가적으로, 더 새로운 치료 메커니즘들은 더 늦은 단계들에서 종양의 재발에 영향을 미칠 수 있고, 그러한 늦은 단계 재발들과 연관된 확률을 아는 것은 재발률들을 완화하는 것을 도울 수 있다. 그러나, 전통적인 연구들로부터 직접 암 재발을 평가하기 위해 기계 학습 모델을 구축하는 것은 제한된 수의 데이터세트들로 인해 도전적이다. 종양들 그들의 형태를 특성화하는 일반화된 기계 학습 모델을 포함하는 본 명세서에 개시된 기술들은 제한된 데이터세트들을 갖는 연구들에서 암 재발을 예측하기 위한 특수화된 기계 학습 모델을 개시하기 위해 이용될 수 있다. 도 6에 도시된 바와 같이, 602에서, 일반화된 기계 학습 모델이 602에서 수신될 수 있다. 일반화된 기계 학습 모델은 604에서 암 재발 예측 출력들을 갖도록 조정될 수 있다. 조정은 일반화된 기계 학습 모델의 하나 이상의 계층들에서의 가중치들 및/또는 일반화된 기계 학습 모델의 출력 계층의 가중치들을 조정하고/하거나 일반화된 기계 학습 모델의 출력들의 속성들을 수정함으로써 이루어질 수 있다.

조정된 기계 학습 모델은 훈련 모듈(300)에 제공될 수 있다. 훈련 모듈(300)은, 610에서, 일반화된 기계 학습 모델의 하나 이상의 계층(예를 들어, 내부 계층들)을 유지하고 기계 학습 모델의 하나 이상의 계층(예를 들어, 외부 계층들)을 수정함으로써, 특수화된 기계 학습 모델을 생성하도록 구성될 수 있다. 특수화된 기계 학습 모델은 비교적 적은 양의 데이터를 이용하여 훈련될 수 있고, 일반화된 기계 학습 모델의 이전에 훈련된 계층들을 레버리지할 수 있다. 특수화된 기계 학습 모델은 암 재발을 보였거나 암 재발을 보이지 않은 환자들에 대한 병리학 이미지들 및 대응하는 환자 데이터를 제공함으로써 훈련될 수 있다. 추가적으로, 암 재발의 알려진 결과들 또는 재발의 결여가 또한 훈련 모듈(300)에 제공되어 특수화된 기계 학습 모델을 훈련시킬 수 있다.

610에서, 특수화된 기계 학습 모델은 620에서 수신된 일반화된 기계 학습 모델을 수정하는 것 및 암 재발을 보였거나 보이지 않은 환자들로부터의 특수화된 훈련 이미지들뿐만 아니라, 약물에 대한 그들의 알려진 반응들에 기초하여 훈련하는 것에 기초하여 생성될 수 있다. 610에서 생성된 특수화된 기계 학습 모델은 하나 이상의 타겟 이미지에 기초하여 암 재발 결과들을 예측하기 위해 이용될 수 있다. 도 6은 도 2의 단계들 212, 214, 및 216을 도시하고, 이러한 단계들에 관련된 개시내용은 간결성을 위해 여기서 반복되지 않는다. 212에서, 타겟 표본에 대응하는 타겟 이미지가 수신될 수 있다. 214에서, 610에서 생성된 특수화된 기계 학습 모델은 타겟 이미지의 특성을 결정하기 위해 타겟 이미지에 적용될 수 있다. 도 6에 제공된 구현에서, 타겟 이미지의 특성은 타겟 이미지가 캡처된 환자가 암 재발을 보일 수 있는 확률일 수 있다. 대안적으로 또는 추가로, 특성은 타겟 이미지가 캡처된 환자가 보일 수 있는 암 재발의 정도일 수 있다. 216에서, 특성은 본 명세서에 제공된 개시내용에 따라 출력될 수 있다.

도 7은 약물 독성 또는 조직 이상 예측을 위해, 일반화된 기계 모델을 이용하여 생성된, 특수화된 기계 학습 모델의 예시적인 구현을 도시한다. 약물 개발 사이클에서, 잠재적인 화합물들은 동물들 및 이어서 인간들에서 안전성 연구들의 라운드들을 거친다. 예를 들어, 현재의 관행들에 기초하여, 독성의 평가는 동물 조직들에서의 병리학 테스트를 통해 수동으로 수행된다. 독성 전임상 연구들에서의 동물들의 수는 상당히 제한되고 새로운 분자 엔티티의 다중 용량들(multiple doses)의 테스트를 요구할 수 있다. 학습된 종양 형태에 기초하여 가중되는, 다양한 인간 조직들, 동물 조직들, 또는 임의의 적용가능한 조직들에 대해 훈련된 일반화된 기계 학습 모델을 포함하는 본 명세서에 개시된 기술들은 전임상 독성 연구들에 대한 예측들을 행할 때 조직들(예를 들어, 동물 조직들)에서의 이상들을 검출하기 위한 초기화 단계로서 이용될 수 있다. 도 7에 도시된 바와 같이, 702에서, 일반화된 기계 학습 모델이 702에서 수신될 수 있다. 704에서, 일반화된 기계 학습 모델은 약물 독성 또는 조직 이상 예측 출력들을 갖도록 조정될 수 있다. 조정은 일반화된 기계 학습 모델의 하나 이상의 계층들에서의 가중치들 및/또는 일반화된 기계 학습 모델의 출력 계층의 가중치들을 조정하고/하거나, 일반화된 기계 학습 모델의 출력들의 속성들을 수정함으로써 이루어질 수 있다.

조정된 기계 학습 모델은 훈련 모듈(300)에 제공될 수 있다. 훈련 모듈(300)은, 710에서, 일반화된 기계 학습 모델의 하나 이상의 계층(예를 들어, 내부 계층들)을 유지하고 기계 학습 모델의 하나 이상의 계층(예를 들어, 외부 계층들)을 수정함으로써, 특수화된 기계 학습 모델을 생성하도록 구성될 수 있다. 특수화된 기계 학습 모델은 비교적 적은 양의 데이터를 이용하여 훈련될 수 있고, 일반화된 기계 학습 모델의 이전에 훈련된 계층들을 레버리지할 수 있다. 특수화된 기계 학습 모델은 타겟 약물을 제공받은 환자들(예를 들어, 인간 및/또는 동물)에 대한 병리학 이미지들 및 대응하는 환자 데이터를 제공함으로써 훈련될 수 있다. 추가적으로, 타겟 약물의 독성 또는 결과적인 조직 이상의 알려진 결과들이 또한 훈련 모듈(300)에 제공되어 특수화된 기계 학습 모델을 훈련시킬 수 있다.

710에서, 특수화된 기계 학습 모델은 720에서 수신된 일반화된 기계 학습 모델을 수정하는 것 및 약물로부터의 그들의 알려진 독성 또는 조직 이상뿐만 아니라, 타겟 약물이 제공되는 환자들로부터의 특수화된 훈련 이미지들에 기초하여 훈련하는 것에 기초하여 생성될 수 있다. 710에서 생성된 특수화된 기계 학습 모델은 하나 이상의 타겟 이미지에 기초하여 약물 독성 또는 조직 이상 결과들을 예측하는 데 이용될 수 있다. 도 7은 도 2의 단계들 212, 214, 및 216을 도시하고, 이러한 단계들과 관련된 개시내용은 간결성을 위해 여기서 반복되지 않는다. 212에서, 타겟 표본에 대응하는 타겟 이미지가 수신될 수 있다. 214에서, 710에서 생성된 특수화된 기계 학습 모델은 타겟 이미지의 특성을 결정하기 위해 타겟 이미지에 적용될 수 있다. 도 7에 제공된 구현에서, 타겟 이미지의 특성은 타겟 이미지가 캡처된 환자가 타겟 약물에 대해 가질 수 있는 독성 또는 조직 이상의 존재 또는 부재, 또는 정도일 수 있다. 216에서, 특성은 본 명세서에 제공된 개시내용에 따라 출력될 수 있다.

도 8에 도시된 바와 같이, 디바이스(800)는 중앙 처리 유닛(CPU)(820)을 포함할 수 있다. CPU(820)는, 예를 들어, 임의의 타입의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는, 임의의 타입의 프로세서 디바이스일 수 있다. 관련 기술 분야의 통상의 기술자라면 잘 알 수 있듯이, CPU(820)는 또한 멀티코어/멀티프로세서 시스템(이러한 시스템은 단독으로 동작함), 또는 클러스터 또는 서버 팜(server farm)에서 동작하는 컴퓨팅 디바이스들의 클러스터에서의 단일 프로세서일 수 있다. CPU(820)는 데이터 통신 인프라스트럭처(810), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티코어 메시지 전달 스킴에 접속될 수 있다.

디바이스(800)는 또한 메인 메모리(840), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(830)를 포함할 수 있다. 보조 메모리(830), 예를 들어, 판독 전용 메모리(ROM)는, 예를 들어, 하드 디스크 드라이브 또는 착탈식 저장 드라이브일 수 있다. 그러한 착탈식 저장 드라이브는, 예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 착탈식 저장 드라이브는 이 예에서 잘 알려진 방식으로 착탈식 저장 유닛으로부터 판독 및/또는 그에 기입한다. 착탈식 저장 유닛은 착탈식 저장 드라이브에 의해 판독 및 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 그러한 착탈식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터를 저장한 컴퓨터 이용가능 저장 매체를 포함한다.

대안적인 구현들에서, 보조 메모리(830)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(800) 내로 로딩되는 것을 허용하기 위한 다른 유사한 수단을 포함할 수 있다. 그러한 수단의 예들은 프로그램 카트리지 및 카트리지 인터페이스(예를 들어, 비디오 게임 디바이스들에서 발견되는 것), 착탈식 메모리 칩(예를 들어, EPROM, 또는 PROM) 및 연관된 소켓, 및 소프트웨어 및 데이터가 착탈식 저장 유닛으로부터 디바이스(800)로 전송되는 것을 허용하는 다른 착탈식 저장 유닛들 및 인터페이스들을 포함할 수 있다.

디바이스(800)는 또한 통신 인터페이스("COM")(860)를 포함할 수 있다. 통신 인터페이스(860)는 소프트웨어 및 데이터가 디바이스(800)와 외부 디바이스들 사이에서 전송되게 한다. 통신 인터페이스(860)는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(860)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(860)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수 있는 신호들의 형태일 수 있다. 이러한 신호들은, 예를 들어, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있는, 디바이스(800)의 통신 경로를 통해 통신 인터페이스(860)에 제공될 수 있다.

그러한 장비의 하드웨어 요소들, 운영 체제들 및 프로그래밍 언어들은 사실상 통상적이며, 본 기술분야의 통상의 기술자들은 그와 적절히 친숙하다고 가정된다. 디바이스(800)는 또한 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 접속하기 위한 입력 및 출력 포트들(850)을 포함할 수 있다. 물론, 다양한 서버 기능들은 처리 부하를 분산시키기 위해 다수의 유사한 플랫폼 상에 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.

본 개시내용 전체에 걸쳐, 컴포넌트들 또는 모듈들에 대한 참조들은 일반적으로, 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 유사한 참조 번호들은 일반적으로 동일하거나 유사한 컴포넌트들을 지칭하도록 의도된다. 컴포넌트들 및 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.

전술한 툴들, 모듈들, 및 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장" 타입 매체는 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장을 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등의 유형의 메모리, 또는 이들의 연관된 모듈들 중 임의의 것 또는 전부를 포함할 수 있다.

소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 원격통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 것으로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 이용되는 바와 같이, 비일시적인 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령어들을 제공하는데 참여하는 임의의 매체를 지칭한다.

상기의 일반적인 설명은 단지 예시적인 것이고 설명을 위한 것이며, 본 개시내용을 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에 개시된 본 발명의 명세서 및 실시의 고려로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 명세서 및 예들은 단지 예시적인 것으로 간주되는 것이 의도된다.

Claims

전자 이미지들을 처리하기 위한 컴퓨터로 구현된 방법으로서,
적어도 하나의 암 특성을 예측하기 위해 복수의 제1 훈련 이미지들을 처리함으로써 생성된 일반화된 기계 학습 모델을 수신하는 단계;
복수의 제2 훈련 이미지들을 수신하는 단계―상기 제1 훈련 이미지들 및 상기 제2 훈련 이미지들은 조직 표본들의 이미지들 또는 조직 표본들을 복제하기 위해 알고리즘적으로 생성된 이미지들을 포함하고, 제2 훈련 이미지들의 양은 특수화된 작업에 대한 타겟 이미지들의 하나 이상의 특성을 출력하기 위한 임계값을 만족시키는 기계 학습 모델을 생성하기에 불충분함;
상기 복수의 제2 훈련 이미지들의 각자의 제2 훈련 이미지에 각각 관련된 복수의 타겟 특수화된 속성들을 수신하는 단계;
상기 복수의 제2 훈련 이미지들 및 각자의 타겟 특수화된 속성들에 기초하여 상기 일반화된 기계 학습 모델을 수정함으로써 특수화된 기계 학습 모델을 생성하는 단계―상기 특수화된 기계 학습 모델은 상기 특수화된 작업에 대한 타겟 이미지들의 상기 하나 이상의 특성을 출력하기 위한 상기 임계값을 만족시키고, 상기 특수화된 기계 학습 모델은 상기 일반화된 기계 학습 모델의 기존의 계층들의 세트에 대한 추가적인 계층들을 생성하고, 상기 복수의 제2 훈련 이미지들 및 상기 타겟 특수화된 속성들에 기초하여 상기 추가적인 계층들에 대한 가중치들을 생성함으로써 특징 추출 방식에 따라 생성됨―;
타겟 표본에 대응하는 타겟 이미지를 수신하는 단계;
상기 타겟 이미지에 상기 특수화된 기계 학습 모델을 적용하여 상기 타겟 이미지의 적어도 하나의 특성을 결정하는 단계; 및
상기 타겟 이미지의 상기 적어도 하나의 특성을 출력하는 단계를 포함하는
컴퓨터로 구현된 방법.
제1항에 있어서,
상기 타겟 이미지의 상기 적어도 하나의 특성에 기초하여 상기 타겟 표본의 표본 타입의 예측을 결정하는 단계; 및
상기 타겟 표본의 상기 표본 타입의 상기 예측을 출력하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
제1항에 있어서,
상기 복수의 타겟 특수화된 속성들은 각각의 각자의 제2 훈련 이미지 내에 존재하는 하나 이상의 바이오마커인, 컴퓨터로 구현된 방법.
제1항에 있어서,
상기 일반화된 기계 학습 모델은 복수의 계층들을 포함하고, 상기 일반화된 기계 학습 모델을 수정하는 단계는 상기 일반화된 기계 학습 모델의 하나 이상의 외부 계층을 수정하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
제1항에 있어서,
상기 일반화된 기계 학습 모델을 수정하는 단계는 상기 일반화된 기계 학습 모델의 출력 계층을 제거하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
제1항에 있어서,
상기 복수의 타겟 특수화된 속성들은 질병 존재, 스테이징 변수 존재, 약물 반응, 독성, 또는 암 분류로부터 선택된 특성 출력들의 하나 이상의 표시인, 컴퓨터로 구현된 방법.
제1항에 있어서,
상기 복수의 타겟 특수화된 속성들은 약물 반응 정보, 암 재발 예측 정보, 또는 독성 평가 정보 중 적어도 하나에 기초하는, 컴퓨터로 구현된 방법.
제1항에 있어서,
제2 훈련 이미지들 각각은 동일한 카테고리의 병리학 표본들에 기초하여 생성되는, 컴퓨터로 구현된 방법.
제8항에 있어서,
병리학 표본들의 카테고리는 조직학, 세포학, 면역조직화학, 또는 이들의 조합으로부터 선택되는, 컴퓨터로 구현된 방법.
제1항에 있어서,
일반화된 기계 학습 모델을 수정하는 단계는 상기 타겟 특수화된 속성들에 기초하여 출력들을 갖도록 상기 일반화된 기계 학습 모델을 조정하는 단계를 더 포함하는, 컴퓨터로 구현된 방법.
제1항에 있어서,
상기 복수의 제1 훈련 이미지들은 복수의 암 타입들에 대응하는 이미지들을 포함하는, 컴퓨터로 구현된 방법.
제1항에 있어서,
상기 적어도 하나의 암 특성은 암 진단, 종양 특성화, 또는 바이오마커 검출 중 하나인, 컴퓨터로 구현된 방법.
전자 이미지들을 처리하기 위한 시스템으로서,
명령어들을 저장하는 적어도 하나의 메모리; 및
상기 명령어들을 실행하여 동작들을 수행하는 적어도 하나의 프로세서를 포함하고, 상기 동작들은,
적어도 하나의 암 특성을 예측하기 위해 복수의 제1 훈련 이미지들을 처리함으로써 생성된 일반화된 기계 학습 모델을 수신하는 것;
복수의 제2 훈련 이미지들을 수신하는 것―상기 제1 훈련 이미지들 및 상기 제2 훈련 이미지들은 조직 표본들의 이미지들 또는 조직 표본들을 복제하기 위해 알고리즘적으로 생성된 이미지들을 포함하고, 제2 훈련 이미지들의 양은 특수화된 작업에 대한 타겟 이미지들의 하나 이상의 특성을 출력하기 위한 임계값을 만족시키는 기계 학습 모델을 생성하기에 불충분함;
상기 복수의 제2 훈련 이미지들의 각자의 제2 훈련 이미지에 각각 관련된 복수의 타겟 특수화된 속성들을 수신하는 것;
상기 복수의 제2 훈련 이미지들 및 각자의 타겟 특수화된 속성들에 기초하여 상기 일반화된 기계 학습 모델을 수정함으로써 특수화된 기계 학습 모델을 생성하는 것―상기 특수화된 기계 학습 모델은 상기 특수화된 작업에 대한 타겟 이미지들의 상기 하나 이상의 특성을 출력하기 위한 상기 임계값을 만족시키고, 상기 특수화된 기계 학습 모델은 상기 일반화된 기계 학습 모델의 기존의 계층들의 세트에 대한 추가적인 계층들을 생성하고, 상기 복수의 제2 훈련 이미지들 및 상기 타겟 특수화된 속성들에 기초하여 상기 추가적인 계층들에 대한 가중치들을 생성함으로써 특징 추출 방식에 따라 생성됨―;
타겟 표본에 대응하는 타겟 이미지를 수신하는 것;
상기 타겟 이미지에 상기 특수화된 기계 학습 모델을 적용하여 상기 타겟 이미지의 적어도 하나의 특성을 결정하는 것; 및
상기 타겟 이미지의 상기 적어도 하나의 특성을 출력하는 것을 포함하는
시스템.
제13항에 있어서,
상기 동작들은,
상기 타겟 이미지의 상기 적어도 하나의 특성에 기초하여 상기 타겟 표본의 표본 타입의 예측을 결정하는 것; 및
상기 타겟 표본의 상기 표본 타입의 상기 예측을 출력하는 것을 더 포함하는, 시스템.
제13항에 있어서,
상기 복수의 타겟 특수화된 속성들은 각각의 각자의 제2 훈련 이미지 내에 존재하는 하나 이상의 바이오마커인, 시스템.
제13항에 있어서,
상기 일반화된 기계 학습 모델은 복수의 계층들을 포함하고, 상기 일반화된 기계 학습 모델을 수정하는 것은 상기 일반화된 기계 학습 모델의 하나 이상의 외부 계층을 수정하는 것을 더 포함하는, 시스템.
제13항에 있어서,
상기 일반화된 기계 학습 모델을 수정하는 것은 상기 일반화된 기계 학습 모델의 출력 계층을 제거하는 것을 더 포함하는, 시스템.
프로세서에 의해 실행될 때, 상기 프로세서로 하여금 전자 이미지들을 처리하기 위한 동작들을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 동작들은,
적어도 하나의 암 특성을 예측하기 위해 복수의 제1 훈련 이미지들을 처리함으로써 생성된 일반화된 기계 학습 모델을 수신하는 것;
복수의 제2 훈련 이미지들을 수신하는 것―상기 제1 훈련 이미지들 및 상기 제2 훈련 이미지들은 조직 표본들의 이미지들 또는 조직 표본들을 복제하기 위해 알고리즘적으로 생성된 이미지들을 포함하고, 제2 훈련 이미지들의 양은 특수화된 작업에 대한 타겟 이미지들의 하나 이상의 특성을 출력하기 위한 임계값을 만족시키는 기계 학습 모델을 생성하기에 불충분함;
상기 복수의 제2 훈련 이미지들의 각자의 제2 훈련 이미지에 각각 관련된 복수의 타겟 특수화된 속성들을 수신하는 것;
상기 복수의 제2 훈련 이미지들 및 각자의 타겟 특수화된 속성들에 기초하여 상기 일반화된 기계 학습 모델을 수정함으로써 특수화된 기계 학습 모델을 생성하는 것―상기 특수화된 기계 학습 모델은 상기 특수화된 작업에 대한 타겟 이미지들의 상기 하나 이상의 특성을 출력하기 위한 상기 임계값을 만족시키고, 상기 특수화된 기계 학습 모델은 상기 일반화된 기계 학습 모델의 기존의 계층들의 세트에 대한 추가적인 계층들을 생성하고, 상기 복수의 제2 훈련 이미지들 및 상기 타겟 특수화된 속성들에 기초하여 상기 추가적인 계층들에 대한 가중치들을 생성함으로써 특징 추출 방식에 따라 생성됨―;
타겟 표본에 대응하는 타겟 이미지를 수신하는 것;
상기 타겟 이미지에 상기 특수화된 기계 학습 모델을 적용하여 상기 타겟 이미지의 적어도 하나의 특성을 결정하는 것; 및
상기 타겟 이미지의 상기 적어도 하나의 특성을 출력하는 것을 포함하는
비일시적 컴퓨터 판독가능 저장 매체.
제18항에 있어서,
상기 동작들은,
상기 타겟 이미지의 상기 적어도 하나의 특성에 기초하여 상기 타겟 표본의 표본 타입의 예측을 결정하는 것; 및
상기 타겟 표본의 상기 표본 타입의 상기 예측을 출력하는 것을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제18항에 있어서,
상기 복수의 타겟 특수화된 속성들은 각각의 각자의 제2 훈련 이미지 내에 존재하는 하나 이상의 바이오마커인, 비일시적 컴퓨터 판독가능 저장 매체.