KR20230051197A - 연속 바이오마커 예측을 위해 전자 이미지를 처리하는 시스템 및 방법 - Google Patents

Abstract

적어도 하나의 연속 값을 예측하기 위해 디지털 이미지를 처리하는 시스템 및 방법으로서, 하나 이상의 디지털 의료 이미지를 수신하는 단계; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역(salient region)을 포함하는지 여부를 결정하는 단계; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함한다고 결정할 때, 훈련된 기계 학습 시스템에 의해 적어도 하나의 현출 영역에 대응하는 적어도 하나의 연속 값을 예측하는 단계; 및 적어도 하나의 연속 값을 전자 저장 디바이스 및/또는 디스플레이에 출력하는 단계를 포함하는, 시스템 및 방법이 개시된다.

Description

연속 바이오마커 예측을 위해 전자 이미지를 처리하는 시스템 및 방법

관련 출원

본 출원은 미국 가출원 번호 63/065,247(출원일: 2020년 8월 13일, 전체 내용이 본 명세서에 포함됨)에 대한 우선권을 주장한다.

기술 분야

본 발명의 다양한 실시형태는 일반적으로 이미지 처리 방법에 관한 것이다. 보다 구체적으로, 본 발명의 특정 실시형태는 조직 시료의 이미지 처리에 기초하여 연속적인 바이오마커 예측을 위한 시스템 및 방법에 관한 것이다.

바이오마커는 치료를 안내하는 데 도움을 줄 수 있는 질병 상태의 측정 가능한 지표이다. 바이오마커 해석은 이분법(존재/부재)이거나 연속적일 수 있으며 연속적인 것은 임상의와 환자에게 더 많은 정보를 제공한다. 종양학에서 많은 바이오마커는 본질적으로 게놈이며, 더욱이 헤마톡실린 및 에오신(H&E) 또는 기타 조직 염색 체계를 사용하여 시각화된 종양 조직의 조직학 블록 내에서 발견되는 포르말린 고정 파라핀 포매(FFPE) 조직으로부터 측정된다. 일부 예로는 온코타입(OncoType) DX, 유방암 지수(Breast Cancer Index), 및 프로시그나 유방암 예후 유전자 시그니처 분석(Prosigna Breast Cancer Prognostic Gene Signature Assay)을 포함할 수 있고, 이들 모두는 유방암의 재발에 대한 연속 측정뿐만 아니라 정상적인 DNA 손상 복구를 손상시키는 돌연변이의 심각성을 나타내는 상동 재조합 결핍(HRD), 및 암세포의 DNA에서 발견되는 돌연변이의 총 수를 측정하는 종양 돌연변이 부담(TMB)을 제공한다.

이러한 바이오마커 및 기타 많은 것들이 FFPE 종양 조직으로부터 측정된다. 이것은 병리학자에 의한 현출 영역(예를 들어, 침윤성 종양, 침윤성 종양 주변 간질, 침윤성 종양 변연부 등)의 종합적인 조직학적 평가를 요구할 수 있다. 며칠이 걸릴 수 있는 조직학적 평가 후 게놈 테스트를 위해 조직을 외부 실험실로 (예를 들어, 우편으로) 보내어 종양 추출 및 분자 테스트를 수행할 수 있다. 이러한 단계는 비용이 많이 들고 조직 시료의 병리학적 평가 면에서 주관적인 측면이 있으며, 조직 제거와 분석 결과가 임상의와 환자에게 송신되는 시간 사이에 큰 시간 지연이 발생할 수 있다.

본 발명의 하나 이상의 예시적인 실시형태는 전술한 문제점을 극복할 수 있다.

본 명세서에 제공된 배경기술의 설명은 본 발명의 맥락을 일반적으로 제시하기 위한 것이다. 본 명세서에 달리 명시되지 않는 한, 이 절에 설명된 자료는 본 출원의 청구범위에 대한 선행 기술이 아니며, 이 절에 포함된 것에 의해 선행 기술 또는 선행 기술의 암시로 인정되지 않는다.

본 발명의 특정 양태에 따르면, 적어도 하나의 연속 값을 예측하기 위해 디지털 이미지를 처리하기 위한 시스템 및 방법이 개시된다.

적어도 하나의 연속 값을 예측하기 위해 디지털 이미지를 처리하는 컴퓨터 구현 방법으로서, 하나 이상의 디지털 의료 이미지를 수신하는 단계; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역(salient region)을 포함하는지 여부를 결정하는 단계; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함한다고 결정할 때, 훈련된 기계 학습 시스템에 의해 적어도 하나의 현출 영역에 대응하는 적어도 하나의 연속 값을 예측하는 단계; 및 적어도 하나의 연속 값을 전자 저장 디바이스 및/또는 디스플레이에 출력하는 단계를 포함하는, 컴퓨터 구현 방법.

하나 이상의 디지털 의료 이미지에 대한 적어도 하나의 연속 값을 예측하기 위해 디지털 이미지를 처리하는 컴퓨터 시스템으로서, 명령어를 저장하는 적어도 하나의 메모리; 및 동작을 수행하기 위해 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 동작은, 적어도 하나의 메모리에 액세스하고 프로세서 판독 가능 명령어를 실행하는 동작을 포함하고, 프로세서 판독 가능 명령어는 적어도 하나의 프로세서에 의해 실행될 때 복수의 기능을 수행하도록 적어도 하나의 프로세서를 구성하고, 기능은, 하나 이상의 디지털 의료 이미지를 수신하는 기능; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 기능; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함한다고 결정할 때, 훈련된 기계 학습 시스템에 의해 적어도 하나의 현출 영역에 대응하는 적어도 하나의 연속 값을 예측하는 기능; 및 적어도 하나의 연속 값을 전자 저장 디바이스 및/또는 디스플레이에 출력하는 기능을 포함하는, 컴퓨터 시스템.

명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체로서, 명령어는 프로세서에 의해 실행될 때 프로세서로 하여금 디지털 이미지를 처리하여 하나 이상의 디지털 의료 이미지에 대한 적어도 하나의 연속 값을 예측하는 동작을 수행하게 하고, 동작은, 하나 이상의 디지털 의료 이미지를 수신하는 동작; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 동작; 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함한다고 결정할 때, 훈련된 기계 학습 시스템에 의해 적어도 하나의 현출 영역에 대응하는 적어도 하나의 연속 값을 예측하는 동작; 및 적어도 하나의 연속 값을 전자 저장 디바이스 및/또는 디스플레이에 출력하는 동작을 포함하는, 비일시적 컴퓨터 판독 가능 매체.

전술한 일반적인 설명 및 이하의 상세한 설명은 단지 예시적이고 설명을 위한 것일 뿐, 청구된 바와 같이 개시된 실시형태를 제한하지 않는 것으로 이해된다.

본 명세서에 포함되어 본 명세서의 일부를 구성하는 첨부 도면은 다양한 예시적인 실시형태를 예시하고 본 상세한 설명과 함께 개시된 실시형태의 원리를 설명하는 역할을 한다.
도 1a는 본 명세서에 제시된 기술에 따라 조직 시료에서 종양에 대한 값을 예측하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 명세서에 제시된 기술에 따른 바이오마커 위치 파악 플랫폼의 예시적인 블록도를 도시한다.
도 1c는 본 명세서에 제시된 기술에 따른 슬라이드 분석 도구의 예시적인 블록도를 도시한다.
도 2는 본 명세서에 제시된 기술에 따라 조직 시료에서 종양에 대한 값을 예측하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 3은 본 명세서에 제시된 기술에 따라 현출성 모듈(saliency module)을 훈련시키고 사용하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 4는 본 명세서에 제시된 기술에 따라 단 대 단(end-to-end) 연속 점수 예측 모듈을 훈련시키고 사용하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 5는 본 명세서에 제시된 기술에 따라 2단계 연속 점수 예측 모듈을 훈련시키고 사용하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 6a 및 도 6b는 본 명세서에 제시된 기술에 따라 현출 영역 검출 모듈을 사용하고 사용하지 않는 예시적인 작업 흐름이다.
도 7은 본 명세서에 제시된 기술에 따른 현출 영역 검출 및 그래프 신경망을 사용하는 예시적인 2단계 작업 흐름이다.
도 8은 본 명세서에 제시된 기술에 따라 침윤성 유방암에 대한 연속 유형을 예측하기 위한 예시적인 AI 시스템이다.
도 9는 본 명세서에 제시된 기술을 실행할 수 있는 예시적인 시스템을 도시한다.

이제 본 발명의 예시적인 실시형태를 상세히 참조하며 그 예는 첨부된 도면에 도시되어 있다. 가능한 경우 도면 전체에 걸쳐 동일한 참조 번호는 동일하거나 유사한 부분을 나타내는 데 사용된다.

본 명세서에 개시된 시스템, 디바이스 및 방법은 도면을 참조하여 예로서 상세히 설명된다. 본 명세서에 논의된 예는 단지 예시일 뿐이며 본 명세서에 설명된 장치, 디바이스, 시스템 및 방법을 설명하는 것을 돕기 위해 제공된다. 도면에 도시되거나 아래에 논의되는 특징부 또는 구성요소의 그 어느 것도, 구체적으로 필수적인 것으로 제시되지 않는 한, 이러한 디바이스, 시스템 또는 방법 중 임의의 것의 임의의 특정 구현예에 필수적인 것으로 간주되어서는 안 된다.

또한, 설명된 임의의 방법에서 방법이 흐름도와 함께 설명되었는지 여부에 관계없이, 문맥에서 달리 제시되거나 요구되지 않는 한, 방법을 실행할 때 수행되는 단계의 임의의 명시적 또는 암시적 순서는 이 단계가 제시된 순서대로 수행되어야 함을 의미하는 것이 아니라 대신 다른 순서로 또는 병렬로 수행될 수 있는 것으로 이해된다.

본 명세서에 사용된 "예시적인"이라는 용어는 "이상적인" 것이 아니라 "예시적인" 것이라는 의미로 사용된다. 또한, 본 명세서에서 단수형 요소는 수량을 제한하는 것을 나타내는 것이 아니라, 오히려 하나 이상의 참조 항목이 존재하는 것을 나타낸다.

본 발명은 기계 학습을 사용하여 환자의 의료 이미지 데이터로부터 하나 이상의 연속 바이오마커를 예측하는 것에 관한 것이다. 시스템을 훈련하는 데 사용되는 연속적인 바이오마커 또는 값이 병리학적 평가 또는 게놈 테스트에서 나올 수 있지만, 예시적인 실시형태는 이러한 비용이 많이 드는 단계 없이 연속 값을 예측하기 위해 훈련 후에 사용될 수 있다. 본 명세서에 제시된 기술은 명시적으로(예를 들어, 양성 변연부 또는 LVSI에서 종양을 직접 검출), 암시적으로(예를 들어, 시스템에 통합된 공간 메커니즘 사용) 또는 이 둘의 조합을 사용하여 수행되는 관련 정보를 통합하기 위해 시료의 공간 프로파일을 조사할 수 있다. 이러한 전산 바이오마커는 병원에서 조직을 처리한 직후에 사용될 수 있으며 게놈 테스트를 피할 수 있다. 연속 바이오마커를 통해 임상의와 환자는 치료의 효능에 대해 더 나은 결정을 내릴 수 있다. 이 기술은 치료를 개선하고 치료의 문턱을 낮출 수 있는 잠재력을 가지고 있다.

많은 바이오마커를 예측하기 위해 절제된 종양의 전체 돌연변이 프로파일은 개별 암 세포에 포함된 돌연변이와 관련하여 이질성이 존재할 수 있기 때문에 예측 또는 예후에 충분하지 않을 수 있다. 절제된 종양 내에서 가장 우세한 클론은 절제 후 환자에서 전이되거나 지속될 가능성이 가장 높은 클론을 나타내지 않을 수 있다. 주어진 절제 시료 내에서 종양 세포의 의미 있는 공간적 위치를 돌연변이 프로파일과 연결하는 것은 단순히 종양 내에서 발견되는 가장 일반적인 돌연변이를 표적으로 삼는 것보다 치료를 안내하는 데 더 많은 정보를 제공할 가능성이 있다. 예를 들어, 림프관 공간 또는 림프절 내에서 특이적으로 발견되는 암세포의 돌연변이 프로파일은 조직 매트릭스 내에서 발견되는 암의 돌연변이 프로파일보다 더 가치 있는 유전적 치료 표적을 가질 수 있고; 림프관 공간 또는 림프절의 종양 세포는 림프관 공간 침범(LVSI) 및 림프절 침범을 허용하는 돌연변이를 갖는 경향이 있어서 향후 확산 및 재발 면에서 환자에게 가장 큰 위험을 나타낼 수 있다. 또한, 절제 동안 조직 변연부("양성 변연부")에서 의도하지 않게 절개된 종양 세포는 다시 재발 및 확산 면에서 환자에게 가장 큰 위협이 될 수 있고; 따라서, 이들 세포의 돌연변이 프로파일은 특히 절제된 종양 덩어리의 돌연변이 프로파일보다 치료 종양학자에게 더 유용할 수 있다. 그러나, 이러한 세포의 물리적 분리는 관심 영역의 검출, 세포의 수동 제거, 및 관심 있는 세포에 DNA 시퀀싱을 적용하는 것과 관련된 수동적이고 노동 집약적인 프로세스이며 이는 실현 불가능하다.

예시적인 실시형태는 기계 학습을 사용하여 의료 이미지로부터 연속 점수/값/바이오마커를 예측하는 것을 포함할 수 있다. 연속 점수는 약물 반응 정도, 특정 바이오마커 수준, 암 전이 가능성, 생존 년수, 진단 관련 측정 등일 수 있다.

하나 이상의 예시적인 실시형태는 의료 이미지의 공간적 특성을 이용하여 의료 이미지로부터 연속 값을 예측하는 것을 포함할 수 있다.

하나 이상의 예시적인 실시형태는 파이토치(PyTorch) 심층 학습 도구박스를 사용하여 파이선(Python)으로 구현될 수 있다. 하나 이상의 실시형태는 H&E 염색된 WSI의 관련 영역을 식별하기 위해 유방암 검출 시스템을 사용함으로써 맘마프린트 지수(MammaPrint Index)를 예측하는 데 사용될 수 있다.

하나 이상의 예시적인 실시형태는 연속 HER2 점수 및 유사분열의 계수를 예측하기 위해 사용될 수 있다.

도 1a는 본 발명의 예시적인 실시형태에 따라 조직 시료에서 종양에 대한 값을 예측하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.

구체적으로, 도 1a는 병원, 실험실, 수의사 및/또는 의원 등에 있는 서버에 연결될 수 있는 전자 네트워크(120)를 도시한다. 예를 들어, 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 연구소 정보 시스템(125) 등은 각각 하나 이상의 컴퓨터, 서버 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(120)에 연결될 수 있다. 본 발명의 예시적인 실시형태에 따르면, 전자 네트워크(120)는 또한 본 발명의 예시적인 실시형태에 따르면 디지털 병리 이미지(들)에 관한 시료 속성 또는 이미지 속성 정보를 결정하고 기계 학습을 사용하여 질병 또는 감염 인자가 존재하는지 여부를 결정하기 위한 슬라이드 분석 도구(101)를 포함하는 바이오마커 위치 파악 플랫폼(100)을 구현하도록 구성된 처리 디바이스를 포함하는 서버 시스템(110)에 연결될 수 있다.

의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 연구소 정보 시스템(125)은 하나 이상의 환자의 세포학 시료(들), 조직병리학 시료, 세포학 시료 슬라이드(들), 조직병리학 시료(들)의 슬라이드(들)의 디지털화된 이미지, 또는 이들의 임의의 조합의 이미지를 생성하거나 획득할 수 있다. 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 연구소 정보 시스템(125)은 또한 연령, 병력, 암 치료 이력, 가족력, 과거 생검 또는 세포학 정보 등과 같은 환자별 정보의 임의의 조합을 얻을 수 있다. 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 실험실 정보 시스템(125)은 전자 네트워크(120)를 통해 서버 시스템(110)에 디지털화된 슬라이드 이미지 및/또는 환자 특정 정보를 송신할 수 있다. 서버 시스템(110)은 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 실험실 정보 시스템(125) 중 적어도 하나로부터 수신된 이미지 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템(110)은 또한 저장 디바이스(109)에 저장된 이미지 및 데이터를 처리하기 위한 처리 디바이스를 포함할 수 있다. 서버 시스템(110)은 하나 이상의 기계 학습 도구(들) 또는 기능을 더 포함할 수 있다. 예를 들어, 처리 디바이스는 일 실시형태에 따라 바이오마커 위치 파악 플랫폼(100)을 위한 기계 학습 도구를 포함할 수 있다. 대안적으로 또는 추가적으로, 본 발명(또는 본 발명의 시스템 및 방법의 일부)은 로컬 처리 디바이스(예를 들어, 랩탑)에서 수행될 수 있다.

의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 실험실 정보 시스템(125)은 병리학자가 슬라이드의 이미지를 검토하기 위해 사용하는 시스템을 말한다. 병원 환경에서 조직 유형 정보는 실험실 정보 시스템(125)에 저장될 수 있다.

도 1b는 기계 학습을 사용하여 디지털 병리 이미지(들)에 관한 시료 속성 또는 이미지 속성 정보를 결정하기 위한 바이오마커 위치 파악 플랫폼(100)의 예시적인 블록도를 도시한다. 바이오마커 위치 파악 플랫폼(100)은 슬라이드 분석 도구(101), 데이터 수집 도구(102), 슬라이드 유입(intake) 도구(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 저장부(106), 실험실 정보 시스템(107) 및 관찰 적용 도구(108)를 포함할 수 있다.

슬라이드 분석 도구(101)는 후술하는 바와 같이 디지털 병리 이미지(들)에 관한 데이터 변수 속성 또는 건강 변수 속성 정보를 결정하기 위한 프로세스 및 시스템을 의미한다. 예시적인 실시형태에 따라 이미지를 분류하기 위해 기계 학습이 사용될 수 있다. 슬라이드 분석 도구(101)는 또한 아래의 실시형태에서 설명되는 바와 같이 미래의 관계를 예측할 수 있다.

데이터 수집 도구(102)는 예시적인 실시형태에 따라 디지털 병리 이미지를 분류하고 처리하는 데 사용되는 다양한 도구, 모듈, 구성요소 및 디바이스로 디지털 병리 이미지를 전송하는 것을 용이하게 할 수 있다.

슬라이드 유입 도구(103)는 예시적인 실시형태에 따라 병리 이미지를 스캔하고 이를 디지털 형태로 변환할 수 있다. 슬라이드는 슬라이드 스캐너(104)로 스캔될 수 있고, 슬라이드 관리자(105)는 슬라이드 상의 이미지를 디지털화된 병리 이미지로 처리하고, 디지털화된 이미지를 저장부(106)에 저장할 수 있다.

관찰 적용 도구(108)는 예시적인 실시형태에 따라 디지털 병리 이미지(들)에 관한 시료 속성 또는 이미지 속성 정보를 사용자에게 제공할 수 있다. 정보는 다양한 출력 인터페이스(예를 들어, 스크린, 모니터, 저장 디바이스 및/또는 웹 브라우저 등)를 통해 제공될 수 있다.

슬라이드 분석 도구(101) 및 그 구성요소 중 하나 이상의 구성요소는 디지털화된 슬라이드 이미지 및/또는 환자 정보를 전자 네트워크(120)를 통해 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 실험실 정보 시스템(125)으로 송신 및/또는 수신할 수 있다. 또한, 서버 시스템(110)은 슬라이드 분석 도구(101), 데이터 수집 도구(102), 슬라이드 유입 도구(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 관찰 적용 도구(108) 중 적어도 하나로부터 수신된 이미지 및 데이터를 저장하기 위한 저장 디바이스를 포함할 수 있다. 서버 시스템(110)은 또한 저장 디바이스(109)에 저장된 이미지 및 데이터를 처리하기 위한 처리 디바이스를 포함할 수 있다. 서버 시스템(110)은 예를 들어 처리 디바이스로 인해 하나 이상의 기계 학습 도구(들) 또는 기능을 더 포함할 수 있다. 대안적으로 또는 추가적으로, 본 발명(또는 본 발명의 시스템 및 방법의 일부)은 로컬 처리 디바이스(예를 들어, 랩탑)에서 수행될 수 있다.

위의 디바이스, 도구 및 모듈 중 임의의 것은 하나 이상의 컴퓨터, 서버 및/또는 헨드헬드 모바일 디바이스를 통해 인터넷 또는 클라우드 서비스 공급자와 같은 전자 네트워크에 연결될 수 있는 디바이스에 위치될 수 있다.

도 1c는 본 발명의 예시적인 실시형태에 따른 슬라이드 분석 도구(101)의 예시적인 블록도를 도시한다. 슬라이드 분석 도구(101)는 훈련 데이터 플랫폼(131) 및/또는 표적 데이터 플랫폼(135)을 포함할 수 있다.

일 실시형태에 따르면, 훈련 데이터 플랫폼(131)은 훈련 데이터 유입 모듈(132), 데이터 분석 모듈(133) 및 관계 식별 모듈(134)을 포함할 수 있다.

일 실시형태에 따른 훈련 데이터 플랫폼(131)은 디지털 병리 이미지를 효과적으로 분석하고 분류하기 위해 기계 학습 모델을 훈련시키는 데 사용되는 훈련 이미지를 생성하거나 수신할 수 있다. 예를 들어, 훈련 이미지는 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 연구소 정보 시스템(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 훈련에 사용되는 이미지는 실제 소스(예를 들어, 인간, 동물 등)에서 오거나, 합성 소스(예를 들어, 그래픽 렌더링 엔진, 3D 모델 등)에서 올 수 있다. 디지털 병리 이미지의 예는 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리 등을 포함하지만 이로 제한되지 않는 다양한 염색물로 염색된 디지털화된 슬라이드; 및/또는 (b) microCT와 같은 3D 이미징 디바이스의 디지털화된 조직 샘플을 포함할 수 있다.

훈련 데이터 유입 모듈(132)은 하나 이상의 건강 변수 및/또는 하나 이상의 데이터 변수에 대응하는 하나 이상의 훈련 데이터세트를 포함하는 데이터세트를 생성하거나 수신할 수 있다. 예를 들어, 훈련 데이터세트는 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 연구소 정보 시스템(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 데이터 세트는 디지털 저장 디바이스에 보관될 수 있다. 데이터 분석 모듈(133)은 데이터세트의 유용성에 크게 영향을 미칠 수 있는 전역 또는 로컬 수준에서 훈련 데이터세트에 대한 품질 관리(QC) 문제(예를 들어, 불완전성)를 식별할 수 있다. 예를 들어, 품질 점수 결정기 모듈은 전체 데이터세트에 대한 정보, 예를 들어, 데이터세트 유형, 시료 절단부의 전체 품질, 데이터세트 자체의 전체 품질, 또는 병리 슬라이드 특성을 사용하고, 데이터 세트에 대한 전체 품질 점수를 결정할 수 있다. 관계 식별 모듈(134)은 건강 변수 및/또는 데이터 변수를 분석하고 결정된 관계가 불규칙한 추세를 갖는지 여부를 결정할 수 있다. 추세는 향후 관계 예측에 사용될 수 있고, 사용자에게 통보를 트리거할 수 있으므로 관계에 불규칙한 추세가 있는지 여부를 식별하는 데 유용하다.

일 실시형태에 따르면, 표적 데이터 플랫폼(135)은 표적 데이터 유입 모듈(136), 바이오마커 분석 모듈(137) 및 출력 인터페이스(138)를 포함할 수 있다. 표적 데이터 플랫폼(135)은 서버 시스템(110), 의사 서버(121), 병원 서버(122), 임상 시험 서버(123), 연구소 서버(124) 및/또는 실험실 정보 시스템(125) 중 임의의 하나 또는 임의의 조합으로부터 표적 이미지를 수신하고, 수신된 표적 이미지에 기계 학습 모델을 적용할 수 있다. 표적 데이터 유입 모듈(136)은 표적 건강 변수 또는 데이터 변수에 대응하는 표적 데이터세트를 수신할 수 있다. 바이오마커 분석 모듈(137)은 기계 학습 모델을 표적 데이터세트에 적용하여 표적 건강 변수 또는 데이터 변수의 특성을 결정할 수 있다. 예를 들어, 바이오마커 분석 모듈(137)은 표적 관계의 추세를 검출할 수 있다. 바이오마커 분석 모듈(137)은 또한 기계 학습 모델을 표적 데이터세트에 적용하여 표적 데이터세트에 대한 품질 점수를 결정할 수 있다. 또한, 바이오마커 분석 모듈(137)은 기계 학습 모델을 표적 데이터세트에 적용하여 결정된 바이오마커에 표적 건강 변수 또는 데이터 변수가 존재하는지 여부를 결정할 수 있다.

출력 인터페이스(138)는 표적 데이터 및 결정된 바이오마커에 대한 정보를 (예를 들어, 스크린, 모니터, 저장 디바이스, 웹 브라우저 등에) 출력하기 위해 사용될 수 있다.

도 2는 본 발명의 예시적인 실시형태에 따라 조직 시료에서 종양에 대한 값을 예측하기 위한 예시적인 방법을 나타내는 흐름도이다. 예를 들어, 예시적인 훈련 방법(200)(예를 들어, 단계(202 내지 208)) 및 예시적인 사용 방법(210)(예를 들어, 단계(212 내지 216))은 슬라이드 분석 도구(101)에 의해 자동으로 또는 사용자로부터의 요청에 응답하여 수행될 수 있다.

예시적인 실시형태에 따르면, 방법(200)에는 3개의 구성요소가 있을 수 있다. 단계(202)에서, 방법은 표적 병리 시료와 관련된 하나 이상의 디지털 의료 이미지(예를 들어, 병리 시료의 전체 슬라이드 이미지(WSI), 자기 공명 영상(MRI), 컴퓨터 단층 촬영(CT), 양전자 방출 단층 촬영(PET), 유방 촬영 사진 등)를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하는 단계를 포함할 수 있다. 선택적으로, 환자 정보, 예를 들어, 연령, 민족, 보조 테스트 결과 등도 수집될 수 있다.

단계(204)에서, 방법은 하나 이상의 디지털 의료 이미지에서 분석될 적어도 하나의 현출 영역을 식별하는 단계를 포함할 수 있다. 현출 영역은 병리학적 상태, 암 영역, 하나 이상의 바이오마커, 특정 세포 유형, 특정 단백질 존재 및/또는 수준, 적어도 하나의 약물 반응 지표 또는 다른 검색된 지표 또는 관련 진단 측정과 관련된 조직 또는 혈액 영역을 포함할 수 있다. 현출 영역은 이러한 값 중 임의의 값에 대한 미리 결정된 임계값과 관련될 수 있다. 영역을 식별하는 것은 사람이 수동으로 수행하거나 AI를 사용하여 자동으로 수행할 수 있다. 전체 이미지 또는 특정 이미지 영역이 현출된 것으로 간주될 수 있다.

단계(206)에서, 방법은 훈련된 기계 학습 모델을 하나 이상의 디지털 의료 이미지 중 하나에 적용하여 하나 이상의 디지털 이미지로부터 하나 이상의 연속 값을 예측하는 단계를 포함할 수 있다. 하나 이상의 연속 값의 추론은 하나 이상의 디지털 의료 이미지로부터 기계 학습 및/또는 컴퓨터 비전에 의해 달성될 수 있다. 추론은 이미지의 이질적인 영역의 공간 정보를 통합할 수 있다.

단계(208)에서, 방법은 예측을 전자 저장 디바이스에 출력하는 단계를 포함할 수 있다. 선택적으로, 사용자는 하나 이상의 바이오마커 세트의 존재 또는 부재에 대해 통보를 받을 수 있다.

단계(204)의 현출 영역 검출 모듈 및 단계(206)의 연속 점수 예측 모듈은 아래 및 도 3 및 도 4에서 상세히 설명된다.

단계(212)에서, 방법은 의료 시료와 관련된 하나 이상의 훈련 디지털 이미지 및 현출 영역의 존재 또는 부재에 대한 표시를 수신하는 단계를 포함할 수 있다.

단계(214)에서, 방법은 현출 영역이 존재하는지 여부를 결정하기 위해 하나 이상의 훈련 디지털 이미지를 적어도 하나의 하위 영역으로 분할하는 단계를 포함할 수 있다.

단계(216)에서, 방법은 현출 영역이 존재하는지 여부를 예측하기 위해 의료 시료와 관련된 하나 이상의 훈련 디지털 이미지 중 하나를 입력으로 취하는 기계 학습 모델을 훈련시키는 단계를 포함할 수 있다.

단계(218)에서, 방법은 현출 영역의 연속 점수를 예측하기 위해 현출 영역을 입력으로 취하는 기계 학습 모델을 훈련시키는 단계를 포함할 수 있다.

기계 학습 시스템을 훈련시키기 위해 하나 이상의 이미지가 하나 이상의 연속 값에 대한 정보(예를 들어, 게놈 테스트의 바이오마커, 병리학자가 분석한 면역조직화학(IHC) 결과의 바이오마커, 특정 세포 유형의 세포 수, 이미지 취득 후 몇 개월 동안의 환자 생존, 약물 반응 정도, 단백질 발현 수준, 물리적 크기 측정 등)와 쌍을 이룰 수 있다. 연속 값은 정수 또는 실수일 수 있다.

현출 영역 검출 모듈

관심 있는 연속 점수는 디지털 이미지 내의 특정 구조에 특정될 수 있으며, 관련 영역을 식별하고 관련 없는 영역을 제외하면서 관련 영역이 포함될 수 있도록 하는 것이 중요할 수 있다. 예를 들어, MRI, PET 또는 CT를 사용하여 특정 관심 기관을 위치 파악하는 데이터가 필요할 수 있다. 조직 병리학의 경우 관심 있는 연속 점수는 침윤성 종양, 침윤성 종양 주변의 간질, 림프혈관 공간, 제자리 종양 등에 의해서만 나타날 수 있다. 관련 없는 영역이 이미지의 대부분을 차지할 수 있으므로 이는 중요할 수 있다. 현출 영역 식별을 통해 다운스트림 기계 학습 시스템은 주석이 덜 달린 데이터로부터 바이오마커를 검출하고 보다 정확한 예측을 수행하는 방식을 학습할 수 있다.

현출 영역 검출 모듈은 이미지 분할 마스크, 경계 박스, 선분, 점 주석, 자유 형식 형상, 다각형 또는 이들의 임의의 조합을 사용하여 사람 주석자에 의해 지정된 현출 영역을 출력할 수 있다. 대안적으로 이 모듈은 적절한 위치를 식별하기 위해 기계 학습을 사용하여 생성될 수 있다.

기계 학습을 사용하여 현출 영역 검출기를 생성하는 일반적인 두 가지 접근 방식, 즉 바이오마커가 발견될 수 있는 위치를 정확히 식별하는 강력한 감독 방식과, 정확한 위치를 제공하지 않는 약한 감독 방식이 있다.

강력한 감독 훈련을 위해, 시스템은 입력으로 바이오마커를 잠재적으로 발현할 수 있는 현출 영역의 위치와 이미지가 필요할 수 있다. 2D 이미지(예를 들어, 병리학의 전체 슬라이드 이미지(WSI))의 경우, 이러한 위치는 픽셀 수준 라벨링, 경계 박스 기반 라벨링, 다각형 기반 라벨링, 또는 현출성이 식별된 대응하는 이미지를 사용(예를 들어, IHC 사용)하여 지정될 수 있다. 3D 이미지(예를 들어, CT 및 MRI 스캔)의 경우, 직육면체 등을 사용하여 복셀 수준 라벨링으로 위치를 지정하거나, 파라미터화된 곡선 또는 표면 또는 변형된 템플릿과 같은 서브복셀 수준 라벨링을 허용하는 파라미터화된 표현을 사용할 수 있다.

약하게 감독된 훈련의 경우 시스템은 이미지 또는 이미지들과 현출 영역의 존재/부재를 요구할 수 있지만, 현출 위치의 정확한 위치를 지정할 필요가 없을 수 있다.

도 3은 본 명세서에 제시된 기술에 따라 현출성 모듈을 훈련시키고 사용하기 위한 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 훈련 방법(300)(예를 들어, 단계(302 내지 306)) 및 예시적인 사용 방법(310)(예를 들어, 단계(312 내지 316))은 슬라이드 분석 도구(101)에 의해 자동으로 또는 사용자로부터의 요청에 응답하여 수행될 수 있다.

단계(302)에서, 방법은 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)로 의료 시료의 하나 이상의 훈련 디지털 이미지(예를 들어, 조직학, CT, MRI 등)를 수신하고, 이미지 내의 현출 영역(예를 들어, 침윤성 암 존재, LVSI, 상피내 암 등)의 존재 또는 부재의 표시를 수신할 수 있다.

단계(304)에서, 방법은 하나 이상의 훈련 디지털 이미지를 적어도 하나의 하위 영역으로 분할하여 하위 영역의 현출성을 결정하는 단계를 포함할 수 있다. 그런 다음 하위 영역은 현출성을 결정할 수 있게 할 수 있다. 영역은 이미지의 타일 생성, 에지/대비를 기반으로 한 분할, 색상 차이를 통한 분할, 에너지 최소화를 기반으로 한 분할, 기계 학습 모델에 의한 감독 결정, 에지박스(EdgeBoxes) 등을 포함하여 다양한 방법으로 지정될 수 있다.

단계(306)에서, 방법은 병리 시료와 관련된 하나 이상의 훈련 디지털 이미지를 입력으로 취하고 현출 영역이 존재하는지 여부를 예측하는 기계 학습 모델을 훈련시키는 단계를 포함할 수 있다. 다음을 포함하지만 이로 제한되지 않는 많은 방법을 사용하여 현출되는 영역이 어느 것인지를 학습할 수 있다:

a. 약한 감독 - 디지털 이미지 또는 이미지 모음의 약한 라벨 지정을 사용하여 다중 인스턴스 학습(MIL)을 사용하여 기계 학습 모델(예를 들어, 다층 퍼셉트론(MLP), 컨볼루션 신경망(CNN), 그래프 신경망, 지원 벡터 기계(SVM), 랜덤 포레스트 등)을 훈련시킨다. 라벨은 현출 영역의 존재 또는 부재에 대응한다.

b. 경계 박스 또는 다각형 기반 감독 - 바이오마커의 존재 또는 부재를 검출하기 위해 현출된 디지털 이미지의 하위 영역을 지정하는 경계 박스 또는 다각형을 사용하여 기계 학습 모델(예를 들어, R-CNN, 더 빠른 R-CNN, 선택적 검색 등)을 훈련시킨다.

c. 픽셀 수준 또는 복셀 수준 라벨링(예를 들어, 시맨틱 또는 인스턴스 분할) - 개별 픽셀/복셀이 관심 있는 연속 점수(들)를 검출하기 위해 현출된 것으로 식별되는 기계 학습 모델(예를 들어, 마스크 R-CNN, U-Net, 완전 컨볼루션 신경망 등)을 훈련시킨다. 라벨은 상피내 종양, 침윤성 종양, 종양 간질, 지방 등을 포함할 수 있다. 픽셀 수준/복셀 수준 라벨링은 사람 주석자로부터 유래하거나, 현출성을 나타내는 정합된 이미지로부터 유래할 수 있다. 예를 들어, 조직병리학 시료의 WSI를 사용하여 H&E 이미지를 현출 조직(예를 들어, 바이오마커가 발견되어야 하는 암 조직)을 식별하는 IHC 이미지와 정합/정렬할 수 있으며, 여기서 IHC는 이미지 색상 특성을 보고 현출 픽셀을 결정하는 데 사용될 수 있다.

단계(308)에서, 방법은 현출 영역이 존재한다고 결정할 때 현출 영역의 위치를 식별하고 그 위치를 플래그하는 단계를 포함할 수 있다.

단계(312)에서, 방법은 표적 병리 시료와 관련된 하나 이상의 디지털 의료 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하는 단계를 포함할 수 있다.

단계(314)에서, 방법은 하나 이상의 디지털 의료 이미지를 적어도 하나의 하위 영역으로 분할하는 단계를 포함할 수 있다. 그런 다음 각각의 하위 영역은 훈련의 접근 방식을 사용하여 현출성(예를 들어, 바이오마커를 식별해야 하는 암 조직)을 결정할 수 있다.

단계(316)에서, 방법은 기계 학습 모델을 하나 이상의 디지털 이미지 중 하나에 적용하여 어떤 하위 영역이 현출성이 있고 잠재적으로 연속 관심 점수(들)(예를 들어, 암 조직)를 나타낼 수 있는지를 예측하는 단계를 포함할 수 있다. 이것은 영역을 추가 조직으로 확장하는 것, 예를 들어, 침윤성 종양 영역을 검출하고, 그 공간적 범위를 결정한 다음, 침윤성 종양 주변의 간질을 추출하는 것을 포함할 수 있다.

단계(318)에서, 방법은, 현출 영역이 존재한다고 결정할 때, 현출 영역의 위치를 식별하고 그 위치를 플래그하는 단계를 포함할 수 있다. 현출 영역을 검출하는 것은 다음을 포함하지만 이로 제한되지 않는 다양한 방법을 사용하여 수행될 수 있다:

a. 이미지 하위 영역에서 기계 학습 모델을 실행하여 하나 이상의 하위 영역에 대한 예측을 생성한다.

b. 기계 학습 시각화 도구를 사용하여, 예를 들어, 클래스 활성화 맵, GradCAM 등을 사용한 다음 관련 영역을 추출함으로써 자세한 히트맵(heatmap)을 생성한다.

연속 점수 예측 모듈

연속 점수 예측 모듈은 현출 영역 검출기의 출력을 사용하여 관심 표적(들)과 관련된 연속 점수(들)를 예측할 수 있다. 이 모듈은 현출 조직의 공간적 특성을 예측에 통합하면서 연속 점수를 예측한다. 공간적 특성은 약물 반응 및 결과를 예측하는 데 중요할 수 있다. 일부 약물은 관심 바이오마커의 과발현이 공간적으로 확산되는 경우 더 효과적일 수 있고, 예를 들어, 항 HER2 요법 트라스투주맙 데룩스테칸은 HER2 단백질의 과발현이 공간적으로 확산되는 경우 더 효과적인 것으로 보인다.

공간 특성을 사용할 수 있는 연속 점수 예측 모듈을 생성하는 두 가지 기본 방식, 즉 1) 단 대 단 시스템 및 2) 2단계 예측 시스템이 있다. 단 대 단 시스템은 입력 이미지로부터 직접 훈련될 수 있는 반면, 2단계 시스템은 먼저 이미지로부터 특징부를 추출한 다음 특징부의 공간 구성을 통합할 수 있는 기계 학습 방법을 사용할 수 있다.

단 대 단 연속 점수 예측 모듈

도 4는 단 대 단 연속 점수 예측 모듈을 훈련시키고 사용하는 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 예시적인 훈련 방법(400)(예를 들어, 단계(402 내지 406)) 및 예시적인 사용 방법(410)(예를 들어, 단계(412 내지 416))은 슬라이드 분석 도구(101)에 의해 자동으로 또는 사용자로부터의 요청에 응답하여 수행될 수 있다.

단계(402)에서, 방법은 의료 시료의 하나 이상의 훈련 디지털 이미지 및 하나 이상의 연속 값에 대한 정보를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하는 단계를 포함할 수 있다. 선택적으로, 환자 정보(예를 들어, 연령, 민족, 보조 테스트 결과 등)도 수집될 수 있다. 기계 학습 시스템을 훈련시키기 위해 하나 이상의 이미지를 하나 이상의 연속 값에 대한 정보(예를 들어, 게놈 테스트의 바이오마커, 병리학자가 분석한 IHC 결과의 바이오마커, 특정 세포 유형의 세포 수, 이미지 획득 후 몇 개월 동안의 환자 생존, 약물 반응 정도, 단백질 발현 수준 등)와 쌍을 이룰 수 있다.

단계(404)에서, 방법은 현출 영역 검출 모듈을 사용하여 이미지 내의 하나 이상의 영역의 현출성을 식별하고 후속 처리에서 비-현출 이미지 영역을 제외하는 단계(예를 들어, 도 3에 설명됨)를 포함할 수 있다.

단계(406)에서, 방법은 현출 이미지 영역으로부터 적어도 하나의 연속 점수를 예측하기 위해 기계 학습 모델을 훈련시키는 단계를 포함할 수 있다. 발현 수준은 서수 값, 정수, 실수 등으로 나타낼 수 있다. 시스템은 회귀 손실(예를 들어, 평균 제곱 오차 손실, 후버(Huber) 손실 등), 서수 손실 함수 또는 계수 손실 함수(예를 들어, 포아송 회귀 손실, 음이항 회귀 손실(negative binomial regression loss) 등)를 사용하여 훈련된다. 공간 정보를 통합하기 위해, 각 픽셀/복셀의 좌표는 선택적으로 각 픽셀/복셀에 연결(concatenated)될 수 있다. 대안적으로, 좌표는 선택적으로 프로세싱 동안 첨부될(appended) 수 있다(예를 들어, CoordConv 알고리즘에 의해 수행됨). 대안적으로 기계 학습 알고리즘은 입력에서 처리할 영역을 자체 선택하여 공간 정보를 수동적으로 고려할 수 있다. 환자 정보(예를 들어, 연령)가 또한 의료 이미지 데이터에 더하여 입력으로 사용되면, 이는 추가 입력 특징으로 기계 학습 시스템에 공급될 수 있다. 훈련될 수 있는 기계 학습 시스템은 다음을 포함하지만 이로 제한되지는 않는다:

a. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 CNN.

b. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 CoordConv 층이 있는 CNN.

c. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 캡슐 네트워크.

d. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 MLP.

e. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 랜덤 포레스트.

f. 적절한 연속 점수(들) 예측 손실 함수 등으로 직접 훈련된 지원 벡터 기계.

단계(412)에서, 방법은 표적 병리 시료와 관련된 하나 이상의 디지털 의료 이미지(예를 들어, PET, CT, MRI, 조직학 등) 및 관련된 환자에 대한 정보를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하는 단계를 포함할 수 있다. 또한 수집될 수 있는 환자 정보는 연령, 민족, 보조 테스트 결과 등을 포함할 수 있다.

단계(414)에서, 방법은 현출 영역 검출 모듈을 사용하여 하나 이상의 디지털 의료 이미지 내의 하나 이상의 영역의 현출성을 식별하고 후속 처리에서 하나 이상의 비-현출 이미지 영역을 제외하는 단계를 포함할 수 있다.

단계(416)에서, 방법은 하나 이상의 디지털 의료 이미지에 공간 정보를 추가하고, 바이오마커가 존재하는지 여부를 예측하기 위해 기계 학습 모델을 하나 이상의 디지털 의료 이미지 중 하나에 적용하는 단계를 포함할 수 있다.

단계(418)에서, 방법은, 바이오마커가 존재한다고 결정할 때, 디지털 저장 디바이스에 예측을 출력하는 단계를 포함할 수 있다. 선택적으로, 방법은 시각적 표시기를 사용하여 연속 점수의 수준에 대해 사용자(예를 들어, 병리학자, 조직학 기사, 방사선 전문의 등)에게 통보하는 단계를 포함할 수 있다.

2단계 연속 점수 예측 모듈

1단계 시스템을 사용하는 것의 대안은 2단계 시스템을 사용하는 것일 수 있다. 제1 단계는 1) 수작업으로 설계된 또는 사전 훈련된 특징을 사용하거나, 2) 기계 학습을 사용하여 특징부 추출 모듈을 훈련할 수 있다. 제2 단계는 제1 단계에서 추출된 특징부로부터 연속 점수를 예측한다.

수작업으로 설계된 또는 사전 훈련된 특징부 추출을 사용한 제1 단계 : SIFT, SURF, ORB, Gabor 웨이블릿, GLCM 질감 특징 등과 같은 수작업으로 설계된 특징부를 사용하는 경우 특징부 추출을 위한 추가 훈련이 필요하지 않을 수 있다. 마찬가지로, 대체 데이터세트에 대한 감독 학습으로 학습되고, 자동 인코더를 사용하여 학습되고, 생성적 적대 신경망을 사용하여 학습되고, 자기 감독 학습을 사용하여 학습될 수 있는 사전 훈련된 CNN 특징부도 특징부 추출을 위한 추가 훈련이 필요하지 않다. 이들 특징부는 추출된 각각의 그리드 또는 수퍼픽셀 위치를 기술하는 복수의 다차원 특징부 벡터 또는 특징부 텐서를 생성하기 위해 그리드 기반 또는 수퍼픽셀 기반 방식으로 이미지 전체로부터 추출될 수 있다. 추가적으로, 이러한 특징부는 특징부 벡터의 피라미드를 생성하고 계층적 공간 정보를 제공하기 위해 다수의 해상도에서 수집될 수 있다. 현출 영역 검출기를 사용하는 경우 비-현출된 그리드 위치는 제외될 수 있다. 하나 이상의 특징부의 경우 이 영역의 공간 좌표는 선택적으로 특징부 텐서 또는 벡터에 첨부될 수 있다. 대안적으로 상대적인 공간 정보가 제공될 수 있으며, 이는 동일한 해상도 내의 이웃 영역 또는 더 낮은/높은 해상도의 부모/자식 영역을 포함할 수 있지만 이로 제한되지 않는다.

학습된 특징부 추출기가 있는 제1 단계 : 학습된 특징부 추출을 위해, 이미지 내의 현출 영역으로부터 복수의 진단 특징부 벡터 또는 텐서를 추출하는 데 사용될 수 있는 기계 학습 시스템을 훈련시키는 것이 필요할 수 있다.

도 5는 2단계 연속 점수 예측 모듈을 훈련시키기 위한 예시적인 방법을 도시하는 흐름도이다. 예를 들어, 학습된 특징부 추출기가 있는 제1 단계에 대한 예시적인 훈련 방법(500)(예를 들어, 단계(502 내지 508)) 및 제2 단계(예를 들어, 512 내지 518)에 대한 예시적인 훈련 방법(510)은 슬라이드 분석 도구(101)에 의해 자동으로 또는 사용자로부터의 요청에 응답하여 수행될 수 있다.

단계(502)에서, 방법은 의료 시료의 하나 이상의 훈련 디지털 이미지(예를 들어, PET, CT, MRI, 조직학 등) 및 하나 이상의 연속 값에 대한 정보를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하는 단계를 포함할 수 있다. 기계 학습 시스템을 훈련시키기 위해 하나 이상의 이미지를 하나 이상의 연속 값에 대한 정보(예를 들어, 게놈 테스트의 바이오마커, 병리학자가 분석한 IHC 결과의 바이오마커, 특정 세포 유형의 세포 수, 이미지 획득 후 몇 개월 동안의 환자 생존, 약물 반응 정도, 단백질 발현 수준 등)와 쌍을 이룰 수 있다.

단계(504)에서, 방법은 하나 이상의 훈련 디지털 이미지의 현출성을 결정하기 위해 하나 이상의 훈련 디지털 이미지를 하나 이상의 하위 영역으로 분할하는 단계를 포함할 수 있다. 영역은 이미지를 타일로 분할, 에지/대비를 기반으로 한 분할, 색상 차이를 통한 분할, 기계 학습 모델에 의한 감독 결정, 에지박스 등을 포함하여 다양한 방법으로 지정될 수 있다.

선택적으로, 방법은 위의 도 3에 기술된 바와 같이, 현출 영역 검출 모듈을 사용하여 이미지 내의 각각의 영역의 현출성을 식별하고 후속 처리에서 비-현출 이미지 영역을 제외하는 단계를 포함할 수 있다. 일부 구현예에서, 배경이 아닌 모든 영역이 현출된 것으로 간주될 수 있다.

선택적으로, 방법은 이미지의 각 픽셀 및/또는 복셀의 공간 좌표 세트를 자기 자신에 첨부하는 단계를 더 포함할 수 있다.

단계(506)에서, 방법은 연속 점수 예측을 위한 적어도 하나의 진단 특징부를 얻기 위해 픽셀 및/또는 복셀 영역을 사용하여 특징부 추출 기계 학습 모듈을 훈련시키는 단계를 포함할 수 있다. 다음을 포함하여 이를 위한 다수의 방식이 있다:

a. 이진 라벨을 생성하기 위해 하나 이상의 컷오프가 있는 다중 라벨 또는 이진 기계 인스턴스 학습(MIL)을 사용하여 (선택적으로 CoordConv 층 또는 유사한 메커니즘을 사용하여 공간 정보를 통합하는) 2D 또는 3D 컨볼루션 신경망(CNN)을 훈련시킨다. 예를 들어, 환자의 디지털 이미지 데이터에 대한 감독된 연속 점수(y)가 주어지면, 다수의 이진 출력은 각각 컷오프(a)보다 작은 값(y)에 대해 하나의 이진 출력으로 연속 값의 별개의 범위를 나타낼 수 있고, 하나는 y가 a에서 b 사이인 경우에 대한 것일 수 있고, 하나는 y가 b에서 c 사이에 있는 경우에 대한 것이고 등이다. 대안적으로 출력은 일련의 임계값으로 구성될 수 있고, 예를 들어, 이진 출력은 y > a, y > b, y > c 등일 수 있다.

b. 이진 라벨을 생성하기 위해 하나 이상의 컷오프가 있는 다수의 라벨 또는 이진 MIL을 사용하여 2D 또는 3D 캡슐 신경망을 훈련시킨다. 예를 들어, 환자의 디지털 이미지 데이터에 대한 감독된 연속 점수(y)가 주어지면, 다수의 이진 출력은 각각 컷오프(a)보다 작은 값(y)에 대한 하나의 이진 출력으로 연속 값의 별개의 범위를 나타낼 수 있고, 하나는 y가 a에서 b 사이인 경우에 대한 것일 수 있고, 하나는 y가 b에서 c 사이에 있는 경우에 대한 것일 수 있고 등이다. 대안적으로, 출력은 일련의 임계값으로 구성될 수 있고, 예를 들어, 이진 출력은 y > a, y > b, y > c 등일 수 있다.

학습된 특징부 추출 모듈의 사용을 위해, 훈련된 특징부 추출 기계 학습 모델은 디지털 이미지의 하나 이상의 현출 영역에 적용되어 이 영역에 대한 특징부 텐서 및/또는 벡터를 출력할 수 있다.

특징부 텐서 /벡터 집계를 위한 제2 단계: 제2 단계는 예시적인 훈련 방법(510)에 도시되고 후술되는 바와 같이 제1 단계에서 추출된 특징부 벡터/텐서를 사용한 다음 관심 있는 하나 이상의 연속 점수를 출력할 수 있다.

단계(512)에서, 방법은 표적 병리 시료와 관련된 하나 이상의 디지털 의료 이미지(예를 들어, PET, CT, MRI, 조직학 등) 및 관련된 환자에 대한 정보를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하는 단계를 포함할 수 있다. 선택적으로, 환자 정보(예를 들어, 연령, 민족, 보조 테스트 결과 등)도 수집될 수 있다. 기계 학습 시스템을 훈련시키기 위해 복수의 이미지는 하나 이상의 연속 값에 대한 정보(예를 들어, 게놈 테스트의 바이오마커, 병리학자가 분석한 IHC 결과의 바이오마커, 특정 세포 유형의 세포 수, 이미지 획득 후 몇 개월 동안의 환자 생존, 약물 반응 정도, 단백질 발현 수준 등)와 쌍을 이룰 수 있다.

선택적으로, 방법은 도 3(그리고 위에서 설명된)의 현출 영역 검출 모듈을 사용하여 이미지 내의 각 영역의 현출성을 식별하고 후속 처리에서 비-현출 이미지 영역을 제외하는 단계를 포함할 수 있다.

단계(514)에서, 방법은 예시적인 훈련 방법(500)의 훈련된 특징부 추출 기계 학습 모델을 하나 이상의 현출 영역에 적용하여 하나 이상의 디지털 의료 이미지 내의 현출 영역으로부터 특징부 텐서 및/또는 벡터를 출력하는 단계를 포함할 수 있다. 대안적으로 수작업으로 설계된 또는 사전 훈련된 1단계 특징부 추출 시스템을 사용하여 추출을 수행할 수 있다.

단계(516)에서, 방법은 추출된 특징부 텐서 및/또는 벡터의 공간 좌표 세트를 자기 자신에 추가하는 단계를 포함할 수 있으며, 이는 공간 정보가 캡처되는 것을 허용한다.

단계(518)에서, 방법은 하나 이상의 이미지로부터 추출된 특징부 벡터/텐서 중 하나 이상으로부터 적어도 하나의 연속 점수를 예측하기 위해 기계 학습 모델을 훈련시키는 단계를 포함할 수 있다. 발현 수준은 서수 값, 정수, 실수 등으로 나타낼 수 있다. 시스템은 회귀 손실(예를 들어, 평균 제곱 오차 손실, 후버 손실 등), 서수 손실 함수 또는 계수 손실 함수(예를 들어, 포아송 회귀 손실, 음이항 회귀 손실 등)를 사용하여 훈련된다. 의료 이미지 데이터에 더하여 환자 정보(예를 들어, 연령)가 또한 입력으로 사용되면, 이는 선택적으로 추가 입력 특징부로 기계 학습 시스템에 공급될 수 있고, 특징부 벡터/텐서(초기 융합)에 첨부함으로써 수행되거나, 기계 학습 시스템(후기 융합)에 의한 처리에서 나중에 수행될 수 있다. 각 디지털 이미지마다 모든 특징부 텐서/벡터를 입력으로 취하도록 훈련될 수 있는 기계 학습 시스템은 다음을 포함하지만 이로 제한되지는 않는다:

a. 적절한 연속 점수(들) 예측 손실 함수로 훈련된 CNN.

b. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 CoordConv 층이 있는 CNN.

c. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 순환 신경망(Recurrent neural Network: RNN)(예를 들어, 양방향 RNN, 게이트 순환 네트워크, 단순 RNN, 장기 기억 RNN).

d. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 그래프 신경망(예를 들어, 그래프 컨벌루션 네트워크). 입력 그래프의 각 노드는 특징부 벡터/텐서 정보를 가질 수 있으며 그래프의 에지는 각 영역의 공간적 관계를 나타낼 수 있다.

e. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 관계 네트워크.

f. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 캡슐 네트워크.

g. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 MLP.

h. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 랜덤 포레스트.

i. 적절한 연속 점수(들) 예측 손실 함수로 직접 훈련된 지원 벡터 기계.

j. 등

도 6a 및 도 6b는 본 발명의 하나 이상의 실시형태에 따라 연속 점수를 출력하는 방법의 예시적인 작업 흐름을 도시한다.

도 6a는 위의 도 3에 설명된 현출 영역 검출 모듈을 사용하지 않고 작업 흐름의 예시적인 실시형태를 도시한다. 예시적인 작업 흐름에서, 의료 이미지는 추가 환자 데이터(선택 사항)와 함께 AI 모듈에 입력된다. 적어도 하나의 연속 점수(들)가 AI 모듈로부터 출력될 수 있다.

도 6b는 위의 도 3에 설명된 현출 영역 검출 모듈을 사용하는 작업 흐름의 예시적인 실시형태를 도시한다. 이 작업 흐름에서 의료 이미지는 현출 영역 검출 모듈에 입력된 다음 AI 모듈에 입력된다. 추가 환자 데이터가 또한 AI 모듈에 입력될 수 있다. 적어도 하나의 연속 점수(들)가 AI 모듈로부터 출력될 수 있다.

도 7은 현출 영역 검출 모듈과 그래프 신경망을 사용하는 2단계 예시적인 실시형태를 도시한다.

현출 영역 추출에서 의료 이미지의 현출 영역(701)은 공간 정보(702)에 의해 분리될 수 있다. 공간 정보(702)는 상대값 또는 절대값일 수 있다.

현출 영역에서 추출된 특징부에 대해, 현출 영역(701)은 출력 특징부 벡터(704)를 위해 AI 모듈(703)에 입력될 수 있다. 하나 이상의 현출 영역으로부터 많은 특징부가 추출될 수 있다.

공간 정보(702)를 갖는 특징부 벡터(704)는 연속 점수(706)의 출력을 위해 그래프 신경망(705)으로 전달될 수 있다.

예시적인 실시형태: 침윤성 유방암에 대한 WSI의 연속 재발 점수

침윤성 유방암이 검출된 후, 종양의 게놈 분석을 수행하여 추가 치료를 포기할지, 환자에게 내분비 (호르몬) 요법을 제공할지, 환자에게 보조 화학요법을 제공할지 및/또는 일부 다른 요법을 제공할지 여부를 결정하는 것이 일반적일 수 있다. 이 테스트는 연속 채점 시스템을 사용하여 원발성 종양을 절제한 후 질병의 재발 및 전이 위험을 평가한다. 이는 일반적으로 증식, 침입, 전이, 간질 완전성 및 혈관신생과 관련된 게놈 정보를 살펴본다.

도 8은 기저형 연속 값, HER2형 연속 값 및/또는 내강형 연속 값과 같은 상이한 점수에 대한 3개의 연속 값을 출력할 수 있는 다중 작업 AI 모듈에 H&E 입력으로 염색된 이미지가 있는 예시적인 작업 흐름이다.

엔도프리딕트(EPclin) 테스트는 12개 유전자의 RNA 발현을 기반으로 할 수 있으며, 이 게놈 정보를 추가 임상 특징부와 결합하여 10년 원격 재발(DR) 비율을 예측한다. 이는 1에서 6 사이의 점수를 할당하며 6은 높은 위험을 나타내고 1은 낮은 위험을 나타낸다. 또 다른 예시적인 테스트는 맘마프린트(MammaPrint)이고, 이는 포르말린 고정 파라핀 포매(FFPE) 또는 신선한 조직을 사용할 수 있고, 그런 다음 종양 샘플에서 분리된 RNA를 사용하여 낮은 암 재발 위험을 나타내는 0보다 큰 값과, 보조 화학 요법이 필요할 수 있음을 시사하는 높은 재발 위험을 나타내는 0 미만의 값으로 연속 점수를 예측할 수 있는 70개 유전자 분석이다.

또 다른 예시적인 테스트는 암 재발을 예측하기 위해 7개의 유전자를 분석하는 유방암 지수(BCI) 테스트이다. 이는 두 가지 점수를 생성하고, BCI 예후 점수는 진단 후 5년 내지 10년에 암이 재발할 가능성을 0 내지 10의 연속 척도로 추정하고, 5.1 내지 10의 점수는 높은 재발 위험을 나타낸다. BCI 예측 점수는 내분비 요법을 총 10년 동안 추가 5년 동안 내분비 요법을 취함으로써 이익을 얻을 가능성을 추정한다.

온코타입 DX 재발 점수는 종양 내 21개의 유전자의 발현을 관찰하는 또 다른 분석법이다. 이는 암 재발 위험을 나타내는 0에서 100 사이의 숫자를 생성하며, 31보다 큰 점수는 전이 위험이 높고 내분비 요법과 함께 보조 화학 요법이 필요함을 나타내며, 26점 내지 30점의 점수는 내분비 요법과 함께 사용할 때 보조 화학 요법에 대한 불확실한 이점을 나타내고, 26 미만의 점수는 내분비 요법만으로도 수술 후 치료에 충분할 수 있음을 나타낸다.

프로시그나(Prosigna) 유방암 예후 유전자 시그니처 분석(즉, PAM50 유전자 시그니처)는 FFPE 샘플의 RNA를 사용하여 호르몬 수용체 양성 유방암의 원격 재발 위험을 추정할 수 있다. 이는 0에서 100까지의 연속 점수를 생성하며 점수가 높을수록 치료 결정을 내리기 위해 재발 위험이 더 높다는 것을 나타낸다.

이러한 모든 테스트는 동일한 제한 사항을 공유할 수 있고, 이는 게놈 분석을 필요할 수 있으므로 환자로부터 조직 샘플을 취득한 후 최대 2주가 지연될 수 있다. 대신, 이 실시형태는 WSI에서 직접 재발 위험을 예측할 수 있으며, 이는 임상의가 환자로부터 침윤성 종양 조직을 제거한 후 하루 만에 치료 결정을 내리는 데 필요한 정보를 얻을 수 있음을 의미한다. 이것은 침윤성 유방 종양의 WSI를 입력으로 취하고 이러한 게놈 분석에 의해 생성된 연속 점수 중 임의의 점수를 예측하는 시스템을 훈련함으로써 수행될 수 있다. 대안적으로 이는 재발을 직접 예측하는 데 사용될 수 있고, 예를 들어, 침윤성 종양의 WSI를 입력으로 취하도록 훈련시킨 다음 치료가 제공되지 않는 경우 재발 몇 달 전에 예측함으로써 수행될 수 있다.

1. 훈련을 위해,

a. 침윤성 유방 병리학 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 WSI를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 연속 재발 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, WSI 내의 각 영역, 예를 들어, 침윤성 종양, 침윤성 종양 주위의 간질 및/또는 림프혈관 공간의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 재발 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 침윤성 유방암 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 암 재발 예측을 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 예측을 전자 저장 디바이스에 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 바이오마커의 존재를 통보한다.

예시적인 실시형태: 비침윤성 유방암의 재발에 대한 연속 점수 예측

비침윤성 유방암 진단 후 환자가 종괴절제술 또는 유방절제술을 받은 후 보조 치료가 필요할 수 있다. 이 치료에는 위험 재발을 줄이기 위한 내분비 요법 또는 방사선 치료가 포함될 수 있지만 이러한 치료에는 부정적인 부작용이 있다. 환자가 이러한 치료로부터 얻을 수 있는 이점을 결정하기 위해 게놈 분석이 개발되었다.

비침윤성 유방암의 일반적인 형태는 유관 상피내 암종(ductal carcinoma in situ: DCIS)이다. 현재 DCIS의 치료 옵션을 결정하기 위한 기본 게놈 테스트는 12-패널 게놈 테스트인 온코타입 DX DCIS이다. 이 테스트는 유방암 재발 위험을 결정하기 위해 0에서 100까지의 연속 점수를 생성하며, 더 높은 값은 재발을 방지하기 위해 보조 치료가 더 많이 필요함을 나타낸다. 본 명세서에 제시된 기술은 DCIS가 있는 환자의 WSI를 게놈 분석에 의해 생성된 연속 점수와 쌍을 이룬 다음 게놈 분석의 필요 없이 WSI에서 직접 점수를 예측하도록 시스템을 훈련시킴으로써 이 점수를 예측하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 유방 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 WSI를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고 연속 재발 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, 종양 및/또는 침윤성 종양 주변의 간질일 수 있는 WSI 내의 각 영역의 현출성을 식별한다.

c. (주요) 이미지 영역으로부터 연속 재발 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 유방암 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 암 재발에 대한 연속 예측을 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 예측된 재발 수준을 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: 전립선암 치료 권고를 위한 연속 점수 예측

전립선암을 진단하기 위해 남성은 전립선 생검을 받은 다음 생검 샘플을 처리한 후 질병의 존재와 중증도를 결정하기 위해 병리학자가 시각적으로 검토할 수 있다. 그러나, 전립선암 치료(예를 들어, 전립선 제거, 호르몬 요법 및/또는 방사선 요법)는 남성의 삶의 질에 부정적인 영향을 미칠 수 있으며 일부 환자는 적극적인 치료가 필요하지 않을 수 있다.

전립선 조직 샘플의 병리학적 평가만을 사용하는 것에 대한 대안은 게놈 분석을 사용하여 종양의 공격성을 예측하는 것일 수 있다. 예를 들어, 온코타입 DX 게놈 전립선 점수는 17개의 유전자를 조사하여 0에서 100까지의 연속 점수에서 전립선암의 공격성을 결정할 수 있다. 0에 가까운 값을 가진 환자는 능동 감시를 권고받을 수 있는 반면, 점수가 더 높은 환자는 불리한 결과(예를 들어, 사망 또는 전이)의 위험을 줄이기 위해 즉각적이고 공격적인 치료를 받아야 한다. 또 다른 테스트는 남성이 공격적인 치료 대신 전립선암에 대한 능동 감시를 선택할 수 있는 경우 연속 점수를 결정하기 위해 게놈 평가와 기타 측정을 결합하는 프롤라리스(Prolaris) 분석이고, 여기서 더 높은 점수는 암의 공격성을 나타낸다. 본 명세서에 제시된 기술은 WSI를 이러한 게놈 분석 중 임의의 것에 의해 생성된 연속 점수와 쌍을 이룬 다음 시스템을 훈련시킴으로써 전립선암의 공격성 점수를 예측하는 데 사용할 수 있다.

1. 훈련을 위해,

a. 전립선 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 연속 공격성 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, WSI 내의 각 영역(예를 들어, 종양 및/또는 침윤성 종양 주변의 간질)의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 공격성 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 전립선암 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 연속 암 공격성 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 예측된 중증도를 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: WSI로부터 악성 가능성에 대한 연속 점수 예측

종양은 양성 또는 악성일 수 있는 비정상적인 세포 덩어리이다. 양성 종양은 주변 조직을 전이하거나 침범하는 능력이 부족한 반면, 악성 종양은 그렇게 할 수 있다. 일부 상황에서는 종양이 악성인지 양성인지 여부를 결정하는 데 병리학적 평가로 충분하지 않다. 이 시나리오에서는 더 나은 결정을 내리기 위해 연속 점수를 사용할 수 있다.

예를 들어, Myriad myPath Melanoma 테스트는 세포 분화, 세포 신호 및 면역 반응 신호와 관련된 23개의 유전자를 측정하여 약 -16에서 10까지의 척도에서 연속 점수를 생성하고, 점수가 0보다 크면 피부 종양이 악성일 가능성이 있고 적극적인 치료가 필요할 수 있음을 나타내는 반면, 점수가 -2 미만이면 종양이 양성일 가능성이 있음을 나타낸다. 본 명세서에 제시된 기술은 게놈 분석에 의해 생성된 연속 점수와 WSI를 쌍을 이룬 다음 시스템을 훈련시킴으로써 myPath 점수를 예측하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 연속 악성 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 악성 종양 점수를 예측하기 위해 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다. 선택적으로, 각 디지털 이미지마다 환자 정보(예를 들어, 연령)를 수신할 수 있다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 연속 암 악성 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 연속 악성 종양 점수를 통보한다.

f. 선택적으로 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: 방사선 입력으로부터 악성 가능성에 대한 연속 점수 예측

병리학적 검사가 이상적일 수 있지만 일부 종양은 환자에게 해를 끼치지 않고는 쉽게 접근하지 못할 수 있고, 다른 경우에는 자원 부족으로 인해 병리학자가 검토하지 못할 수 있다. 이 시나리오에서는 방사선 데이터의 연속 점수로 악성 종양을 예측하는 것이 도움을 줄 수 있다. 이것은 시스템이 입력 방사선 이미지(예를 들어, PET, CT, MRI 등)를 취하고 결과 정보를 사용하여 결정될 수 있는 연속 악성 종양 점수를 출력하도록 훈련함으로써 수행될 수 있다.

1. 훈련을 위해,

a. 방사선 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 연속 악성 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, 방사선 스캔 내에서 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 악성 종양 점수를 예측하기 위해 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 방사선 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다. 선택적으로, 각 디지털 이미지마다 환자 정보(예를 들어, 연령)를 수신할 수 있다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 연속 암 악성 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 기술자, 임상의 등)에게 연속 악성 점수를 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: 연속 점수로서 WSI로부터 암 하위 유형 예측

암에 대한 최상의 치료 과정을 결정하는 것은 암의 하위 유형을 결정하는 것을 포함할 수 있다. 예를 들어, 침윤성 유방암은 내강형, HER2형 및 기저형의 3개의 하위 유형으로 계층화될 수 있다. 내강형은 일반적으로 내분비 요법을 통한 치료를 나타내고, HER2형은 항 HER2 기반 화학 요법을 통한 치료를 나타내며, 기저형(즉, 삼중 음성) 유방암은 항 HER2 화학 요법 및 내분비 요법이 모두 도움이 되지 않음을 나타낸다.

그러나, 암은 종종 연속적인 방식으로 유형별로 특징지어질 수 있다. 별개의 범주를 가정하는 대신 암이 특정 유형에 속하는 정도는 모호하다. 본 명세서에 제시된 기술은 각 유형에 대응하는 다수의 출력을 생성함으로써 하위 유형 암에 사용될 수 있다. 예를 들어, 환자에 대한 WSI를 입력으로 받은 다음 내강형, HER2형 및 기저형에 대응하는 3개의 연속 점수를 예측하도록 훈련될 수 있다. 각 유형마다 연속 값은 IHC, 게놈 테스트, 질량 분석법 또는 일부 다른 방법을 사용하여 결정될 수 있다.

1. 훈련을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 이미지의 각 유형마다 대응하는 연속 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 각 유형마다 다수의 연속 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 암 조직에 대해 하나 이상의 알려진 유형에 대응하는 연속 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 연속 하위 유형 점수를 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: WSI로부터 상동 재조합 결핍( HRD ) 예측

상동 재조합 유전자는 DNA 복구 경로를 조절한다. 상동 재조합 결핍(HRD)을 나타내는 종양에는 손상된 DNA 복구와 관련된 돌연변이가 있다. 이러한 HRD 돌연변이가 존재하는 연속 정도를 결정하는 것은 치료를 안내하는 데 사용될 수 있다. 예를 들어, BRCA1 및 BRCA2 돌연변이는 2개의 이러한 HRD 돌연변이이다. HRD가 충분히 존재할 경우, 암 세포가 손상된 DNA를 복구하지 못하도록 하는 폴리(ADP-리보스) 폴리머라제(PARP) 억제제를 암 치료에 사용할 수 있다.

연속 HRD 점수는 손상된 DNA 복구와 관련된 유전자 돌연변이의 가중 또는 비가중 합계로 생성될 수 있다. 본 명세서에 제시된 기술은 WSI를 입력으로 취하고 게놈 분석을 통해 결정된 HRD 점수를 출력하도록 훈련함으로써 종양 병리 시료의 WSI로부터 직접 HRD를 예측하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 하나 이상의 이미지에 대한 대응하는 연속 HRD 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 HRD 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 연속 HRD 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 HRD 점수를 통보한다.

f. 선택적으로, 돌연변이된 특정 유전자의 분해를 출력한다.

g. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: WSI로부터 종양 돌연변이 부담( TMB ) 예측

종양 돌연변이 부담(TMB)은 종양의 돌연변이를 연속 측정한 것일 수 있고, 면역 종양학(IO) 요법에 대한 반응과 관련된 예측 바이오마커일 수 있다. TMB는 전체 엑솜 시퀀싱을 사용하여 종양의 DNA 시퀀싱을 사용하여 결정될 수 있지만 이것은 비용이 많이 들고 항상 사용할 수 있는 것은 아니다. 본 명세서에 제시된 기술은 WSI를 입력으로 취하고 게놈 분석을 통해 결정된 TMB 점수를 출력하도록 훈련함으로써 종양 병리 시료의 WSI로부터 TMB를 직접 예측하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 하나 이상의 이미지에 대한 대응하는 연속 TMB 점수를 수신한다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 TMB 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 연속 TMB 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 TMB 점수를 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: WSI로부터 유사분열 및 세포 유형 수 예측

특정 유형의 세포 수를 예측하는 것은 바이오마커 및 조직학적 등급 분류에 유용할 수 있다. 예를 들어, 유방암에서 병리학자는 침윤성 유방암 내의 유사분열을 계수해야 할 수 있다. 또 다른 예는 종양 조직을 침범한 림프구 세포인 종양 침윤 림프구(TIL)이며 이의 존재는 치료 결과와 관련될 수 있다. 특히 T 세포, B 세포, 자연 살해 세포, 대식세포 등 여러 종류의 TIL이 있다. 종양 내의 특정 세포 유형을 계수하기 위한 접근 방식은 병리 슬라이드의 수동 시각적 검사 또는 인스턴스 분할 기계 학습 알고리즘을 사용해야 할 수 있는 데, 이는 WSI의 철저한 픽셀별 주석이 필요할 수 있다. 본 명세서에 제시된 기술은 세포 유형 또는 유사분열의 철저한 주석을 필요로 하지 않고 WSI로부터 직접 특정 종류의 세포 또는 유사분열의 수를 예측하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 관심 있는 각 세포 유형마다 대응하는 연속 수를 수신한다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역에서 관심 있는 세포 수를 예측하기 위해 기계 학습 시스템을 훈련시킨다. 이것은 회귀(예를 들어, MSE, L2, 후버 등) 또는 계수 손실 함수(예를 들어, 포아송 손실)를 사용하여 수행될 수 있다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 관심 있는 각 세포 유형마다 수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 각 세포 유형 점수의 수를 통보한다.

f. 선택적으로, 현출 영역 내에서 발견되는 그리고 현출 영역 외에서 (예를 들어, 종양 내 vs 간질 내에서) 발견되는 하나 이상의 세포 유형의 백분율에 대한 분석을 제공한다.

g. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: 연속 서수 HER2 점수 예측

다양한 조직의 종양은 유방암, 폐암 및 위암을 포함하여 HER2(ERBB2) 종양 유전자의 증폭 또는 과발현에 의해 유발될 수 있다. 증폭 또는 과발현의 정도는 치료에 적합한 약물이 어느 것인지를 결정하는 데 사용될 수 있다. 예를 들어, 높은 수준의 HER2는 환자가 단클론 항체 트라스투주맙으로 치료하는 것이 도움이 될 것임을 나타낼 수 있고, 낮은 수준의 HER2 과발현 또는 증폭을 나타내는 종양은 잠재적으로 팜-트라스투주맙 데룩스테칸(fam-trastuzumab deruxtecan)으로 치료될 수 있고, HER2 과발현 또는 증폭이 없다는 것은 대체 치료 형태가 보증됨을 나타낸다.

본 명세서에 제시된 기술은 환자 종양의 WSI로부터 직접 연속 또는 서수 척도로 HER2 과발현 수준을 예측하는 데 사용될 수 있다. 발현 수준은 조합될 수 있는 다양한 수단을 사용하여 결정될 수 있다. 여기에는 다중 유전자 패널, mRNA 발현, IHC, 질량 분석 등이 포함된다. 이후, 발현 수준은 연속 점수로 처리되거나, 예를 들어, 정상, 낮은 수준의 과발현 및 높은 수준의 과발현과 같은 서수 범주가 생성될 수 있다.

1. 훈련을 위해,

a. 암 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 하나 이상의 WSI에 대한 대응하는 연속 또는 서수 HER2 점수를 수신한다. 이러한 이미지는 H&E, IHC, HES 등으로 염색된 조직일 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 또는 서수 HER2 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 암 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. HER2 발현 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 HER2 발현 점수를 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: WSI로부터 질량 분석의 예측

질량 분석은 생물학적 시료에 존재하는 하나 이상의 분자의 질량 대 전하 비율을 측정하는 데 사용될 수 있다. 이것은 약물 표적에 대한 바이오마커와 관련된 단백질을 측정하기 위해 FFPE 샘플에서 사용되었다. 예를 들어, HER2 단백질 수준은 항 HER2 화학 요법이 환자에게 도움이 되는지 여부를 결정하는 데 잠재적으로 사용될 수 있는 질량 분석을 사용하여 측정될 수 있다. 질량 분석은 존재하는 이온의 양을 생성하며 이는 연속 척도로 측정될 수 있다. 질량 분석 실측 데이터를 사용하여 본 명세서에 제시된 기술을 사용하여 질량 분석을 사용할 필요 없이 WSI로부터 이온의 상대적 존재비를 예측할 수 있다.

1. 훈련을 위해,

a. 유방암 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 각 WSI마다 대응하는 질량 분석 점수(들)를 수신한다. 이러한 이미지는 H&E, IHC, HES 등으로 염색된 조직일 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. 관심 있는 연속 질량 분석 값을 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 질량 분석 값을 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 값을 통보한다.

예시적인 실시형태: WSI로부터의 mRNA 수준의 예측

메신저 RNA(mRNA) 수준은 특정 유전자가 발현되는 수준을 정량화하는 연속 값이다. 종양학 응용의 경우 종양 유전자의 mRNA 수준을 정량화하는 것은 치료를 안내하는 데 사용될 수 있다. mRNA 발현 수준은 노던 블로팅(Northern blotting), RT-qPCR, 유전자 발현 직렬 분석(serial analysis of gene expression: SAGE) 및 RNA-Seq를 포함한 다양한 기술을 사용하여 정량적으로 측정될 수 있다. 이러한 모든 테스트에는 서로 다른 장점과 단점이 있지만 모두 조직의 상당한 추가 처리가 필요할 수 있다. 본 명세서에 제시된 기술은 WSI로부터 직접 종양 및 기타 조직의 mRNA 수준을 직접 예측함으로써 이러한 추가 처리를 피하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 유방암 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 각 WSI마다 관심 유전자에 대한 대응하는 mRNA 수준을 수신한다. 이러한 이미지는 H&E, IHC, HES 등으로 염색된 조직일 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. 연속 mRNA 수준을 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. mRNA 수준을 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 기술자 등)에게 값을 통보한다.

예시적인 실시형태: WSI로부터의 유전자 발현 값 예측

게놈 테스트 결과는 치료 선택에 유용한 지침이 될 수 있다. 이러한 결과 중 하나인 유전자 발현 값은 마이크로어레이 분석 후 수치 처리를 통해 획득될 수 있다. 고형 종양의 마이크로어레이를 분석하는 것은 FPPE 조직 샘플을 준비할 때 샘플로부터 추출된 게놈 DNA가 단편화되어 프로세스에 노이즈가 도입될 수 있기 때문에 까다롭다. 이 문제를 해결하기 위해 문헌에서 수많은 정규화 방법이 제안되었다. 본 명세서에 제시된 기술은 마이크로어레이 분석을 우회하고 WSI로부터 직접 유전자 발현 값을 예측하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 유방암 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 각 WSI마다 관심 유전자에 대한 대응하는 유전자 발현 값을 수신한다. 이러한 이미지는 H&E, IHC, HES 등으로 염색된 조직일 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. 연속 유전자 발현 값을 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 유전자 발현 값을 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 기술자 등)에게 값을 통보한다.

예시적인 실시형태: WSI로부터의 NTRK 유전자 융합 예측

신경영양 수용체 티로신 키나아제(NTRK)는 트로포미오신 수용체 키나아제를 암호화하는 3개의 유전자 패밀리이다. NTRK 유전자 융합이라고 하는 이러한 유전자를 수반하는 재배열은 TRK 융합 단백질이라고 하는 비정상적인 단백질로 이어지고, 이는 다시 암의 형성 및 성장으로 이어질 수 있다. 이러한 유전자 융합의 검출은 NTRK 유전자 융합을 가진 환자가 TRK 억제제 요법에 매우 긍정적으로 반응하는 것으로 나타났기 때문에 가치가 있을 수 있다. FFPE 조직으로부터 이러한 유전자 융합의 검출은 각각 장점과 단점이 있는 Pan-TRK IHC, FISH, RT-PCR, DNA 및/또는 RNA 기반 NGS와 같은 다양한 방법에 의해 달성될 수 있다. 임의의 방법으로 계산된 NTRK 유전자 융합에 대한 연속 점수가 주어지면 본 명세서에 제시된 기술을 사용하여 WSI로부터 이 점수를 계산할 수 있다.

1. 훈련을 위해,

a. 유방암 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 각 WSI마다 대응하는 NTRK 유전자 융합 점수를 수신한다. 이러한 이미지는 H&E, IHC, HES 등으로 염색된 조직일 수 있다.

b. 선택적으로, WSI 내에서 각 영역의 현출성을 식별한다.

c. 연속 NTRK 유전자 융합 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. NTRK 유전자 융합 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 기술자 등)에게 값을 통보한다.

예시적인 실시형태: WSI로부터 현미부수체 불안정성( MSI ) 예측

현미부수체 불안정성(MSI)은 조직에 존재하는 손상된 DNA 불일치 복구(MMR) 수준을 나타내는 연속 값이다. MMR은 DNA 복제 중 오류를 수정하며, 존재하는 MSI의 정도는 암 치료 결과와 관련될 수 있다. 예를 들어, MSI 수준이 높은 결장암은 수준이 낮은 것보다 예후가 더 좋다. 전통적으로, MSI 수준을 결정하려면 DNA 시퀀싱이 필요할 수 있다. 그러나, 본 명세서에 제시된 기술을 사용하면 DNA 시퀀싱에 필요한 시간과 비용 없이 병리 시료의 이미지로부터 MSI 수준을 예측할 수 있다.

1. 훈련을 위해,

a. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 하나 이상의 이미지에 대한 대응하는 연속 MSI 점수를 수신한다. MSI 점수는 DNA 시퀀싱을 통해 얻어질 수 있다. 선택적으로, 환자 정보(예를 들어, 연령)는 각 환자마다 수신될 수 있다.

b. 선택적으로, MSI 결정을 내려야 하는 WSI 내의 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 연속 MSI 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 연속 MSI 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 MSI 점수를 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: WSI로부터 연속 PDL1 발현 수준 예측

PDL1은 환자가 면역 요법에 반응할 가능성이 있는지 여부를 평가하는 데 사용되는 바이오마커이다. 이것은 IHC 테스트를 통해 테스트되고 있으며, 종양 및/또는 면역 세포에서 PDL1의 존재는 이러한 요법에 대한 환자의 반응 가능성을 결정하는 데 사용되고 있다. 본 명세서에 제시된 기술은 WSI로부터 보다 신뢰성 있는 방식으로 환자의 PDL1 발현 수준을 평가하는 데 사용될 수 있다.

1. 훈련을 위해,

d. 병리 시료의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신하고, 하나 이상의 이미지에 대한 대응하는 PDL1 발현을 수신한다. PDL1 발현 수준은 이미지 분석 솔루션을 통해 PDL1 발현 수준을 평가함으로써 또는 병리학자가 수동으로 PDL1 IHC 이미지를 통해 평가될 수 있다.

e. 선택적으로, PDL1 결정을 내려야 하는 WSI 내 각 영역의 현출성을 식별한다.

f. (현출) 이미지 영역으로부터 연속 PDL1 발현 수준을 예측하기 위해 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. 연속 PDL1 발현 수준을 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 PDL1 발현 수준을 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

예시적인 실시형태: WSI로부터 종양 염증 시그니처 ( TIS ) 예측

종양 염증 시그니처(TIS)는 억제된 적응 면역 반응과 관련된 경로를 측정하는 18개의 유전자 시그니처이며, 면역 체크포인트 억제제(ICI)에 대한 반응을 풍부하게 하는 것으로 나타났다. 본 명세서에 제시된 기술은 WSI로부터 ICI에 대한 환자의 반응 가능성을 평가하는 데 도움이 되는 TIS 점수를 측정하는 데 사용될 수 있다.

1. 훈련을 위해,

a. 병리 시료의 하나 이상의 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 저장하고, 하나 이상의 이미지에 대해 대응하는 TIS를 수신한다. TIS는 종양의 mRNA 발현 수준을 통해 평가될 수 있다.

b. 선택적으로, TIS 결정을 내려야 하는 WSI 내 각 영역의 현출성을 식별한다.

c. (현출) 이미지 영역으로부터 TIS 점수를 예측하도록 기계 학습 시스템을 훈련시킨다.

2. 사용을 위해,

a. 병리 시료(예를 들어, 조직학 등)의 하나 이상의 디지털 이미지를 디지털 저장 디바이스(예를 들어, 하드 드라이브, 네트워크 드라이브, 클라우드 저장부, RAM 등)에 수신한다.

b. 선택적으로, 자동으로 또는 전문가가 수동으로 지정할 수 있는 현출 영역의 위치를 수신한다.

c. TIS 점수를 출력하기 위해 훈련된 기계 학습 시스템을 적용한다.

d. 전자 저장 디바이스에 예측을 출력한다.

e. 선택적으로, 시각적 표시기를 사용하여 사용자(예를 들어, 병리학자, 조직학 기술자 등)에게 TIS 점수를 통보한다.

f. 선택적으로, 환자에게 권고되는 치료를 출력한다.

도 9에 도시된 바와 같이, 디바이스(900)는 중앙 처리 유닛(CPU)(920)을 포함할 수 있다. CPU(920)는 예를 들어 임의의 유형의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는 임의의 유형의 프로세서 디바이스일 수 있다. 당업자라면 알 수 있는 바와 같이, CPU(920)는 단독으로 동작하는 멀티코어/멀티프로세서 시스템에서 또는 클러스터 또는 서버 팜에서 동작하는 컴퓨팅 디바이스의 클러스터에서 단일 프로세서일 수 있다. CPU(920)는 데이터 통신 기반구조(910), 예를 들어, 버스, 메시지 큐, 네트워크 또는 멀티코어 메시지 전달 방식에 연결될 수 있다.

디바이스(600)는 또한 주 메모리(940), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(930)를 포함할 수 있다. 보조 메모리(930), 예를 들어, 판독 전용 메모리(ROM)는 예를 들어, 하드 디스크 드라이브 또는 이동식 저장 드라이브일 수 있다. 이러한 이동식 저장 드라이브는 예를 들어 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 이 예에서 이동식 저장 드라이브는 잘 알려진 방식으로 이동식 저장 유닛으로부터 판독하고/하거나 이동식 저장 유닛에 기록한다. 이동식 저장 매체는 이동식 저장 드라이브에 의해 판독되고 기록되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 당업자라면 알 수 있는 바와 같이, 이러한 이동식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터를 저장하는 컴퓨터 사용 가능 저장 매체를 포함한다.

대안적인 구현예에서, 보조 메모리(930)는 컴퓨터 프로그램 또는 다른 명령어를 디바이스(900)에 로드하는 유사한 수단을 포함할 수 있다. 이러한 수단의 예는 프로그램 카트리지 및 카트리지 인터페이스(예를 들어, 비디오 게임 디바이스에서 발견되는 것), 이동식 메모리 칩(예를 들어, EPROM 또는 PROM) 및 관련 소켓, 및 소프트웨어 및 데이터를 이동식 저장 유닛으로부터 디바이스(900)로 전송할 수 있는 다른 이동식 저장 유닛 및 인터페이스를 포함할 수 있다.

디바이스(900)는 또한 통신 인터페이스("COM")(960)를 포함할 수 있다. 통신 인터페이스(960)는 소프트웨어 및 데이터를 디바이스(600)와 외부 디바이스 간에 전송할 수 있다. 통신 인터페이스(960)는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(960)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(960)에 의해 수신될 수 있는 전자, 전자기, 광학 또는 다른 신호일 수 있는 신호의 형태일 수 있다. 이들 신호는 예를 들어 유선 또는 케이블, 광섬유, 전화선, 셀룰러 폰 링크, RF 링크 또는 다른 통신 채널을 사용하여 구현될 수 있는 디바이스(900)의 통신 경로를 통해 통신 인터페이스(960)에 제공될 수 있다.

이러한 장비의 하드웨어 요소, 운영 체제 및 프로그래밍 언어는 본질적으로 종래의 것이며, 당업자라면 이에 충분히 친숙하다고 생각된다. 디바이스(900)는 또한 키보드, 마우스, 터치스크린, 모니터, 디스플레이 등과 같은 입력 및 출력 디바이스와 연결되기 위한 입력 및 출력 포트(650)를 포함할 수 있다. 물론, 처리 부하를 분산시키기 위해 다양한 서버 기능이 여러 유사한 플랫폼에 분산 방식으로 구현될 수 있다. 대안적으로 서버는 하나의 컴퓨터 하드웨어 플랫폼을 적절히 프로그래밍함으로써 구현될 수 있다.

본 명세서 전반에 걸쳐, 구성요소 또는 모듈이라는 언급은 일반적으로 기능 또는 관련 기능 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목을 지칭한다. 유사한 참조 부호는 일반적으로 동일하거나 유사한 구성요소를 지칭하도록 의도된다. 구성요소 및/또는 모듈은 소프트웨어, 하드웨어 또는 소프트웨어 및/또는 하드웨어의 조합으로 구현될 수 있다.

위에서 설명한 도구, 모듈 및/또는 기능은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장부" 유형의 매체는 컴퓨터, 프로세서 등 또는 관련 모듈의 유형적인 메모리, 예를 들어, 다양한 반도체 메모리, 테이프 드라이브, 소프트웨어 프로그래밍을 위해 언제든지 비일시적 저장 매체를 제공할 수 있는 디스크 드라이브 등의 일부 또는 전부를 포함할 수 있다.

소프트웨어는 인터넷, 클라우드 서비스 공급자 또는 기타 통신 네트워크를 통해 전달될 수 있다. 예를 들어 통신을 통해 하나의 컴퓨터나 프로세서로부터 다른 컴퓨터나 프로세서로 소프트웨어를 로드할 수 있다. 본 명세서에 사용된 비일시적 유형적인 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독 가능 매체"와 같은 용어는 실행을 위해 프로세서에 명령어를 제공하는 데 참여하는 임의의 매체를 의미한다.

전술한 일반적인 설명은 단지 예시적이고 설명을 위한 것이며 본 발명을 제한하지 않는다. 본 발명의 다른 실시형태는 본 명세서의 고려 사항 및 본 명세서에 개시된 본 발명의 실행으로부터 당업자에게는 명백할 수 있다. 본 명세서 및 실시예는 단지 예시적인 것으로 간주되도록 의도된다.

Claims (20)

1. 적어도 하나의 연속 값을 예측하기 위해 디지털 이미지를 처리하는 컴퓨터 구현 방법으로서,
   하나 이상의 디지털 의료 이미지를 수신하는 단계;
   상기 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역(salient region)을 포함하는지 여부를 결정하는 단계;
   상기 하나 이상의 디지털 의료 이미지가 상기 적어도 하나의 현출 영역을 포함한다고 결정할 때, 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 현출 영역에 대응하는 적어도 하나의 연속 값을 예측하는 단계; 및
   상기 적어도 하나의 연속 값을 전자 저장 디바이스 및/또는 디스플레이에 출력하는 단계
   를 포함하는, 컴퓨터 구현 방법.
2. 제1항에 있어서, 상기 하나 이상의 디지털 의료 이미지가 상기 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 단계는,
   상기 하나 이상의 디지털 의료 이미지 각각을 적어도 하나의 영역으로 분할하는 단계;
   상기 적어도 하나의 영역이 현출 영역이라고 결정하는 단계;
   상기 현출 영역의 위치를 식별하는 단계; 및
   상기 현출 영역을 플래그하는 단계
   를 추가로 포함하는, 컴퓨터 구현 방법.
3. 제2항에 있어서, 상기 적어도 하나의 영역이 상기 현출 영역이라고 결정하는 단계는,
   현출성 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 영역에 대응하는 현출성 히트맵(saliency heatmap)을 생성하는 단계; 및
   상기 현출성 훈련된 기계 학습 시스템에 의해 상기 현출성 히트맵으로부터 적어도 하나의 관련 현출성 영역을 추출하는 단계
   를 추가로 포함하는, 컴퓨터 구현 방법.
4. 제2항에 있어서, 상기 적어도 하나의 영역이 상기 현출 영역이라고 결정하는 단계는,
   현출성 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 영역에 대한 현출성 예측을 생성하는 단계
   를 추가로 포함하는, 컴퓨터 구현 방법.
5. 제1항에 있어서, 상기 적어도 하나의 현출 영역에 대응하는 상기 적어도 하나의 연속 값을 예측하는 단계는,
   상기 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 현출 영역에 대응하는 적어도 하나의 공간 특성을 통합하는 단계
   를 추가로 포함하는, 컴퓨터 구현 방법.
6. 제1항에 있어서, 상기 하나 이상의 디지털 의료 이미지가 상기 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 단계는 현출성 훈련된 기계 학습 시스템에 의해 수행되는, 컴퓨터 구현 방법.
7. 제1항에 있어서, 상기 하나 이상의 디지털 의료 이미지는, 전체 슬라이드 이미지(WSI), 자기 공명 영상(MRI) 스캔, 컴퓨터 단층촬영(CT) 스캔, 양전자 방출 토포그래피(PET) 스캔 및/또는 유방 촬영 사진 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
8. 제1항에 있어서, 상기 하나 이상의 디지털 의료 이미지를 수신하는 단계는,
   환자 정보를 수신하는 단계를 추가로 포함하고, 상기 환자 정보는 연령, 민족 및/또는 보조 테스트 결과 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
9. 제1항에 있어서,
   상기 적어도 하나의 연속 값에 대응하는 권고 치료를 출력하는 단계를 추가로 포함하는, 컴퓨터 구현 방법.
10. 제1항에 있어서,
    상기 적어도 하나의 연속 값에 대응하는 예측된 중증도를 나타내는 단계를 추가로 포함하는, 컴퓨터 구현 방법.
11. 제1항에 있어서, 상기 적어도 하나의 연속 값은 연속 바이오마커 값에 대응하는, 컴퓨터 구현 방법.
12. 제1항에 있어서, 상기 적어도 하나의 현출 영역은 병리학적 상태, 암 영역, 하나 이상의 바이오마커, 특정 세포 유형, 특정 단백질 존재 및/또는 적어도 하나의 약물 반응 지표와 관련된 조직 또는 혈액 영역을 포함하는, 컴퓨터 구현 방법.
13. 하나 이상의 디지털 의료 이미지에 대한 적어도 하나의 연속 값을 예측하기 위해 디지털 이미지를 처리하는 컴퓨터 시스템으로서,
    명령어를 저장하는 적어도 하나의 메모리; 및
    동작을 수행하기 위해 명령어를 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고, 상기 동작은,
    상기 적어도 하나의 메모리에 액세스하고 프로세서 판독 가능 명령어를 실행하는 동작을 포함하고, 상기 프로세서 판독 가능 명령어는 상기 적어도 하나의 프로세서에 의해 실행될 때 복수의 기능을 수행하도록 상기 적어도 하나의 프로세서를 구성하고, 상기 기능은,
    하나 이상의 디지털 의료 이미지를 수신하는 기능;
    상기 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 기능;
    상기 하나 이상의 디지털 의료 이미지가 상기 적어도 하나의 현출 영역을 포함한다고 결정할 때, 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 현출 영역에 대응하는 적어도 하나의 연속 값을 예측하는 기능; 및
    상기 적어도 하나의 연속 값을 전자 저장 디바이스 및/또는 디스플레이에 출력하는 기능
    을 포함하는, 컴퓨터 시스템.
14. 제13항에 있어서, 상기 하나 이상의 디지털 의료 이미지가 상기 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 단계는,
    상기 하나 이상의 디지털 의료 이미지 각각을 적어도 하나의 영역으로 분할하는 단계;
    상기 적어도 하나의 영역이 현출 영역이라고 결정하는 단계;
    상기 현출 영역의 위치를 식별하는 단계; 및
    상기 현출 영역을 플래그하는 단계
    를 추가로 포함하는, 컴퓨터 시스템.
15. 제14항에 있어서, 상기 적어도 하나의 영역이 상기 현출 영역이라고 결정하는 단계는,
    현출성 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 영역에 대응하는 현출성 히트맵을 생성하는 단계; 및
    상기 현출성 훈련된 기계 학습 시스템에 의해 상기 현출성 히트맵으로부터 적어도 하나의 관련 현출성 영역을 추출하는 단계
    를 추가로 포함하는, 컴퓨터 시스템.
16. 제14항에 있어서, 상기 적어도 하나의 영역이 상기 현출 영역이라고 결정하는 단계는,
    현출성 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 영역에 대한 현출성 예측을 생성하는 단계
    를 추가로 포함하는, 컴퓨터 시스템.
17. 제13항에 있어서, 상기 적어도 하나의 현출 영역에 대응하는 상기 적어도 하나의 연속 값을 예측하는 단계는,
    상기 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 현출 영역에 대응하는 적어도 하나의 공간 특성을 통합하는 단계
    를 추가로 포함하는, 컴퓨터 시스템.
18. 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체로서, 상기 명령어는 프로세서에 의해 실행될 때 상기 프로세서로 하여금 디지털 이미지를 처리하여 하나 이상의 디지털 의료 이미지에 대한 적어도 하나의 연속 값을 예측하는 동작을 수행하게 하고, 상기 동작은,
    하나 이상의 디지털 의료 이미지를 수신하는 동작;
    상기 하나 이상의 디지털 의료 이미지가 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 동작;
    상기 하나 이상의 디지털 의료 이미지가 상기 적어도 하나의 현출 영역을 포함한다고 결정할 때, 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 현출 영역에 대응하는 적어도 하나의 연속 값을 예측하는 동작; 및
    상기 적어도 하나의 연속 값을 전자 저장 디바이스 및/또는 디스플레이에 출력하는 동작
    을 포함하는, 비일시적 컴퓨터 판독 가능 매체.
19. 제18항에 있어서, 상기 하나 이상의 디지털 의료 이미지가 상기 적어도 하나의 현출 영역을 포함하는지 여부를 결정하는 동작은,
    상기 하나 이상의 디지털 의료 이미지 각각을 적어도 하나의 영역으로 분할하는 동작;
    상기 적어도 하나의 영역이 현출 영역이라고 결정하는 동작;
    상기 현출 영역의 위치를 식별하는 동작; 및
    상기 현출 영역을 플래그하는 동작
    을 추가로 포함하는, 비일시적 컴퓨터 판독 가능 매체.
20. 제19항에 있어서, 상기 적어도 하나의 영역이 상기 현출 영역이라고 결정하는 동작은,
    현출성 훈련된 기계 학습 시스템에 의해 상기 적어도 하나의 영역에 대응하는 현출성 히트맵을 생성하는 동작; 및
    상기 현출성 훈련된 기계 학습 시스템에 의해 상기 현출성 히트맵으로부터 적어도 하나의 관련 현출성 영역을 추출하는 동작
    을 추가로 포함하는, 비일시적 컴퓨터 판독 가능 매체.

Images