TWI689944B - 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性 - Google Patents

利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性 Download PDF

Info

Publication number
TWI689944B
TWI689944B TW107142917A TW107142917A TWI689944B TW I689944 B TWI689944 B TW I689944B TW 107142917 A TW107142917 A TW 107142917A TW 107142917 A TW107142917 A TW 107142917A TW I689944 B TWI689944 B TW I689944B
Authority
TW
Taiwan
Prior art keywords
block
scale
level
slice image
molecular subtype
Prior art date
Application number
TW107142917A
Other languages
English (en)
Other versions
TW201926359A (zh
Inventor
穆斯塔法 傑柏
斌 宋
克里斯多福 塞托
查爾斯 法斯克
Original Assignee
美商南坦生物組學有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商南坦生物組學有限責任公司 filed Critical 美商南坦生物組學有限責任公司
Publication of TW201926359A publication Critical patent/TW201926359A/zh
Application granted granted Critical
Publication of TWI689944B publication Critical patent/TWI689944B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0041—Detection of breast cancer
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioethics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Oncology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本發明提供用於基於病理學切片影像（SI）判定分子亞型分類之技術。將複數訓練病理學切片影像分割成複數刻度區塊。將區塊表徵中的每一者映射至區塊級描述符並結合該些區塊級描述符，使用深度學習神經網路將每個刻度區塊轉換成多重刻度描述符。將一分類器模型配置及訓練以處理該些多重刻度描述符，可操作分類器模型以將區塊級分子亞型分類指派至對應於該訓練病理學切片影像之每一刻度區塊，並根據區塊級分子亞型分類來判定病理學切片影像級分子亞型分類。配置一分子亞型化引擎以判定一測試病理學切片影像之病理學切片影像級分子亞型分類。

Description

利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性
本案揭露關於病理學應用的成像，特別關於使用病理學切片影像於分子分型技術。
一般而言，許多類型的癌症可具有不同的分子亞型，其會影響患者對治療的反應。例如，乳癌為女性中最常被確診的非皮膚性癌症，在2018年美國估計有超過266,120件新病例。依據激素受體(hormone receptor，HR)及人類表皮生長因子受體2(human epidermal growth factor receptor 2，HER2)的狀態可識別出數種不同的乳癌分子亞型。這些分子亞型包括：管狀A型及管狀B型(HR-陽性/HER2-陰性乳癌)、HER2-陽性、類基底型(HR-陰性/HER2-陰性)、及類正常型。HR及HER2的狀態對於預測預後及對治療的反應很重要，因為其等在該等亞型之間不同。免疫組織化學染色法(Immunohistochemistry，IHC)或原位 雜交法(in situ hybridization，ISH)是用來區分亞型的標準方法。最近，研究證實經識別的亞群相較於標準臨床病理學因子，具有更顯著差異的存活率，使得分子特徵分析法，例如：MammaPrint、Oncotype DX、及微陣列預測分析50(Predictor Analysis of Microarray 50，PAM50)，已進展為輔助預後指標。尤其，PAM50分型(作為NanoString Prosigna檢測盤之部份)變得更常用於評估早期乳癌階段對化療有反應的可能性。然而，該等基於特徵的測試相較於IHC具有較高的成本及較長的處理時間，故並非普遍地被採用。
不像分子特徵分析法，病理學檢驗經常收集蘇木素及伊紅(H&E)染色生檢切片，且通常將其以數位記錄成病理學切片影像(slide image，SI)。一般而言，切片成像(例如：全切片成像)是指掃描習用載玻片以產生數位切片，由病理學家用於診斷、教育及研究目的。
機器學習法自病理學切片影像擷取知識的能力可超越人類，如經建立以增強病理學檢查工作流程的許多電腦輔助診斷(Computer-assisted diagnosis，CAD)軟體解決方案所證實。先前已證明，甚至可利用病理學切片影像作為機器學習模型的輸入來估計基因分型。深度學習方法為一組新興有影響力的機器學習技術，極適於這些基於影像之分類任務。計算能力與卷積網路架構兩者的近期發展已大幅提昇這些技術對於生物學中若干新領域的應用性，包括：體學(omics)分析、生醫信號處理及生醫 成像。
令人感興趣的病理學切片影像分析是具刻度區塊表徵的利用，其允許同時使用擷取細胞級資訊之高變焦區塊以及擷取組織結構之整體相依性的低變焦區塊。病理學切片影像的刻度區塊表示已用來建立高精確性情境感知堆疊卷積神經網路(CNN)，以區分侵襲性乳管癌(IDC)與良性乳管原位癌(DCIS)。同樣地，此相同方法已用於精確地偵測來自附近淋巴結組織的生檢樣本對於轉移是否為陽性。
儘管使用具刻度區塊表示可提高基於病理學切片影像分類任務之效果，但對於計算千兆像素的病理學切片影像之所有可能具刻度區塊訓練的複雜度是相當可觀的。因此，先前的研究已採用將所分析區塊限制為全影像之子集的策略。例如，在乳癌分型的研究中，已使用呈20x放大率之藍-黃通道上的最小濾波器來選擇富含上皮細胞之區塊。同樣地，在非小細胞肺癌病理學切片影像的研究中，僅使用呈40x放大率之前10個細胞密集1,000×1,000像素之區塊。然而，該等策略利用在其各別適應症中細胞形態之組織特異性知識。到目前為止，針對富含資訊之影像區塊的普遍性方法僅被視為正在進行的研究領域。
如上所述，癌症亞型(例如由表達型PAM50檢驗分類者)為獨立於標準臨床病理學因子的預後，但闡明這些亞型所需 的分子測試尚未經常性地進行。另外，使用專一性較低的標靶方法(例如RNA定序法)來偵測腫瘤內異質性是困難的。
然而，本文描述僅使用病理學切片影像(SI)(例如：蘇木素及伊紅(H&E)染色生檢組織切片地病理學切片影像)以判定分子亞型分類及偵測分子亞型的腫瘤內異質性之系統、方法及製品。進一步地，證據顯示該等區塊級分析可正確地識別異質性腫瘤。尤其，分類器模型可使用先前經亞型化的病理學切片影像(SI)訓練後，接著用於將一測試病理學切片影像(SI)內之癌症特定區塊分類為主要分子亞型(例如：類基底型、HER2富集型、管狀A型、及管狀B型、及類正常型)。因此，先進機器學習方法可僅使用一般常規收集的病理學切片影像(SI)來估計分子測試，且因此可藉由偵測侵襲性少數亞克隆(subclone)來增加預後能力。
在一實施例中，取得複數個訓練病理學切片影像(training SI)，例如每一訓練病理學切片影像對應至一患者，並將其分割成複數刻度區塊。該些訓練病理學切片影像可包含蘇木精及伊紅(H&E)染色全切片影像。該些刻度區塊的每一刻度區塊包含呈一或多種變焦等級之一或多個區塊表徵，其以一對應訓練病理學切片影像內之一位置處為中心。使用深度學習神經網路(例如Inception-v3、resnet34、resnet152、densenet169、densenet201或其它深度學習卷積神經網路中之一者)，藉由對於每一刻度區塊將該等一或多個區塊表徵中的每一者映射至一區 塊級描述符並結合該些區塊級描述符，以將該些刻度區塊中的每一刻度區塊轉換成一多重刻度描述符。可配置一Inception-v3神經網路之logits層以將一或多個區塊表示中之每一者映射至一區塊級描述符。該些區塊級描述符可包含多維度描述向量。可使用主成份分析法(Principal component analysis,PCA)或另一降維技術來降低該些多維度描述向量之維度。一分類器模型經配置及訓練以處理該些多重刻度描述符，使得對於每一訓練病理學切片影像，該分類器模型可操作以將一區塊級分子亞型分類指派至對應於該訓練病理學切片影像的複數刻度區塊中之每一者並基於該等區塊級分子亞型分類判定一病理學切片影像級(SI-level)分子亞型分類。該區塊級分子亞型分類及病理學切片影像級分子亞型分類可為包含複數個分子亞型之異質性分類。配置一種分子亞型化引擎以使用該經訓練分類器模型來判定一測試病理學切片影像(test SI)之病理學切片影像級分子亞型分類。
在某些實施例中，該些刻度區塊中的每一者可包含相對於彼此的相對高變焦等級區塊及相對低變焦等級區塊，例如5x、10x、20x、及40x的變焦等級區塊表徵中的其中之一或多者。
在某些實施例中，可基於多數區向量標準或加權標準對於該些刻度區塊判定該病理學切片影像級分子亞型分類。該加權標準可基於細胞密度及轉錄活性中的至少一者。
在某些實施例中，該病理學切片影像級分子亞型分類可包含Prosigna乳癌預後基因特徵檢驗、或PAM50亞型分類，例 如類基底型、HER2富集型、管狀A型、管狀B型、及類正常型的其中之一、或不同亞型分類的一組合。
在某些實施例中，可選擇該些刻度區塊之一子集以進一步處理，例如，藉由使用無監督分群(例如k-平均分群法)或隨機選擇將該些刻度區塊分群以界定癌症富集區域。可選擇該些刻度區塊之子集以將腫瘤內容總結在一訓練病理學切片影像內。
在某些實施例中，可針對最小色彩變化過濾該些刻度區塊，且可基於該過濾消除被判定為空白空間或背景的每一刻度區塊而不進一步處理。
在某些實施例中，該分類器模型可包含下列之一或多者：包括一徑向基函數(radial basis function,RBF)核的一多類別支援向量機(multiclass support vector machine,SVM)、單純貝氏分類器、決策樹、提升樹、隨機森林分類器、神經網路、最近鄰分類器、線性分類器、及非線性分類器。
在某些實施例中，可取得一測試病理學切片影像(test SI)。將該測試病理學切片影像分割成複數刻度區塊，其中該些刻度區塊中中每一刻度區塊包含呈一或多種變焦等級的一或多個區塊表徵，其以該測試病理學切片影像內之一位置處為中心。藉由對於每一刻度區塊，將該些一或多個區塊表徵中的每一者映射至一區塊級描述符並結合該些區塊級描述符，以使用深度學習神經網路將該些刻度區塊中的每一刻度區塊轉換為多重刻度描述符。使用該經訓練分類器模型處理該些多重刻度描述符，其中 可操作該經訓練分類器模型以將一區塊級分子亞型分類指派至該些刻度區塊中的每一者，並根據該些區塊級分子亞型分類判定病理學切片影像級分子亞型分類。可例如經由一使用者介面自一使用者獲得，或可基於生物標準、一啟發式機器學習或影像處理演算法之一輸出、或一深度學習卷積演算法之一輸出中之一或多者自動地選擇該測試病理學切片影像內判定為癌症富集之經選擇關注區域之一指示。經選擇關注區域可為一質心或封閉曲線，及該些刻度區塊可包含該經選擇關注區域。
本發明標的之各種目標、特徵、態樣及優點由以下說明以及隨附圖式將變得顯而易見，其中相同數字表示相同組件。
100:病理學切片影像(SI)
102:組織/細胞區
104:血漿區域
106:刻度區塊
200:系統
202:1600×1600像素區塊
204:400×400像素區塊表徵/色彩區塊/刻度區塊/中心區塊
206:深度學習神經網路
208:區塊級描述符/區塊表徵
210:多重刻度描述符
214:分類器模型
216:區塊級分子亞型分類
218:病理學切片影像級分子亞型分類
220:異質性分類
300:方塊圖
302、304、306:訓練病理學切片影像1至N
312:測試病理學切片影像
310:訓練引擎
314:分類器模型
320:亞型分類引擎
330:持久儲存裝置
340:主記憶體裝置
600:表徵
602:分群3
604:分群5
606:分群11
608:分群16
610:分群2
700:表徵
702:區塊A
704:區塊B
706:區塊C
708:區塊D
800:表徵
802:表徵A
804:表徵B
900:用戶端-伺服器關係
910:用戶端
920:伺服器
930:網路
1000:設備/電腦
1010:處理器
1020:持久儲存裝置
1030:主記憶體裝置
1080:網路介面
1090:輸入/輸出裝置
本專利或申請書檔案包含至少一個以彩色執行之圖式。具彩色圖式之本專利或專利申請公開案之複本將在要求並給付必要費用下由當局提供。
圖1是根據一實施例分析的一病理學切片影像的一圖解表徵。
圖2是根據一實施例用於基於病理學切片影像判定分子亞型分類之實例操作的一方塊圖。
圖3是根據一實施例用於基於病理學切片影像判定分子亞型分類之一系統的一方塊圖。
圖4是根據一實施例用於基於病理學切片影像判定分子亞型分類之實例操作的一流程圖。
圖5是根據一實施例用於基於病理學切片影像判定分子亞型分類之實例操作的一流程圖。
圖6是根據一實施例的病理學切片影像之示例刻度區塊的一圖解表徵。
圖7是根據一實施例之病理學切片影像之一癌症分型富集刻度區塊的一圖解表徵。
圖8是根據一實施例之異質性之獨立證據之圖解表徵。
圖9是一示例性用戶端-伺服器關係之一方塊圖，其可用於實施各種實施例之一或多種態樣；及圖10說明一分散式電腦系統之一方塊圖，其可用於實施各種實施例之一或多種態樣。
儘管本發明參照以上圖式描述，該等圖式意欲用來說明，及其它實施例符合本發明之精神，並在本發明之範疇內。
各種實施例將在以下參照隨附圖式全面地描述，其形成本文之一部份，且其顯示並說明實施該些實施例之特定實例。然 而，本說明書可以許多不同形式體現且不應視為限制在本文提出實施例；而是，提供該些實施例使得此說明書詳盡及完整，並將本發明之範疇完全傳達予熟悉本技術之人士。除此之外，本說明書可體現為方法或裝置。因此，本文各種實施例的任一者可採用一全硬體實施例、一全軟體實施例或結合軟體及硬體態樣之一實施例之形式。因此，以下說明書未視為具有限制含意。
在整個說明書及申請專利範圍中，除非上下文另外明確指出，否則以下術語採用與本文明確相關的含意：如本文所用之片語「在一實施例中」不必然指相同實施例，但其可能係指相同實施例。因此，如下所述，可容易地結合本發明之各種實施例，而不背離本發明之範疇或精神。
如本文所用，術語「或」為一「包含或」運算子且等同於術語「及/或」，除非本文另外明確指明。
術語「基於」是非排他性的，且允許基於未述及之額外因子，除非本文另外明確指明。
如本文所用，且除非本文另外指明，術語「耦接至」包括直接耦接(其中耦接至彼此之兩個元件彼此接觸)及間接耦接(其中至少一個額外元件位於該等兩個元件之間)。因此，術語「耦接至」及「與…耦接」作同義詞使用。在其中兩個或更多個組件或裝置可交換資料之網路環境的範圍內，術語「耦接至」及「與…耦接」亦用來意指「通訊地與…耦接」，可能透過一或多種中介裝置。
此外，在整個說明書中，「一(a、an)」及「該」的含意包括複數之參照，且「在」的含意包括「在…之中」及「在…之上」。
儘管本文呈現之該等各種實施例中之一些構成發明元件之單一組合，應了解本發明標的物視為包括所揭露元件之所有可能組合。因此，若一實施例包含元件A、B、及C，且另一實施例包含元件B及D，則本發明標的物亦視為包括A、B、C、或D之其它剩餘組合，即使本文未明確討論。進一步地，轉折術語「包含」意指具有作為部份或部件，或為該等部份或部件。如本文所用，轉折術語「包含」為包括性或開放端，且不排除額外未列舉之元件或方法步驟。
在整個以下討論中，數個參照物將關於伺服器、服務器、介面、引擎、模組、客戶端、節點、入口網站、平台、或其它由計算裝置形成的系統。應了解此等術語之使用視為表示具有至少一個處理器(例如：ASIC、FPGA、DSP、x86、ARM、ColdFire、GPU、多核心處理器等等)的一或多個計算裝置，其經配置以執行儲存在一電腦可讀有形、非暫態媒體(例如：硬體、固態驅動器、RAM、快閃記憶體(flash)、ROM等等)上的軟體指令。例如，一伺服器可包括以滿足所述角色、責任、或功能之方式操作為一網路伺服器、資料庫伺服器、或其它類型之電腦伺服器的一或多個電腦。應進一步了解所揭示基於電腦演算法、程序、方法、或其它類型之指令集可體現為一電腦程式產品，其包含儲存 有使處理器執行所揭示步驟之指令的一非暫態、有形電腦可讀媒體。該等各種伺服器、系統、資料庫、或介面可使用標準協定或演算法交換資料，可能是基於HTTP、HTTPS、AES、公用-私用金鑰交換、網路服務API、已知金融交易協定、或其它電子資訊交換方法。資料交換可在封包交換網路、電路交換網路、網際網路、LAN、WAN、VPN或其它類型之網路上進行。
如本文說明所用且在以下整個申請專利範圍中，當描述系統、引擎、伺服器、裝置、模組、或其它計算元件為經配置以在記憶體中之資料上實行或執行功能時，「經配置以」或「經編程以」之含意係定義為由一組儲存於該計算元件之記憶體中之軟體指令程式化該計算元件之一或多個處理器或核心以在儲存於該記憶體之標的資料或資料物件上執行該組功能。
須注意的是，針對電腦的任何語言應可被讀取，以包括以下計算裝置的任何適合組合：伺服器、介面、系統、資料庫、代理、節點、引擎、控制器、模組、或可被個別地或集合地操作的其它類型之計算裝置。應了解該些計算裝置包含一處理器，其經配置以執行儲存於一有形、非暫態電腦可讀取儲存媒體(例如：硬體、FPGA、PLA、固態驅動器、RAM、快閃記憶體、ROM等等)上之軟體指令。該軟體指令配置或編程該計算裝置相對於所揭示的設備提供如下討論之角色、責任、或其它功能。進一步地，所揭示之技術可體現為一電腦程式產品，其包括儲存該些軟體指令以使一處理器執行，與基於電腦演算法、過程、方法、或 其它指令之實施相關所揭示步驟的一非暫態電腦可讀取媒體。在一些實施例中，各種伺服器、系統、資料庫、或介面使用標準協定或演算法交換資料，其可能基於HTTP、HTTPS、AES、公用-私用金鑰交換、網路服務API、已知金融交易協定、或其它電子資訊交換方法。在裝置間的資料交換可在一封包交換網路、網際網路、LAN、WAN、VPN、或其它類型之封包交換網路；電路交換網路；細胞交換網路；或其它類型之網路上實行。
所揭示之本發明標的物之重點在使計算裝置之架構或配置可超越人類能力在大量數位資料上操作，以用於包括以下之目的：在數位記錄病理學全切片影像內判定分子亞型分類及偵測腫瘤內異質性。
應了解所揭示的技術提供許多有利技術效果，包括：改善使用病理學全切片影像判定分子亞型分類及偵測腫瘤內異質性之範圍、正確率、緊密度、效率、及速度。亦應了解以下說明書未意圖作為廣泛的概述，且因此概念可為了清楚與簡潔起見以所關注者簡化。
如上所述，癌症亞型(例如乳癌亞型，如由表達型PAM50檢驗分類者)為獨立於標準臨床病理學因子的預後，但闡明這些亞型所需的分子測試尚未經常性地進行。此外，使用專一性較低的標靶方法來偵測腫瘤內異質性是困難的。
本文描述用於僅使用病理學切片影像(SI)(例如：蘇木精及伊紅(H&E)-染色生檢組織切片之病理學切片影像)中的 刻度區塊來估計任何癌症指徵(indication)之PAM50分型的系統、方法及製品。使用亞型的病理學切片影像訓練一分類器模型以識別癌症富集區塊(cancer-rich patches)，接著用於將一測試病理學切片影像(test SI)內的癌症特異性區塊分類到主要分子亞型(以乳癌為例，類基底型、HER2富集型、管狀A型、管狀B型、及類正常型)。在各種實施例中，可使用相對最小數量之此等癌症富集病理學切片影像(SI)區塊來將患者分類成分子定義亞型(即，PAM50)，其使用病理學切片分析通常無法區分。進一步地，測試結果顯示如本文所示之區塊級分析可精確地識別異質性腫瘤。
本文表示之基於區塊亞型化系統及方法之一項明顯優點為在未憑藉數值反卷積方法下保留直接觀察腫瘤內異質性之能力。因此，本文之技術可用來識別在相同組織切片內呈現至少兩種分子亞型之癌症患者，並使用獨立資料支援該等例子作為混合群體，包括整體存活資料。因此，已達成一機器學習方法，其僅使用一般常規收集的病理學切片影像(SI)即可用於估計分子亞型的高級測試，且藉由偵測侵襲性少量亞克隆(subclone)(其隨時間可在一腫瘤中變為顯性)可增加預後能力。儘管其它研究已使用基於影像測量異質性作為預後生物標記，本文之方法是關於預後內在亞型異質性(prognostic intrinsic subtype heterogeneity)可在診斷病理學切片影像(SI)中識別。
圖1是根據本發明之一實施例分析之一病理學切片影像之一圖解表徵。病理學切片影像(SI)100可在病理學家想查看疑似癌症的生檢切片或做出其它醫學診斷時產生。通常，全切片病理學影像(例如：病理學切片影像100)可包括超過兩百萬個細胞。因此，可使用一蘇木精及伊紅染料(「H&E染料」或「HE染料」)來區分在全切片病理學影像內的各種結構。如所示，蘇木精為深藍色或紫色染料，其結合至各種組織/細胞區102(即，嗜醶性物質，例如：DNA及RNA)，而伊紅為一紅色或粉紅色染料，其結合至嗜酸性物質，包括：肌肉細胞中之細胞質絲、細胞內膜、及細胞外纖維，諸如：血漿區域104。在一實施例中，可選擇病理學切片影像100之一刻度區塊106，用於醫學診斷並基於各種不同組織區域研判。例如，可選擇病理學切片影像100的一或多個刻度區塊來判定分子亞型分類並偵測腫瘤內異質性。
圖2是根據一實施例用於基於病理學切片影像判定分子亞型分類之一系統的一方塊圖。在系統200中，基於固定尺寸的刻度區塊方法可同時進行區域分析，以及擷取病理學切片影像(SI)的微觀特性及目視特性。在一實施例中，可將病理學切片影像(例如：獲自TCGA資料來源之與PAM50標記相關之福馬林固定石蠟包埋(formalin-fixed paraffin-embedded，FFPE)塊之侵襲性乳癌(breast invasive carcinoma，BRCA)診斷全切片影像)分割或平鋪成呈20x變焦等級之1600×1600像素區塊202。可針對最小化色彩變化過濾該等1600×1600像素區塊202以消除空白 (即，背景)區塊而不進一步處理。進一步地，可藉由降取樣並裁剪到中心400×400像素以將每一1600×1600像素區塊202轉換成400×400像素區塊表徵204，其係呈例如5x、10x、20x、及40x放大倍數中之一或多者，以相同位置或點為中心。
在一實施例中，可使用Inception-v3、resnet34、resnet152、densenet169、densenet201、或其它深度學習卷積神經網路中之至少一者以將每一400×400像素色彩區塊204映射為呈每一變焦等級的區塊級描述符(即，描述向量)208。例如，可使用Inception-v3影像識別神經網路206的logits層以將每一色彩區塊204映射至區塊級描述符208。在某些實施例中，可使用主成份分析(PCA)或另一降維技術來降低區塊級描述符的維度。例如，已顯示可在400×400像素區塊表徵204上使用PCA以產生經降維之區塊表徵208，其保留>96%之變化度。該經降維區塊級描述符208的一或多個變焦等級(例如：5x、10x、20x、及40x之放大率中之一或多者)的區塊級描述符可結合(例如：序連)成一多重刻度描述符210。
在212中，可過濾所分析位置以僅包括癌症富集位置(相對於細胞外基質或相鄰正常組織)以減少計算複雜度並確保一衛生輸入以訓練分類器模型214，其可為以下其中之一或多者：包括一徑向基函數(radial basis function,RBF)核之一多類別支援向量機(multiclass support vector machine,SVM)、一單純貝氏分類器、一決策樹、一提升樹、一隨機森林分類器、一神經網路、 一最近鄰分類器、一線性分類器、及一非線性分類器。在一實施例中，可(隨機地)選擇用於訓練的複數刻度區塊204，例如使用無監督分群法(例如：k-平均分群法)來群組化，其中該分群數目可依經驗判定。可進一步研究(例如：由一病理學家)具足夠細胞性的刻度區塊的分群以識別富含腫瘤內容的分群。例如，對於每一病理學切片影像，可使用屬於癌症富集分群之區塊進行進一步分析。
如上所述，分類器模型214可包含一多類型支援向量機，其通常已知對大量資料集展現優異的性能，且可經訓練以例如針對多重刻度描述符210來判定區塊級分子亞型分類216。該些區塊級(patch-level)分子亞型分類216接著可用來推斷一病理學切片影像級(SI-level)分子亞型分類218並偵測分子亞型異質性220。
圖3是用於根據一實施例用於基於病理學切片影像判定分子亞型分類之一系統之一方塊圖。在方塊圖300中，用於基於病理學切片影像判定分子亞型分類的元件包括：訓練引擎310、亞型分類引擎320、持久儲存裝置330、及主記憶體裝置340。在一實施例中，可配置訓練引擎310以自持久儲存裝置330及主記憶體裝置340中任一或二者取得訓練病理學切片影像(training SI)1至N 302、304、306。接著訓練引擎310可配置及訓練分類器模型214(例如：SVM)，其儲存於持久儲存裝置330及主記憶體裝置340中之任一或二者，並可使用訓練病理學切片影像1 至N 302、304、306作為訓練輸入。例如，訓練引擎310可將每一該等訓練病理學切片影像1至N 302、304、306分割成複數個刻度區塊204，其中該些刻度區塊204中的每一刻度區塊包含呈一或多個變焦等級之一或多個區塊表徵，其以一對應訓練病理學切片影像內之一位置處為中心。藉由對於每一刻度區塊將該些一或多個區塊表徵中的每一者映射至一區塊級描述符208，並結合該些區塊級描述符以產生一多重刻度描述符210，訓練引擎310可接著使用一深度學習神經網路206(例如：Inception-v3、resnet34、resnet152、densenet169、densenet201或其它深度學習卷積神經網路中之一者)將該等複數個刻度區塊204之每一刻度區塊轉換成一多重刻度描述符。例如，該些區塊級描述符可經序連、平均、堆疊、或數學上或經驗上混合或操縱中之一或多者以產生一多重刻度描述符210。訓練引擎310可配置並訓練分類器模型214以處理該多重刻度描述符210，使得對於每一訓練病理學切片影像1至N 302、304、306分類器模型214可操作以將一區塊級分子亞型分類216指派至對應於一訓練病理學切片影像之該些刻度區塊中的每一者，並基於該些區塊級分子亞型分類216判定一病理學切片影像級分子亞型分類218或異質性分類220。
訓練引擎310可配置亞型分類引擎320以使用經訓練的分類器模型314來基於一測試病理學切片影像(test SI)312判定一病理學切片影像級分子亞型分類。例如，亞型分類引擎320可獲得測試病理學切片影像312；將測試病理學切片影像312分割 成複數刻度區塊204，其中該些刻度區塊204中的每一刻度區塊包含呈一或多個變焦等級之一或多個區塊表徵，其等以測試病理學切片影像312內之一位置處為中心；藉由對於每一刻度區塊將該組之區塊表徵中的每一者映射至一區塊級描述符208並將該些區塊級描述符結合(例如：序連、平均、堆疊、數學上或經驗上混合或操縱等等)成一多重刻度描述符210，使用深度學習神經網路206將該些刻度區塊的每一刻度區塊轉換成一多重刻度描述符。接著亞型分類引擎320可使用經訓練分類器模型314處理該多重刻度描述符210，其中可操作經訓練的分類器模型314以將一區塊級分子亞型分類216指派成該些刻度區塊中的每一者，並基於該等區塊級分子亞型分類216判定一病理學切片影像級分子亞型分類218或異質性分類220。
應注意圖3中的該些元件，及屬於該些元件的各種功能(儘管為示例性)經描述為僅供易於了解之目的。熟習本技術者應了解屬於該些元件其中之一或多個功能可由其它元件中任一者進行，及/或由經配置以進行該等各種功能之組合的一元件(未示出)來進行。因此，應注意應用於一訓練引擎310、一亞型分類引擎320、一持久儲存裝置330及一主記憶體裝置340的任何語言應可被讀取，以包括任何合適組合的計算裝置，包括：伺服器、介面、系統、資料庫、代理、節點、引擎、控制器、模組、或其它類型之計算裝置，其等可個別地或集合地操作以執行屬於該等各種元件之功能。進一步地，熟習本技術者應了解可在用戶 端-伺服器關係之範圍下實行本文所述圖3之系統之一或多個該等功能，諸如藉由一或多個伺服器、一或多個用戶端裝置(例如：一或多個用戶裝置)及/或藉由一或多個伺服器及用戶端裝置之組合。
圖4是根據一實施例用於基於病理學切片影像判定分子亞型分類之實例操作之一流程圖。在流程圖400中，在步驟402中獲得複數個訓練病理學切片影像1至N 302、304、306(例如：各對應於一患者)，並分割成複數刻度區塊。例如，該些刻度區塊的每一刻度區塊可包含呈一或多個變焦等級之一或多個區塊表徵，其等以一對應訓練病理學切片影像內之一位置處為中心。
在步驟404中，藉由每一刻度區塊將該些一或多個區塊表徵中的每一者映射至一區塊級描述符並結合該些區塊級描述符，使用深度學習神經網路(諸如Inception-v3、resnet34、resnet152、densenet169、densenet201或其它深度學習卷積神經網路中之至少一者)將該些刻度區塊中的每一刻度區塊轉換成多重刻度描述符。例如，一Inception-v3神經網路的logits層可經配置以將一或多個區塊表徵中的每一者映射到一區塊級描述符。該些區塊級描述符可包含多維度描述向量，且可使用主成份分析(PCA)或另一降維技術來降低該些多維度描述向量之維度。進一步地，結合該些區塊級描述符可包含序連、平均、堆疊、或數學上或經驗上混合或操縱該等區塊級描述符中之一或多者以產生一多重刻度描述符。在某些實施例中，可使用神經網路以判定 或學習結合該區塊級描述符來產生一多重刻度描述符之一最佳方法。
在步驟406中，將一分類器模型(例如：SVM)配置及訓練以處理該些多重刻度描述符，使得對於每一訓練病理學切片影像，可操作該分類器模型以將一區塊級分子亞型分類指派至對應於該訓練病理學切片影像的複數個刻度區塊中之每一者並基於該等區塊級分子亞型分類判定一病理學切片影像級分子亞型分類。例如，該區塊級分子亞型分類及病理學切片影像級分子亞型分類可為包含複數個分子亞型之異質性分類。在步驟410中，配置一分子亞型化引擎以使用該經訓練分類器模型來判定一測試病理學切片影像之一病理學切片影像級分子亞型分類。
圖5是根據一實施例用於基於病理學切片影像判定分子亞型分類之實例操作的一流程圖。在流程圖500中，配置一亞型分類引擎(例如：亞型分類引擎320)以使用該經訓練分類器模型來對一測試病理學切片影像判定一病理學切片影像級分子亞型分類。例如，在步驟502中，獲得一測試病理學切片影像。在步驟504中，將該測試病理學切片影像分割成複數刻度區塊，其中該些刻度區塊的每一刻度區塊包含呈一或多個變焦等級之一或多個區塊表徵，其等以該測試病理學切片影像內之一位置處為中心。
在步驟506中，藉由對於每一刻度區塊將該組區塊表徵中之每一者映射至一區塊級描述符並結合該些區塊級描述符，使 用深度學習神經網路將該些刻度區塊中的每一刻度區塊轉換為一多重刻度描述符。例如，結合該些區塊級描述符可包含序連、平均、堆疊、或數學上或經驗上混合或操縱該些區塊級描述符中之一或多者以產生一多重刻度描述符。在某些具體實施例中，可使用神經網路以判定或學習結合該些區塊級描述符來產生一多重刻度描述符之一最佳方法。
在步驟508中，使用該經訓練分類器模型處理該些多重刻度描述符，其中可操作該經訓練分類器模型以將一區塊級分子亞型分類指派至該些複數個具刻度區塊中的每一者，並根據該些區塊級分子亞型分類判定一病理學切片影像級分子亞型分類。在某些實施例中，可例如經由一使用者介面自一使用者獲得，或可基於例如生物標準、一啟發式機器學習或影像處理演算法之一輸出、或一深度學習卷積演算法之一輸出中之一或多者自動地選擇該測試病理學切片影像內判定為癌症富集之經選擇關注區域之一指示。例如，該經選擇關注區域可為一質心或封閉曲線，且該些刻度區塊可包含該經選擇關注區域。
測試結果
關於本文各種實施例的測試結果已被取得，其基於獲自TCGA來源之PAM50標記相關之來自793位乳癌患者的1,142個診斷(訓練)病理學切片影像。平均來說，各訓練病理學切片影像為122,600×220,968像素，呈5x放大倍率，得到2,709,065個總分析位置。在施加色彩過濾以移除非組織區域之後，保留 1,985,745個位置。每個位置自該20x變焦等級降取樣以呈現以一相同位置為中心之20x、10x、及5x變焦等級，得到5,957,235個400×400像素之色彩區塊。將該等二維色彩區塊使用Inception-v3之logits層轉換成長度2048之向量。將主成份分析(PCA)獨立地應用至5x、10x、及20x之區塊級描述符(即，多維度向量)並探索各種程度的降維，如下表1所示。
Figure 107142917-A0305-02-0025-1
發現768之區塊級描述符長度在每一變焦等級保留>96%之變異量。在將該訓練病理學切片影像轉換成多重刻度區塊表示之後，該總資料集尺寸為1,985,745個位置×2304個特徵之矩陣。
癌症富集
隨機選擇總共238,728個多重刻度區塊表徵以界定癌症富集質心。使用k-平均分群法識別24個分群。該些24個分群中的14個聚集有足夠的細胞結構以用於進一步分析。病理學家註記來自每一分群(共336個)之24個區塊以判定該區塊是否含有腫瘤組織(參見下表2)。
Figure 107142917-A0305-02-0026-2
圖6是根據一實施例的病理學切片影像之示例刻度區塊的一圖解表徵。在表徵600中，五個最前面分群具有最癌症富集之樣本(>80%之區塊為癌症富集)。尤其，分群3 602為100%癌症富集且呈現5.51%之區塊；分群5 604為91.67%癌症富集且呈現4.52%之區塊；分群11 606為87.50%癌症-富集且呈現4.03%之區塊；分群16 608為87.50%癌症富集且呈現4.31%之區塊；及分群2 610為82.61%癌症富集且呈現5.21%之區塊。
PAM50分類
下表3總結在該區塊處之亞型分類(分型)之正確率，及該訓練病理學切片影像樣本之五重交叉驗證之保留測試樣本中的患者等級。
Figure 107142917-A0305-02-0028-3
平均來說，來自354位患者的病理學切片影像用來訓練及來自88位患者的病理學切片影像用來測試正確率。在保留測試患者中，分類個別區塊比當聚集在單一病理學切片影像級分類中不正確(58.6%相對於66.1%之正確率)。其中多個診斷病理學切片影像可用於一給定患者時，匯總多個切片亦可增加正確率(66.1%相對於67.3%之正確率)。
下表4顯示在兩個驗證集中之效能：223位患者之一未選定群組，及含有具低信度基於RNAseq之PAM50分類之104位患者的一第二群組。
Figure 107142917-A0305-02-0029-4
在未選定患者之群組中，分類效能類似於交叉驗證設定(65.9%相對於66.1%之正確率)。混淆之最大來源是將管狀A型患者誤分類為管狀B型；及將類基底型誤分類為其它類別。在低信賴度患者內，可能由於此群組富含異質性，總體患者正確率低得多(56.7%正確)。
圖7是根據一實施例之病理學切片影像之一癌症分型富集刻度區塊的一圖解表徵。在表徵700中，顯示對四份SI實例的區塊級亞型分類。尤其，判定區塊A 702包含100%類基底型亞型；判定區塊B 704具有2.53%類基底型、68.35%HER2富集 型、及29.11%管狀A型亞型；判定區塊C 706具有一100%管狀A型亞型；並判定區塊D 708具有2.50%類基底型、1.25% HER2富集型、8.75%管狀A型及87.50%管狀B型亞型。
偵測異質性
圖8是根據一實施例之異質性之獨立證據之圖解表徵800。在表徵A 802中，>30%之區塊分類為類基底型及>30%之區塊分類為管狀A型的76個病理學切片影像視為可能之異質性(HET)樣本。藉由比較些HET樣本與純管狀A型(PLA)及純類基底型(PBL)樣本以進行分析。為定義純亞型，使用Youden分析識別在基於區塊分類與基於RNAseq分類之間之最大化一致性的臨限值。
發現分類為管狀A型之至少63.7%的區塊，其臨限值與基於RNAseq之管狀A型分類最大化一致，其中真陽性率(TPR)為0.80及偽陽性率(FPR)為0.15。在此臨限值，將204個病理學切片影像分類成PLA。同樣地，分類為類基底型之至少40.5%的區塊的臨限值與基於RNAseq類基底型分類最大化一致，其中TPR為0.81及FPR為0.14。此導致將81個病理學切片影像指派為PBL。22位患者對於任一亞型不具有足夠的混合型也不具有足夠的純度以分類為HET、PBL、或PLA，且未包括在進一步分析中。
異質性證據
整體RNAseq表達分佈在純及異質性設定間比較，如由基於影像分類所定義。在PAM50基因組上之批次分析顯示低分離，其使用在PBL相對於HET(SSC=0.34)與PLA相對於HET之間(SSC=0.507)之分散分離標準(SSC)，同時保留在PBL相對於PLA子集(SSC=0.987)之間的期望顯著分離，確認該HET表達分佈在PBL與PLA亞型之間的中間，如表徵B 804所說明。另外，該HET子集之特定HR表達針對三個主要乳癌相關之受體在PLA及PLB之間的中間：雌激素受體(ER /ESR1)、黃體素受體(PR/PGR)、及人類表皮生長因子受體2(HER2/ERBB2)，如在表示C 806中所說明。例如，平均ESR1表達在PLA相對於HET為1.9倍高(p=3.4×10-7)，而平均HET ESR1表達較PBL高3.2倍(p=2.7×10-5)。事實上，HET HR表達等級在所有三種受體中明顯不同於兩種純子集(p值範圍為3.4×10-7至3.0×10-3)。由於管狀A型及類基底型亞型已顯示具有明顯不同之預後、使用存活分析來確認該HET子集具有預後值，如在表示D 808中所說明。經識別為HET之患者明顯為在Kaplan-Meier分析中在管狀A型患者之延長總存活(OS)與類基底型患者之縮減OS之間之存活特性的中間：差別存活之對數等級檢定在PBL與PLA患者間很明顯(p=0.027)，但HET相對於PBL以及HET相對於PLA子集則皆無法明顯區分(分別為p=0.297與p=0.411)。應注意儘管在此測試例之分析限於類基底型及管狀A型異質性樣本，但可使用本文實施例針對其它亞型組 合，例如：HER2富集型及管狀A型、管狀A型及管狀B型、甚至是三向亞型(three-way subtype)組合，進行類似分析。
因此，本文提出用於基於病理學切片影像判定分子亞型分類之系統及方法。傳統上，此種分類已使用基因表現特徵實現，然而，本文實施例已顯示達到對223位測試患者65.92%之與基於RNAseq分類之總體一致性。腫瘤內異質性(常見於乳房腫瘤，尤其是TNBC)可在減少與基於表現分型的一致性中發揮作用。本文實施例藉由多數區域將具刻度區塊總結為一患者級分類，而表現分佈則基於總轉錄數總結。與基於表現分型的一致性可在未來藉由增加提供給細胞密集或轉錄上過度活化區塊之權重來改善。也由於對亞克隆多元性之靈敏性，本文所示之分類框架具有作為用於偵測腫瘤內異質性之方法的新穎性應用。誤分類之患者的檢查在區塊級處顯示不符合亞型之圖樣。在激素受體表達等級、轉錄分析，及存活特徵中發現該等腫瘤事實上為異質性群體之進一步證據。特定而言，分類為管狀A型亞型但具有類基底型亞克隆之患者與同質性管狀A型患者相比具有較差之存活率。自診斷病理學影像識別侵襲性亞克隆群體之能力具有重要的預後含意。例如，由此等方法定位之該等特定區域可藉由雷射顯微擷取及分離的特性進一步確認為分子上不同的亞克隆。
本文所述之系統、設備、及方法可使用數位電路，或使用利用熟知之電腦處理器、記憶體單元、儲存裝置、電腦軟體、及其它組件之一或多個電腦來實行。通常，電腦包括用於執行指 令之一處理器及用於儲存指令及數據之一或多個記憶體。電腦亦可包括(或經耦接至)一或多個大量儲存裝置，諸如一或多個磁碟、內部硬碟及可移式磁碟、磁光碟、光碟等等。
本文所述之系統、設備、及方法可使用以一用戶端-伺服器關係操作之電腦實施。通常，在此一系統中，該用戶端電腦與該伺服器電腦遠距地定位，並經由網路互動。該用戶端-伺服器關係可由在各別之用戶端及伺服器電腦上運作之電腦程式定義及控制。
圖9是可用來實行本文所述之系統、設備及方法之一示例性用戶端-伺服器關係的高等級方塊圖。用戶端-伺服器關係900包含經由網路930與伺服器920通訊之用戶端910並說明在用戶端910及伺服器920之間基於病理學切片影像判定分子亞型分類之一可能分配。例如，根據上述該等各種實施例用戶端910可獲得一測試病理學切片影像(test SI)並將該測試病理學切片影像傳送至伺服器920。接著伺服器920可自用戶端910接收該測試病理學切片影像；將該測試病理學切片影像分割成複數刻度區塊，其中該些刻度區塊的每一刻度區塊包含呈一或多個變焦等級之一或多個區塊表徵，其以該測試病理學切片影像內的一位置處為中心；藉由對於每一刻度區塊，將該等一或多個區塊表示中之每一者映射至一區塊級描述符並結合該些區塊級描述符，使用深度學習神經網路將該些刻度區塊的每一刻度區塊轉換成一多重刻度描述符；使用經訓練以處理該些多重刻度描述符之一分類器 模型來針對該測試病理學切片影像判定一病理學切片影像級分子亞型分類，使得將一區塊級分子亞型分類指派至些刻度區塊中的每一者，且基於該區塊級分子亞型分類判定該SI級分子亞型分類；及將該SI級分子亞型分類傳送至用戶端910。
熟習本技術者應了解在圖9中說明之該示例性用戶端-伺服器關係僅為可能實行本文所述之該系統、設備、及方法之許多用戶端-伺服器關係中之一種。因此，圖9中說明之該用戶端-伺服器關係不應以任何方式視為限制性。用戶端裝置910之實例可包括：蜂巢式智慧電話、資訊站、個人數位助理、平板電腦、機器人、載具、網路攝影機、或其它類型之計算裝置。
本文所述之系統、設備及方法可使用一電腦程式產品實施，其有形地體現在一資訊載體中(例如：在一非暫態機器可讀取儲存裝置中)，藉由一可程式化處理器執行；且本文所述之方法步驟(包括圖4及圖5之步驟中之一或多者)可使用藉由此一處理器執行之一或多個電腦程式來實行。電腦程式為一套電腦程式指令，其可在一電腦中直接或間接地使用以執行某種活動或產生某種結果。可以任何形式之程式語言編寫電腦程式，包括編譯或解譯語言，及其可以任何形式配置，包括作為一單獨程式或作為一模組、組件、副程式、或其它適用於一計算環境之單元。
圖10是可用來實行本文所述之系統、設備及方法之一示例性設備的高階方塊圖。設備1000包含一處理器1010，其可操作地耦接至一持久儲存裝置1020及一主記憶體裝置1030。處 理器1010藉由執行定義此等操作之電腦程式指令來控制設備1000之整體操作。可將該電腦程式指令儲存於持久儲存裝置1020中，或其它電腦可讀取媒體中，及當需要執行該電腦程式指令時載入主記憶體裝置1030。例如，訓練引擎310及亞型分類引擎320可包含電腦1000之一或多個組件。因此，圖4及圖5之該等方法步驟可由儲存於主記憶體裝置1030及/或持久儲存裝置1020之該等電腦程式指令定義且藉由執行該電腦程式指令之處理器1010控制。例如，該等電腦程式指令可經實行為由熟習本技術者編程之電腦可執行碼，以實行由圖4及圖5之方法步驟所定義之演算法。因此，藉由執行該等電腦程式指令，該處理器1010執行由圖4及圖5方法步驟所定義之演算法。設備1000亦包括用於經由網路與其它裝置通訊之一或多個網路介面1080。設備1000亦可包括一或多個輸入/輸出裝置1090，其使使用者可與設備1000互動(例如：顯示器、鍵盤、滑鼠、揚聲器、按鈕等等)。
處理器1010可包括一般目的及特殊目的之微處理器，且可為設備1000之唯一處理器或多個處理器中之一者。處理器1010可包含一或多個中央處理單元(CPU)，及一或多個圖形處理單元(GPU)，其例如可與一或多個CPU分開運作，及/或與一或多個CPU多工運作以加速處理，例如：用於本文所述之各種影像處理應用。處理器1010、持久儲存裝置1020、及/或主記憶體裝置1030可包括一或多個特殊應用積體電路(ASIC)及/或一 或多個現場可程式閘陣列(FPGA)、由其等補充、或併入其等中。
持久儲存裝置1020及主記憶體裝置1030各包含一有形非暫態電腦可讀取儲存媒體。持久儲存裝置1020，及主記憶體裝置1030，可各包括高速隨機存取記憶體，諸如動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、雙倍資料速率同步動態隨機存取記憶體(DDR RAM)、或其它隨機存取固態記憶體裝置，及可包括不變性記憶體，諸如一或多個磁碟儲存裝置，諸如內部硬碟及可移式磁碟、磁光碟儲存裝置、光碟儲存裝置、快閃記憶體裝置、半導體記憶體裝置，諸如可抹除可程式化唯讀記憶體(EPROM)、電子可抹除可程式化唯讀記憶體(EEPROM)、光碟唯讀記憶體(CD-ROM)、數位多功能光碟唯讀記憶體(DVD-ROM)、或其它不變性固態儲存裝置。
輸入/輸出裝置1090可包括周邊設備，諸如：印表機、掃描機、顯示螢幕等等。例如，輸入/輸出裝置1090可包括：一顯示裝置，諸如用於向一使用者顯示資訊(例如：一DNA可近性預測結果)之陰極射線管(CRT)、電漿或液晶顯示器(LCD)監視器；一鍵盤；及使用者可藉其向設備1000提供輸入之指向裝置(諸如：滑鼠或軌跡球)。
本文討論之該等系統及設備之任一者或全部(包括訓練引擎310及亞型分類引擎320)可藉由一設備(諸如設備1000)執行、及/或併入其中。進一步地，設備1000可利用一或多個神 經網路或其它深度學習技術來執行訓練引擎310及亞型分類引擎320或本文討論之其它系統或設備。
熟習本技術者將了解一實際電腦或電腦系統之實行亦可具有其它結構或可含有其它組件，且圖10為此一電腦之一些該等組件的高階表示，其用於說明目的。
前述說明書在各方面應理解為說明性及示例性，而不是限制性的，且本文所揭示之本發明範圍並非由本說明書確定，而是由申請專利範圍在依據專利法廣義許可解釋下確定。應了解本文所示及描述之實施例僅為說明本發明之原理，且熟習本技術者在不背離本發明之範圍及精神下可進行各種修正。熟習本技術者可在不背離本發明之範圍及精神下實行各種其它特徵組合。
100‧‧‧病理學切片影像(SI)
102‧‧‧組織/細胞區
104‧‧‧血漿區域
106‧‧‧刻度區塊

Claims (35)

  1. 一種基於病理學切片影像判定分子亞型分類的方法，其包含：取得複數訓練病理學切片影像；將每一訓練病理學切片影像分割成複數刻度區塊，其中該些刻度區塊中的每一刻度區塊包含呈一或多種變焦等級的一或多種區塊表徵，其以一對應訓練病理學切片影像內之一位置處為中心；藉由對於每一刻度區塊，將一或多個區塊表徵的每一者映射至一區塊級描述符並結合該些區塊級描述符，以使用深度學習神經網路將該些刻度區塊中之每一刻度區塊轉換為一多重刻度描述符；配置一種分類器模型以處理該多重刻度描述符，使得對於每一訓練病理學切片影像，可操作該分類器模型以將一區塊級分子亞型分類指派至對應於該訓練病理學切片影像的該些刻度區塊中的每一者，並根據該些區塊級分子亞型分類判定一病理學切片影像級分子亞型分類，該病理學切片影像級分子亞型分類包含一內在分子亞型分類，且該病理學切片影像級分子亞型分類為類基底型、HER2富集型、管狀A型、管狀B型、及類正常型的其中之一；使用該些多重刻度描述符訓練該分類器模型；以及 配置一分子亞型化引擎以使用該經訓練分類器模型來判定一測試病理學切片影像的一病理學切片影像級分子亞型分類。
  2. 如申請專利範圍第1項所述之方法，其中該些訓練病理學切片影像中的每一者對應於一患者。
  3. 如申請專利範圍第1項所述之方法，其中該些刻度區塊中的每一者包含相對於彼此之相對高變焦等級區塊及相對低變焦等級區塊。
  4. 如申請專利範圍第3項所述之方法，其中該些刻度區塊中的每一者包含一或多種5x、10x、20x、及40x變焦等級區塊表徵。
  5. 如申請專利範圍第1項所述之方法，其中該些區塊級描述符包含多維度之描述向量。
  6. 如申請專利範圍第1項所述之方法，更包含使用主成份分析或另一降維技術以降低多維度描述向量之維度。
  7. 如申請專利範圍第1項所述之方法，其中該病理學切片影像級分子亞型分類是基於多數區向量標準判定。
  8. 如申請專利範圍第1項所述之方法，其中該病理學切片影像級分子亞型分類是基於對於該些刻度區塊的加權標準判定。
  9. 如申請專利範圍第8項所述之方法，其中該加權標準是基於細胞密度及轉錄活性中的至少一者。
  10. 如申請專利範圍第1項所述之方法，其中該區塊級分子亞型分類是一異質性分類，其包含複數分子亞型。
  11. 如申請專利範圍第1項所述之方法，其中該病理學切片影像級分子亞型分類是一異質性分類，其包含複數分子亞型。
  12. 如申請專利範圍第1項所述之方法，其中該病理學切片影像級分子亞型分類包含一Prosigna乳癌預後基因特徵檢驗或PAM50亞型分類。
  13. 如申請專利範圍第1項之方法，其中該病理學切片影像級分子亞型分類包含不同亞型分所述類之組合。
  14. 如申請專利範圍第1項所述之方法，更包含選擇該些刻度區塊之一子集以進一步處理。
  15. 如申請專利範圍第14項所述之方法，其中選擇該些刻度區塊之該子集包含使用k-平均分群法或另一無監督分群技術以將該些複數刻度區塊分群。
  16. 如申請專利範圍第14項所述之方法，其中隨機選擇該些刻度區塊之該子集以界定癌症富集區域。
  17. 如申請專利範圍第14項所述之方法，其中選擇該些刻度區塊之該子集以將腫瘤內容總結在一訓練病理學切片影像內。
  18. 如申請專利範圍第1項所述之方法，更包含：針對一最小色彩變化過濾該些刻度區塊；以及基於該過濾消除被判定為空白空間或背景的每一刻度區塊而不進一步處理。
  19. 如申請專利範圍第1項所述之方法，其中該深度學習神經網路包含Inception-v3、resnet34、resnet152、densenet169、densenet201或其它深度學習神經網路中的至少一者。
  20. 如申請專利範圍第19項所述之方法，其中Inception-v3神經網路的logits層經配置以將該等一或多個區塊表示中之每一者映射到一區塊級描述符。
  21. 如申請專利範圍第1項所述之方法，其中結合區塊級描述符包含序連、平均、堆疊、或數學上或經驗上混合或操縱該等區塊級描述符中之一或多者以產生該多重刻度描述符。
  22. 如申請專利範圍第21項所述之方法，更包含使用神經網路以判定或最佳化結合該些區塊級描述符的方法以產生該多重刻度描述符。
  23. 如申請專利範圍第1項所述之方法，其中該分類器模型可包含下列之一或多者：包括一徑向基函數核的一多類別支援向量機、單純貝氏分類器、決策樹、提升樹、隨機森林分類器、神經網路、最近鄰分類器、線性分類器、及非線性分類器。
  24. 如申請專利範圍第1項所述之方法，其中該些訓練病理學切片影像包含至少1000個病理學切片影像。
  25. 如申請專利範圍第1項所述之方法，其中該些刻度區塊包含至少200,000個區塊表徵。
  26. 如申請專利範圍第1項所述之方法，其中該些複數訓練病理學切片影像包含蘇木精及伊紅-染色全切片影像。
  27. 如申請專利範圍第1項所述之方法，其進一步包含：取得該測試病理學切片影像；將該測試病理學切片影像分割成複數刻度區塊，其中該些刻度區塊中的每一刻度區塊包含呈一或多種變焦等級的一或多個區塊表徵，其以該測試病理學切片影像內之一位置處為中心；藉由對於每一刻度區塊，將該些一或多個區塊表徵中的每一者映射至一區塊級描述符並結合該些區塊級描述符，以使用深度學習神經網路將該些刻度區塊中的每一刻度區塊轉換為一多重刻度描述符；以及使用該經訓練分類器模型處理該些多重刻度描述符，其中可操作該經訓練分類器模型以將一區塊級分子亞型分類指派至該些 刻度區塊的每一者中，並根據該些區塊級分子亞型分類判定一病理學切片影像級分子亞型分類。
  28. 如申請專利範圍第27項所述之方法，更包含於該測試病理學切片影像內取得判定為癌症富集之經選擇關注區域的一指示。
  29. 如申請專利範圍第28項所述之方法，其中該經選擇關注區域的該指示係經由一使用者介面自一使用者接收，或基於下列之一或多者自動選擇：生物標準、啟發式機器學習或影像處理演算法之輸出、或深度學習卷積演算法之輸出。
  30. 如申請專利範圍第28項所述之方法，其中該經選擇關注區域為質心或封閉曲線。
  31. 如申請專利範圍第28項所述之方法，其中該些刻度區塊包含該經選擇關注區域。
  32. 一種用於基於病理學切片影像判定分子亞型分類的設備，該設備包含：一處理器；一記憶體裝置，其儲存用於判定分子亞型分類之軟體指令；以及一訓練引擎，其可根據儲存在該記憶體裝置中的軟體指令在該處理器上執行，且經配置以：取得複數訓練病理學切片影像； 將該些訓練病理學切片影像中之每一者分割成複數刻度區塊，其中該些具刻度區塊中的每一刻度區塊包含呈一或多種變焦等級之一或多個區塊表徵，其以一對應訓練病理學切片影像內之一位置處為中心；藉由對於每一刻度區塊，將一或多個區塊表徵中的每一者映射至一區塊級描述符並結合該些區塊級描述符，以使用深度學習神經網路將該些刻度區塊中之每一刻度區塊轉換為一多重刻度描述符；配置一種分類器模型以處理該多重刻度描述符，使得對於每一訓練病理學切片影像，可操作該分類器模型以將一區塊級分子亞型分類指派至對應於該訓練病理學切片影像的該些刻度區塊中的每一者，並根據該些區塊級分子亞型分類判定一病理學切片影像級分子亞型分類，該病理學切片影像級分子亞型分類包含一內在分子亞型分類，且該病理學切片影像級分子亞型分類為類基底型、HER2富集型、管狀A型、管狀B型、及類正常型的其中之一；使用該些多重刻度描述符訓練該分類器模型；以及配置一分子亞型化引擎以使用該經訓練分類器模型來判定一測試病理學切片影像的一病理學切片影像級分子亞型分類。
  33. 一種非暫態電腦可讀媒體，具有儲存於其上之電腦指令，用於基於病理學切片影像判定分子亞型分類，其在以一處理器執行時使該處理器進行下列步驟，其包含：取得複數訓練病理學切片影像；將該些訓練病理學切片影像中之每一者分割成複數刻度區塊，其中該些刻度區塊中的每一刻度區塊包含呈一或多種變焦等級的一或多個區塊表徵，其以一對應訓練病理學切片影像內之一位置處為中心；藉由對於每一刻度區塊將該集合之區塊表徵中的每一者映射至一區塊級描述符並結合該些區塊級描述符，以使用深度學習神經網路將該些刻度區塊中之每一刻度區塊轉換為一多重刻度描述符；配置一種分類器模型以處理該多重刻度描述符，使得對於每一訓練病理學切片影像，可操作該分類器模型以將一區塊級分子亞型分類指派至對應於該訓練病理學切片影像的該些刻度區塊中的每一者，並根據該些區塊級分子亞型分類判定一病理學切片影像級分子亞型分類，該病理學切片影像級分子亞型分類包含一內在分子亞型分類，且該病理學切片影像級分子亞型分類為類基底型、HER2富集型、管狀A型、管狀B型、及類正常型的其中之一；使用該些多重刻度描述符訓練該分類器模型；以及配置一分子亞型化引擎以使用該經訓練分類器模型來判定一測試病理學切片影像之一病理學切片影像級分子亞型分類。
  34. 一種用於基於病理學切片影像判定分子亞型分類之設備，該設備包含：一處理器；一記憶體裝置，其儲存用於判定分子亞型分類之軟體指令；以及一亞型分類引擎，其可根據儲存在該記憶體裝置中的軟體指令在該處理器上執行，且經配置以：取得一測試病理學切片影像；將該測試病理學切片影像分割成複數刻度區塊，其中該些刻度區塊中的每一刻度區塊包含呈一或多種變焦等級的一或多個區塊表徵，其以該測試病理學切片影像內之一位置處為中心；藉由對於每一刻度區塊將該等一或多個區塊表徵中之每一者映射至一區塊級描述符並結合該些區塊級描述符，以使用深度學習神經網路將該些刻度區塊中之每一具刻度區塊轉換為一多重刻度描述符；及使用經訓練以處理該等多重刻度描述符的一分類器模型來判定該測試病理學切片影像之一病理學切片影像級分子亞型分類，使得將一區塊級分子亞型分類指派至該些刻度區塊中之每一者，及根據該區塊級分子亞型分類判定該病理學切片影像級分子亞型分類，該病理學切片影像級分子亞型分類包含一內在分子亞型分類，且該病理學切片影像級分子亞型分類為類基底型、HER2富集型、管狀A型、管狀B型、及類正常型的其中 之一。
  35. 如申請專利範圍第34項所述之設備，其中該亞型分類引擎包含以下中之至少一者：蜂巢式智慧型手機、資訊站、個人數位助理、平板電腦、機器人、載具、網路攝影機、或計算裝置。
TW107142917A 2017-11-30 2018-11-30 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性 TWI689944B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762593224P 2017-11-30 2017-11-30
US62/593,224 2017-11-30
US201862656918P 2018-04-12 2018-04-12
US62/656,918 2018-04-12

Publications (2)

Publication Number Publication Date
TW201926359A TW201926359A (zh) 2019-07-01
TWI689944B true TWI689944B (zh) 2020-04-01

Family

ID=66665290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142917A TWI689944B (zh) 2017-11-30 2018-11-30 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性

Country Status (7)

Country Link
KR (1) KR20200066732A (zh)
AU (1) AU2018374207A1 (zh)
CA (1) CA3079438A1 (zh)
IL (1) IL274101A (zh)
SG (1) SG11202003330PA (zh)
TW (1) TWI689944B (zh)
WO (1) WO2019108695A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781027B (zh) * 2021-12-22 2022-10-11 國立臺南大學 用於染色影像的神經網路系統與影像染色轉換方法
TWI815057B (zh) * 2020-11-11 2023-09-11 臺北醫學大學 用於癌症病灶的視覺化方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246579B (zh) * 2019-06-13 2023-06-09 西安九清生物科技有限公司 一种病理诊断方法及装置
CN110532408A (zh) * 2019-08-28 2019-12-03 广州金域医学检验中心有限公司 病理切片管理方法、装置、计算机设备及存储介质
TWI701638B (zh) * 2019-09-20 2020-08-11 國立中興大學 應用機械學習技術於自動化光學檢測系統
KR102583103B1 (ko) 2020-01-28 2023-09-27 페이지.에이아이, 인크. 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
TWI744798B (zh) * 2020-02-13 2021-11-01 國立陽明交通大學 基於腦影像的神經精神疾病評估方法及系統
CN111507381B (zh) * 2020-03-31 2024-04-02 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
EP4182837A1 (en) * 2020-07-15 2023-05-24 Genentech, Inc. Assessing heterogeneity of features in digital pathology images using machine learning techniques
KR102437193B1 (ko) 2020-07-31 2022-08-30 동국대학교 산학협력단 복수의 배율에 따라 크기 변환된 영상으로 학습된 병렬 심층 신경망 장치 및 방법
KR102304370B1 (ko) 2020-09-18 2021-09-24 동국대학교 산학협력단 딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법
WO2022081214A1 (en) * 2020-10-18 2022-04-21 Aixmed, Inc. Method and system to obtain cytology image in cytopathology
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
CN113903400A (zh) * 2021-10-29 2022-01-07 复旦大学附属华山医院 免疫相关疾病分子分型和亚型分类器的分类方法、系统
CN115330778B (zh) * 2022-10-13 2023-03-10 浙江华是科技股份有限公司 变电站目标检测网络模型训练方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200616588A (en) * 2004-08-11 2006-06-01 Aureon Biosciences Corp Systems and methods for automated diagnosis and grading of tissue images
TWI399194B (zh) * 2011-01-25 2013-06-21 Univ Nat Yunlin Sci & Tech 基於細胞自動機之半自動膝蓋ｍｒｉ軟骨影像分割方法
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
WO2016191462A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
US20170169567A1 (en) * 2014-05-23 2017-06-15 Ventana Medical Systems, Inc. Systems and methods for detection of structures and/or patterns in images
US20170193175A1 (en) * 2015-12-30 2017-07-06 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200616588A (en) * 2004-08-11 2006-06-01 Aureon Biosciences Corp Systems and methods for automated diagnosis and grading of tissue images
TWI399194B (zh) * 2011-01-25 2013-06-21 Univ Nat Yunlin Sci & Tech 基於細胞自動機之半自動膝蓋ｍｒｉ軟骨影像分割方法
US20170169567A1 (en) * 2014-05-23 2017-06-15 Ventana Medical Systems, Inc. Systems and methods for detection of structures and/or patterns in images
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
WO2016191462A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
US20170193175A1 (en) * 2015-12-30 2017-07-06 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815057B (zh) * 2020-11-11 2023-09-11 臺北醫學大學 用於癌症病灶的視覺化方法
TWI781027B (zh) * 2021-12-22 2022-10-11 國立臺南大學 用於染色影像的神經網路系統與影像染色轉換方法

Also Published As

Publication number Publication date
WO2019108695A1 (en) 2019-06-06
KR20200066732A (ko) 2020-06-10
AU2018374207A1 (en) 2020-04-30
SG11202003330PA (en) 2020-05-28
IL274101A (en) 2020-06-30
TW201926359A (zh) 2019-07-01
CA3079438A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
TWI689944B (zh) 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性
Jamshidi et al. Evaluation of cell-free DNA approaches for multi-cancer early detection
US11935152B2 (en) Determining biomarkers from histopathology slide images
Wolf et al. Redefining breast cancer subtypes to guide treatment prioritization and maximize response: Predictive biomarkers across 10 cancer therapies
Wang et al. Comprehensive analysis of lung cancer pathology images to discover tumor shape and boundary features that predict survival outcome
Yuan et al. Quantitative image analysis of cellular heterogeneity in breast tumors complements genomic profiling
WO2021062904A1 (zh) 基于病理图像的tmb分类方法、系统及tmb分析装置
US11415571B2 (en) Large scale organoid analysis
Kim et al. A deep learning approach for rapid mutational screening in melanoma
US11367180B2 (en) Classification and mutation prediction from histopathology images using deep learning
JP2022516152A (ja) 転移性組織サンプルのトランスクリプトームデコンボリューション
Sobhani et al. Artificial intelligence and digital pathology: Opportunities and implications for immuno-oncology
Sun et al. Cancer progression modeling using static sample data
WO2021030784A1 (en) Radiomic signature for prediciting lung cancer immunotherapy response
WO2023006843A1 (en) Prediction of brcaness/homologous recombination deficiency of breast tumors on digitalized slides
Campanella et al. H&E-based computational biomarker enables universal EGFR screening for lung adenocarcinoma
KR20170032892A (ko) 난소암의 예후 예측용 유전자 선별방법
Isella et al. Improved outcome prediction for appendiceal pseudomyxoma peritonei by integration of cancer cell and stromal transcriptional profiles
Conde-Sousa et al. HEROHE challenge: assessing HER2 status in breast cancer without immunohistochemistry or in situ hybridization
WO2023043944A1 (en) Systems and methods for determining breast cancer prognosis and associated features
Xu et al. Deep transfer learning approach to predict tumor mutation burden (TMB) and delineate spatial heterogeneity of TMB within tumors from whole slide images
Dawood et al. Data-driven modelling of gene expression states in breast cancer and their prediction from routine whole slide images
Han et al. Molecular bases of morphometric composition in Glioblastoma multiforme
KR20160086496A (ko) 난소암의 예후 예측용 유전자 선별방법
US20230230704A1 (en) Methods and systems for providing molecular data based on ct images

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees