TWI845365B

TWI845365B - 建立識別荷爾蒙受體狀態模型的方法、測定荷爾蒙受體狀態的方法及系統

Info

Publication number: TWI845365B
Application number: TW112124512A
Authority: TW
Inventors: 王家慶; 許藝瓊; 黃恩展; 白松範; 世芳黎; 楊博勝
Original assignee: 台灣基督長老教會馬偕醫療財團法人馬偕紀念醫院; 國立中央大學
Filing date: 2023-06-30
Publication date: 2024-06-11

Abstract

本揭示內容關於一種改良的系統及由該系統執行用以訓練模型的方法，該模型能夠透過個體的活體組織切片之蘇木素及伊紅染色的全玻片影像即可識別該個體的荷爾蒙受體狀態。所述方法包含以下步驟：(a)取得多張已知荷爾蒙受體資訊的全玻片影像；(b)將每一張全玻片影像劃分成複數張圖像塊；(c)挑出該些表現異常H&E染色的圖像塊並將其合併成一合併影像；以及(d)借助全玻片影像的已知荷爾蒙受體資訊分別訓練複數張合併影像，從而建構所述模型。本揭示內容還涉及使用前述方法與內建於本揭示內容系統之模型來識別一個體之荷爾蒙受體狀態的方法。

Description

建立識別荷爾蒙受體狀態模型的方法、測定荷爾蒙受體狀態的方法及系統

本揭示內容是關於癌症診斷及治療領域。本揭示內容更具體是關於用於基於一個體的活體組織切片的蘇木素及曙紅(H&E)染色全玻片影像測定及鑑別該個體之荷爾蒙受體狀態，並基於該鑑定的荷爾蒙受體狀態治療該個體的方法及系統。

乳癌(Breast cancer，BC)是全球影響女性最常見的癌症，也是婦女癌症死亡最常見的原因。根據統計，在2020年，全球就有超過兩百萬女性被診斷為乳癌，且有超過68萬的人死於乳癌。包含乳房攝影、磁振造影、超音波攝影、電腦斷層掃描攝影、正電子發射斷層掃攝影描與活體組織切片等早期診斷手段的近期進展已經改良乳癌相關的死亡率和發病率。然而，前述技術有著價格昂貴及耗時之類的限制，因此無法廣泛地普及。因此相關領域需要發展診斷早期乳癌的高效和高靈敏度方法。

在此之中，已有多種生物標記被用來檢測乳癌。多數侵襲性乳癌是荷爾蒙受體陽性，這表示腫瘤細胞於雌激素(estrogen，ER)及/或黃體激素(progesterone，PR)的存在下生長。臨床上，荷爾蒙受體陽性腫瘤的病患通常可受益於將ER/PR訊息傳遞路徑做為目標的荷爾蒙療法。在常規的診斷流程中，從患者收集之活體組織切片樣本會被薄切成可染色的載玻片，接著由病理學家進行目視診斷。通常，蘇木素及曙紅(hematoxylin and eosin，或簡稱H&E)染色用於初步診斷，免疫組織化學(簡稱IHC)染色則隨後用於診斷確認及分型，以判讀活體組織切片的荷爾蒙受體狀態(hormone receptor status，HRS)。雖然荷爾蒙受體狀態是用於預後目的的關鍵工具和內分泌療法反應的預測指標，藉由目視檢查載玻片鑑定荷爾蒙受體狀態的過程仍有其侷限性。除了像是昂貴與耗時等缺點之外，免疫組織化學染色的檢測結果是以顏色表現，而這會因樣本品質、抗體來源與抗體株及技術人員的技能水準而異。再者，本質上，病理學家的決策過程較為主觀，可能會導致人為錯誤。這些因素皆造成荷爾蒙受體狀態判讀的不一致；目前估計有20%的基於免疫組織化學染色判讀的雌激素與黃體激素檢測是不準確的，使這些患者處於次優治療的風險中。

鑑於上述，相關領域急需一種可藉由個體活體組織切片的H&E染色全玻片影像測定該個體荷爾蒙受體狀態的改良方法及系統。

為了給讀者提供基本的理解，以下提供本揭示內容的簡要發明內容。此發明內容不是本揭示內容的廣泛概述，同時非用來識別本發明的關鍵/必需元件或勾勒本發明的範圍。其唯一目的是以簡化的概念形式呈現本揭示內容的一些概念，以作為呈現於後文中更詳細描述的序言。

如本文所體現和廣泛描述的，本揭示內容的目的是提供一種改善的診斷系統以及透過該系統執行用於識別個體荷爾蒙受體狀態的方法，藉此可大幅改善乳癌診斷的效率及精確性。

本揭示內容一態樣關於一種透過活體組織切片之蘇木素及伊紅(H&E)染色全玻片影像建立用以測定荷爾蒙受體狀態之模型的方法。所述方法包含：(a)取得活體組織切片複數個H&E染色全玻片影像，其中各該全玻片影像包含一荷爾蒙受體資訊；(b)劃分步驟(a)的各該全玻片影像成複數個圖像塊；(c)藉由執行圖塊擷取區分步驟(b)各該圖像塊中的正常及異常H&E染色；(d)挑選並合併經步驟(c)區分呈現異常H&E染色的圖像塊，以產生各該H&E染色全玻片影像的一合併影像；以及(e)借助步驟(a)的荷爾蒙受體資訊，訓練分別產自步驟(d)的複數個合併影像，從而建立所述模型。在此方法的步驟(a)，荷爾蒙受體資訊包含荷爾蒙受體的陽性或陰性表現，所述荷爾蒙受體係選自由雌激素受體(ER)、黃體激素受體(PR)及/或其組合所組成之群組。

根據本揭示內容部分實施方式，在本發明方法步驟(e)，是藉由執行向量正則化複數矩陣因式分解(complex matrix factorization，CMF)方法來訓練複數個合併影像。所述向量正則化CMF方法主要包含以下步驟：(e-1)從各該合併影像的複數獲得一複數矩陣；(e-2)將複數矩陣轉換成對應各該合併影像的一複數行向量；以及(e-3)基於步驟(e-2)獲得的複數行向量之間的相似性，區分各該合併影像為荷爾蒙受體的陽性表現或是陰性表現。

在一些具體實施例中，是藉由執行k-最近鄰(k-NN)演算法來進行步驟(e-3)。

根據本揭示內容的某些實施方式，可藉由深度學習演算法來進行本發明方法的步驟(c)、(d)及(e)。

根據本揭示內容某些實施方式，個體是患有或是疑似患有乳癌。

本揭示內容另一態樣是關於基於個體活體組織切片蘇木素及伊紅(H&E)染色全玻片影像來測定荷爾蒙受體狀態的方法。所述方法包含：(a)劃分H&E染色的全玻片影像為複數個圖像塊；(b)藉由圖塊擷取挑選呈現異常H&E染色的圖像塊並合併以產生一待測影像；以及(c)藉由在上述方法建立的模型內處理步驟(b)產生的待測影像以測定荷爾蒙受體狀態。在本方法中，荷爾蒙受體狀態包含荷爾蒙受體的陽性表現或陰性表現，其中該荷爾蒙受體係選自雌激素受體(ER)、一黃體激素受體(PR)及/或一其組合所組成之群組。

根據本揭示內容部分實施方式，在本發明方法的步驟(c)，是藉由執行向量正則化複數矩陣因式分解(complex matrix factorization，CMF)方法來處理待測影像，所述向量正則化複數矩陣因式分解方法包含：(c-1)從待測影像的複數獲得一複數矩陣；(c-2)將該複數矩陣轉換成該待測影像的一複數行向量；以及(c-3)基於步驟(c-2)獲得的待測影像之複數行向量以及由前述方法建立的模型內合併影像的複數行向量之間的絕對距離，區分該待測影像是荷爾蒙受體陽性表現或陰性表現。

在部分具體實施例中，是藉由執行k-最近鄰(k-NN)演算法來進行步驟(c-3)。

在較佳的實施方式中，荷爾蒙受體狀態更包含荷爾蒙受體的表現強度。

非必要地或可選地，向量正則化CMF方法更包含(c-4)在由前述方法建立的模型中，基於分別對應於陽性表現與陰性表現的合併影像之複數行向量兩者之間的比值，測定待測影像中荷爾蒙受體的表現強度。

根據本揭示內容部分實施方式，可藉由深度學習演算法來執行所述方法的步驟(b)及(c)。

本揭示內容又另一態樣是關於一系統，其包含影像擷取單元、伺服器及處理器，設以實現前述本發明之方法。

更具體地，所述影像擷取單元設以收集來自一個體之活體組織切片的一或多張候選蘇木素及伊紅(H&E)染色全玻片影像。伺服器設以儲存前述方法建立的模型，且接受傳送至影像擷取單元的一或多個候選H&E染色全玻片影像。此外，處理器經指令編程執行用於測定傳送自該伺服器之一或多個候選H&E染色全玻片影像之荷爾蒙受體狀態的方法，其中該方法包含：(a)劃分各該候選H&E染色全玻片影像成複數個圖像塊；(b)藉由執行圖塊擷取來挑選並合併呈現異常H&E染色的該些圖像塊，以形成待測影像；以及(c)藉助於儲存於該伺服器的模型，藉由處理步驟(b)產生之該待測影像來測定該荷爾蒙受體狀態，其中該荷爾蒙受體狀態包含荷爾蒙受體的陽性表現或陰性表現，其中該荷爾蒙受體係選自由雌激素受體(ER)、黃體激素受體(PR)及/或其組合所組成之群組。

依據本揭示內容部分實施方式，本發明步驟(c)中，是藉由執行向量正則化複數矩陣因式分解(complex matrix factorization，CMF)方法來處理待測影像，此方法包含：(c-1)從待測影像的複數獲得一複數矩陣；(c-2)將該複數矩陣轉換成該待測影像的一複數行向量；以及(c-3)基於步驟(c-2)獲得的待測影像之複數行向量以及伺服器儲存的模型內合併影像的複數行向量之間的絕對距離，區分該待測影像是荷爾蒙受體陽性表現或陰性表現。

在一些具體實施例中，是藉由執行k-最近鄰(k-NN)演算法來進行本揭示內容方法的步驟(c-3)。

在一些具體實施方式中，荷爾蒙受體狀態更包含荷爾蒙受體的表現強度。

非必要地或可選地，向量正則化CMF方法更包含步驟(c-4)：在伺服器所儲存的模型內，基於分別對應於陽性表現與陰性表現的合併影像之複數行向量兩者之間的比值，測定待測影像的荷爾蒙受體表現強度。

在部分具體實施例中，可藉由深度學習演算法來執行本揭示內容方法的步驟(b)及(c)。

在又另一態樣，本揭示內容是關於用於測定及治療亟需之個體乳癌的方法。所述方法包含：(a)取得來自該個體活體組織切片一H&E染色全玻片影像；(b)藉由使用前述方法測定該個體的和爾蒙受體狀態；以及(c)基於步驟(b)的荷爾蒙受體狀態，投予一抗癌治療至該個體，其中所述荷爾蒙受體狀態包含選自由雌激素受體(ER)、黃體激素受體(PR)及/或其組合所組成之群組的荷爾蒙受體的一陽性表現或一陰性表現，以及其表現強度；且所述該抗癌治療是選自由手術、射頻剝離、系統性化學療法、經動脈化學栓塞(transarterial chemoembolization，TACE)、免疫療法、標靶藥物療法、荷爾蒙療法及其組合所組成之群組。

根據本揭示內容某些實施方式，所述個體是人類。

透過上述配置，可以快速地執行所述用以測定及鑑定一個體荷爾蒙受體狀態的方法及系統，從而提高乳癌診斷的效率及準確性。

在參閱下文實施方式後，本發明所屬技術領域中具有通常知識者當可輕易瞭解本發明之基本精神及其他發明目的，以及本發明所採用之技術手段與實施態樣。

10、30:方法

20:系統

210:影像擷取單元

220:伺服器

2201:模型

230:處理器

S101-S105、S105a-S105c、S301-S303、S303a-S303d:步驟

為讓本發明的上述與其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖是根據本揭示內容一實施方式的方法10的流程圖；第2圖是根據本揭示內容另一實施方式繪示之系統20之示意圖；以及第3圖是根據本揭示內容另一實施方式繪示以系統20實施之方法30的流程圖。

根據慣常的作業方式，圖中各種元件與特徵並未依比例繪製，其繪製方式是為了以最佳的方式呈現本發明相關的具體特徵與元件。此外，在不同的圖式間，以相同或相似的元件符號來指稱相似的元件/部件。

為了使本揭示內容的敘述更加詳盡與完備，下文針對了本發明的實施態樣與具體實施例提出了說明性的描述；但這並非實施或運用本發明具體實施例的唯一形式。實施方式中涵蓋了多個具體實施例的特徵以及用以建構與操作這些具體實施例的方法步驟與其順序。然而，亦可利用其他具體實施例來達成相同或均等的功能與步驟順序。

1.定義

為了便於說明，此處統整性地說明本說明書、實施例以及後附的申請專利範圍中所記載的特定術語。除非本文另有定義，否則本文所有的技術及科學術語與本發明所屬技術領域具有通常知識者習知的術語的意思相同。

除非上下文另有明確說明，本文所使用的單數形式「一(a,an)」以及「該(the)」均包含複數形式。

本文使用的「荷爾蒙受體資訊」(hormone receptor information)指稱一或多個荷爾蒙受體的表現狀態，所述荷爾蒙受體包含但不限於雌激素受體(estrogen receptor，ER)、黃體激素受體(progesterone receptor，PR)以及其組合。根據本揭示內容，表現狀態可為一陽性表現或一陰性表現，以及/或是該荷爾蒙受體的表現強度。

本文交替使用「活體組織切片」、「生物檢體」、「活體組織切片標本」或「生物檢體標本」等詞語來指稱從一個體身上或體內任何地方(包含正常及/或異常皮膚或器官)所取出的組織及/或細胞樣本。實務上，活體組織切片通常用於病理學評估，通常會準備足夠的活體組織切片標本並在顯微鏡下觀察。根據本揭示內容，因而活體組織切片含有任何從腫瘤或癌組織(包含乳癌，較佳為ER/PR-陽性乳癌及ER/PR-陰性乳癌)衍生之任何標本。

本文「合併影像」一詞是指將影像或圖像分割成多個圖像塊進行特徵萃取，在經處理去除無特徵的圖像塊後，重新組織合併而成的影像。根據本揭示內容一實施方式，合併影像作為「參考影像」來訓練機器學習模型，而從個體取得用來識別該個體荷爾蒙受體狀態的合併影像則作為「待測影像」。

本文使用的「向量正則化(vector-regularized)複數矩陣因式分解(complex matrix factorization，CMF)」一詞是指用於影像表示(image representation)的複數域之複數因式分解方法。實數數據被變換成複數域，複數矩陣被分解成基本矩陣與係數矩陣，這些矩陣通常衍生自複數域中無約束最佳化問題(unconstraint optimization problem)的解。根據本揭示內容，向量正則化複數矩陣因式分解可用來簡化複數矩陣並最終可從具有高鑑別度的真實影像數據萃取特徵。

本文交替使用「複數」或是「複數值」之詞語，用來指在數系中以一特定元素來擴展實數的一個元素，以i表示，稱為虛數單位，並滿足方程式i ²=-1；每一複數可以表現為a+bi之形式，其中a及b皆為實數。

在本文中，「治療」、「療法」及「抗癌處置」等詞語可交替使用，並涵蓋部分或完全預防、改善、減輕及/或管控與乳癌相關的症狀、繼發性疾病或是病症。

2.具體實施方式

據報導，在蘇木素及伊紅(以下簡稱H&E)染色中捕獲的腫瘤型態包含分子標記物狀態的預測訊號，且可將圖型辨識演算法直接應用於從H&E染色之圖像測定分子標記物的狀態。在圖型辨識相關領域中，以強調相關資訊的方式表示影像並且使高維度資料空間變換成低維度特徵子空間是很重要的。不同的影像表示方式產生不同的辨識結果。因此，合適的表示方法可明確地表達數據資料的潛在結構，也能降低冗餘和計算成本。據上，本發明旨在提供一種可解決上述問題的改良與系統。更甚者，本發明亦旨在發展一種用於對H&E染色影像進行圖型辨識的改良複數矩陣因式分解(CMF)方法，從而達成定量荷爾蒙受體狀態的表現強度。

2.1建立可測定荷爾蒙受體狀態之模型的方法

本揭示內容第一態樣係關於一種透過一活體組織切片的蘇木素及伊紅(以下稱H&E)染色之全玻片影像以測定荷爾蒙受體狀態來建立一模型的方法。參考第1圖。

第1圖呈現根據本揭示內容一實施方式以電腦或處理器實施之方法10的流程圖。方法10包含以下步驟，該些步驟分別在第1圖中以元件符號S101至S105表示：S101：取得活體組織切片的複數個H&E染色全玻片影像，其中各該全玻片影像包含一荷爾蒙受體資訊；S102：將步驟S101的各該全玻片影像劃分成複數個圖像塊(patch)；S103：藉由執行圖塊擷取(tiles extraction)來區分步驟S102的各該圖像塊的正常或異常H&E染色；S104：挑選並合併經步驟S103區分後呈現異常H&E染色的圖像塊，以產生各該H&E染色全玻片影像的一合併影像；以及S105：借助步驟S101的荷爾蒙受體資訊來訓練分別產自步驟S104的複數個合併影像，從而建立本發明之模型。

本揭示內容方法10的活體組織切片通常是得自於一人類身體之一塊組織或是一細胞樣本。根據一例示性實施方式，活體組織切片是從健康或是患病個體獲得的一塊乳房組織。為了建立及訓練模型，源自於個體且已含有已知之荷爾蒙受體資訊的多張全玻片影像用於本揭示內容之訓練方法10。具體地，可從醫療中心現有的資料庫收集多張活體組織切片的H&E染色全玻片影像(S101)。根據本揭示內容，荷爾蒙受體資訊包含荷爾蒙受體的陽性表現或陰性表現，其中荷爾蒙受體是選自於由雌激素受體(以下稱ER)、黃體激素受體(以下稱PR)及/或前述組合所組成的群組。也可以額外或選擇性地收集對應每一個體的診斷資訊(如，癌症分期)。接著，全玻片影像自動轉發到已內建用於執行後續步驟(S102至S105)之指令的裝置及/或系統(例如電腦或處理器)。在步驟S102及S103中，每一張全玻片影像被劃分成複數個圖像塊(即，一小張全玻片影像)，且每一圖像塊皆接受圖塊擷取以區分呈現在各該圖像塊中的H&E染色是正常還是異常。可藉助於本領域習知之病理學準則並透過演算法來執行圖塊擷取，從而從那些呈現正常H&E染色的圖像塊中分辨並挑出具有異常H&E染色的圖像塊。經分類後呈現異常H&E染色的圖像塊則接著進行合併處理，從而產生每一H&E染色的全玻片影像的一合併影像，亦即對應每一H&E染色的全玻片影像的合併影像(S104)。需注意的是，在一張合併影像中的所有圖像塊均源自同一個體，如此一來每幅合成影像均具有已知的荷爾蒙受體資訊和臨床診斷資訊以供該些合併影像進行步驟S105所述之訓練程序時參考。

接著在步驟S105，借助於上述荷爾蒙受體資訊，將複數個(或複數張)合併影像用來訓練內建於電腦(例如處理器)中的機器學習模型，從而建立本發明的模型。

根據本揭示內容某些實施方式，可藉由向量正則化複數矩陣因式分解(以下稱CMF)方法來訓練合併影像，所述方法包含第1圖所示並以元件符號S105a至S105c標記的步驟： S105a：從每一合併影像的複數獲得一複數矩陣；S105b：將該複數矩陣轉換成對應各合併影像之一複數行向量；以及S105c：基於步驟S105b獲得之複數行向量之間的相似度，區分各該合併影像為荷爾蒙受體陽性表現或是陰性表現。

鑑於每張合併影像都是由每個像素的多個實數所組成且擁有像素的實數數據矩陣X，步驟S105a的最終目的是要將實數數據矩陣X歸一化並轉換成複數，從而產生對應合併影像的一複數矩陣Z。需注意的是可從傅立葉轉換獲得本發明合併影像的複數值，另可利用歐拉公式將一個點從笛卡兒座標轉為極座標。在此方案，首先歸一化像素強度的向量值，接著借助方程式(1)，使用歐拉公式透過從N-維度的實空間將f映射至N-維度的複數空間將其轉換成單位球面(unit sphere)，

其中x _t表示N-維度向量，包含按詞典編纂順序(lexicographic ordering)的一表現圖像(expressing image)X_t，x _t(c)

[0,1]且α

R⁺。

根據本揭示內容，有N個圖像塊(或影像)可被訓練，且每一個圖像塊含有M個實數像素，這表示會有M個複數值。透過使用方程式(1)，可以獲得對應所述複數值M的一行向量(亦即，方程式(1)的右邊，以[⋮]表示)。

接著進到步驟S105b，該步驟目的在於從複數矩陣Z求得每一張合併影像的複數行向量。注意到有N個圖像塊及M個複數值時，一合併影像的複數行向量Z則表示為Z

C^N×M。為了最小化目標函數，從複數矩陣Z因式分解為兩個子矩陣W

C^N×K及V

C^K×M，其中K表示一常數。因此，可透過方程式(2)來計算子矩陣W及V：

其中V ^H LV表示在實域(亦即，合併影像)中的複雜圖正則化，λ是正則化參數，

及α調整因數之準確度及矩陣V的稀疏度之間的平衡。藉由拆解複數矩陣Z，訓練多個圖像塊(或影像)之後可以學習並得到W及V子矩陣。

最終可以獲得子矩陣W及V與複數矩陣Z之間的關係式，且以方程式(3)及(4)：Z=WV (3)， z =W v (4)。

注意可藉由將z代入方程式(1)將方程式(3)轉化成方程式(4)，其中 v 表示影像的複數行向量。據此，每一張合併影像的複數行向量 v 最終可以轉化成複數矩陣Z或是子矩陣V(S105b)。在某些較佳實施方式中，複數行向量 v 是每一張合併影像的特徵向量，從而允許透過該些合併影像的特徵向量進一步分析合併影像。總結之，藉由訓練N張圖像塊及拆解複數矩陣Z，可獲得所述合併影像的複數行向量 v (也就是特徵向量)。

一旦得到複數行向量 v ，接著採用向量正則化CMF方法進到分類步驟(S105c)。在步驟S105c，每一合併影像具有各自的複數行向量 v 以及已知之荷爾蒙受體資訊(包含荷爾蒙受體的表現狀態)，因此，藉由比較多個複數行向量 v 之間的相似性，可以將合併影像的荷爾蒙受體表現模式分類成陽性表現組或是陰性表現組。或者也可以再加入對應活體組織切片來源的當前診斷資訊，以確保再次核實。據此，藉助步驟S101已知荷爾蒙受體資訊及/或診斷訊息，可訓練影像辨識及區分荷爾蒙受體的陽性表現或陰性表現，從而共同建立主要基於H&E染色的活體組織切片確定荷爾蒙受體狀態的模型。值得注意的是適用於本揭示內容方法步驟S105c的演算法可以是任何本揭示內容已知的分類演算法。在具體實施例中，是藉由執行k-最近鄰(k-NN)演算法來進行步驟S105c。

適用於本揭示內容方法(特別是步驟S103至S105)或系統的訓練演算法可以是深度學習演算法。所述深度學習演算法的實例包含但不限於，卷積類神經網路(convolutional neural networks，CNNs)、長短期記憶網路(long short term memory networks，LSTMs)、遞歸類神經網路(recurrent neural networks，RNNs)、生成對抗網路(generative adversarial networks，GANs)、徑向基底函數網路(radial basis function networks，RBFNs)、多層感知器multilayer perceptrons，MtLPs)、自組織映像(self-organizing maps，SOMs)、深度信念網路(deep belief networks，DBNs)、受限玻爾茲曼機(restricted boltzmann machines，RBMs)以及自動編碼器(Autoencoders)。

藉由執行上述步驟S101至S105，本揭示內容從而建立了可直接從活體組織切片的H&E染色來測定荷爾蒙受體狀態且訓練有素的模型。

2.2識別個體荷爾蒙受體狀態的系統及方法

本揭示內容第二態樣是關於用以基於從個體收集之活體組織切片的H&E染色全玻片影像來測定一荷爾蒙受體狀態的方法及系統。配合參考第2圖及第3圖。

第2圖繪示一系統20，其包含影像擷取單元210、伺服器220以及處理器230，其中該影像擷取單元210及伺服器220分別與處理器230耦接。根據本揭示內容，影像擷取單元210設以擷取收集來自該個體活體組織切片的一或多張候選H&E染色全玻片影像。在具體實施例中，影像擷取單元210是一顯微鏡照相機或是一全玻片掃描機。伺服器220則設以儲存透過上述方法10(亦即步驟S101至S105)建立的模型2201。處理器230設以執行本發明方法之影像辨識以用於鑑別荷爾蒙受體狀態。

在一些實施方式中，是將伺服器220及處理器230設成兩個獨立的設置；在其他替選實施方式，也可以將兩者設置在同一硬體內。在一些實施方式中，伺服器220與影像擷取單元210及處理器230通訊連結，設以儲存一或多張傳送自影像擷取單元210且即將被處理器230分析的候選H&E染色全玻片影像。處理器230是經指令編程以執行一方法，所述方法是藉助建立於伺服器220內的模型2201，來測定候選H&E染色全玻片影像荷爾蒙受體狀態。

根據本揭示內容部分實施方式，影像擷取單元210、伺服器220及處理器230係通訊式彼此連接。可使用各種技術實施影像擷取單元210、伺服器220及處理器230之間的通訊。舉例來說，本發明伺服器220可以是一雲端伺服器，透過網路(例如一區域通信網路(LAN)、一廣域網路(WAN)、網路或無線網路)來與影像擷取單元210及處理器230通訊。

參考第3圖，其繪示在處理器230上執行方法30的流程圖，所述方法可用來測定從罹患或是疑似罹患乳癌的個體所收集之活體組織切片的候選H&E染色全玻片影像的荷爾蒙受體狀態。方法30包含以下步驟(請參考第3圖繪示的元件符號S301至S303)，S301：將候選H&E染色全玻片影像劃分成複數個(張)圖像塊； S302：藉由執行圖塊擷取以挑選並將該些呈現異常H&E染色的圖像塊合併，以形成一待測影像；以及S303：藉助於由本發明方法10建立之模型2201，藉由處理步驟S302產生之待測影像，以測定荷爾蒙受體狀態。

根據本揭示內容，荷爾蒙受體狀態包含荷爾蒙受體之陽性或陰性表現。在部分替選實施方式中，荷爾蒙受體狀態更包含荷爾蒙受體的表現強度。適用於本揭示內容方法的荷爾蒙受體是選自由雌激素受體(ER)、黃體激素受體(PR)及/或其組合所組成之群組。

一旦獲得候選的H&E染色全玻片影像，處理器230執行圖塊擷取，從而使候選H&E染色全玻片影像被劃分成複數個圖像塊，接著該些呈現異常H&E染色的圖像塊會被挑出並合併成一張待測影像(步驟S301-302)。與前述方法10的步驟S102及S103相同，在步驟S301及S302所應用的策略也可由本領域習知的演算法及預設好的病理準則來執行，較佳是深度學習演算法，包含但不限於：卷積類神經網路(CNNs)、長短期記憶網路(LSTMs)、遞歸類神經網路(RNNs)、生成對抗網路(GANs)、徑向基底函數網路(RBFNs)、多層感知器(MLPs)、自組織映像(SOMs)、深度信念網路(DBNs)、受限玻爾茲曼機(RBMs)以及自動編碼器。為省略篇幅，本節不再重複說明步驟S301及S302。

接著進到步驟S303，待測影像接受處理並與儲存於模型2201內的參考資訊比對，從而測得該待測影像的荷爾蒙受體狀態。根據本揭示內容之一實施方式，可透過實現被處理器230執行之向量正則化複數矩陣因式分解方法來處理待測影像。如第3圖所示，向量正則化複數矩陣因式分解方法具體包含以下步驟：(S303a)從待測影像的複數獲得一複數矩陣；(S303b)將該複數矩陣轉換成該待測影像的一複數行向量；以及(S303c)基於步驟S303b獲得的待測影像複數行向量與儲存於伺服器220模型2201之合併影像的複數行向量之間的絕對距離，區分該待測影像上的荷爾蒙受體是陽性表現或陰性表現。

獲得該待測影像的複數行向量後，前進到分類步驟(S303c)。除了步驟S303c，步驟S303a及S303b中使用的策略類似於方法10步驟S105a及S105b描述的策略，目的也是欲獲得真實影像(即待測影像)的特徵向量(即，複數行向量)，以用於影像辨識，從而提供正確的辨識結果。將真實數據(資料)轉換成複數已經詳述於步驟S105a至S105b，為了精簡在此段落不再贅述。

步驟S105c與步驟S303c之間的主要差異在於應用到待測影像的分類策略之差異。與步驟S105不同，在步驟S303c，待測影像的複數行向量是用來與模型2201內合併影像的複數行向量進行比較，具體是透過計算兩者之間的絕對距離來進行。一般而言兩張影像的複數行向量之間的距離越近，則被認為兩張影像越相像。較佳地，可以透過執行k-最近鄰(k-NN)演算法來執行所述計算。若相較於表現陰性之合併影像的複數行向量，待測影像的複數行向量較接近表現陽性之合併影像的複數行向量，則該待測影像的複數行向量會被判定為陽性表現向量。相反地，若待測影像的複數行向量較為接近陰性表現的合併影像，則被判定為陰性表現向量。具體執行時，待測影像的複數行向量會與模型2201內所有合併影像的複數行向量比對。每一次比對都會產生一個識別結果，當一張待測影像完成全部比對後會產生多個識別結果。若對應於荷爾蒙受體陽性表現的複數行向量之數目大於對應於陰性表現的複數行向量，則判定該待測影像具備陽性的荷爾蒙受體表現。相反地，若對應於陰性表現的(待測影像的)複數行向量之數目較多，則判定該待測影像是呈現陰性的荷爾蒙受體表現。如此，步驟S303c可以精確地測定源自個體的待測影像的荷爾蒙受體表現是陽性或是陰性。

在一較佳實施方式中，用來處理待測影像的向量正則化複數矩陣因式分解方法更可包含一測定表現強度的步驟(步驟S303d)。由於步驟S303c的比對已經分別給出多個陽性及陰性荷爾蒙受體表現的測定數量，因此可透過進一步計算該些數量的比值來表示表現強度，從而表示陽性表現或陰性表現的比例。舉例來說，若模型內具有總共15張合併影像做為參考影像，這些合併影像與一待測影像的逐一比較將得到15個結果，其中10次為陽性表現，5次為陰性表現。據此，待測影像的荷爾蒙受體狀態被判定為陽性表現，且其表現強度以10/15表示(15次判定中有10次被判定為陽性)。藉此計算，步驟S303d可進一步測定來自個體之待測影像的荷爾蒙受體表現強度。

2.3測定及治療癌症之方法

本揭示內容之目的還在於對一患有或疑似患有乳癌個體提供診斷及治療。對此，前揭方法、模型及系統皆可用於協助臨床人員進行荷爾蒙受體狀態的精準判定。因此本揭示內容包含另一態樣是關於測定及治療個體乳癌的方法。

根據本揭示內容部分實施方式，所述方法包含：(a)從前述個體之活體組織切片獲得一H&E染色全玻片影像；(b)藉由使用前揭方法及系統測定該個體的荷爾蒙受體狀態；以及(c)基於步驟(b)的荷爾蒙受體狀態給予該個體抗癌處置。

本揭示內容方法起於從個體的活體組織切片獲得一H&E染色全玻片影像，該個體為哺乳動物，舉例來說，人類、小鼠、大鼠、倉鼠、天竺鼠、兔、犬、貓、牛、山羊、綿羊、猴或馬。優選地該個體為人類。可執行合適的工具及/或流程來獲得該活體組織切片及其全玻片影像。在具體實施例中，該活體組織切片是經蘇木素及伊紅染色的乳房活體組織切片，且藉由一影像擷取裝置捕捉並蒐集其全玻片影像，所述影像擷取裝置像是本揭示內容系統20的影像擷取單元210(例如一顯微鏡照相機或是全玻片掃描機)。

接著，藉由前述方法30測定該個體荷爾蒙受體的狀態。根據本揭示內容，荷爾蒙受體狀態包含選自由雌激素受體(ER)、黃體激素受體(PR)及/或其組合所組成之群組的荷爾蒙受體的陽性或陰性表現，以及其表現強度。

一旦經測定且確認(非必要)，個體荷爾蒙受體狀態就可做為決定是否該將一抗癌處置施用於該個體的指標物。在一些實施方式中，當全玻片影像被判定呈現陽性ER或PR表現時，個體可能或有風險發展為ER/PR-陽性乳癌，如此一來，對該個體投予可預防或改善與ER/PR-陽性乳癌相關症狀的抗癌處置。在其他實施方式中，當全玻片影像被判定為陰性ER或PR表現時，個體則可能或有風險發展為ER/PR-陰性乳癌，從而將對該個體進行可預防或改善與ER/PR-陰性乳癌相關之症狀的抗癌處置。

適用於本揭示內容方法(即，用以投予至呈現陽性或陰性表現之荷爾蒙受體狀態的個體)的抗癌處置實例包含，但不限於，手術、射頻剝離、系統性化學療法、經動脈化學栓塞(transarterial chemoembolization，TACE)、免疫療法、標靶藥物療法、荷爾蒙療法及其組合。任何臨床從業人員可以基於治療的特定病症、病症的嚴重程度、病患個體的身體狀況(包括年齡、物理狀況、體型、性別和體重、治療的期間、合併治療的疾病種類(如果有的話))、給藥的特定途徑以及其他類似因素，並配合健康從業人員的通常知識及專業知識，而選擇適用於本揭示內容方法的治療手段。

藉由前述技術特徵，本揭示內容方法無須免疫組織化學(immunohistochemistry，IHC)染色，主要基於H&E染色的全玻片影像即可對荷爾蒙受體狀態提供精準測定及識別，從而提升乳癌診斷的準確度及效率，從而允許確診的患者得到適當的治療。

實施例

材料與方法

資料收集

從馬偕紀念醫院乳房外科取得乳房活體組織切片共計166張雌激素受體(ER)表現的H&E染色全玻片影像以及163張黃體激素受體(PR)表現的H&E染色全玻片影像，用以建構影像辨識及驗證的模型。

影像處理及圖塊擷取

從資料庫獲得的每一張全玻片影像都被校正成8倍放大的正則化像素尺寸，接著被分成256×256圖像塊進一步用於利用CNN模型的深度學習程序。

用於圖型辨識的向量正則化複數矩陣因式分解(complex matrix factorization，CMF)

本發明向量正則化CMF方法目的在於直接將有約束最佳化問題轉換成無約束最佳化問題。基於歐拉公式的原則，像素強度的向量值可被歸一化並藉著將f從N-維度實空間映射至N-維度複數空間來轉換成單位球面，採用的方程式為：

[0,1]且α

R⁺。

接著，給定一矩陣Z

C^N×M，並找到兩個矩陣W

C^N×K及V

C^K×M來最小化目標函數

其中λ是正則化參數，

，且λ調整因數之準確度及矩陣V的稀疏度之間的平衡。

注意，

實施例1：建構本揭示內容影像辨識模型

本實驗目的在於提供用於全玻片影像辨識的經訓練機器學習模型。為此，根據「材料與方法」章節闡述的流程建立兩個模型，分別用以辨識雌激素受體(ER)及黃體激素受體(PR)。具體而言，針對雌激素受體(ER)辨識(模型I)，共使用133張全玻片影像，其中包含107張呈現陽性ER表現的全玻片影像以及26張呈現陰性ER表現的全玻片影像；而用於黃體激素受體(PR)辨識(模型II)，共使用130張全玻片影像，包含91張陽性PR表現以及39張陰性PR表現。

實施例2：驗證本揭示內容影像辨識模型

接著，評估實施例1的訓練模型及用於測定荷爾蒙受體狀態方法的影像辨識效率。為此，使用本揭示內容的向量正則化CMF方法，處理33張包含ER及PR表現的候選全玻片影像並送入本揭示內容模型(即前述的模型I及模型 II)中。在方程式(1)及(2)，兩個參數α及λ的值分別在區間[0,2)及0.01之內調整。

結果發現，透過本發明模型，對於ER識別及PR識別的辨識率分別高達86%及81%。

藉由使用本揭示內容方法及系統，從病患獲得的病理學活體組織切片可被自動地鑑別及解讀，無須額外的IHC檢查，從而提高乳癌診斷的效率與準確性。

應當理解的是，前述對實施方式的描述僅是以實施例的方式給出，且本領域所屬技術領域中具有通常知識者可進行各種修改。以上說明書、實施例及實驗結果提供本發明之例示性實施方式之結構與用途的完整描述。雖然上文實施方式中揭露了本發明的各種具體實施例，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不悖離本發明之原理與精神的情形下，當可對其進行各種更動與修飾，因此本發明之保護範圍當以附隨申請專利範圍所界定者為準。

10:方法

S101-S105,S105a-S105c:步驟

Claims

一種用以建立可經由一個體之一活體組織切片的蘇木素及伊紅(H&E)染色全玻片影像來測定該個體荷爾蒙受體狀態的一模型之電腦實施方法，包含：(a)取得該活體組織切片的複數個H&E染色全玻片影像，其中各該H&E染色全玻片影像包含一荷爾蒙受體資訊；(b)劃分步驟(a)的各該H&E染色全玻片影像成複數個圖像塊；(c)藉由執行圖塊擷取(tiles extraction)來區分步驟(b)的各該圖像塊中的正常及異常H&E染色；(d)挑選並合併經步驟(c)區分後呈現異常H&E染色的該些圖像塊，以產生各該H&E染色全玻片影像之一合併影像；以及(e)借助於步驟(a)的該荷爾蒙受體資訊來訓練分別產自步驟(d)之該複數個合併影像，從而建立該模型，其中步驟(a)之該荷爾蒙受體資訊包含一荷爾蒙受體的一陽性表現或一陰性表現，其中該荷爾蒙受體係選自由一雌激素受體(ER)、一黃體激素受體(PR)及/或一其組合所組成之群組。
如請求項1所述之電腦實施方法，其中在步驟(e)，是藉由執行一向量正則化複數矩陣因式分解方法來訓練該複數個合併影像，該向量正則化複數矩陣因式分解方法包含：(e-1)從各該合併影像的複數值取得一複數矩陣；(e-2)將該複數矩陣轉化為對應各該合併影像的一複數行向量；以及 (e-3)基於步驟(e-2)獲得的複數行向量之間的相似性，判定各該合併影像為該荷爾蒙受體的該陽性表現或是該陰性表現。
如請求項2所述之電腦實施方法，其中藉由執行一k-最近鄰(k-nearest neighbors)演算法來進行步驟(e-3)。
如請求項1所述之電腦實施方法，其中藉由執行一深度學習演算法來進行步驟(c)、(d)及(e)。
如請求項1所述之電腦實施方法，其中該個體具有或是疑似患有一乳癌。
一種基於一個體之一活體組織切片的一H&E染色全玻片影像測定一荷爾蒙受體狀態的電腦實施方法，包含：(a)劃分該H&E染色全玻片影像成複數個圖像塊；(b)藉由執行圖塊擷取來挑選並合併呈現一異常H&E染色的該些圖像塊，以形成一待測影像；以及(c)藉由在如請求項1所述之方法建立之模型內處理該待測影像來測定該荷爾蒙受體狀態，其中該荷爾蒙受體狀態包含一荷爾蒙受體的一陽性表現或一陰性表現，其中該荷爾蒙受體係選自由一雌激素受體(ER)、一黃體激素受體(PR)及/或一其組合所組成之群組。
如請求項6所述之電腦實施方法，其中在步驟(c)，是藉由執行一向量正則化複數矩陣因式分解方法來處理該待測影像，包含：(c-1)從該待測影像的複數值取得一複數矩陣；(c-2)將該複數矩陣轉化為對應該待測影像的一複數行向量；以及 (c-3)基於步驟(c-2)獲得之該待測影像的該複數行向量與如請求項1所述之方法建立之該模型中該些合併影像之間的一絕對距離，將該待測影像區分為該荷爾蒙受體的該陽性表現或陰性表現。
如請求項7所述之電腦實施方法，其中藉由執行k-最近鄰(k-NN)演算法來進行步驟(c-3)。
如請求項8所述之電腦實施方法，其中該荷爾蒙受體狀態更包含該荷爾蒙受體的一表現強度。
如請求項9所述之電腦實施方法，其中該向量正則化複數矩陣因式分解方法更包含，(c-4)基於對應如請求項1所述之方法建立之該模型中為陽性表現的該些合併影像之複數行向量的數量，以及對應如請求項1所述之方法建立之該模型中為陰性表現的該些合併影像之複數行向量的數量之間的比例，來測定在該待測影像中該荷爾蒙受體的該表現強度。
如請求項6所述之電腦實施方法，其中藉由執行一深度學習演算法來進行步驟(b)及(c)。
如請求項6所述之電腦實施方法，其中該個體具有或是疑似患有一乳癌。
一種用於識別一個體之一荷爾蒙受體狀態的系統，包含：一影像擷取單元，設以收集來自該個體之一活體組織切片的一或多個候選H&E染色全玻片影像；一伺服器，設以儲存如請求項1所述之方法建立之一模型，以及設以接受傳送自該影像擷取單元之該一或多個候選H&E染色全玻片影像；以及一處理器，經指令編程執行一用於測定傳送自該伺服器之該一或多個候選H&E染色全玻片影像之該荷爾蒙受體狀態的方法，其中該方法包含，(a)劃分各該候選H&E染色全玻片影像成複數個圖像塊；(b)藉由執行圖塊擷取來挑選並合併呈現一異常H&E染色的該些圖像塊，以形成一待測影像；以及(c)藉助於儲存於該伺服器的該模型，藉由處理步驟(b)產生之該待測影像來測定該荷爾蒙受體狀態，其中該荷爾蒙受體狀態包含一荷爾蒙受體的一陽性表現或一陰性表現，其中該荷爾蒙受體係選自由一雌激素受體(ER)、一黃體激素受體(PR)及/或一其組合所組成之群組。
如請求項13所述之系統，其中在步驟(c)，是藉由執行一向量正則化複數矩陣因式分解方法來處理該待測影像，該方法包含：(c-1)從該待測影像的複數值取得一複數矩陣；(c-2)將該複數矩陣轉化為對應該待測影像的一複數行向量；以及(c-3)基於儲存於該伺服器該模型內的該合併影像之複數行向量以及步驟(c-2)或得知該待測影像的該複數行向量之間的絕對距離，將該待測影像區分為該荷爾蒙受體的該陽性表現或該陰性表現。
如請求項14所述之系統，其中藉由執行k-最近鄰(k-NN)演算法來進行步驟(c-3)。
如請求項14所述之系統，其中該荷爾蒙受體狀態更包含該荷爾蒙受體的一表現強度。
如請求項16所述之系統，其中該向量正則化複數矩陣因式分解方法更包含，(c-4)基於對應儲存於該伺服器內該模型中該些陽性表現合併影像之該複數行向量的數量，以及對應儲存於該伺服器內該模型中該些陰性表現合併影像之該複數行向量的數量之間的比例，來測定在該待測影像中該荷爾蒙受體的該表現強度。
如請求項13所述之系統，其中藉由執行一深度學習演算法來執行步驟(b)及(c)。