TWI838687B - 評估腫瘤標本免疫狀態的方法 - Google Patents

評估腫瘤標本免疫狀態的方法 Download PDF

Info

Publication number
TWI838687B
TWI838687B TW111103365A TW111103365A TWI838687B TW I838687 B TWI838687 B TW I838687B TW 111103365 A TW111103365 A TW 111103365A TW 111103365 A TW111103365 A TW 111103365A TW I838687 B TWI838687 B TW I838687B
Authority
TW
Taiwan
Prior art keywords
tumor
image
block
cell
specimen
Prior art date
Application number
TW111103365A
Other languages
English (en)
Other versions
TW202230394A (zh
Inventor
李健逢
李宛珊
林宇捷
李佳容
陳勇安
Original Assignee
奇美醫療財團法人奇美醫院
捷絡生物科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 奇美醫療財團法人奇美醫院, 捷絡生物科技股份有限公司 filed Critical 奇美醫療財團法人奇美醫院
Publication of TW202230394A publication Critical patent/TW202230394A/zh
Application granted granted Critical
Publication of TWI838687B publication Critical patent/TWI838687B/zh

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種評估腫瘤標本免疫狀態的方法,包含取得一腫瘤標本的三維影像,其中該三維影像包含複數個切層影像;對各該複數個切層影像依序進行一像素級影像分割及一區塊級影像分割以界定一腫瘤中心區;界定各該複數個切層影像中圍繞該腫瘤中心區的一侵犯邊緣區;及針對該複數個切層影像計算至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區內的一平均密度,以評估該腫瘤標本的免疫狀態。前述方法能提高癌症預後預測的準確性。

Description

評估腫瘤標本免疫狀態的方法
本發明係關於一種組織病理診斷方法。更具體而言,本發明係關於一種將涉及影像處理的深度學習演算法應用於腫瘤標本的顯微影像以評估腫瘤標本免疫狀態的方法。
近年來,癌症的治療方法越發多樣化。除了諸如外科手術及化學治療等傳統療法,標靶藥物治療以及免疫療法亦成為治療癌症的新契機。然而,新式療法的費用往往令人難以負擔,且並非每位患者對新式療法皆有良好反應。以免疫療法為例,即使經過病理檢測評估後有機會使用免疫療法的患者,也只有約 30%的機率能在治療後有效控制病情,無形之中造成相當大的醫療資源浪費。因此,早期診斷、更精準的預後分析、及選擇適當療法,實有其必要。
目前癌症治療方案規劃中最重要的指標就是癌症分型分期的判斷。醫師通常根據病患的癌症類型與期數定義患者的嚴重程度,再結合治療準則、臨床參考文獻及過去的治療經驗選擇適合患者的治療方案。現行癌症分期中最具代表性的標準為美國癌症協會(American Joint Committee on Cancer Staging, AJCC)與國際抗癌聯盟(International Union against Cancer,UICC)制定的 TNM 分期系統(TNM staging system)。此系統以腫瘤(tumor,縮寫T)、 局部淋巴結(regional lymph node,縮寫N)、及腫瘤轉移(metastasis,縮寫M)為癌症分期的主要指標,透過評斷腫瘤的大小、腫瘤細胞的局部侵犯和淋巴蔓延程度、及是否有血行轉移等將患者分為 0-IV 期,再根據不同的期數由醫師評估治療方式與預後存活率。
然而,TNM分期系統側重於腫瘤細胞本身而未考慮其他因子,故無法對現行癌症多樣療法的預後做出適當的預測。新近研究有越來越多證據顯示個人免疫系統對癌症進展有重要的影響。舉例而言,CD8 +細胞毒性T淋巴球可以辨識並破壞腫瘤細胞,但另一方面,腫瘤可能透過多種機制逃避免疫系統,例如藉由表現免疫檢查點(immune checkpoint)分子PD-L1來抑制免疫反應。因此,分析癌症組織中免疫細胞的種類、位置、及數目並給予評分成為近年來評估癌症預後的新指標。例如免疫評分(Immunoscore),便是透過對腫瘤病理切片進行組織學分析時,計算腫瘤中心(tumor center)及侵犯邊緣(invasion margin)二區域內的二種免疫細胞(例如CD8 +細胞毒性T淋巴球與CD45RO +記憶T淋巴球;或CD3 +T淋巴球與CD8 +細胞毒性T淋巴球)的密度,進而給出介於0至4之間的評分,以指示個體的免疫狀態。例如,若在腫瘤中心及侵犯邊緣二區域內分別觀察到低密度的CD8 +細胞與CD45RO +細胞,則免疫評分為0。先前已有臨床研究文獻顯示將免疫評分和癌症分期系統相整合,可為結腸癌病患提供更準確的預後評估預測。
目前針對癌症組織進行免疫評分或者其他診斷經常遭遇到的一項挑戰,在於傳統上依據病理切片而做出的診斷或免疫評分欠缺代表性。此問題起因於腫瘤組織的異質性(heterogeneity),即腫瘤組織的形態特徵在空間中的各方向上不斷變化而缺少一致性。由於病理切片是從癌症組織標本中切取出的一層厚度約3-5 µm的薄切片,其僅占整個樣本體積的0.5%以下,基於此種切片進行免疫評分已被證實容易發生局部評分高或低而造成的偽陽性或偽陰性情況,進而導致患者可能因為錯誤評估而延誤治療。
因此,開發一種免疫評分的新方法以實現更準確的免疫狀態評估及癌症治療預後預測,實有其必要。
為了解決前述困境,本發明提供一種基於具相當厚度之腫瘤標本評估該標本免疫狀態的方法。該方法包含以下步驟:(a)取得一腫瘤標本的一三維影像,其中該三維影像包含複數個切層影像;(b)對各該複數個切層影像進行一像素級影像分割以識別一腫瘤細胞區,而後對各該複數個切層影像中包含該腫瘤細胞區的一腫瘤中心預估區進行一區塊級影像分割以界定一腫瘤中心區;(c)界定各該複數個切層影像中圍繞該腫瘤中心區的一侵犯邊緣區;及(d)針對該複數個切層影像計算至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區各範圍內的一平均密度。
在本發明的一些實施例中,該腫瘤標本的厚度為約50 µm至200 µm。在一些實施例中,該腫瘤標本係經過組織澄清(tissue clearing)及螢光染色處理。舉例而言,該組織澄清係利用一水性澄清劑接觸來自一個體的腫瘤標本而獲得一澄清的腫瘤標本。該螢光染色係利用一螢光染劑接觸來自一個體的腫瘤標本而獲得一染色的腫瘤標本。
在一些實施例中,該腫瘤標本的三維影像係利用一顯微鏡成像系統掃描該腫瘤標本而獲得。該顯微鏡成像系統包括但不限於一掃描式雷射共軛焦顯微鏡(laser scanning confocal microscope,LSCM)系統。
在一些實施例中,該像素級影像分割包含以下步驟:利用一語義分割模型標註各該複數個切層影像中的腫瘤細胞像素及正常細胞像素,以識別由該腫瘤細胞像素佔據的該腫瘤細胞區。在一些實施例中,該語義分割模型係經過一組腫瘤標本影像訓練的一深度學習模型,且該組腫瘤標本影像中的腫瘤細胞與正常細胞係經過人工標註。
在一些實施例中,該區塊級影像分割包含以下步驟:將各該複數個切層影像中的該腫瘤中心預估區劃分為複數個影像區塊,以產生一第一區塊圖,其中各該複數個影像區塊以一細胞像素占比(即一影像區塊中的腫瘤細胞像素與正常細胞像素之像素點數總和相對於該影像區塊之總像素點數的比例)及一腫瘤細胞像素占比(即一影像區塊中的腫瘤細胞像素之像素點數相對於該影像區塊之總像素點數的比例)為表徵;自該第一區塊圖中移除一非腫瘤區塊以產生一第二區塊圖,其中該非腫瘤區塊具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二區塊圖中相距小於一預定間距的二影像區塊間補回一回填區塊以產生一第三區塊圖,並將該第三區塊圖中的相鄰影像區塊合併為一目標影像區塊群,由該目標影像區塊群的外緣界定該腫瘤中心區。
在一些較佳實施例中,前述區塊級影像分割係透過基於無向圖(undirected graph)的運算完成對腫瘤中心區的辨識。該利用無向圖的區塊級影像分割包含以下步驟:將各該複數個切層影像中的該腫瘤中心預估區劃分為複數個影像區塊,以建立包含相應的複數個節點的一第一無向圖,其中各該複數個節點以所對應各該複數個影像區塊的一細胞像素占比及一腫瘤細胞像素占比為表徵;自該第一無向圖移除一非腫瘤節點以產生一第二無向圖,其中該非腫瘤節點具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二無向圖中相距小於一預定節點間距的二節點間補回一回填節點以產生一第三無向圖,並將該第三無向圖中的相鄰節點合併為一節點群,由該節點群所對應的一目標影像區塊群的外緣界定該腫瘤中心區。
在一些實施例中,該至少二種免疫細胞包含選自由CD3陽性(CD3 +)細胞、CD4陽性(CD4 +)細胞、CD8陽性(CD8 +)細胞、CD45RO陽性(CD45RO +)細胞、CD68陽性(CD68 +)細胞、CD163陽性(CD163 +)細胞、FOXP3陽性(FOXP3 +)細胞、及其任意組合所組成群組之至少二種細胞。
在一些實施例中,該平均密度之計算包含測定各該複數個切層影像中該至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區內的一密度,以獲得至少四組密度資料,及自該至少四組密度資料中的每一組預先排除組內密度值最大的1-15%及組內密度值最小的1-15%。
在一些實施例中,前述步驟(d)進一步包含基於該至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區內的該平均密度分別指定一免疫得分,及計算該免疫得分之總和。該免疫得分之指定可取決於一閾值。在一些實施例中,當該平均密度大於一閾值,該免疫得分被指定為1,否則為0。在此評分原則下,該免疫得分之總和越高,表示該腫瘤標本的來源個體的免疫狀態越良好。
本發明之另一目的係提供一種界定腫瘤標本影像中的一腫瘤中心區的方法。該方法包含以下步驟:利用一語義分割模型標註一腫瘤標本影像中的腫瘤細胞像素及正常細胞像素,以識別由該腫瘤細胞像素佔據的一腫瘤細胞區;將該腫瘤標本影像中包含該腫瘤細胞區的一腫瘤中心預估區劃分為複數個影像區塊以產生一第一區塊圖,其中各該複數個影像區塊以一細胞像素占比及一腫瘤細胞像素占比為表徵;自該第一區塊圖中移除一非腫瘤區塊以產生一第二區塊圖,其中該非腫瘤區塊具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二區塊圖中相距小於一預定間距的二影像區塊間補回一回填區塊以產生一第三區塊圖,並將該第三區塊圖中的相鄰影像區塊合併為一目標影像區塊群,由該目標影像區塊群的外緣界定該腫瘤標本影像中的一腫瘤中心區。
本發明之另一目的係提供一種評估腫瘤標本的免疫狀態的系統。該系統包含一儲存媒介,其儲存可被一電腦或一處理器讀取的用於評估腫瘤標本的免疫狀態的複數指令,以便執行包含以下步驟的一方法:取得一腫瘤標本的一三維影像,其中該三維影像包含複數個切層影像;對各該複數個切層影像進行一像素級影像分割以識別一腫瘤細胞區,而後對各該複數個切層影像中包含該腫瘤細胞區的一腫瘤中心預估區進行一區塊級影像分割以界定一腫瘤中心區;界定各該複數個切層影像中圍繞該腫瘤中心區的一侵犯邊緣區;及針對該複數個切層影像計算至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區各範圍內的一平均密度。
本發明的方法利用二階段影像分割處理,針對腫瘤標本在三維空間中的多個切層影像辨別腫瘤中心區及進一步界定侵犯邊緣區,並且透過計算特定免疫細胞在該多個切層影像中的前述二區域內的平均密度,測定該些免疫細胞在整個腫瘤標本的腫瘤中心與侵犯邊緣之三維層次上的密度,據此評估腫瘤標本的免疫狀態。相比傳統的免疫評分法係以薄組織切片的二維影像為依據,本文揭露的方法係以具有相當厚度之腫瘤標本的三維影像為分析對象,運用模擬病理專家臨床判斷的深度學習演算法進行三維層次的免疫評分,以產出更具代表性的評估結果。因此,醫師得以藉由使用本文所揭露的方法做出更準確的預後診斷,並且決定最適合每位病患的治療方式,實現個人化精準醫療的目標。
以下實施方式及舉例係進一步說明本發明。應當理解,以下列舉的實施例非用以限定本發明的範圍,並且所屬技術領域中的熟習技藝者在不超出所附請求項的範圍內當可進行調整修飾。
除非另有定義,本文中使用的所有技術和科學術語及縮寫的含意與本發明所屬技術領域中熟習技藝者的通常理解相同。 定義
除非上下文另有明確定義,本文中所用單數形式的「一」、「一個」及「該」包含複數指稱。
本文提供的數值為近似值,並且實驗數值可以在20%的範圍內變化,較佳為在10%的範圍內變化,更佳為在5%的範圍內變化。因此,「約」及「近似」等用語係指一給定數值或範圍的20%範圍內,較佳為在10%的範圍內,更佳為在5%的範圍內。
本文中所用「wt%」或「%w/w」係指一組合物的重量%。
本文中所用「腫瘤」一詞包括良性(非癌性)及惡性(癌性)腫瘤,其分別定義為腫瘤細胞具有擴散或侵襲身體其他部位的低潛力或高潛力。惡性腫瘤(亦稱癌症)的實例包括但不限於上皮癌(carcinoma)、肉瘤(sarcoma)、淋巴瘤(lymphoma)及母細胞瘤(blastoma)。更具體而言,癌症包含乳癌、肺癌、小細胞肺癌、非小細胞肺癌、食道癌、胃癌、肝癌、膽囊癌、胰腺癌、結腸癌、結腸直腸癌、前列腺癌、宮頸癌、卵巢癌、腎癌、膀胱癌、神經膠質瘤、視網膜母細胞瘤、黑色素瘤及各種類型的頭頸癌。
本文中所用「影像」一詞係指一腫瘤標本的顯微影像。該顯微影像可用包含一顯微鏡及一成像裝置(例如一相機)的一顯微鏡成像系統來獲取。
本文中所用「切層影像」一詞可以指由顯微鏡系統產生的第一切層影像或透過虛擬分割產生的第二切層影像,該二者皆可用作本文所揭露評估方法的起始影像資料。在產生第二切層影像的實施例中,以該第二切層影像作為免疫評分的起始影像資料。
本文中所用「腫瘤中心區」一詞係透過本文中描述的影像分割方法所界定出的一切層影像中的一特定區域,其具有相當於病理學上所認定的腫瘤中心的範圍。此外,本文中所用「侵犯邊緣區」一詞係透過本文中描述的方法對前述腫瘤中心區進行外推之運算而界定出的一切層影像中的一特定區域,其具有相當於病理學上所認定的侵犯邊緣的範圍。
本文中所用「無向圖」一詞係指由一組「節點(node)」及連接二相鄰節點的「邊(edge)」所組成的圖,且各節點間沒有方向性。初始建立的無向圖在未經過移除節點或其他處理前,相鄰二節點間的距離為一單位長度,即邊的長度為1。故在本發明的一些實施例中,第一無向圖中的二個相鄰節點之間皆相距一單位長度。
本文中所用「個體(subject)」一詞係指一哺乳動物。該個體可以是人類或非人類,例如靈長類、鼠類、狗、貓、牛、馬、兔、豬等。
如圖1之流程圖所示,本文所揭露的評估腫瘤標本的免疫狀態的方法至少包含以下步驟:(a)取得一腫瘤標本的一三維影像,其中該三維影像包含複數個切層影像;(b)對各該複數個切層影像進行一像素級影像分割以識別一腫瘤細胞區,而後對各該複數個切層影像中包含該腫瘤細胞區的一腫瘤中心預估區進行一區塊級影像分割以界定一腫瘤中心區;(c)界定各該複數個切層影像中圍繞該腫瘤中心區的一侵犯邊緣區;及(d)針對該複數個切層影像計算至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區各範圍內的一平均密度。
前述步驟(a)中的腫瘤標本係自一個體收集而得的一腫瘤組織的一部分。該個體可以是被診斷出罹患癌症的個體或是可能罹患癌症但尚未確診的個體。該腫瘤標本可以是皮膚、乳房、心臟、肺臟、支氣管、胃、肝臟、脾臟、胰腺、腸、結腸、腎臟、膀胱、前列腺、卵巢、子宮頸、骨骼、肌肉或大腦的一部分,但不在此限。為獲取該腫瘤標本,可以執行本技術領域中已知的各種組織採檢方法,包括但不限於活體組織切片(biopsy),例如皮膚活體組織切片、內視鏡活體組織切片、針頭活體組織切片、骨髓活體組織切片以及手術活體組織切片。
在一些實施例中,該腫瘤標本係經過組織澄清及螢光染色處理。組織澄清係藉由使組成複雜的組織標本的多種折射率均勻化,令組織標本在光學上清晰或透明,進而減少了光散射並且提高了光穿透力。因此,組織澄清使得厚度為約200 µm或以上的組織標本幾乎不經歷任何實體切片即可用於顯微鏡觀察,故能減少由組織切片引起的組織標本的拉伸、彎曲或撕裂,避免所觀察到的組織形態帶有人為偏差。
在一些實施例中,組織澄清係利用一水性澄清劑接觸該腫瘤標本。該水性澄清劑包含至少一種水溶性折射率吻合成分。該水溶性折射率吻合成分係一水溶性化學物質,可使該水性澄清劑具有接近蛋白質或脂質的折射率。在一些實施例中,該水性澄清劑的折射率為約1.33-1.55,較佳為約1.40-1.52,更佳為約1.45-1.52。該水性澄清劑可以透過在水中或磷酸緩衝鹽溶液(PBS;例如將137 mM氯化鈉、2.7 mM氯化鉀、7.7 mM磷酸氫二鈉和1.47 mM磷酸二氫鉀溶於水,pH 7.4)中添加該水溶性折射率吻合成分來製備。該水溶性折射率吻合成分的例子包括甘油(glycerol)、碘苯六醇(Histodenz)、甲醯胺(formamide)、三乙醇胺(triethanolamine)、泛影葡胺(meglumine diatrizoate) 、單醣、寡醣或其任意組合。使用前述水性澄清劑的組織澄清通常是在室溫下進行2至12小時,較佳為2至8小時,更佳為2至4小時,其能使得一厚度為約200 µm的組織標本變得足夠透明,同時防止經過澄清的標本收縮或變形,並且避免脂質被移除,故腫瘤標本的結構完整性能被完好地保存,致使該標本的顯微影像能提供更準確的形態訊息。此外,對細胞膜或膜相關蛋白進行螢光染色所使用的螢光染劑與該水性澄清劑相容。因此,水性澄清劑之使用不會干擾對細胞輪廓與生物標誌物的螢光染色,有利於測定具相當厚度之腫瘤標本中的各類型細胞的位置與數量。
在一些實施例中,該腫瘤標本的厚度係介於50 µm至500 µm,例如介於50 µm至100 µm、100 µm至150 µm、150 µm至200 µm、200 µm至250 µm、250 µm至300 µm、300 µm至350 µm、350 µm至400 µm、400 µm至450 µm、或450 µm至500 µm。較佳地,該腫瘤標本具有100 µm至200 µm的厚度。
螢光染色可由本發明所屬技術領域已知的方法進行。在一些實施例中,螢光染色所使用的螢光染劑是一螢光團染劑(fluorophore dye)。該螢光團染劑能專一地結合至一特定次細胞結構(例如細胞膜)或一胞器(例如細胞核)。螢光團染劑的例子包括但不限於細胞核染劑,例如碘化丙啶(propidium iodide,PI)、4’,6-二脒基-2-苯基吲哚(4’,6-diamidino-2-phenylindole,DAPI)及SYTO系列染劑(例如,購自Thermo Fisher Scientific的SYTO 11和SYTO 40);以及膜脂質染劑,例如Di系列染劑(例如,購自Invitrogen的DiD和DiR)與PKH系列染劑(例如,購自Merck的PKH26和PKH67)。在另一些實施例中,螢光染劑是與一螢光團綴合(conjugated)的一分子探針(molecular probe)。該分子探針能專一地結合至一特定生物分子,例如一具有特定胺基酸序列的蛋白質、一具有特定核苷酸序列的核酸、或特定細胞膜脂質。該分子探針的例子包括但不限於一促進劑(agonist)、一拮抗劑(antagonist)、一抗體(antibody)、一抗體片段、卵白素(avidin)凝集素(lectin)、及一核酸探針。該分子探針是商業上可購得或可依據本發明所屬技術領域已知的方法而製備。
在一些實施例中,組織澄清可以在螢光染色之前或之後進行。在其他實施例中,透過使用包含一水溶性折射率吻合成分、一螢光染劑、及一界面活性劑(surfactant)的一澄清組合物,可以同時完成組織澄清及螢光染色。
在一些實施例中,可對經過組織澄清及螢光染色處理的腫瘤標本成像以生成該標本的三維影像。進行成像時,可以使用一顯微鏡成像系統,其包含一螢光顯微鏡、連接至該螢光顯微鏡的一影像獲取裝置、以及連接至該螢光顯微鏡與該影像獲取裝置的一電腦。該螢光顯微鏡可以是一掃描式雷射共軛焦顯微鏡(LSCM),例如FLUOVIEW系列(Olympus,日本)或LSM系列(Zeiss,德國);一雙光子顯微鏡(two-photon microscope);一三光子顯微鏡(three-photon microscope);一轉盤式共軛焦顯微鏡(spinning disk confocal microscope);一線掃描共軛焦顯微鏡(line-scanning confocal microscope);或一層光顯微鏡(light-sheet microscope)。該螢光顯微鏡通常包含一光源、一透鏡組、及一機動樣品台,該機動樣品台用於固持標本並使標本在水平方向(X軸或Y軸方向)和垂直方向(Z軸方向)上移動。掃描式雷射共軛焦顯微鏡的光源是一雷射,例如氬離子雷射及氦/氖雷射,其能激發螢光染劑。該透鏡組包含一系列物鏡,例如20X(放大倍率)物鏡與40X物鏡。該影像獲取裝置(例如照相機)包含一光偵測器,例如一電荷耦合元件(charge-coupled device,CCD)影像感測器、光電倍增管(photomultiplier tube,PMT)偵測器、及互補金屬氧化物半導體(complementary metal-oxide semiconductor,CMOS)感測器。該電腦安裝有一應用軟體,使用者可透過該應用軟體控制該螢光顯微鏡及該影像獲取裝置的運作。
在一些實施例中,腫瘤標本的三維影像係指由一顯微鏡成像系統直接生成的一個三維影像。在一些實施例中,三維影像係指一腫瘤標本的複數個連續光學切層(optical sections)的二維影像的集合。本文中以第一切層影像指稱腫瘤標本的一光學切層的二維影像,其可被直接用作本文所揭露評估方法的起始影像資料。在一些實施例中,三維影像係指對複數個第一切層影像進行三維重建(3D reconstruction)所生成的一個三維複合影像。前述「光學切層」係指透過調整一顯微鏡的焦距而看到的一物體(例如一標本)的一平面。換言之,該腫瘤標本的複數個連續光學切層的二維影像是該標本中距離一參考表面(例如標本的頂表面)不同深度處的剖面影像。在一些實施例中,透過一掃描式雷射共軛焦顯微鏡(LSCM)系統可生成一腫瘤標本內沿著Z軸方向的不同焦點面的二維影像,通常是數位影像。該數位影像可被儲存於一電腦的一記憶單元中,並且可在連接到該電腦的一顯示器上顯示,以供即時檢視。
前述「三維重建」係在一電腦上使用本發明所屬技術領域已知的各種三維重建演算法來執行,例如三線性內插法(trilinear interpolation)、最鄰近內插法(nearest neighbor interpolation)、及三立方內插法(tricubic interpolation)。在一些實施例中,例如FLUOVIEW系列(Olympus,日本)或LSM系列(Zeiss,德國)的LSCM系統所隨附的軟體可以執行三維重建。透過此一過程,連續的二維影像可彼此對齊並接合在一起,以生成腫瘤標本的三維複合影像。在一些實施例中,可以運用數位濾波及去模糊技術,例如反卷積法(deconvolution),建立一具有增強解析度的三維影像。
在一些實施例中,直接生成或由三維重建生成的三維影像可以被切分成複數個第二切層影像,以便後續對該第二切層影像進行免疫評分。前述切分係一種虛擬切分(virtual slicing),其可透過商業上可購得的影像處理軟體在電腦上執行。在一些實施例中,該切分是等距切分,切分的間隔可介於1-10 µm,較佳為介於4-6 µm。此外,該切分可沿著任一指定方向進行。在一些實施例中,該切分係沿著該三維影像的三個相互垂直軸(即一X軸、一Y軸及一Z軸)中的一特定軸而進行。由切分產生的第二切層影像可以如同一傳統二維影像呈現在一螢幕上,顯示出一腫瘤標本的剖面。前述X軸、Y軸及Z軸可被解釋為一歐幾里得空間的座標軸,而該三維影像可以表示為該歐幾里得空間中的一向量。若未特別指明,該X軸、Y軸及Z軸的方向不受特定限制,只要該X軸、Y軸及Z軸彼此垂直即可。換言之,該X軸、Y軸及Z軸共同構成一可以任意旋轉的正交集(每個都是一單位矢量)。
對每一切層影像進行免疫評分時,首先要確定單一切層影像中的腫瘤中心區與侵犯邊緣區的各自範圍,隨後方能計算該二範圍內特定免疫細胞的密度。本文所揭露評估方法的步驟(b)即提供一種利用影像分割技術界定一腫瘤標本的一切層影像中的腫瘤中心區的方法,而基於該腫瘤中心區便可進一步界定該侵犯邊緣區。一旦識別出腫瘤中心區與侵犯邊緣區,針對單一切層影像計算特定免疫細胞在該二區域內的密度,係可依據本發明所屬技術領域中對腫瘤病理切片實施免疫評分的方法而進行,例如參考Galon等人(Galon, J et al. (2012) Cancer classification using the immunoscore: a worldwide task force. J Transl Med., 10:205)所揭露的方法。
依據步驟(b),對各該複數個切層影像進行像素級影像分割以識別一腫瘤細胞區,而後對各該複數個切層影像中包含該腫瘤細胞區的一腫瘤中心預估區進行區塊級影像分割以界定一腫瘤中心區。在一些實施例中,針對每一切層影像進行像素級影像分割的操作包含以下步驟:利用一語義分割模型標註一切層影像中的腫瘤細胞像素及正常細胞像素,以識別該切層影像中由該腫瘤細胞像素佔據的該腫瘤細胞區(如圖2所示)。在一些實施例中,該語義分割模型係經過一組腫瘤標本影像訓練的一深度學習模型,且該組腫瘤標本影像中的腫瘤細胞與正常細胞係經過人工標註。
前述用於訓練深度學習模型的腫瘤標本影像可以是依據本發明所屬技術領域之習知方法,對一腫瘤標本進行固定(fixing)、脫水(dehydration)、滲透(infiltration)、包埋(embedding)、切片、蘇木素及伊紅染色(H&E staining)或免疫組織化學染色(immunohistochemistry,IHC)、及顯微鏡成像而取得的實體切片的二維影像。或者,該腫瘤標本影像可以是依據本發明所屬技術領域之已知方法,對一適當厚度之腫瘤標本進行組織澄清、螢光染色、及顯微鏡成像而取得的光學切層的二維影像。鑒於腫瘤標本影像中的腫瘤細胞與正常細胞具有許多彼此有別的形態特徵,經過病理專家標註出細胞類別及背景的複數個腫瘤標本影像可作為訓練資料用於訓練一深度學習模型,例如多層感知器(multilayer perception)、深度神經網路(deep neural network,DNN)、卷積神經網路(convolutional neural network,CNN)、及遞迴神經網路(recurrent neural network,RNN)。由約100個人工標註腫瘤標本影像訓練而得的深度學習模型經驗證能以90%以上的準確率預測一被輸入影像(例如腫瘤標本的切層影像)中的各像素點是否屬於正常細胞、腫瘤細胞、非細胞的基質、或其他物件類別,並予以標註。在一些實施例中,該預測之進行是透過計算各像素點屬於一特定類別的機率,並將有相對較高機率屬於正常細胞及腫瘤細胞的像素點分別標註為腫瘤細胞像素及正常細胞像素。前述預測所依據的影像特徵可包括細胞邊緣平整度、細胞或細胞核尺寸、細胞的核質比(即N:C比)、細胞排列(例如形成一大型細胞聚集體)等形態特徵。
區塊級影像分割本質上係對像素級影像分割所產出的標註資料進行巨觀特徵(如數百至數十萬像素方能反映的特徵)的提取,其目的是將通過像素級別標註而被識別的腫瘤細胞區轉換為符合臨床上由病理學家判斷的腫瘤中心。由於腫瘤中心的範圍原則上會涵蓋並且超過腫瘤細胞區的範圍,因此,區塊級影像分割的對象是包含該腫瘤細胞區的一腫瘤中心預估區,該腫瘤中心預估區之範圍會因為腫瘤細胞區的實際範圍而變動。在一些實施例中,該腫瘤中心預估區涵蓋整個切層影像。在另一些實施例中,該腫瘤中心預估區僅涵蓋該腫瘤細胞區及其鄰近區域(例如由腫瘤細胞區向外延伸0.1-3 mm的外圍區域)。
在一些實施例中,區塊級影像分割所提取的巨觀特徵包括但不限於局部細胞密度以及原發腫瘤(primary tumors)之間的距離。考量到該些特徵的特性,每一切層影像被劃分為複數個影像區塊,並對每一影像區塊判斷其是否具備前述特徵而可歸屬於腫瘤中心區。基於此判斷流程,針對每一切層影像進行區塊級影像分割的操作可包含以下步驟:將一切層影像中的該腫瘤中心預估區劃分為複數個影像區塊,以產生一第一區塊圖,其中各該複數個影像區塊以一細胞像素占比及一腫瘤細胞像素占比為表徵;自該第一區塊圖中移除一非腫瘤區塊以產生一第二區塊圖,其中該非腫瘤區塊具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二區塊圖中相距小於一預定間距的二影像區塊間補回一回填區塊以產生一第三區塊圖,並將該第三區塊圖中的相鄰影像區塊合併為一目標影像區塊群,由該目標影像區塊群的外緣界定該切層影像中的該腫瘤中心區。
本發明所屬技術領域之熟習技藝者可利用已知的運算技術獲得界定該腫瘤中心區所需的前述目標影像區塊群。在一些較佳實施例中,可使用無向圖來描述由該腫瘤中心預估區劃分出的複數個影像區塊的特徵及相對位置,以便利後續運算。如圖3A-3D所示,利用無向圖針對一切層影像進行區塊級影像分割包含以下步驟:將一切層影像中的該腫瘤中心預估區劃分為複數個影像區塊,以建立包含相應的複數個節點的一第一無向圖(圖3A),其中各該複數個節點以所對應各該複數個影像區塊的一細胞像素占比及一腫瘤細胞像素占比為表徵;自該第一無向圖移除一非腫瘤節點以產生一第二無向圖(圖3B),其中該非腫瘤節點具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二無向圖中相距小於一預定節點間距的二節點間補回一回填節點以產生一第三無向圖(圖3C),並將該第三無向圖中的相鄰節點合併為一節點群,由該節點群所對應的一目標影像區塊群的外緣界定該切層影像中的該腫瘤中心區(圖3D)。
對腫瘤中心預估區進行劃分的間隔取決於巨觀特徵,因此該間隔是可變動的。在一些實施例中,該間隔可在實際長度為約100-600 µm的範圍內變動,例如100-200 µm、200-400 µm、或300-500 µm。在一些實施例中,當欲檢視的特徵包含局部細胞密度時,該腫瘤中心預估區可以實際長度為約180-480 µm的一間隔進行等距劃分,較佳地,該間隔對應的實際長度為約180-360 µm。若以像素(pixels)為單位,對顯微鏡放大倍率為20及解析度為約0.6 µm/像素的一切層影像,該間隔可為約300-800像素、較佳為約300-600像素。前述間隔之設定係考慮到正常細胞的直徑為約3-8 µm,因此,經由劃分所產生的影像區塊將包含適當數量的細胞,允許電腦針對各影像區塊計算具有統計學上意義的細胞密度與腫瘤細胞密度,進而得以從組織層次判斷該影像區塊是否歸屬於傳統上由病理學家憑肉眼判斷而得的腫瘤中心。
在一些實施例中,當以局部細胞密度判斷一影像區塊是否屬於腫瘤中心區時,例如,以細胞像素占比與腫瘤細胞像素占比判斷一影像區塊是否屬於腫瘤中心區,可依據大量腫瘤病理切片的顯微影像的分析數據,設定若該細胞像素占比等於或大於一第一預設值,並且該腫瘤細胞像素占比等於或大於一第二預設值,該影像區塊被判定為屬於腫瘤中心區。相對地,未滿足該二條件的影像區塊被暫時判定為非屬腫瘤中心區。因此,在一些實施例中,區塊級影像分割過程中建立的第一無向圖所包含的複數個節點被設定為以其所對應的影像區塊的細胞像素占比及腫瘤細胞像素占比為特徵,藉由該二種特定像素占比是否小於預設值,得以篩選出並且移除該複數個節點中非屬腫瘤中心區的影像區塊所對應的節點,進而產生具有經校正的節點間距的第二無向圖。在一些實施例中,前述第一預設值為至少20%,較佳為至少40%。在一些實施例中,前述第二預設值為至少30%,較佳為至少60%。
在一些實施例中,當以多個原發腫瘤之間的距離判斷被識別為屬於腫瘤中心區的二影像區塊是否屬於同一個腫瘤中心區時,例如,以二影像區塊的間距進行判斷時,可依據臨床統計上腫瘤切片中的多個原發腫瘤間的最短距離,設定若該間距等於或小於一預定間距,屬於腫瘤中心區的二影像區塊進一步被識別為屬於同一個腫瘤中心區。在此情況下,屬於同一腫瘤中心區的二影像區塊之間若存在被暫時判定為非屬腫瘤中心區的影像區塊,該非屬腫瘤中心區的影像區塊應重新被界定為屬於腫瘤中心區。相對地,當屬於腫瘤中心區的二影像區塊之間相距超過該預定間距,則識別該些影像區塊屬於不同的腫瘤中心區,故若被暫時判定為非屬腫瘤中心區的影像區塊是位在屬於不同的腫瘤中心區的影像區塊之間,該非屬腫瘤中心區的影像區塊仍被界定為非屬腫瘤中心區。基於此判斷流程,在一些實施例中,當區塊級影像分割過程中產生的第二無向圖中存在相距大於一單位長度的二節點,設定若該二節點之間的距離為小於一預定節點間距,於該二節點間補回一回填節點以產生一第三無向圖,並且,該第三無向圖中的相鄰節點可被合併為一節點群,以便由該節點群所對應的一目標影像區塊群的外緣界定出一切層影像中的腫瘤中心區。前述預定節點間距之設定可以是基於多個原發腫瘤間的最短距離為約1-2 mm的統計數值。因此,在一些實施例中,當影像區塊係以實際長度約180 µm的間隔劃分,對該第二無向圖進行節點補回之判斷所依據的該預定節點間距被設定為20,較佳為10。
藉由區塊級影像分割而獲得的目標影像區塊群的外緣被用於界定腫瘤中心區的範圍。由於透過劃分切層影像而形成的影像區塊的尺寸是可變動的,當影像區塊的尺寸較大時,可以預期目標影像區塊群的外緣是不平整的。因此,在一些實施例中,該目標影像區塊群的外緣係進一步經過平滑處理,包括但不限於均值模糊(mean blur)、方框模糊(box blur)、高斯模糊(Gaussian blur)、及中值模糊(median blur)。較佳地,該平滑處理係中值模糊。
本文所揭露評估方法的步驟(c)係以由步驟(b)獲得的複數個切層影像的各自的腫瘤中心區為基準,進一步界定該複數個切層影像的各自的侵犯邊緣區的範圍。依循臨床上對腫瘤中心及侵犯邊緣的定義,本文中的侵犯邊緣區係圍繞前述腫瘤中心區的一外圍區域。換言之,如圖4所示,自該腫瘤中心區的外周向外延伸一預定長度可獲得一侵犯邊緣,而介於該外周與該侵犯邊緣之間的區域被界定為該侵犯邊緣區。在一些實施例中,自該腫瘤中心區的外周向外延伸的預定長度為約1-2 mm,此長度之設定係取決於臨床上對腫瘤中心及侵犯邊緣的邊界認定,因此是可調整的。在一些實施例中,前述「向外延伸」是沿該腫瘤中心區的外周在正交方向上延伸。
依據本文所揭露的評估方法,經由步驟(a)至(c)確定了一腫瘤標本的三維影像的每一切層影像中的腫瘤中心區及侵犯邊緣區後,即可針對每一切層影像計算至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區各範圍內的一密度,進而整合複數個切層影像的密度資料計算該至少二種免疫細胞各自在前述二區域內的平均密度(步驟(d)),據此評估該腫瘤標本的免疫狀態。在一些實施例中,用於計算平均密度的複數個切層影像在空間中的間距為介於1-10 µm,較佳為介於4-6 µm。在一些實施例中,該至少二種免疫細胞包含選自由CD3 +細胞、CD4 +細胞、CD8 +細胞、CD45RO +細胞、CD68 +細胞、CD163 +細胞、FOXP3 +細胞、及其任意組合所組成群組之至少二種細胞。在一些實施例中,該平均密度之計算包含測定每一切層影像中該至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區內的一密度,以獲得至少四組密度資料,及自該至少四組密度資料中的每一組預先排除組內密度值最大的1-15%及組內密度值最小的1-15%,以避免平均密度受到少數極值的影響。較佳地,該平均密度之計算包含自該至少四組密度資料中的每一組預先排除組內密度值最大的5-10%及組內密度值最小的5-10%。
前述針對每一切層影像計算細胞密度的方法係本發明所屬技術領域之熟習技藝者已知的。舉例而言,利用基於抗原-抗體交互作用的染色法對一腫瘤標本進行染色,例如利用可專一地辨識某種免疫細胞之特定抗原(例如CD3或CD8)的一級抗體(primary antibody)結合該種免疫細胞,再以可識別該一級抗體且綴合螢光團的二級抗體(secondary antibody)與該一級抗體相結合,達成對該種免疫細胞的標記。其後,依據本發明所屬技術領域中已知的細胞計數演算法(例如參見Mouroutis, T et al. (1998) Robust cell nuclei segmentation using statistical modelling. Bioimaging, 6(2), 79-91; Begelrnan, G et al. (2004, October) Cell nuclei segmentation using fuzzy logic engine. 2004 International Conference on Image Processing, 2004. ICIP'04,Vol. 5, pp. 2937-2940. IEEE)測定一切層影像中帶有不同標記的多種免疫細胞(例如CD3 +細胞和CD8 +細胞)各自在腫瘤中心區及侵犯邊緣區內的數量,以及測定前述二區域內所有細胞的數量,並且計算每一前述區域內每種免疫細胞相對於所有細胞的數量比,即可得到每種免疫細胞在每一前述區域內的細胞密度。以CD3 +細胞和CD8 +細胞為例,針對單一切層影像計算每種免疫細胞在腫瘤中心區(簡稱TC)及侵犯邊緣區(簡稱IM)內的密度會產出四個密度值,即CD3 +細胞的TC密度與IM密度以及CD8 +細胞的TC密度與IM密度,而匯集複數個切層影像各自的前述四個密度值將獲得四組密度資料,即CD3 +細胞的多個TC密度(第一組密度資料)與多個IM密度(第二組密度資料)以及CD8 +細胞的多個TC密度(第三組密度資料)與多個IM密度(第四組密度資料)。藉由計算每一組密度資料的平均值,將獲得四個平均密度,即CD3 +細胞的TC平均密度(第一平均密度)與IM平均密度(第二平均密度)以及CD8 +細胞的TC平均密度(第三平均密度)與IM平均密度(第四平均密度)。該些平均密度所反映的是每種免疫細胞在多切層TC及IM所構成三維區域內的空間密度,故相比傳統的免疫評分法是依據單一病理切片計算平面密度,空間密度之計算因為擴大了取樣範圍而更具有代表性。因此,病理專家基於該些平均密度後能夠更準確地對該腫瘤標本的免疫微環境或免疫狀態做出判斷。
為了以量化方式評估免疫狀態,在一些實施例中,步驟(d)進一步包含基於該至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區的該平均密度分別指定一免疫得分,及計算該免疫得分之總和(亦稱免疫評分)。在一些實施例中,當該平均密度大於一閾值,該免疫得分被指定為1,否則為0。該閾值可以是一數值或一數值範圍,其可依據腫瘤患者的病歷紀錄對照其腫瘤切片的免疫細胞密度的統計資料而設定。在前述評分原則下,當該免疫評分越高,表示該腫瘤標本的來源個體的免疫狀態越良好。通常,免疫狀態越良好的患者被預期其接受免疫治療的預後表現會越好。
在一些實施例中,進行評估的目標免疫細胞為二種,則該免疫得分之總和為介於0至4分,即免疫狀態可被評為5個等級。舉例而言,下表1顯示二個腫瘤標本的三維影像經本文所揭露方法評估後,CD3 +細胞及CD8 +細胞在TC與IM的平均密度因大於或小於20%之閾值,而有不同的免疫評分。 1
  腫瘤標本1 腫瘤標本2
TC IM TC IM
CD3 +細胞 8% (< 20%) 12% (< 20%) 45% (> 20%) 56% (> 20%)
CD8 +細胞 3% (< 20%) 1% (< 20%) 41% (> 20%) 37% (> 20%)
免疫評分 0 4
本文所揭露的評估方法係以具有相當厚度之腫瘤標本的三維影像為分析對象,運用模擬病理專家臨床判斷的深度學習演算法進行三維層次的免疫評分,產出相比傳統的免疫評分法更具代表性的評估結果。因此,醫師藉由結合癌症分期系統與本文所揭露的免疫評分法,將能做出更準確的預後診斷,並且為每位病患選擇最適當的治療方式。舉例而言,有研究顯示具有高免疫評分的乳癌患者對特定化學療法有良好反應,則醫師透過評估一乳癌患者是否具有高免疫評分,將能預測該患者對一化學療法是否有良好反應,從而決定該病患是否適合接受該化學療法、是否同時接受輔助治療、或者採用其他療法(例如放射療法、免疫療法等)。 實施例 1 基於乳房腫瘤標本的免疫評分
自患有乳癌的一名女性患者收集一乳房腫瘤標本。該標本首先用4%甲醛固定,再用0.1-1% Triton X-100施以透化處理(permeabilization)。其後,利用SYTO 40及DiD對該標本進行螢光染色以分別標記細胞核及細胞膜。前述標記係各別在室溫下進行8小時,然後進行CD3之標記。該CD3標記係使用兔子抗人CD3一級抗體(VENTANA)在室溫下處理該標本約10小時,及使用綴合Alexa Fluor 555之山羊抗兔二級抗體(Thermo Fisher Scientific)在4°C下處理該標本約16小時,而後以反應中止劑在室溫下處理該標本3分鐘。接著進行CD8之標記,其係使用小鼠抗人CD8一級抗體(Bio SB)在室溫下處理該標本約10小時,及使用綴合Alexa Fluor 488之山羊抗小鼠二級抗體(Thermo Fisher Scientific)在4°C下處理該標本約16小時,而後以反應中止劑在室溫下處理該標本3分鐘。將該染色標本在室溫下浸入折射率約為1.45的一水性澄清劑中約3小時,以便獲取一澄清的染色標本。該水性澄清劑係在蒸餾水中混合30-50 wt%泛影葡胺及10-30 wt%三乙醇胺來製備。該澄清的染色標本具有約110 µm的厚度,對其成像時係使用一掃描式雷射共軛焦顯微鏡系統(LSM780;Zeiss)從標本頂部表面掃描至底部表面,以獲取該標本的約100個第一切層影像(其共同構成該標本的三維影像)。進行成像時,透過分別在405 nm及435 nm的激發及放射偵測SYTO 40;分別在488 nm及525 nm的激發及放射偵測Alexa Fluor 488;分別在561 nm及590 nm的激發及放射偵測Alexa Fluor 555;以及分別在638 nm及700 nm的激發及放射偵測DiD。該三維影像的橫向解析度(在X軸及Y軸方向上)為小於1 µm,且軸向解析度(在Z軸方向上)約為1 µm。
為了進行免疫評分,首先利用執行本文所述評估方法步驟(b)的電腦識別該複數個第一切層影像中每一者的腫瘤中心區(TC)及侵犯邊緣區(IM)。在此識別過程中,使用基於Python語言的一語義分割模型進行像素級影像分割而識別出一腫瘤細胞區,並且基於像素標註資料對包含該腫瘤細胞區的一腫瘤中心預估區進行利用無向圖的區塊級影像分割,以確定腫瘤中心區的範圍。建立第一無向圖時,設定對該腫瘤中心預估區進行間隔為約220 µm的等距劃分,並且以局部細胞密度(細胞像素占比需至少40%及腫瘤細胞像素占比需至少60%)以及原發腫瘤之間距(實際距離小於1 mm)為判斷依據,界定出腫瘤中心區。侵犯邊緣區則是自該腫瘤中心區的外周以正交外推約1 mm的方式界定出。
其後,測定每一切層影像中CD3 +細胞(Alexa Fluor 555標記之細胞)、CD8 +細胞(Alexa Fluor 488標記之細胞)、及所有細胞(SYTO40標記之細胞)在TC及IM區域內的數目,由此計算得每一切層影像中CD3 +細胞及CD8 +細胞各自在TC及IM區域內的密度,即圖5所示的四組密度資料。對該密度資料進行去除極值(各組內密度值最大及最小的5%)而後計算平均值的運算,便可獲得CD3 +細胞及CD8 +細胞在整個腫瘤標本中多切層TC及IM所構成三維區域內的空間密度,如下表2所示。 2
  腫瘤中心區(TC) 侵犯邊緣區(IM)
平均密度 免疫得分 平均密度 免疫得分
CD3 +細胞 59.6% 1 52.1% 1
CD8 +細胞 4.6% 0 8.1% 0
免疫評分 1 + 1 + 0 + 0 = 2 31.1%
參照表1所示的閾值,由於CD3 +細胞在TC與IM的平均密度分別大於閾值之20%,該細胞在TC與IM的免疫得分各為1。此外,CD8 +細胞在TC與IM的平均密度分別小於閾值之20%,該細胞在TC與IM的免疫得分皆為0。因此,該乳房腫瘤標本的總免疫得分為2,其落在臨床上認定的高免疫評分(即總免疫得分為2-4分)的區間。鑒於具有高免疫評分的患者通常被預期有較好的化學治療預後,對本實施例中的女性患者可建議其積極接受化學治療。
無。
本技術領域之熟習技藝者憑藉以下對最佳實施方式的詳細說明並配合所附圖式將清楚理解本發明,在該圖式中:
圖1係描述本文所揭露評估腫瘤標本的免疫狀態的方法的流程圖;
圖2係說明對來自於一腫瘤標本的三維螢光影像的一切層影像進行像素級影像分割以識別該切層影像中的一腫瘤細胞區,圖中以綠色標示出該腫瘤細胞區的範圍;
圖3A-3D係說明對對圖2所示該切層影像中包含該腫瘤細胞區的一腫瘤中心預估區進行區塊級影像分割以界定一腫瘤中心區的操作流程;圖3A顯示將該腫瘤中心預估區劃分為複數個影像區塊所產生的一第一區塊圖,以及建立包含相應的複數個節點的一第一無向圖;圖3A中的第一無向圖係一示意圖,僅顯示對應9個影像區塊的9個節點及該些節點間的邊,其餘節點和邊省略而未顯示;圖3B顯示自該第一無向圖移除一非腫瘤節點以產生一第二無向圖(僅顯示部分的節點和邊),以及該第二無向圖所對應的一第二區塊圖,該第二區塊圖中的淺灰色區域指示被判定為屬於腫瘤中心區的影像區塊群;圖3C顯示於該第二無向圖中相距小於一預定節點間距的二節點間補回一回填節點以產生一第三無向圖(僅顯示部分的節點和邊);圖3D顯示將該第三無向圖中的相鄰節點合併為一節點群,由該節點群所對應的一目標影像區塊群(淺灰色)的外緣界定該腫瘤中心區;
圖4係說明對圖3D所示該目標影像區塊群的外緣進行平滑處理且自該腫瘤中心區(藍色區域)的外周向外延伸一預定長度以獲得一侵犯邊緣,並將介於該外周與該侵犯邊緣之間的區域界定為一侵犯邊緣區(棕色區域);及
圖5顯示CD3 +細胞及CD8 +細胞在一乳房腫瘤標本的多個切層影像中的腫瘤中心區(TC)及侵犯邊緣區(IM)內的密度;圖中的橫軸表示各切層影像由掃描式雷射共軛焦顯微鏡系統獲取時所對應的腫瘤標本的光學切層的深度(µm)。
無。

Claims (16)

  1. 一種評估腫瘤標本免疫狀態的方法,包含由一電腦執行以下步驟:(a)取得一腫瘤標本的一三維影像,其中該三維影像包含複數個切層影像;(b)對各該複數個切層影像進行一像素級影像分割以識別一腫瘤細胞區,而後對各該複數個切層影像中包含該腫瘤細胞區的一腫瘤中心預估區進行一區塊級影像分割以界定一腫瘤中心區;其中該區塊級影像分割包含:將各該複數個切層影像中的該腫瘤中心預估區劃分為複數個影像區塊;及基於各該複數個影像區的一細胞占比與一腫瘤細胞占比,且其後基於二影像區塊間的一間距界定該腫瘤中心區;(c)界定各該複數個切層影像中圍繞該腫瘤中心區的一侵犯邊緣區;及(d)針對該複數個切層影像計算至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區各範圍內的一平均密度。
  2. 如請求項1所述之方法,其中該腫瘤標本的厚度為50μm至200μm。
  3. 如請求項1所述之方法,其中該腫瘤標本係經過組織澄清及螢光染色處理。
  4. 如請求項1所述之方法,其中該三維影像係利用一顯微鏡成像系統掃描該腫瘤標本而獲得。
  5. 如請求項1所述之方法,其中該像素級影像分割包含:利用一語義分割模型標註各該複數個切層影像中的腫瘤細胞像素及正常細胞像素,以識別由該腫瘤細胞像素佔據的該腫瘤細胞區。
  6. 如請求項5所述之方法,其中該語義分割模型係經過一組腫瘤標本影像訓練的一深度學習模型,且該組腫瘤標本影像中的腫瘤細胞與正常細胞係經過人工標註。
  7. 如請求項5所述之方法,其中該區塊級影像分割進一步包含以下步驟:將各該複數個切層影像中的該腫瘤中心預估區劃分為該複數個影像區塊以產生一第一區塊圖,其中各該複數個影像區塊以一細胞像素占比及一腫瘤細胞像素占比為表徵;自該第一區塊圖中移除一非腫瘤區塊以產生一第二區塊圖,其中該非腫瘤區塊具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二區塊圖中相距小於一預定間距的該二影像區塊間補回一回填區塊以產生一第三區塊圖,並將該第三區塊圖中的相鄰影像區塊合併為一目標影像區塊群,由該目標影像區塊群的外緣界定該腫瘤中心區。
  8. 如請求項5所述之方法,其中該區塊級影像分割進一步包含以下步驟:將各該複數個切層影像中的該腫瘤中心預估區劃分為該複數個影像區塊以建立包含相應的複數個節點的一第一無向圖,其中各該複數個節點以所對應各該複數個影像區塊的一細胞像素占比及一腫瘤細胞像素占比為表徵;自該第一無向圖移除一非腫瘤節點以產生一第二無向圖,其中該非腫瘤節點具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二無向圖中相距小於一預定節點間距的二節點間補回一回填節點以產生一第三無向圖,並將該第三無向圖中的相鄰節點合併為一節點群,由該節點群所對應的一目標影像區塊群的外緣界定該腫瘤中心區。
  9. 如請求項7或8所述之方法,其中該腫瘤中心預估區係以實際長度180-480μm的一間隔進行等距劃分。
  10. 如請求項7或8所述之方法,其中該第一預設值為至少20%,且該第二預設值為至少30%。
  11. 如請求項7或8所述之方法,其中該目標影像區塊群的外緣係進一步經過平滑處理。
  12. 如請求項1所述之方法,其中該至少二種免疫細胞包含選自由CD3陽性細胞、CD4陽性細胞、CD8陽性細胞、CD45RO陽性細胞、CD68陽性細胞、CD163陽性細胞、FOXP3陽性細胞、及其任意組合所組成群組之至少二種細胞。
  13. 如請求項1所述之方法,其中該平均密度之計算包含測定各該複數個切層影像中該至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區內的一密度,以獲得至少四組密度資料,及自該至少四組密度資料中的每一組預先排除組內密度值最大的1-15%及組內密度值最小的1-15%。
  14. 如請求項1或13所述的方法,其中步驟(d)進一步包含基於該至少二種免疫細胞各自在該腫瘤中心區及該侵犯邊緣區內的該平均密度是否大於一閾值分別指定一免疫得分,及計算該免疫得分之總和。
  15. 一種評估腫瘤標本的免疫狀態的系統,包含:一儲存媒介,其儲存可被一電腦讀取的複數指令,其中該複數指令係執行如請求項1所述之方法。
  16. 一種界定腫瘤標本影像中的一腫瘤中心區的方法,包含以下步驟:利用一語義分割模型標註一腫瘤標本影像中的腫瘤細胞像素及正常細胞像素,以識別由該腫瘤細胞像素佔據的一腫瘤細胞區;將該腫瘤標本影像中包含該腫瘤細胞區的一腫瘤中心預估區劃分為複數個影像區塊以產生一第一區塊圖,其中各該複數個影像區塊以一細胞像素占比及一腫瘤細胞像素占比為表徵;自該第一區塊圖中移除一非腫瘤區塊以產生一第二區塊圖,其中該非腫瘤區塊具有小於一第一預設值的該細胞像素占比或小於一第二預設值的該腫瘤細胞像素占比;及於該第二區塊圖中相距小於一預定間距的二影像區塊間補回一回填區塊以產生一第三區塊圖,並將該第三區塊圖中的相鄰影像區塊合併為一目標影像區塊群,由該目標影像區塊群的外緣界定該腫瘤標本影像中的一腫瘤中心區。
TW111103365A 2021-01-30 2022-01-26 評估腫瘤標本免疫狀態的方法 TWI838687B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163143796P 2021-01-30 2021-01-30
US63/143,796 2021-01-30

Publications (2)

Publication Number Publication Date
TW202230394A TW202230394A (zh) 2022-08-01
TWI838687B true TWI838687B (zh) 2024-04-11

Family

ID=83782430

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111103365A TWI838687B (zh) 2021-01-30 2022-01-26 評估腫瘤標本免疫狀態的方法

Country Status (1)

Country Link
TW (1) TWI838687B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116646088B (zh) * 2023-07-27 2023-12-01 广东省人民医院 一种预测方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541167A (zh) * 2012-06-14 2015-04-22 国家医疗保健研究所 用于定量肿瘤组织中的免疫细胞的方法及其应用
US20190100805A1 (en) * 2012-09-20 2019-04-04 Genomedx Biosciences, Inc. Thyroid cancer diagnostics
CN110400287A (zh) * 2019-06-14 2019-11-01 广东省人民医院(广东省医学科学院) 结直肠癌ihc染色图像肿瘤侵袭边缘和中心的检测系统及方法
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
TW202102832A (zh) * 2019-06-04 2021-01-16 捷絡生物科技股份有限公司 分析組織標本的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541167A (zh) * 2012-06-14 2015-04-22 国家医疗保健研究所 用于定量肿瘤组织中的免疫细胞的方法及其应用
US20190100805A1 (en) * 2012-09-20 2019-04-04 Genomedx Biosciences, Inc. Thyroid cancer diagnostics
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
TW202102832A (zh) * 2019-06-04 2021-01-16 捷絡生物科技股份有限公司 分析組織標本的方法
CN110400287A (zh) * 2019-06-14 2019-11-01 广东省人民医院(广东省医学科学院) 结直肠癌ihc染色图像肿瘤侵袭边缘和中心的检测系统及方法

Also Published As

Publication number Publication date
TW202230394A (zh) 2022-08-01

Similar Documents

Publication Publication Date Title
TWI753448B (zh) 分析組織標本的方法
Zack et al. Automatic measurement of sister chromatid exchange frequency.
Dobbs et al. Feasibility of confocal fluorescence microscopy for real-time evaluation of neoplasia in fresh human breast tissue
Matsui et al. Non-labeling multiphoton excitation microscopy as a novel diagnostic tool for discriminating normal tissue and colorectal cancer lesions
US20200388032A1 (en) Three dimensional histopathology imaging method and system thereof
US20240177302A1 (en) Cellular diagnostic and analysis methods
CN107895368A (zh) Shg/tpef图像中的参数作为成人或儿童的肝纤维化的分期特征参数的应用
Matsui et al. Nonlinear optics with near-infrared excitation enable real-time quantitative diagnosis of human cervical cancers
Lin et al. Computer-assisted three-dimensional quantitation of programmed death-ligand 1 in non-small cell lung cancer using tissue clearing technology
TWI838687B (zh) 評估腫瘤標本免疫狀態的方法
US20180040120A1 (en) Methods for quantitative assessment of mononuclear cells in muscle tissue sections
Matsui et al. Label‐free multiphoton excitation imaging as a promising diagnostic tool for breast cancer
US20240087112A1 (en) Representing a biological image as a grid data-set
Frankenstein et al. Automated 3D scoring of fluorescence in situ hybridization (FISH) using a confocal whole slide imaging scanner
Gao et al. Differential diagnosis of lung carcinoma with three-dimensional quantitative molecular vibrational imaging
Scholler et al. Automatic diagnosis and classification of breast surgical samples with dynamic full-field OCT and machine learning
Steyer et al. Cryo-imaging of fluorescently labeled single cells in a mouse
TWI761016B (zh) 組織切片的製備方法
EP3938999B1 (en) Correlated image analysis for 3d biopsy
US20210231540A1 (en) Method for preparation of tissue sections
Agarwal et al. DNA ploidy measure of Feulgen-stained cancer cells using three-dimensional image cytometry
Bredfeldt Collagen Alignment Imaging and Analysis for Breast Cancer Classification
Karz et al. MetFinder: a neural network-based tool for automated quantitation of metastatic burden in histological sections from animal models
Merhar et al. Morphometric Image Analysis and its Applications in Biomedicine Using Different Microscopy Modes
Xie 3D microscopic imaging with computational image analysis to improve cancer assessment