TWI809682B - 免疫組織化學染色影像的分析方法與電腦程式產品 - Google Patents
免疫組織化學染色影像的分析方法與電腦程式產品 Download PDFInfo
- Publication number
- TWI809682B TWI809682B TW111103186A TW111103186A TWI809682B TW I809682 B TWI809682 B TW I809682B TW 111103186 A TW111103186 A TW 111103186A TW 111103186 A TW111103186 A TW 111103186A TW I809682 B TWI809682 B TW I809682B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixels
- cell
- cells
- pixel
- cytoplasmic
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 19
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000003364 immunohistochemistry Methods 0.000 title abstract description 7
- 230000001086 cytosolic effect Effects 0.000 claims abstract description 33
- 238000010186 staining Methods 0.000 claims abstract description 33
- 238000010801 machine learning Methods 0.000 claims abstract description 6
- 210000004027 cell Anatomy 0.000 claims description 88
- 210000004940 nucleus Anatomy 0.000 claims description 36
- 238000011532 immunohistochemical staining Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 210000003855 cell nucleus Anatomy 0.000 claims description 13
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000004040 coloring Methods 0.000 claims description 9
- 210000000805 cytoplasm Anatomy 0.000 description 28
- 239000000427 antigen Substances 0.000 description 7
- 102000036639 antigens Human genes 0.000 description 7
- 108091007433 antigens Proteins 0.000 description 7
- 208000002672 hepatitis B Diseases 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004043 dyeing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000000890 antigenic effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Analysis (AREA)
Abstract
本發明提出一種免疫組織化學染色影像的分析方法,包括:根據機器學習模型切割出免疫組織化學染色影像的多個細胞核;移除免疫組織化學染色影像中屬於細胞核的像素以及移除符合一顏色範圍的像素以取得多個細胞質像素;根據細胞質像素的位置將細胞質像素分配至細胞核以形成多個細胞;以及計算細胞中每個像素的像素染色分數,藉此計算細胞的細胞染色分數。
Description
本揭露是有關於免疫組織化學染色影像的分析方法,可以利用演算法客觀的評估每個細胞被染色的程度。
免疫組織化學染色(immunohistochemistry,IHC)是一種廣泛使用的方法,用以標記特定的有機物質。原理在於使用特定比例的抗原及抗體,可以讓特定的抗原物質在切片的數位影像(whole slide image,WSI)中顯示出來。免疫組織化學染色常用於醫學研究,用以評估被染色細胞的病理參數,觀察與癌症等疾病之間的關係。然而,傳統的分析方法仰賴醫生的主觀判斷,如何提出客觀的分析方法為此領域技術人員所關心的議題。
本揭露提出一種免疫組織化學染色影像的分析方法,適用於電腦系統,此分析方法包括:根據機器學習模型切割出免疫組織化學染色影像的多個細胞核,其中免疫組織化學染色影像包括多個像素,像素包括多個顏色通道;移除免疫組織化學染色影像中屬於細胞核的像素以及移除符合一顏色範圍的像素以取得多個細胞質像素;根據細胞質像素的位置將細胞質像素分配至細胞核的其中之一以形成多個細胞;以及計算細胞中的像素的像素染色分數,藉此計算細胞的細胞染色分數。
在一些實施例中,移除符合顏色範圍的像素的步驟包括:將像素轉換至色彩空間,色彩空間包含色相、飽和度與明度;以及保留色相在第一預設範圍內以及飽和度在第二預設範圍內的像素,並且移除明度大於一第一臨界值的像素。
在一些實施例中,根據細胞質像素的位置將細胞質像素分配至細胞核以形成細胞的步驟包括:將細胞核當作多個區域低點,將細胞質像素當作集水區,藉此執行分水嶺演算法。
在一些實施例中,在形成細胞之後,分析方法還包括:計算細胞中的像素個數;以及如果細胞中的第一細胞的像素個數大於第二臨界值且小於第三臨界值,刪除第一細胞中的細胞質像素,並且加入根據第一細胞中的細胞核執行形態學擴張處理後的結果來形成第一細胞。
在一些實施例中,計算細胞中的像素的像素染色分數,藉此計算細胞的細胞染色分數的步驟包括:根據細胞中的像素的飽和度與明度之間的比值來計算像素的像素染色分數;以及以個數作為權重,計算細胞中的像素的像素染色分數的權重平均以作為細胞的細胞染色分數。
以另外一個角度來說,本揭露的實施例提出一種電腦程式產品,由電腦系統執行以完成上述的分析方法。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
關於本文中所使用之「第一」、「第二」等,並非特別指次序或順位的意思,其僅為了區別以相同技術用語描述的元件或操作。
在此提到的免疫組織化學染色影像是關於肝臟細胞的切片,目的是要染色B型肝炎表面抗原(hepatitis B surface antigen,HBsAg),B型肝炎表面抗原是B型肝炎病毒感染後第一個出現在血清中的病毒抗原,也是B型肝炎的最重要指標,在有B型肝炎表面抗原的免疫組織化學染色影像中,細胞的顏色會偏向紅色,在此提出一個方法來分析這樣的影像。
圖1是根據一實施例繪示免疫組織化學染色影像的分析方法的流程圖。請參照圖1,在圖1中繪示了兩張免疫組織化學染色影像101、102。免疫組織化學染色影像101、102為彩色影像,其中包含了多個像素,每個像素包括了紅色、藍色與綠色的顏色通道。免疫組織化學染色影像101中有較多的B型肝炎表面抗原,因此相對於免疫組織化學染色影像102來說顏色較紅。
在步驟111中,根據一機器學習模型切割出免疫組織化學染色影像的多個細胞核。此機器學習模型例如為卷積神經網路,此卷積神經網路的架構可以採用LeNet、AlexNet、VGG、GoogLeNet、ResNet或是VOLO等。在此實施例中,是採用論文Graham, Simon, et al. "Hover-net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images."
Medical Image Analysis58 (2019): 101563所揭露的卷積神經網路,此論文的內容也包含在本說明書中,在此並不贅述論文的內容。在此實施例中,不同於Hover-net,損失函數修改如以下數學式1至數學式5。
[數學式1]
[數學式2]
[數學式3]
[數學式4]
[數學式5]
整個網路有兩個分支,分別是核像素(nuclear pixel,NP)分支與HoVer分支。
為整個網路的損失函數,核像素分支的損失函數為
,HoVer分支的損失函數是
。損失函數
是二元交叉熵(binary cross entropy)損失、骰子(dice)損失和焦點(focal)損失的總和。其中
為影像中所有像素的個數,
表示真實輸出(ground truth),
是網路所預測的數值,例如y=1表示細胞核,y=0表示背景。
是一個很小的數值,避免除以0。
是分類為細胞核的估計機率。
為經過實驗決定的實數,在此實施例中為0.5。
另一方面,損失函數
則如以下數學式6~8所示。
[數學式6]
[數學式7]
[數學式8]
其中
是影像中所有像素的個數。
是HoVer分支的輸出,
是真實輸出。為了計算均方梯度誤差(mean squared gradient error),所輸出的水平分量和垂直方量分別表示為
以及
,分別對應至水平的真實輸出
以及垂直的真實輸出
。
代表水平方向的梯度,
代表垂直方向的梯度。
代表影像中所有被分類為細胞核的像素個數與集合。經過步驟111以後可以得到圖121,圖121中的每個像素的值表示是否為細胞核,例如“1”代表細胞核,“0”代表背景。
在切割出細胞核以後,接下來在步驟112,可以根據所辨識出的細胞核進一步辨識出細胞質,但由於細胞的邊緣通常很模糊,細胞質較難以辨認,因此利用卷積神經網路並無法得到好的結果。在此提出了四種影像處理的操作,分別是基於擴張(dilation)、區域增長(region-growing)、紋理臨界(texture thresholding)以及對比度。
首先是形態學的擴張處理,這可以表示為以下數學式9、10。
[數學式9]
[數學式10]
其中A是一張二元圖,“1”代表細胞核,“0”代表背景,此實施例中可採用圖121來做為二元圖A。
為二元圖A的相反。
是一個遮罩,大小例如為31x31,其中每一個元素都是1。
是二元圖與元素b的及(and)運算,
為及運算,經過數學式10的處理,細胞核會被移除。形態學擴張處理的結果可以參照圖2,在切割出免疫組織化學染色影像201中的細胞核以後,在步驟211根據細胞核執行形態學擴張處理可以得到圖202以代表細胞質,圖202中代表細胞質的像素也稱為細胞質像素。從圖202中可以看出所擷取出的細胞質是從細胞核往外延伸一距離,如果某個細胞很大則有些細胞質會遺失,如果細胞很小則也有可能擷取錯誤的細胞質。
第二種影像處理的操作是區域增長,可以將細胞核當作種子,並且判斷種子周圍的像素是否與種子相似,如果是的話就加入細胞核成為細胞質像素。這樣的步驟會一直重複,直到特定範圍內的像素都已經處理完,在一些實施例中可以用形態學擴張處理後的結果來做為此特定範圍。區域增長可表示為以下數學式11。
[數學式11]
其中
代表種子的灰階,例如為經過色彩空間的轉換後所取得的亮度灰階,此色彩空間例如為HSV色彩空間。
代表第i個種子的鄰居,在一些實施例中可以設定一個像素的周圍8個像素為鄰居。
是一個臨界值,在一些實施例中可以設定為7。區域增長仰賴細胞質中的亮度必須相似,如果細胞質的亮度差異很大則細胞質可能擷取的不準確。
第三種影像處理的操作是紋理臨界,在此實施例中用加柏(Gabor)核心來取得多個特徵值,然後執行主要成分分析(principle component analyze)來降低維度,每個像素用一個維度來表示,接著用一個臨界值來判斷此像素是細胞質像素或是背景。
第四種影像處理的操作是對比度處理,在免疫組織化學染色影像有些顏色明顯不是細胞質,例如白色的區域可能是油滴(oil drop),藍色的區域可能是細胞核,而黑色的區域可能是門脈細胞(portal cell),因此可以移除免疫組織化學染色影像中符合特定顏色範圍的像素,剩下的像素就是細胞質像素。具體來說,可以先將像素轉換至HSV色彩空間,HSV色彩空間包含色相(phase)、飽和度(saturation)與明度(brightness)。在此只會保留色相在100~125範圍(亦稱為第一預設範圍)內,飽和度在80~255範圍(亦稱為第二預設範圍)內,以及明度在0~110範圍內的像素(也就是移除明度大於110的像素),其餘像素則會移除。此外,也會移除步驟111所辨識出的細胞核,結果如圖2所示,免疫組織化學染色影像201在步驟212中被移除了屬於細胞核的像素以及特定顏色範圍的像素,結果如圖203所示。在一些實施例中,步驟212也可以移除一些小的碎片,例如實施形態學侵蝕處理。
不管經過上述哪一種影像處理的操作,根據細胞質像素的位置將細胞質像素分配至對應的細胞核之後便形成多個細胞。在一些實施例中,可以用區域競爭的概念來分配細胞質像素,也就是說不同的細胞核之間必須要競爭那些細胞質屬於自己。舉例來說,在此可以採用分水嶺(watershed)演算法,可以將細胞核當作區域低點,將細胞質像素當作集水區。大致上來說,分水嶺演算法是在不同的區域低點注入不同種類的水,接著水位在集水區中開始上升,直到不同種類的水接觸便形成的分割線,本領域具有通常知識者當可理解分水嶺演算法,在此並不贅述。在一些技術中分水嶺演算法會設定集水區的高度(gradient),在此實施例中集水區的高度設定為一樣,但每次水位上升時往外擴張一個像素。分水嶺演算法的結果如圖3所示,免疫組織化學染色影像301在切割出細胞核、辨識細胞質、並且經過分水嶺演算法以後可得到圖302,其中的“黑色小洞”代表細胞核的位置,在圖302中細胞質像素會被分配不同的灰階(代表不同的細胞)。在一些實施例中,還可以進一步計算每一個細胞中的像素個數,如果像素個數大於第二臨界值(例如30000)且小於第三臨界值(1500),則表示這個細胞可能是錯誤的偵測,有可能是門脈等其他組織,因此符合上述條件時可以刪除對應細胞中的細胞質像素。在一些實施例中,也可以把根據細胞核執行形態學擴張處理後的結果(例如圖202,但圖202屬於另一個切片)加入至圖302,加入之後的結果如圖303所示,圖303中的細胞質再加上細胞核便形成細胞。我們的目的是要分析每個細胞的顏色,但不應該執著於要取得每個細胞中的所有細胞質,根據細胞核執行形態學擴張處理後的結果中已包含了一部分的細胞質,在一些情況下這些細胞值也足以進行分析,因此才把分水嶺演算法的結果加上形態學擴張處理後的結果。請參照回圖1,經過步驟112的處理後可以得到圖122以代表細胞質。
在一些實施例中,上述區域競爭的概念也可以用細胞質的位置來決定,例如計算每個細胞質像素與每個細胞核之間在空間上的距離,並且將細胞質像素分配至最接近的細胞核。
接下來在步驟113中計算每一個細胞中的每個像素的像素染色分數。在此同樣採用HSV色彩空間,首先挑選出“紅色”的像素,在此會挑選色相(H)在0~10以及156~180範圍內,飽和度(S)在43~255的範圍內,且明度(V)在46~255範圍內的像素當作紅色像素,對於所有非紅色的像素都設定像素染色分數為“0”。接下來請參照圖4,圖4是根據一實施例繪示根據HSV色彩空間來計算像素染色分數的示意圖,橫軸為飽和度S,縱軸為明度V,由於已經限制了飽和度(S)在43~255的範圍內,且明度(V)在46~255範圍內,因此只會考慮在範圍410的像素。在此會根據飽和度S與明度V之間的比值(I)來計算像素的像素染色分數,當比值I大於0.742時則設定像素染色分數為“3+”,當比值I在0.482~0.742的範圍內則設定像素染色分數為“2+”, 當比值I小於等於0.482時則設定像素染色分數為“1+”。上述0.742與0.482這兩個臨界值僅是範例,在其他實施例中也可以根據實驗結果挑選出不同的臨界值。此外,在其他實施例中也可以採用LAB或其他合適的色彩空間,在一些色彩空間中色相也被稱為“hue”。在上述實施例中是指定像素染色分數為“0”、“1+”、“2+”、“3+”等四個級距,但在其他實施例中也可以設定更多或更少個級距,本揭露並不在此限。請參照圖1,經過步驟113的處理以後可以得到圖123,其中用紅色代表較高的像素染色分數,用黃色表示較低的像素染色分數。
當每一個像素都設定了像素染色分數以後,接下來在步驟114可以計算每一個細胞的細胞染色分數。從圖121可以取得細胞核,從圖122可以取得細胞質,將細胞質分配至對應的細胞核就可以得到一個細胞的像素。在此實施例中,是以個數作為權重,計算細胞中像素染色分數的權重平均以作為細胞染色分數。具體來說,細胞染色分數的計算如以下數學式12所示。
[數學式12]
其中
表示像素染色分數為“1+”的像素在對應細胞中所佔的比例,
表示像素染色分數為“2+”的像素在對應細胞中所佔的比例,
表示像素染色分數為“3+”的像素在對應細胞中所佔的比例。舉例來說,如果一個細胞中有1.7%的像素屬於“3+”,7.2%的像素屬於“2+”,26.1%的像素屬於“1+”,則計算出的細胞染色分數為15.2。所計算出的細胞染色分數可以提供給醫生做判斷。上述數學式12中的“100”、“200”、“300”僅是範例,在其他實施例中也可以採用任意其他的數值。
在上述揭露的免疫組織化學染色影像的分析方法中,可以用相對客觀的方式切割出細胞且用分數來表示每個細胞紅色的程度,可以節省人力並輔助醫生的判讀。不同於使用卷積神經網路來辨識出細胞質,本揭露提出了幾種影像處理的操作(例如分水嶺演算法)來辨識出細胞質,這也克服了細胞質不容易辨認的問題。此外,在處理細胞質時,本揭露是用刪去法來取得細胞質,這可以解決細胞邊界模糊的問題,相較於主動地去偵測細胞質,本揭露做法的效果更好。最後,本揭露採用了飽和度與明度之間的比值來計算像素染色分數,可以得到客觀的結果。
以另外一個角度來說,本發明也提出了一電腦程式產品,此產品可由任意的程式語言及/或平台所撰寫,當此電腦程式產品被載入至電腦系統並執行時,可執行上述的分析方法。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
101,102,201,301:免疫組織化學染色影像
111~114,211~212:步驟
121~123,202,203,302,303:圖
410:範圍
圖1是根據一實施例繪示免疫組織化學染色影像的分析方法的流程圖。
圖2是根據一實施例繪示取得細胞質像素的示意圖。
圖3是根據一實施例繪示分水嶺演算法的結果示意圖。
圖4是根據一實施例繪示根據HSV色彩空間來計算像素染色分數的示意圖。
101,102:免疫組織化學染色影像
111~114:步驟
121~123:圖
Claims (10)
- 一種免疫組織化學染色影像的分析方法,適用於一電腦系統,該分析方法包括:根據一機器學習模型切割出該免疫組織化學染色影像的多個細胞核,其中該免疫組織化學染色影像包括多個像素,每一該些像素包括多個顏色通道;移除該免疫組織化學染色影像中屬於該些細胞核的該些像素以及移除符合至少一顏色範圍的該些像素以取得多個細胞質像素;根據該些細胞質像素的位置將每一該些細胞質像素分配至該些細胞核的其中之一以形成多個細胞;以及計算每一該些細胞中的每一該些像素的像素染色分數,藉此計算每一該些細胞的細胞染色分數。
- 如請求項1所述之分析方法,其中移除符合該至少一顏色範圍的該些像素的步驟包括:將每一該些像素轉換至一色彩空間,該色彩空間包含色相、飽和度與明度;以及保留該色相在第一預設範圍內以及該飽和度在第二預設範圍內的該些像素,並且移除該明度大於一第一臨界值的該些像素。
- 如請求項2所述之分析方法,其中根據該些細胞質像素的位置將每一該些細胞質像素分配至該些細胞 核的其中之一以形成該些細胞的步驟包括:將該些細胞核當作多個區域低點,將該些細胞質像素當作集水區,藉此執行一分水嶺演算法。
- 如請求項3所述之分析方法,其中在形成該些細胞之後,該分析方法還包括:計算每一該些細胞中的像素個數;如果該些細胞中的一第一細胞的該像素個數大於一第二臨界值且小於第三臨界值,刪除該第一細胞中的該細胞質像素,並且加入根據該第一細胞中的該細胞核執行形態學擴張處理後的結果來形成該第一細胞。
- 如請求項4所述之分析方法,其中計算每一該些細胞中的每一該些像素的該像素染色分數,藉此計算每一該些細胞的該細胞染色分數的步驟包括:根據每一該些細胞中的每一該些像素的該飽和度與該明度之間的比值來計算該像素的像素染色分數;以及以個數作為權重,計算每一該些細胞中的該些像素的該像素染色分數的權重平均以作為該細胞的該細胞染色分數。
- 一種電腦程式產品,由電腦系統執行以完成多個步驟:根據一機器學習模型切割出一免疫組織化學染色影像的 多個細胞核,其中該免疫組織化學染色影像包括多個像素,每一該些像素包括多個顏色通道;移除該免疫組織化學染色影像中屬於該些細胞核的該些像素以及移除符合至少一顏色範圍的該些像素以取得多個細胞質像素;根據該些細胞質像素的位置將每一該些細胞質像素分配至該些細胞核的其中之一以形成多個細胞;以及計算每一該些細胞中的每一該些像素的像素染色分數,藉此計算每一該些細胞的細胞染色分數。
- 如請求項6所述之電腦程式產品,其中移除符合該至少一顏色範圍的該些像素的步驟包括:將每一該些像素轉換至一色彩空間,該色彩空間包含色相、飽和度與明度;以及保留該色相在第一預設範圍內以及該飽和度在第二預設範圍內的該些像素,並且移除該明度大於一第一臨界值的該些像素。
- 如請求項7所述之電腦程式產品,其中根據該些細胞質像素的位置將每一該些細胞質像素分配至該些細胞核的其中之一以形成該些細胞的步驟包括:將該些細胞核當作多個區域低點,將該些細胞質像素當作集水區,藉此執行一分水嶺演算法。
- 如請求項8所述之電腦程式產品,其中在形成該些細胞之後,該些步驟還包括:計算每一該些細胞中的像素個數;以及如果該些細胞中的一第一細胞的該像素個數大於一第二臨界值且小於第三臨界值,刪除該第一細胞中的該細胞質像素,並且加入根據該第一細胞中的該細胞核執行形態學擴張處理後的結果來形成該第一細胞。
- 如請求項9所述之電腦程式產品,其中計算每一該些細胞中的每一該些像素的該像素染色分數,藉此計算每一該些細胞的該細胞染色分數的步驟包括:根據每一該些細胞中的每一該些像素的該飽和度與該明度之間的比值來計算該像素的像素染色分數;以及以個數作為權重,計算每一該些細胞中的該些像素的該像素染色分數的權重平均以作為該細胞的該細胞染色分數。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111103186A TWI809682B (zh) | 2022-01-25 | 2022-01-25 | 免疫組織化學染色影像的分析方法與電腦程式產品 |
CN202211568161.1A CN116503311A (zh) | 2022-01-25 | 2022-12-07 | 免疫组织化学染色影像的分析方法 |
US18/155,081 US20230237656A1 (en) | 2022-01-25 | 2023-01-17 | Method for analyzing immunohistochemistry images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111103186A TWI809682B (zh) | 2022-01-25 | 2022-01-25 | 免疫組織化學染色影像的分析方法與電腦程式產品 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI809682B true TWI809682B (zh) | 2023-07-21 |
TW202331235A TW202331235A (zh) | 2023-08-01 |
Family
ID=87314446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111103186A TWI809682B (zh) | 2022-01-25 | 2022-01-25 | 免疫組織化學染色影像的分析方法與電腦程式產品 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230237656A1 (zh) |
CN (1) | CN116503311A (zh) |
TW (1) | TWI809682B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014140085A1 (en) * | 2013-03-15 | 2014-09-18 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
TW201510936A (zh) * | 2013-09-13 | 2015-03-16 | Univ Nat Cheng Kung | 細胞影像分割方法以及核質比評估方法 |
US20180204085A1 (en) * | 2015-06-11 | 2018-07-19 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Systems and methods for finding regions of interest in hematoxylin and eosin (h&e) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images |
US20180336682A1 (en) * | 2014-02-21 | 2018-11-22 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
CN110288582A (zh) * | 2019-06-26 | 2019-09-27 | 电子科技大学 | 一种细胞核的准确分割方法 |
-
2022
- 2022-01-25 TW TW111103186A patent/TWI809682B/zh active
- 2022-12-07 CN CN202211568161.1A patent/CN116503311A/zh active Pending
-
2023
- 2023-01-17 US US18/155,081 patent/US20230237656A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014140085A1 (en) * | 2013-03-15 | 2014-09-18 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
TW201510936A (zh) * | 2013-09-13 | 2015-03-16 | Univ Nat Cheng Kung | 細胞影像分割方法以及核質比評估方法 |
US20180336682A1 (en) * | 2014-02-21 | 2018-11-22 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
US20180204085A1 (en) * | 2015-06-11 | 2018-07-19 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Systems and methods for finding regions of interest in hematoxylin and eosin (h&e) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images |
CN110288582A (zh) * | 2019-06-26 | 2019-09-27 | 电子科技大学 | 一种细胞核的准确分割方法 |
Non-Patent Citations (1)
Title |
---|
網路文獻 Parmida Ghahremani et al Deep Learning-Inferred Multiplex ImmunoFluorescence for IHC Image Quantification bioRχiv October 8, 2021 https://www.biorxiv.org/content/10.1101/2021.05.01.442219v4#page * |
Also Published As
Publication number | Publication date |
---|---|
US20230237656A1 (en) | 2023-07-27 |
CN116503311A (zh) | 2023-07-28 |
TW202331235A (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
CN110472616B (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN106340016B (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
CN106780522B (zh) | 一种基于深度学习的骨髓液细胞分割方法 | |
CN110533583B (zh) | 一种基于宫颈液基细胞的自适应图像增广系统 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
EP3140778B1 (en) | Method and apparatus for image scoring and analysis | |
CN113129281B (zh) | 一种基于深度学习的小麦茎秆截面参数检测方法 | |
EP3895122A1 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
US11037299B2 (en) | Region merging image segmentation algorithm based on boundary extraction | |
Anari et al. | Computer-aided detection of proliferative cells and mitosis index in immunohistichemically images of meningioma | |
CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
Ding et al. | Classification of chromosome karyotype based on faster-rcnn with the segmatation and enhancement preprocessing model | |
Lal et al. | A robust method for nuclei segmentation of H&E stained histopathology images | |
DE112019004112T5 (de) | System und verfahren zur analyse mikroskopischer bilddaten und zur erzeugung eines annotierten datensatzes zum training der klassifikatoren | |
CN116682109B (zh) | 一种病理显微图像的分析方法、装置、设备及存储介质 | |
Ye et al. | Cucumber appearance quality detection under complex background based on image processing | |
TWI809682B (zh) | 免疫組織化學染色影像的分析方法與電腦程式產品 | |
JP2021525890A (ja) | 生物学的サンプルの画像に対するコンピュータ実装プロセス | |
Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
Silva et al. | Development of a quantitative semi-automated system for intestinal morphology assessment in Atlantic salmon, using image analysis | |
Guatemala-Sanchez et al. | Nuclei segmentation on histopathology images of breast carcinoma | |
CN110458042B (zh) | 一种荧光ctc中的探针数目检测方法 | |
Masoudi et al. | Diagnosis of Hodgkin's disease by identifying Reed-Sternberg cell nuclei in histopathological images of lymph nodes stained with Hematoxylin and Eosin |