TWI629046B

TWI629046B - 漸進式醫學灰階影像主體分割方法

Info

Publication number: TWI629046B
Application number: TW106104436A
Authority: TW
Inventors: 楊勝智
Original assignee: 國立勤益科技大學
Priority date: 2017-02-10
Filing date: 2017-02-10
Publication date: 2018-07-11
Also published as: TW201828890A

Abstract

本發明揭露一種漸進式醫學灰階影像主體分割方法，其係將醫學灰階影像做影像前處理，使其主體與背景形成高對比之二維醫學灰階影像。以漸進關聯性支持像素統計法將二維醫學灰階影像中的所有像素處理歸納為第一類區域及第二類區域，並將第一類區域定義為主體，第二類區域定義為該背景，再自二維醫學灰階影像之第一類區域的主體分割出，以供後續的影像辨識利用，俾能有效提升醫學影像主體切割的精準度。

Description

漸進式醫學灰階影像主體分割方法

本發明係有關一種漸進式醫學灰階影像主體分割方法，尤指一種可以有效提升影像主體切割精準度的醫學影像分割技術。

按，醫學影像在進行診斷時常需要將可疑病灶(如主體)由影像背景中切割出來，由此可見，醫學影像主體切割的精準度對於各種醫療診斷、醫學影像分析以及輔助診斷系統的建置上確實是非常的重要。由於許多醫學影像中的組織結構複雜，以致於對醫學影像中的主體與背景進行切割是一項極具挑戰性的任務。目前已有許多影像分割的理論相繼被提出，並可將其歸納為以下所示的三大類，第一類是主動輪廓模型如參考文獻[1]所示；第二類是採用分類器對影像區塊進行分類如參考文獻[2]所示；第三類則是門檻值切割法如參考文獻[3,4]所示，其中主動輪廓模型的準確性會受到初始化與主體邊緣凹陷的程度的影響；至於分類器則必須搭配適當的特徵擷取，且須以區塊(block)為分割單位，大大降低了切割影像的解析度；而第三類的門檻值切割法在對主體與背景灰階分布大量重疊的影像進行切割時，將無可避免地會產生不小的誤差。

由上論述得知，以現有之醫學影像分割技術而言，確實無法有效提升影像主體切割的精準度，以致於較容易因影像主體切割精準度不佳所致的醫療診斷誤判情事產生，因此，習知醫學影像分割技術確實未臻完善，仍有再改善的必要性，因此，如何開發出一種可以有效提升影像主體切割精準度的醫學影像分割技術，實已成為國內相關產學業界所急欲解決與挑戰的技術課題。

本發明主要目的，在於提供一種漸進式醫學灰階影像主體分割方法，主要是採用支持像素進行灰階值統計，除了可以避免了大片背景與雜訊像素造成統計上的誤差之外，並可使用漸進方式針對定位較為模糊的像素以關聯性統計為基礎逐步分類，因而得以改良大部分影像分割技術所採用的的二分法，故可應用在臨床醫療診斷與各式醫學輔助系統上，進而提升醫療診斷的準確性。達成本發明主要目的之技術手段，係將醫學灰階影像做影像前處理，使其主體與背景形成高對比之二維醫學灰階影像。以漸進關聯性支持像素統計法將二維醫學灰階影像中的所有像素處理歸納為第一類區域及第二類區域，並將第一類區域定義為主體，第二類區域定義為該背景，再自二維醫學灰階影像中將第一類區域的主體分割出，以供後續的影像辨識利用。

圖1係本發明的系統架構圖示意圖。

圖2係本發明Canny邊緣偵測的實施示意圖。

圖3係本發明支持像素四種不同遮罩方式的實施示意圖。

圖4(a)係本發明第一、第二類區域的初始灰階分布統計示意圖。

圖4(b)係本發明第一、第二類區域之灰階重疊區域的示意圖

圖5(a)係本發明影像重新歸化後的影像示意圖。

圖5(b)係本發明主體與背景切割的實施示意圖。

圖6係本發明流程運作的實施示意圖。

圖7係本發明三種不同形狀的電腦模擬圖於各種演算法實驗的結果示意圖。

圖8係本發明Mammogram腫瘤ROI圖執行分割演算法的結果示意圖。

圖9係本發明具腫瘤之乳房MRI真實病例切面影像，每組病例使用四種不同參數進行拍攝的示意圖。

圖10係本發明三個乳房MRI真實病例切面影像經CEM處理後之結果(a)case1(b)case2(c)case3。

圖11係本發明CEM影像(圖10)經不同分割法分割後的結果示意圖。

圖12係本發明乳房MRI腫瘤ROI進行分割的結果，其中Standard為專家手動描繪。

本發明是一種醫學影像主體分割的技術，主要是藉由改善目前切割方法所存在的缺點，以期從醫學影像中切割出更精確的主體影像。本發明所提出的理論稱為「漸進關聯性支持像素統計法」(Progressive Support-pixel Correlation Statistical Method)，簡稱為PSCSM。PSCSM主要的設計理念是解決目前分割方法的缺點，同時保留已存在的優點，藉以獲得影像主體切割上的精準度。此外，為了得到準確的量化數據及證實PSCSM在單頻譜與多頻譜醫學影像均有不錯的效果，實驗資料將分為電腦模擬、單頻譜與多頻譜醫學影像等三組，並在醫師的病理指導及所提供的標準下進行準確性評估。最後，實驗的結果也將進一步與數個目前存在且知名的影像分割演算法進行評比，以證實PSCSM在醫學影像主體分割上的優勢與貢獻。

請參看圖1、6所示為可以實現本發明主要目的之具體實施例，係包括下列步驟：

(a)影像提供步驟：係提供至少一醫學灰階影像。

(b)影像前處理步驟：係將醫學灰階影像做影像前處理，使醫學灰階影像之主體與背景形成高對比之二維醫學灰階影像。

(c)漸進關聯性支持像素統計步驟：係以一漸進關聯性支持像素統計法將二維醫學灰階影像中的所有像素處理歸納為第一類區域及第二類區域，並將第一類區域定義為主體，再將第二類區域定義為背景。

(d)影像分割步驟：係自二維醫學灰階影像中分割出主體，以供後續的影像辨識利用。

上述醫學灰階影像可以是一種多頻譜醫學灰階影像，並以多頻譜影像前處理技術來執行影像前處理步驟。具體的，多頻譜影像前處理技術係為一限制能量最小化技術(CEM)。

此外，上述醫學灰階影像亦可以是一種單頻譜醫學灰階影像，並以單頻譜影像前處理技術來執行影像前處理步驟。具體的，單頻譜影像前處理技術係為一梯度增強法(GE)及一中間值濾波技術。

具體來說，上述漸進關聯性支持像素統計法係包含一初始門檻值獲取步驟，執行初始門檻值獲取步驟時，係使用一Canny邊緣偵測法對二維醫學灰階影像進行邊跡偵測，以獲得影像邊跡圖，再對此影像邊跡圖中每一個被判斷為邊跡的像素點進行灰階值統計，當所有像素完成統計後，經由第一類區域之主體與第二類區域之背景的灰階分佈平均值即可得到主體初始門檻值W與背景初始門檻值Q。

較佳的，上述漸進關聯性支持像素統計法更包含一重新歸化步驟，執行重新歸化步驟時則包括下列步驟：

步驟一：運用主體初始門檻值W背景初始門檻值Q，將二維醫學灰階影像中主體初始門檻值W以上的像素歸化為第一類區域，背景初始門檻值Q以下的像素則歸化為第二類區域。

步驟二：將灰階值處於主體初始門檻值W與背景初始門檻值Q之間的像素套上一遮罩(如3×3像素)，並統計其周圍八個像素點，若已歸化為該第一類區域的點大於四個，則將此像素歸化為第一類區域，並以主體初始門檻值W來取代其灰階值；若已歸化為第二類區域的點大於四個，則將此像素歸化為該第二類區域，並以背景初始門檻值Q值來取代其灰階值。

步驟三：重複操作步驟二，直到所有像素全部被歸化為止。

步驟四：若有像素始終無法被歸化時，則將W與Q向彼此靠近一階，亦即將主體初始門檻值W減1，並將背景初始門檻值Q加1，再回到步驟二。

步驟五：當所有像素全部被歸化後演算則停止時，並將第一類區域像素定義為主體，第二類區域像素則定義為背景。

再者，在圖6所示的流程運作實施例中，係先將醫學灰階影像做高斯濾波器之處理，以增強影像中的邊緣特徵；接著，透過Canny邊緣偵測法對二維醫學灰階影像進行邊跡偵測，以辨識出支持像素；緊接著，依據支持像素的遮罩範圍建立第一類區域(AH)及第二類區域(BH)的初始直方圖，並依據第一類區域(AH)及第二類區域(BH)的初始直方圖定義初始閥值W、Q；然後依據初始閥值W、Q將主體與背景做初步分類；接著，以關聯性統計方式重新分類未分割的像素，判斷是否所有像素已經分類，判斷結果為是，則進行分割影像；判斷結果為否，則判斷是否增加分類像素，判斷結果為是，則回到重新分類未分割的像素的步驟，判斷結果為否，則將主體初始門檻值W減1，並將背景初始門檻值Q加1，並回到重新分類未分割的像素的步驟。

再者，在一種更為具體實施例中，本發明所提出的PSCSM，第一個階段是初始門檻值的獲取。在這個階段首先使用Canny邊緣偵測法如參考文獻[1]所示，對影像進行邊跡偵測，以獲得影像邊跡圖。如圖2所示，圖2(a)為原始影像，圖2(b)則是執行Canny邊緣偵測法後所獲得的邊跡圖；緊接著，針對Canny邊跡圖上的每一個被判斷為邊跡的像素點進行灰階值統計，於此可稱這些邊跡上的像素點為支持像素(Support-pixel)，以支持像素進行統計的主要考量是因為這些像素正處於影像主體像素、背景像素之間，其周圍的像素相對於其他部位的像素將會來得更具意義，而且也避免了大片背景與雜訊像素造成統計上的誤差。於此，實際統計的對象是以支持像素為中心所形成的5×5遮罩範圍內的各個像素點，遮罩方式可分為四種，如圖3所示。經由四種不同的遮罩方式可獲得遮罩A區與遮罩B區灰階平均值的落差，最後再以最大落差的遮罩方式採計A與B區的灰階分布。當所有支持像素皆完成統計後，經由A區與B區的灰階分布(如圖4(a)的AH與BH)平均值可得到主體與背景兩個初始門檻值W與Q，此時W與Q即為PSCSM的初始化門檻值，且W必大於Q。由圖4(a)可觀察到第一類區域AH與第二類區域BH其實存在著重疊區，亦即，圖4(b)所展現的白色區域，但初始化的門檻值W 與Q卻避開了大部分的灰階重疊區。運用初始門檻值W與Q，我們已可在原始影像中定義出W以上的主體與Q以下的背景，但此時灰階值落於W與Q間隔區的像素尚無法被定義。

PSCSM的第二個階段主要是將第一類區域AH與第二類區域BH重疊區域(即W與Q之間的區域)上的像素以漸進式及關聯性的方式重新歸化(定義為主體或背景)。這裡所謂的關聯性是指周圍已被定義的像素有較多屬於主體或較多屬於背景。本發明將灰階值落於W與Q間隔區無法被定義的像素，加入關聯性的考量來重新歸化，這樣的方式有別於一般僅考慮灰階表現的分割演算法。此外，當存在有像素仍無法以關聯性重新歸化的情形，初始門檻值則必須進行微調，也就是漸進的主要用意。

在圖5(a)中展現出被重新歸化後的影像，其中部分像素的灰階值已被W、Q值所取代，而圖5(b)則為主體、背景切割圖，其中白色區域為主體(即第一類區域)、黑色區域為背景(即第二類區域)。完整的PSCSM流程圖如圖6所示。

為了證明本發明PSCSM在不同特性的醫學影像上都能獲致良好的成效，實驗將分為電腦模擬圖(單頻譜)、Mammogram(單頻譜)與Breast MRI(多頻譜)三組資料分別進行。除了電腦模擬圖，真實的Mammogram與Breast MRI均請專家描繪主體，再取其交集區域成為計算準確度的標準。為了驗證PSCSM的成效，實驗所得的結果將再進一步地與FCM、ET與OTSU等三種現存知名的影像分割演算法進行評比。

由於透過電腦模擬圖實驗可以得到精準的量化分析，所以首先本發明以電腦模擬主體、背景圖並進行各種演算法的量化評估。本發明製作的模擬圖不但以醫學影像中各常見的主體形狀(例如類圓形、針刺狀與葉狀等)進行模擬，同時亦會加入不同程度的模糊化與雜訊，使其更為接近真實醫學影像的表現。模擬圖的模糊化可經由鄰域平均(Neighborhood Averaging)[8,9]或高斯核心(Gaussian Kernel)[9]等模糊化演算法的遮罩範圍獲得控制，比如3×3、5×5或7×7…等，遮罩範圍越大，模糊化的程度越大。而雜訊方面則可選擇脈衝雜訊中的salt & pepper如參考文獻[10]或Gaussian noise如參考文獻[11]所示，並以雜訊百分比來進行控制。其次在單頻譜真實影像實驗資料方面，本發明以乳房腫瘤X光影像為展現系統效能的範例，其影像主體則為影像中的腫瘤，實驗影像是由知名資料庫MIAS如參考文獻[12]所提供的Mammogram影像中進行挑選。而多頻譜真實影像方面，本發明以乳房腫瘤MR影像為展現系統效能的範例，其影像主體仍舊設定為影像中的腫瘤，實驗影像則是以醫院收集的Breast MR影像為主。

在電腦模擬圖實驗結果的實施例中，圖7展現出三種不同形狀主體(類圓型、針刺狀與葉狀)的電腦模擬圖於各種演算法實驗的成果，這些模擬圖亦分別加入了三種不同程度的模糊化遮罩與雜訊，分別為高斯3×3遮罩模糊化與1%雜訊、高斯5×5遮罩模糊化與5%雜訊、及高斯7×7遮罩模糊化與10%雜訊。由圖7可觀察出在不同形狀、模糊化與雜訊影像中，PSCSM均有較優秀的表現。

在單頻譜醫學影像實驗實驗結果的實施例中，在單頻譜醫學影像部分，本發明是以Mammogram影像進行實驗。實驗資料組取自知名資料庫MIAS如參考文獻[12]中的乳房腫瘤患者的ROI影像，且事先由醫生或專家描繪腫瘤輪廓，以做為計算準確率的標準。為了顧及實驗的公平性，我們分別挑選具不同腫瘤影像特徵的案例，包含不同大小、不同邊界表現、不同清晰度與不同背景組職的四個案例進行實驗。實驗所得的結果如圖8所示，由圖8可觀察出PSCSM在單頻譜乳房腫瘤影像上的切割與其他演算法相較之下都比較接近專家描繪的標準；接著，本發明以專家所描繪的標準進行分割結果的量化評估，並進行真陽性率(TPR)、特異性(SPC)、準確度(ACC)與偽陽性率(FPR)四種指標的運算，再以三種知名的方法分別為ET、FCM、OTSU來與我們提出的PSCSM進行效能的比較，實驗量化分析結果如表1所示。由觀察表1可以發現，相較於其他演算法，PSCSM具有較高的ACC與SPC，但同時也有較低的FPR。這個結果驗證了PSCSM在單頻譜醫學影像的分割效能優於這些現存且知名的演算法。最後，本發明再建立一個包含16個樣本案例的實驗資料組，其樣本案例包含各種典型腫瘤形狀(圓形、橢圓形、針刺狀、葉狀與不規則形)，並在進行量化分析之後取各指標的平均值，其實驗結果呈現於表2，由表2可以看出PSCSM在各項指標的平均值都有最好的表現。

表1為單頻譜影像案例量化分析結果：

在多頻譜醫學影像實驗實驗結果的實施例中，實驗使用的乳房MRI影像是由三軍總醫院婦女保健中心從乳房腫瘤患者拍攝而得，每組病例影像均須具備下列條件：

(1).影像中具有腫瘤。

(2).每個病例在未打顯影劑時至少使用四種不同參數，例如T1、T2、PD等，主要為了凸顯影像中的不同組織以方便進行數學運算。

(3).影像包含乳房的多個切面，每個切面間隔2mm。

本發明在三個病例中挑選具有腫瘤的切面做為實驗影像，如圖9所示，由於分割技術只適用在2D的單頻譜影像，所以在進行多頻譜影像分割前，本發明需要先使用多頻譜技術進行影像前處理。若能以適當的多頻譜技術進行前處理，除了可將多張不同頻譜的影像合而為一，更可以突顯出腫瘤的區域並抑制其他組織。依據過去的實驗經驗，本發明選擇了具有優秀表現的CEM來達到更好的效果。三個案例經多頻譜技術CEM前處理後產生的結果如圖10所示。

本發明可從圖10中清楚看見三個案例經過CEM處理後使得腫瘤區域的亮度提高許多，對於邊緣的細節將能得到更正確的分割。接著，同樣使用ET、FCM、OTSU來與PSCSM等分割法進行比較，結果如圖11所示，在case1、case2中Entropy表現極差，主要是因為Entropy非常容易受到雜訊的干擾。而OTSU與FCM分割結果比ET稍好，但對於腫瘤與腺體的區域分割並不完整，本發明仍然可以在OTSU與FCM的結果中看見纖維腺體所分割出來的區域有過度的情況，且對於邊緣的細節的區域呈現較為模糊的狀態。反觀本發明所提出的PSCSM，在其分割的結果中可以清楚的看見腫瘤的邊緣，且由於PSCSM的演算過程降低了對於背景--纖維腺體所造成的影響，所呈現的結果是較為理想的。在最後的case3中ET的表現仍然最差，仔細觀察OTSU與FCM的結果，可以發現會有些毛屑和腫瘤內部出現因過度分割而產生的空洞，而在PSCSM的結果中並沒這樣的情況，這是因為在演算的過程採用漸進式的機制，所以保留了腫瘤區域並濾除細微的雜訊。

接著，針對腫瘤ROI進行分割並依其分割結果如圖12所示，同樣的進行量化分析，分析結果展現於表3。由表3可觀察到，在ACC、SPC 與FPR的表現上都有明顯差異，其中ET具有最大的FPR，這樣的數據結果呈現出ET對於腫瘤分割的精確性低了許多，從圖12(a)(e)兩張影像的比較的確可以發現Standard影像與Entropy影像相似度非常低。另一方面，可以從ACC中發現PSCSM在三組影像中都保持最佳的切割正確性，而且誤判的比例(FPR)相對於其他三種分割方法卻減少許多，這也是圖12中PSCSM實驗結果均可較清楚看見腫瘤主體影像的原因。最後，本發明同樣再建立一個包含16個樣本案例的實驗資料組，其樣本案例包含各種典型特徵(如乳房大小、腫瘤大小及乳房背景組織)，並在進行量化分析之後取各指標的平均值，其實驗結果呈現於表4，由表4可以看出PSCSM在各項指標的平均值仍舊保持最好的表現。

經上述具體實施例的說明後，本發明確實可以應用在各種醫學診斷、分析或輔助系統的建置上，以將影像主體由背景中正確地分割出來，這是非常重要的一環。有鑒於目前的影像分割技術仍然存在許多缺點，本發明發展出一個全新的醫學影像分割系統，其統架構包含分別使用於單頻譜與多頻譜影像的前處理分法，及一個重要的分割演算法，稱為progressive support-pixel correlation statistical method(PSCSM)，可以更精準的分割醫學影像主體。PSCSM首先採用支持像素進行統計，避免了大片背景與雜訊像素造成統計上的誤差。其次再使用漸進方式，針對定位較為模糊的像素以關聯性統計為基礎逐步分類，改良了大部分影像分割技術所採用的的二分法，藉以提升影像主體切割上的精準度。為了驗證PSCSM在臨床上的可用性，實驗中使用數組假造影像、真實單頻譜醫學影像及真實多頻譜醫學影像進行腫瘤切割實驗，並與知名且具競爭力的切割技術Entropy、FCM與OTSU進行效能評比。實驗結果證明本發明所提出的分割演算法PSCSM在不同的實驗資料的表現，都明顯優越於其他現存且知名演算法。本發明所獲得的成果除了可以提升醫療診斷上的正確性，對於其他進一步的研究如病灶的定位、3D重建、良惡性判斷或是輔助診斷系統的建置等均會有所助益。

以上所述，僅為本發明之可行實施例，並非用以限定本發明之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合發明專利要件，爰依法具文提出申請，謹請鈞局依法核予專利，以維護本申請人合法之權益。

Claims

一種漸進式醫學灰階影像主體分割方法，其包括：(a)影像提供步驟：係提供至少一醫學灰階影像；(b)影像前處理步驟：係將該醫學灰階影像做影像前處理，使該醫學灰階影像之主體與背景形成高對比之二維醫學灰階影像；(c)漸進關聯性支持像素統計步驟：係以一漸進關聯性支持像素統計法將該二維醫學灰階影像中的所有像素處理歸納為一第一類區域及一第二類區域，並將該第一類區域定義為該主體，再將該第二類區域定義為該背景；及(d)影像分割步驟：係自該二維醫學灰階影像中將該第一類區域的該主體分割出，以供後續的影像辨識利用；其中，該漸進關聯性支持像素統計法包含一初始門檻值獲取步驟，執行該初始門檻值獲取步驟時，係使用一Canny邊緣偵測法對該二維醫學灰階影像進行邊跡偵測，以獲得一影像邊跡圖，再對該影像邊跡圖中每一個被判斷為邊跡的像素點進行灰階值統計，當所有像素完成統計後，經由該第一類區域之該主體與該第二類區域之該背景的灰階分佈平均值即可得到主體初始門檻值W與背景初始門檻值Q，並將該二維醫學灰階影像中該主體初始門檻值W以上的像素歸化為該第一類區域，再將該背景初始門檻值Q以下的像素歸化為該第二類區域。
如請求項1所述之漸進式醫學灰階影像主體分割方法，其中，執行該初始門檻值獲取步驟之前，係將該醫學灰階影像做高斯濾波器處理，以增強該醫學灰階影像中的邊緣特徵。
如請求項1所述之漸進式醫學灰階影像主體分割方法，其中，該漸進關聯性支持像素統計法更包含一重新歸化步驟，執行該重新歸化步驟時則包括下列步驟：步驟一：運用主體初始門檻值W背景初始門檻值Q，將該二維醫學灰階影像中主體初始門檻值W以上的像素歸化為該第一類區域，背景初始門檻值Q以下的像素則歸化為該第二類區域；步驟二：將灰階值處於主體初始門檻值W與背景初始門檻值Q之間的像素套上一遮罩，並統計其周圍八個像素點，若已歸化為該第一類區域的點大於四個，則將此像素歸化為該第一類區域，並以該主體初始門檻值W來取代其灰階值；若已歸化為該第二類區域的點大於四個，則將此像素歸化為該第二類區域，並以該背景初始門檻值Q值來取代其灰階值；步驟三：重複操作步驟二，直到所有像素全部被歸化為止；步驟四：若有像素始終無法被歸化時，則將該主體初始門檻值W減1，並將該背景初始門檻值Q加1，並回到步驟二；及步驟五：當所有像素全部被歸化後演算則停止時，並將該第一類區域像素定義為主體，該第二類區域像素則定義為背景。
如請求項3所述之漸進式醫學灰階影像主體分割方法，其中，該遮罩尺寸為3×3像素。
如請求項1所述之漸進式醫學灰階影像主體分割方法，其中，該漸進關聯性支持像素統計法係以一Canny邊緣偵測法對該二維醫學灰階影像進行邊跡偵測，以辨識出支持像素，依據該支持像素的遮罩範圍建立該第一類區域及第二類區域的初始直方圖，並依據該第一類區域及該第二類區域的初始直方圖定義初始閥值W、Q，再依據該初始閥值W、Q將該主體與該背景做初步分類；並以關聯性統計方式重新分類未分割的像素，判斷是否所有像素已經分類，判斷結果為是，則進行分割影像；判斷結果為否則判斷是否增加分類像素，判斷結果為是，則回到重新分類未分割的像素的步驟，判斷結果為否，則將主體初始門檻值W減1，並將背景初始門檻值Q加1，並回到重新分類未分割的像素的步驟中。