TWI399194B - 基於細胞自動機之半自動膝蓋ｍｒｉ軟骨影像分割方法 - Google Patents

Description

基於細胞自動機之半自動膝蓋MRI軟骨影像分割方法

本發明係關於一種基於細胞自動機之半自動膝蓋MRI軟骨影像分割方法，係為透過先行自動化偵測軟骨輪廓，再透過人工後續修正的半自動處理方法，其以細胞自動機演化為基礎，並提出 先行將MRI序列影像進行影像增強處理，再輔以自動種子偵測、初始分割及軟骨輪廓最佳化處理等技術，有效改善傳統人工點選所造成的勞力疲乏、軟骨與周遭組織區域像素過於相近所導致的分割錯誤等缺失，以提升整體操作的穩定性及效率。

近年來，由於人口老年化之故，關節病變嚴然已成為健康管理的一項重要議題，而骨關節炎或稱退化性關節炎為老年人最常見之關節病變，其發生之原因主要是由於關節之軟骨過度磨耗受損，而使原本表面平滑之軟骨變得粗糙凹凸不平，活動時關節因摩擦力、阻力變大而無法順暢的動作，更甚者會對患者帶來疼痛或不適感。

膝關節為人體最大之關節，其主要是由大腿骨、脛骨、腓骨及髕骨所組成，其主要作用為支撐身體之重量及提供良好的活動度，使人們能夠透過膝蓋的屈曲、伸直完成日常生活所需之動作，而位於股骨(大腿骨)及脛骨(小腿骨)之間的軟骨，因其狀似弦月稱之為"半月板軟骨"，其厚約3~9毫米，而有關膝蓋所受之衝擊都透過該軟骨予以吸收或緩衝，其作用就似汽車之避震器，吸收外來所帶之衝擊，並使關節能圓滑平順的活動，其重要性可想而知。

由於醫療技術的提升，許多療程應用在治療受損的膝蓋軟骨上，然而如何有效判斷療治過程之有效性及評估療治時程之長短，仍無較佳的方式，所以相關議題之研究仍值得我們去探討， 按，一般醫學之檢查常透過X光射線照射、電腦斷層掃描(Computerized Tomography)及磁共振成像(Magnetic Resonance Imaging，簡稱MRI)等方式進行，然而一般的X光射線照射屬於侵入式的檢查，於檢查過程中，容易讓受檢者因X射線或放射性核素而使身體受到損害；而電腦斷層掃描因其特性影響只能獲取與人體長軸垂直之橫斷面，無法自由選擇所需觀看之剖面，故此，使上述兩種檢查方式之運用受到了很大的限制，而磁共振成像屬於非侵入式檢查，它是運用核磁共振(Nuclear Magnetic Resonance)原理，依據所釋放之能量在物質內部不同結構環境有不同能量之衰減，並透過外加梯度磁場發射出的電磁波，即可得知構成該物體之原子核位置及種類，據以繪製出物體內部的結構圖像，而隨著科技的進步，磁共振成像已可以觀察到活體三度空間之斷層影像，以往不能呈現之橫切剖面影像或得知兩構造組織之相對關係，現今已能達成並能準確提供臨床醫師病理與正常組織間之相對關係或位置，並可透過調整參數得到較完全的信息(如，透過調節磁場自由選擇所需要之剖面等)，實有裨益於醫師對病症之診斷，誠使磁共振成像能比上述兩種檢查方式更為廣範運用。

按，一般膝關節炎之檢查通常透過磁共振成像方式來檢驗，而為了使患部之病徵更為凸顯，以利醫師診斷，通常需將MRI序列影像做影像分割處理，意即是將圖像裡面所需要的物件獨立劃分出來，以作比對或觀察，其分割的依據是參考一些視覺上同質 或非同質性的區域條件，如灰度值、結構或顏色等性質，然而在膝蓋軟骨的影像分割中，因其獨特之特性(指軟骨與其周遭組織(水或黏稠的組織液)過於相近)，因此容易造成影像分割失敗或者過度分割，所以如何精確且快速分割出所需物件(軟骨或病徵處)藉以測量對比，以利醫師診斷評估，實為一大難題，過往軟骨選取之方式是由操控者自己手動選取，操控者需小心翼翼的沿著軟骨之邊緣，描繪出軟骨之輪廓，此種方法費時且容易因人為長時間作業疲倦而產生極大之誤差，影響到結果，而如果透過機器以全自動方式選取又會受限於膝蓋軟骨之特性，使得影像切割不能判斷的很精準(容易產生誤判)，而不同程度的退化性關節炎又都會影響到軟骨的特徵，所以全自動選取方法亦不可行，因此利用半自動方式，先透過演算法進行自動處理，後續再經由有經驗的技師後續修正，以提供更精準的軟骨切割，誠為較佳的處理方式，而一般其所運用之分割方法大致可分為以下幾種：

(一)、閥值法：由J.L.Jaremko等人提出，運用最直觀(覺)的方法來做軟骨的擷取，其步驟係先對影像作前處理後，利用閥值中的Otsu的方法，取得一個臨界值(T)，使得物體和背景像素被有效區分開來，不過由於軟骨周遭組織過於相似於軟骨之像素之故，所以容易導致程式誤將周遭組織像素判別為軟骨的一部份，促使部份軟骨邊界分割失敗，該種方法只能運用於軟骨邊緣較清楚的案例。

(二)、區域成長法：是利用聚合成長的方式，由相似種子點 所在的像素，持續不停的融合成長，直到邊緣灰階度達到定義的閥值為止，而影像切割的軟骨區域會作為接下來邊界辨識的區域，其成長方式是從一個初始像素點，其稱之為種子點(Seed)，然後由該點開始擴展，而如果這些鄰近像素與種子點有相似的質性(例如：灰階值等)，則將這些符合的鄰近像素視之為同一影像群組，接著對這個群組上的每個點視為種子點再做鄰近像素的延伸成長，便會得到更大範圍且同質性定義的影像群組，藉以將各自獨立的小區域影像群組組織成更大的影像群組，而S.K.Pakin等人發展出以區域成長法為基礎，進行兩類區域群集的軟骨切割法，藉以使資料透過分類成多個區域，再配合給定各個區域的初始種子點及各別的擴張閥值，使用此種方法通常得搭配不同的影像辨識技術，方能增強其辨識能力及穩健性。

(三)、分水嶺法：由V.Grau等人改良分水嶺(Watershed)演算，即在進行分水嶺演算前會先將鄰近像素分類，並外加入物體的獨特資訊，標記(marker)通常是屬於一幅影像的連通成分，將每一個感興趣的部份進行一組內部(internal)標記，透過這些標記控制影像，並藉由型態學的重建法將其平滑化處理，當最後進行水分嶺演算法時，不會產生過多的小區域，改善了過度切割的問題，然而前處理完後要進行軟骨的分割，由此需要標記每張切片的資料，影像切割如果過多的話，手工定義每張的時間相當費時費力，其有待改善。

(四)、分類法：由J.Folkesson等人提出，其作法是先行將 像素分類(例如：用於脛骨軟骨的切割，其方式係為先將膝關節內之MRI影像像素分為三類，分別為股骨軟骨、脛骨軟骨及背景部份)，接下來進行分類特徵點的選取，從掃瞄的數據中，進行脛骨還有軟骨的分類，此像素分類法雖為全自動的影像分割法，但其重複操作的穩定性偏高(一部份出自於所使用之MRI影像為低解析度，另一部分則是軟骨周遭像素與脛骨軟骨過於相近，容易使演算法誤判)，仍有待改善以使效果提升。

(五)、可變模型：其可包括曲線、曲面或實體模型等，而所謂可變形模型(Deformable modles)係指彈性物體受到邊界條件或外力影響會產生形變，其概念源自於彈性理論，1986年Terzopoulos首先將可變形模型應用在影像的對比(matching)上，而主動式輪廓線模型是指使用一條在影像上的曲線，經過演算法中的疊代動作後，促使該曲線逼近所想要(所追蹤)之目標物之輪廓，透過這條曲線可有效地進行視訊或者影像切割，1988年M.Kass提出了一種動態輪廓模式曲線(Dynamic Contour Model Curve)，因其在疊代過程中會一再改變外形，並漸漸朝目標輪廓逼近，其動作看似蛇在滑行的樣子，所以該模式又稱為蛇形(Snakes)，其基本上是一條透過能量函數牽引而在影像上進行變動的連續曲線，其運作機制是藉由演算法的疊代來求取此一能量的最小值，促使曲線能夠逼近使用者欲抓取的影像特徵，如邊緣、線段或輪廓等，當曲線上的能量值為最小時，此時之輪廓即為所求，然而運用此種方法來抓取物體輪廓雖然相當方便卻也有些許 限制，其一，起始之曲線必須非常接近所欲圈選影像輪廓之邊緣；其二，對於凹形圖像的圈選無法得到精確的結果(幾何形狀內凹之物體無法完全貼近其輪廓線)，為改善上述限制，於是於1999年Chenyang Xu提出了主動輪廓線模型(Gradient Vector Flow，簡稱GVF)解決了無法完成貼近輪廓邊緣的問題，而使用GVF為基礎的軟骨分割法，是藉由B-spline輪廓以手動給定初始控制點設於鄰近軟骨邊緣處，再藉其成本函數(Cost function)最小化使輪廓曲線演化貼近軟骨邊緣，透過影像區域或物件輪廓決定成本函數各類設定參數的權重，使該曲線逼近想欲追蹤目標物之輪廓，另有M.H.Brem等人使用hybrid-approach的主動式輪廓法來做軟骨量測的動作，其演算法會在影像切片中偵測軟骨邊緣，使用者再作後續修正不正確的輪廓，但是選取動作約需1小時，速度有待改善，又有J.Tang等人提出了有方向性的GVF Snake，配合B-spline修改軟骨邊界的方法，改善傳統GVF初始曲線必需要非常接近所圈選之影像輪廓的邊緣，以及對於凹形圖形圈選所法得到精確的結果，該種方法運用於膝關節軟骨的自動分割，於模糊邊界及不連續邊界上具有很高的強健性。

(六)、圖型分割：由Y.Boykov等人基於圖型理論所提出的一個新構想，藉由Min-Cut/Max-Flow Algorithms，來計算全域最小的成本消耗，進而得到全域最佳化的影像切割技術，其切割目標係透過互動式的方法，藉由增加種子點來分割較難處理之部份，促使影像分成物件及背影兩部份，該種方法在膝蓋軟骨MRI 切割應用上是先透過讓每個像素為一個節點，進而計算全區域之最小成本消耗，標記出物件跟背景，該方法在初始之初需要人工定義起始點，再透過Graph-cut計算出軟骨輪廓，再輔以後續修正動作。

上述數種對軟骨影像切割的方法(含全自動或半自動)，雖然使得影像分割之正確性與準確度大幅增加，但在臨床實驗所注重之操作性以及程式處理時間上仍有其需改善之處，近年來，另有一種運用細胞自動機(Cellular Automata，簡稱CA)的影像處理方法，其在影像處理方面皆有不錯的表現，誠如Vladimir Vezhnevets所提出的GrowCut，就是利用細胞自動機來解決影像分割的例子，而什麼是細胞自動機呢？細胞自動機(Cellular Automata)最初由數學家Stanislaw M.Ulam與John von Neumann於1950年代所提出，在型態表現上，細胞自動機是一個離散型的動力系統(Discrete Dynamical Systems)，在1940年代，von Neumann與共事的科學家們合作設計了可儲存程式的數位電腦之後，他就對自我複製發生興趣：能儲存程式的機器能不能自我複製？von Neumann認為，至少在原則上與形式上是可行的，於是他開始作這方面的理論研究，過程中他提出了「細胞自動機」的概念，這個實際構想是由羅沙拉摩斯的數學家Ulam所建議的。

細胞自動機是由一些特定規則的格子所組成，每個格子看做是一個細胞；每一個細胞可以具有一些狀態，但是在某一時刻細胞只能處於一種狀態之中，隨著時間的變化(稱之為「疊代」過 程)，格子上的每一個細胞根據周圍細胞的情形，按照相同的法則而改變狀態，換句話說，一個細胞的狀態是由上一個時刻所圍繞的細胞的狀態所決定，細胞自動機可以視為一個讓許多單細胞生物生活的世界，在我們設定好這個世界的初始狀態之後，它們便按照同一個規則做演化，而當細胞自動機在電腦上模擬的時候，幾乎可以複製出類似於自然界當中實際發生的動力系統運作，這使得細胞自動機成為了研究複雜系統行為的最初理論框架，羅沙拉摩斯的博士後研究員Christopher Langton因而提出了「人工生命」(Artificial Life)這個名詞，細胞自動機便是人工生命的第一個雛形，並且變成複雜性科學，或者說是複雜適應性系統的其中一支，數十年過去，CA之理論與相關技術已漸趨成熟，已有學者發展出解決特定問題的CA演化技術，這些技術不需大量的計算元件，且能夠用比較直接的方法將特定程序與CA空間聯繫起來，學者R.P.Feynman就提出無論巨觀或微觀的系統，若有區域是由相連結的離散元件組成，即可透過CA加以模式(組)化，意即只要有適當CA的產生規則或適當之關鍵，即可透過CA來模擬各種不同應用場合上的動態系統，其應用範圍相當廣泛，而為解決上述各種軟骨影像切割方法暫時無法克服的操作性以及程式處理速度等待改善處，運用CA技術於膝蓋軟骨MRI影像分割誠不失為一個較佳的方式。

請配合參閱第三圖，一般CA運用於膝蓋軟骨影像分割，其整體運作流程，如下所述： (a)、輸入MRI影像(MRI Image)：將病患或實驗對象經MRI掃瞄後之MRI序列片(影像)讀入程式；(b)、定義欲擷取的區域(ROI)：透過定義藍色矩形框的大小或移動藍色矩形框到即將處理的軟骨區域，如附件第一圖所示，值得注意的是在序列第一張MRI影像設定完成感興趣的區域後，後續的序列都會依照此設定範圍做影像處理，因此操作者必須觀察序列片之影像以決定區域範圍，而演算法之運算亦只針對該設定之範圍運算，不對整張影像做運算，以減少不必要的成本消耗；(c)、輸入種子點(Input Seeds)：此步驟為CA影像切割十分重要之步驟，CA影像切割的目的就是把圖像中的像素，分類成數個分割標籤，但在這目標之前，我們必須手動設立像素分類的標籤值，稱之為種子點(seeds)，這裡使像素分類成軟骨以及非軟骨兩部分，操作者必須觀察ROI區域裡，決定哪些部分是軟骨以及非軟骨區域，一般而言挑選ROI區域的軟骨，依據軟骨其本身的特質(例如：狹長型、半月型及周邊必須平滑及其他的軟骨生理構造)，在觀察出ROI區域的疑似軟骨區域後，利用滑鼠或手寫板，在ROI區域上面給定種子，輸入不同的顏色以區別出不同的種子，切割出軟骨及非軟骨(如肌肉、組織液、骨頭區域)，種子會對應至細胞自動機的空間裡，當作初始的擴展力量值，而這些種子會依照CA給定的生長規則，去逐步歸類所屬的影像標籤，最後會擴展至全部範圍，完成影像的分割，誠如附件第二圖所示，需特別注意的是不同數量的種子亦或是種子的位置，都會影響細 胞自動機的出來的成果，依照這種特性來動態調整種子的位置，達到所要的目的；(d)、細胞自動機影像切割計算(CA Algorithm)：此步驟配合著種子點的輸入，判斷區域需要及不需要部份，該步驟將會不斷的進行，直到影像切割的成果達到滿意為止，誠如附件第三圖所示；(e)、影像切割成果之滿意與否(Acceptable)：此為最後步驟，如果CA運算後影像切割的結果符合所需求者則結束，如附件第四圖所示，不符合者則回歸到選擇種子點步驟，再行選擇種子點進行修正並進行CA運算直到切割結果滿意為止，誠如附件第五圖所示。

上述將CA應用於膝蓋軟骨MRI影像分割的方法，雖然比之前所述各種分割技術，相對於執行速度、操控性、準確性及穩定度對比下為較佳，然而CA運用於膝蓋軟骨MRI影像分割仍有一些問題點需改善以達到更佳的處理效率，其問題點可大致分為下列數點：(a)、雜訊干擾，如果原始影像中存有雜訊的話，將會造成訊號雜訊比偏低，而於影像分割欲將軟骨分割出來時，會因雜訊的干涉使得擴張的力量不夠強烈，促使軟骨輪廓被分割成多數區塊(域)，無法成功取出所需之軟骨，誠如附件第六圖所示；(b)、需要手動建立前景及繁瑣的人工點選：設定的標籤分為前景及背景，如果要很準確的切割出軟骨或非軟骨組織，詳細的 標籤定義是必需的，誠如附件七圖所示，但是這樣所花的時間及人力過於冗長；(c)、邊緣的不平滑：白色為實際軟骨部份，綠色部份為CA得到的軟骨部份，依照正常之狀況，軟骨的輪廓應該是平滑的狀態，而不是突兀的隆起或凹陷，誠如第附件八圖所示；上述為運用CA於膝蓋軟骨MRI影像分割較常見之待改善處，如能對上述問題點有所改善，誠能使CA運用於臨床實驗時得以增進效率(程式演算速度變快、切割圖像之準確度及整體結果可靠性的提升等)，並可透過與使用者互動的操作模式，及時反應出處理結果以供使用者針對目前之結果去進行調整或修正種子點以達到更理想結果。

本發明人有鑑於此，乃憑恃著長期對膝關節構造及影像分割技術之構思與研究，而發明出一種基於細胞自動機之半自動膝蓋MRI軟骨影像分割方法，其整體實施步驟為：(a)先施行一膝蓋磁共振影像的前處理，透過影像亮度轉換及使用非等向性擴散濾波器進行影像雜訊濾除等影像增強技術以修正MRI影像對比度不足及用於改變某區域灰階值的特徵；(b)定義欲擷取的影像區域，人工初步選取MRI影像涵蓋膝蓋軟骨之矩形區域，亦即定義即將處理的軟骨影像區域，讓演算法只在選取的範圍內執行，而不必對整張影像做運算，減少不必要 的成本消耗；(c)自動進行種子點偵測及初始分割，透過影像分割技術中的二值化法及複製輪廓的技術，當作前景(想要分割的物體)及背景的預測，並預估出軟骨及背景可能出現的位置，輸出最後的種子預測遮罩，進行初始分割，人工只需做後續修改的動作，時間效益得以提高；(d)另以人工選擇前景、背景種子點，透過選取前景及背景種子點，種子會對應至細胞自動機的空間裡，當作初始擴展的力量值；(e)輸入給細胞自動機以進行自動分割運算，運用學者Vladimir Vezhnevets所提出的GrowCut技術，透過設定細胞力量 θ _p 以區別出影像分割時需要跟不需要的物件，讓使用者能藉由觀察影像切割結果的不同變化，給與適當的調整，促使細胞自動機一步一步地往邊界演化，不斷地往軟骨物件的邊界蔓延，最終演化收斂於軟骨邊緣；(f)檢視分割結果，觀察步驟(e)分割之結果是否符合所欲求之結果，如果不符則回歸到步驟(d)重新運作，結果符合者則繼續進行步驟(g)；(g)取出之軟骨輪廓作最佳化處理，將步驟(f)符合所欲求結果之影像進行最佳化處理，透過使用一個二維中值濾波器，並使用像素臨域中灰階的中間值代替像素值，且配合邊界情況選擇適宜之遮罩大小，以消除鋸齒及毛邊的情況； 透過上述步驟，有效解決於膝蓋軟骨進行影像分割時，因軟骨像素與周遭組織像素過於相近所導致的分割失敗及效率不佳等問題，裨益於臨床實驗及醫師診斷者。

本發明的主要目的：在於提供一種有效改善傳統人工點選所造成的勞力疲乏、軟骨與周遭組織區域像素過於相近所導致的分割錯誤等缺失，以提升整體操作性及效率的膝蓋軟骨影像分割方法。

本發明的次要目的：在於提供一種準確性高且高穩定性的膝蓋軟骨影像分割方法。

茲由以上說明得知，本發明相較先前技術，確可達到如下之功效：

1.本發明之方法，由於先行對MRI影像進行前處理，使得MRI影像在進行影像分割處理前有較佳之品質，再加上本發明研發出的自動種子偵測及初始分割技術，會先行預估軟骨及背景可能出現位置並進行初始分割，使用者只需在初始分割後之軟骨輪廓及背景選擇想要研究或探討的特徵區域輸入種子點即可，且透過本方法初次取得軟骨結果輪廓後，後續的MRI序列影像都會有種子偵 測及初始分割技術的協助，達到簡化操作過程及避免人工重複繁瑣圈選之目的以提升效率。

2.藉由實驗之驗證，本發明之方法因具有自動種子偵測及初始分割技術之故，其於選取時間較一般手動選取未具有種子偵測及初始分割技術(由精熟軟骨點取的人員操作)平均時間少了14秒，減少總處理時間達43%以上，且本發明之方法，比較一般手動未有種子偵測及初始分割技術，其準確性平均提升了5%(透過軟骨總疊合率判斷)，另外，使用本發明方法做穩定度測試(透過均方根變異數RMS CV來做予指標)，發現其重複操作RMS CV為1.4%，證明本發明方法是穩定精確的。

首先，請參閱第一圖所示，係關於一種基於細胞自動機之半自動膝蓋MRI軟骨影像分割方法，其施行步驟至少包含有：

(a)先施行一膝蓋磁共振影像的前處理，所述的前處理係指透過影像增強技術來增強影像中原本不明顯的物體或邊緣以增強使用者對物體的主觀辨識，並加快演算處理時間，達到改善效率之目的，其影像增強技術至少包括影像亮度轉換及影像雜訊濾除等技術，其中該影像亮度轉換係指透過調整或改變某區域灰階值特徵以使主體物件與背景之差異能夠凸顯出來，其關係式可表示為：S=T(r) 其中T為指定轉換之條件；r是輸入影像之灰階值；S為輸出後之灰階值，而該影像雜訊濾除係指將影像資料藉由空間濾波器過濾出雜訊以提高後續作業邊界辨識的準確性，並藉該濾波器特性進行邊緣特徵點、線的擷取及影像邊緣的強化，促使影像得到較大之改善，而該影像雜訊濾除所用之空間濾波器為能降低雜訊並能保留邊緣特徵的非等向性擴散濾波器，它是運用非線性的濾波方法，透過鼓勵像素值相近的區域進行擴散，但在邊緣處時抑制其擴散以避免邊緣特徵糢糊化，其非等向性擴散方程式可表示為： 其中I(x,y,t)表示位於時間t時，在空間(x,y)位置處所代表的影像強度值，而t=0時，即為原始的影像；div為發散運算子(diverhence operator)；▽ 為梯度運算子(gradient operator)；而c是控制擴散速率的係數，隨著影像灰階梯度變化時，當c不為一固定常數時，即是非等向性的擴散，其方程式可改寫為： 其中k是一個預估的邊界參數，而在實際運用判斷時，利用梯度方法來偵測影像中的邊界，或者不連續的邊緣，這邊用|▽I | 表示，當|▽I |≫k 時，將c|▽I |→0 ，代表位於邊界，將不對影像做處理，設立一個全部通過的濾波器；當|▽I |≪k 時，將c|▽I |→1 ，啟動 非等向性擴散濾波器以濾除雜訊；在影像上，以離散的方式可以表示為： 其中S表示為像素，t為迴圈次數，△t 為下一個時間步階， η _s 表示像素S旁邊的臨域，|η _s | 是臨域像素的個數；p是臨域像素的一員，梯度為像素點對四周臨域的梯度值， I _S 、I _P 分別為像素p以及像素s的亮度值，亦可表示為： 由於對於CA影像分割來說，影響最大的因素並不是影像品質本身，而是定義種子標籤的人工輸入部分(因為演算法的缺失可以藉由後續的人工修正彌補)，假使影像的前處理造成過於模糊的邊界，會造成操作者沒有依循的根據，憑藉著主觀的感覺來定義種子點，那麼量測同一分資料的將會造成不穩定，故請配合參閱附件第九圖至第十一圖所示，由這些圖示我們可以得知，我們透過一非等向性擴散濾波器以濾除MRI影像雜訊時，且其參數設定不應設一個絕對的值，而是應根據實際影像雜訊的干擾性，以選擇適當的平滑步階(σ )以及迭代次數(△N) ，由於影響邊界模糊最大的因素是平滑步階(σ )的大小，而不同的迭代次數(△N) 會影響計算時間，所以在雜訊干擾比較嚴重的狀況，以不影響邊界識別的前提下，給予最大化的消除雜訊，相對的，在雜訊干擾比較少時，給予較低的平滑步階以提升運算速度。

(b)定義欲擷取的影像區域，人工初步選取MRI影像涵蓋膝蓋軟骨之矩形區域，亦即定義即將處理的軟骨影像區域，讓預設演算法只在這預定範圍內執行，而不必對整張影像做運算，減少不必要的成本消耗，誠如附件第一圖所示。

(c)自動進行種子點偵測及初始分割，其係為在人工輸入種子點之前，先行自動運作影像分割技術中的二值化法及複製輪廓的技術，當作前景(想要分割的物體)及背景的預測，並預估出軟骨及背景可能出現的位置，率先自動初始分割，人工只需要做後續修改的動作，時間效益得以提高，故本步驟請配合參閱第二圖，其整體施行方式如下所示：

(1)前景之預測：透過上一張影像所處理後的軟骨結果輪廓，當作下一張欲處理軟骨之初始點，並運用型態學的侵蝕處理，促使前次軟骨輪廓稍微往內縮，以符合當前軟骨之輪廓，達到預估軟骨輪廓之目的以利後續修正，誠如附件第十二圖所示，而該侵蝕處理其定義如下： 這裡的f代表一張MRI影像，(x,y)表示遮罩中心點的座標，(i,j)代表平移的座標，b為結構元素，通常表示成0和1的矩陣，侵蝕是指f藉由是由所有結構元素b的原點位置所構成的集合，使物體變薄，程式會根據目前的軟骨輪廓，依此自動挑選合適的結構元素大小，當軟骨輪廓較多的時候，結構元素比較大；當軟骨輪廓較少時，結構元素相對較少。挑選合適的結構元素，會使預測 種子較為符合下一張的軟骨。

(2)背景之預測：先行使用Otsu自動閥值運算對前處理及定義完感興趣區域的磁共振影像進行二值化處理，並針對背景部份運用型態學的侵蝕處理，促使分割的最大限制邊界往後縮，再續將前一張軟骨輪廓作型態學中的膨脹處理，並使其反轉成背景影像，最後將這兩成果影響融合成一個新的遮罩，成為新的預測背景種子，誠如附件第第十三圖所示，其中該膨脹處理其定義如下：

(3)輸出種子點遮罩：結合預測前景及背景的結果，輸出最後的種子預測遮罩，誠如附件第十四圖所示；藉由上述(1)~(3)步驟，使用者可自動得到預測的前景種子與預測的背景種子，只要使用者將第一張影像使用細胞自動機處理過後，後續的影像都會參考前張的軟骨輪廓，自動預測當張影像中的前景以及背景部分，提供給細胞自動機當作分割的參考，改善整體操作的效率。

(d)另以人工方式選擇前景、背景種子點，種子會對應至細胞自動機的空間裡，當作初始擴展的力量值。

(e)輸入給細胞自動機以進行自動分割運算，讓使用者能觀察影像切割結果的不同變化，給與適當的調整，使細胞自動機會一步一步地往邊界演化，不斷地往軟骨物件的邊界蔓延，最終演化會收斂在軟骨邊緣，其中所使用的細胞自動機演算方法是運用學者Vladimir Vezhnevets所提出的GrowCut技術來運算，其演化 過程用程式碼可表示為： l _p 為細胞當前所屬的標籤； θ _p 為當前細胞的力量； C _P 為當前細胞的特徵向量，由影像決定；t+1為下一個時間點的程式執行時間；當細胞自動機演化時，當中每一個細胞會往旁邊擴散，細胞會嘗試取代鄰近細胞，取代的強度依照給予的力量 θ _p 而定，將欲擴散細胞者稱為攻擊者，另一方稱做防禦者，攻擊者和防禦者的特徵向量間，如果攻擊強度大於防禦者的強度，防禦的細胞所屬 l _p 以及力量 θ _p 將會被攻擊細胞替換，最後，這些細胞將會擴散至鄰近區域逐漸地蔓延整影像，直到趨近於穩定的狀態，透過設定細胞力量 θ _p 大小以決定攻擊者或防禦者，設成背景標籤時，將細胞力量 θ _p 設置為1，設成前景時，則將力量設成<1以區別出影像分割時 需要跟不需要的物件。

(f)檢視分割結果，觀察步驟(e)分割之結果是否符合所欲求之結果，如果不符則回歸到步驟(d)重新運作，結果符合者則繼續進行後續步驟(g)；

(g)取出之軟骨輪廓作最佳化處理，將步驟(f)符合所欲求結果之影像進行最佳化處理以消除鋸齒及毛邊的情況，其係透過運用二維的中值濾波器，並使用像素臨域中灰階的中間值代替像素值，且配合邊界情況選擇適宜之遮罩大小，促使取出之軟骨影像邊界達到平滑化且不失去細節資訊。

透過上述步驟，有效解決於膝蓋軟骨進行影像分割時，因軟骨像素與周遭組織像素過於相近所導致的分割失敗及效率不佳等問題，裨益於臨床實驗及醫師診斷。

為驗證本發明之方法確比其他分割技術或同類運用CA之膝蓋軟骨分割技術達到較佳之功效，在此特做實驗以証之，實驗環境如附件十五圖所示，在膝蓋軟骨研究中，對於驗證軟骨量的變化沒有一個絕對標準的答案，因此我們使用一個相對客觀的方式。我們量測準確率的方式使用疊合的觀念，以專業人員的經驗為準則，準則是由多位專業人員對同一份MRI膝蓋影像共同檢驗的成果，疊合動作是對一張MRI影像做兩次選取方法，一次為手動選取法，另一次為運用本發明方法之半自動處理方式，兩次出來的結果取交集，就是軟骨疊合的部位，依照下列公式計算： 這裡的C(M) 是手動選取的軟骨輪廓，這裡C(S) 為使用其他的半自動處理的軟骨輪廓，C(M)∩C(S) 代表兩者的軟骨交集輪廓，實際操作由專業人員選取MRI的膝蓋影像，會得到手工選取的序列影像、以及使用其他半自動處理的序列影像，兩組數據間依疊合公式做計算，會得到單張疊合率與總疊合率，當總疊合率越高，代表著處理工具與手動選取的結果越相似，反之，則代表越不相同。

請配合參閱附件第十六圖至第十七圖所示，此為探討CA沒有種子偵測及初始分割技術與手動選取的時間及效益之比較，我們挑選MRI數據組中的B1、A、E1、E2組，對此四份序列影像分別以三種模式(手動選取、有種子偵測&初始分割技術、沒有種子偵測&初始分割技術)選取操作，其他設定皆相同，希望透過這四組影像序列的比較，了解平均點選時間(slice/sec)與準確率的效益，實驗結果：手動平均時間為31秒(這數據是經由精熟軟骨點選的人員操作，如果未經過訓練，每張圖片可達數分鐘之久)，而無預測技術的CA平均切片操作時間為30秒；有預測技術的CA平均切片操作時間為17秒，再來透過軟骨的總疊合率來判斷準確性，有使用種子偵測&初始分割為93%，沒使用此技術為88%，平均提升5%的準確率，結果顯示CA膝蓋軟骨影像分割使用種子偵測&初始分割技術比沒有使用此技術，在時間上減少43%以上的總處理時間，提升每組影像約5%的準確率，使本發明之方法更適合於膝蓋 MRI影像上的應用。

進一步探討本發明之方法應用於軟骨邊界清晰及模糊案例中，細胞自動機的準確率，由於每個人的軟骨特徵都是獨特的，大致上影像序列可以分成兩種類型，邊界清析及模糊，我們從實驗案例中挑選兩組具有代表性的脛骨內側軟骨MRI序列圖片(E2、B1)，E2序列影像內大部分的軟骨，輪廓非常清楚也具有完整性，誠如附件第十八圖所示，能代表邊界清楚的軟骨案例，B1序列影像內，股骨軟骨以及脛骨軟骨相連，軟骨邊界特徵稍微薄弱，這種情況佔了B1數據組中的大部分圖片，誠如附件第十九圖所示，可當作邊界模糊的軟骨案例，此外軟骨兩翼部分模糊、及周遭組織像素值接近軟骨，這是軟骨所遭遇到的共同問題。

我們先手動選取E2、B1序列影像中的軟骨部位，為了更符合客觀條件及避免記憶效應，使用CA前沒有回顧之前手動的處理結果，經由CA半自動處理後，會得到各別軟骨輪廓序列，請參閱第二十圖，(E2、B1)兩組影像為手動點選與CA半自動選取的疊合成果圖，顯示出清晰案例準確率有95.9%；模糊案例準確率91.3%。在不同的軟骨邊界特徵都有高達九成以上的準確性，證明使用本發明方法之影像切割適用在不同場合，都能經由人工的後續修正，使結果達到可靠的程度。

後續探討使用本發明方法進行膝蓋軟骨影像分割的穩定度，為進一步測試操作CA影像切割的一致性，於MRI影像序列中，透過讓操作者對同一份影像序列操作兩次，藉此來測試操作人員的 重複操作穩定性(intra observer reproducibility)，當操作者使用本方法分割出軟骨並量測時，均方根變異數(The root-mean square coefficient of variation(RMSCoV))會被用來當作軟骨量化的指標，RMS CV的定義如下： 這裡的N代表實驗體數(N=8)，CV被定義如下：CV=SD/Mean

我們重複兩次CA操作對每一組影像(A、B1、B2、C1、C2、D、E1、E2)來獲得膝蓋的內側脛骨(Medial tibal)軟骨量，而軟骨量測量的方式是計算軟骨輪廓及輪廓內的像素，藉由計算平均值以及標準差的變異數(CV=SD/mean)，得知整體的穩定性(RMS CV)，數值越小代表實驗的結果越穩定，誠如附件第二十圖所示，而為了保持客觀，操作者在重複量測MRI影像時，需確保沒有記憶效應。經實驗顯示，在兩次重複的操作，軟骨量並沒有重大的改變，內側軟骨的軟骨量的變化範圍從0.4~2.2，RMS CV為1.4%。CV差異越大的原因，主要是數據中序列影像的模糊的影像較多，因此容易造成明顯的差異，而且如果軟骨太細且狹長，像素又與周邊組織過於相近，如果操作者量測時不謹慎，可能會造就前後兩次量測的明顯不同，這是一部份的主觀性錯誤；當序列中軟骨的清楚邊界為比例較多時，兩次掃描的差距就會減小，差異性的高低，有一部分受到輸入的MRI影像軟骨邊界是否清晰影響，儘管如此， 重複操作穩定性實驗結果RMS CV為1.4%，仍足以說明以本發明方法應用於差異性較高的膝蓋內側軟骨，仍然有高度的穩定性。

綜合上述說明及實驗結果，可以得知本發明之方法確實可以有效解決於膝蓋軟骨進行影像分割時，有效避免因軟骨像素與周遭組織像素過於相近所導致的分割失敗及效率不佳等問題，裨益於臨床實驗及醫師診斷，實為病患之福音，且其未曾見於書刊或公開使用，誠符合發明專利申請要件，懇請 鈞局明鑑，早日准予專利，至為感禱；需陳明者，以上所述乃是本發明之具體實施立即所運用之技術原理，若依本發明之構想所作之改變，其所產生之功能作用仍未超出說明書及圖式所涵蓋之精神時，均應在本發明之範圍內，合予陳明。

(a)、(b)、(c)、(d)、(e)、(f)、(g)‧‧‧步驟流程

第一圖：為實施本發明方法的步驟流程圖。

第二圖：為本發明所發展的種子偵測及初始分割技術運作步驟圖。

第三圖：為習式細胞自動機應用於膝蓋軟骨影像分割運作步驟圖。

(a)、(b)、(c)、(d)、(e)、(f)、(g)‧‧‧步驟流程

Claims (9)

1. 一種基於細胞自動機之半自動膝蓋MRI軟骨影像分割方法，係以細胞自動機為基礎，其施行步驟至少包含有：(a)先施行一膝蓋磁共振影像的前處理，以修正原本影像對比度不足及用於改變某區域灰階值的特徵；(b)定義欲擷取的影像區域，人工初步選取MRI影像涵蓋膝蓋軟骨之矩形區域，亦即定義即將處理的軟骨影像區域；(c)自動進行種子點偵測及初始分割，自動預測出軟骨影像區域的前景及背景，且輸出最後的種子預測遮罩；(d)另以人工方式選擇(a)~(c)步驟所得物件並施以前景、背景種子點；後(e)輸入給細胞自動機以進行自動分割運算，讓使用者能觀察影像切割結果的不同變化，並施予一適當的調整，使細胞自動機一步一步地往邊界演化，不斷地往軟骨物件的邊界蔓延，最終演化會收斂在軟骨邊緣；(f)檢視分割結果，觀察步驟(e)分割之結果是否符合所欲求之結果，如果不符則回歸到步驟(d)重新運作，結果符合者則繼續進行步驟(g)；(g)取出之軟骨輪廓作最佳化處理，將步驟(f)符合所欲求結果之影像進行最佳化處理以消除鋸齒及毛邊的情況；透過上述施行步驟，有效解決於膝蓋軟骨進行影像分割時，因軟骨像素與周遭組織像素過於相近所導致的分割失敗 及效率不佳的問題，裨益於臨床實驗及醫師診斷者。
2. 如申請專利範圍第1項所述之方法，其中，該步驟(a)中，磁共振影像的前處理係指透過影像增強技術來增強影像中原本不明顯的物體或邊緣以增強使用者對物體的主觀辨識，並加快演算處理時間，達到改善效率的目的，其影像增強技術至少包括影像亮度轉換及影像雜訊濾除，透過上述技術處理得使影像得到改善。
3. 如申請專利範圍第2項所述之方法，其中，該影像亮度轉換係指透過調整或改變某區域灰階值特徵以使主體物件與背景之差異能夠凸顯出來，其關係式可表示為：S=T(r) ，其中T為指定轉換之條件；r是輸入影像之灰階值；S為輸出後之灰階值。
4. 如申請專利範圍第2項所述之方法，其中該影像雜訊濾除所用之空間濾波器為能降低雜訊並能保留邊緣特徵的非等向性擴散濾波器，它是運用非線性的濾波方法，透過鼓勵像素值相近的區域進行擴散，但在邊緣處時抑制其擴散以避免邊緣特徵糢糊化，其非等向性擴散方程式可表示為： 其中I(x,y,t)表示位於時間t時，在空間(x,y)位置處所代表的影像強度值，而t=0時，即為原始的影像；div為發散運算子(diverhence operator)；▽ 為梯度運算子 (gradient operator)；而c是控制擴散速率的係數，隨著影像灰階梯度變化時，當c不為一固定常數時，即是非等向性的擴散，其方程式可改寫為：其中k是一個預估的邊界參數，而在實際運用判斷時，利用梯度方法來偵測影像中的邊界，或者不連續的邊緣，這邊用|▽I | 表示，當|▽I |≫k 時，將c|▽I |→0 ，代表位於邊界，將不對影像做處理，設立一個全部通過的濾波器；當|▽I |≪k 時，將c|▽I |→1 ，啟動非等向性擴散濾波器以濾除雜訊。
5. 如申請專利範圍第1項所述之方法，其中，該步驟(c)中，其係為在輸入種子點之前，先使用影像分割技術中的二值化法及複製輪廓的技術，當作前景(想要分割的物體)及背景的預測，並預估出軟骨及背景可能出現的位置，率先自動初始分割，人工只需要做後續修改的動作，時間效益得以提高。
6. 如申請專利範圍第5項所述之方法，其中，該步驟(c)進一步包括：(1)前景之預測，透過上一張影像所處理後的軟骨結果輪廓，當作下一張欲處理軟骨之初始點，並運用型態學的侵蝕處理，促使前次軟骨輪廓稍微往內縮，以符合當前軟骨之輪廓，達到預估軟骨輪廓之目的以利後續修正；(2)背景之預測，先行使用Otsu自動閥值運算對前處理及定義完感興趣區域的磁共振影像進行二值化處理，並針對 背景部份運用型態學的侵蝕處理，促使分割的最大限制邊界往後縮，再續將前一張軟骨輪廓作型態學中的膨脹處理，並使其反轉成背景影像，最後將這兩成果影響融合成一個新的遮罩，成為新的預測背景種子；(3)輸出種子點遮罩，結合預測前景及背景的結果，輸出最後的種子預測遮罩；藉由上述步驟，使用者可得到預測的前景種子與預測的背景種子，只要使用者將第一張影像使用細胞自動機處理過後，後續的影像都會參考前張的軟骨輪廓，自動預測當張影像中的前景以及背景部分，提供給細胞自動機當作分割的參考，改善整體操作的效率。
7. 如申請專利範圍第1項所述之方法，其中，該步驟(e)中，其細胞自動機演算方法是運用學者Vladimir Vezhnevets所提出的GrowCut技術來運算。
8. 如申請專利範圍第7項所述之方法，其中，GrowCut技術之細胞自動機演化，藉由程式碼可表示為： l _p 為細胞當前所屬的標籤； θ _p 為當前細胞的力量； C _P 為當前細胞的特徵向量，由影像決定；t+1為下一個時間點的程式執行時間；當細胞自動機演化時，當中每一個細胞會往旁邊擴散，細胞會嘗試取代鄰近細胞，取代的強度依照給予的力量 θ _p 而定，將欲擴散細胞者稱為攻擊者，另一方稱做防禦者，攻擊者和防禦者的特徵向量間，如果攻擊強度大於防禦者的強度，防禦的細胞所屬 l _p 以及力量 θ _p 將會被攻擊細胞替換，最後，這些細胞將會擴散至鄰近區域逐漸地蔓延整影像，直到趨近於穩定的狀態，透過設定細胞力量 θ _p 大小以決定攻擊者或防禦者，設成背景標籤時，將細胞力量 θ _p 設置為1，設成前景時，則將力量設成<1以區別出影像分割時需要跟不需要 的物件。
9. 如申請專利範圍第1項所述之方法，其中，步驟(g)中，其係透過運用二維的中值濾波器，並使用像素臨域中灰階的中間值代替像素值，且配合邊界情況選擇適宜之遮罩大小，促使取出之軟骨影像邊界達到平滑化且不失去細節資訊。