TWI428781B - 從一影像處理系統中擷取一腫瘤輪廓的方法 - Google Patents
從一影像處理系統中擷取一腫瘤輪廓的方法 Download PDFInfo
- Publication number
- TWI428781B TWI428781B TW99101929A TW99101929A TWI428781B TW I428781 B TWI428781 B TW I428781B TW 99101929 A TW99101929 A TW 99101929A TW 99101929 A TW99101929 A TW 99101929A TW I428781 B TWI428781 B TW I428781B
- Authority
- TW
- Taiwan
- Prior art keywords
- point
- tumor contour
- reference line
- tumor
- line segment
- Prior art date
Links
Description
本發明係關於一種從一影像處理系統中擷取一腫瘤輪廓的方法,尤指一種適用於一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統的一種從一影像處理系統中擷取一腫瘤輪廓的方法。
超音波影像技術(Ultrasonography,US)因非侵入性成像的造影特性,而成為臨床醫學研究上重要的資訊獲取利器,是目前最為被醫學界接受且不會生副作用的技術。先進的超音波掃描儀能提供及時且高解析度的醫療影像,因此超音波掃描近年來被廣泛使用於檢驗與診斷腫瘤病變。
其中,藉由分析超音波影像,可協助醫生判斷腫瘤的特性,進而大量減少腫瘤切片檢的次數。超音波影像中的腫瘤形狀是醫師判狀斷腫瘤的良惡性的重要指標,若能從超音波影像取得近似腫瘤形狀的輪廓,將有助於提高醫生在初期判斷腫瘤良惡的正確率。而在臨床研究上一般於超音波影像輸出後,交由專業醫師提供文字或選項敘述判斷。但是,不同專業醫師對於同一影像的特徵敘述有時會產生觀察變異。
因此,隨著電腦輔助診斷技術的發展,電腦輔助判讀腫瘤良惡性的技術,隨著臨床醫學技術演進所產出針對腫瘤成像特徵的許多研究,已不再遙不可及。其中,判讀腫
瘤良惡性之先決條件在於決定腫瘤的成像位置,意即腫瘤輪廓測定。傳統腫瘤成像研究由人為進行輪廓圈選,受限於影像清晰程度、作業人員對腫瘤邊界認知、操作身心狀態等變異影響,呈現較大的輪廓輸出變異,勢必對後續良惡性判讀上造成無法統一之影響。
電腦輔助腫瘤輪廓測定的好處,是可以讓知道腫瘤在哪裡的人,都可以圈選出類似甚至一樣的腫瘤輪廓。不需謹慎明確的繪製輪廓,只要繪製大腦與肉眼認定的大略邊界,即可經由演算法得到應得的真實輪廓,因此在醫學影像處理研究上一直是備受矚目的重點,如Michael Kass et al.於1987年提出Snake演算法,其首先給定起始邊緣,再利用演算法搜尋決定最適邊緣的方式,即為醫學影像處理上常見的使用方法之一。
Snake演算法,又稱Active Contour Method,由Michael Kass et al.於1987年提出,為近年來醫學影像處理研究上最常被廣泛運用與延伸討論的演算法。Snake演算法的主要概念為尋求一個圈選範圍外部對於圈選範圍的約束力,與內部影像對於圈選範圍的影響力,這兩種力的最小化,使得圈選範圍如蛇的移動般往周圍類似線段或是邊緣的區域伸縮。
Snake演算法又稱Active Contour Method是因為演算法會自動搜尋相鄰區域,針對每個區域做局部考量,並利用空間概念的連續性圍繞一個特徵進行擷取。Snake演算法適合用於線段、邊緣、輪廓擷取,動態追蹤,與立體比對,只要給予起始圈選範圍在你期望得到的影像輪廓特徵附近,
Snake演算法即可經由遞迴得出最終的建議輪廓。如圖1所示,圖1係習知Snake演算法用於飛機圖形影像之飛機輪廓擷取。
Snake演算法作用於邊界清晰的影像上,尤其是邊界內外色差變化極大的情況下,可以得到非常優異的效果,然而腫瘤常見邊緣模糊的情況,或是低迴音不明顯甚至無低迴音性的情況,這類的腫瘤型態對於Snake演算法而言便需要做進一步修正。Snake演算法的運作方式在於探究一點之周圍區域(n×n的遮罩)內每一點的連續性、曲率、與局部梯度能量,然而若待測的周圍區域本身屬於模糊影像,則該點周圍範圍的遮罩搜尋結果將不盡理想,若大多數點的周圍範圍皆有如此情況,則Snake將無法得出有效的結果,這就是所謂見樹不見林的現象。反之若將待測區域擴大,一來運算時間也會隨之比例增加,二來面對大面積的模糊影像仍然效果不彰。此外,Snake演算法需要給予起始範圍,若起始給定範圍不佳,加上影像模糊,則作用在腫瘤超音波成像上將無法產出優異的結果。
綜上所述,有鑒於傳統腫瘤輪廓圈選需要專業醫護人員精細費時的徒手繪製一條確定的輪廓邊緣,Snake演算法提供了不需要仔細繪製而取代以輸入周遭接近範圍的輪廓線後,交由程式完成後續的輪廓逼近。然而,若輸入輪廓太接近需求輪廓,則輸入之精細度(時間)相對增加;若輸入輪廓與需求輪廓相距甚遠,則因為Snake為考量整體影像之
無界演算法,假設輸出結果接近需求輪廓,則程式演算時間勢必相對增加,這是Snake演算法會面臨的問題。
本發明提供一種從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法。
為達成上述目的,本發明之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法,係包括:從此灰階影像接收一輸入腫瘤輪廓;定義此灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中此輸入腫瘤輪廓係位於此腫瘤輪廓環形區域內,且每一此等參考線段係通過此腫瘤輪廓環形區域並包含複數個量測點;於每一此等參考線段上擷取出一腫瘤輪廓建議點;以及將此等參考線段上之此等腫瘤輪廓建議點互相連接,以得出此腫瘤輪廓。
為達成上述目的,本發明之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法,係包括:從此灰階影像接收一輸入腫瘤輪廓;定義此灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中此輸入腫瘤輪廓係位於此腫瘤輪廓環形區域內,且每一此等參考線段係通過此腫瘤輪廓環形區域並包含複數個量測點;於每一此等參考線段上擷取出一調整腫瘤輪廓建議點;以及將此等參考線段上之此等調整腫瘤輪廓建議點互相連接,以得出此調整腫瘤輪廓;
其中,位於每一此等參考線段上之此等調整腫瘤輪廓建議點係藉由下列步驟而得出:將藉由一移動變異值擷取法而擷取出之位於此參考線段之所有此等量測點的數值、將藉由一對比擷取法而擷取出之位於此參考線段之所有此等量測點的數值、將藉由一距離擷取法而擷取出之位於此參考線段之所有此等量測點的數值、將藉由一灰階影像梯度的指數加權移動平均值差異擷取法而擷取出之位於此參考線段之所有此等量測點的數值及將藉由一角度擷取法而擷取出之位於此參考線段之所有此等量測點的數值分別正規化至一介於0及1的數值;確定分別對應至前述之各種擷取法的一調整標準;藉由將分別對應於每一前述之各種擷取法的一乘積相乘在一起的方式,分別計算出位於此參考線段之每一此等量測點的一權重參數,其中,此乘積係藉由將正規化後之由此擷取法所擷取出之此量測點的數值自乘一等於此擷取法所對應之此調整標準之次數的方式被得出;藉由計算一平均座標的方式,擷取出位於此參考線段上之此腫瘤輪廓建議點,且此平均座標係藉由將位於此參考線段上之每一量測點的座標分別乘以一相對應之權重參數,再將所得之乘積加總在一起的方式被計算出來;其中,在此移動變異值擷取法中,每一此等參考線段包含複數個局部區段,且每一此等局部區段包含複數個移動區間;每一此等局部區段係由此等量測點之一量測點、至少一位於此等量測點之此量測點之前的量測點及至少一位於此等量測點之此量測點之後的量測點構成,且每一此
等移動區間係由位於對應之局部區段內之此等量測點之一量測點及至少一位於此等量測點之此量測點之後的量測點構成;以及位於此參考線段之此等量測點的數值係由此移動變異值擷取法被擷取出,且此移動變異值擷取法係包含下列步驟:計算出位於此等局部區段內的一灰階影像梯度變異值及位於此等移動區間內的一灰階影像平均梯度變異值;計算一將此灰階影像梯度變異值除以此灰階影像平均梯度變異值而得出的比值;以及擷取一對應於此比值之最大值的量測點為此腫瘤輪廓建議點;其中,在此對比擷取法中,此輸入腫瘤輪廓的一重心點係被擷取出來,且複數個對比參考線段係被定義,每一此等對比參考線段係從此重心點延伸至相對應之此等參考線段之鄰近此重心點的一端點;以及位於此參考線段之此等量測點的數值係由此對比擷取法被擷取出,且此對比擷取法係包含下列步驟:計算出位於此等參考線段內的一灰階影像梯度值及位於此等參考線段內的一灰階影像平均梯度值;計算一存在於此灰階影像梯度值以及此灰階影像平均梯度值之間的差值;以及擷取一對應於此差值之最大值的量測點為此腫瘤輪廓建議點;其中,在此距離擷取法中,位於此參考線段之此等量測點的數值係依序由此距離擷取法被擷取出,且此距離擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第一點,或當存在此先前腫瘤輪廓建議點時,將此
先前腫瘤輪廓建議點設定為此第一點;將位於一次一參考線段之此等量測點的一量測點設定為一第二點;以及將位於此次一參考線段之此等量測點中,一使得此第二點與此第一點之間具有最小距離的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點;其中,在此灰階影像梯度的指數加權移動平均值差異擷取法中,位於此參考線段之此等量測點的數值係依序由此灰階影像梯度的指數加權移動平均值差異擷取法被擷取出,且此灰階影像梯度的指數加權移動平均值差異擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一參考清單,或當存在此先前腫瘤輪廓建議點時,將所有此先前腫瘤輪廓建議點設定為此參考清單;提供一指數加權移動平均值加權公式;確定此指數加權移動平均值加權公式之權重因子的數值,及從每一量測點或此參考清單中之腫瘤輪廓建議點所具有的灰階影像梯度值中,接收此參考清單之指數加權移動平均值的數值;將此參考清單之指數加權移動平均值的數值及位於一次一參考線段之每一此等量測點所具有的灰階影像梯度值作為此指數加權移動平均值加權公式的輸入變數;定義此指數加權移動平均值加權公式的輸出為位於此次一參考線段之每一此等量測點所具有的指數加權移動平均值的數值;以及將位於此次一參考線段之每一此等量測點中,一具有最小之一存在於此灰階影像梯度值與此指數加權移動平均值之數值之間的差值
的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點;其中,在此角度擷取法中,位於此參考線段之此等量測點的數值係依序由此角度擷取法被擷取出,且此角度擷取法係包含下列步驟:當一先前腫瘤輪廓建議點之前並未存在一腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第一點,且將位於一第二參考線段上之此等量測點的一量測點設定為一第二點,或當此先前腫瘤輪廓建議點之前存在一腫瘤輪廓建議點時,將存在於此先前腫瘤輪廓建議點之前之此腫瘤輪廓建議點設定為此第一點,且將此先前腫瘤輪廓建議點設定為此第二點;將一從此第一點朝向此第二點的向量定義為一第一向量,且將複數個分別從此第二點朝向位於一次一參考線段之每一此等量測點的向量定義為複數個第二向量;分別計算出介於此第一向量與每一此等第二向量之間之複數個夾角的餘弦值;以及將位於此次一參考線段之每一此等量測點中,一對應於形成一具有最大餘弦值之夾角之此第二向量的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
因此,藉由應用本發明之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法,醫師可迅速且精確地從一灰階影像中辨識出一腫瘤輪廓。此外,由於腫瘤輪廓可依據5種擷取法(移動變異值擷取法、對比擷取法、距離擷取法、灰階影像梯度的指
數加權移動平均值差異擷取法及角度擷取法)中的一種的計算過程被擷取出來,再形成於前述之灰階影像上,故影像處理系統計算腫瘤輪廓所需的時間便可被最小化,且計算出之腫瘤輪廓與真實腫瘤輪廓的符合程度亦可被最大化。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法中,每一此等參考線段包含複數個局部區段,且每一此等局部區段包含複數個移動區間;其中,每一此等局部區段係由此等量測點之一量測點、至少一位於此等量測點之此量測點之前的量測點及至少一位於此等量測點之此量測點之後的量測點構成。此外,每一此等移動區間係由位於對應之局部區段內之此等量測點之一量測點及至少一位於此等量測點之此量測點之後的量測點構成。
除此之外,腫瘤輪廓建議點可藉由使用一移動變異值擷取法的方式被擷取出,且此移動變異值擷取法係包含下列步驟:計算出位於此等局部區段內的一灰階影像梯度變異值及位於此等移動區間內的一灰階影像平均梯度變異值;計算一將此灰階影像梯度變異值除以此灰階影像平均梯度變異值而得出的比值;以及擷取一對應於此比值之最大值的量測點為此腫瘤輪廓建議點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法中,此輸入腫瘤輪廓的一重心點係被擷取出來,且複
數個對比參考線段係被定義。此外,每一此等對此參考線段係從此重心點延伸至相對應之此等參考線段之鄰近此重心點的一端點。
除此之外,腫瘤輪廓建議點可藉由使用一對比擷取法的方式被擷取出,且此對比擷取法係包含下列步驟:計算出位於此等參考線段內的一灰階影像梯度值及位於此等參考線段內的一灰階影像平均梯度值;計算一存在於此灰階影像梯度值以及此灰階影像平均梯度值之間的差值;以及擷取一對應於此差值之最大值的量測點為此腫瘤輪廓建議點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法中,腫瘤輪廓建議點可藉由使用一距離擷取法的方式被依序擷取出,且此距離擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第一點,或當存在此先前腫瘤輪廓建議點時,將此先前腫瘤輪廓建議點設定為此第一點;將位於一次一參考線段之此等量測點的一量測點設定為一第二點;以及將位於此次一參考線段之此等量測點中,一使得此第二點與此第一點之間具有最小距離的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法中,腫瘤輪廓建議點可藉由使用一灰階影像梯度的指
數加權移動平均值差異擷取法的方式被依序擷取出,此灰階影像梯度的指數加權移動平均值差異擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一參考清單,或當存在此先前腫瘤輪廓建議點時,將所有此先前腫瘤輪廓建議點設定為此參考清單;提供一指數加權移動平均值加權公式;確定此指數加權移動平均值加權公式之權重因子的數值,及從每一量測點或此參考清單中之腫瘤輪廓建議點所具有的灰階影像梯度值中,接收此參考清單之指數加權移動平均值的數值;將此參考清單之指數加權移動平均值的數值及位於一次一參考線段之每一此等量測點所具有的灰階影像梯度值作為此指數加權移動平均值加權公式的輸入變數;定義此指數加權移動平均值加權公式的輸出為位於此次一參考線段之每一此等量測點所具有的指數加權移動平均值的數值;以及將位於此次一參考線段之每一此等量測點中,一具有最小之一存在於此灰階影像梯度值與此指數加權移動平均值之數值之間的差值的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法中,腫瘤輪廓建議點可藉由使用一角度擷取法的方式被依序擷取出,此角度擷取法係包含下列步驟:當一先前腫瘤輪廓建議點之前並未存在一腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第
一點,且將位於一第二參考線段上之此等量測點的一量測點設定為一第二點,或當此先前腫瘤輪廓建議點之前存在一腫瘤輪廓建議點時,將存在於此先前腫瘤輪廓建議點之前之此腫瘤輪廓建議點設定為此第一點,且將此先前腫瘤輪廓建議點設定為此第二點;將一從此第一點朝向此第二點的向量定義為一第一向量,且將複數個分別從此第二點朝向位於一次一參考線段之每一此等量測點的向量定義為複數個第二向量;分別計算出介於此第一向量與每一此等第二向量之間之複數個夾角的餘弦值;以及將位於此次一參考線段之每一此等量測點中,一對應於形成一具有最大餘弦值之夾角之此第二向量的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
請同時參閱圖2、及圖3,圖2係本發明一較佳實施例之系統架構圖,圖3則為本發明一較佳實施例之腫瘤輪廓擷取示意圖。
如圖2所示,影像處理系統1包含一記憶體11、一處理器12、一顯示螢幕13、及一輸入裝置14。而記憶體11儲存有一待處理圖形影像111、及一預定區段112。其中,待處理圖形影像111係指尚未進行本發明之從一影像處理系統中擷取一腫瘤輪廓的方法之超音波影像圖,其可透過輸入裝置14輸入。又如圖3所示,其顯示有一腫瘤區塊20。而處理後之影像圖又可透過顯示螢幕13加以輸出顯示。
請參閱圖4,其係本發明第一實施例之從一影像處理系統中擷取一腫瘤輪廓之方法的流程圖。本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法,包含:步驟SA:從此灰階影像接收一輸入腫瘤輪廓;步驟SB:定義此灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中此輸入腫瘤輪廓係位於此腫瘤輪廓環形區域內,且每一此等參考線段係通過此腫瘤輪廓環形區域並包含複數個量測點;步驟SC:於每一此等參考線段上擷取出一腫瘤輪廓建議點;以及步驟SD:將此等參考線段上之此等腫瘤輪廓建議點互相連接,以得出此腫瘤輪廓。
首先,在步驟SA,輸入一輸入輪廓線2於待處理圖形影像111,且輸入輪廓線2包括有複數輸入輪廓點21。而輸入輪廓線2可由使用者或專業醫師認定腫瘤位置後以手繪方式輸入,惟僅需概略勾勒出腫瘤輪廓,無須謹慎精確地描準繪製。其中,例如輸入輪廓線2以LIi表示之,內含ni點輸入輪廓點21,i=1,2,...,n,i,n N。再者,第i條輸入輪廓線2上第j點,為第j點輸入輪廓點21,以PIij=()表示之;LIi={PIi1,PIi2,...,PIij},j=1,2,...,n,,j N。
接著,在步驟SB中,此灰階影像之一腫瘤輪廓環形區域及複數個參考線段均被定義。此外,此輸入腫瘤輪廓係位於此腫瘤輪廓環形區域內,且每一此等參考線段係通過此腫瘤輪廓環形區域並包含複數個量測點。例如,獲取輸入輪廓線2之重心點3。其中,第i個輸入輪廓線之重心點3為第i條輸入線之重心點3,意即所有PIij之重心點3,重心點3以Bi表示之,如下列式1-1。
再分別連接並延伸重心點3與每一輸入輪廓點21以形成複數軌跡點參考線4。又,分別擷取一軌跡點待測線段41於複數軌跡點參考線4上,軌跡點待測線段41涵蓋有對應之輸入輪廓點21。其中,軌跡點待測線段41係於每一軌跡點參考線4上,以輸入輪廓點21為基點,分別朝向、及遠離重心點3方向取預定區段112而決定。預定區段112來決定軌跡點待測線段41之長度,其直接影響處理的時間長短、及準確性。
換句話說,以輸入輪廓點21為基點,預定區段112為任一輸入輪廓點21周圍特定物理距離之半徑,以r表示,r N。其中,對於第i條輸入輪廓線2,連接輸入重心點3到
第j點輸入輪廓點21,可得直線;以第j點輸入輪廓點21為中心出發,周圍物理距離r(預定區段112)為半徑畫圓,此圓可與直線交於兩點:外交點OIij=()、內交點IIij=()。則第i條輸入輪廓線2之第j點輸入輪廓點21對應的第j條軌跡點待測線段41為線段,內含aij點待測點22;第j條對比參考線段42為線段。其中,aij,hij N,aij≦2r+1。接下來,在步驟SC中,分別擷取一輪廓建議點411於每一軌跡點待測線段41上。最後,將此等參考線段上之此等腫瘤輪廓建議點互相連接,以得出此腫瘤輪廓(步驟SD)。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法的步驟SC中,在每一此等參考線段上之腫瘤輪廓建議點可藉由使用一移動變異值擷取法的方式被擷取出。而且,如圖5所示,此移動變異值擷取法係包含下列步驟:計算出位於此等局部區段內的一灰階影像梯度變異值及位於此等移動區間內的一灰階影像平均梯度變異值;計算一將此灰階影像梯度變異值除以此灰階影像平均梯度變異值而得出的比值;以及擷取一對應於此比值之最大值的量測點為此腫瘤輪廓建議點。
除此之外,在前述之移動變異值擷取法中,每一此等參考線段包含複數個局部區段,且每一此等局部區段包含複數個移動區間(moving horizon)。其中,每一此等局部區段係由此等量測點之一量測點、至少一位於此等量測點之此量測點之前的量測點及至少一位於此等量測點之此量測點之後的量測點構成。此外,每一此等移動區間係由位於對應之局部區段內之此等量測點之一量測點及至少一位於此等量測點之此量測點之後的量測點構成。
在此例子中,係利用移動變異原理(Moving Variance),其意義在於觀察一區域中某一局部片段的周遭數值平均變化程度造成此局部片段對於整個區域所呈現的數值變化情形。第一實施例所採之移動變異(Moving Variance)屬於主要特徵指標,意即可直接利用演算法於軌跡點待測線段41中求得需求軌跡的建議資料點。
請一併參閱圖3至圖5,每一軌跡點待測線段41包括有複數待測點22、複數局部區段、及複數移動區間。在本實施例中,複數待測點22係指複數影像像素點。而複數局部區段係分別由複數待測點22其中之一、其至少前一待測點22、及其至少後一待測點22所構成。複數移動區間係分別由對應之複數局部區段內之複數待測點22、及其至少後一待測點22所構成。
亦即,如令p表軌跡點待測線段41,即圖上標示之,其上一點Alaak向前後線段考量的點數個數,則此含有2×p+1個影像像素點之片段稱為一局部區段,由於軌跡點
待測線段41上每一點皆會產生一局部區段,因此一軌跡點待測線段41上之待測點數與局部區段數相同。至於,移動區間則令q表局部區段上一點AIijk包含此點並向後考量的點數個數總和,因一局部區段共含2×p+1個影像像素點,故可產生2×p+1-(q-1)=2×p-q+2個區間,這些每一個皆含有q個影像像素點的區間稱為一移動區間。
然而,本發明第一實施例擷取輪廓建議點411之方法如下,首先分別計算複數局部區段之灰階影像梯度變異值、及複數移動區間之灰階影像梯度平均變異值。接著,分別計算複數局部區段之灰階影像梯度平均變異值與複數移動區間之灰階影像梯度變異值之比值。再者,擷取此比值中最大值所對應之待測點22為輪廓建議點411。
其中,如軌跡點待測線段41()上第k個局部區段之各點影像像素值為Gijk-p,Gijk-p+1,...,Gijk+p-1,Gijk+p,此局部區段賦予的灰階影像梯度變異值以RLijk表示,RLijk=varp[Gijk-p,Gijk+p],p N。因AIijk向前後線段考量的局部區段可能會超出軌跡點待測線段41範圍,故在原始之軌跡點待測線段41前後將產生延伸輔助點,藉以輔助觀察局部區段各點的灰階影像梯度變化。進一步說明,請參閱圖6,圖6係顯示本發明第一實施例之局部區段及移動區間的示意圖。實線方格為軌跡點待測線段41上各待測點22,虛線方格為延伸輔助點,紅色方框為點AIijk,紅色長框為點AIijk對應的局部區段,大括弧為局部區段內各個移動區間。如圖6所示,參數k=2,p=4,q=3,則待測線上第2個待測
點對應的局部區段共含2×4+1=9點,此局部區段內共有2×4-3+2=7個移動區間。
至於,局部區段上第g個移動區間內各點影像像素值為Gijk-p+g-1,Gijk-p+g,...,Gijk-p+g+q-1,Gijk-p+g+q-2,此移動區間賦予的灰階影像梯度變異值以RMijkg表示,RMijkg=varp[Gijk-p+g-1,Gijk-p+g+q-2]。局部區段內各移動區間灰階影像梯度平均變異值以表示,如下列式1-2所示。
再者,軌跡點待測線段41()上一點AIijk的移動變異(Moving Variance)定義為此點對應的局部區段內灰階影像梯度變異值RLijk與此局部區段內各移動區間灰階影像梯度平均變異之比值以MVijk表示,如下式1-3:
其中,MVijk值越大,則此點越可能為腫瘤輪廓建議點。若q=1,則移動變異不考慮移動區間,MVijk=RLijk。
以下將以實際圖例說明移動變異(Moving Variance)應用於本發明之作用。請一併參閱表1、及圖7。表1係一本發明第一實施例之軌跡點待測線段上各點灰階影像梯度值與移動變異值對應表,其中設定參數為p=5,q=2。其表1第一欄為一軌跡點待測線段41()上各待測點22編號k,第二欄為此待測點22之灰階影像梯度值Gijk,第三欄為各待測點22對應的MVijk值。圖7係顯示本發明第一實施例之位於一參考線段之各量測點所具之灰階影像梯度及相對應之移動變異值的線狀示意圖。其中,線段I為灰階影像梯度值;線段II表移動變異值,其主要顯示不同灰階影像梯度因為周遭變化而產生不同的移動變異值。
再請一併參閱圖8,圖8係顯示在本發明第一實施例之一從腫瘤重心點延伸至一外交點的參考線段上,灰階影像梯度之變化趨勢的剖面示意圖。其中,線段a為灰階影像梯度值;線段b表軌跡點待測線段41之平均灰階影像梯度值;線段c表對比參考線段42之平均灰階影像梯度值,其主要顯示軌跡點待測線段41平均灰階影像梯度值因受低迴音環的影響,呈現出相較對比參考線段42平均灰階影像梯度值低的結果。而圖7中圈選標記處為此軌跡點待測線段41上三處灰階影像梯度差異變化較大之處,對照移動變異值可發現圈1下的編號第10點為移動變異值最高點,其次為第11點、第8點、第17點。
再者,若考量從腫瘤重心到此軌跡點待測線段41外交點之腫瘤灰階影像梯度剖面圖(圖8),可發現在第7點到第20
點呈現有別於參考線平均灰階影像梯度值的凹槽,此凹槽對應超音波影像為低迴音環之所在。雖然圈2的灰階影像梯度變化也高,但因周圍影像的梯度值作用影響,圈2呈現的移動變異相較圈1、3為低,則利用移動變異,編號第10點為本需求軌跡點待測線中最被建議選取之點,其次為第11點、第8點、第17點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法的步驟SC中,在每一此等參考線段上之腫瘤輪廓建議點可藉由使用一對比擷取法的方式被擷取出。而且,如圖9所示,此對比擷取法係包含下列步驟:計算出位於此等參考線段內的一灰階影像梯度值及位於此等參考線段內的一灰階影像平均梯度值;計算一存在於此灰階影像梯度值以及此灰階影像平均梯度值之間的差值;以及擷取一對應於此差值之最大值的量測點為此腫瘤輪廓建議點。
除此之外,在前述之對比擷取法中,此輸入腫瘤輪廓的一重心點係被擷取出來,且複數個對比參考線段(contrast reference segment)係被定義。此外,每一此等對比參考線段係從此重心點延伸至相對應之此等參考線段之鄰近此重心點的一端點。
在此例子中,係利用對比(Contrast)之原理,其概念在於肉眼如何從一張超音波影像中辨識出一顆腫瘤的位置。從腫瘤中心出發,肉眼能夠辨別何處為腫瘤邊界的原因,除了附近組織與腫瘤相互擠壓浸潤造成海綿質發炎呈現於超音波影像的低迴音環外,從腫瘤中心到疑似邊界的灰階影像梯度與邊界附近的灰階影像梯度一定也有些許差異。
因此,對比(Contrast)指的是觀察一區域中各點對於期望區域的視覺差異程度。第二實施例所採之對比(Contrast)屬於主要特徵指標,意即可直接利用演算法於軌跡點待測線段41中求得需求軌跡的建議資料點。
請參閱圖3及圖9,每一軌跡點待測線段41包括有複數待測點22,且複數軌跡點參考線4分別包括有一對比參考線段42。其對比參考線段42係指重心點3至軌跡點待測線段41上接近重心點3之端點。然而,本發明第二實施例擷取輪廓建議點411之方法如下,首先分別計算複數待測點22之灰階影像梯度值、及對比參考線段42之平均灰階影像梯度值。接著,分別計算複數待測點22之灰階影像梯度值、及其對應軌跡點參考線4上的對比參考線段之平均灰階影像梯度值之差距值。再者,擷取差距值中最大值所對應之待測點22為輪廓建議點411。
其中,如對比參考線段42()上的平均灰階影像梯度值以表示,如下式2-1所示。
以下將以實際數據說明對比(Contrast)應用於本發明之作用。請一併參閱下方表2。表2係一本發明第二實施例之軌跡點待測線段上各點灰階影像梯度值與對比(Contrast)對應表,對比參考線段42平均灰階影像梯度值為77.4。表2第一欄為一軌跡點待測線段41()上各待測點22編號k,第二欄為此待測點22之灰階影像梯度值Gijk,第三欄為各待測點22對應的Cijk值。表2對應之對比參考線段42()平均灰階影像梯度值為77.4。
據此,由表2可得,對比值最大者為第11點,其次為第12點、第13點與第16點,對應圖7與圖7,雖然圈2之第5點處呈現最高之灰階影像梯度值,圈2處灰階影像梯度變化也高,但因圈2之灰階影像梯度值較接近參考線的平均灰階影像梯度,故其效果不如紅圈1之第11點與圈3之第16點。利用對比,編號第11點為本軌跡點待測線段41中最被建議選取之點,其次為第12點、第13點、第16點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法的步驟SC中,在每一此等參考線段上之腫瘤輪廓建議點可藉由使用一距離擷取法的方式被依序擷取出。而且,如圖10所示,此距離擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第一點,或當存在此先前腫瘤輪廓建議點時,將此先前腫瘤輪廓建議點設定為此第一點;將位於一次一參考線段之此等量測點的一量測點設定為一第二點;以及將位於此次一參考線段之此等量測點中,一使得此第二點與此第一點之間具有最小距離的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
在此例子中,係利用距離(Distance)之原理,其概念在於考慮兩條軌跡點待測線段41所選取之建議點距離。在上一條軌跡點待測線段41選取出建議點後,考量此點與下條軌跡點待測線段41上各點之距離。其物理意義為下一個建議點與上點建議點之距離應比起其他待測點與上點建議點的距離來的接近。第三實施例所採之距離(Distance)屬於附屬特徵指標,意即需先得到第一點(上一點)建議點,方可利用演算法於下一軌跡點待測線段41中求得需求軌跡的建議資料點。
請一併參閱圖3及圖10,依據第一實施例之移動變異(Moving Variance)方法擷取至少一初始輪廓建議點411。接著,以至少一初始輪廓建議點411為參考基點,逐一擷取相鄰之軌跡點參考線4上直線距離最接近的點為接續輪廓建議點。並依上述相同方式依序求出其他軌跡點待測線段之輪廓建議點。
其中,如一軌跡點待測線段41()上一點AIijk的距離(Distance)定義為此待測點22與上一點初始輪廓建議點411之物理距離,以Dijk表示,如下列式3-1所示。
以下將以實際數據說明距離(Distance)應用於本發明之作用。請一併參閱下方表3。表3係一本發明第三實施例之軌跡點待測線段上各點圖像座標值與距離(Distance)值對應表,前一點建議點之影像座標值為(237,193)。表3第一欄為一軌跡點待測線段上各待測點編號k,第二、三欄為該待測點22之影像座標值(),第四欄為各待測點22對應的Dij+1k值。表3對應之建議點為參考線利用移動變異(Moving Variance)得出的初始輪廓建議點(237,193)。
由表3可得,距離值最小者為第10點、第11點,其次為第12點、第9點與第13點。距離值之所以為附屬特徵指標的另一原因,是因為它嚴重受到上一建議點的結果而影響下一軌跡點待測線段中各點對應的距離值與下一選取點的結果。例如利用MVijk值與Cijk值,在相鄰兩軌跡點待測線段可能會得到距離位置迥異的兩建議點,但相鄰兩軌跡點待測線段會因為Dijk值的影響而選出位置鄰近的兩個建議點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的
方法的步驟SC中,在每一此等參考線段上之腫瘤輪廓建議點可藉由使用一灰階影像梯度的指數加權移動平均值差異擷取法的方式被依序擷取出。而且,如圖11所示,此灰階影像梯度的指數加權移動平均值差異擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一參考清單,或當存在此先前腫瘤輪廓建議點時,將所有此先前腫瘤輪廓建議點設定為此參考清單;提供一指數加權移動平均值加權公式;確定此指數加權移動平均值加權公式之權重因子的數值,及從每一量測點或此參考清單中之腫瘤輪廓建議點所具有的灰階影像梯度值中,接收此參考清單之指數加權移動平均值的數值;將此參考清單之指數加權移動平均值的數值及位於一次一參考線段之每一此等量測點所具有的灰階影像梯度值作為此指數加權移動平均值加權公式的輸入變數;定義此指數加權移動平均值加權公式的輸出為位於此次一參考線段之每一此等量測點所具有的指數加權移動平均值的數值;以及將位於此次一參考線段之每一此等量測點中,一具有最小之一存在於此灰階影像梯度值與此指數加權移動平均值之數值之間的差值的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
在此例子中,係利用灰階影像梯度的指數加權移動平均值差異(Gradient EWMA Difference)之原理,其中EWMA(Exponentially Weighted Moving Average)為具記憶性之移動平均統計量,視需求者對於歷史資料的重視程度給予較輕或較重之權重,而呈現出越老舊的歷史資料其重視程度會越輕或越重。其概念在於考濾相鄰兩點輪廓建議點之灰階影像梯度經指數加權移動平均調整後的差異程度。物理意義為下一個輪廓建議點與上點輪廓建議點的灰階影像梯度值權重處理對照上點輪廓建議點的灰階影像梯度,兩者差異應比起其他待選點的計算結果來的接近。灰階影像梯度的指數加權移動平均值差異(Gradient EWMA Difference)屬於附屬特徵指標,意即需先得到第一點(上一點)輪廓建議點,方可利用演算法於下一軌跡點待測線段41中求得需求軌跡的建議資料點。
請參閱圖3及圖11,每一軌跡點待測線段41包括有複數待測點22。然而,本發明第四實施例擷取輪廓建議點411之方法如下,依據第一實施例之移動變異(Moving Variance)方法擷取至少一初始輪廓建議點411,即圖11中步驟E4-1。再分別計算複數待測點22之灰階影像梯度值、及至少一初始輪廓建議點411之指數加權移動平均值,即圖11中步驟E4-2。接著,分別計算複數待測點22之灰階影像梯度值、及至少一初始輪廓建議點411之指數加權移動平均值之差距值,即圖11中步驟E4-3。再者,擷取差距值中最小值所對應之待測點22為輪廓建議點411,即圖11中步驟E4-4。並
依上述相同方式依序求出其他軌跡點待測線段之輪廓建議點。
其中,EWMA指數加權移動平均值如軌跡點待測線段41()上一點AIijk的EWMA值定義為此待測點灰階影像梯度值與上一點軌跡建議點EWMA值的權重內插值,以Zijk表示。已完成軌跡建議點選取之軌跡點待測線段其EWMA值以Zij’表示,如下列式4-1所示。
Zijk=λ Gijk+(1-λ)Zij’-1,0<λ≦1............(式4-1);因第1條軌跡點待測線段上之待測點無上一點可供連結計算,故Zi1k=Zi1=Gi1。以下列數學式的推導觀察EWMA的權重調整造成對歷史資料的重視程度。
其中,λ值越高,則代表輸出資料中,越近的資料將涵蓋越多的成分;λ值越低,則代表輸出資料中,新舊的歷史資料涵蓋程度將越接近。舉例而言,設j=j’=4,若λ=0.9,則Zi4k=0.9Gi4k+0.09Gi3+0.009Gi2+0.001Gi1,Zi4k受Gi4k影響最大,若λ=0.1,則Zi4k=0.1Gi4k+0.09Gi3+0.081Gi2+0.729Gi1,Gi2、Gi3、Gi4k對Zi4k的影響程度彼此接近。
另外,灰階影像梯度指數加權移動平均值差異(Gradient EWMA Difference)為一軌跡點待測線段41()上一點AIijk的Gradient EWMA Difference值,定義為此待測點灰階影像梯度值與此點之EWMA值Zijk之差距,以Eijk表示之,Eijk=|Gijk-Zijk|。Eijk越小,此點越可能為輪廓建議點。因第1條軌跡點待測線段上之待測點無上一點可供連結計算,故j≧2。
以下將以實際數據說明灰階影像梯度的指數加權移動平均值差異(Gradient EWMA Difference)應用於本發明之作用。請一併參閱下方表4,表4係一本發明第四實施例之一軌跡點待測線段上各點圖像座標值與灰階影像梯度的指數加權移動平均值差異(Gradient EWMA Difference)值對應表,前一點初始輪廓建議點411之EWMA值為64。表4第一欄為一軌跡點待測線段上各待測點編號k,第二欄為此待測點之灰階影像梯度值Gij+1k,第三欄為各待測點對應的Eij+1k值,表4對應之建議點Zij值為參考線利用移動變異(Moving Variance)得出的建議點EWMA值Zij’。由表4可得,灰階影像梯度指數加權移動平均值差異值最小者為第15點、第17點、第18點,其次為第16點、第19點。
在本發明第一實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法的步驟SC中,在每一此等參考線段上之腫瘤輪廓建議點可藉由使用一角度擷取法的方式被依序擷取出。而且,如圖12所示,此角度擷取法係包含下列步驟:當一先前腫瘤輪廓建議點之前並未存在一腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第一點,且將位於一第二參考線段上之此等量測點的一量測點設定為一第二點,或當此先前腫瘤輪廓建議點之前存在一腫瘤輪廓建議點時,將存在於此先前腫瘤輪廓建議點之前之此腫瘤輪廓建議點設定為此第一點,且將此先前腫瘤輪廓建議點設定為此第二點;將一從此第一點朝向此第二點的向量定義為一第一向量,且將複數個分別從此第二點朝向位於一次一參考線段之每一此等量測點的向量定義為複數個第二向量;分別計算出介於此第一向量與每一此等第二向量之間之複數個夾角的餘弦值;以及將位於此次一參考線段之每一此等量測點中,一對應於形成一具有最大餘弦值之夾角之此第二向量的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
在此例子中,係利用角度(Angle)之原理,其概念在於考慮相鄰三點輪廓建議點之相對位置。因腫瘤輪廓應屬連續弧形軌跡,如一軌跡點待測線段41()上一點AIijk的距離(Distance)定義為相鄰三點輪廓建議點不應產生過大的位
置偏差與角度偏差。若以向量表示,則上上點輪廓建議點到上點輪廓建議點之向量,與上點輪廓建議點到本點輪廓建議點之向量的向量夾角餘弦值,應比上上點輪廓建議點到上點輪廓建議點之向量與上點輪廓建議點到其他待測點之向量的向量夾角餘弦值來的小。因夾角越小,cosθ值將越大,且第一、第四象限之cosθ值皆為正值,故可表現出腫瘤輪廓需求之連續性與相鄰兩輪廓建議點之些微曲度。角度(Angle)屬於附屬特徵指標,意即需先得到第一、二點(前兩點)建議點,方可利用演算法於下一軌跡點待測線段中求得需求軌跡的建議資料點。
請參閱圖3及圖12,每一軌跡點待測線段41更包括有複數待測點22。然而,本發明第五實施例擷取輪廓建議點411之方法如下,依據第一實施例之移動變異(Moving Variance)方法分別擷取一第一輪廓建議點、及一第二輪廓建議點於相鄰二個軌跡點參考線4之軌跡點待測線段41上。再計算第一輪廓建議點與第二輪廓建議點之向量值為一第一向量值,以及分別計算第二輪廓建議點與其另一相鄰之軌跡點待測線段41上複數待測點22之向量值為複數第二向量值。接著,分別計算第一向量值與複數第二向量值之向量夾角餘弦值。之後,擷取向量夾角餘弦值中之最大值所對應於另一相鄰之軌跡點待測線段41上之待測點22為第三輪廓建議點411。並依上述相同方式依序求出其他軌跡點待測線段之輪廓建議點。
其中,如一軌跡點待測線段41()上一點AIijk的角度(Angle)值,定義為向量與向量之向量夾角餘弦值,以Aijk表示,如下列式5-1所示。
以下將以實際數據說明角度(Angle)應用於本發明之作用。請一併參閱下方表5。表5係一軌跡點待測線段上各點圖像座標值與角度(Angle)值對應表,第PSij,輪廓建議點之影像座標值為(237,193),第PSij’+1建議點之影像座標值為(236,193)。表5第一欄為一軌跡點待測線段上各待測點編號k,第二、三欄為此待測點之影像座標值(),第四欄為各待測點對應的Aij+2k值,表5對應之建議點PSij’為參考線利用移動變異(Moving Variance)得出的建議點(237,193),建議點PSij’+1為參考線利用移動變異(Moving Variance)得出的建議點(236,193)。
由表5可得,角度值最大者為第4點、第5點、第6點,其次為第1點、第2點與第3點。角度值之所以為附屬特徵指標的另一原因,乃影像座標為離散整數資料點。因整數座
標一點之相鄰座標點共八點(八方位),而非物理座標系上一點周圍可有360°之方位角(方位點),因此若考量的待測線間彼此距離太近,則方位角將受距離影響而受侷限,所產出的向量夾角可能因此失真。
請參閱圖13,其係本發明第二實施例之從一影像處理系統中擷取一腫瘤輪廓之方法的流程圖。本發明第二實施例之從一包含一儲存有一灰階影像的記憶體及一處理器之影像處理系統中擷取一腫瘤輪廓的方法,包含:步驟SA:從此灰階影像接收一輸入腫瘤輪廓;步驟SB:定義此灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中此輸入腫瘤輪廓係位於此腫瘤輪廓環形區域內,且每一此等參考線段係通過此腫瘤輪廓環形區域並包含複數個量測點;步驟SC:於每一此等參考線段上擷取出一調整腫瘤輪廓建議點;以及步驟SD:將此等參考線段上之此等調整腫瘤輪廓建議點互相連接,以得出此調整腫瘤輪廓。
此外,在步驟SC中,於每一此等參考線段上之調整腫瘤輪廓建議點係藉由下列步驟被擷取出:
步驟C1:將藉由一移動變異值擷取法而擷取出之位於此參考線段之所有此等量測點的數值、將藉由一對比擷取法而擷取出之位於此參考線段之所有此等量測點的數值、將藉由一距離擷取法而擷取出之位於此參考線段之所有此等量測點的數值、將藉由一灰階影像梯度的指數加權移動平均值差異擷取法而擷取出之位於此參考線段之所有此等量測點的數值及將藉由一角度擷取法而擷取出之位於此參考線段之所有此等量測點的數值分別正規化至一介於0及1的數值;步驟C2:確定分別對應至前述之各種擷取法的一調整標準(modulating criteria);藉由將分別對應於每一前述之各種擷取法的一乘積(product)相乘在一起的方式,分別計算出位於此參考線段之每一此等量測點的一權重參數(weighting parameter),其中,此乘積係藉由將正規化後之由此擷取法所擷取出之此量測點的數值自乘一等於此擷取法所對應之此調整標準之次數的方式被得出;以及步驟C3:藉由計算一平均座標的方式,擷取出位於此參考線段上之此腫瘤輪廓建議點,且此平均座標係藉由將位於此參考線段上之每一量測點的座標分別乘以一相對應之權重參數,再將所得之乘積加總在一起的方式被計算出來。
然而,在應用於步驟C1之移動變異值擷取法中,每一此等參考線段包含複數個局部區段,且每一此等局部區段包含複數個移動區間;每一此等局部區段係由此等量測點
之一量測點、至少一位於此等量測點之此量測點之前的量測點及至少一位於此等量測點之此量測點之後的量測點構成,且每一此等移動區間係由位於對應之局部區段內之此等量測點之一量測點及至少一位於此等量測點之此量測點之後的量測點構成;以及位於此參考線段之此等量測點的數值係由此移動變異值擷取法被擷取出,且此移動變異值擷取法係包含下列步驟:計算出位於此等局部區段內的一灰階影像梯度變異值及位於此等移動區間內的一灰階影像平均梯度變異值;計算一將此灰階影像梯度變異值除以此灰階影像平均梯度變異值而得出的比值;以及擷取一對應於此比值之最大值的量測點為此腫瘤輪廓建議點。
另一方面,在應用於步驟C1之對比擷取法中,此輸入腫瘤輪廓的一重心點係被擷取出來,且複數個對比參考線段係被定義,每一此等對比參考線段係從此重心點延伸至相對應之此等參考線段之鄰近此重心點的一端點;以及位於此參考線段之此等量測點的數值係由此對比擷取法被擷取出,且此對比擷取法係包含下列步驟:計算出位於此等參考線段內的一灰階影像梯度值及位於此等參考線段內的一灰階影像平均梯度值;計算一存在於此灰階影像梯度值以及此灰階影像平均梯度值之間的差值;以及擷取一對應於此差值之最大值的量測點為此腫瘤輪廓建議點。
在應用於步驟C1之距離擷取法中,位於此參考線段之此等量測點的數值係依序由此距離擷取法被擷取出,且此距離擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓
建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第一點,或當存在此先前腫瘤輪廓建議點時,將此先前腫瘤輪廓建議點設定為此第一點;將位於一次一參考線段之此等量測點的一量測點設定為一第二點;以及將位於此次一參考線段之此等量測點中,一使得此第二點與此第一點之間具有最小距離的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
在應用於步驟C1之灰階影像梯度的指數加權移動平均值差異擷取法中,位於此參考線段之此等量測點的數值係依序由此灰階影像梯度的指數加權移動平均值差異擷取法被擷取出,且此灰階影像梯度的指數加權移動平均值差異擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之該等量測點的一量測點設定為一參考清單,或當存在該先前腫瘤輪廓建議點時,將所有該先前腫瘤輪廓建議點設定為該參考清單;提供一指數加權移動平均值加權公式;確定該指數加權移動平均值加權公式之權重因子的數值,及從每一量測點或該參考清單中之腫瘤輪廓建議點所具有的灰階影像梯度值中,接收該參考清單之指數加權移動平均值的數值;將該參考清單之指數加權移動平均值的數值及位於一次一參考線段之每一該等量測點所具有的灰階影像梯度值作為該指數加權移動平均值加權公式的輸入變數;定義該指數加權移動平均值加權公式的輸入的輸出為位於該次一參考線段之每一該等量測點所具有的指數加權移動平均值的數值;以及將
位於該次一參考線段之每一該等量測點中,一具有最小之一存在於該灰階影像梯度值與該指數加權移動平均值之數值之間的差值的量測點擷取為位於該次一參考線段之該腫瘤輪廓建議點
最後,在應用於步驟C1之此角度擷取法中,位於此參考線段之此等量測點的數值係依序由此角度擷取法被擷取出,且此角度擷取法係包含下列步驟:當一先前腫瘤輪廓建議點之前並未存在一腫瘤輪廓建議點時,將位於一第一參考線段上之此等量測點的一量測點設定為一第一點,且將位於一第二參考線段上之此等量測點的一量測點設定為一第二點,或當此先前腫瘤輪廓建議點之前存在一腫瘤輪廓建議點時,將存在於此先前腫瘤輪廓建議點之前之此腫瘤輪廓建議點設定為此第一點,且將此先前腫瘤輪廓建議點設定為此第二點;將一從此第一點朝向此第二點的向量定義為一第一向量,且將複數個分別從此第二點朝向位於一次一參考線段之每一此等量測點的向量定義為複數個第二向量;分別計算出介於此第一向量與每一此等第二向量之間之複數個夾角的餘弦值;以及將位於此次一參考線段之每一此等量測點中,一對應於形成一具有最大餘弦值之夾角之此第二向量的量測點擷取為位於此次一參考線段之此腫瘤輪廓建議點。
由於前述之5種擷取法均已經詳細敘述於前,故在不便不贅述。
此外,本發明之從一影像處理系統中擷取一腫瘤輪廓的方法可以電腦語言寫成以便執行,而此寫成之軟體程式可以儲存於任何微處理單元可以辨識、解讀之紀錄媒體,或包含有此紀錄媒體之物品及裝置。其不限為任何形式,此物品可為硬碟、軟碟、光碟、ZIP、MO、IC晶片、隨機存取記憶體(RAM),或任何熟悉此項技藝者所可使用之包含有此紀錄媒體之物品。由於本發明之腫瘤輪廓擷取及其平滑化處理方法已揭露完整如前,任何熟悉電腦語言者閱讀本發明說明書即知如何撰寫軟體程式,故有關軟體程式細節部分不在此贅述。
上述實施例僅係為了方便說明而舉例而已,本發明所主張之權利範圍自應以申請專利範圍所述為準,而非僅限於上述實施例。
1‧‧‧影像處理系統
11‧‧‧記憶體
12‧‧‧處理器
111‧‧‧待處理圖形影像
112,r‧‧‧預定區段
13‧‧‧顯示螢幕
14‧‧‧輸入裝置
20‧‧‧腫瘤區塊
2,LIi‧‧‧輸入輪廓線
21,PIij‧‧‧輸入輪廓點
22‧‧‧待測點
3,Bi‧‧‧重心點
4‧‧‧軌跡點參考線
41‧‧‧軌跡點待測線段
411‧‧‧輪廓建議點
42‧‧‧對比參考線段
5‧‧‧輪廓建議線
OIij‧‧‧外交點
IIij‧‧‧內交點
圖1係習知Snake演算法用於飛機圖形影像之飛機輪廓擷取示意圖。
圖2係本發明一較佳實施例之系統架構圖。
圖3係本發明一較佳實施例之腫瘤輪廓擷取示意圖。
圖4係本發明第一實施例之從一影像處理系統中擷取一腫瘤輪廓之方法的流程圖。
圖5係一顯示用於擷取一腫瘤輪廓建議點之移動變異值擷取法的流程圖。
圖6係顯示本發明第一實施例之局部區段及移動區間的示意圖。
圖7係顯示本發明第一實施例之位於一參考線段之各量測點所具之灰階影像梯度及相對應之移動變異值的線狀示意圖。
圖8係顯示在本發明第一實施例之一從腫瘤重心點延伸至一外交點的參考線段上,灰階影像梯度之變化趨勢的剖面示意圖。
圖9係一顯示用於擷取一腫瘤輪廓建議點之對比擷取法的流程圖。
圖10係一顯示用於擷取一腫瘤輪廓建議點之距離擷取法的流程圖。
圖11係一顯示用於擷取一腫瘤輪廓建議點之灰階影像梯度的指數加權移動平均值差異擷取法的流程圖。
圖12係一顯示用於擷取一腫瘤輪廓建議點之角度擷取法的流程圖。
圖13係本發明第二實施例之從一影像處理系統中擷取一腫瘤輪廓之方法的流程圖。
Claims (6)
- 一種從一影像處理系統中擷取一腫瘤輪廓的方法,完成該方法的該影像處理系統包含一儲存有一灰階影像的記憶體、一顯示螢幕、一輸入裝置及一處理器,係包括:從該灰階影像接收一輸入腫瘤輪廓;定義該灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中該輸入腫瘤輪廓係位於該腫瘤輪廓環形區域內,且每一該等參考線段係通過該腫瘤輪廓環形區域並包含複數個量測點;於每一該等參考線段上擷取出一腫瘤輪廓建議點;以及將該等參考線段上之該等腫瘤輪廓建議點互相連接,以得出該腫瘤輪廓;其中每一該等參考線段包含複數個局部區段,且每一該等局部區段包含複數個移動區間;其中,每一該等局部區段係由該等量測點之一量測點、至少一位於該等量測點之該量測點之前的量測點及至少一位於該等量測點之該量測點之後的量測點構成,且每一該等移動區間係由位於對應之局部區段內之該等量測點之一量測點及至少一位於該等量測點之該量測點之後的量測點構成;以及 其中,該腫瘤輪廓建議點係藉由使用一移動變異值擷取法的方式被擷取出,且該移動變異值擷取法係包含下列步驟:計算出位於該等局部區段內的一灰階影像梯度變異值及位於該等移動區間內的一灰階影像平均梯度變異值;計算一將該灰階影像梯度變異值除以該灰階影像平均梯度變異值而得出的比值;以及擷取一對應於該比值之最大值的量測點為該腫瘤輪廓建議點。
- 一種從一影像處理系統中擷取一腫瘤輪廓的方法,完成該方法的該影像處理系統包含一儲存有一灰階影像的記憶體、一顯示螢幕、一輸入裝置及一處理器,係包括:從該灰階影像接收一輸入腫瘤輪廓;定義該灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中該輸入腫瘤輪廓係位於該腫瘤輪廓環形區域內,且每一該等參考線段係通過該腫瘤輪廓環形區域並包含複數個量測點;於每一該等參考線段上擷取出一調整腫瘤輪廓建議點;以及將該等參考線段上之該等調整腫瘤輪廓建議點互相連接,以得出該調整腫瘤輪廓;其中,位於每一該等參考線段上之該等調整腫瘤輪廓建議點係藉由下列步驟而得出: 將藉由一移動變異值擷取法而擷取出之位於該參考線段之所有該等量測點的數值、將藉由一對比擷取法而擷取出之位於該參考線段之所有該等量測點的數值、將藉由一距離擷取法而擷取出之位於該參考線段之所有該等量測點的數值、將藉由一灰階影像梯度的指數加權移動平均值差異擷取法而擷取出之位於該參考線段之所有該等量測點的數值及將藉由一角度擷取法而擷取出之位於該參考線段之所有該等量測點的數值分別正規化至一介於0及1的數值;確定分別對應至前述之各種擷取法的一調整標準;藉由將分別對應於每一前述之各種擷取法的一乘積相乘在一起的方式,分別計算出位於該參考線段之每一該等量測點的一權重參數,其中,該乘積係藉由將正規化後之由該擷取法所擷取出之該量測點的數值自乘一等於該擷取法所對應之該調整標準之次數的方式被得出;藉由計算一平均座標的方式,擷取出位於該參考線段上之該腫瘤輪廓建議點,且該平均座標係藉由將位於該參考線段上之每一量測點的座標分別乘以一相對應之權重參數,再將所得之乘積加總在一起的方式被計算出來;其中,在該移動變異值擷取法中,每一該等參考線段包含複數個局部區段,且每一該等局部區段包含複數個移動區間;每一該等局部區段係由該等量測點之一量測點、至少一位於該等量測點之該量測點之前的量測點及至少一位於該等量測點之該量測點之後的量測點構成,且每一該等移動區間係由位於對應之局部區段內之該等量測點之一 量測點及至少一位於該等量測點之該量測點之後的量測點構成;以及位於該參考線段之該等量測點的數值係由該移動變異值擷取法被擷取出,且該移動變異值擷取法係包含下列步驟:計算出位於該等局部區段內的一灰階影像梯度變異值及位於該等移動區間內的一灰階影像平均梯度變異值;計算一將該灰階影像梯度變異值除以該灰階影像平均梯度變異值而得出的比值;以及擷取一對應於該比值之最大值的量測點為該腫瘤輪廓建議點;其中,在該對比擷取法中,該輸入腫瘤輪廓的一重心點係被擷取出來,且複數個對比參考線段係被定義,每一該等對比參考線段係從該重心點延伸至相對應之該等參考線段之鄰近該重心點的一端點;以及位於該參考線段之該等量測點的數值係由該對比擷取法被擷取出,且該對比擷取法係包含下列步驟:計算出位於該等參考線段內的一灰階影像梯度值及位於該等參考線段內的一灰階影像平均梯度值;計算一存在於該灰階影像梯度值以及該灰階影像平均梯度值之間的差值;以及擷取一對應於該差值之最大值的量測點為該腫瘤輪廓建議點; 其中,在該距離擷取法中,位於該參考線段之該等量測點的數值係依序由該距離擷取法被擷取出,且該距離擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之該等量測點的一量測點設定為一第一點,或當存在該先前腫瘤輪廓建議點時,將該先前腫瘤輪廓建議點設定為該第一點;將位於一次一參考線段之該等量測點的一量測點設定為一第二點;以及將位於該次一參考線段之該等量測點中,一使得該第二點與該第一點之間具有最小距離的量測點擷取為位於該次一參考線段之該腫瘤輪廓建議點;其中,在該灰階影像梯度的指數加權移動平均值差異擷取法中,位於該參考線段之該等量測點的數值係依序由該灰階影像梯度的指數加權移動平均值差異擷取法被擷取出,且該灰階影像梯度的指數加權移動平均值差異擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之該等量測點的一量測點設定為一參考清單,或當存在該先前腫瘤輪廓建議點時,將所有該先前腫瘤輪廓建議點設定為該參考清單;提供一指數加權移動平均值加權公式;確定該指數加權移動平均值加權公式之權重因子的數值,及從每一量測點或該參考清單中之腫瘤輪廓 建議點所具有的灰階影像梯度值中,接收該參考清單之指數加權移動平均值的數值;將該參考清單之指數加權移動平均值的數值及位於一次一參考線段之每一該等量測點所具有的灰階影像梯度值作為該指數加權移動平均值加權公式的輸入變數;定義該指數加權移動平均值加權公式的輸出為位於該次一參考線段之每一該等量測點所具有的指數加權移動平均值的數值;以及將位於該次一參考線段之每一該等量測點中,一具有最小之一存在於該灰階影像梯度值與該指數加權移動平均值之數值之間的差值的量測點擷取為位於該次一參考線段之該腫瘤輪廓建議點;其中,在該角度擷取法中,位於該參考線段之該等量測點的數值係依序由該角度擷取法被擷取出,且該角度擷取法係包含下列步驟:當一先前腫瘤輪廓建議點之前並未存在一腫瘤輪廓建議點時,將位於一第一參考線段上之該等量測點的一量測點設定為一第一點,且將位於一第二參考線段上之該等量測點的一量測點設定為一第二點,或當該先前腫瘤輪廓建議點之前存在一腫瘤輪廓建議點時,將存在於該先前腫瘤輪廓建議點之前之該腫瘤輪廓建議點設定為該第一點,且將該先前腫瘤輪廓建議點設定為該第二點; 將一從該第一點朝向該第二點的向量定義為一第一向量,且將複數個分別從該第二點朝向位於一次一參考線段之每一該等量測點的向量定義為複數個第二向量;分別計算出介於該第一向量與每一該等第二向量之間之複數個夾角的餘弦值;以及將位於該次一參考線段之每一該等量測點中,一對應於形成一具有最大餘弦值之夾角之該第二向量的量測點擷取為位於該次一參考線段之該腫瘤輪廓建議點。
- 一種從一影像處理系統中擷取一腫瘤輪廓的方法,完成該方法的該影像處理系統包含一儲存有一灰階影像的記憶體、一顯示螢幕、一輸入裝置及一處理器,係包括:從該灰階影像接收一輸入腫瘤輪廓;定義該灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中該輸入腫瘤輪廓係位於該腫瘤輪廓環形區域內,且每一該等參考線段係通過該腫瘤輪廓環形區域並包含複數個量測點;於每一該等參考線段上擷取出一腫瘤輪廓建議點;以及將該等參考線段上之該等腫瘤輪廓建議點互相連接,以得出該腫瘤輪廓; 其中該輸入腫瘤輪廓的一重心點係被擷取出來,且複數個對比參考線段係被定義,每一該等對比參考線段係從該重心點延伸至相對應之該等參考線段之鄰近該重心點的一端點,以及其中,該腫瘤輪廓建議點係藉由使用一對比擷取法的方式被擷取出,且該對比擷取法係包含下列步驟:計算出位於該等參考線段內的一灰階影像梯度值及位於該等參考線段內的一灰階影像平均梯度值;計算一存在於該灰階影像梯度值以及該灰階影像平均梯度值之間的差值;以及擷取一對應於該差值之最大值的量測點為該腫瘤輪廓建議點。
- 一種從一影像處理系統中擷取一腫瘤輪廓的方法,完成該方法的該影像處理系統包含一儲存有一灰階影像的記憶體、一顯示螢幕、一輸入裝置及一處理器,係包括:從該灰階影像接收一輸入腫瘤輪廓;定義該灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中該輸入腫瘤輪廓係位於該腫瘤輪廓環形區域內,且每一該等參考線段係通過該腫瘤輪廓環形區域並包含複數個量測點;於每一該等參考線段上擷取出一腫瘤輪廓建議點;以及 將該等參考線段上之該等腫瘤輪廓建議點互相連接,以得出該腫瘤輪廓;其中該腫瘤輪廓建議點係藉由使用一距離擷取法的方式被依序擷取出,且該距離擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之該等量測點的一量測點設定為一第一點,或當存在該先前腫瘤輪廓建議點時,將該先前腫瘤輪廓建議點設定為該第一點;將位於一次一參考線段之該等量測點的一量測點設定為一第二點;以及將位於該次一參考線段之該等量測點中,一使得該第二點與該第一點之間具有最小距離的量測點擷取為位於該次一參考線段之該腫瘤輪廓建議點。
- 一種從一影像處理系統中擷取一腫瘤輪廓的方法,完成該方法的該影像處理系統包含一儲存有一灰階影像的記憶體、一顯示螢幕、一輸入裝置及一處理器,係包括:從該灰階影像接收一輸入腫瘤輪廓;定義該灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中該輸入腫瘤輪廓係位於該腫瘤輪廓環形區域內,且每一該等參考線段係通過該腫瘤輪廓環形區域並包含複數個量測點;於每一該等參考線段上擷取出一腫瘤輪廓建議點;以及 將該等參考線段上之該等腫瘤輪廓建議點互相連接,以得出該腫瘤輪廓;其中該腫瘤輪廓建議點係藉由使用一灰階影像梯度的指數加權移動平均值差異擷取法的方式被依序擷取出,且該灰階影像梯度的指數加權移動平均值差異擷取法係包含下列步驟:當並未存在一先前腫瘤輪廓建議點時,將位於一第一參考線段上之該等量測點的一量測點設定為一參考清單,或當存在該先前腫瘤輪廓建議點時,將所有該先前腫瘤輪廓建議點設定為該參考清單;提供一指數加權移動平均值加權公式;確定該指數加權移動平均值加權公式之權重因子的數值,及從每一量測點或該參考清單中之腫瘤輪廓建議點所具有的灰階影像梯度值中,接收該參考清單之指數加權移動平均值的數值;將該參考清單之指數加權移動平均值的數值及位於一次一參考線段之每一該等量測點所具有的灰階影像梯度值作為該指數加權移動平均值加權公式的輸入變數;定義該指數加權移動平均值加權公式的輸出為位於該次一參考線段之每一該等量測點所具有的指數加權移動平均值的數值;以及將位於該次一參考線段之每一該等量測點中,一具有最小之一存在於該灰階影像梯度值與該指數加權移動平均 值之數值之間的差值的量測點擷取為位於該次一參考線段之該腫瘤輪廓建議點。
- 一種從一影像處理系統中擷取一腫瘤輪廓的方法,完成該方法的該影像處理系統包含一儲存有一灰階影像的記憶體、一顯示螢幕、一輸入裝置及一處理器,係包括:從該灰階影像接收一輸入腫瘤輪廓;定義該灰階影像之一腫瘤輪廓環形區域及複數個參考線段,其中該輸入腫瘤輪廓係位於該腫瘤輪廓環形區域內,且每一該等參考線段係通過該腫瘤輪廓環形區域並包含複數個量測點;於每一該等參考線段上擷取出一腫瘤輪廓建議點;以及將該等參考線段上之該等腫瘤輪廓建議點互相連接,以得出該腫瘤輪廓;其中該腫瘤輪廓建議點係藉由使用一角度擷取法的方式被依序擷取出,且該角度擷取法係包含下列步驟:當一先前腫瘤輪廓建議點之前並未存在一腫瘤輪廓建議點時,將位於一第一參考線段上之該等量測點的一量測點設定為一第一點,且將位於一第二參考線段上之該等量測點的一量測點設定為一第二點,或當該先前腫瘤輪廓建議點之前存在一腫瘤輪廓建議點時,將存在於該先前腫瘤輪廓建議點之前之該腫瘤輪廓建議點設定為該第一點,且將該先前腫瘤輪廓建議點設定為該第二點; 將一從該第一點朝向該第二點的向量定義為一第一向量,且將複數個分別從該第二點朝向位於一次一參考線段之每一該等量測點的向量定義為複數個第二向量;分別計算出介於該第一向量與每一該等第二向量之間之複數個夾角的餘弦值;以及將位於該次一參考線段之每一該等量測點中,一對應於形成一具有最大餘弦值之夾角之該第二向量的量測點擷取為位於該次一參考線段之該腫瘤輪廓建議點。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW99101929A TWI428781B (zh) | 2010-01-25 | 2010-01-25 | 從一影像處理系統中擷取一腫瘤輪廓的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW99101929A TWI428781B (zh) | 2010-01-25 | 2010-01-25 | 從一影像處理系統中擷取一腫瘤輪廓的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201126361A TW201126361A (en) | 2011-08-01 |
TWI428781B true TWI428781B (zh) | 2014-03-01 |
Family
ID=45024497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW99101929A TWI428781B (zh) | 2010-01-25 | 2010-01-25 | 從一影像處理系統中擷取一腫瘤輪廓的方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI428781B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI632486B (zh) * | 2016-12-29 | 2018-08-11 | 林伯剛 | 視覺形變偵測記錄方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8781202B2 (en) * | 2012-07-26 | 2014-07-15 | International Business Machines Corporation | Tumor classification based on an analysis of a related ultrasonic attenuation map |
TWI514328B (zh) * | 2013-09-12 | 2015-12-21 | Univ Nat Taiwan | 影像處理方法及影像處理系統 |
TWI715230B (zh) * | 2019-10-01 | 2021-01-01 | 財團法人資訊工業策進會 | 缺值補償方法、缺值補償系統及非暫態電腦可讀取媒體 |
-
2010
- 2010-01-25 TW TW99101929A patent/TWI428781B/zh not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI632486B (zh) * | 2016-12-29 | 2018-08-11 | 林伯剛 | 視覺形變偵測記錄方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201126361A (en) | 2011-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11534134B2 (en) | Three-dimensional ultrasound imaging method and device | |
US11229419B2 (en) | Method for processing 3D image data and 3D ultrasonic imaging method and system | |
US8374892B2 (en) | Method for retrieving a tumor contour of an image processing system | |
JP6467041B2 (ja) | 超音波診断装置、及び画像処理方法 | |
CN110163897B (zh) | 一种基于合成超声图像的多模态图像配准方法 | |
CN104414680B (zh) | 一种三维超声成像方法及系统 | |
US7520857B2 (en) | 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume | |
JPH08206117A (ja) | 超音波診断装置 | |
CN106061379A (zh) | 处理设备、处理方法及程序 | |
US20060122480A1 (en) | Segmenting occluded anatomical structures in medical images | |
WO2015139267A1 (zh) | 自动识别测量项的方法、装置及一种超声成像设备 | |
US20220370033A1 (en) | Three-dimensional modeling and assessment of cardiac tissue | |
KR20110128197A (ko) | 심장 m-모드 뷰들의 자동 분석 | |
Zhang et al. | Automatic image quality assessment and measurement of fetal head in two-dimensional ultrasound image | |
TWI428781B (zh) | 從一影像處理系統中擷取一腫瘤輪廓的方法 | |
CN105662474A (zh) | 胎儿头围超声图像的自动检测方法及检测系统 | |
JP3696616B2 (ja) | 超音波診断装置 | |
US20130195335A1 (en) | Automatic quantification of mitral valve dynamics with real-time 3d ultrasound | |
CN111374712A (zh) | 一种超声成像方法及超声成像设备 | |
WO2020215485A1 (zh) | 胎儿生长参数测量方法、系统及超声设备 | |
CN108670301B (zh) | 一种基于超声影像的脊柱横突定位方法 | |
JP3720839B2 (ja) | 超音波診断装置 | |
Zeng et al. | TUSPM-NET: A multi-task model for thyroid ultrasound standard plane recognition and detection of key anatomical structures of the thyroid | |
Aji et al. | Automatic measurement of fetal head circumference from 2-dimensional ultrasound | |
KR20090013199A (ko) | 3차원 심장 초음파 검사의 형상 분석 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |