TWI572186B - 內視鏡影像鏡面反射去除之自適應修補方法 - Google Patents

Description

內視鏡影像鏡面反射去除之自適應修補方法

本發明係涉及數位影像處理技術，以去除修補內視鏡鏡面之反射區域，據以提供醫師一個更高品質的內視鏡影像，以利其對病症的處理。

按，內視鏡微創手術(Minimally Invasive Surgery(MIS))泛指係利用醫療儀器設備經由小傷口進入人體，進行診斷或治療之行為。微創手術具有傷口小、美觀、減少術後疼痛及因疼痛引起的併發症、手術後恢復快、減少術後住院天數等優點；又微創手術中，內視鏡影像系統取得人體內場景影像，提供醫師欲診斷或治療部位的真實情況，故內視鏡影像系統如同醫師的眼睛一般，其重要性不可言喻。

又在進行微創手術時，需要光的照明才能進行手術，然而，身體內部構造含有水分，導致內視鏡影像系統取像時，影像內存在鏡面反射(Specular Reflection)的現象(如圖17)。因此，內視鏡影像內鏡面反射的情況，會降低內視鏡影像之視覺品質，進而對醫生執行微創手術或觀察上會產生困擾，實應加以改善。

當前既有的影像修補(Inpainting)演算法包含有下述三種：Criminisi演算法、Aunpam演算法及Lixin Yin演算法；其中， 該Criminisi演算法，係在影像選定的修補區域內，利用線性結構延伸以及紋理傳播的方法，應用可信度值Confidence Term C(p)和線性結構資訊Data Term D(p)計算各區塊的修補優先權值P(p)，得出最佳的填補順序；並從Source region中找尋最匹配的patch來填補，來達到符合人類視覺的合理性及達到真實背景的準確性。填補區域的各個Patch填補優先權如數學式1： 其中，P表示修補Ψ p的中心點，Φ為已知區域(Source Region)，Ω為待修補區域(Target Region)，δ Ω：為區分已知區域與待修補區域的輪廓。np是在P點與δ Ω垂直單位向量，▽Ip⊥是根據P點在Φ區域線性結構延伸方向與強度，α代表正常化因素(α=255為典型灰階影像)，ζ：表示整張frame。

計算完優先權後，從Source Region中找尋最匹配的Ψ q來填補Ψ p，如圖18所示。最後計算Ψ p和Ψ q平方差之和來找尋最小距離的Patch如數學式2。

該Aunpam演算法，係於西元2010年由Anupam et al.以A.Criminisi et al.演算法為基礎，對於演算法中Confidence Term部分提出改進。其提出當修補不同類型的影像過程時，C(p)項呈現指數下降的趨勢，會造成C(p)項與D(p)不匹配的問題，因此提出可以控制C(p)與D(p)的改進，如數學式3： 其給予可信度值C(p)以及線性結構資訊D(p)可變的門檻值參數，用來適應於各種不同類型的影像。且α與β分別表示C(p) Confidence Terms And D(p) Data Terms 的權重值，Rc(p)：是正規化可信度值，ω：是正規化因素，其目的控制C(p)下降效應。

Lixin Yin演算法，係於西元2012年Lixin Yin et al.也以A.Criminisi et al.演算法為基礎，提出在進行修補的過程中，發現Data Terms中所包含的線性結構的計算量過小，導致Data Terms趨近於0，使得優先權計算錯誤。根據上述提出問題來針對D(p)進行改進，主要對於線性結構延伸增強的演算法，在演算法中增加了Curvature Term K(p)，如數學式4： 其中K(p)為通過像素點P中心的照度線曲率(Isophote Curvature)；通過P點中心的曲率絕對值越小，表示線性結構部分越大，優先權越高，藉由增加K(p)能夠避免出現C(p)很大，而D(p)很小，使得P(p)趨近於0的情況發生；其中，K(p)：進行微分(等光強線/等光強線絕對值)，微分意義為在數學中，微分是對函數的局 部變化率的一種線性描述；透過1/K(p)將其微分很小的K(p)數值變大，以增強D(p)。

特別一提，將上述各影像修補演算法運用於內視鏡影像修補時，如圖19所示，以Lixin Yin修補結果較佳，因偵測線性結構加上Curvature Term K(p)的關係，使得血管紋路的線性結構得以延伸修補。

而觀察Criminisi與Anupam演算法的結果，可看出血管紋路線性結構雖有修補的效果，但又因C(p) Confidence Term影響的關係，導致其線性結構降低，使其具有線性血管紋路無法修補的比Lixin Yin方法佳。

另發現Lixin Yin的修補效果因偵測線性結構加上Curvature Term K(p)的關係，線性結構的延伸反而造成修補錯誤的情況，因此不會比Criminisi與Anupam文獻方法來得佳。

鑑於現有針對內視鏡影像鏡面反射的影像修補演算法的問題點，於是本發明人便發明出一種內視鏡影像鏡面反射去除之自適應修補方法，其主要目的在於：提供整合既有三種影像修補的演算法為基礎，提出適用於內視鏡之鏡面反射修補演算法，且運用類神經方式定義各個鏡面反射區域類別，自行選用如血管紋路結構所歸納出數種類別及對應之不同修補參數，以得到最佳修補效果。

為達上述目的，本發明一種內視鏡影像鏡面反射去除之自適應修補方法，所運用技術手段係包含有：一鏡面反射偵測步驟，係對所輸入內視鏡影像進行反射區域偵測；一反射區域影像篩選步驟，係對至少一反射區域影像(總像素720x480)進行篩選，該影像小於80/(720x480總像素)比例，則直接以第二演 算法進行修補，若大於80/(720x480總像素)比例，則進行該影像的特徵擷取；一類神經網路分類步驟，係以建置一類神經分類器，並以該類神經分類器分析該特徵擷取的影像並進行分類，且給定一組代表性參數；及一第一演算法修補步驟，係改良自Anupam及Lixin Yin演算法而所得到的第一演算法，再以該第一演算法接收各類代表性參數後，對該特徵擷取的影像進行修補，即得一無鏡面反射的內視鏡影像。

上述該類神經網路分類步驟中的一組參數係設為α、β、ω參數。

上述該類神經網路分類步驟中，總共有一無血管紋路類、一血管紋路複雜類、一血管紋路直線類及一血管紋路簡易類所構成群組的多種區分，並針對各類給予具代表性的α、β、ω參數。

上述該第一演算法修補步驟中，係整合該Anupam及Lixin Yin演算法而得到如下的演算法架構，據以得各種不同鏡面反射影像的情況來調整α、β、ω參數，並進行修補的動作。

上述該鏡面反射偵測步驟係更細分有：一影像轉換步驟，係將彩色的內視鏡影像轉換成灰階；一灰階值判斷步驟，係判斷該內視鏡影像的灰階值是否低於200閾值，若是直接輸出該內視鏡影像；若不是續行二值化步驟；一二值化步驟，將灰階值大於200閾值的內視鏡影像，進行二值化處理；及一膨脹步 驟，將該二值化處理後的內視鏡影像之鏡面反射區進行膨脹，且得涵蓋該鏡面反射區外圍的光暈並標記住。

上述該第二演算法係設為Criminisi演算法。

上述該類神經分類器係經由下述步驟所形成：一設定各層神經元數目、一均勻分布隨機亂數設定網路得的初始權重值ω、一輸入訓練資料庫向量{X(1)，X(2)，X(3)...X(I)}與其分類目標輸出值{T(1)，T(2)，T(3)，T(4)}、一、計算各層網路輸出結果、一計算輸出結果與目標結果的誤差得出差距量、一調整連接權重、一更新各層間連接權重、重覆上述步驟直到所有訓練樣本訓練結束、重覆上述步驟直到網路收斂及儲存訓練階段結果，將倒傳遞網路訓練權重值儲存起來，便形成類神經網路分類器。

上述該類神經分類器所含一隱藏層神經元設為15個。

上述該類神經分類器必須經過一倒傳遞類神經網路訓練流程：一選取訓練影像、一偵測標記鏡面反射區域、一對各非小型鏡面反射區域類進行人工分類、一鏡面反射區域特徵擷取以構成一類神經網路資料庫、一讀取該神經網路資料庫、一隨機選取資料庫4/5內容、一訓練驗證階段並調整連接權重、一儲存連接權重至該類神經分類器。

上述該類神經分類器必須經過一倒傳遞類神經網路測試流程：一設定網路各層神經元數目、一讀入已經訓練階段所訓練的網路權重值、一輸入測試樣本{X(1)，X(2)，X(3)...X(I)}、一計算網路的推論輸出值{Y(1)，Y(2)，Y(3)，Y(4)}、一重複步驟1~4直至所有測試樣本分類完畢。

本發明內視鏡影像鏡面反射去除之演算法可得如下功效：本發明結合修改調整既有參數修補演算法後，觀察內視鏡鏡面反射情況並根據修補經驗，分別定義出五個類別與四個類別代表性參數。再人工分類時，經由各類別代表參數修補過後，挑選修補最佳的為代表類別。分類完成後得到特徵 資訊，才以類神經網路進行訓練與測試之用，其中測試平均結果可得86.17的準確率。

(a)、(b)、(c)、(d)‧‧‧步驟

圖1：係為本發明內視鏡影像鏡面反射去除之自適應修補方法之大概步驟流程圖。

圖2：係為本發明內視鏡影像鏡面反射偵測步驟之流程圖。

圖3：係為本發明內視鏡影像鏡面反射偵測步驟之示意照片圖。

圖4：係為本發明內視鏡影像鏡面反射去除之自適應修補方法之細部步驟流程圖。

圖5：係為本發明內視鏡影像關於鏡小型鏡面區域類的修補示意照片圖。

圖6：係為本發明內視鏡影像關於無血管紋路類、血管紋路複雜類、血管紋路直線類及血管紋路簡易類的修補示意照片圖。

圖7：係為本發明內視鏡影像關於鏡面反射區域特徵擷取之示意流程圖。

圖8：係為本發明所使用的倒傳遞類神經網路之架構圖。

圖9：係為本發明倒傳遞類神經網路之訓練階段流程。

圖10：係為本發明創建倒傳遞網路之架構圖。

圖11：係為本發明修補內視鏡影像鏡面反射之結果一示意圖。

圖12：係為本發明修補內視鏡影像鏡面反射之結果二示意圖。

圖13：係為本發明修補內視鏡影像鏡面反射之結果三示意圖。

圖14：係為本發明修補內視鏡影像鏡面反射之結果四示意圖。

圖15：係為本發明修補內視鏡影像鏡面反射之結果五示意圖。

圖16：係為本發明修補內視鏡影像鏡面反射之結果六示意圖。

圖17：係為一般內視鏡影像鏡面反射之示意照片圖。

圖18：係為演示Criminisi演算法之參考圖。

圖19：係分別使用Criminisi、Aunpam及Lixin Yin三種演算法來修補內視鏡影像鏡面反射之結果圖。

本發明係關於一種內視鏡影像鏡面反射去除之自適應修補方法，如圖1所示，係包含下述步驟：一鏡面反射偵測步驟(a)、一反射區域影像篩選步驟(b)、一類神經網路分類步驟(c)、一第一演算法修補步驟(d)；其中，該鏡面反射偵測步驟(a)，詳細說明如下：

本發明的鏡面反射偵測步驟(a)係對所輸入內視鏡影像進行反射區域偵測；因此，本發明設計一套偵測標記鏡面反射區域的架構流程，如圖2、圖3所示，係包含有：一影像轉換步驟(a1)、一灰階值判斷步驟(a2)、一二值化步驟(a3)、一膨脹步驟(a4)及一標記步驟(a5)；其中，

Step1：該影像轉換步驟(a1)：輸入內視鏡影像I(總像素MxN)，於本發明內視鏡影像I為720*480像素，轉為灰階I_gray(如圖3)，以便於判斷灰階值。

Step2：該灰階值判斷步驟(a2)：經由灰階值分析結果，定義鏡面反射區域為灰階值並進行判斷，若符合200閾值以上進行後續行下個步驟，若沒有符合200閾值以上則輸出該內視鏡影像I。

Step3：該二值化步驟(a3)：係將該I_gray影像有大於200閾值影像進行二值化得到Ibw影像(如圖3)，大於200閾值時為1，小於200閾值時為0。

Step4：該膨脹步驟(a4)：將二值化影像Ibw作形態學-膨脹Id(5x5的Square Kernel)(如圖3)，目的將鏡面反射區域外圍的光暈涵蓋並標記住。

Step5：該反射區域影像篩選步驟(b)：將膨脹的結果Id，進行標記綠色RGB([0 255 0])，得到完成標記的內視鏡影像J(如圖3)。

故，本發明的鏡面反射偵測步驟(a)最主要利用灰階值分佈分析後，決定適當的閾值，並經由實驗結果發現，當鏡面反射區域皆被取出，並利用膨脹5x5涵蓋鏡面反射區域外圍光暈部分，可完成鏡面反射區域偵測標記效果。

該反射區域影像篩選步驟(b)，詳細說明如下：本發明的反射區域影像篩選步驟(b)係對至少一反射區域影像進行篩選，該影像小於80/(720x780總像素)比例，則直接以第二演算法(即Criminisi演算法)進行修補，如圖4所示，若大於80/(720x480總像素)比例，則進行該影像的特徵擷取。

該小型鏡面反射區域類不進入類神經分類區域主要原因，係該小型鏡面反射區域進行分類時，並沒有類別上的鑑別度，其原因是修補結果不管使用何種參數皆能夠修補得很好。小型鏡面反射區域類以影像解析度定義之，本論文經由實驗定義；以影像解析度中的長度與寬度各1/60之相乘，來定義小型鏡面反射區域(SSR)的pixel數量如數學式7：

SSR：Small of Specular Reflection；fx：影像解析度長度fy：影像解析度寬度

至於定義低於80/(720x480總像素)個(含)Pixels數量原因：從Criminisi文獻得知一個待修補區域Ψ p是9x9大小，因此定義小型鏡面反射區域中的Pixel像素數量為80/(720x480總像素)個(含)以下。確定一個Ψ p大小為小型鏡面反射區域，就不會有被修補過的區域變為已知區域來作修補。如圖4所示者。

故，利用內視鏡鏡面反射測試影像來當作本發明修補小型鏡面反射區域的修補結果如圖5所示，各鏡面反射區域皆可以被修補成功，並保留其它鏡面反射區域，然再執行其它鏡面反射區域之影像處理。

該分類步驟(c)，詳細說明如下：本發明類神經網路分類步驟(c)係以建置一類神經分類器，並以該類神經分類器分析該特徵擷取的影像並進行分類，且給定一組代表性參數。又該分類步驟(c)最主要係運用類神經網路進行鏡面反射區域的分類，如圖4所示者，其中各類別均有代表性參數，分類完成後才進行修補，其類別如下：1.小型鏡面反射區域類；2.無血管紋路類；3.血管紋路複雜類；4.血管紋路直線類；5.血管紋路簡易類。根據觀察內視鏡影像與調整參數修補經驗，據以定義各類別與其代表性參數；其中，

1、小型鏡面反射區域類：請參閱本文第0030~0033段落之相關說明，在此不贅述，通常該類不會給予代表性參數。

2、無血管紋路類：係以人工目標選定方式作定義，且說明出無血管紋路類之情況(如圖6)，其定義鏡面反射區域外圍沒有複雜的情況與血管紋路交錯的情況，因此為無血管紋路類，而其代表性參數α=0.9，β=0.1，ω=0.9，C(p)>D(p)。上述無血管紋路類代表性參數定義之原因：β參數對於線性結構的紋理無需特別增強，因為鏡面反射區域周圍並沒有血管紋路，因此提高信心值，其方式就是將有助於信心項的α與ω提到最高，確保Confidence Term權重穩定，其修補結果如圖40，修補效果良好。

3、血管紋路複雜類：係以人工目標選定方式作定義，且說明出血管紋路複雜類之情況(如圖6)，其定義鏡面反射區域外圍擁有三條以上血管 紋路，且血管情況交錯複雜，因此為血管紋路複雜類，其代表性參數α=0.5，β=0.5，ω=0.1，C(p)=D(p)。上述血管紋路複雜類代表性參數定義原因：在待修補區域擁有多條血管紋路(三條以上)的情況下，修補情況效果皆不佳，起因在於沒有一個正確的血管紋路特徵，引導線性結構(D(p))須注重哪一條血管紋理修補。因此給予信心值(α)，線性結構(β)相等的權重，讓其公平自動計算每一次優先權，ω因為是控制α權重，為了修補順序公平，因此定義ω為最小。其修補結果如圖6，修補效果良好。

4、血管紋路直線類：係以人工目標選定方式作定義，且說明出血管紋路直線類之情況(如圖6)，其定義鏡面反射區域外圍只有兩條血管紋路，且兩條血管紋路極有可能構成直線，方能定義血管紋路直線類，代表性參數α=0.3，β=0.7，ω=0.5)，C(p)<D(p)。上述血管紋路直線類代表性參數定義原因：在待修補區域擁有兩條血管紋路的情況下，修補情況極有可能構成直線的情況，因此需將線性結構(β)調至比信心值(α)高，是構成此類的必要條件。根據多張修補測試的經驗，認定此參數是最具有代表意義的，其修補結果如圖6，修補效果良好。

5、血管紋路簡易類：係以人工目標選定方式作定義，且說明出血管紋路簡易類之情況(如圖6)，其定義鏡面反射區域外圍只有一條血管紋路，或是明確的知道周圍並不會再有其他血管紋路，方能定義血管紋路簡易類，其代表性參數α=0.1，β=0.9，ω=0.1，C(p)<D(p)。上述該血管紋路簡易類代表性參數定義原因：在待修補區域擁有一條血管紋路的情況下，修補紋理上需具有一定的紋理參考，增強其data term，讓其修補結果，能夠延續原本血管的紋理，因此將其線性結構(β)調最高，信心項(α)調至最低來得到最佳的修補效果(如圖6)。

本發明將鏡面反射區域分為五個類別，原因是著重血管紋路修補的正確性，因此明確定義應用可信度值Confidence Term C(p)和線性結構Data Term D(p)的調整來達到最佳優先權的修補。本發明將設定三種調整參數情況，分別為C(p)>D(p)，C(p)<D(p)，C(p)=D(p)；其中，

1、C(p)>D(p)：增加信心項權重無法增加血管紋路線性結構上的優先修補權，因此，C(p)>D(p)情況將是最適合無血管紋路類的唯一類別。

2、C(p)=D(p)：當血管紋路眾多時，對於線性延伸構成直線的情況也較有難度，因此配合信心項與線性結構的調整參數平等，讓其修補由優先權決定。

3、C(p)<D(p)：考慮血管紋路線性結構的延伸是本論文內視鏡修補的重點，因此本發明訂定兩種類別為C(p)<D(p)，來配合血管紋路修補上的線性延伸，C(p)<D(p)共有4種可能(β=0.6，α=0.4；β=0.7，α=0.3；β=0.8，α=0.2；β=0.9，α=0.1)，在單一血管紋路上線性結構應選用最高β=0.9，α=0.1，也就是血管紋路簡易類。

該血管紋路直線延伸需擁有信心值的搭配方能構成直線上的修補，若沒有信心項的權衡，血管紋路縱然依線性結構修補，但修補血管紋路方向將會不一致，因此無法構成直線上的延伸，因此在β=0.6，α=0.4；β=0.7，α=0.3；β=0.8，α=0.2之間選定β=0.7，α=0.3，來當作第四個類別。若多選定一種可能來當作第六個類別，鑑別性並不高，將不利於本發明內視鏡分類上 的實作，因此本發明說明將鏡面反射區域分為四個類別，並給予其代表性修補參數。

本發明關於鏡面反射區域外部特徵擷取，其目的就是當作輸入類神經網路資料庫的內容，以利用特徵來區分類別之結果。本發明選用12個特徵值，對鏡面反射區域周圍特徵進行分類如下列：1、灰階值標準差(Standard Deviation)特徵(x1)；2、灰階值偏度(Skewness)特徵(x1)；3、灰階值峰度(kurtosis)特徵(x1)；4、Canny Edge數量特徵(x1)；及5、任意鏡面反射形狀HOG(Histogram of Oriented Gradients)方向統計直方圖特徵(x8)。

其鏡面反射區域外部特徵擷取範圍，係將內視鏡影像中各個鏡面反射區域作形態學膨脹(5x5 Square Kernel)，並利用膨脹過後的區域計算取得特徵，(如圖7)。特別一提，鏡面反射區域標記已作第一次膨脹，其目的是將光暈涵蓋住並標記，而此第二次膨脹是將標記過後的鏡面反射區域再膨脹5x5範圍，並減掉標記過後的鏡面反射區域，利用剩下的5x5膨脹的區域，作為該類神經網路分類步驟(c)特徵擷取之用途。

本發明關於建置類神經網路分類器，係將所取得特徵資料與人工分類的結果需建立連接關係，來達成訓練網路分類的目的，因此本發明選用倒傳遞類神經網路，如圖8之架構。通常該倒傳遞類神經網路分為：1.訓練階段：利用已知輸入層神經元以及已知輸出層神經元來得到連接權重(隱藏層)，而連接權重在訓練階段是未知的，因此經由訓練過後將得到連接權重。2.測試階段：利用 已知輸入層神經元以及經由訓練階段所得到已知連接權重進行運算，來得到測試輸入層神經元的輸出層結果。

而本發明關於倒傳遞類神經網路訓練測試階段，如圖9所示，係包含下述步驟：

Step1：選取訓練影像：從內視鏡視訊中挑選50張代表性鏡面反射影像。

Step2：偵測標記鏡面反射區域：偵測標記鏡面反射區域，並利用連通區域法自動Labeling各個鏡面反射區域。

Step3：對小型鏡面反射區域類以外的每一個鏡面反射區域，進行人工分類：人工分類鏡面反射區域，並經由四種類別代表的參數進行修補過後，挑選出最好的修補結果，判定其類別。

Step4：鏡面反射區域特徵擷取：進行特徵擷取，並把特徵資訊儲存至類神經網路資料庫中。

Step5：讀取資料庫：讀取類神經網路資料庫。

Step6：隨機選取資料4/5內容：隨機選取資料庫3/5(訓練)與1/5(驗證)資料庫內容，合計4/5。

Step7：訓練驗證測試階段調整連接權重：資料庫內容進入訓練階段，進行調整連接權重。

Step8：儲存連接權重：訓練完成的連接權重儲存起來，並作測試之用。

本發明關於創建倒傳遞網路，係擁有訓練資料量與目標輸出類別後，開始創建前饋網路(Feed forward Network)神經網路，使用MATLAB(2013a)實驗平台來說明其指令如下術數學式8：【數學式8】 net=newff(minmax(Input_data),[N1 N2...Ni],{TF1 TF2...TFi},BTF,BLF,PF)上述數學式8的各指令符號所代表意義說明如表1所述：

又創建具輸入元素的兩層前饋網路，其中輸入層為12個具代表性特徵向量，隱藏層(第一層)有15個神經元，輸出層(第二層)有4個神經元，如圖10所示者。其中轉移函數使用正切雙彎曲轉移函數(Sigmoide Function)。訓練函數是Levenberg-Marquardt演算法。訓練最大的迭代次數為2000。而最終的性能目標為0.001。每一個Input都用一個適當的權重值(Weight)來加權，經過加權後的輸入和偏移值(bias)總和，形成轉移函數的輸入。神經元能使用任何可微分的轉移函數來產生神經元的輸出。關於類神經訓練符號說明表2所述：【表2】

底下以實驗平台Matlab(2013a)訓練階段步驟流程作為倒傳遞類神經網路訓練測試階段實例說明：

Step1：設定各層神經元數目1、輸入層神經元I：總資料量為Ix12個特徵作訓練，輸入其資料為{X(1)，X(2)，X(3)...X(I)}當作輸入向量，共12個輸入層神經元；2、X為12個特徵值，其資料型態為double，I為284筆訓練資料；3、隱藏層神經元J：設定一層隱藏層，15個神經元；及4、輸出層神經元K：4個神經元，代表4個類別{T(1)，T(2)，T(3)，T(4)}。

Step2：均勻分布隨機亂數設定網路得的初始權重值ω：由於輸入層本身不具運算能力，因此輸入層將每一個神經元接收到的訊號對應出至隱藏層的各個神經元中。

Step3：輸入訓練資料庫向量{X(1)，X(2)，X(3)...X(I)}與其分類目標輸出值{T(1)，T(2)，T(3)，T(4)}1、輸入值{X(1)，X(2)，X(3)...X(I)}資料向量，由於本論文皆採用雙彎曲函數，當作神經元的活化函數，是一個非線性轉換函數，其值介於0~1之間，因此每一向量需正規化為0~1；2、第一類無血管紋路類分類目標輸出值為{1；0；0；0}；3、第二類血管紋路複雜類分類目標輸出值為{0；1；0；0}；4、第三類血管紋路直線類分類目標輸出值為{0；0；1；0}；及5、第四類血管紋路簡易類分類目標輸出值為{0；0；0；1}。

Step4：計算各層網路輸出結果：從「輸入層神經元」一層又一層的計算到「輸出層的神經元」，先計算出隱藏層的輸出值，如數學式9、數學式10：

其中j為1~J，代表隱藏層的第j個神經元，jnet為隱藏層第j個神經元的權重值w_ij乘積和，而w_ij為輸入層第i個神經元與隱藏層第j個神經元的權重值。

【數學式10】

其中k為1~K，代表隱藏層的第k個神經元，knet為隱藏層第k個神經元的58權重值w_jk乘積和，而w_jk為輸入層第j個神經元與隱藏層第k個神經元的權重值。

Step5：計算輸出結果與目標結果的誤差得出差距量：經由計算輸出的結果並不能代表目標結果是正確的，因此計算誤差並來求出差距量，計算方式(如數學式11、數學式12)。

【數學式12】δ _k =(D _k -net _k )×f'

如數學式12所示將輸出層誤差倒傳遞至隱藏層來計算差距量，而隱藏層至輸入層算法如式數學式12、13計算誤差與差距量相似。

從上述數學式13、14，這表示本發明將輸出層的誤差倒傳遞至隱藏層在從隱藏層誤差倒傳遞至輸入層並計算之間差距量，因此網路名稱為倒傳遞。

Step6：調整連接權重：得到各層間差距量與誤差過後，即可調整連接權重，分別為輸入層至隱藏層權重以及隱藏層至輸出層權重，如數學式15、數學式16：

Step7：更新各層間連接權重：更新隱藏層與輸出層間的權重值公式，如下述數學式17：【數學式17】w_jk=w_jk+△w_jk 同理，更新輸入層與隱藏層間的權重值公式，如下述數學式18： 【數學式18】w_ij=w_ij+△w_ij

1、重覆Step3~7，直到所有訓練樣本訓練結束；2、重覆Step3~8，直到網路收斂；及3、儲存訓練階段結果，將倒傳遞網路訓練權重值儲存起來。

經選用實施不同隱藏層神經元數目，並進行三次訓練與測試結果求得平均與分析如表3所述，發現隱藏層在15個神經元數目時表現為最佳，因此選定隱藏層為15個神經元，最終決定隱藏層為15個神經元。

本發明以實驗平台MATLAB(2013a)-測試步驟流程，以下步驟由外部測試資料(94x12)為例

Step1：設定網路各層神經元數目(1)輸入層神經元I：總資料量為94x12個特徵輸入層神經元；(2)隱藏層神經元J：設定一層隱藏層，15個神經元(同訓練階段)；及(3)輸出層神經元K：4個神經元(同訓練階段)。

Step2：讀入已經訓練階段所訓練的網路權重值

Step3：輸入測試樣本{X(1)，X(2)，X(3)...X(I)}：測試樣本總數為94*12個特徵，是經由人工分類特徵擷取而來，均有標準分類的類別解答，以便計算準確率。

Step4：計算網路的推論輸出值{Y(1)，Y(2)，Y(3)，Y(4)}：測試分類方法與訓練階段Step4相同。

Step5：重複步驟1~4，直至所有測試樣本分類完畢。

不管內部驗證測試或是外部測試皆有其正確人工分類的結果，因此執行完競爭輸出後與原始人工分類資料進行比對，可得出測試詳細準確率如下表4~表7所述：

1. Outside：總資料量94*12筆(隱藏層15個神經元，資料庫比例訓練3：驗證1：測試1)

2. inside：總資料量94*12筆(隱藏層15個神經元，資料庫比例訓練3：驗證1：測試1)

綜上所述，本發明檢驗整合修補演算法修補經驗結果，將鏡面反射區域分為五個類別，分別為小型鏡面反射區域類、無血管紋路類，血管紋路複雜類，血管紋路直線類，血管紋路簡易類，而各類別皆有其代表性的修補參數。而其特徵擷取目的就是當作輸入類神經網路資料庫的內容，以利用特徵來區分類別之結果，本發明共擷取了12個特徵。再經由輸入特徵進入倒傳遞類神經網路的訓練、內部驗證測試與外部測試。其中內部驗證與外部測試平均各有89.36%與84.75的準確率，證明所選的特徵均擁有分類上的代表性，足可以判別各個鏡面反射區域的類別。以完成最終自適應選擇類別與代表性參數，形成了修補鏡面反射區域的必要條件。

該第一演算法修補步驟(d)，如下述詳細說明： 本發明的第一演算法修補步驟(d)係整合自Anupam及Lixin Yin演算法而所得到的第一演算法，再以該第一演算法接收所對應的無血管紋路類、血管紋路複雜類、血管紋路直線類或血管紋路簡易類的代表性參數，再對該特徵所擷取的影像進行修補，即可得較佳修補效果的一無鏡面反射的內視鏡影像。

因Anupam以及Lixin Yin演算法各有其優劣之處，故本發明檢驗整合兩種演算法，修改其架構如下列數學式19，而成為本發明的第一種演算法：

上述數學式，其目的能應付各種不同鏡面反射影像的情況來調整α，β，ω參數，並進行修補的動作。首先應用Anupam提出的調整參數演算法，達成控制修補優先權的條件。而當線性結構必須提升時，再結合Lixin Yin的K(p)增強，並給予β參數控制。經由檢驗整合Inpainting修補演算法，該內視鏡影像的鏡面反射區域修補皆能達到具有準確與高品質的修補影像。

最後，本發明使用六張測試影像，如圖11~圖16所示，來進行實現自適應選擇參數修補實驗結果，人工分類四個類別與參數以及代表的顏色如下表8所述，將內視鏡影像輸入後，各別Labeling鏡面反射區域，並取出特徵後，進入網路做競爭輸出來判定類別，並執行修補結果與修補時間(包含鏡面反射偵測標記時間)如圖11所示。

本發明以進行六張內視鏡鏡面反射區域修補過後，皆有不錯的修補成果。

為了驗證提出的自適應修補結果比原各文獻方法佳，本發明亦進行客觀評估與主觀評估，在客觀SSIM評估上提出的方法都比原三篇文獻來得好，而主觀評估上平均分數也都比原三篇文獻來得好，且變異數也偏低，代表評估者們認可度相當一致。

特別一提，將本發明鏡面反射修補方法延伸至一般彩色影像修補，在客觀SSIM評估上，雖然SSIM平均值比起原文獻的高，但是各別區域修補結果上仍有比原文獻SSIM偏低的情況，而主觀評估上雖比起原三篇文獻好，但情況與客觀評估相似，皆有評分佳與不佳的情況，因此若延伸至一般彩色影像的修補上，仍有改進的空間。

(a)、(b)、(c)、(d)‧‧‧步驟

Claims (9)

1. 一種內視鏡影像鏡面反射去除之自適應修補方法，係包含下述步驟：一鏡面反射偵測步驟，係對所輸入內視鏡影像(總像素MxN)進行反射區域偵測；一反射區域影像篩選步驟，係對至少一反射區域影像進行篩選，該影像小於80/(MxN總像素)比例則直接以第二演算法進行修補，若大於80/(MxN總像素)比例，則進行該影像的特徵擷取；一類神經網路分類步驟，係以建置一類神經分類器，並以該類神經分類器分析該特徵擷取的影像並進行分類，且給定一組代表性參數；及一第一演算法修補步驟，係整合該Anupam及Lixin Yin演算法而得到如下的數學式1及數學式2： ，據以得各種不同鏡面反射影像的情況來調整α、β、ω參數，並進行修補的動作，即得一無鏡面反射的內視鏡影像。
2. 依據申請專利範圍第1項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該鏡面反射偵測步驟中的內視鏡影像的總像素MxN係設為720x480，而該類神經網路分類步驟中的一組參數係設為α、β、ω參數。
3. 依據申請專利範圍第2項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該類神經網路分類步驟中，總共有一無血管紋路類、一血管紋路複雜類、一血管紋路直線類及一血管紋路簡易類所構成群組的多種區分，並針對各類給予具代表性的α、β、ω參數。
4. 依據申請專利範圍第1項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該鏡面反射偵測步驟係更細分有：一影像轉換步驟，係將彩色的內視鏡影像轉換成灰階；一灰階值判斷步驟，係判斷該內視鏡影像的灰階值是否低於200閾值，若是直接輸出該內視鏡影像；若不是續行二值化步驟；一二值化步驟，將灰階值大於200閾值的內視鏡影像，進行二值化處理；及一膨脹步驟，將該二值化處理後的內視鏡影像之鏡面反射區域進行膨脹，且得涵蓋該鏡面反射區域外圍的光暈並標記住。
5. 據申請專利範圍第1項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該第二演算法係設為Criminisi演算法。
6. 據申請專利範圍第1項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該類神經分類器係經由下述步驟所形成：一設定各層神經元數目、一均勻分布隨機亂數設定網路得的初始權重值ω、一輸入訓練資料庫向量{X(1)，X(2)，X(3)...X(I)}與其分類目標輸出值{T(1)，T(2)，T(3)，T(4)}、一、計算各層網路輸出結果、一計算輸出結果與目標結果的誤差得出差距量、一調整連接權重、一更新各層間連接權重、重覆上述步驟直到所有訓練樣本訓練結束、重覆上述步驟直到網路收斂及儲存訓練階段結果，將倒傳遞網路訓練權重值儲存起來，便形成類神經網路分類器。
7. 據申請專利範圍第6項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該類神經分類器所含一隱藏層神經元設為15個。
8. 據申請專利範圍第1、6或7項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該類神經分類器必須經過一倒傳遞類神經網路訓練流程：一選取訓練影像、一偵測標記鏡面反射區域、一對各非小型鏡面反射區域類進行人工分類、一鏡面反射區域特徵擷取以構成一類神經網路資料庫、一讀取該神經網路資料庫、一隨機選取資料庫4/5內容、一訓練驗證階段並調整連接權重、一儲存連接權重至該類神經分類器。
9. 據申請專利範圍第8項所述內視鏡影像鏡面反射去除之自適應修補方法，其中該類神經分類器必須經過一倒傳遞類神經網路測試流程：一設定網路各層神經元數目、一讀入已經訓練階段所訓練的網路權重值、一輸入測試樣本{X(1)，X(2)，X(3)...X(I)}、一計算網路的推論輸出值{Y(1)，Y(2)，Y(3)，Y(4)}、一重複上述步驟，直至所有測試樣本分類完畢。