TWI428855B

TWI428855B - The Method of Restoring Three Dimensional Image of Capsule Endoscopy

Info

Publication number: TWI428855B
Application number: TW99137423A
Authority: TW
Original assignee: Chung Shan Inst Of Science
Priority date: 2010-12-02
Filing date: 2010-12-02
Publication date: 2014-03-01
Also published as: TW201225001A

Description

膠囊內視鏡三維立體影像之還原建立方法

本發明係有關於一種三維影像之建構方法，尤其是一種透過環場膠囊擷取人體醫療影像，並將其轉換輸出為三維影像之建構方法。

隨著近代醫療技術之日漸演進，內視鏡已逐漸成為檢查人體器官之重要醫療設備之一。傳統之內視鏡係以末端設有攝影鏡頭的長管穿入人體器官，在攝影鏡頭擷取影像訊號後，再將影像訊號傳回電腦主機分析。然而，一般而言，人體之消化道長度十分深長，以傳統之內視鏡伸入腸道，不僅不易操控，也令患者承受相當嚴重之不適感。

鑒於以上，遂有膠囊內視鏡裝置之問世，其利用無線遙測技術取代傳統之有線傳輸，並將光源、影像感測器、控制晶片、無線訊號發送器與電池等元件封裝於膠囊狀殼體中，以適於消化道之檢查。舉例而言，患者於吞服膠囊後，膠囊內視鏡裝置即可隨著消化道之蠕動而被帶動前進，進而擷取消化道管壁之影像，續透過無線訊號發送器，將影像訊號傳輸至體外之接收裝置(如：電腦主機)，最後膠囊內視鏡裝置再由下消化道排出，結束檢查。

其中，膠囊內視鏡裝置擷取到的影像資料，在傳輸至體外之接收裝置(如：電腦主機)後，後端之影像處理系統即可針對內視鏡在各個不同時刻擷取到的影像進行影像處理程序，以俾利醫療人員分析腸道之病徵點。於此，習知之影像處理方法僅可利用二維(Two Dimension)之影像分析，將各個影像資料對位連接起來。然而，需注意到的是，真正的人體器官係為三維空間，因此習知之影像處理方法僅可做到二維平面之影像還原，並無法達到有效地還原病徵點影像之效用。於此，不僅不易識別器官之病灶，亦降低了醫療人員之診斷正確性。

其次，一般而言，影像感測器多設置於膠囊內視鏡裝置之端部。也就是說，膠囊內視鏡裝置係為一種具有方向性之裝置。因此，當膠囊內視鏡裝置於消化道中隨著腸道之蠕動而前進或後退時，其輸出之影像資料在對位連接上亦需有連接方向上的考量。是以，綜上所述，習知之影像處理方法實具有其值得解決之問題。

鑒於以上，本發明提出一種三維影像之建構方法，其係利用環場膠囊擷取人體醫療影像，並將擷取到之二維平面影像透過空間矩陣轉換後，輸出三維之立體影像。根據本發明提出之三維影像之建構方法，不僅令醫療人員可方便且快速地進行病徵判別，更可藉由調整三維立體影像之位置、角度、深度等等，以提高輸出影像之鑑別率。

本發明提出一種三維影像之建構方法，其步驟包括：擷取複數個環狀影像、將環狀影像轉換為對應之複數個條狀影像、自條狀影像進行影像之比對接合程序，以獲得至少一二維影像，以及根據二維影像進行空間矩陣轉換，據以輸出一三維影像。

根據本發明提出之三維影像之建構方法，更可包括：根據一圖像使用者介面(Graphical User Interface，GUI)建立複數個參數功能，以調變三維影像之輸出效果。

是以，本發明提出之三維影像之建構方法，不僅可應用於醫學實驗之層級，亦可應用於日常之醫療檢測。凡擷取人體之醫療影像時，以環場膠囊搭配本發明提出之三維影像之建構方法，除了可藉由輸出之三維立體影像更方便觀察器官之內壁影像，本發明提出之三維影像之建構方法更具有利於判斷病徵之優點。

以上有關於本發明的內容說明，與以下的實施方式係用以示範與解釋本發明的精神與原理，並且提供本發明的專利申請範圍更進一步的解釋。有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

以下在實施方式中詳細敘述本創作之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本創作之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本創作相關之目的及優點。

根據本發明實施例之三維影像之建構方法，可以是但不限於用以自一環場膠囊擷取到的影像進行影像處理，其中「第1圖」係為根據本發明之一實施例，應用於環場膠囊之結構示意圖。環場膠囊100具有一殼體102，且殼體102於其二相對側邊上各具有攝像窗104。攝像窗104可以為一透明且大致成環狀之攝像範圍，令發光元件122射出之光線可透過攝像窗104而投射至殼體102外之待測物130上。其中發光元件122可以是但不限於發光二極體(Light Emitting Diode，LED)，且待測物130亦可以是器官(如：消化道系統、口腔、鼻腔、肛門、陰道等等)之內壁。

環場膠囊100之殼體102內，除了發光元件122之外，更包括有：錐狀鏡106、透鏡模組108、影像感測器120、電源供應模組126與無線通訊單元124。當環場膠囊100被吞服於人體中，以擷取器官內壁之影像時，發光元件122首先透過攝像窗104而投射出射向待測物130之光線，該光線在接觸到待測物130之壁面，而被反射回殼體102時，會依序經過攝像窗104、錐狀鏡106而被投射到透鏡模組108。爾後透鏡模組108可將該光線聚焦後傳送至影像感測器120。影像感測器120可以是但不限於互補式金氧半感測器(Complementary Metal Oxide Semiconductor，CMOS)或一電荷耦合元件(Charge Coupled Device，CCD)，以將感測到的光線透過感應像素(pixel)之作用而轉換為一影像資訊。於此，影像感測器120可用以感測到不同時間、不同位置下所攝得待測物130之影像資訊。

無線通訊單元124電性連接於影像感測器120，並將影像感測器120擷取到的影像資訊以無線(Wireless)方式傳出環場膠囊100，令外部電腦(圖中未示)可針對該些影像資訊進行後續之影像處理程序(意即本發明實施例之三維影像之建構方法)。其中無線通訊單元124可以是射頻(Radio Frequency，RF)收發器、或射頻天線 (RF antenna)等等，且電源供應模組126(例如：電池)係提供上述各元件運作所需之電力，以令環場膠囊100能夠長時間在人體內進行拍攝。唯在此需說明的是，環場膠囊100及其內部各個元件之結構、電性連接與影像資訊傳輸方式等等，並非用以限定本發明之範圍；凡將環狀影像轉換為三維影像之影像處理方法，皆隸屬於本發明之發明範圍，唯本發明係以上述環場膠囊100作為說明之一實施例而已。

「第2A圖」係為根據本發明實施例三維影像之建構方法，其步驟流程圖。如步驟S202至步驟S208所示，首先，自環場膠囊擷取複數個環狀影像(步驟S202)，然後將擷取到之環狀影像轉換為對應之複數個條狀影像(步驟S204)，續自該等條狀影像進行影像之比對接合程序，以獲得至少一二維影像(步驟S206)，最後即根據該二維影像進行空間矩陣轉換，以輸出一三維影像(步驟S208)。

關於步驟S204，將環狀影像轉換為對應之複數個條狀影像之步驟，請一併參閱「第2B圖」，係將環狀影像f(x,y)之原始座標設€為(x,y)，且環狀影像之圓心座標設為(x₀ ,y₀ )，徑向半徑長度為z，則依據以下公式：即可計算出其對應之條狀影像之座標g(θ,z)。

關於步驟S206，請參閱「第3A圖」，係為根據本發明實施例，自條狀影像進行影像之比對接合程序，以獲得至少一二維影像，其步驟流程圖。如步驟S302至步驟S304所示，計算出條狀影像之座標後，首先自條狀影像執行一影像比對程序(步驟S302)，然後根據影像比對程序之結果執行影像接合程序，以獲得最後接合完畢之二維影像(步驟S304)。

請一併參閱「第3B圖」，係為根據本發明實施例，自條狀影像執行影像比對程序之示意圖，舉例而言，自環狀影像轉換得到的條狀影像包括條狀影像30,30a,30b，其中可以條狀影像30作為一參考影像，並同時於條狀影像30a上掃描一掃描範圍32’相等於條狀影像30之參考範圍32之比對範圍。然後，於比對時計算條狀影像30之參考範圍32與條狀影像30a之掃描範圍32’二者之間的關係值，該關係值之取得可以是以一平均絕對誤差法(Mean Absolute Error，MAE)、平均平方誤差法(Mean Square Error，MSE)或皮爾森相關係數法(Pearson Correlation Coefficient)來取得該些條狀影像30,30a,30b之間的關係值。其中採用平均絕對誤差法(MAE)進行比對時，可得到一低度準確率之比對結果，採用平均平方誤差法(MSE)進行比對時，可得到中度準確率之比對結果，而採用皮爾森相關係數法(Pearson Correlation Coefficient)進行比對時，則可得到高度準確率之比對結果，使用者可視實際輸出畫面之解析需求，而自行決定採用上述三種演算法其中之一。

在比對計算得到條狀影像30,30a,30b之間的關係值後，即可將影像中相關性最高的區域(意即條狀影像30a之掃描範圍32’移動至條狀影像30之參考範圍32)以進行後續之影像接合程序。也就是說，影像接合時可採用影像比例融合或影像品質融合等方法，以接合條狀影像30a於條狀影像30，條狀影像30b於條狀影像30a，以獲得一接合完畢之二維影像。「第3C圖」係為根據「第3B圖」於接合完畢之二維影像示意圖，其係將掃描範圍32’之R,G,B感應像素取平均值後，取代原有參考範圍32之R,G,B感應像素的值，而至於接合處(意即掃描範圍32’)所在之一整列則全部採用其各自所屬之條狀影像30a,30b之影像範圍替代，於此完成影像接合程序，獲得接合後之二維影像40。

由於環場膠囊於消化道中會隨著腸道之蠕動而前進或後退，因此輸出之影像資料在前述比對接合的連接程序上必須具有連接方向上的考量。因此，「第4圖」係為根據本發明實施例，根據影像比對程序之結果執行影像接合程序以獲得二維影像，其步驟流程圖。如步驟S402至步驟S406所示，於影像比對接合後，首先判斷該二維影像之畫素列數是否不小於條狀影像之畫素列數，若是(意即接合後之二維影像之畫素列數大於或等於條狀影像之畫素列數)，則代表接合方向正確，並輸出該二維影像(步驟S404)；否則當二維影像之畫素列數小於條狀影像之畫素列數時，則代表接合方向錯誤，必須重新以另一方向對位後再次執行該影像接合程序(步驟S406)，以獲得正確接合之二維影像。

關於步驟S208，根據二維影像進行空間矩陣轉換，以輸出三維影像之步驟，請一併參閱「第5圖」，係為根據本發明實施例，圓柱模型之轉換矩陣，其結構示意圖。以圓柱模型50具有一半徑 R，接合後之二維影像40具有橫向長度θ_m ，且為例，假設圓柱模型50具有總長度(對應所要擷取器官內壁之長度、接合後之二維影像40總長度)z，則可得圓柱模型50上之座標系統(R,θ,h)，其中、θ=0~2π，h=0~z。也就是說，當接合後之二維影像40 上任意一點投影至圓柱模型50上時，其具有橫向座標與縱向座標各自為(h,Rθ)。由此可得，圓柱模型50之轉換矩陣，是以，根據本發明實施例，根據二維影像進行空間矩陣轉換以輸出三維影像之步驟，則係為將二維影像(意即接合後之二維影像40) 乘上圓柱模型50之轉換矩陣，以獲取最終輸出之三維立體影像。

其中當以圓柱模型50之圓心建構一方向向量，且該方向向量指向一座標點時，三維影像即可產生以該方向向量為視角之座標點的三維立體影像。於此，藉由改變方向向量，即可調整三維立體影像之視角。舉例而言，「第6A圖」係為根據本發明實施例，方向向量平行於圓柱模型長度方向時，其立體影像之示意圖，由「第6A圖」可見，其格線在越靠近圓心處愈益細密，而在越遠離圓心處愈寬，顯示其係為具有不同景深之立體影像。「第6B圖」至「第6E圖」係為根據本發明實施例，方向向量非平行於圓柱模型長度方向時，其個別之立體影像之示意圖，可見其不同斜角環狀視場的三維立體影像。

其次，「第7圖」係為根據本發明又一實施例之三維影像之建構方法，其步驟流程圖。其中三維影像之建構方法除了步驟S202至步驟S208之外，更可包括步驟S210：根據一圖像使用者介面(Graphical User Interface，GUI)建立複數個參數功能，以調變三維影像之輸出效果。也就是說，根據本發明又一實施例，更可藉由圖像使用者介面(GUI)，令使用者自行設定參數，例如：影像放大、縮小、位移等不同參數，以調變三維影像之輸出效果。於此，在影像放大倍率固定的情況下，檢測人員藉由判讀輸出影像之物像關係與放大倍率，即可簡易推知環場膠囊在器官內所行進的距離，藉此有效完成影像定位之目的。

是以，根據本發明實施例之三維影像之建構方法，不僅可將擷取到之二維平面影像轉換為三維立體影像，更可藉由調整該三維立體影像之位置、角度、深度等參數，以調變三維立體影像之輸出效果。藉此解決習知存在之問題，並且具有可提供醫療人員方便、正確且快速地進行病徵判定之優點。

雖然本發明以前述的較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神與範圍內，當可作些許更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

30,30a,30b‧‧‧條狀影像

32‧‧‧參考範圍

32’‧‧‧掃描範圍

40‧‧‧接合後之二維影像

50‧‧‧圓柱模型

100‧‧‧環場膠囊

102‧‧‧殼體

104‧‧‧攝像窗

106‧‧‧錐狀鏡

108‧‧‧透鏡模組

120‧‧‧影像感測器

122‧‧‧發光元件

124‧‧‧無線通訊單元

126‧‧‧電源供應模組

130‧‧‧待測物

R‧‧‧半徑

z‧‧‧總長度

θ _m ‧‧‧橫向長度

第1圖係為根據本發明之一實施例，應用於環場膠囊之結構示意圖；第2A圖係為根據本發明實施例三維影像之建構方法，其步驟流程圖；第2B圖係為根據「第2A圖」之步驟S204之座標轉換示意圖；第3A圖係為根據本發明實施例，自條狀影像進行影像之比對接合程序以獲得至少一二維影像，其步驟流程圖；第3B圖係為根據本發明實施例，自條狀影像執行影像比對程序之示意圖；第3C圖係為根據第3B圖於接合完畢之二維影像示意圖；第4圖係為根據本發明實施例，根據影像比對程序之結果執行影像接合程序以獲得二維影像，其步驟流程圖；第5圖係為根據本發明實施例，圓柱模型之轉換矩陣，其結構示意圖；第6A圖係為根據本發明實施例，方向向量平行於圓柱模型長度方向時，其立體影像之示意圖；第6B圖至第6E圖係為根據本發明實施例，方向向量非平行於圓柱模型長度方向時，其個別之立體影像之示意圖；以及第7圖係為根據本發明又一實施例之三維影像之建構方法，其步驟流程圖。

Claims

一種三維影像之建構方法，包括：擷取複數個環狀影像；將該等環狀影像轉換為對應之複數個條狀影像；自該等條狀影像進行影像之比對接合程序，以獲得至少一二維影像；以及將該二維影像乘上一圓柱模型之一轉換矩陣，以獲取該三維影像，其中，該圓柱模型之座標為(R,θ,h)，該圓柱模型之全長為z，該轉換矩陣為，其中R為該圓柱模型之半徑，θ為0~2π，h為0~z。
如請求項1所述之三維影像之建構方法，其中該將該等環狀影像轉換為對應之複數個條狀影像之步驟係為利用關係式以自該等環狀影像取得該等條狀影像，其中(x,y)與(x₀ ,y₀ )分別為該等環狀影像之原始座標與圓心座標，(θ,z)為該等條狀影像之座標。
如請求項1所述之三維影像之建構方法，其中該自該等條狀影像進行影像之比對接合程序，以獲得至少一二維影像之步驟包括：自該等條狀影像執行一影像比對程序；以及根據該影像比對程序之結果執行一影像接合程序，以獲得該二維影像。
如請求項3所述之三維影像之建構方法，其中該自該等條狀影像執行一影像比對程序係為自該等條狀影像執行一平均絕對誤差法(Mean Absolute Error，MAE)、一平均平方誤差法(Mean Square Error，MSE)或一皮爾森相關係數法(Pearson Correlation Coefficient)。
如請求項4所述之三維影像之建構方法，其中該平均絕對誤差法(MAE)、該平均平方誤差法(MSE)與該皮爾森相關係數法(Pearson Correlation Coefficient)係分別自該等條狀影像獲得一低度準確率、一中度準確率與一高度準確率之比對結果。
如請求項3所述之三維影像之建構方法，其中該根據該影像比對程序之結果執行一影像接合程序，以獲得該二維影像之步驟包括：將該二維影像之畫素列數比較於該等條狀影像之畫素列數；以及輸出該二維影像或重新以另一方向對位後再執行該影像接合程序。
如請求項1所述之三維影像之建構方法，其中以該圓柱模型之圓心建構一方向向量，且該方向向量指向一座標點時，該三維影像係產生以該方向向量為視角之該座標點之三維影像。
如請求項1所述之三維影像之建構方法，更包括：根據一圖像使用者介面(Graphical User Interface，GUI)建立複數個參數功能，以調變該三維影像之輸出效果。