TW201509360A - 單鏡頭內視鏡立體視覺化系統及其方法 - Google Patents

Abstract

本發明係一種單鏡頭內視鏡立體視覺化方法，係利用體積影像建立器官的虛擬三維模型，再透過影像對位結合該虛擬三維模型與內視鏡拍攝的二維影像，以找出其相對的二維影像與虛擬三維模型之間的轉換關係，並以相機姿態估測定位虛擬三維模型中的相機座標，利用內視鏡影像特徵點匹配更新相機座標，在虛擬三維模型的影像中計算出深度地圖，並以深度地圖計算視差圖，以形成具有左右影像的立體影像，藉此以現有單鏡頭內視鏡系統即可產生三維影像，解決現有單鏡頭內視鏡系統無法提供三維(3D)立體化影像的問題。

Description

單鏡頭內視鏡立體視覺化系統及其方法

本發明係一種內視鏡系統，尤指一種利用單鏡頭內視鏡取得平面影像並轉換為立體影像的內視鏡系統。

微創手術在許多手術上已經是常態，同時也是當今外科手術中不可或缺的一環，目前大部分應用在微創手術的內視鏡皆為單鏡頭的內視鏡系統，這種單鏡頭內視鏡系統所拍攝的是2D(平面)影像，由於平面影像缺乏物體的深度資訊，會使得外科醫師在很難掌握手術器械在體內的真實空間位置，因此外科醫師通常需要依賴運動視差、單眼線索和其它間接的證據來讓2D影像具有深度上的感知。

現有微創手術中擁有最好的立體視覺影像是使用雙鏡頭相機的內視鏡系統，由雙鏡頭相機拍攝體內立體的3D影像，不過雙鏡頭相機的造價高昂且須更換現有內視鏡系統的設備，使其不易普遍。欲透過其他方法使現有單鏡頭內視鏡系統獲得3D影像，如藉由移動來計算出深度地圖，仍有不易取得影像的真實深度資訊以提供3D立體化影像的問題。

如前揭所述，現有單鏡頭內視鏡系統仍存有無法提供3D立體化影像的問題，因此本發明主要目的在提供一單鏡頭內視鏡立體視覺化系統及其方法，係利用已知影像中相對應的器官進行三維模型重建，參考其三維模型的深度訊息再結合2D內視鏡影像生成立體影像，並利用3D顯示器顯示，解決現有單鏡頭內視鏡系統無法提供3D立體化影像的問題。

為達成前述目的所採取的主要技術手段係令前述單鏡頭內視鏡立體視覺化系統，包含有：一影像轉換裝置，其具有一2D/3D影像轉換單元、一內視鏡連接埠及複數影像輸出介面，該內視鏡連接埠用以連接一單鏡頭內視鏡，以透過單鏡頭內視鏡取得2D影像，該2D/3D影像轉換單元用以轉換2D影像為3D影像，其中一影像輸出介面連接有一2D顯示器，該2D顯示器用以顯示單鏡頭內視鏡拍攝的2D影像，另一影像輸出介面連接有一3D顯示器，該3D顯示器用以顯示經2D/3D影像轉換單元轉換的3D影像。

為達成前述目的所採取的主要技術手段係令前述單鏡頭內視鏡立體視覺化方法，包含有：利用體積影像產生虛擬三維模型：該體積影像資料經分割後，對該分割影像重建虛擬三維模型； 對起始畫面模擬虛擬三維模型的形態：係對起始畫面的影像光照分佈推估內視鏡之二維影像的深度結構(Shape from shading)，對二維影像加深度渲染以得到起始影像的三維形狀模型；取得虛擬三維模型體積與起始畫面的配對：係以最近迭帶點演算法(Iterative closest point)的轉換匹配方式，取得起始畫面的影像與虛擬三維模型間的匹配關係；在虛擬三維模型的影像中追蹤相機的運動：係對二維影像的特徵點將內視鏡影像改為二維影像匹配以及起始畫面影像的二維像素與虛擬三維模型的三維座標進行匹配，以推估相機在虛擬三維模型中的位置(perspective-n-point camera pose estimation)；以及在虛擬三維模型的影像中計算深度地圖並生成立體影像：係以深度擷取(z-buffer)演算法把深度場景用2D灰階影像顯示深度地圖，該深度地圖係計算成視差圖(disparity map)，該視差圖係計算左右眼的偏移量以產出相對視角的左右影像。

利用前述元件組成的單鏡頭內視鏡立體視覺化方法，係利用已知的體積影像(CT/MRI)建立體內器官的虛擬三維模型，再透過影像對位結合內視鏡拍攝的二維影像，該內視鏡的二維影像是透過色度成形法重複迭代產生三維形狀模型，並以最近迭帶點演算法找出其相對的二維影 像與虛擬三維模型之間的轉換關係，利用二維影像特徵點匹配並以相機姿態估測定位虛擬三維模型中的相機座標，且不停被追蹤以及更新該模型中的相機座標，該深度地圖透過深度擷取計算，該深度資訊與二維影像能產生兩眼的視差圖，以形成具有左右影像的立體影像，藉此以現有單鏡頭內視鏡系統即可產生三維影像，解決現有單鏡頭內視鏡系統無法提供3D立體化影像的問題。

10‧‧‧影像轉換裝置

11‧‧‧2D/3D影像轉換單元

12‧‧‧內視鏡連接埠

13‧‧‧2D影像輸出介面

14‧‧‧3D影像輸出介面

20‧‧‧單鏡頭內視鏡

30‧‧‧2D顯示器

40‧‧‧3D顯示器

圖1是本發明較佳實施例的系統方塊圖。

圖2是本發明較佳實施例的流程圖。

關於本發明的較佳實施例的系統方塊圖，請參閱圖1所示，其包含有一影像轉換裝置10、一單鏡頭內視鏡20、一2D顯示器30與一3D顯示器40，該單鏡頭內視鏡20、2D顯示器30與3D顯示器40分別與影像轉換裝置10電連接。

該影像轉換裝置10具有一2D/3D影像轉換單元11、一內視鏡連接埠12、一2D影像輸出介面13與一3D影像輸出介面14，該內視鏡連接埠12用以連接單鏡頭內視鏡20，該2D影像輸出介面13連接至2D顯示器30，該3D影像輸出介面14連接至3D顯示器40。該2D/3D影 像轉換單元11係透過內視鏡連接埠12取得單鏡頭內視鏡20拍攝的2D影像，該2D影像直接由2D影像輸出介面13輸出至2D顯示器30，以顯示該單鏡頭內視鏡20拍攝的2D影像，又該2D影像經2D/3D影像轉換單元11轉換為3D影像後，再由3D顯示器40顯示該3D影像。

前述2D顯示器30可以是LED、LCD或CRT螢幕；單鏡頭內視鏡20包含了內視鏡相機或攝像頭，但其拍攝角度並不侷限於0度或30度的視角；該影像轉換裝置10係一電腦，其同時具有軟體及硬體設備以生成3D立體影像及虛擬三維模型；另該3D顯示器40係顯示立體格式的影像。

請參閱圖2所述，前述2D/3D影像轉換單元11係依序執行以下步驟以將2D影像轉換為3D影像。

利用體積影像產生虛擬三維模型(201)：係針對欲進行內視鏡手術的病人取得其CT或MRI的體積影像，該體積影像係經人為分割並以分割後的影像重建虛擬三維模型。任何形式的三維重建方法都可應用在影像重建上，本發明在此並不加以限制，其目的是由CT或MRI的平面影像重建出虛擬三維模型的表面，以便在該模型中擷取體素(voxels)。

內視鏡相機校正(202)：該內視鏡相機的內部參數是使用相機校正法[1]計算出來的，該相機校正法是利 用一校正模板的旋轉與平移進行相機運動估測，並以非線性解取得相機本身之內部與外部參數。

對起始畫面利用色度成形法模擬虛擬三維模型的形態(203)：係針對起始畫面利用色度成形法(shape from shading)[2]模擬虛擬三維模型的形態，該起始畫面的影像是來自於內視鏡相機拍攝的二維影像，其解析度可為SD或HD。該起始畫面是選擇清晰的器官影像，利用影像中光照分佈的描述來推估二維影像的深度結構，透過二維影像加深度渲染以得到起始畫面的影像的形狀模型。

取得虛擬三維模型體積與起始畫面的配對(204)：該起始畫面的影像欲進行影像分割時，可以利用種子點成長或分水嶺演算法來完成。分割區域中的三維器官座標可利用前述步驟(203)來獲得。體積三維模型與起始影像的形狀模型匹配是利用最近迭帶點演算法(iterative closest point algorithm,ICP)[3]，在ICP中三維模型間的匹配可以透過旋轉與縮放找到最佳化的轉換匹配方式，同時可以獲得起始影像與三維器官模型間的匹配。

在虛擬三維模型的影像中追蹤相機的運動(205)：利用加速強健特徵(speed-up robust feature,SURF)擷取技術[4]被應用在起始影像與後續影像的匹配當中，所有的特徵點被賦予一個特徵的描述子，其為二元字串特徵點描述被稱為BRIEF[5]，匹配描述子是透過Hamming distance計算最短匹配距離。為了使二維像素與三維座標特徵點進行匹配，並且用來估測相機姿態(camera pose)，利用perspective-n-point camera pose estimation algorithm(e-pnp)[6]，以參考影像中的像素座標與三維模型中的座標估測相機在三維模型中的位置，影像特徵點匹配同樣被應用在後續的內視鏡影像中，並且同時評估相機的姿態，因此虛擬相機的位置會依照後續影像不停在三維模型中更新。

在虛擬三維模型的影像中計算深度地圖並生成立體影像(206)：透過虛擬相機與場景間的距離而產生深度地圖(depth map)，可以透過利用z-buffer演算法[7]計算與內視鏡影像一樣大小的深度地圖，z-buffer演算法即把深度場景透過z-near與z-far用2D灰階影像來顯示深度地圖。深度地圖是用來被計算成視差圖(disparity map)，該視差圖可以用來計算左右眼的偏移量藉此模擬出相對視角的左右影像。倘若此步驟不計算深度地圖，係由上步驟中內視鏡影像與虛擬模型中相機的影像，能直接由內視鏡影像與三維模型影像疊加(superimpose)即能達到擴增實境(augmented reality)之功效。

由上述可知，本發明係利用已知的體積影像(CT/MRI)建立體內器官的虛擬三維模型，再透過影像對位結合內視鏡拍攝的二維影像，該內視鏡的二維影像是透過 色度成形法重複迭代，並以最近迭帶點演算法找出其相對的二維影像與虛擬三維模型之間的轉換關係，利用內視鏡的二維影像特徵點匹配並以相機姿態估測定位虛擬三維模型中的相機座標，且不停被追蹤以及更新該模型中的相機座標，深度地圖透過深度擷取(z-buffer)計算，該深度資訊與二維影像能產生兩眼的視差圖(disparity map)，以形成具有左右影像的立體影像，藉此搭配現有單鏡頭內視鏡系統即可產生三維影像，且不需更換現有內視鏡系統的設備。且本方法可進一步被應用於擴增實境，達到虛擬模型與內視鏡影像匹配的的效果

參考書目：

[1]Image processing, analysis and machine vision, 2nd ed., vol. 68 PWS, 1998, pp.448-457。

[2]Visentini-Scarzanella et.al. "Metric depth recovery from monocular images using shape from shading and specularities"。

[3]Besl et.al. "A Method for Registration of 3-D Shapes. IEEE Trans. Pattern Analysis and Machine Intelligence, 14:239-256, 1992"。

[4] H. Bay et.al. ECCV2006 "Surf: Speeded up robust feature"。

[5] M. Calonder et. al. ECCV2010 "Brief: Binary robust independent elementary features"。

[6] Moreno-Noguer et. al. IEEE proceeding of Computer Vision 2007 "Accurate Non-iterative on Solution to the PnP Problem"。

[7] Berretty et. al.在SPIE中發表"Real Time Rendering for Multiview Auto-stereoscopic Display"

Claims (7)

1. 一種單鏡頭內視鏡立體視覺化方法，包含有：利用體積影像產生虛擬三維模型：該體積影像資料經分割後，對該分割影像重建出虛擬三維模型；對起始畫面模擬三維模型的形態：係對起始畫面的影像光照分佈推估內視鏡之二維影像的深度結構，對二維影像加深度渲染以得到起始影像的三維形狀模型；取得虛擬三維模型與起始畫面的配對：係以最近迭帶點演算法的轉換匹配方式，取得三維形狀模型與虛擬三維模型間的匹配關係；在虛擬三維模型的影像中追蹤相機的運動：係對內視鏡之二維影像特徵點匹配以及起始畫面影像的二維像素與虛擬三維模型的三維座標特徵點進行匹配以推估相機在虛擬三維模型中的位置；以及在虛擬三維模型的影像中計算深度地圖並生成立體影像：係以深度擷取(z-buffer)演算法把深度場景用2D灰階影像顯示深度地圖，該深度地圖係計算成視差圖，該視差圖係計算左右眼的偏移量以產出相對視角的左右影像。
2. 如請求項1所述之單鏡頭內視鏡立體視覺化方法，該體積影像是由二維平面影像重建出虛擬三維模型的表面，以在該模型中擷取體素。
3. 如請求項1或2所述之單鏡頭內視鏡立體視覺化方法，該起始畫面係利用色度成形法模擬三維形狀模型的形態。
4. 如請求項1或2所述之單鏡頭內視鏡立體視覺化方 法，該相機姿態估測包含二維影像特徵點擷取、特徵點匹配和使用e-pnp。
5. 如請求項3所述之單鏡頭內視鏡立體視覺化方法，該相機姿態估測包含二維影像特徵點擷取、特徵點匹配和使用e-pnp。
6. 如請求項1所述之單鏡頭內視鏡立體視覺化方法，若不計算深度地圖，則該內視鏡二維影像與虛擬三維模型中相機的影像，直接由內視鏡影像與三維模型影像疊加以應用於擴增實境，達到虛擬三維模型與內視鏡二維影像匹配效果。
7. 一種單鏡頭內視鏡立體視覺化系統，包含有：一影像轉換裝置，其具有一2D/3D影像轉換單元、一內視鏡連接埠及複數影像輸出介面，該內視鏡連接埠用以連接一單鏡頭內視鏡，以透過單鏡頭內視鏡取得2D影像，該2D/3D影像轉換單元用以轉換2D影像為3D影像，其中一影像輸出介面連接有一2D顯示器，該2D顯示器用以顯示單鏡頭內視鏡拍攝的2D影像，另一影像輸出介面連接有一3D顯示器，該3D顯示器用以顯示經2D/3D影像轉換單元轉換的3D影像。