TWI538651B - Stereo visualization system and method of endoscopy using chromaticity forming method - Google Patents

Description

使用色度成形法的內視鏡立體視覺化系統及方法

本發明係一種內視鏡立體視覺化系統，尤指一種使用色度成形法產生立體影像的內視鏡立體視覺化系統。

現有醫療行為之微創手術已經成為許多疾病治療上不可或缺的一部分，透過內視鏡的輔助手術器械進行該微創手術，使其具有較小的切口和減少組織的創傷，並能縮短病人復原的周期和減少整體治療的花費。然而，現有應用於微創手術皆是使用單鏡頭的內視鏡，該單鏡頭的內視鏡僅能顯示平面(2D)的影像，由於平面影像缺少深度資訊，因此外科醫師根據該平面影像要把手術器械準確地移動到病人體內的正確位置將是一大挑戰。外科醫師通常需要依賴運動視差、單眼線索和其它間接的證據讓前述平面影像具有深度上的感知，以提高定位的準確性，然，立體視覺影像(包含2D影像與深度資訊)可提供之深度的感覺和不需要額外的經驗(運動視差、單眼線索和其它間接的證據)仍是解決前述定位準確性不佳的最好解決方式。現有欲在微創手術上取得立體視覺影像是使用雙相機的內視鏡，其可得到外科醫師所需的深度資訊或立體影像，不過其造價相對單鏡頭的內視鏡昂貴許多，造成不易普及的缺點。

如前揭所述，現有單鏡頭的內視鏡僅能顯示平面影像，該平面影像缺少深度資訊而有不易準確定位的問題，雙相機的內視鏡雖具有取得立體影像的優點，但其造價昂貴而不易普及，因此本發明主要目的在提供一使用色度成形法的內視鏡立體視覺化系統及其方法，主要是將單鏡頭內視鏡取得之平面影像以色度成形法產生深度地圖，經結合平面影像生成立體影像，不需設置雙相機且不需修改現有單鏡頭內視鏡的硬體結構，解決現有單鏡頭內視鏡無法提供立體影像及雙相機內視鏡設備昂貴的問題。

為達成前述目的所採取的主要技術手段係令前述使用色度成形法的內視鏡立體視覺化系統包含有： 一影像轉換裝置，其具有一內視鏡輸入埠、一2D/3D影像轉換單元與一影像輸出埠，該內視鏡輸入埠用以連接一單鏡頭內視鏡，以透過該單鏡頭內視鏡取得一平面影像，該2D/3D影像轉換單元是以內建一色度成形法產生平面影像的深度地圖並轉換為立體影像，該影像輸出埠連接有一立體顯示器，該立體顯示器用以顯示經2D/3D影像轉換單元轉換後的立體影像； 其中，該色度成形法是指2D/3D影像轉換單元計算平面影像之光源與其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以得到該深度地圖。

為達成前述目的所採取的主要技術手段係令前述使用色度成形法的內視鏡立體視覺化方法包含有： 擷取平面影像：以一影像擷取裝置取得該內視鏡相機的平面影像； 利用色度成形法產生深度地圖：透過色度成形法計算該平面影像的光源及其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算的結果，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以提高相對位置判斷的準確性，經運算後的結果係一相對的深度地圖，該深度地圖中像素值包含像素強度、光源方向及座標的自然對數，並以快速解方程式以及平行運算加速其迭代過程； 利用深度地圖產生視差圖：該深度地圖係一由灰階影像組成，其表示為第三維度上物體的前後關係，該深度地圖在轉成立體影像過程會產生一視差圖，該視差圖的像素值與深度地圖成反比但與相機的焦距及兩眼間距成正比；以及 產生立體視覺的左右影像：從立體影像獲得的視差圖用以產生立體影像的左右眼影像，該視差圖的像素值亦代表兩眼間各像素點的偏移，進而產生左眼或右眼影像的立體影像。

利用前述元件組成的使用色度成形法的內視鏡立體視覺化系統及其方法，是將單鏡頭內視鏡取得之平面影像透過影像轉換裝置以色度成形法計算出深度資訊進而產生深度地圖，藉由平面影像與深度地圖生成所需立體影像，再輸出至外部的立體顯示器，使用者即可觀看經轉換後的立體影像，不需將現有單鏡頭內視鏡更換為雙相機內視鏡系統，也不需修改現有單鏡頭內視鏡的硬體結構，解決現有單鏡頭內視鏡無法提供立體影像以及雙相機內視鏡之設備昂貴的問題。

關於本發明之較佳實施例的電路方塊圖，請參閱圖1所示，主要是於一影像轉換裝置10連接有一單鏡頭內視鏡20與一立體顯示器30，其中該影像轉換裝置10具有一內視鏡輸入埠11、一2D/3D影像轉換單元12與一影像輸出埠13，該2D/3D影像轉換單元12是分別與內視鏡輸入埠11及影像輸出埠13電連接，該內視鏡輸入埠11是連接至前述單鏡頭內視鏡20，該影像輸出埠13是連接至前述立體顯示器30；該2D/3D影像轉換單元12是透過該單鏡頭內視鏡20取得一平面影像，並以內建之色度成形法轉換該平面影像為立體影像，再由影像輸出埠13輸出該立體影像至立體顯示器30，令該立體顯示器30顯示經2D/3D影像轉換單元12轉換後的立體影像。

關於本發明之較佳實施例的流程圖，請參閱圖2所示，前述2D/3D影像轉換單元12是執行下列步驟以將內視鏡之平面影像轉換為立體影像。

內視鏡相機校正(S1)：使用一相機校正法[1]計算該內視鏡相機內部參數，該相機校正法以一校正模板的旋轉與平移進行相機姿態估測，再以非線性解求得該相機之內部參數與外部參數。

擷取平面影像(S2)：以一影像擷取裝置取得該內視鏡相機的平面影像；該影像擷取裝置是SD或HD的解析度，該內視鏡相機的鏡頭是30°或廣角鏡頭。

利用色度成形法產生深度地圖(S3)：透過色度成形法[2]計算光源及其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算的結果，經結合光源照射的方向與位置資訊，再加入光源照射方向估測[3]以提高相對位置判斷的準確性，經運算後的結果係一相對的深度地圖，該深度地圖中像素值包含像素強度、光源方向及座標的自然對數，並以快速解方程式[4]以及平行運算加速其迭代過程。

其中，該色度成形法可利用下列的描述完成光照分佈的計算：假設相機位置，在影像空間域有表面法向量n 和光源向量l ，其三維點M在影像平面中相依的像素點為m可以被描述成： 其中代表x點的深度，是空間導數。故影像的照射方程式就可以用來解不包含光源和表面反射的距離衰減的Lambertian SFS。其中：是表面的反射率，透過置換，可以獲得Hamiltonian方程式：其中，經由迭代運算方程式即可產生光照分佈的深度影像，由於內視鏡的光源與內視鏡之相機向量幾乎相同，在此可以被簡化成具有相同向量。

利用深度地圖產生視差圖(S4)：該深度地圖係一由灰階影像組成，其表示為第三維度上物體的前後關係，該深度地圖在轉成立體影像過程會產生一視差圖[5]，該視差圖的像素值與深度地圖成反比但與相機的焦距及兩眼間距成正比。

產生立體視覺的左右影像(S5)：從立體影像獲得的視差圖用以產生立體影像的左眼與右眼影像，該視差圖的像素值亦代表兩眼間各像素點的偏移，進而產生左眼或右眼影像的立體影像。該生成的左眼與右眼影像可以轉換為不同的3D播放格式，如左右影像(side-by-side)或交錯影像(Interlaced)或其他3D播放格式，再經由立體顯示器播放。

由上述可知，該平面影像經色度成形法計算出其深度資訊，並產生深度地圖後，藉由該平面影像與深度地圖生成所需立體影像，不需將現有單鏡頭內視鏡更換雙相機內視鏡系統，也不需修改現有單鏡頭內視鏡的硬體結構，解決現有單鏡頭內視鏡無法提供立體影像以及雙相機內視鏡之設備昂貴的問題。

參考書目： [1] "Image processing, analysis and machine vision, 2nd ed., vol. 68 PWS, 1998, pp.448-457" [2] Visentini-Scarzanella et al. 2012 IEEE Internal Conference on Image Processing "Metric depth recovery from monocular images using shape-from-shading and specularities " [3]Danail Stoyanov et all. 2009IEEE/RSJ International Conference on Intelligent Robots and System (IROS) "Illumination position estimation for 3D soft tissue reconstruction in robotic minimally invasive surgery" [4] Chiu-Yen Kao et al. SIAM J. Numerical Analysis 2005 "Fast Sweeping Methods for Static Hamiton-Jacobi Equation" [5] Berretty et al. Internaltional Society for Optics and Photonics 2006 "Real-time rendering for multi-view auto-stereoscopic displays"

10‧‧‧影像轉換裝置
11‧‧‧內視鏡輸入埠
12‧‧‧2D/3D影像轉換單元
13‧‧‧影像輸出埠
20‧‧‧單鏡頭內視鏡
30‧‧‧立體顯示器

圖1是本發明較佳實施例的電路方塊圖。 圖2是本發明較佳實施例的流程圖。

10‧‧‧影像轉換裝置

11‧‧‧內視鏡輸入埠

12‧‧‧2D/3D影像轉換單元

13‧‧‧影像輸出埠

20‧‧‧單鏡頭內視鏡

30‧‧‧立體顯示器

Claims (4)

1. 一種使用色度成形法的內視鏡立體視覺化系統，其包含有：一影像轉換裝置，其具有一內視鏡輸入埠、一2D/3D影像轉換單元與一影像輸出埠，該內視鏡輸入埠用以連接一單鏡頭內視鏡，以透過該單鏡頭內視鏡取得一平面影像，該2D/3D影像轉換單元分別與該內視鏡輸入埠與該影像輸出埠連接，該2D/3D影像轉換單元是以內建一色度成形法計算光源及其陰影分布資訊以產生平面影像的一深度地圖，且利用該深度地圖產生視差圖並轉換為立體影像，再從獲得的該視差圖以產生構成該立體影像的一左眼影像與一右眼影像，該影像輸出埠連接有一立體顯示器，該立體顯示器用以顯示經2D/3D影像轉換單元轉換後的該立體影像；其中，該色度成形法是指該2D/3D影像轉換單元計算平面影像之光源與其陰影分佈資訊，該陰影分佈資訊是由像素值進行梯度重複迭代運算，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以得到該深度地圖。
2. 一種使用色度成形法的內視鏡立體視覺化方法，其包含有：擷取平面影像：以一影像擷取裝置取得一內視鏡相機的平面影像；利用色度成形法產生深度地圖：透過色度成形法計算該平面影像的光源及其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算的結果，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以提高相對位置判斷的準確性，經運算後的結果係一相對的深度地圖，該深度地圖中像素值包含像素強度、光源方向及座標的自然對數，並以快速解方程式以及平行運算加速其迭代過程； 利用深度地圖產生視差圖：該深度地圖係一由灰階影像組成，其表示為第三維度上物體的前後關係，該深度地圖在轉成立體影像過程會產生一視差圖，該視差圖的像素值與深度地圖成反比但與相機的焦距及兩眼間距成正比；以及產生立體視覺的左右影像：從立體影像獲得的視差圖用以產生立體影像的左右眼影像，該視差圖的像素值亦代表兩眼間各像素點的偏移，進而產生左眼或右眼影像的立體影像。
3. 如請求項2所述之使用色度成形法的內視鏡立體視覺化方法，在擷取平面影像步驟之前是執行一內視鏡相機校正步驟，該內視鏡相機校正是使用一相機校正法計算該內視鏡相機內部參數，該相機校正法以一校正模板的旋轉與平移進行相機姿態估測，再以非線性解求得該相機之內部參數與外部參數。
4. 如請求項2或3所述之使用色度成形法的內視鏡立體視覺化方法，該色度成形法以下列的描述完成光照分佈的計算：假設相機位置C(α,β,γ)，在影像空間域x=(x,y)有表面法向量n和光源向量l，其三維點M在影像平面中相依的像素點為m可以被描述成： l=(x+α,y+β,f+γ)其中u(x)代表x點的深度，u _x ,u _y 是空間導數。故影像的照射方程式就可以用來解不包含光源和表面反射的距離衰減的Lambertian SFS。 其中：ρ是表面的反射率，透過置換u=lnu，可以獲得Hamiltonian方程式： 其中，經由迭代運算方程式即可產生光照分佈的深度影像，該內視鏡的光源與內視鏡之相機向量幾乎相同，在此可以被簡化成具有相同向量。