TW201531276A - 使用色度成形法的內視鏡立體視覺化系統及方法 - Google Patents
使用色度成形法的內視鏡立體視覺化系統及方法 Download PDFInfo
- Publication number
- TW201531276A TW201531276A TW103104853A TW103104853A TW201531276A TW 201531276 A TW201531276 A TW 201531276A TW 103104853 A TW103104853 A TW 103104853A TW 103104853 A TW103104853 A TW 103104853A TW 201531276 A TW201531276 A TW 201531276A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- endoscope
- camera
- stereoscopic
- depth map
- Prior art date
Links
Abstract
本發明係一種使用色度成形法的內視鏡立體視覺化系統，係於一單鏡頭內視鏡與一立體顯示器之間連接有一影像轉換裝置，該影像轉換裝置內建一色度成形法，使其可將單鏡頭內視鏡取得之平面影像透過該色度成形法計算出深度資訊進而產生深度地圖，並藉由該平面影像與該深度地圖生成所需立體影像，再輸出至外部的立體顯示器，以利使用者方便觀看立體影像，不需將現有單鏡頭內視鏡更換為雙相機內視鏡系統，也不需修改現有單鏡頭內視鏡的硬體結構，解決現有單鏡頭內視鏡無法提供立體影像以及雙相機內視鏡之設備昂貴的問題。
Description
本發明係一種內視鏡立體視覺化系統，尤指一種使用色度成形法產生立體影像的內視鏡立體視覺化系統。
現有醫療行為之微創手術已經成為許多疾病治療上不可或缺的一部分，透過內視鏡的輔助手術器械進行該微創手術，使其具有較小的切口和減少組織的創傷，並能縮短病人復原的周期和減少整體治療的花費。然而，現有應用於微創手術皆是使用單鏡頭的內視鏡，該單鏡頭的內視鏡僅能顯示平面(2D)的影像，由於平面影像缺少深度資訊，因此外科醫師根據該平面影像要把手術器械準確地移動到病人體內的正確位置將是一大挑戰。外科醫師通常需要依賴運動視差、單眼線索和其它間接的證據讓前述平面影像具有深度上的感知，以提高定位的準確性，然，立體視覺影像(包含2D影像與深度資訊)可提供之深度的感覺和不需要額外的經驗(運動視差、單眼線索和其它間接的證據)仍是解決前述定位準確性不佳的最好解決方式。現有欲在微創手術上取得立體視覺影像是使用雙相機的內視鏡，其可得到外科醫師所需的深度資訊或立體影像，不過其造價相對單鏡頭的內視鏡昂貴許多，造成不易普及的缺點。
如前揭所述，現有單鏡頭的內視鏡僅能顯示平面影像，該平面影像缺少深度資訊而有不易準確定位的問題，雙相機的內視鏡雖具有取得立體影像的優點，但其造價昂貴而不易普及，因此本發明主要目的在提供一使用色度成形法的內視鏡立體視覺化系統及其方法，主要是將單鏡頭內視鏡取得之平面影像以色度成形法產生深度地圖，經結合平面影像生成立體影像，不需設置雙相機且不需修改現有單鏡頭內視鏡的硬體結構，解決現有單鏡頭內視鏡無法提供立體影像及雙相機內視鏡設備昂貴的問題。
為達成前述目的所採取的主要技術手段係令前述使用色度成形法的內視鏡立體視覺化系統包含有： 一影像轉換裝置，其具有一內視鏡輸入埠、一2D/3D影像轉換單元與一影像輸出埠，該內視鏡輸入埠用以連接一單鏡頭內視鏡，以透過該單鏡頭內視鏡取得一平面影像，該2D/3D影像轉換單元是以內建一色度成形法產生平面影像的深度地圖並轉換為立體影像，該影像輸出埠連接有一立體顯示器，該立體顯示器用以顯示經2D/3D影像轉換單元轉換後的立體影像； 其中，該色度成形法是指2D/3D影像轉換單元計算平面影像之光源與其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以得到該深度地圖。
為達成前述目的所採取的主要技術手段係令前述使用色度成形法的內視鏡立體視覺化方法包含有： 擷取平面影像：以一影像擷取裝置取得該內視鏡相機的平面影像； 利用色度成形法產生深度地圖：透過色度成形法計算該平面影像的光源及其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算的結果，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以提高相對位置判斷的準確性，經運算後的結果係一相對的深度地圖，該深度地圖中像素值包含像素強度、光源方向及座標的自然對數，並以快速解方程式以及平行運算加速其迭代過程； 利用深度地圖產生視差圖：該深度地圖係一由灰階影像組成，其表示為第三維度上物體的前後關係，該深度地圖在轉成立體影像過程會產生一視差圖，該視差圖的像素值與深度地圖成反比但與相機的焦距及兩眼間距成正比；以及 產生立體視覺的左右影像：從立體影像獲得的視差圖用以產生立體影像的左右眼影像，該視差圖的像素值亦代表兩眼間各像素點的偏移，進而產生左眼或右眼影像的立體影像。
利用前述元件組成的使用色度成形法的內視鏡立體視覺化系統及其方法，是將單鏡頭內視鏡取得之平面影像透過影像轉換裝置以色度成形法計算出深度資訊進而產生深度地圖，藉由平面影像與深度地圖生成所需立體影像，再輸出至外部的立體顯示器，使用者即可觀看經轉換後的立體影像，不需將現有單鏡頭內視鏡更換為雙相機內視鏡系統，也不需修改現有單鏡頭內視鏡的硬體結構，解決現有單鏡頭內視鏡無法提供立體影像以及雙相機內視鏡之設備昂貴的問題。
關於本發明之較佳實施例的電路方塊圖，請參閱圖1所示，主要是於一影像轉換裝置10連接有一單鏡頭內視鏡20與一立體顯示器30，其中該影像轉換裝置10具有一內視鏡輸入埠11、一2D/3D影像轉換單元12與一影像輸出埠13，該2D/3D影像轉換單元12是分別與內視鏡輸入埠11及影像輸出埠13電連接，該內視鏡輸入埠11是連接至前述單鏡頭內視鏡20，該影像輸出埠13是連接至前述立體顯示器30；該2D/3D影像轉換單元12是透過該單鏡頭內視鏡20取得一平面影像，並以內建之色度成形法轉換該平面影像為立體影像，再由影像輸出埠13輸出該立體影像至立體顯示器30，令該立體顯示器30顯示經2D/3D影像轉換單元12轉換後的立體影像。
關於本發明之較佳實施例的流程圖，請參閱圖2所示，前述2D/3D影像轉換單元12是執行下列步驟以將內視鏡之平面影像轉換為立體影像。
內視鏡相機校正(S1)：使用一相機校正法[1]計算該內視鏡相機內部參數，該相機校正法以一校正模板的旋轉與平移進行相機姿態估測，再以非線性解求得該相機之內部參數與外部參數。
擷取平面影像(S2)：以一影像擷取裝置取得該內視鏡相機的平面影像；該影像擷取裝置是SD或HD的解析度，該內視鏡相機的鏡頭是30°或廣角鏡頭。
利用色度成形法產生深度地圖(S3)：透過色度成形法[2]計算光源及其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算的結果，經結合光源照射的方向與位置資訊，再加入光源照射方向估測[3]以提高相對位置判斷的準確性，經運算後的結果係一相對的深度地圖，該深度地圖中像素值包含像素強度、光源方向及座標的自然對數，並以快速解方程式[4]以及平行運算加速其迭代過程。
其中，該色度成形法可利用下列的描述完成光照分佈的計算：假設相機位置，在影像空間域有表面法向量n
和光源向量l
，其三維點M在影像平面中相依的像素點為m可以被描述成： 其中代表x點的深度，是空間導數。故影像的照射方程式就可以用來解不包含光源和表面反射的距離衰減的Lambertian SFS。其中：是表面的反射率，透過置換，可以獲得Hamiltonian方程式：其中，經由迭代運算方程式即可產生光照分佈的深度影像，由於內視鏡的光源與內視鏡之相機向量幾乎相同，在此可以被簡化成具有相同向量。
利用深度地圖產生視差圖(S4)：該深度地圖係一由灰階影像組成，其表示為第三維度上物體的前後關係，該深度地圖在轉成立體影像過程會產生一視差圖[5]，該視差圖的像素值與深度地圖成反比但與相機的焦距及兩眼間距成正比。
產生立體視覺的左右影像(S5)：從立體影像獲得的視差圖用以產生立體影像的左眼與右眼影像，該視差圖的像素值亦代表兩眼間各像素點的偏移，進而產生左眼或右眼影像的立體影像。該生成的左眼與右眼影像可以轉換為不同的3D播放格式，如左右影像(side-by-side)或交錯影像(Interlaced)或其他3D播放格式，再經由立體顯示器播放。
由上述可知，該平面影像經色度成形法計算出其深度資訊，並產生深度地圖後，藉由該平面影像與深度地圖生成所需立體影像，不需將現有單鏡頭內視鏡更換雙相機內視鏡系統，也不需修改現有單鏡頭內視鏡的硬體結構，解決現有單鏡頭內視鏡無法提供立體影像以及雙相機內視鏡之設備昂貴的問題。
參考書目： [1] "Image processing, analysis and machine vision, 2nd ed., vol. 68 PWS, 1998, pp.448-457" [2] Visentini-Scarzanella et al. 2012 IEEE Internal Conference on Image Processing "Metric depth recovery from monocular images using shape-from-shading and specularities " [3]Danail Stoyanov et all. 2009IEEE/RSJ International Conference on Intelligent Robots and System (IROS) "Illumination position estimation for 3D soft tissue reconstruction in robotic minimally invasive surgery" [4] Chiu-Yen Kao et al. SIAM J. Numerical Analysis 2005 "Fast Sweeping Methods for Static Hamiton-Jacobi Equation" [5] Berretty et al. Internaltional Society for Optics and Photonics 2006 "Real-time rendering for multi-view auto-stereoscopic displays"
10‧‧‧影像轉換裝置
11‧‧‧內視鏡輸入埠
12‧‧‧2D/3D影像轉換單元
13‧‧‧影像輸出埠
20‧‧‧單鏡頭內視鏡
30‧‧‧立體顯示器
11‧‧‧內視鏡輸入埠
12‧‧‧2D/3D影像轉換單元
13‧‧‧影像輸出埠
20‧‧‧單鏡頭內視鏡
30‧‧‧立體顯示器
圖1是本發明較佳實施例的電路方塊圖。 圖2是本發明較佳實施例的流程圖。
10‧‧‧影像轉換裝置
11‧‧‧內視鏡輸入埠
12‧‧‧2D/3D影像轉換單元
13‧‧‧影像輸出埠
20‧‧‧單鏡頭內視鏡
30‧‧‧立體顯示器
Claims (4)
- 一種使用色度成形法的內視鏡立體視覺化系統，其包含有： 一影像轉換裝置，其具有一內視鏡輸入埠、一2D/3D影像轉換單元與一影像輸出埠，該內視鏡輸入埠用以連接一單鏡頭內視鏡，以透過該單鏡頭內視鏡取得一平面影像，該2D/3D影像轉換單元是以內建一色度成形法產生平面影像的深度地圖並轉換為立體影像，該影像輸出埠連接有一立體顯示器，該立體顯示器用以顯示經2D/3D影像轉換單元轉換後的立體影像； 其中，該色度成形法是指2D/3D影像轉換單元計算平面影像之光源與其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以得到該深度地圖。
- 一種使用色度成形法的內視鏡立體視覺化方法，其包含有： 擷取平面影像：以一影像擷取裝置取得一內視鏡相機的平面影像； 利用色度成形法產生深度地圖：透過色度成形法計算該平面影像的光源及其陰影分佈資訊，該分佈資訊是由像素值進行梯度重複迭代運算的結果，經結合光源照射的方向與位置資訊，再加入光源照射方向估測以提高相對位置判斷的準確性，經運算後的結果係一相對的深度地圖，該深度地圖中像素值包含像素強度、光源方向及座標的自然對數，並以快速解方程式以及平行運算加速其迭代過程； 利用深度地圖產生視差圖：該深度地圖係一由灰階影像組成，其表示為第三維度上物體的前後關係，該深度地圖在轉成立體影像過程會產生一視差圖，該視差圖的像素值與深度地圖成反比但與相機的焦距及兩眼間距成正比；以及 產生立體視覺的左右影像：從立體影像獲得的視差圖用以產生立體影像的左右眼影像，該視差圖的像素值亦代表兩眼間各像素點的偏移，進而產生左眼 或右眼影像的立體影像。
- 如請求項2所述之使用色度成形法的內視鏡立體視覺化方法，在擷取平面影像步驟之前是執行一內視鏡相機校正步驟，該內視鏡相機校正是使用一相機校正法計算該內視鏡相機內部參數，該相機校正法以一校正模板的旋轉與平移進行相機姿態估測，再以非線性解求得該相機之內部參數與外部參數。
- 如請求項2或3所述之使用色度成形法的內視鏡立體視覺化方法，該色度成形法以下列的描述完成光照分佈的計算： 假設相機位置，在影像空間域有表面法向量n 和光源向量l ，其三維點M在影像平面中相依的像素點為m可以被描述成： 其中代表x點的深度，是空間導數。故影像的照射方程式就可以用來解不包含光源和表面反射的距離衰減的Lambertian SFS。其中：是表面的反射率，透過置換，可以獲得Hamiltonian方程式：其中，經由迭代運算方程式即可產生光照分佈的深度影像，該內視鏡的光源與內視鏡之相機向量幾乎相同，在此可以被簡化成具有相同向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103104853A TWI538651B (zh) | 2014-02-14 | 2014-02-14 | Stereo visualization system and method of endoscopy using chromaticity forming method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103104853A TWI538651B (zh) | 2014-02-14 | 2014-02-14 | Stereo visualization system and method of endoscopy using chromaticity forming method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201531276A true TW201531276A (zh) | 2015-08-16 |
| TWI538651B TWI538651B (zh) | 2016-06-21 |
Family
ID=54342966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW103104853A TWI538651B (zh) | 2014-02-14 | 2014-02-14 | Stereo visualization system and method of endoscopy using chromaticity forming method |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI538651B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017024422A1 (zh) * | 2015-08-13 | 2017-02-16 | 明士股份有限公司 | 使用色度成形法的内视镜立体可视化系统及方法 |
-
2014
- 2014-02-14 TW TW103104853A patent/TWI538651B/zh active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017024422A1 (zh) * | 2015-08-13 | 2017-02-16 | 明士股份有限公司 | 使用色度成形法的内视镜立体可视化系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI538651B (zh) | 2016-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
| US20170035268A1 (en) | Stereo display system and method for endoscope using shape-from-shading algorithm | |
| JP7076447B2 (ja) | ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング | |
| US11463676B2 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
| JP5893808B2 (ja) | 立体内視鏡画像処理装置 | |
| CN110992431B (zh) | 一种双目内窥镜软组织图像的联合三维重建方法 | |
| CN105809654A (zh) | 目标对象跟踪方法、装置和立体显示设备及方法 | |
| JP4580678B2 (ja) | 注視点位置表示装置 | |
| CN115919239A (zh) | 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统 | |
| JP2021525032A (ja) | 画像処理方法、装置及び３次元結像システム | |
| JP2015220643A (ja) | 立体観察装置 | |
| TWI589150B (zh) | ３ｄ自動對焦顯示方法及其系統 | |
| CN104887314A (zh) | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 | |
| CN109068035A (zh) | 一种智能微相机阵列内窥成像系统 | |
| CN104887316A (zh) | 基于主动立体显示技术的虚拟立体内窥镜显示方法 | |
| EP3130273B1 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| TWI538651B (zh) | Stereo visualization system and method of endoscopy using chromaticity forming method | |
| WO2023165451A1 (zh) | 三维模型建立方法、内窥镜及存储介质 | |
| WO2017024422A1 (zh) | 使用色度成形法的内视镜立体可视化系统及方法 | |
| JP2017098596A (ja) | 画像生成方法及び画像生成装置 | |
| CN113925441B (zh) | 一种基于内窥镜的成像方法及成像系统 | |
| TW201509360A (zh) | 單鏡頭內視鏡立體視覺化系統及其方法 | |
| CN106331670A (zh) | 使用色度成形法的内视镜立体视觉化系统及方法 | |
| CN112294453A (zh) | 一种显微手术术野三维重建系统及方法 |