TW201525939A - 深度精鍊與資料聚集的方法與系統 - Google Patents

深度精鍊與資料聚集的方法與系統 Download PDF

Info

Publication number
TW201525939A
TW201525939A TW102149101A TW102149101A TW201525939A TW 201525939 A TW201525939 A TW 201525939A TW 102149101 A TW102149101 A TW 102149101A TW 102149101 A TW102149101 A TW 102149101A TW 201525939 A TW201525939 A TW 201525939A
Authority
TW
Taiwan
Prior art keywords
pixels
information
images
global
similar cost
Prior art date
Application number
TW102149101A
Other languages
English (en)
Other versions
TWI566203B (zh
Inventor
Chia-Hang Ho
Feng-Hsiang Lo
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Publication of TW201525939A publication Critical patent/TW201525939A/zh
Application granted granted Critical
Publication of TWI566203B publication Critical patent/TWI566203B/zh

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

根據一實施例，提供一種深度精鍊的方法。此方法可利用一相似成本暨鏈權重聚集(CWA)模組，計算多視角立體影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一CWA程序中，以鏈權重聚集該些相似成本，從而產生此多視角立體影像中此至少兩影像的此至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生此多視角立體影像中此至少兩影像的此至少兩畫素間的3-維資訊；以及利用一獨立的全域不穩定消除模組，藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一深度地圖，其中此深度地圖指出此多視角立體影像中的3-維資訊。

Description

深度精鍊與資料聚集的方法與系統
本揭露係關於一種深度精鍊(depth refinement)與資料聚集(data aggregation)的方法與系統。
立體影像匹配(stereo matching)技術是由立體影像對(stereo image pair)中，擷取深度資訊的技術。在影像處理(image processing)與電腦視覺(computer vision)的領域中，立體影像匹配技術已經發展多年了。在許多應用中，像是電影與影片的影像處理、後處理(post processing)、或是機器人視覺(robot vision)、立體深度感測器中都是重要的技術.從雙視域(two-view)轉至多視域(multi-view)的技術中，立體影像匹配技術也占了重要的一部分。立體影像匹配技術也可以應用於多視角立體影像匹配中。
立體影像匹配技術的基礎知識是基於畫素相似度(pixel correspondence)與對極幾何(epipolar geometry)上。畫素相似度 可提供左右影像(left and right images)上的畫素是否可能是同一物件中的同一點的資訊。通常，畫素的相似度越高，相似成本越低。在影像上的每一畫素都可以被轉換成3-維(3-Dimensional)空間中的一射線(perspective line)。對極幾何可提供一數學模型，此數學模型可將兩個不同影像上的不同射線轉換成深度座標軸上的深度資訊。在一整張圖中的畫素都轉成深度資訊後，可以得到一密集深度地圖(dense depth map)。
由於透鏡光學物理、或是光學元件或攝影機不對稱的關係，同一物件的左右影像中的畫素可能分布在影像的不同水平線上。這會增加計算的複雜度。所以，常見的前處理就是影像校正(image rectification)或是攝影機校正(camera calibration)。這樣就能將3維空間中同一物件在左右影像中的畫素校正到同一水平線上。
本揭露的實施例可提供一種深度精鍊與資料聚集的方法與系統。
本揭露的一實施例是關於一種深度精鍊的方法。此方法可包含：利用一相似成本(cost)暨鏈權重聚集(Chain Weighting Aggregation，CWA)模組，計算多張影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集(Chain Weighting Aggregation，CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張影像中此至少兩影像的此至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的此聚集相似成本，產生此多張影像中此至少兩影像的此至少兩畫素間的3-維資訊；以及利用一全域不穩定消除(Global Unreliability Refinement Reduce，GUR)模組，藉由產生的此些3-維(3-dimemsional)資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊(refined depth information)，並且藉由產生的此些精鍊深度資訊，產生一精鍊深度地圖(depth map)，其中此精鍊深度地圖指出此多張影像中的3-維資訊。
本揭露的另一實施例是關於一種深度精鍊的方法。此方法可包含：利用一相似成本暨鏈權重聚集(CWA)模組，計算多張多視角立體影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張多視角立體影像中此至少兩影像的此至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生此多張多視角立體影像中此至少兩影像的此至少兩畫素間的3-維資訊；以及利用一全域不穩定消除(GUR)模組，藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一精鍊深度地圖，其中此精鍊深度地圖指出此多張多視角立體影像中的3-維資訊。
本揭露的又一實施例是關於一種深度精鍊的方法。此方法可包含：利用一相似成本暨鏈權重聚集(CWA)模組，計算輸入的多張光場影像(light field image)中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此些光場影像中此至少兩影像的此至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的此聚集相似成本，產生此些光場影像中此至少兩影像的此至少兩畫素間的3-維資訊；以及利用一的全域不穩定消除(GUR)模組，藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一精鍊深度地圖，其中此精鍊深度地圖指出此多張光場影像中的3-維資訊。
本揭露的又一實施例是關於一種深度精鍊的方法。此方法可包含：利用一相似成本計算裝置，以輸入的一影像對(a pair of images)，計算此影像對的相似成本；執行一能量最小化(energy minimization)程序，利用算出的此影像對的此相似成本產生一深度地圖；以及利用一全域不穩定消除(GUR)模組，產生此影像對的一精鍊深度地圖，其中此精鍊深度地圖指出此影像對的3-維資訊。
本揭露的又一實施例是關於一種深度精鍊的方法。此方法 可包含：利用一相似成本計算裝置，以輸入的一影像對，計算此影像對的相似成本；在此影像對的每兩畫素間計算相似成本，並利用算出的相似成本，產生此影像對的3-維資訊；以及利用一全域不穩定消除(GUR)模組，產生輸入的該影像對的一精鍊深度地圖。
本揭露的又一實施例是關於一種深度精鍊的方法。此方法可包含：利用一相似成本計算裝置，以輸入的一影像對，計算此影像對的相似成本；利用一鏈權重聚集(CWA)模組，執行一鏈權重聚集(CWA)程序，利用此影像對中的每兩畫素間計算出的相似成本，以CWA來聚集，從而產生出此影像對中的每兩畫素間的聚集相似成本；藉由產生的該聚集相似成本執行一能量最小化程序，從而產生一深度地圖；以及藉由一全域不穩定消除(GUR)模組，產生輸入的此影像對的一精鍊深度地圖。其中該精鍊深度地圖指出此影像對的3-維資訊。
本揭露的又一實施例是關於一種深度精鍊的方法。此方法可包含：利用一相似成本計算裝置，以輸入的一影像對，計算此影像對的相似成本；利用一鏈權重聚集(CWA)模組，執行一鏈權重聚集(CWA)程序，利用此影像對中的每兩畫素間計算出的相似成本，以CWA來聚集，從而產生出此影像對中的每兩畫素間的聚集相似成本；執行一3-維資訊計算程序，利用算出的聚集相似成本，產生一深度地圖；以及藉由一全域不穩定消 除(GUR)模組，利用產生的該深度地圖，產生輸入的此影像對的一精鍊深度地圖。其中該精鍊深度地圖指出此影像對的3-維資訊。
本揭露的一實施例是關於一種深度精鍊的系統。此系統可包含一相似成本暨鏈權重聚集(CWA)模組、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本暨鏈權重聚集(CWA)模組計算多張影像中至少兩影像的至少兩畫素間的相似成本，並且在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張影像中此至少兩影像的此至少兩畫素間的聚集相似成本。此3-維資訊計算裝置藉由產生的該CWA成本聚集，產生此多張影像中每兩影像間每兩畫素之間的3-維資訊。此全域不穩定消除(GUR)模組藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一精鍊深度地圖，其中此精鍊深度地圖指出此多張影像中的3-維資訊。
本揭露的一實施例是關於一種深度精鍊的系統。此系統可包含一相似成本暨鏈權重聚集(CWA)模組、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本暨鏈權重聚集(CWA)模組計算多張多視角立體影像中至少兩影像的至少兩畫素間的相似成本，並且在執行一鏈權重聚集(CWA)程序 中，以鏈權重聚集該些相似成本，從而產生此多張多視角立體影像中此至少兩影像的此至少兩畫素間的聚集相似成本。此3-維資訊計算裝置藉由產生的此聚集相似成本，產生此多張多視角立體影像中此至少兩影像間的此至少兩畫素間的3-維資訊。此全域不穩定消除(GUR)模組藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一精鍊深度地圖，其中此精鍊深度地圖指出此多張多視角立體影像中的3-維資訊。
本揭露的一實施例是關於一種深度精鍊的系統。此系統可包含一相似成本暨鏈權重聚集(CWA)模組、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本暨鏈權重聚集(CWA)模組計算多張光場影像中至少兩影像的至少兩畫素間的相似成本，並且在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張光場影像中此至少兩影像的此至少兩畫素間的聚集相似成本。此3-維資訊計算裝置藉由產生的此聚集相似成本，產生此多張光場影像中至少兩影像的至少兩畫素間的3-維資訊。此全域不穩定消除(GUR)模組藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一精鍊深度地圖，其中此精鍊深度地圖指出此多張光場影像中的3-維資訊。
本揭露的又一實施例是關於一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一能量最小化模組、以及一全域不穩定消除(GUR)模組。此相似成本計算裝置以輸入的一影像對，計算此影像對的相似成本。此能量最小化模組利用算出的此影像對的此相似成本，產生一深度地圖；以及利用一全域不穩定消除(GUR)模組，產生此影像對的一精鍊深度地圖，其中此精鍊深度地圖指出此影像對的3-維資訊。
本揭露的另一實施例是關於一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本計算裝置以輸入的一影像對，計算此影像對的相似成本。此3-維資訊計算裝置在此影像對的每兩畫素間計算相似成本，並利用算出的相似成本，產生此影像對的3-維資訊。此全域不穩定消除(GUR)模組產生輸入的該影像對的一精鍊深度地圖，其中此精鍊深度地圖指出此影像對的3-維資訊。
本揭露的又一實施例是關於一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一鏈權重聚集(CWA)模組、一能量最小化模組、以及一全域不穩定消除(GUR)模組。此相似成本計算裝置以輸入的一影像對，計算此影像對的相似成本。此鏈權重聚集(CWA)模組執行一鏈權重聚集(CWA)程序，利用此影像對中的每兩畫素間計算出的相似成本，以CWA來聚集， 從而產生出此影像對中的每兩畫素間的聚集相似成本。此能量最小化模組利用算出的該聚集成本執行一能量最小化程序，從而產生一深度地圖。此全域不穩定消除(GUR)模組利用產生的該深度地圖，產生輸入的此影像對的一精鍊深度地圖。其中該精鍊深度地圖指出此影像對的3-維資訊。
本揭露的又一實施例是關於一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一鏈權重聚集(CWA)模組、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本計算裝置以輸入的一影像對，計算此影像對的相似成本。此鏈權重聚集(CWA)模組執行一鏈權重聚集(CWA)程序，從而算出此影像對的聚集相似成本。此3-維資訊計算裝置執行一3-維資訊計算程序，利用此影像對的每兩畫素間計算出的聚集相似成本，產生一深度地圖。此全域不穩定消除(GUR)模組利用產生的此深度地圖，產生輸入的此影像對的一精鍊深度地圖。
茲配合下列圖示、實施例之詳細說明及申請專利範圍，將上述及本發明之其他優點詳述於後。
510‧‧‧根據輸入的一影像與深度資訊，統計此輸入影像的每一畫素的局部深度連續性與其深度之間的關係，產生深度與不穩定性間的統計關係
520‧‧‧利用一門檻值，根據所產生的深度與不穩定性間的一統計關係，決定每一深度是穩定或是不穩定
530‧‧‧根據每一深度是穩定或是不穩定的結果，將輸入的聚集相似成本，只對穩定的深度執行WTA，對不穩定的深度不執行WTA
WTA‧‧‧勝者全得法
710‧‧‧對輸入的一參考影像與一深度圖，做顏色與深度的計數
720‧‧‧對每一個不同的計數，將其取代成一百分比值，並且對此百分比值設定一門檻值，判別穩定或不穩定的深度， 以及可以產生出顏色、深度、以及穩定度的統計
730‧‧‧對每一畫素，得到與該畫素顏色相關的深度-穩定度的統計穩定度統計
740‧‧‧根據此深度-穩定度統計，只對穩定的深度來執行像是WTA方法
810‧‧‧根據輸入的一參考影像與一深度圖，將此參考影像中每一畫素的顏色除以一數值，取得此畫素與一對應的顏色等級
820‧‧‧將該顏色等級的該深度的計數加一，並且將該顏色等級的記數加一
830‧‧‧將同一顏色等級下不同深度的計數，除以該顏色的總計數，得到每一顏色等級下的每一深度的百分比
910‧‧‧根據輸入的一參考影像與一深度圖，將此參考影像中每一畫素的顏色除以一數值，取得此畫素與一對應的顏色等級
920‧‧‧將該顏色等級的該深度的計數加一，並且配置一記憶體空間給此顏色等級，以及使用一指標陣列，其中一指標記錄此顏色等級的一記憶體位置
930‧‧‧將該顏色等級的該深度的計數加一，並且該顏色等級的記數加一
940‧‧‧將同一顏色等級下不同深度的計數除以該顏色的總計數，而得到每一顏色等級下的每一深度相對應的一百分比
1310‧‧‧路徑
W11、W12、W13、W14、W15、W16、W17、以及W18‧‧‧分別是在第一列的畫素1~2之間、畫素2~3之間、畫素3~4之間、畫素4~5之間、畫素5~6之間、畫素6~7之間、畫素7~8之間、以及畫素8~9之間的權重
W19‧‧‧在第一列與第二列分支點間的權重
C11到C19‧‧‧分別為第一列從左到右的第一個到第九個畫素的相似成本
第一圖是根據本揭露的一實施例，說明一種深度精鍊的方法。
第二圖是根據本揭露的又一實施例，說明一種深度精鍊的方 法。
第三圖是根據本揭露的又一實施例，說明一種深度精鍊的方法。
第四A圖是根據本揭露的又一實施例，說明一種深度精鍊的方法。
第四B圖是根據本揭露的又一實施例，說明一種深度精鍊的方法。
第五圖是根據本揭露的一實施例，說明全域不穩定消除(GUR)的運作流程。
第六圖是根據本揭露的一實施例，描述GUR的詳細虛擬程式語言的一範例示意圖。
第七圖是根據本揭露的一實施例，說明GUR的一第一實現範例。
第八圖是根據本揭露的一實施例，說明GUR的一第二實現範例。
第九圖是根據本揭露的一實施例，說明利用一記憶體，此GUR中收集全域資訊的一指標方法。
第十圖是根據本揭露的一實施例，說明一種資料聚集的方法。
第十一圖是根據本揭露的一實施例，說明在向心CWA鏈權重聚集(CWA)中，參考畫素與目標畫素之間的關係的一示意圖。
第十二圖是根據本揭露的一實施例，，描述鏈權重聚集(CWA)之運作的詳細虛擬程式語言的一範例示意圖。
第十三圖是根據本揭露的一實施例，說明利用一序列串流架構 來實現水平與垂直鏈權重聚集的一範例示意圖。
第十四圖是根據本揭露的一實施例，說明資料聚集的方法可應用於多視角影像立體匹配上。
第十五圖是根據本揭露的一實施例，說明資料聚集的方法可應用於全域方法上。
第十六圖是跟據本揭露的一實施例，一種基於畫素的一數位雜訊抑制濾波器的範例。
第十七圖是根據本揭露的一實施例，說明一種資料聚集的方法。
第十八圖是根據本揭露的又一實施例，說明一種資料聚集的方法。
第十九圖是根據本揭露的又一實施例，說明一種資料聚集的方法。
依據本揭露的實施例，提供一種資料聚集與深度精煉(depth refinement)技術。其中精煉技術可以使用鍊權重聚集(CWA)來處理資料。在執行CWA的相似成本聚集(cost aggregation)中，來自光場影像、多視角立體影像、或是立體影像對(stereo image pairs)中至少兩影像的至少兩畫素間的相似成本會被計算出來。然後將這些相似成本以CWA聚集，從而產生出至少兩影像的至少兩畫素間的聚集相似成本。此深度精煉技術可以使用一種全域不穩定消除(GUR)技術來實現。此 GUR技術可用於以局部等級資源(local-level resources)產生全域等級的成果，也可以將利用相似成本產生的一深度地圖，產生一精煉深度地圖。此精煉深度地圖例如是，但不限定於多視角立體影像、或是光場影像的3-維立體資訊。深度地圖精煉技術也可以應用於立體影像對、多視角立體影像、或是光場影像等的立體匹配。資料聚集的技術可使用鍊權重聚集(CWA)方式，其中權重可由兩畫素間的路徑(path)上的一系列畫素的顏色或強度來決定。此資料聚集的技術可應用在局部(local)方法的立體影像匹配、多視角立體影像匹配、光場影像立體匹配、以及影像處理或是資料處理等。
對即時的現場可編程輯閘陣列(Field-Programmable Gate Array，FPGA)與特殊應用積體電路(Application-specific integrated circuit，ASIC)而言，硬體上可能存在許多限制。在軟體立體影像匹配中，能量最小化或遞迴運算(iteration)可能使用大量記憶體存取與運算效能。對硬體及時需求而言，情況會不相同，例如，只有有限量的記憶體能被允許在FPGA核心中使用、需要使用外部同步動態隨機存取記憶體(Synchronous Dynamic Random Access Memory，SDRAM)。依據本揭露的實施例，資料聚集與深度精煉(depth refinement)技術可以實現但不限制於現場可編程輯閘陣列(FPGA)中。例如，資料聚集技術也可實現於圖形處理器(graphic processing unit，GPU)或中央處理器(central processing unit，CPU)中。
依據本揭露的實施例，從一影像對、多張多視角立體影像或是多張光場影像(但不限於此)取得深度資訊後，利用深度精煉技術可以產生深度地圖。影像對指同一場景之不同視角的一對影像，來源可以是一立體照相機、單一照相機移動視角拍攝、或是類似衛星空拍概念之同一區域之不同時間與視角拍攝。多張多視角立體影像指同一場景之不同視角的多個影像。多張光場影像指光場攝影機拍攝後，計算出之同一場景之不同視角的多個影像。雙視角立體影像的水平視差(horizontal disparity)是一個重要的議題。從雙視角(two-view)立體影像取得立體資訊遠比人眼來得複雜。人眼可以很自然且簡單地取得立體影像。依據本揭露的實施例，可從輸入的雙視角影像、多視角影像、或是光場影像(但不限於此)取得深度資訊，也可以產生深度地圖、或是精煉深度地圖等。在深度精煉技術中，依據本揭露的實施例，有幾種方法可以用來增加輸出結果的品質、降低運算成本、以及精煉此深度地圖。例如，可增加FPGA與ASIC的即時運算效等。
依據本揭露的實施例，深度精煉技術可以使用CWA於即時處理資料。CWA可以是路徑權重與鍊聚集的結合。深度精煉技術可以使用GUR來強化資料的連續性(continuity)。此深度精煉技術也可以應用於全域方法或是多視角立體匹配等。
依據本揭露的實施例，鍊權重聚集(CWA)可以用一序列串流方式實現。這表示資料聚集技術可利用一序列串流架構來執行鍊權重聚集。此方法可以預先儲存所有畫素的資料以計算所有的聚集相似成本、或是不預先儲存所有畫素的資料以計算所有的聚集相似成本。依據本揭露的一實施例，可使用兩種暫存器(記憶體)來儲存參考畫素(reference pixel)的聚集相似成本。其中一種為相似成本相加暫存器(cost sum register)，另一種為權重暫存器(weighting register)。在計算影像的參考畫素的聚集相似成本時，此兩種暫存器可以交替重複使用來儲存參考畫素(reference pixel)的聚集相似成本。
以下，參考伴隨的圖示，詳細說明依據本揭露的實施例，俾使本領域者易於瞭解。所述之發明創意可以採用多種變化的實施方式，當不能只限定於這些實施例。本揭露省略已熟知部分(well-known part)的描述，並且相同的參考號於本揭露中代表相同的元件。
第一圖是根據本揭露的一實施例，說明一種深度精鍊的方法。參考第一圖，此深度精煉的方法可由相似成本暨相似成本暨鏈權重聚集(CWA)、三維資訊計算、以及獨立的GUR，共三元件所組成。此CWA的輸入是多張多視角立體影像。在執行此CWA中，此多張多視角影像中至少兩影像的至少兩畫素間的相似成本被算出後，以CWA來聚集，產生此多張多視角立 體影像中至少兩影像的至少兩畫素間的聚集相似成本。在3-維資訊計算中，利用此多張多視角立體影像中的此至少兩影像的至少兩畫素間的聚集相似成本，來產生至少兩畫素間的3-維資訊。此獨立的GUR可利用在此多視角立體影像中的至少兩影像的至少兩畫素間的3-維資訊，來產生至少兩影像的至少兩畫素間的精鍊深度資訊。
也就是說，依據此實施例，此深度精鍊的方法可包含：利用一相似成本暨鏈權重聚集(CWA)模組，計算多張多視角立體影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張多視角立體影像中此至少兩影像的此至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生此多張多視角立體影像中此至少兩影像的此至少兩畫素間的3-維資訊；以及利用一獨立的全域不穩定消除(GUR)模組，藉由產生的此些3-維(3-dimemsional)資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一深度地圖。此深度地圖可指出此多張多視角立體影像中的3-維資訊。
承上述，根據本揭露的一實施例，可提供一種深度精鍊的系統。此系統可包含一相似成本暨鏈權重聚集(CWA)模組、一3-維資訊計算裝置、以及一獨立的全域不穩定消除(GUR)模 組。此相似成本暨鏈權重聚集(CWA)模組計算多張多視角立體影像中至少兩影像的至少兩畫素間的相似成本，並且在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張多視角立體影像中此至少兩影像的此至少兩畫素間的聚集相似成本。此3-維資訊計算裝置藉由產生的該聚集相似成本，產生此多張多視角立體影像中每兩影像間每兩畫素之間的3-維資訊。此獨立的全域不穩定消除(GUR)模組藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一深度地圖，其中此深度地圖指出此多張多視角立體影像中的3-維資訊。
如之前所述，依據本揭露的實施例，從影像對、多視角立體影像或是光場影像(但不限於此)取得深度資訊後，利用深度精煉技術可以產生深度地圖。依此，本揭露的另一實施例是關於一種深度精鍊的方法。此方法可包含：利用一相似成本暨鏈權重聚集(CWA)模組，計算輸入的多張光場影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張光場影像中此至少兩影像的此至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生此多張光場影像中此至少兩影像的此至少兩畫素間的3-維資訊；以及利用一獨立的全域不穩定消除(GUR)模組，藉由產生的此 些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一深度地圖，其中此深度地圖指出此多張光場影像中的3-維資訊。
承上述，根據本揭露的一實施例，可提供一種深度精鍊的系統。此系統可包含一相似成本暨鏈權重聚集(CWA)模組、一3-維資訊計算裝置、以及一獨立的全域不穩定消除(GUR)模組。此相似成本暨鏈權重聚集(CWA)模組計算多張光場影像中至少兩影像的至少兩畫素間的相似成本，並且在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張光場影像中此至少兩影像的此至少兩畫素間的聚集相似成本。此3-維資訊計算裝置藉由產生的該CWA聚集成本，產生此多張光場影像中每兩影像間每兩畫素之間的3-維資訊。此獨立的全域不穩定消除(GUR)模組藉由產生的此些3-維資訊，產生此至少兩張影像的至少兩畫素間的精鍊深度資訊，並且藉由產生的此些精鍊深度資訊，產生一深度地圖，其中此深度地圖指出此多張多視角立體影像中的3-維資訊。
藉由所產生的至少兩張圖間的至少兩個畫素間的精鍊深度資訊，可以產生深度地圖。此深度地圖可以指出在多視角立體影像中的三維資訊。換句話說，影像中不同點所表示的空間中同一點可以由一深度地圖來決定。
根據本揭露的又一實施例，深度精煉方法也可以應用一影像對之立體匹配，如第二圖所示，此深度精煉方法可由相似成本計算、能量最小化、以及獨立的GUR，共三元件所組成。在相似成本計算中，可計算輸入的一影像對的相似成本。在能量最小化中，以能量最小化架構，將此相似成本的結果運算成為一深度地圖。此獨立的GUR可計算輸入的此影像對的精鍊深度地圖。此深度地圖可以指出在一影像對中的三維資訊。.此深度精煉方法可應用於全域匹配。
也就是說，依據此實施例，此深度精鍊的方法可包含：利用一相似成本計算裝置，以輸入的一影像對，計算此影像對的相似成本；執行一能量最小化程序，利用算出的此影像對的此相似成本產生一深度地圖；以及利用一全域不穩定消除(GUR)模組，產生此對立體影像的一精鍊深度地圖，其中此深度地圖指出此影像對的3-維資訊。
承上述，根據本揭露的一實施例，可提供一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本計算裝置以輸入的一影像對，計算此影像對的相似成本。此3-維資訊計算裝置在一影像對的每兩畫素間計算相似成本，並利用算出的相似成本，產生一深度地圖。此全域不穩定消除(GUR)模組產生輸入的該影像對的一精煉深度地圖，其中此深度地圖指 出此影像對的3-維資訊。
第三圖是根據本揭露的又一實施例，說明一種深度精鍊的方法。參考第三圖，此深度精煉發法可由相似成本計算、3-維資訊計算、以及全域不穩定消除(GUR)，共三個元件組成。在相似成本計算中，可計算輸入的一影像對的相似成本。在3-維資訊計算中，利用在一影像對的每兩畫素間計算成相似成本，並使用此相似成本做為輸入來產生深度地圖。此決定立體空間資訊的方法例如是，但是不限於勝者全得法(winner-takes-all，WTA)。此GUR可產生輸入的該影像對的深度地圖。此深度地圖可以指出在該影像對中的三維資訊。依據此實施例，此深度精煉方法也可以應用於全域匹配。
也就是說，依據第三圖的實施例，此深度精鍊的方法可包含：利用一相似成本計算裝置，以輸入的一影像對，計算此影像對的相似成本；在此影像對的每兩畫素間計算相似成本，並利用算出的相似成本，產生一深度地圖；以及利用一全域不穩定消除(GUR)模組，產生輸入的該影像對的一深度地圖，其中此深度地圖指出此影像對的3-維資訊。
承上述，根據本揭露的一實施例，可提供一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本計算裝 置以輸入的一影像對，計算此影像對的相似成本。此3-維資訊計算裝置在一影像對的每兩畫素間計算相似成本，並利用算出的相似成本，產生一深度地圖。此全域不穩定消除(GUR)模組產生輸入的該影像對的一深度地圖，其中此深度地圖指出此影像對的3-維資訊。
第四A圖是根據本揭露的又一實施例，說明一種深度精鍊的方法。參考第四A圖，此深度精煉方法可由相似成本計算、鏈權重聚集(CWA)、能量最小化、以及GUR，共四元件所組成。在相似成本計算中，可計算輸入的一影像對的相似成本。此CWA的輸入是算出的相似成本與該影像對。在執行CWA時，藉由此影像對中的每兩畫素間計算出的相似成本，以CWA來聚集，從而產生出此影像對中的每兩畫素間的聚集相似成本。在能量最小化中，以能量最小化架構，將相似成本結果運算成為一深度地圖。此GUR計算輸入的該影像對的精鍊深度資訊。此深度地圖可以指出在影像對中的三維資訊。依據第四A圖的實施例，此深度精煉方法可以應用於全域匹配。
也就是說，依據第四A圖的實施例，此深度精鍊的方法可包含：利用一相似成本計算裝置，以輸入的一影像對，計算此影像對的相似成本；利用一鏈權重聚集(CWA)模組，執行一鏈權重聚集(CWA)程序，利用此影像對中的每兩畫素間計算出的相似成本，以CWA來聚集，從而產生出此影像對中的每兩 畫素間的聚集相似成本；藉由利用算出的該聚集相似成本執行一能量最小化程序，從而產生一深度地圖；以及藉由一全域不穩定消除(GUR)模組，利用產生的該深度地圖，產生輸入的此影像對的一精鍊深度地圖。其中該深度地圖指出此影像對的3-維資訊。
承上述，根據本揭露的一實施例，可提供一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一鏈權重聚集(CWA)模組、一能量最小化模組、以及一全域不穩定消除(GUR)模組。此相似成本計算裝置以輸入的一影像對，計算此影像對的相似成本。此鏈狀式權重聚集(CWA)模組執行一鏈狀式權重聚集(CWA)程序，利用此影像對中的每兩畫素間計算出的相似成本，以CWA來聚集，從而產生出此影像對中每兩畫素間的聚集相似成本。此能量最小化模組利用算出的該聚集成本執行一能量最小化程序，從而產生一深度地圖。此全域不穩定消除(GUR)模組利用產生的該深度地圖，產生輸入的此影像對的一精鍊深度地圖。其中該深度地圖指出此影像對的3-維資訊。
第四B圖是根據本揭露的又一實施例，說明一種深度精鍊的方法。參考第四B圖，此深度精煉方法可由相似成本計算、鏈權重聚集(CWA)、3-維資訊計算、以及全域不穩定消除(GUR)，共四元件所組成。在相似成本計算中，可計算輸入的一影像對的相似成本。鏈權重聚集(CWA)的輸入是算出的相似 成本與一影像對。在執行CWA時，利用此影像對中每兩畫素間的計算出的相似成本，以CWA來聚集，從而產生出此影像對中每兩畫素間的聚集相似成本。在3-維資訊計算中，使用這些聚集相似成本做為輸入，產生一深度地圖。決定3-維資訊的方法例如是，但是不限定於勝者全得法(WTA)。此GUR計算輸入的一影像對的精鍊深度地圖。此深度地圖可以指出在該影像對中的三維資訊。依據此第第四B圖的實施例，此深度精煉方法可以應用於全域匹配。
也就是說，依據第四B圖的實施例，此深度精鍊的方法可包含：利用一相似成本計算裝置，以輸入的一影像對，計算此影像對的相似成本；利用一鏈權重聚集(CWA)模組，執行一鏈權重聚集(CWA)程序，從而算出此影像對的聚集相似成本；執行一3-維資訊計算程序，利用算出的聚集相似成本，產生一深度地圖；以及利用一全域不穩定消除(GUR)模組，利用產生的此深度地圖，產生輸入的此影像對的一精鍊深度地圖。
承上述，根據本揭露的一實施例，可提供一種深度精鍊的系統。此系統可包含一相似成本計算裝置、一鏈權重聚集(CWA)模組、一3-維資訊計算裝置、以及一全域不穩定消除(GUR)模組。此相似成本計算裝置以輸入的一影像對，計算此影像對的相似成本。此鏈權重聚集(CWA)模組執行一鏈權重聚集(CWA)程序，從而算出此影像對的聚集相似成本。此3-維資訊計算 裝置執行一3-維資訊計算程序，利用算出的聚集相似成本，產生一深度地圖。此全域不穩定消除(GUR)模組利用產生的此深度地圖，產生輸入的此影像對的一精鍊深度地圖。
對串流資料而言，例如網路資料串流、數位多功能影音光碟(Digital Versatile Disc，DVD)讀取資料串流、或是解壓縮資料串流，一張影像的資料轉成一串畫素的資料流，以一時間序列抵達。根據本揭露的一實施例，畫素的序列可從此張影像的左上角開始，從左到右，再從上到下。換句話說，一張影像的起點(start point)是最左上角的畫素，列起點(start point of a row)是指一列最左邊的畫素。列終點(end point of a row)是指一列最右邊的畫素。目前點(current point)指的是一資料流中，目前時刻抵達的畫素。目前列(current row)指目前畫素所在的列。
根據本揭露的實施例，全域不穩定消除(GUR)中的全域(global)可以定義為整張影像、或是某些變化的情形。全域區域可以是一個如影像被切割(image segmentation)後的區域、一個遮罩區域(masked area)、比一視窗大的一區域(涵蓋此視窗)、一時域區域(例如影片)、適應視窗(adaptive windows)、或是不規則形狀的局部鄰近區域的集合等諸如此類。在多視角立體影像的不同影像裡，也有個別的區域。視窗是指具有權重的區域，用來聚集相似成本。權重資訊不一定要使用全影像(whole image)資訊，可以只使用部分影像的資訊。部分影像可以是比 視窗大的區域，讓視窗以外的全域資訊可以用來決定權重。
例如，全域區域可以是，但不限定於整張影像、或是從影像起點到目前列終點、或是從影像起點到目前點、或是從目前點幾列之前的列起點到目前幾列之後的列終點、或是從目前點幾列前的列起點到目前列終點、或是從目前點幾列前的起點到目前點、或是從目前列起點到目前點、或是從目前列起點到目前列終點、或是從目前列起點到目前列終點、或是一個包含目前點的方形區域、或是一個包含目前點的任何形狀區域、或是目前點鄰近區域組成的畫素集合、或是影片中從前幾幀幅到目前幀幅的連續禎幅、或是影片中的連續幀幅、或是使用GUR於局部資料聚集時比視窗大的方形區域或不規則形區域、或是比視窗大的鄰近區域的畫素集合、或是使用GUR於局部資料聚集時與視窗一樣大的方形區域或不規則形區域、或是與視窗一樣大的鄰近區域畫素集合。一個全域區域可以是，但是不限定於影像分割區域、或是由影像遮罩(image mask)決定的區域、或是由部分鄰近區域選出的畫素集合。上述區域說明全域的定義。全域可以應用於，但不限於影像對、多視角立體影像或光場影像。
第五圖是根據本揭露的一實施例，說明全域不穩定消除(GUR)的運作流程。參考第五圖，此GUR可運作如下：根據輸入的一影像與深度資訊，統計此輸入影像的每一畫素的局部深 度連續性與其深度之間的關係，產生深度與不穩定性間的統計關係(步驟510)；利用一門檻值(threshold)，根據所產生的深度與不穩定性間的一統計關係，決定每一深度是穩定或是不穩定(步驟520)；根據每一深度是穩定或是不穩定的結果，將輸入的相似成本，只對穩定的深度執行WTA，對不穩定的深度不執行WTA(步驟530)，從而產生出一精煉深度地圖。
根據本揭露的另一實施例，繼步驟510後，可以利用算出之深度與不穩定性間的統計關係，產生一懲罰權重。不穩定性越高之深度，懲罰權重越大。然後利用此懲罰權重，去改變相似成本，並對所有深度執行WTA，從而產生出一精煉深度地圖。
換句話說，根據本揭露的實施例，利用步驟510產生的此統計關係，在輸出的精煉深度地圖中，可降低不穩定性高的深度所出現的機率。
根據本揭露的實施例，GUR收集全域資訊做分類，例如直方圖、數值統計等以此類推。GUR使用局部等級架構的資源來分析與收集所得到的全域分類資訊，並改變全域分類資訊的資料。如此一來，可以用局部等級的資源來達到全域的成果。
此例中，連續性可以用來當穩定性，但是不限於此。一畫素的穩定性可以是該畫素與其周圍畫素的深度連續性。也就是說，當局部連續性很強時，該畫素就定義為穩定畫素；當局部連續性很弱時，該畫素定義為不穩定畫素。當該畫素與其周圍畫素的深度一樣時，連續性最強。當該畫素與其周圍畫素的深度差異很大時，表示該畫素的連續性很弱。
第六圖是根據本揭露的一實施例，描述GUR的詳細虛擬程式語言的一範例示意圖。在第六圖中，穩定度定義為連續性。在圖六中，虛擬程式語言分成兩部分，其中一部分是收集全域資訊的一實施例，另一部分是以收集的全域資訊重作WTA的精鍊的一實施例。精煉的實施例並不限於重作WTA。例如，可以採用收集的全域資訊來重做相似成本聚集。
有很多種資訊可以應用於穩定度的分類上。例如，色差(color difference)、顏色連續性(color continuity)、顏色統計(color histogram)、深度連續性(depth continuity)、深度差別(depth difference)、深度邊緣(depth boundary)、畫素位置差異(pixel spatial position difference)、相似成本、遮罩、或是上述的任何組合、或是定義一個穩定的判斷式等以此類推。
以下描述兩種GUR的實施例。第七圖是根據本揭露的一實施例，說明GUR的一第一實現範例。參考第七圖，GUR對 輸入的一參考影像與一深度圖，做顏色與深度的計數(count)(步驟710)。GUR可以對每一個不同的計數，將其取代成一百分比值(percentage)，並且對此百分比值設定一門檻值，判別穩定或不穩定的深度，以及可以產生出顏色、深度、以及穩定度的統計(步驟720)。
換句話說，如果與該畫素顏色相關的顏色深度統計大於一個門檻值，例如大於百分之四十的此顏色的畫素的深度都集中在某個深度，則此深度可被定義為穩定。對每一畫素，GUR可以得到與該畫素顏色相關的深度-穩定度的統計穩定度統計(步驟730)。
每一畫素都有一個顏色。多個畫素可能會有相同的顏色。對每一顏色，可以有一個深度-穩定度統計，來決定在此顏色下，有那些深度是穩定，有那些深度是不穩定。然後，GUR可以根據此深度-穩定度統計，只對穩定的深度來執行像是WTA方法(步驟740)，然後產生一精煉深度地圖。在步驟740中，並不限於WTA方法。
根據本揭露的另一實施例，繼步驟710之後，可以利用算出之顏色、深度、以及穩定度的計數，產生一懲罰權重。在一顏色中，穩定度越低的深度，懲罰權重越大。然後利用此懲罰權重去改變相似成本，並對所有深度執行WTA，從而產生出 一精煉深度地圖。
換句話說，基於步驟710算出的計數，在輸出的精煉深度地圖中，可降低穩定度低的深度所出現的機率。
第八圖是根據本揭露的一實施例，說明GUR的一第二實現範例，其中此GUR收集全域資訊做分類。參考第八圖，此GUR根據輸入的一參考影像與一深度圖，將此參考影像中每一畫素的顏色除以一數值(如此，在執行除法後，擁有相同整數部分的多個畫素可被分類為同一顏色等級)，取得此畫素與一對應的顏色等級(步驟810)，然後將該顏色等級的該深度的計數加一，並且將該顏色等級的記數加一(步驟820)。從而產生一顏色統計(color statistics)與一深度統計(depth statistics)。此GUR中收集全域資訊的方法可以將同一顏色等級下不同深度的計數，除以該顏色的總計數，得到每一顏色等級下的每一深度的百分比(步驟830)。換句話說，此GUR中收集全域資訊的方法可以將一或多個類似的顏色的畫素視為同一顏色等級的畫素。
依據本揭露的一實施例，GUR中收集全域資訊的方法可以將真實存在於輸入的參考影像中的顏色分類儲存於一記憶體中。第九圖是根據本揭露的一實施例，說明利用一記憶體，此GUR中收集全域資訊的一指標方法(pointer scheme)。參考第 九圖，此GUR根據輸入的一參考影像與一深度圖，將此參考影像中每一畫素的顏色除以一數值(如此，在執行除法後，擁有相同整數部分的多個畫素可被分類為同一顏色等級)，取得此畫素與一對應的顏色等級(步驟910)，再將該顏色等級的該深度的計數加一，並且配置一記憶體空間給此顏色等級，以及使用一指標陣列，其中一指標(pointer)記錄此顏色等級的一記憶體位置(步驟920)，然後將該顏色等級的該深度的計數加一，並且該顏色等級的記數加一(步驟930)，從而產生一顏色統計、一深度統計、記數、以及一指標陣列(pointer array)，此指標陣列中每一指標紀錄每一顏色等級相對應的記憶體位置。此GUR中收集全域資訊的方法可以將同一顏色等級下不同深度的計數除以該顏色的總計數，而得到每一顏色等級下的每一深度相對應的一百分比(步驟940)。
此GUR之收集全域資訊的方法中，其輸出可包括一指標陣列，此指標陣列中每一指標紀錄每一顏色等級相對應的記憶體實體位置(physical location)，以及對應該顏色等級的每一深度的計數百分比。換句話說，此GUR中收集全域資訊的方法配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構(pointer structure)來管理此記憶體空間。在步驟910中，此GUR中收集全域資訊的方法可以將一個或多個類似的顏色視為同一顏色等級，或是直接將不同顏色視為不同等級。
如之前所述，依據本揭露的實施例，深度精煉技術可以使用鍊權重聚集(CWA)於處理即時資料，但不限於處理即時資料的應用。例如，CWA可以是是路徑上的權重與鍊聚集的結合。依據本揭露的一實施例，此CWA技術可被使用於資料聚集的技術中。例如在資料聚集的前處理中，權重可由兩畫素之間的路徑上的一系列畫素的顏色或強度來決定，再以CWA方式來使用權重。然後聚集方式例如是，但不限定於局部的向心樹聚集(local centripetal tree aggregation)。此CWA技術技術可應用於局部方法的影像對的立體影像匹配、多視角立體影像匹配、光場影像立體匹配、影像處理或是資料處理。此CWA技術也可實現於圖形處理器、或中央處理器等。依據本揭露的另一實施例，也可以採用如數位雜訊錄波器(Digital Noise Filter，DNF)來進行前處理。
在資料聚集的技術中，依據本揭露的一實施例，鍊權重聚集(CWA)可以用一序列串流方式實現。此方法可以預先儲存所有畫素的資料以計算所有的聚集相似成本、或是不預先儲存所有畫素的資料以計算所有的聚集相似成本。依據本揭露的一實施例，可使用兩種暫存器(記憶體)來儲存參考畫素(reference pixel)的聚集相似成本。以下，參考伴隨的圖示，依據本揭露的實施例，詳細說明資料聚集的技術。
第十圖是根據本揭露的一實施例，說明一種資料聚集的方 法。參考第十圖，此資料聚集的方法可由相似成本計算、以及鏈權重聚集(CWA)，共兩元件所組成。相似成本計算的輸入是一影像對。例如，影像對可由左右兩攝影機分別對同一物件取像。在相似成本計算後，產生至少一組的相似成本。一相似成本例如是一絕對值。此鏈權重聚集(CWA)有兩輸入，其中一輸入是相似成本計算後所產生的相似成本，另一輸入是該影像對。在執行鍊權重聚集(CWA)後，所有參考畫素的所有深度的所有聚集相似成本會被計算出來。
第十一圖是根據本揭露的一實施例，說明在向心CWA鏈權重聚集(CWA)中，參考畫素(reference pixel)與目標畫素(target pixel)之間的關係的一示意圖。在第十一圖的範例中，假設一視窗尺寸(window size)是9×9畫素。視窗中的畫素做為一參考畫素的鄰近畫素(neighboring pixels)。一參考畫素定義為聚集的一目標(destination)。而一目標畫素定義為聚集至參考畫素的來源(source)。第十一圖說明一視窗中的其中一目標畫素的範例。參考第十一圖，兩畫素之間的關係可由路徑和路徑上的畫素的顏色差異或強度差異(資料差異)來決定。在參考畫素與目標畫素中，有一個鍊(chain)。一個鍊可包含複數個畫素。參考畫素與目標畫素之間的權重可以由鍊上所有鄰近畫素之間的權重決定。換句話說，在參考畫素與目標畫素之間的權重可以由鄰近畫素來決定。
一個參考畫素的聚集相似成本是由鄰近區域內的目標畫素們的貢獻相加而成。每一畫素對一參考畫素(例如中央畫素)的貢獻可以藉由將此畫素的相似成本乘以此畫素的權重決定。幾例來說，一目標畫素(例如第一列第五個畫素)對參考畫素(例如中央畫素)的相似成本的貢獻可以藉由相似成本C乘以相關的權重W1~W4來決定。換句話說，一參考畫素的聚集相似成本是所有目標畫素的相似成本乘以自己的權重後再相加。
權重可以由例如畫素顏色變化或強度變化來決定。變化度越相似(例如顏色變化)，權重越高。一目標畫素對一參考畫素的總權重可以由乘以一路徑上的所有權重來決定。依此，此資料聚集的技術具有一局部架構，可以不需要根據每一影像輸入來重建一個鍊聚集架構。所以，此資料聚集的技術可以是一種使用較少記憶體需求的技術。
第十二圖是根據本揭露的一實施例，描述鏈權重聚集(CWA)之運作的詳細虛擬程式語言的一範例示意圖。水平與垂直CWA或是向心CWA都適用於第十二圖所描述的虛擬程式語言。
根據本揭露的一實施例，鍊權重聚集方法可以用一序列串流方式來實現。這表示此資料聚集的技術可利用一序列串流架構來執行鏈權重聚集(CWA)。此此資料聚集的技術可以不預先 儲存所有畫素的資料來計算所有的聚集相似成本，也可以預先儲存資料來計算聚集相似成本。根據本揭露的一實施例，可使用兩種暫存器(記憶體)來計算參考畫素的聚集相似成本，其中一種是相似成本相加暫存器(cost sum register)，另一種是權重暫存器(weighting register)。此兩種暫存器可以交替重複使用來計算影像的參考畫素的聚集相似成本。第十三圖是根據本揭露的一實施例，說明利用一序列串流架構來實現水平與垂直鏈權重聚集的一範例示意圖。
假設一視窗尺寸是9×9畫素如第十三圖所示。視窗中的畫素做為一參考畫素的鄰近畫素。畫素1到畫素9是在第一列從左到右的九個畫素。參考第十三圖，對每一分支點(branch node)需要一相似成本相加暫存器來儲存相似成本相加值(cost sum)。分支點係指一路徑上分歧的點。例如有斜線標記的畫素5就是一個分支點。對每一條逆向路徑則需要一個權重暫存器。
一逆向路徑是指一路徑在一序列串流資料中，此逆向路徑上有需要等待被讀取進來的畫素。假設一視窗尺寸是9×9畫素如第十三圖所示。視窗中的畫素做為一參考畫素(中央畫素)的鄰近畫素。畫素1到畫素9是在第一列從左到右的九個畫素。路徑1310就是一逆向路徑。在處理畫素5時，畫素6~9需要等待被讀取進來。依此，分支點(畫素5)的相似成本相加暫存器可以用來儲存相似成本相加值，當聚集左半部的鍊的時候， 只需要相似成本相加暫存器。如第十三圖所示，第一列前五個畫素的聚集是(((((C11*W11)+C12)*W12+C13)*W13+C14)*W14+C15).,其中W11、W12、W13、W14、W15、W16、W17、以及W18分別是在第一列的畫素1~2之間、畫素2~3之間、畫素3~4之間、畫素4~5之間、畫素5~6之間、畫素6~7之間、畫素7~8之間、以及畫素8~9之間的權重。W19是在第一列與第二列分支點間的權重。C11到C19分別為第一列從左到右的第一個到第九個畫素的相似成本。
當處理第一列的最後四個畫素時，需要使用一權重暫存器，每當一新的權重被算出時，此新的權重會乘以此權重暫存器中的值並且相乘後的結果儲存至此權重暫存器中。如第十三圖所示，在處理畫素6、畫素7、畫素8、畫素9時，權重暫存器中的狀態分別為W15,W15*W16,W15*W16*W17,W15*W16*W17*W18.
每一在逆向路徑上的畫素的相似成本會被當下權重暫存器的數值所相乘，相乘後的結果會加進該列的相似成本相加暫存器。例如，在第一列處理完後，一第一列相似成本相加暫存器(first-row cost sum register)的狀態會是 (((((C11*W11)+C12)*W12+C13)*W13+C14)*W14+C15)+C16*W15+C17*W15*W16+C18*W15*W16*W17+C19*W15*W16*W17*W18.
在進行第二列的聚集時，除了在第二列第五個畫素多了一個來自上一個分支點的加法之外，其他和第一列的聚集一樣。多出來的運算是，先將權重W19乘以此第一列相似成本相加暫存器中的值後，再將此第一列相似成本相加暫存器的值加入至一第二列相似成本相加暫存器(second-row cost sum register)中的值。加入至此第二列相似成本相加暫存器的數值是(((((C11*W11)+C12)*W12+C13)*W13+C14)*W14+C15)*W19+(C16*W15+C17*W15*W16+C18*W15*W16*W17+C19*W15*W16*W17*W18)*W19.
承上述可知，依據此實施例，此鍊權重聚集(CWA)的序列串流方法可以不需要將所有畫素的資訊先預存以計算所有參考畫素的聚集相似成本，但不限於此。依據本揭露的一實施例，此鍊權重聚集的技術也可以先將資訊預存來計算參考畫素的聚集相似成本。
依據本揭露的實施例，鍊權重聚集也可以用在全域方法(global method)或是多視角立體影像之立體匹配上。第十四圖與第十五圖說明兩個實施例，分別說明資料聚集的方法可應用 於多視角立體影像之立體匹配與全域方法(global method)上。
第十四圖是根據本揭露的一實施例，說明此資料聚集的方法可應用於多視角立體影像之立體匹配上。參考第十四圖，資料聚集的方法可由兩元件所組成。其中一元件是執行鍊權重聚集，另一元件是以CWA聚集的相似成本決定畫素的3-維資訊。此決定3-維資訊的方法例如是，但不限定於勝者全得法(WTA)。
CWA的輸入可以是多視角立體影像、或是光場影像，但不限定於此。在執行CWA時，多視角立體影像中至少兩影像的至少兩畫素間的相似成本會被計算出來，然後以CWA來聚集，產生出多視角立體影像中至少兩影像的至少兩畫素間的聚集相似成本。在決定3-維資訊中，使用CWA的結果，產生出一深度地圖。深度地圖可以是指多視角立體影像、或是光場影像的3-維立體資訊.換句話說，在不同影像上的同一點的3-維資訊可以從深度地圖取得。
第十五圖是根據本揭露的一實施例，說明資料聚集的方法可應用於全域方法上。參考第十五圖，資料聚集的方法可由四件所組成。第一元件是相似成本計算，用來計算輸入影像的相似成本。輸入影像可以是，但不限定於影像對、多視角立體影像、或是光場影像等。第二元件是鍊權重聚集(CWA)，CWA 的輸入是算出的相似成本與輸入影像。在執行CWA時，此輸入影像的聚集相似成本係利用CWA聚集方法來算出。
第三元件是能量最小化。此能量最小化利用CWA聚集方法算出的聚集相似成本，運算成為一深度地圖。第四元件是執行全域不穩定消除(GUR)的精煉(refinement)。此GUR的精煉利用輸入影像的深度地圖，產生一精煉深度地圖。依據此實施例，深度地圖的精煉方法可以應用在全域方法中。
在數位影像中，有許多有畫素頻率的規律雜訊的例子很少被注意到或論及。此類規律雜訊會導致相似成本的不穩定。根據本揭露的一實施例，第十六圖是一種基於畫素的一數位雜訊抑制濾波器的範例。在第十六圖的範例中，此濾波器的所有參數都是二進位數值，例如1/4、1/8、及以1/16。所以，位移器(shifter)可以取代乘法器。使用位移器可以加快運作速度。此濾波器也可使用在沒有數位雜訊的影像中。此濾波器使用於原始資料，而非改變大小後的資料(resized data)。
第十七圖是根據本揭露的一實施例，說明一種資料聚集的方法。參考第十七圖，資料聚集的方法可由兩元件所組成。其中一元件是鍊權重聚集，另一元件是能量最小化。在執行CWA時，多張多視角立體影像中至少兩影像的至少兩畫素間的相似成本會被計算出來，然後以CWA來聚集，產生出多張多視角 立體影像中至少兩影像的至少兩畫素間的聚集相似成本。在能量最小化中，以能量最小化架構，將聚集相似成本結果運算成為一深度地圖。其中此深度地圖指出此多張多視角立體影像中的3-維資訊。換句話說，不同影像中不同點所表示的空間中同一點可以由一深度地圖來決定。此資料聚集的方法可應用於多視角立體影像中。
第十八圖是根據本揭露的又一實施例，說明一種資料聚集的方法。參考第十八圖，資料聚集的方法可由相似成本計算、鍊權重聚集(CWA)、以及能量最小化，共三元件所組成。在相似成本計算中，以輸入的一影像對計算此影像對中每兩畫素間的相似成本。在執行鏈權重聚集(CWA)時，將算出的相似成本以CWA來聚集，產生出此影像對中每兩畫素間的聚集相似成本。在能量最小化中，以能量最小化架構，將該聚集相似成本運算成為一深度地圖。其中此深度地圖指出此影像對的3-維資訊。換句話說，此影像對中不同點所表示的空間中同一點可以由此深度地圖來決定。此資料聚集的方法可應用於影像對中。
第十九圖是根據本揭露的又一實施例，說明一種資料聚集的方法。參考第十九圖，資料聚集的方法可由兩元件所組成。其中一元件是相似成本暨鍊權重聚集，另一元件是勝者全得法(WTA)。此相似成本暨鏈權重聚集(CWA)計算多張多視角立體 影像中至少兩影像的至少兩畫素間的相似成本，並且在執行一鏈權重聚集(CWA)程序中，以鏈權重聚集該些相似成本，從而產生此多張多視角立體影像中此至少兩影像的此至少兩畫素間的聚集相似成本。此勝者全得法(WTA)將前述所產生的聚集相似成本，運算成為畫素的3-維資訊。決定每兩畫素間的3-維資訊的方法例如是，但不限定於WTA。例如，可採用勝者全得法(WTA)的修改版。
綜上所述，依據本揭露的實施例提供一種深度精鍊與資料聚集的方法與系統。其中精煉技術可以使用鍊權重聚集(CWA)來處理資料。在執行CWA的相似成本聚集中，來自光場影像、多視角立體影像、或是影像對中至少兩影像的至少兩畫素間的相似成本會被計算出來。然後將這些相似成本以CWA聚集，從而產生出至少兩影像的至少兩畫素間的聚集相似成本。此深度精煉技術可以使用一種全域不穩定消除(GUR)技術來實現。此GUR技術可用於以局部等級資源產生全域等級的成果，也可以將利用相似成本產生的一深度地圖，產生一精煉深度地圖。此精煉深度地圖例如是，但不限定於多視角立體影像、或是光場影像的3-維資訊。深度地圖精煉技術也可以應用於影像對、多視角立體影像、或是光場影像等的立體匹配。依據本揭露的實施例，資料聚集的技術使用鍊權重聚集(CWA)方式。此資料聚集的技術可應用在局部方法的立體影像匹配、多視角立體影像匹配、光場影像立體匹配、以及影像處理或是 資料處理等。
以上所述者僅為依據本揭露的實施範例，當不能依此限定本揭露實施之範圍。即大凡發明申請專利範圍所作之均等變化與修飾，皆應仍屬本揭露專利涵蓋之範圍。

Claims (57)

  1. 一種深度精鍊的方法，包含：利用一相似成本暨鏈權重聚集模組，計算多張影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集程序中，以鏈權重聚集該些相似成本，從而產生該多張影像中該至少兩影像的該至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生該多張影像中該至少兩影像的該至少兩畫素間的3-維資訊；以及利用一全域不穩定消除模組，藉由產生的該些3-維資訊，產生該至少兩張影像的該至少兩畫素間的精鍊深度資訊，並且藉由產生的該些精鍊深度資訊，產生一精鍊深度地圖，其中該精鍊深度地圖指出該多張影像中的3-維資訊。
  2. 如申請專利範圍第1項所述之方法，其中該鏈權重聚集用一序列串流方式實現。
  3. 如申請專利範圍第1項所述之方法，其中該鏈權重聚集是路徑權重與鍊聚集的結合。
  4. 如申請專利範圍第1項所述之方法，其中該多張影像是多張多視角立體影像、或是多張光場影像。
  5. 如申請專利範圍第1項所述之方法，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  6. 如申請專利範圍第1項所述之方法，其中該全域不穩定消除模組的運作還包括：根據輸入的一影像與深度資訊，統計輸入的該影像的每一畫素的局部深度連續性與其深度之間的關係，產生深度與不穩定性間的一統計關係。
  7. 如申請專利範圍第6項所述之方法，其中該全域不穩定消除模組的運作還包括：利用該統計關係，對穩定的深度執行一勝者全得法，從而產生出該精煉深度地圖。
  8. 如申請專利範圍第6項所述之方法，其中該全域不穩定消除模組的運作還包括：利用該統計關係，產生一懲罰權重，並利用該懲罰權重，去改變該些相似成本，以產生出該精煉深度地圖。
  9. 如申請專利範圍第5項所述之方法，其中該全域不穩定消除模組使用一整張影像或是該整張影像的部分影像的資訊的做為權重資訊。
  10. 如申請專利範圍第5項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  11. 如申請專利範圍第10項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，配置一記憶體空間來 記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  12. 如申請專利範圍第2項所述之方法，其中該方法還包括：使用兩種暫存器來儲存一或多個參考畫素的聚集相似成本，其中一種為相似成本相加暫存器，另一種為權重暫存器；以及在計算該一或多個參考畫素的聚集相似成本時，交替重複使用該兩種暫存器來儲存該一或多個參考畫素的聚集相似成本。
  13. 一種深度精鍊的方法，包含：利用一相似成本暨鏈權重聚集模組，計算多張多視角立體影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集程序中，以鏈權重聚集該些相似成本，從而產生該多張多視角立體影像中該至少兩影像的該至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生該多張多視角立體影像中該至少兩影像的該至少兩畫素間的3-維資訊；以及利用一全域不穩定消除模組，藉由產生的該些3-維資訊，產生該至少兩張影像的該至少兩畫素間的精鍊深度資訊，並且藉由產生的該些精鍊深度資訊，產生一精鍊深度地圖，其中該精鍊深度地圖指出該多張多視角立體影像中的3-維資訊。
  14. 一種深度精鍊的方法，包含：利用一相似成本暨鏈權重聚集模組，計算多張光場影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集程序中，以鏈權重聚集該些相似成本，從而產生該多張光場影像中該至少兩影像的該至少兩畫素間的聚集相似成本；利用一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生該多張光場影像中該至少兩影像的該至少兩畫素間的3-維資訊；以及利用一全域不穩定消除模組，藉由產生的該些3-維資訊，產生該至少兩張影像的該至少兩畫素間的精鍊深度資訊，並且藉由產生的該些精鍊深度資訊，產生一精鍊深度地圖，其中該精鍊深度地圖指出該多張光場影像中的3-維資訊。
  15. 一種深度精鍊的方法，包含：利用一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；執行一能量最小化程序，利用算出的該影像對的相似成本，產生一深度地圖；以及利用一全域不穩定消除模組，產生該影像對的一精鍊深度地圖，其中該精鍊深度地圖指出該影像對的3-維資訊。
  16. 如申請專利範圍第15項所述之方法，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構 的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  17. 如申請專利範圍第16項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  18. 如申請專利範圍第17項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  19. 一種深度精鍊的方法，包含：利用一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；在該影像對的每兩畫素間計算相似成本，並利用算出的相似成本，產生該影像對的3-維資訊；以及利用一全域不穩定消除模組，產生輸入的該影像對的一精鍊深度地圖。
  20. 如申請專利範圍第19項所述之方法，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  21. 如申請專利範圍第20項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏 色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  22. 如申請專利範圍第21項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  23. 一種深度精鍊的方法，包含：利用一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；利用一鏈權重聚集模組，執行一鏈權重聚集程序，利用該影像對中的每兩畫素間計算出的相似成本，以鏈權重聚集來聚集，從而產生出該影像對中的每兩畫素間的聚集相似成本；藉由產生的該聚集相似成本執行一能量最小化程序，從而產生一深度地圖；以及藉由一全域不穩定消除模組，產生輸入的該影像對的一精鍊深度地圖，其中該精鍊深度地圖指出該影像對的3-維資訊。
  24. 如申請專利範圍第23項所述之方法，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  25. 如申請專利範圍第24項所述之方法，其中該全域不穩定 消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  26. 如申請專利範圍第25項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  27. 一種深度精鍊的方法，包含：利用一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；利用一鏈權重聚集模組，執行一鏈權重聚集程序，利用該影像對中的每兩畫素間計算出的相似成本，以鏈權重聚集來聚集，從而產生出該影像對中的每兩畫素間的聚集相似成本；執行一3-維資訊計算程序，利用算出的該聚集相似成本，產生一深度地圖；以及藉由一全域不穩定消除模組，利用產生的該深度地圖，產生輸入的該影像對的一精鍊深度地圖，其中該精鍊深度地圖指出此影像對的3-維資訊。
  28. 如申請專利範圍第26項所述之方法，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  29. 如申請專利範圍第28項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  30. 如申請專利範圍第29項所述之方法，其中該全域不穩定消除模組在收集全域資訊做分類中，配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  31. 一種深度精鍊的系統，包含：一相似成本暨鏈權重聚集模組，計算多張影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集程序中，以鏈權重聚集該些相似成本，從而產生該多張影像中該至少兩影像的該至少兩畫素間的聚集相似成本；一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生該多張影像中該至少兩影像的該至少兩畫素間的3-維資訊；以及一全域不穩定消除模組，藉由產生的該些3-維資訊，產生該至少兩張影像的該至少兩畫素間的精鍊深度資訊，並且藉由產生的該些精鍊深度資訊，產生一精鍊深度地圖，其中該精鍊深度地圖指出該多張影像中的3-維資訊。
  32. 如申請專利範圍第31項所述之系統，其中該多張影像是多張多視角立體影像、或是多張光場影像。
  33. 如申請專利範圍第31項所述之系統，其中該全域不穩定 消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  34. 如申請專利範圍第33項所述之系統，其中該全域不穩定消除模組使用一整張影像或是該整張影像的部分影像的資訊的做為權重資訊。
  35. 如申請專利範圍第33項所述之系統，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  36. 如申請專利範圍第35項所述之系統，其中該系統配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  37. 如申請專利範圍第31項所述之系統，其中該系統還使用兩種暫存器來儲存一或多個參考畫素的聚集相似成本，其中一種為相似成本相加暫存器，另一種為權重暫存器，並且在計算該一或多個參考畫素的聚集相似成本時，交替重複使用該兩種暫存器來儲存該一或多個參考畫素的聚集相似成本。
  38. 一種深度精鍊的系統，包含：一相似成本暨鏈權重聚集模組，計算多張多視角立體影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集程序中，以鏈權重聚集該些相似成本，從而產 生該多張多視角立體影像中該至少兩影像的該至少兩畫素間的聚集相似成本；一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生該多張多視角立體影像中該至少兩影像的該至少兩畫素間的3-維資訊；以及一全域不穩定消除模組，藉由產生的該些3-維資訊，產生該至少兩張影像的該至少兩畫素間的精鍊深度資訊，並且藉由產生的該些精鍊深度資訊，產生一精鍊深度地圖，其中該精鍊深度地圖指出該多張多視角立體影像中的3-維資訊。
  39. 一種深度精鍊的系統，包含：一相似成本暨鏈權重聚集模組，計算多張光場影像中至少兩影像的至少兩畫素間的相似成本，以及在執行一鏈權重聚集程序中，以鏈權重聚集該些相似成本，從而產生該多張光場影像中該至少兩影像的該至少兩畫素間的聚集相似成本；一3-維資訊計算裝置，藉由產生的該聚集相似成本，產生該多張光場影像中該至少兩影像的該至少兩畫素間的3-維資訊；以及一全域不穩定消除模組，藉由產生的該些3-維資訊，產生該至少兩張影像的該至少兩畫素間的精鍊深度資訊，並且藉由產生的該些精鍊深度資訊，產生一精鍊深度地圖，其中該精鍊深度地圖指出該多張光場影像中的3-維資訊。
  40. 一種深度精鍊的系統，包含：一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；一能量最小化模組，利用算出的該影像對的此相似成本，產生一深度地圖；以及利用一全域不穩定消除(GUR)模組，產生該影像對的一精鍊深度地圖；其中，該精鍊深度地圖指出該影像對的3-維資訊。
  41. 如申請專利範圍第40項所述之系統，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  42. 如申請專利範圍第40項所述之系統，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  43. 如申請專利範圍第40項所述之系統，其中該系統配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  44. 一種深度精鍊的系統，包含：一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；一3-維資訊計算裝置在該影像對的每兩畫素間計算相似成 本，並利用算出的相似成本，產生該影像對的3-維資訊；以及一全域不穩定消除(GUR)模組產生輸入的該影像對的一精鍊深度地圖；其中，該精鍊深度地圖指出該影像對的3-維資訊。
  45. 如申請專利範圍第44項所述之系統，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  46. 如申請專利範圍第44項所述之系統，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  47. 如申請專利範圍第44項所述之系統，其中該全域不穩定消除模組在收集全域資訊做分類中，配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  48. 一種深度精鍊的系統，包含：一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；一鏈權重聚集(CWA)模組，執行一鏈權重聚集(CWA)程序，利用該影像對中的每兩畫素間計算出的相似成本，以CWA來聚集，從而產生出該影像對中的每兩畫素間的聚集相似 成本；一能量最小化模組，利用算出的該聚集成本執行一能量最小化程序，從而產生一深度地圖；以及一全域不穩定消除(GUR)模組，利用產生的該深度地圖，產生輸入的該影像對的一精鍊深度地圖；其中，該精鍊深度地圖指出該影像對的3-維資訊。
  49. 如申請專利範圍第48項所述之系統，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  50. 如申請專利範圍第48項所述之系統，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  51. 如申請專利範圍第48項所述之系統，其中該全域不穩定消除模組在收集全域資訊做分類中，配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  52. 如申請專利範圍第48項所述之系統，其中該系統還使用兩種暫存器來儲存一或多個參考畫素的聚集相似成本，其中一種為相似成本相加暫存器，另一種為權重暫存器，並且在計算該一或多個參考畫素的聚集相似成本時，交替重複使用該兩種暫存器來儲存該一或多個參考畫素的聚集相 似成本。
  53. 一種深度精鍊的系統，包含：一相似成本計算裝置，以輸入的一影像對，計算該影像對的相似成本；一鏈權重聚集(CWA)模組，執行一鏈權重聚集(CWA)程序，從而算出該影像對的聚集相似成本；一3-維資訊計算裝置，執行一3-維資訊計算程序，利用該影像對的每兩畫素間計算出的聚集相似成本，產生一深度地圖；以及一全域不穩定消除(GUR)模組，利用產生的該深度地圖，產生輸入的該影像對的一精鍊深度地圖。
  54. 如申請專利範圍第53項所述之系統，其中該全域不穩定消除模組收集全域資訊做分類，並且使用一局部等級架構的資源來分析與收集所得到的該全域的分類資訊，並改變該全域的分類資訊的資料。
  55. 如申請專利範圍第53項所述之系統，其中該全域不穩定消除模組在收集全域資訊做分類中，將一或多個類似的顏色的畫素視為同一顏色等級的畫素，或是直接將不同顏色的畫素視為不同等級的顏色的畫素。
  56. 如申請專利範圍第53項所述之系統，其中該系統配置一記憶體空間來記錄實際存在的顏色等級，並且使用一指標結構來管理該記憶體空間。
  57. 如申請專利範圍第53項所述之系統，其中該系統還使用 兩種暫存器來儲存一或多個參考畫素的聚集相似成本，其中一種為相似成本相加暫存器，另一種為權重暫存器，並且在計算該一或多個參考畫素的聚集相似成本時，交替重複使用該兩種暫存器來儲存該一或多個參考畫素的聚集相似成本。
TW102149101A 2013-12-16 2013-12-30 深度精鍊與資料聚集的方法與系統 TWI566203B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361916588P 2013-12-16 2013-12-16
US201361916599P 2013-12-16 2013-12-16

Publications (2)

Publication Number Publication Date
TW201525939A true TW201525939A (zh) 2015-07-01
TWI566203B TWI566203B (zh) 2017-01-11

Family

ID=54197728

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102149101A TWI566203B (zh) 2013-12-16 2013-12-30 深度精鍊與資料聚集的方法與系統

Country Status (1)

Country Link
TW (1) TWI566203B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761003B2 (en) 2015-09-25 2017-09-12 Delta Electronics, Inc. Stereo image depth map generation device and method
TWI604417B (zh) * 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
WO2022000458A1 (zh) * 2020-07-03 2022-01-06 深圳市大疆创新科技有限公司 图像深度信息确定方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111342B2 (en) * 2010-07-07 2015-08-18 Electronics And Telecommunications Research Institute Method of time-efficient stereo matching
CN103325120A (zh) * 2013-06-30 2013-09-25 西南交通大学 一种快速自适应支持权值双目视觉立体匹配方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761003B2 (en) 2015-09-25 2017-09-12 Delta Electronics, Inc. Stereo image depth map generation device and method
TWI608447B (zh) * 2015-09-25 2017-12-11 台達電子工業股份有限公司 立體影像深度圖產生裝置及方法
TWI604417B (zh) * 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
WO2022000458A1 (zh) * 2020-07-03 2022-01-06 深圳市大疆创新科技有限公司 图像深度信息确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
TWI566203B (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
US11562498B2 (en) Systems and methods for hybrid depth regularization
CN103262119B (zh) 用于对图像进行分割的方法和系统
Jung et al. A novel 2D-to-3D conversion technique based on relative height-depth cue
CN104574342B (zh) 视差深度图像的噪声识别方法和噪声识别装置
CN111462206A (zh) 一种基于卷积神经网络的单目结构光深度成像方法
JP2013500536A5 (zh)
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
TWI566203B (zh) 深度精鍊與資料聚集的方法與系統
CN105046689A (zh) 一种基于多层次图结构的交互式立体图像快速分割方法
Li et al. Ds-mvsnet: Unsupervised multi-view stereo via depth synthesis
Dehnavi et al. Cost and power efficient FPGA based stereo vision system using directional graph transform
CN109087344A (zh) 三维重建中的图像选择方法及装置
Li et al. Graph-based saliency fusion with superpixel-level belief propagation for 3D fixation prediction
KR101526465B1 (ko) 그래픽 프로세서 기반 깊이 영상 화질 개선 방법
CN102708570A (zh) 获取深度图的方法及装置
Haji-Esmaeili et al. Large-scale monocular depth estimation in the wild
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
CN110738719A (zh) 一种基于视距分层优化的Web3D模型渲染方法
Choi et al. Implementation of Real‐Time Post‐Processing for High‐Quality Stereo Vision
He et al. Sparse depth map upsampling with rgb image and anisotropic diffusion tensor
Kuo et al. 2D-to-3D conversion for single-view image based on camera projection model and dark channel model
Chen et al. Live accurate and dense reconstruction from a handheld camera
Cambra et al. A generic tool for interactive complex image editing
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation
Sanada et al. FPGA implementation of a memory-efficient stereo vision algorithm based on 1-d guided filtering