TWI608447B - 立體影像深度圖產生裝置及方法 - Google Patents

Description

立體影像深度圖產生裝置及方法

本發明是有關於一種影像處理技術，且特別是有關於一種立體影像處理技術。

立體視覺技術（stereo vision）被廣泛應用於各種領域如三維電影等，而深度圖（depth map）則是產生立體視覺的重要資訊。深度圖可經由立體匹配（stereo matching）而得，其精確度將影響影像的品質。然而，在目前的技術中，深度圖的品質往往受限於視差的破碎部份及邊緣膨脹狀況，而造成所產生的三維影像在觀看時產生抖動現象。

因此，如何設計一個新的立體影像深度圖產生裝置及方法，以解決上述的缺失，乃為業界亟待解決的問題。

本發明之目的在於提供一種立體影像深度圖產生裝置，包含：深度計算模組、第一階雙邊濾波（bilateral filter）模組以及第二階雙邊濾波模組。深度計算模組接收包含複數參考像素之參考影像以及包含複數目標像素之目標影像，並根據參考像素以及目標像素之像素差異產生初始深度圖（initial depth map）。第一階雙邊濾波（bilateral filter）模組接收初始深度圖，以對初始深度圖與初始深度圖自身進行第一階雙邊濾波計算，以產生平均深度圖。第二階雙邊濾波模組接收平均深度圖以及目標影像，以對平均深度圖以及目標影像進行第二階雙邊濾波計算，以產生精煉（refined）深度圖。

本發明之另一目的在於提供一種立體影像深度圖產生方法，包含：使深度計算模組接收包含複數參考像素之參考影像以及包含複數目標像素之目標影像，並根據參考像素以及目標像素之像素差異產生初始深度圖；使第一階雙邊濾波模組接收初始深度圖，以對初始深度圖與初始深度圖自身進行第一階雙邊濾波計算，以產生平均深度圖；以及使第二階雙邊濾波模組接收平均深度圖以及目標影像，以對平均深度圖以及目標影像進行第二階雙邊濾波計算，以產生精煉深度圖。

應用本發明之優點在於藉由兩階雙邊濾波，對深度圖進行進一步的精煉，以增進深度圖的品質，輕易地達到上述之目的。

請參照第1圖。第1圖為本發明一實施例中，一種立體影像深度圖產生裝置1的方塊圖。立體影像深度圖產生裝置1包含：深度計算模組10、第一階雙邊濾波模組12以及第二階雙邊濾波模組14。

深度計算模組10接收參考影像Ir及目標影像It。參考影像Ir及目標影像It均為二維影像。於一實施例中，參考影像Ir為右眼影像，且目標影像It為左眼影像。於另一實施例中，參考影像Ir為左眼影像，且目標影像It為右眼影像。參考影像Ir包含複數參考像素（未繪示），目標影像It則包含複數目標像素（未繪示）。

於一實施例中，立體影像深度圖產生裝置1包含轉換單元16A及16B，分別先將參考影像Ir以及目標影像It由RGB色彩空間轉換為YcbCr色彩空間後，再由深度計算模組10接收轉換後的參考影像Ir’以及目標影像It’進行處理。

深度計算模組10根據參考影像Ir’的參考像素以及目標影像It’的目標像素之像素差異產生初始深度圖（initial depth map）ID。

第一階雙邊濾波（bilateral filter）模組12接收初始深度圖ID，以對初始深度圖ID與初始深度圖ID自身進行第一階雙邊濾波計算，以產生平均深度圖ID’。

於一實施例中，第一階雙邊濾波模組12所進行的第一階雙邊濾波計算為雙邊網格（bilateral grid）濾波計算。雙邊網格濾波技術是由基本的雙邊濾波技術演變而來。

其中，雙邊濾波技術為非線性的濾波技術，可將影像模糊化與保留影像邊緣的內容資訊。雙邊網格濾波技術則進一步提高計算效率，將二維的影像映射至三維空間。藉由網格大小的控制，將可對映射到三維空間的像素進行雙邊濾波，再將取值映射回原本的影像，取得平滑的畫面。於一實施例中，第一階雙邊濾波模組12對初始深度圖ID與初始深度圖ID自身進行的第一階雙邊濾波計算，可進行像素距離的權重以及像素色差的權重，以使初始深度圖ID所包含的視差（disparity）資訊產生平滑的效果，達到校正視差資訊破碎的問題。

第二階雙邊濾波模組14接收平均深度圖ID’以及目標影像It，以對平均深度圖ID’以及目標影像It’進行第二階雙邊濾波計算，以產生精煉（refined）深度圖IDR。

類似地，於一實施例中，第二階雙邊濾波模組14所進行的第二階雙邊濾波計算為雙邊網格濾波計算。第二階雙邊濾波計算利用二維的目標影像It’修正初始深度圖ID中的視差資訊在邊界會膨脹的問題。

因此，本發明的立體影像深度圖產生裝置1藉由兩階雙邊濾波，對深度圖進行進一步的精煉，以增進深度圖的品質。

請參照第2圖。第2圖為本發明一實施例中，深度計算模組10更詳細的方塊圖。深度計算模組10包含：權重計算單元20、成本計算單元22、成本聚合（cost aggregation）單元24以及後處理單元26。

於一實施例中，深度計算模組10可更包含均值濾波單元，用以將參考影像Ir’進行均值濾波後，再由權重計算單元20接收並處理。於一實施例中，平均濾波的大小可採用例如，但不限於三乘三大小的視窗進行，以將參考影像Ir’的雜訊濾除。

權重計算單元20判斷參考像素間之參數差值所位於的差值範圍，以對各參考像素指定差值範圍對應的權重值21。其中，參數差值為色彩參數差值或空間參數差值。舉例來說，色彩參數差值可為灰階值的差值，而空間參數差值則可為像素距離的差值。於一實施例中，上述的差值範圍與權重值21間具有二進位對應關係。

請同時參照第3圖。第3圖為本發明一實施例中，參數差值與權重值21的對應曲線關係圖。其中，橫軸代表參數差值，縱軸代表權重值21。

於部份技術中，差值範圍與權重值是採用如較細的曲線30所代表的指數對應關係。以指數對應關係來產生權重的優點是對權重敏感度較高，但相對地，每個像素的參考視窗中的每個值都需要重新計算，造成計算量龐大。

較粗的曲線32所代表的二進位對應關係是將每個差值範圍的區間設定一個權重值。和指數的點對點對應關係不同，二進位是以線對點的方式來指定權重，不但可以大幅減少運算量，也可以忽略部份雜訊造成的誤差。

成本計算單元22藉由視窗匹配（window matching）以及預設搜尋範圍，對參考影像Ir’的參考像素以及目標影像It’的目標像素計算成本值23。

於一實施例中，成本計算單元22所計算的各成本值23，分別為參考像素其中之一以及目標像素其中之一的絕對差截值（truncated absolute difference）。更詳細的說，像素間的差值會針對一個預設的臨界值來取絕對值，其目的在於降低雜訊帶來的影響。於一實施例中，成本值23的數目是由搜尋範圍的大小決定，當搜尋範圍愈大，計算成本的次數就會愈多。

成本聚合單元24根據權重值21以及成本值23進行成本聚合計算，以產生對應初始深度圖ID的複數深度像素的多組成本聚合值25。於一實施例中，成本聚合單元24將參考視窗內的值進行統計，以根據權重值21以及成本值23計算出像素差異值的總和。於不同的實施例中，成本聚合單元24可將參考視窗內相對應的權重值21以及成本值23相乘後再加總，或是採用水平跟垂直方向分開聚合的方式。其中，各組成本聚合值包含最大成本聚合值以及最小成本聚合值。

後處理單元26接收多組成本聚合值25，除找出最小成本聚合值外，更進一步計算最大成本聚合值以及最小成本聚合值間的比值。當比值大於預設的門檻值時，後處理單元26判斷此最小成本聚合值為可靠。而當比值小於門檻值時，後處理單元26判斷最小成本聚合值為不可靠。藉由上述的方式，後處理單元26可獲得可靠度遮罩的分佈。於一實施例中，對於不可靠的像素，後處理單元26可產生修正成本聚合值。其中，修正成本聚合值可藉由其他週邊的像素參數進行平均或是其他處理來產生。

後處理單元26進一步輸出對應所有深度像素之可靠的最小成本聚合值，以及修正成本聚合值，以產生初始深度圖ID。經過可靠度遮罩的產生，初始深度圖ID可被精煉，以提升其正確性。

因此，本發明的深度計算模組10可藉由二進位的權重對應關係以及可靠度遮罩的產生，達到提升運算速度以及精煉初始深度圖ID的功效。

請參照第4圖。第4圖為本發明一實施例中，一種立體影像深度圖產生方法400的流程圖。立體影像深度圖產生方法400可應用於如第1圖所繪示的立體影像深度圖產生裝置1。立體影像深度圖產生方法400包含下列步驟（應瞭解到，在本實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行）。

於步驟401，使深度計算模組10接收參考影像Ir以及目標影像It，並根據參考像素以及目標像素之像素差異產生初始深度圖ID。

於步驟402，使第一階雙邊濾波模組12接收初始深度圖ID，以對初始深度圖ID與初始深度圖ID自身進行第一階雙邊濾波計算，以產生平均深度圖ID’。

於步驟403，使第二階雙邊濾波模組14接收平均深度圖ID’以及目標影像It，以對平均深度圖ID’以及目標影像It進行第二階雙邊濾波計算，以產生精煉深度圖IDR。

雖然本案內容已以實施方式揭露如上，然其並非用以限定本案內容，任何熟習此技藝者，在不脫離本案內容之精神和範圍內，當可作各種之更動與潤飾，因此本案內容之保護範圍當視後附之申請專利範圍所界定者為準。

1‧‧‧立體影像深度圖產生裝置
12‧‧‧第一階雙邊濾波模組
16A、16B‧‧‧轉換單元
21‧‧‧權重值
23‧‧‧成本值
25‧‧‧成本聚合值
28‧‧‧均值濾波單元
400‧‧‧立體影像深度圖產生方法
10‧‧‧深度計算模組
14‧‧‧第二階雙邊濾波模組
20‧‧‧權重計算單元
22‧‧‧成本計算單元
24‧‧‧成本聚合單元
26‧‧‧後處理單元
30、32‧‧‧曲線
401-403‧‧‧步驟

第1圖為本發明一實施例中，一種立體影像深度圖產生裝置的方塊圖； 第2圖為本發明一實施例中，深度計算模組更詳細的方塊圖； 第3圖為本發明一實施例中，參數差值與權重值的對應曲線關係圖：以及 第4圖為本發明一實施例中，一種立體影像深度圖產生方法的流程圖。

1‧‧‧立體影像深度圖產生裝置

10‧‧‧深度計算模組

12‧‧‧第一階雙邊濾波模組

14‧‧‧第二階雙邊濾波模組

16A、16B‧‧‧轉換單元

Claims (18)

1. 一種立體影像深度圖產生裝置，包含：一深度計算模組，用以接收包含複數參考像素之一參考影像以及包含複數目標像素之一目標影像，並根據該等參考像素以及該等目標像素之像素差異產生一初始深度圖(initial depth map)，該深度計算模組包含：一權重計算單元，用以判斷該等參考像素間之複數參數差值位於一差值範圍，以指定各該等參考像素該差值範圍對應的一權重值；以及一成本計算單元，藉由一視窗匹配(window matching)以及一預設搜尋範圍，對該等參考像素以及該等目標像素計算該等成本值；一第一階雙邊濾波(bilateral filter)模組，用以接收該初始深度圖，以對該初始深度圖與該初始深度圖自身進行一第一階雙邊濾波計算，以產生一平均深度圖；以及一第二階雙邊濾波模組，用以接收該平均深度圖以及該目標影像，以對該平均深度圖以及該目標影像進行一第二階雙邊濾波計算，以產生一精煉(refined)深度圖。
2. 如請求項1所述之立體影像深度圖產生裝置，其中該第一階雙邊濾波計算以及該第二階雙邊濾波計算分別為一雙邊網格(bilateral grid)濾波計算。
3. 如請求項1所述之立體影像深度圖產生裝置，其中該深度計算模組包含：一成本聚合(cost aggregation)單元，用以根據該等參考像素以及該等目標像素間之複數成本值進行一成本聚合計算，以產生對應該初始深度圖的複數深度像素的多組成本聚合值，其中一組成本聚合值包含一最大成本聚合值以及一最小成本聚合值；以及一後處理單元，用以計算該最大成本聚合值以及該最小成本聚合值間之一比值，以於該比值大於一門檻值時判斷該最小成本聚合值為可靠，並於該比值小於該門檻值時判斷該最小成本聚合值為不可靠並產生一修正成本聚合值；該後處理單元進一步輸出對應所有該等深度像素之可靠的該最小成本聚合值以及該修正成本聚合值，以產生該初始深度圖。
4. 如請求項3所述之立體影像深度圖產生裝置，其中該成本聚合單元根據該等參考像素對應之該權重值以及該等成本值進行該成本聚合計算。
5. 如請求項4所述之立體影像深度圖產生裝置，其中各該等成本值分別為該等參考像素其中之一以及該等目標像素其中之一之一絕對差截值(truncated absolute difference)。
6. 如請求項4所述之立體影像深度圖產生裝置，其中該差值範圍與該權重值具有一二進位對應關係。
7. 如請求項4所述之立體影像深度圖產生裝置，其中該參數差值為一色彩參數差值或一空間參數差值。
8. 如請求項1所述之立體影像深度圖產生裝置，更包含二轉換單元，分別將該參考影像以及該目標影像由RGB色彩空間轉換為YcbCr色彩空間後由該深度計算模組處理。
9. 如請求項1所述之立體影像深度圖產生裝置，其中該深度計算模組更包含一均值濾波單元，用以將該參考影像進行一均值濾波後進行處理。
10. 一種立體影像深度圖產生方法，包含：使一深度計算模組接收包含複數參考像素之一參考影像以及包含複數目標像素之一目標影像，並根據該等參考像素以及該等目標像素之像素差異產生一初始深度圖；使該深度計算模組之一權重計算單元判斷該等參考像素間之複數參數差值位於一差值範圍，以對各該等參數 差值所對應的該等參考像素指定該差值範圍對應的一權重值；使該深度計算模組之一成本計算單元藉由一視窗匹配以及一預設搜尋範圍，對該等參考像素以及該等目標像素計算該等成本值；使一第一階雙邊濾波模組接收該初始深度圖，以對該初始深度圖與該初始深度圖自身進行一第一階雙邊濾波計算，以產生一平均深度圖；以及使一第二階雙邊濾波模組接收該平均深度圖以及該目標影像，以對該平均深度圖以及該目標影像進行一第二階雙邊濾波計算，以產生一精煉深度圖。
11. 如請求項10所述之立體影像深度圖產生方法，其中該第一階雙邊濾波計算以及該第二階雙邊濾波計算分別為一雙邊網格濾波計算。
12. 如請求項10所述之立體影像深度圖產生方法，更包含：使該深度計算模組之一成本聚合單元根據該等參考像素以及該等目標像素間之複數成本值進行一成本聚合計算，以產生對應該初始深度圖的複數深度像素的多組成本聚合值，其中一組成本聚合值包含一最大成本聚合值以及一最小成本聚合值； 使該深度計算模組之一後處理單元，用以計算該最大成本聚合值以及該最小成本聚合值間之一比值，以於該比值大於一門檻值時判斷該最小成本聚合值為可靠，並於該比值小於該門檻值時判斷該最小成本聚合值為不可靠並產生一修正成本聚合值；以及使該後處理單元進一步輸出對應所有該等深度像素之可靠的該最小成本聚合值以及該修正成本聚合值，以產生該初始深度圖。
13. 如請求項12所述之立體影像深度圖產生方法，更包含：使該成本聚合單元根據該等參考像素對應之該權重值以及該等成本值進行該成本聚合計算。
14. 如請求項13所述之立體影像深度圖產生方法，其中各該等成本值分別為該等參考像素其中之一以及該等目標像素其中之一之一絕對差截值。
15. 如請求項13所述之立體影像深度圖產生方法，其中該差值範圍與該權重值具有一二進位對應關係。
16. 如請求項13所述之立體影像深度圖產生方法，其中該參數差值為一色彩參數差值或一空間參數差值。
17. 如請求項13所述之立體影像深度圖產生方法，更包含：使二轉換單元分別將該參考影像以及該目標影像由RGB色彩空間轉換為YcbCr色彩空間後由該深度計算模組處理。
18. 如請求項10所述之立體影像深度圖產生方法，更包含：使該深度計算模組更包含之一均值濾波單元將該參考影像進行一均值濾波後進行處理。