TWI610271B - 結合小波轉換及角點偵測建立單張影像深度圖的裝置及其方法 - Google Patents

Abstract

一種結合小波轉換及角點偵測建立單張影像深度圖的裝置及其方法，以便提供一用於將2維(2D)平面影像訊號，轉換為3維(3D)立體影像訊號影像的轉換系統使用，其中，本發明的深度圖建立方法所產生的深度圖中，每一影像區塊分別被賦予一深度值，本發明的方法包含以下步驟：S1輸入原始影像；S2對原始影像執行小波轉換及角點偵測；S3根據小波轉換結果以及角點偵測結果，建立一散焦圖；S4根據小波轉換之小波係數值，執行深度預測；S5對應之深度值至散焦圖，以執行深度擴散；S6最後，產生深度圖。

Description

結合小波轉換及角點偵測建立單張影像深度圖的裝置及其方法

本發明有關於視訊系統，尤指一種深度圖(Depth Map)產生裝置及其方法，用以將二維影像資料轉換成三維影像資料。

自從2009年阿凡達3D電影的上市以來，人們開始追求於3D顯示技術的娛樂效果，2010年3D轉播世界盃足球賽，一直到了2016年的虛擬實境頭盔，皆顯示著我們的娛樂產業由2D轉像了3D，人們不在滿足於2D所帶來的影像效果，開始追求於3D顯示技術，目前，因為3D顯示技術的商業化，以及有關3D內容的服務也日益增加，相對的使用者對於3D的需求也跟著增加，然而，對於3D內容的開發並沒有顯著的進展，對比之下，現有相當龐大數量的2D影像或視訊，且個人所拍攝之影像也屬於2D影像，正等著被有效的利用，以便轉換成3D視訊應用。

緣此，有發明人發明如中國專利公開號第CN 103559701 A「基於DCT係數熵的二維單視圖像深度估計方法」中，其提出以具有景深 的單張影像中，進行深度的預測，其對擷取待處理的影像中的每個像素點，以該像素點為中心擷取窗口作為子影像，並對這些子影像進行小波轉換後，對影像中的小波係數值進行量化，然後計算其係數熵以做為該像素點的模糊度，接著透過線性映射把熵值映射到一8bit的深度值域，以得到一像素級的深度圖。又，有發明人提出中國專利公告號第CN 10247539B號「視頻圖像2D轉3D的方法」，其利用小波轉換對單張具有景深的影像進行深度的預測，透過對原始影像進行小波轉換，以提取影像中的高頻係數，並將影像分為數個區塊，接著統計每個區塊中非零係數的數目為該區塊的模糊度，同時，基於原始影像的顏色特徵，對原始影像進行顏色分割成三類像素集合，然後比較每一個像素集合的模糊度以統計平均值，最大值對應的像素集合做為前景，次大值對應的像素集合看作中景，最小對應的像素值則看作背景，最後由預設景深的系統對前景、中景以及背景分別賦予不同的深度值，以得到深度圖。

由上述所揭之習知技術可知先前技術，習知之深度圖產生方法具有相關缺點，如對於以像素點為中心之窗口，其窗口設定之大小需人工設立，且無法根據不同的影像自動進行調整。再者，使用原始影像的顏色特徵將影像分割為三類像素的集合，僅僅將影像分為前景、中景以及背景，顯然在我們平時所看到的豐富影像具有多層次的深度資訊不同，導致無法產生正確的深度圖。

有鑑於此，本發明人係依據多年從事相關行業及研究，針對 現有的深度圖產生方法進行研究及分析，期能發明出改善習知缺點之深度圖產生方法，緣此，本發明之主要目的在於不需人工干涉，且符合人眼所觀看之深度資訊的結合小波轉換及角點偵測建立單張影像深度圖的裝置及其方法。

為達上述目的，本發明所述之結合小波轉換及角點偵測建立單張影像深度圖的裝置及其方法，具有一影像擷取單元，用以擷取或輸入一原始影像；一影像分析單元，與影像擷取單元呈資訊連結，用以對該影像擷取單元所擷取或輸入之原始影像執行影像分析，其中，所述的影像分析可執行影像分析演算法，所述的影像分析演算法可為小波轉換、角點偵測等；一影像合成單元，與該影像分析單元呈資訊連結，當影像分析單元執行影像分析演算法後，影像合成單元可將影像分析單元分析之結果執行影像合成，以產生一散焦圖；一深度計算單元，與影像合成單元呈資訊連結，當影像合成單元產生該散焦圖後，該深度計算單元係依據該影像分析單元分析之結果，執行一深度預測演算法，並將深度預測之結果對應至該散焦圖，以便深度計算單元可依據深度預測與散焦圖對應之結果，執行一深度擴散演算法，且所述的深度擴散演算法可為一拉普拉斯插值技術或一全域插值演算法，並不以此為限。

1‧‧‧結合小波轉換及角點偵測建立單張影像深度圖的裝置

11‧‧‧影像擷取單元

12‧‧‧影像分析單元

13‧‧‧影像合成單元

14‧‧‧深度計算單元

S1‧‧‧輸入原始影像步驟

S2‧‧‧影像分析步驟

S22‧‧‧角點偵測步驟

S23‧‧‧小波轉換步驟

S231‧‧‧轉換為灰階影像步驟

S232‧‧‧尋找局部最大值步驟

S233‧‧‧局部最大值對應小波係數值

S234‧‧‧閥值計算結果

S3‧‧‧建立散焦圖步驟

S4‧‧‧深度預測步驟

S41‧‧‧直方圖局部最大值之個數步驟

S42‧‧‧依據個數建立窗口步驟

S43‧‧‧對小波轉換結果進行模糊度計算

步驟

S44‧‧‧深度預測結果步驟

S5‧‧‧深度擴散步驟

S6‧‧‧產生深度圖步驟

6‧‧‧深度圖距離指標

第1圖，為本發明之結構示意圖。

第2圖，為本發明之步驟流程圖。

第3圖，為本發明之實施示意圖-小波轉換分析二值化後之結果圖。

第4圖，為本發明之實施示意圖(一)-散焦圖。

第5圖，為本發明之實施示意圖(二)-產生之深度圖。

第6圖，為本發明之深度預測步驟。

第7圖，為本發明之小波轉換閥值設立步驟。

第8圖，為本發明之小波轉換閥值設立後之結果圖。

於以下說明書的描述中，「深度圖」一詞是指深度值的二維矩陣，而該矩陣中的每一深度值，分別對應一場景的相對位置，以及每一深度值代表一特定參考位置至該場景之各相對位置的距離，若一2D影像的每一像素具有各自的深度值，則該2D影像就能使用3D技術來顯示。

茲為使 貴審查委員得以對本發明所欲達成之目的、技術手段及功效等有進一步了解與認識，謹佐以較佳實施例搭配圖式進行說明。

請參閱「第1圖」，圖中所示為本發明之結構示意圖，如圖所示，本發明之結合小波轉換及角點偵測建立單張影像深度圖的裝置1，主要係由一影像擷取單元11、一影像分析單元12、一影像合成單元13、一深度計算單元14所組構而成，其中，該影像擷取單元11係可擷取一原始影像，而所述的該原始影像為2D影像或視訊，該影像分析單元12，與該影像擷取單元11呈資訊連結，用以接收該原始影像後，執行複數個影像分析演算法，其中，所述的影像分析演算法可為一小波轉換演算法、一角點偵測演算法其中之一種或其組合，又，所述的該小波轉換演算法可為離散小波轉換或 連續小波轉換，又，該角點偵測演算法可為Moravec角點檢測、Harris角點檢測、FAST角點檢測，其中之一種，但凡可偵測該原始影像中之角點偵測演算法皆為本發明之實施範疇內，但並不以此為限。該影像合成單元13與該影像分析單元12呈資訊連結，用以將該影像分析單元12所分析之影像結果執行一影像合成，進而產生一散焦圖。該深度計算單元14與該影像合成單元13呈資訊連結，係依據該影像分析單元12所分析之影像結果執行一深度預測演算法後，經該深度預測演算法至結果透過該影像合成單元13進行合成，爾後，該深度計算單元14接續執行一深度擴散演算法，且所述的深度擴散演算法可為一拉普拉斯插值技術或一全域插值演算法，並不以此為限，最後，產生與該原始影像搭配之一深度圖。

承上所述，並請參閱「第2圖」，圖中所示為本發明之步驟流程圖，如圖所示，本發明實施步驟如下：一輸入原始影像步驟S1，其為該影像擷取單元11所輸入之該原始影像。一影像分析步驟S2，其包含有一小波轉換步驟S23及一角點偵測步驟S22，係對該原始影像進行一小波轉換分析及一角點偵測分析，其中，該小波轉換步驟S23係執行一小波轉換演算法，以產生一小波轉換分析結果，且所述的小波轉換演算法可為一離散小波轉換或一連續小波轉換其中之一種，並不以此為限，及該角點偵測步驟S22係執行一角點偵測演算法，以產生一角點偵測之結果，且該角點偵測演算法可為該角點偵測演算法可為Moravec角點檢測、Harris角點檢測、FAST角點檢測其中之一種，並請搭配參閱「第3圖」，圖中所示為本發明之實施示意圖，如圖所示為小波轉換分析二值化後之結果；一建立散焦圖步驟S3，其為該影像合成單元13將該小波轉換分析結果及該角點偵測之結果進行合 成，以產生一散焦圖，請搭配參閱「第4圖」，圖中所示為本發明之實施示意圖(一)，如圖所示為該散焦圖，所述的合成為該角點偵測之結果對應於該小波轉換分析結果，以提取該角點偵測結果中像素點於該小波轉換分析結果之係數值；一深度預測步驟S4，為該深度計算單元14依據該影像分析步驟S2對該原始影像進行小波轉換後之小波轉換結果執行一深度預測演算法，以對原始影像進行一深度預測，該深度計算單元14執行該深度預測演算法後，與該建立散焦圖步驟S3所產生之該散焦圖，透過該影像合成單元13進行合成，以產生一散焦深度圖，所述的合成為該深度預測之結果對應於該散焦圖之結果，並將深度預測之結果替換至散焦圖中；一深度擴散步驟S5，為依據該散焦深度圖執行一深度擴散演算法，且所述之該深度擴散演算法可為該拉普拉斯插值技術或該全域插值演算法；最後，產生深度圖步驟S6，該深度計算單元14執行完深度擴散演算法後，係會產生一深度圖，請參閱「第5圖」，圖中所示為本發明之實施示意圖(二)，如圖所示為該深度圖，其中深度圖距離指標6為顯示圖中像素距離影像擷取單元11遠近之指標。

承上所述，並請同時搭配參閱「第6圖」，圖中所示為本發明之深度預測步驟，如圖所示，該深度預測步驟S4所執行之該深度預測演算法之步驟流程為一直方圖局部最大值個數步驟S41，係找出該原始影像之灰階值直方圖於該灰階值直方圖中之峰值個數；一依據個數建立窗口步驟S42，依據該峰值個數建立一計算窗口；一對小波轉換結果進行模糊度計算S43，係依據該小波轉換結果以該窗口之中心像素點為中心執行一鄰域計算，計算該中心像素點鄰域之小波轉換結果；一深度預測結果步驟S44，係 依據計算中心點像素鄰域之結果，即模糊度，進行深度預測。

承上所述，並請同時搭配參閱「第7圖」，圖中所示為本發明之小波轉換閥值設立步驟，如圖所示，小波轉換步驟S23進一步包含有小波轉換閥值設立步驟，其步驟包含有一轉換為灰階影像步驟S231，係將該原始影像轉換為一灰階影像；一尋找局部最大值步驟S232，係依據該原始影像之灰階影像建立一灰階值直方圖，並於該灰階值直方圖中，尋找峰值所在之灰階值；一局部最大值對應小波係數值步驟S233，將所尋找到的峰值所在之所有灰階值，其位於於該原始影像之位置對應至小波轉換結果中之係數值所在之位置，並將所有係數值擷取出來；一閥值計算結果步驟S234，將所擷取之係數值透過數值分析，進行小波轉換閥值設立，其中所述的數值分析可為辛普森法則，且閥值Th計算函式如下：

其中，f(x)為所擷取之所有係數值，並將所有係數值中，取前三大之係數值，透過方程式(1)進行閥值之計算，當閥值計算完成後，滿足下列函式：

其中，I(m,n)為小波轉換結果，Th為計算之閥值，並請搭配參閱「第3圖」，圖中所示為本發明之實施示意圖，如圖所示為小波轉換後並二值化之結果，即為尚未設立閥值之結果，並請參閱「第8圖」，圖中所示為本發明之實施例示意圖(二)，如圖所示為閥值設立後之結果，將大於等於閥值之結果設為255，即白色部分，小於閥值之結果為0，即黑色部分。

綜上所述，本發明之結合小波轉換及角點偵測建立單張影像 深度圖的裝置及其方法，主要係藉一影像分析演算法對一原始影像進行影像分析，以使一深度計算單元可執行深度預測演算法後，執行深度擴散演算法，以產生深度圖，由於影像分析演算法執行快速，且準確率高，不需複雜計算，因此量測效率佳，且又因本發明不需複雜且龐大的運算，因此成本亦相對減少，又，可達到本發明之主要目的不需人工干涉，且符合人眼所觀看之深度資訊的結合小波轉換及角點偵測建立單張影像深度圖的裝置及其方法。

雖本發明已以較佳實施例揭露如上，然，其並非用以限定本發明之申請專利範圍，任何熟習此技藝者，再不脫離本發明之精神和範圍內，當可作些許更動及修改，因此本發明之保護範圍並不以此為限。

S1‧‧‧輸入原始影像步驟

S2‧‧‧影像分析步驟

S22‧‧‧角點偵測步驟

S23‧‧‧小波轉換步驟

S3‧‧‧建立散焦圖步驟

S4‧‧‧深度預測步驟

S5‧‧‧深度擴散步驟

S6‧‧‧產生深度圖步驟

Claims (2)

1. 一種結合小波轉換及角點偵測建立單張影像深度圖的裝置，其包括：一影像擷取單元，用以輸入一原始影像；一影像分析單元，與該影像擷取單元呈資訊連結，用以執行一影像分析演算法，並透過小波轉換演算法及角點偵測演算法分析該影像擷取單元輸入之該原始影像，且該小波轉換演算法進一步包含有一小波轉換閥值設立步驟；一影像合成單元，與該影像分析單元呈資訊連結，用以將該影像分析單元分析該原始影像後之複數個分析結果，將該複數個分析結果執行一影像合成，而產生一散焦圖；一深度計算單元，與該影像合成單元呈資訊連結，可依據該複數個分析結果執行一深度預測演算法，該深度計算單元所執行之該深度預測演算法，其步驟為依據該原始影像之一灰階值直方圖之局部最大值個數，建立一窗口，並依據該影像分析之結果執行一模糊度之計算，完成後，執行一深度擴散演算法；以及該深度擴散演算法執行後，可產生一深度圖。
2. 一種結合小波轉換及角點偵測建立單張影像深度圖的方法，其係應用於一結合小波轉換及角點偵測建立單張影像深度圖的裝置，包括有一影像擷取單元、一影像分析單元、一影像合成單元、一深度計算單元，且所述之各單元互相成資訊連結，該結合小波轉換及角點偵測建立單張影像深度圖的裝置，其實施方法包括：一輸入原始影像步驟，透過該影像擷取單元輸入一原始影像； 一影像分析步驟，承上，該影像分析單元執行複數個影像分析演算法，分析該原始影像；一建立散焦圖步驟，當該影像分析步驟完成後，該影像合成單元將該影像分析步驟所分析之該原始應像的結果，執行一影像合成，進而產生一散焦圖；一深度預測步驟，當該散焦圖產生後，該深度計算單元依據該影像分析步驟之結果執行一深度預測演算法，該深度預測演算法其步驟為依據該原始影像之一灰階值直方圖之局部最大值個數，建立一窗口，並依據該影像分析之結果執行一模糊度之計算；一深度擴散步驟，當該深度計算單元執行完該深度預測演算法後，執行一深度擴散演算法；一產生深度圖步驟，承上，當該深度擴散演算法完成後，產生一深度圖。