TWI420413B - 深度圖強化方法及其電腦可讀媒體 - Google Patents

Description

深度圖強化方法及其電腦可讀媒體

本發明係有關於深度圖，特定而言係有關於深度圖強化方法。

三維立體影像顯示技術已成為目前影像顯示技術領域中之趨勢。三維立體影像之成像原理主要係從左右眼所視得之對象物之不同影像差異，而形成有遠近深度之立體感覺。目前市場上之3D動畫、遊戲在製作同時便已先有空間之資訊，故利用空間之資訊可輕易轉換為深度(Depth)資訊。若要製作3D立體影像，則一般係將2D影像依照其影像之遠近，將其灰階(Gray Level)影像之數值以從0，即最遠影像，到255，即最近影像，來表示，並藉此建立一個與其對應2D影像尺寸完全一樣之深度圖(Depth Map)，就可藉此產生3D立體影像。

傳統上之深度圖之產生方式，通常可分為手動、自動及半自動。手動方式係以人工給定深度值，而半自動方式係由人工圈選物件再配合物件追蹤之演算法算出近似深度值資訊。自動之方式係由動畫軟體如3DS Max或Maya產生深度圖，或由兩個不同視角之畫面運算出深度圖。舉例而言，若利用工具軟體Photoshop手動製作深度圖，則可大致分為下列若干個步驟：

1.建立視點(Eye Point)；

2.分析要分割出多少3D物件；

3.定義灰階值(Gray Level)；

4.框選或分割3D物件；

5.使用多邊形套索工具與線性漸層來製作其他3D物件之灰階圖；

6.以一個灰階值為000的圖層作為此些3D物件之背景；

7.得到深度圖，並將其儲存成無壓縮之BMP影像格式。

目前用來製作CG動畫或影片之轉換之技術，普遍係使用自動方式產生深度值資訊，乃因其深度資訊較為正確。然而，習知技術會將運算出來之深度圖轉換為深度資訊，以產生不同視角之影像，但其並未考慮到傳統之深度圖產生方式可能造成物體與物體之間相對距離很小，亦即顏色很相近，對比低，反而造成立體效果不明顯之問題，又或是其細節沒有辦法更明確地顯示之問題。

再者，若2D深度圖之深度資訊太集中分佈在某個區域，亦即深度圖之灰階值分佈不平均，則會使得前後景過度地融合，造成立體感不佳。此種情況易發生於利用半自動方式或自動方式所產生之深度圖。若經由改善深度值過度集中分佈在區域範圍內之缺點，則可以使得3D之立體度明顯地改善。

是故，現今仍需一能夠解決上述傳統深度圖之問題之技術方案。

為解決上述傳統深度圖之深度資訊分佈過度集中及物體間相對距離小之問題，本發明係提供一種深度圖強化方法及其電腦可讀媒體。

於一觀點中，本發明係揭露一種深度圖強化方法，包含獲得原始深度圖及深度關係參數，並將上述原始深度圖及上述深度關係參數儲存於儲存媒體；將上述原始深度圖中之每一畫素之灰階值量化至0至1之間，以獲得複數個量化後灰階值；將上述深度關係參數各別取上述量化後灰階值之次方後予以減一之後，再除以上述深度關係參數減一後，乘以灰階值最大值，以獲得複數個強化深度關係後灰階值；以及根據上述複數個強化深度關係後灰階值之間之相對比例關係將上述複數個強化深度關係後灰階值均勻分佈至0與上述灰階值最大值之間，以獲得複數個最終灰階值。

於另一觀點中，本發明係揭露一種電腦可讀媒體，其儲存有電腦程式指令，當由一電腦執行上述電腦程式指令時會使上述電腦實施上述之方法。

本發明之一優點係為本發明所提供之深度圖強化方法及其電腦可讀媒體，可使爾後所產生之立體影像具有較高之前後景深對比度。

本發明之另一優點係為本發明所提供之深度圖強化方法及其電腦可讀媒體，可使爾後所產生之立體影像具有較佳之前後景物件距離感。

本發明之又另一優點係為本發明所提供之深度圖強化方法及其電腦可讀媒體可避免因深度圖之灰階值不平均分佈而造成立體效果減弱之問題。

本發明之再另一優點係為由於本發明之深度圖強化方法中所牽涉到之演算法簡易，故可使運算速度快，處理效率高，可嵌入多媒體播放器中。

此些優點及其他優點從以下較佳實施例之敘述並伴隨後附圖式及申請專利範圍將使讀者得以清楚了解本發明。

本發明將以較佳實施例及觀點加以敘述，此類敘述係解釋本發明之結構及程序，僅用以說明而非用以限制本發明之申請專利範圍。因此，除說明書中之較佳實施例以外，本發明亦可廣泛實行於其他實施例中。

於本發明之一實施例中，本發明係揭露一種深度圖強化方法。在立體影像處理技術中，可利用2D原始圖及深度圖(depth map)產生立體影像。上述深度圖(depth map)係作為移動資訊，亦即物體遠近之描述。深度圖係以0至255之灰階值表示物體之遠近，最近之物體係以255表示，最遠之物體則係以0表示。本發明之深度圖強化方法可改善習知技術所產生之深度圖，使利用經改善之深度圖所產生之立體影像具有較高之前後景深對比度，且具有較佳之前後景物件距離感，進而使所產生之立體影像之立體度明顯得到改善。

為利於達到本發明目的，本發明之深度圖強化方法可配合第十圖例示之電腦系統實施或執行相關指令，此電腦系統係用以說明本發明而非用以限制本發明。如第十圖所示，電腦系統包含處理單元201、記憶體202電性耦合到處理單元201、顯示器203耦合到處理單元201用以顯示資訊。輸入裝置204電性耦合到處理單元201，用以輸入指令，如輸入裝置204包含鍵盤、迷你鍵盤或滑鼠。網路介面205電性耦合到處理單元201，網路介面205可包含有線網路介面或無線網路介面。儲存裝置或媒體206包含硬碟機、軟碟機或非揮發性記憶體，電性耦合到處理單元201。資料輸入介面207電性耦合到處理單元201，資料輸入介面207包含有線資料輸入介面及無線資料輸入介面。有線資料輸入介面包含通用序列匯流排(USB,universal serial bus)及高速傳送介面IEEE1394。無線資料輸入介面包含藍牙(BLUETOOTH)及紅外線。深度圖強化模組208，一般係為儲存在儲存裝置或媒體206內之軟體，經過處理單元201呼叫而啟動執行下述各實施例所述之深度圖強化方法。

於本發明之一實施例中，如第一圖所示，本發明之深度圖強化方法10包含於步驟101獲得一原始深度圖及一深度關係參數，並將上述原始深度圖及上述深度關係參數儲存於一儲存媒體。上述原始深度圖及深度關係參數可透過網路介面205或資料輸入介面207輸入取得。於一實施例中，上述原始深度圖及深度關係參數可透過資料輸入介面207輸入並儲存於儲存媒體中。於一實施例中，上述深度關係參數為大於1之數。於一實施例中，上述深度關係參數α較佳大約為40至70。接著，如第一圖所示，於步驟102，將上述原始深度圖中之每一畫素之灰階值以深度圖強化模組208量化至0至1之間，以獲得複數個量化後灰階值。於一實施例中，步驟102包含步驟1021。於步驟1021中，將上述原始深度圖中之每一畫素之灰階值除以灰階值最大值。於一實施例中，上述灰階值最大值可為255。於一實施例中，步驟1021可如下所示：

其中A 為原始的深度圖之灰階值，Q 為量化後的深度圖之灰階值，H 為原始影像之長，W 為原始影像之寬。

之後，如第一圖所示，於步驟103，深度圖強化模組208將深度關係參數各別取量化後灰階值之次方後予以減一之後，再除以深度關係參數減一後，乘以灰階值最大值，以獲得複數個強化深度關係後灰階值，用以強化每一畫素之灰階值之間之對比關係，並強化物體與物體之間相對距離，亦即使暗者更暗，亮者更亮。於一實施例中，上述灰階值最大值可為255。於一實施例中，步驟103可如下所示：

其中A’ 為強化深度關係後的深度圖之灰階值，Q 為量化後的深度圖之灰階值，α為深度關係參數，H 為原始影像之長，W 為原始影像之寬。

之後，如第一圖所示，於步驟104，根據上述複數個強化深度關係後灰階值之間之相對比例關係將上述複數個強化深度關係後灰階值均勻分佈至0與灰階值最大值之間，以獲得複數個最終灰階值。於一實施例中，步驟104包含步驟1041及步驟1042。於步驟1041中，從上述複數個強化深度關係後灰階值中找出強化深度關係後灰階值之最大值及最小值。於步驟1042中，將上述複數個強化深度關係後灰階值各別減去強化深度關係後灰階值之最小值後，再除以強化深度關係後灰階值之最大值及最小值之差後，乘以灰階值最大值。於一實施例中，上述灰階值最大值可為255。於一實施例中，步驟1042可如下所示：

其中A” 為調整分佈後的深度圖之灰階值，A’ 為強化深度關係後的深度圖之灰階值，MinVal 為A’ 之最小值，MaxVal 為A’ 之最大值，H 為原始影像之長，W 為原始影像之寬。

於步驟104以深度圖強化模組208得到之最終複數個灰階值所形成之深度圖可與2D原始圖產生立體影像。根據步驟104所得之深度圖之每一畫素之灰階值可決定出2D原始圖之每一畫素所要位移之量，進而產生立體影像。經過本發明之方法處理過之深度圖可使產生之立體影像具有較高之前後景深對比度，且具有較佳之前後景物件距離感。以下將列舉若干實作範例，以說明本發明之深度圖強化方法處理深度圖之效果。應注意者為，此處所舉任何範例係用以說明本發明而非用以限制本發明。

第四圖至第九圖係顯示本發明之深度圖強化方法之實作範例。於一實施例中，第四圖之左圖係2D原始圖，而第四圖之右圖係利用習知技術所產生之原始深度圖。第五圖之左圖係2D原始圖，而第五圖之右圖係第四圖之原始深度圖經過本發明之深度圖強化方法處理後之深度圖，其所採用之深度關係參數(α)係為50。比較第四圖之右圖與第五圖之右圖可知，原始深度圖，亦即第四圖之右圖中茶壺之壺嘴部份幾乎與壺身之顏色一致，且茶壺之壺身邊緣模糊不清，而經過本發明之深度圖強化方法處理後之深度圖，亦即第五圖之右圖中茶壺之壺嘴部份顏色變為較白，較具立體度，且茶壺之壺身邊緣變得清晰。第六圖之左圖係利用第四圖之2D原始圖及原始深度圖所產生之立體影像，而第六圖之右圖係利用第五圖之2D原始圖及經過本發明之方法處理後之深度圖所產生之立體影像。透過3D面板觀察第六圖之左圖和右圖可知右圖之立體效果較左圖為佳。

於另一實施例中，第七圖之左圖係另一2D原始圖，而第七圖之右圖係利用習知技術所產生之另一原始深度圖。第八圖之左圖係上述另一2D原始圖，而第八圖之右圖係第七圖之原始深度圖經過本發明之深度圖強化方法處理後之深度圖，其所採用之深度關係參數(α)係為60。比較第七圖之右圖與第八圖之右圖可知，原始深度圖，亦即第七圖之右圖中杯子前後景深較無差異，而經過本發明之深度圖強化方法處理後之深度圖，亦即第八圖之右圖中杯子有明顯的漸層差異，且杯子之顏色變為較白，背景仍保持黑色。第九圖之左圖係利用第七圖之2D原始圖及原始深度圖所產生之立體影像，而第九圖之右圖係利用第八圖之2D原始圖及經過本發明之方法處理後之深度圖所產生之立體影像。透過3D面板觀察第九圖之左圖和右圖可知右圖之立體效果較左圖為佳。

除以上實施例以外，本發明亦可以其他替代形式加以實施。於一替代實施例中，本發明係提供一電腦可讀媒體，其儲存有電腦程式指令，當由電腦執行前述電腦程式指令時會使上述電腦實施先前所述之任何方法。應瞭解者為，上述電腦可讀媒體可為軟碟、硬碟或任何其他用於長期儲存電腦可執行指令之媒體。

是故，本發明所提供之深度圖強化方法及其電腦可讀媒體，可使爾後所產生之立體影像具有較高之前後景深對比度及較佳之前後景物件距離感，且可避免因深度圖之灰階值不平均分佈而造成立體效果減弱之問題。再者，由於本發明之深度圖強化方法中所牽涉到之演算法簡易，可使運算速度快，處理效率高，故可嵌入多媒體播放器中。

上述敘述係為本發明之較佳實施例。此領域之技藝者應得以領會其係用以說明本發明而非用以限定本發明所主張之專利權利範圍。其專利保護範圍當視後附之申請專利範圍及其等同領域而定。凡熟悉此領域之技藝者，在不脫離本專利精神或範圍內，所作之更動或潤飾，均屬於本發明所揭示精神下所完成之等效改變或設計，且應包含在下述之申請專利範圍內。

10．．．深度圖強化方法

101、102、103、104、1021、1041、1042．．．步驟

201．．．處理單元

202．．．記憶體

203．．．顯示器

204．．．輸入裝置

205．．．網路介面

206．．．儲存裝置或媒體

207．．．資料輸入介面

208．．．深度圖強化模組

本發明可藉由說明書中之若干較佳實施例及詳細敘述與後附圖式而得以瞭解。圖式中相同之元件符號係指本發明中之同一元件。然而，應理解者為，本發明之所有較佳實施例係僅用以說明而非用以限制申請專利範圍，其中：

第一圖係根據本發明之一實施例顯示深度圖強化方法之步驟流程圖。

第二圖係根據本發明之一實施例顯示深度圖強化方法之步驟流程圖。

第三圖係根據本發明之一實施例顯示深度圖強化方法之步驟流程圖。

第四圖係顯示2D原始圖及習知技術所產生之原始深度圖。

第五圖係根據本發明之一實施例顯示2D原始圖及第四圖之原始深度圖經過本發明之深度圖強化方法處理後之深度圖。

第六圖係顯示利用習知技術所產生之原始深度圖及經過本發明之深度圖強化方法處理後之深度圖所產生之立體影像。

第七圖係顯示另一2D原始圖及習知技術所產生之另一原始深度圖。

第八圖係根據本發明之另一實施例顯示另一2D原始圖及第七圖之原始深度圖經過本發明之深度圖強化方法處理後之深度圖。

第九圖係顯示利用上述習知技術所產生之另一深度圖及經過本發明之深度圖強化方法處理後之深度圖所產生之立體影像。

第十圖係根據本發明之一實施例顯示與本發明之方法相配合之電腦之範例之方塊圖。

10．．．深度圖強化方法

101、102、103、104．．．步驟

Claims (8)

1. 一種深度圖強化方法，包含：獲得一原始深度圖及一深度關係參數，並將該原始深度圖及該深度關係參數儲存於一儲存媒體；將該原始深度圖中之每一畫素之灰階值量化至0至1之間，以獲得複數個量化後灰階值；將該深度關係參數各別取該量化後灰階值之次方後予以減一之後，再除以該深度關係參數減一後，乘以一灰階值最大值，以獲得複數個強化深度關係後灰階值；以及根據該複數個強化深度關係後灰階值之間之相對比例關係將該複數個強化深度關係後灰階值分佈至0與該灰階值最大值之間，以獲得複數個最終灰階值。
2. 如請求項1所述之深度圖強化方法，其中該灰階值最大值包含255。
3. 如請求項1所述之深度圖強化方法，其中該深度關係參數包含大於1之數。
4. 如請求項3所述之深度圖強化方法，其中該深度關係參數包含40至70。
5. 如請求項1所述之深度圖強化方法，其中該獲得複數個量化後灰階值步驟更包含將該原始深度圖中之該每一畫素之該灰階值除以該灰階值最大值。
6. 如請求項1所述之深度圖強化方法，其中該獲得複數個最終灰階值步驟更包含從該複數個強化深度關係後灰階值中找出強化深度關係後灰階值之最大值及強化深度關係後灰階值之最小值。
7. 如請求項6所述之深度圖強化方法，其中該獲得複數個最終灰階值步驟更包含將該複數個強化深度關係後灰階值各別減去該強化深度關係後灰階值之最小值後，再除以該強化深度關係後灰階值之最大值及該強化深度關係後灰階值之最小值之差後，乘以該灰階值最大值。
8. 一種電腦可讀媒體，其儲存有電腦程式指令，當由一電腦執行該電腦程式指令時會使該電腦實施請求項1至7中任一者所述之方法。