TW201320716A

TW201320716A - 動態景深調整裝置及其方法

Info

Publication number: TW201320716A
Application number: TW100139723A
Authority: TW
Inventors: Chueh-Pin Ko
Original assignee: Acer Inc
Priority date: 2011-11-01
Filing date: 2011-11-01
Publication date: 2013-05-16
Also published as: EP2590418A1; US20130106841A1

Abstract

本發明係提供一種動態景深調整方法，該方法包括：接收至少一輸入影像；依據輸入影像，產生一二維影像及對應的一深度影像；對深度影像套用一像素位移設定檔以產生複數張動態深度影像。

Description

動態景深調整裝置及其方法

本發明係屬於影像處理，特別是調整深度影像以增進視覺效果之系統及方法。

隨著立體顯示器的發展，立體影像之處理亦愈來愈重要。一般而言，立體影像之取得可藉由幾種方式，例如利用可得到深度資訊的深度攝影機進行拍攝、由模擬人類雙眼視覺之雙攝影機進行拍攝、或是由二維影像經過適當的影像處理以得到立體影像。如第1A圖所示，由二維影像轉換至立體影像的處理過程可約略分為幾個步驟：影像縮小、邊緣偵測(edge detection)、線劃追蹤(line tracing)、深度指派(depth assignment)、深度影像放大及平滑化、橫向偏移(lateral shifting)，當深度影像建立之後，即可與原本之二維影像結合以產生立體立體影像(stereoscopic image)。傳統二維影像轉三維影像之演算法亦可透過建立空間模型、邊緣偵測、計算消失點等方式，透過對一張或多張影像的分析來建立深度影像。

如第1B圖所示，視覺深度感知因素可分為生理因素及心理因素。一般而言，二維影像轉換為立體影像之深度圖往往係針對幾項心理因素以進行演算法之運算，。舉例來說，在心理因素上往往會認為黃色物體、移動量大的物體或大物體之景深最淺，反過來說，在心理因素上亦會認為藍色物體、移動量小的物體或小物體之景深最深，而且材質接近會視為景深相同。

更進一步，景深資訊係為立體影像顯示技術中的關鍵，然而當深度圖產生之後，僅能定義出影像中之各物體的相對關係，但傳統立體影像顯示技術往往只著重於如何產生正確景深的產生方式，但卻鮮少利用景深資訊以進一步處理立體影像。再者，傳統立體影像顯示技術之像素位移設定檔係為固定值，而本發明之像素位移設定檔係可調變。

有鑑於此，本發明係提供一種動態景深調整方法，可對景深資訊進一步處理，該方法包括：接收至少一輸入影像；依據輸入影像，產生一二維影像及對應的一深度影像；對深度影像套用一像素位移設定檔以產生複數張動態深度影像。

本發明更提供一種動態景深調整裝置，該裝置包括：一深度分析器，用以接收至少一輸入影像，並依據該輸入影像以產生一二維影像及對應的一深度影像；一立體影像繪製器，用以接收二維影像及該深度影像，並對該深度影像套用一像素位移設定檔以產生複數張動態深度影像。

第2圖係顯示依據本發明一實施例之動態景深調整裝置200的方塊圖。動態景深調整裝置200包括一深度分析器210及一立體影像繪製器220，其中深度分析器210係接收二維影像，並藉由前述先前技術之二維影像轉三維影像之演算法以產生二維影像及其對應的深度影像，再透過立體影像繪製器220輸出立體影像。立體影像繪製器220係依據每一張二維影像及對應的深度影像，在繪製立體影像時，對深度影像使用動態調變的極限值及中間值，藉以產生動態的立體視覺感受。

當影像來源為放傳統之二維影片，在播放該二維影片時，深度分析器210會不斷輸出二維影像及其所對應的深度影像，並藉由立體影像繪製器220以產生出立體影像。深度影像往往可用一灰階範圍(例如0～255)來表示不同的深度，例如灰階值255表示最靠近鏡頭，灰階值0表示最遠離鏡頭。

在另一實施例中，本發明判斷輸入影像是否為靜止有多種方式，例如深度分析器210計算輸入影像之灰階值的長方圖(histogram)，若長方圖無變化，則可判定輸入影像為靜態影像；或輸入影像中的所有像素均未更新，則可判定輸入影像為靜態影像；深度分析器210由影像播放裝置(未繪示)接收一影像暫停信號以得知目前為停止撥放影像(pause)的狀態(例如使用者使用遙控器按下暫停)，則可判定輸入影像為靜態影像；或是顯示器端將輸入影像暫停，深度分析器210由顯示器(未繪示)接收一影像暫停信號，判定輸入影像為靜態影像，但本發明不限於此。

值得一提的是，當二維影片處於靜止或二維影片之內容維持固定時，只會有一固定的立體深度圖產生，因此在上述情況，觀眾僅能在傳統的立體影像裝置上觀賞到較為單調的影像。再者，若是原生的立體靜態影像，在立體顯示器上顯示時亦僅呈現一種三維深度。當輸入動態影像(二維影像或立體影像均可)時，每個輸入影像均可分析出一對應的深度影像，然而在立體影像繪製器220中所套用的深度值之極限值與中間值均為一固定值，即便是動態影像，其景深仍被受限，例如景深受限於螢幕平面內凹10公分至100公分之間，而無法具有動態的景深範圍。

更進一步，無論輸入影像是純二維影像或是立體影像，均需轉換為二維影像與對應的深度影像，若輸入影像已為二維影像加上對應的深度影像，則不必進一步轉換，立體影像繪製器220接收二維影像及對應的深度影像後，便能在立體影像顯示器上播放立體影像。

在一實施例中，動態景深調整裝置200可應用於顯示器或個人電腦此類可將二維影像轉換為三維影像或偵測立體影像內容景深的裝置上，且動態景深調整裝置200可用特定之硬體或邏輯電路加以實現，或是以程式碼的形式在處理器上執行運作，但本發明不限於此。

當立體影像呈現於立體影像顯示器時，有三種方式進行呈現：正視差、零視差及負視差，正視差表示立體影像係呈現於螢幕平面內，零視差表示立體影像係呈現於螢幕平面上，而負視差表示立體影像係呈現於雙眼及螢幕平面之間。在一實施例中，若使用者坐在解析度為1920x1080的46吋LCD顯示器前方1公尺，使用者雙眼之距離為6.25公分，而第3A圖所示係為一二維影像所對應的深度影像之灰階值的長方圖(histogram)。再參考第3B圖，當透過像素位移至正視差111個像素(意即左眼影像及右眼影像相差111個像素)，可產生景物凹進螢幕平面內10公尺之效果，若透過像素位移至負視差-106個像素時，則可以產生景物凸出螢幕平面53公分之效果。簡單來說，本發明係可利用像素位移設定檔對深度影像或二維影像進行調整，以產生不同於原始立體影像(或二維影像)的深度效果。

第4A～4C圖係顯示依據本發明一實施例之像素位移設定檔之示意圖。依據第3圖之實施例，當深度影像之灰階值0至255分別對應至像素位移0至111時，可得到從螢幕平面凹進去10公尺的效果，當影像之灰階值0至255分別對應至像素位移-106至111時，則可得到從螢幕平面凸出53公分至凹進去10公尺的效果。以第4A圖為例，曲線圖400及410之像素位移範圍均在0至111之間，但其深度影像之長方圖分布之像素位移調整曲線略有不同，因此使用者觀賞到的景深分布亦會有些微差異。以第4B圖為例，曲線圖420及430之像素位移範圍均在-106至111之間，但其深度影像之長方圖分布之像素位移調整曲線略有不同，曲線圖420係以線性方式以平均調整景深，而曲線圖430係以二次曲線的方式調整景深，故較靠近鏡頭之景物之景深變化會較少，因此使用者觀賞到的景深分布亦會有些微差異。以第4C圖為例，曲線圖440及450之像素位移範圍均在-106至50之間，曲線圖440係以線性方式以平均調整景深，而曲線圖450之調整曲線具有多個轉折點，可以將不同深度之景深分別進行調整。

第5圖係顯示依據本發明一實施例之調整曲線與景深關係的示意圖。曲線圖500～540之調整曲線係表示對深度影像560中之灰階值進行像素位移。曲線圖510係表示預設的調整曲線，將像素位移限制於0～111之間。曲線圖500係表示將所有深度之位移均調整至0，因此觀眾若從螢幕平面550左側觀看，會看到影像中的所有物體均聚集在螢幕平面550上。曲線圖520之調整曲線的像素位移的最小值設定在20，故曲線520之調整曲線的斜率比曲線圖510之調整曲線的斜率為小，使用者會感受到物體略為後退，且深度變化較少。曲線圖530之調整曲線係將像素位移均限制在111，因此使用者會感受到影像中的物體之深度均會維持在最遠處。曲線圖540之調整曲線的最小值係設定在-80，因此使用者會感受到前景影像凸出於螢幕平面550，且景物的深度變化較大。更詳細地說，舉凡改變調整曲線而造成對應的像素位移值不同，亦可視為像素位移設定檔的改變。

第6A圖係顯示依據本發明一實施例之靜態影像的像素位移設定檔之圖表600。在一實施例中，對於靜態影像來說，可依一預定畫面張數、一預定時間間隔或是以重覆循環的方式以對靜態影像所對應的深度影像套用圖表600中的像素位移設定檔(pixel-offset profile)，其中像素位移設定檔可針對深度影像之像素位移程度(例如：最大值、最小值及中間值)進行調整，亦可使用不同的曲線對深度影像進行像素位移調整，但本發明不限於此。第6B圖係顯示依據本發明一實施例之動態影像的像素位移設定檔之圖表610。在另一實施例中，當輸入影像為動態影像(非靜態影像)時，需針對輸入影像所對應的深度影像套用用於動態影像的圖表610中之像素位移設定檔，但本發明不限於此。在又一實施例中，像素位移設定檔之選擇可透過深度分析器之一設定值或是由外部裝置(例如縮放器Scalar)要求選擇特定或相對應的像素位移設定檔。

在又一實施例中，深度分析器210係可儲存不同二維影像之深度影像，且立體影像繪製器220亦可儲存對應的像素位移設定檔。立體影像繪製器220對於在動態影像中的第一張二維影像之後其餘的二維影像係可套用第一張二維影像所對應的像素位移設定檔及第一張二維影像所對應的深度影像。又，立體影像繪製器220在動態影像中的第一張二維影像之後其餘的的二維影像亦可搭配各自的深度影像與第一張二維影像之像素位移設定檔。接著，立體影像繪製器220係依據其餘的二維影像、第一張二維影像所對應的深度影像及其像素位移設定檔以產生立體影像。亦或是，立體影像繪製器220係依據其餘的二維影像、其餘二維影像所對應的深度影像及第一張影像所對應的像素位移設定檔以產生立體影像。

在一實施例中，使用者觀看三維立體遊戲(非二維轉三維)，在立體影像繪製器220由深度分析器210得知輸入影像為靜態影像後，選擇用於靜態影像的一像素位移設定檔並將調整曲線之斜率設定為0，再將斜率逐漸調高，此時使用者可實際感受到顯示的影像內容由二維逐漸變得立體，且景深亦愈來愈深，猶如影像動起來一般。

在另一實施例中，當使用者觀看立體影片(非二維轉三維)且持續撥放立體影片，立體影像繪製器220由深度分析器210得知輸入影像為動態影像，並接收由外部裝置(例如：縮放器)而來之設定檔控制訊號以切換像素位移設定檔。舉例來說，對立體影片的第1至60張影像套用像素位移設定檔1，將調整曲線之斜率設定為0，此時之影片毫無立體效果。接著在立體影片的第61至180張影像，對將像素位移設定檔中的調整曲線之斜率增大，且最小值從0開始，每張影像遞減1直到-50為止，此時使用者可實際感受到顯示的內容由二維逐漸變得立體，且景深範圍愈來愈大，且前景亦逐漸凸出於螢幕平面。在立體影像的第181至300張影像中，將像素位移設定檔中的調整曲線之斜率逐漸降低，但最大值及最小值亦逐漸降低至-50，使用者會感覺到影像之整體內容凸出螢幕平面，且景深範圍愈來愈小，最後僅凸出螢幕。在立體影像的第301至500張影像，將像素位移設定檔中的調整曲線之斜率逐漸降低至一預定值，且最大值及最小值完全不變，此時使用者會感受到影像的整體內容凸出螢幕平面，但完全不動。在立體影像的第501至800張影像，像素位移設定檔中的調整曲線之斜率保持不變，但最大值及最小值逐漸增加至100，此時使用者會感受到影像的整體內容由原本凸出螢幕平面漸漸凹進去至螢幕深處。上述實施例僅說明本發明如何套用像素位移設定檔之方式及效果，當不能以此限定本發明。

在又一實施例中，當使用者觀賞立體照片(由二維轉三維所構成)，因照片本身即為靜態影像，因此立體影像繪製器220由深度分析器210得知輸入影像為靜態影像後，即依據用於靜態影像的一像素位移設定檔，而深度影像一開始係依據像素位移設定檔的調整曲線的原始斜率，接著將最大值由50逐漸增加至150像素，同時亦漸漸增加調整曲線的斜率，此時使用者可實際感受到顯示影像之內容由一開始之立體且為凹進去之景深，接著景深範圍逐漸增大至螢幕深處約2公尺之處。

第7圖係顯示依據本發明一實施例之動態景深調整方法的流程圖。在步驟S700，動態景深調整裝置200接收輸入影像，其中輸入影像可為純二維影像或立體影像(二維影像與對應的深度影像，或是可轉換成二維影像及對應的深度影像之立體影像(例如純三維影像、或立體影像))。在步驟S710，深度分析器210判斷輸入影像是否為靜態影像，藉以產生一狀態訊號至立體影像繪製器210，並依據輸入影像產生二維影像及對應的深度影像(若輸入影像為立體影像，則不必再經過轉換)。在步驟S720，立體影像繪製器220由深度分析器210接收狀態訊號、二維影像及對應的深度影像，立體影像繪製器220並依據狀態訊號(例如一預定畫面張數、一預定時間間隔或是以重覆循環，但非限定)，對深度影像套用像素位移設定檔，以改變深度影像之灰階值的最大值、最小值及中間值，以調整深度影像之景深分布並產生動態深度影像。在步驟S730，立體影像繪製器220依據二維影像及動態深度影像以產生對應的立體影像。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用以輔助專利文件搜尋之用，並非用以限制本發明之權利範圍。

200．．．動態景深調整裝置

210．．．深度分析器

220．．．立體影像繪製器

300．．．二維影像

310．．．直方圖

320、400至450、500～540．．．像素位移調整曲線圖

550．．．螢幕平面

560．．．深度影像

600、610．．．圖表

第1A圖係顯示將二維影像轉換為立體影像之傳統演算法的流程圖。

第1B圖係顯示視覺深度感知因素的示意圖。

第2圖係顯示依據本發明一實施例之動態景深調整裝置200的方塊圖。

第3A圖係顯示一二維影像所對應的深度影像之灰階值的長方圖。

第3B圖係顯示依據本發明一實施例之像素位移調整曲線之示意圖。

第4A～4C圖係顯示依據本發明一實施例之像素位移設定檔之調整曲線的示意圖。

第5圖係顯示依據本發明一實施例之調整曲線與景深關係的示意圖。

第6A圖係顯示依據本發明一實施例之靜態影像的像素位移設定檔之圖表。

第6B圖係顯示依據本發明一實施例之動態影像的像素位移設定檔之圖表。

第7圖係顯示依據本發明一實施例之動態景深調整方法的流程圖。

200．．．動態景深調整裝置

210．．．深度分析器

220．．．立體影像繪製器

Claims

一種動態景深調整方法，包括：接收至少一輸入影像；依據該輸入影像，產生一二維影像及對應的一深度影像；以及對該深度影像套用一像素位移設定檔以產生複數張動態深度影像。
如申請專利範圍第1項所述之動態景深調整方法，其中該深度影像係為一灰階影像，且該像素位移設定檔係用以調整該灰階影像中之灰階值所對應的一像素位移程度。
如專利申請範圍第2項所述之動態景深調整方法，其中對該深度影像套用該像素位移設定檔以產生該等動態深度影像之步驟更包括：依據一預定時間間隔，對該深度影像套用該像素位移設定檔。
如專利申請範圍第2項所述之動態景深調整方法，其中對該深度影像套用該像素位移設定檔以產生該等動態深度影像之步驟更包括：依據一預定影像張數，對該深度影像套用該像素位移設定檔。
如專利申請範圍第1項所述之動態景深調整方法，更包括：依據該二維影像及該等動態深度影像，產生複數張立體影像；以及播放該等立體影像。
如專利申請範圍第1項所述之動態景深調整方法，更包括：依據該輸入影像以產生複數張第二二維影像及其分別對應的複數張第二深度影像；依據該等第二二維影像、該深度影像及該像素位移設定檔以產生複數張第二立體影像；以及播放該等第二立體影像。
如專利申請範圍第1項所述之動態景深調整方法，更包括：依據該輸入影像以產生複數張第二二維影像及其分別對應的複數張第二深度影像；依據該等第二二維影像、對應之該等第二深度影像及該像素位移設定檔以產生複數張第二立體影像；以及播放該等第二立體影像。
一種動態景深調整裝置，包括：一深度分析器，用以接收至少一輸入影像，並依據該輸入影像以產生一二維影像及對應的一深度影像；以及一立體影像繪製器，用以接收該二維影像及該深度影像，並對該深度影像套用一像素位移設定檔以產生複數張動態深度影像。
如申請專利範圍第8項所述之動態景深調整裝置，其中該深度影像係為一灰階影像，且該像素位移設定檔係用以調整該灰階影像中之灰階值的最大值、最小值或中間值。
如申請專利範圍第9項所述之動態景深調整裝置，其中該立體影像繪製器更依據一預定時間間隔，對該深度影像套用該像素位移設定檔。
如申請專利範圍第9項所述之動態景深調整裝置，其中該立體影像繪製器更依據一預定影像張數，對該深度影像套用該像素位移設定檔。
如申請專利範圍第8項所述之動態景深調整裝置，其中該立體影像繪製器更依據該二維影像及該等動態深度影像以產生複數張立體影像，並播放該等立體影像。
如申請專利範圍第8項所述之動態景深調整裝置，其中該深度分析器更依據該輸入影像以產生複數張第二二維影像及其分別對應的複數張第二深度影像，且該立體影像繪製器更依據該等第二二維影像、該深度影像及該像素位移設定檔以產生複數張第二立體影像，並播放該等第二立體影像。
如申請專利範圍第8項所述之動態景深調整裝置，其中該深度分析器更依據該輸入影像以產生複數張第二二維影像及其分別對應的複數張第二深度影像，且該立體影像繪製器更依據該等第二二維影像、對應的該等第二深度影像及該像素位移設定檔以產生複數張第二立體影像，並播放該等第二立體影像。