TWI491216B - 使３ｄ視訊內容適應顯示器之方法及裝置和系統 - Google Patents

Description

使3D視訊內容適應顯示器之方法及裝置和系統

本發明係關於3D視訊內容之顯示領域，尤指3D視訊內容在不同的觀視條件下適應顯示器。

3D視訊之生產，很大程度是由標的觀視條件所決定，例如劇院裡的電影投映，或在家庭3D電視機顯示器上的顯示。生產中考量的主要參數是，標的顯示幕之寬度，以及觀視者與顯示幕間之距離。

當為特殊觀視條件而設計的3D視訊內容，需在不同的觀視條件下顯示時，3D觀視內容要經修飾，以配合此等新的觀視條件。否則3D體驗品質會相當低，因淺3D效果，或不舒服和視覺疲勞之故。儘管有此問題，今日一般尚無法進行任何適應，有時會導致很差的3D效果，例如在3D電視機顯示器上放映3D電影摘要或尾標。

以目前3D電影市場成長看來，3D視訊內容之適應，對3D-DVD(數位多元碟片)和3D-BD(藍光碟片)之複製和銷售，會成為重要議題。目的是要避免為同樣3D視訊內容，需處理若干母片。

如今為3D視訊內容之適應，最基本的研究策略包含合成新的「虛擬」視圖，位在對於目標觀視條件為理想的照相機位置。此項視圖合成可得悅人的3D效果，不需改變場景拍攝的結構。然而在計算上，視域合成既複雜又昂貴。需沿彩色視訊視圖輸送高品質差距映圖，因為使用品質不良的差距映圖，在合成視圖上會引發不堪用的幻影。雖然就電腦產生的內容言，所需差距映圖之產生相當容易，對自然視訊內容，卻是甚具挑戰的任務。迄今從差距估計到視圖合成，尚無可靠連鎖。

即使對差距估計可得改進解決方案，仍需為3D桌上盒提供合理，不複雜之適應解決方案。

因此，本發明之目的，在於擬議3D視訊內容適應不同觀視條件之解決方案，可以較少複雜性實施。

按照本發明，此目的係由使3D視訊內容適應顯示器之方法達成，具有如下步驟：檢復立體形像對偶；為立體形像對偶獲得最大差距值；使用所得最大差距值，為立體形像對偶測定最大容許移位；使用所測定最大容許移位，為立體形像對偶之左形像和右形像，計算實際移位；按照所計算實際移位，移動左形像和右形像。

同理，使3D視訊內容適應顯示器之裝置具有：輸入，以檢復立體形像對偶；差距測定單位，為立體形像對偶獲得最大差距值；最大位移測定單位，由所得最大差距值，為立體形像對偶測定最大容許移位；實際移位計算單位，由所測定最大容許移位，計算立體形像對偶的左形像和右形像之實際移位；形像移動單位，按照所計算之實際移位，移動左形像和右形像。

本發明擬議以逐一圖幅方式，進行視圖移動，使3D內容適應。將場景就顯示幕後移，即把視圖運動分開，以提高3D效果。為達成此目的，把左視圖向左移，右視圖向右移，視3D電影適應3D電視機。雖然此舉會改變電影導演原先選擇的場景結構，但可使3D效果最適合。實施即時控制適應內容，或更具體說明，適應各立體形像對偶的差距量，可確保所得縱深留在視覺舒適區。為此，宜為各立體形像對偶，傳輸最高差距值。最高差距值是在為立體形像對偶傳輸的完整差距映圖內，查搜最大值而得。又一變通例是，最高差距值利用差距估計特點而得。在此情況下，差距估計以粗略方塊圖式實施即已足夠。

本發明解決方案，使3D視訊內容得以又可靠又快速適應顯示裝置。3D效果最佳，同時給予觀視者舒適感，不需實施縱深方式的合成，因為使用品質不佳的縱深映圖時，計算和危害代價都很高。

接續移動步驟宜輔以時間過濾，例如Kalman過濾，係二階過濾，使顯示適應的時間行為順暢。時間過濾可以在所得3D內容中，防止討厭的顫動3D幻影。需要縱深估計時，如此幻影特別容易發生。就天然內容言，差距映圖會呈現逐一圖幅之估計錯誤，會妨害最後的縱深感受。利用時間過濾，可達成圖元移位之順利變異。對於由本身縱深映圖供應之CGI內容(電腦產生的形像)而言，不必進行時間過濾。

最好是觀視者有可能以界面，例如類似容積或對比條碼之界面，調節左視圖和右視圖之移位。

移動之左形像和移動之右形像，宜直接送到顯示器。另外，移動之左形像和移動之右形像，儲存在儲存媒體上，供稍後顯示。

為更佳明瞭本發明起見，茲參照附圖詳述如下。須知本發明不限於此具體例，而其明定之特點亦可權宜合併和/或修飾，不違本發明在所附申請專利範圍界定之範圍。

第1圖表示立體形像對偶。形像對偶由左視圖40和右視圖50組成。各形像40,50，寬1024圖元，高768圖元。二形像40,50，係以照相機對偶拍攝，照相機間距離t_c =10公分，焦距f=2240圖元。會聚平面與照相機基礎之距離Z_conv =+∞。近截平面位在Z_near =4.48公尺，遠截平面在Z_far =112.06公尺。物體在形像40,50內之最大距離Z_max 12公尺，最小距離Z_min 5公尺。

第1圖立體形像對偶的縱深映圖41,51，如第2圖所示。位在近截平面內之物體，相當於純白值。因此，位在遠截平面內之物體，相當於純黑值。指定縱深Z之差距d(Z)為：

以Z_conv =+∞代入，上式簡化為：

所以，就Z_conv =+∞，最大差距為負，即d_max ＜0。使用上式，最小縱深Z_min 得最小差距d_min -44.8圖元，而最大縱深Z_max 得最大差距d_max -18.7圖元。原則上，對於位在顯示幕後的物體，視差和差距為正(Z＞Z_conv )，而對於位在顯示幕前的物體，則為負(Z＜Z_conv )。

看真實生命中的三維物體，觀視者眼睛需做二件事。首先，必須聚散，即必須稍微朝內或朝外轉動，使形像的投影始終在二視網膜的中心。其次，眼睛必須協調，即改變各透鏡的形狀，把形像聚焦在視網膜上。然而，人為3D會造成聚散與協調衝突。觀視者必須聚焦在光從顯示幕發射之一距離，但在3D物體空間位置之另一距離聚散。此項聚散與協調衝突，會引起頭痛和其他不適。

聚散與協調衝突可以第3圖簡單表示。眼睛以目鏡間距離t_e 分開的觀視者，聚焦在寬度W_screen 的顯示幕1上。只要觀視者聚散在位於顯示幕1平面上之物體6，即無聚散與協調衝突。在此情況下，聚散距離D_conv 等於眼睛的協調距離。然而，若觀視者聚散在位於顯示幕前之物體6'或位於顯示幕後之物體6"，聚散距離D_conv 即與眼睛的協調距離不同。

由於此項聚散與協調衝突，即有視差下限和視差上限，限制物體可能位置之縱深範圍。視差下限指至物體所顯示的顯示幕前面之最大距離，而視差上限指至顯示幕背面之相對應距離。

第4圖表示電影活動場景的縱深情形。圖示為觀視者感受縱深，相對於真實世界中的物體縱深。圖是根據電影活動場景，無任何特殊效果，即所拍攝的縱深與觀視者感受的縱深，有直線關係。圖上深黑線1相當於電影顯示幕之位置。典型的電影顯示幕與觀視者距離為10公尺。灰線2相當於負視差值之下限。電影無視差上限，因為顯示幕離觀視者夠遠。觀視者可看到無限，不會感到任何協調痛苦。所考慮的活動場景不呈現任何特殊3D效果，即不會有立體失真，觀視者感受的縱深，黑虛線3所示，相當於所拍攝物體之縱深。

第5圖表示活動場景在家庭3D電視機面板上顯示時之相對應縱深情況。在此情況，至顯示幕之距離改為典型上約3公尺。因此，出現視差上限。視差上限是以淺灰線4表示。因為視覺舒適面積有限，不可能獲得3D效果可媲美電影院內所能達成的3D效果。誠然，在家裡，觀視者位置太靠近顯示幕。結果，看到無限仍然要在顯示幕協調，即會造成視覺疲勞。若不進行適應，運動場景只能呈現不良的3D效果，如黑虛線3所示。本發明解決方案是把場景更朝顯示幕後的背面移動，以增加縱深感受，不超出視覺舒適面積。此即虛點黑線5所示。

以下說明進行適應過程之基礎，以達成第5圖內虛點黑線5所示提高縱深感受。

假設立體形像對偶，圖幅t，差距d_max (t)。此d_max (t)值指立體形像對偶以圖元計之最高差距值。設d_max (t)＞0。此d_max (t)值不是做為立體形像對偶的元資料傳輸，便是在為立體形像對偶傳輸的完整差距映圖內查索最大值而得。另外，差距估計特點是在3D電視機顯示器或連接機上盒內實施。在此情況下，粗略的方塊式實施即可。

設使

其中N_row 指每行之圖元數，W_screen 是家庭顯示幕寬度，以公尺計，而t_e 指觀視者目鏡間之距離。對成人而言，t_e =0.065公尺，而小孩t_e =0.04公尺。

令D代表觀視者至3D電視機顯示幕之距離。為此等觀視條件可容許之最高差距量為：

其屈光度1/M值相當於聚散與協調衝突容差，係機上盒或3D電視機顯示器廠家所允許，為此目的宜用HDMI連接。

因此，對於圖幅t，最大容許移位h_MAX (t)為：

實際移位h(t)可為0至h_MAX (t)間之任何值，按照觀視者之喜好，對於左視圖向左移動h(t)/2圖元，對於右圖幅向右移動h(t)/2圖元。觀視者宜有類似容量或對比條碼的界面，以調節移位。此項調節以因數α表示，假設其值在0與1之間。

實際上可得每視圖移位值h(t)達~60圖元，即30圖元。此相當於約3%的水平解像度，係可接受數值。

最好實施時間過濾特點，使d_max 的時間變化順暢。已知此等時間過濾，例如Kalman過濾，可行且觀視者不會注意到。

本發明適應方法如第6圖所示。在第1步驟10中，接受立體形像對偶。再由連同立體形像對偶一同傳輸的元資料，或利用差距估計，獲得11最大差距值d_max (t)。在次一步驟12中，例如按上述測得最大容許移位h_MAX (t)。由h_MAX (t)值，另宜從使用者可設定之移位調節參數α，計算13圖幅之最後移位h(t)，或毋寧是左形像和右形像之移位值h(t)/2。因而移動14左形像和右形像，發送15到顯示器，儲存16於儲存媒體上。

進行本發明適應方法用之裝置20，簡示如第7圖。此裝置20包括輸入21，以接受10立體形像對偶。差距測定單位22，不是使用元資料評估單位32從與立體形像對偶一同傳輸之元資料，便是使用差距估計器33藉差距估計，獲得11最大差距值d_max (t)。在差距測定單位22下游的視需要時間過濾器31，對最大差距值d_max (t)進行時間過濾。最大移位測定單位23測得12最大容許移位h_MAX (t)。此裝置20宜具有使用者界面24，使觀視者可設定移位調節參數α。實際移位計算單位25考量移位調節參數α，計算圖幅之最後移位h(t)，或毋寧是左形像和右形像之移位值h(t)/2。形像移動單位26因而移動14左形像和右形像。最後設有輸出27,28，把移動形像發送15到顯示器29，或把移動形像儲存16在儲存媒體30上。顯然，不同單位同樣可加到單一處理單位內。如虛線長方形所示。又，使用者界面24不一定需整合於裝置20內。同樣可把使用者界面24，經由輸入連接至連接顯示器或個人電腦，提供使用者界面24，再把調節參數α傳輸至機上盒。

40．．．左視圖

50．．．右視圖

41．．．左縱深映圖

51．．．右縱深映圖

1．．．顯示幕

6．．．物體

6'．．．顯示幕前之物體

6"．．．顯示幕後之物體

t_e ．．．目鏡間距離

D_conv ．．．聚散距離

W_screen ．．．顯示幕寬度

2．．．負視差值之下限

3．．．感受縱深

4．．．視差上限

5．．．適應縱深

20．．．裝置

21．．．輸入

22．．．差距測定單位

23．．．最大移位測定單位

24．．．使用者界面

25．．．實際移位計算單位

26．．．形像移動單位

27．．．第一輸出

28．．．第二輸出

29．．．顯示器

30．．．儲存媒體

31．．．時間過濾器

32．．．元資料評估單位

33．．．差距估計器

α．．．移位調節參數

10．．．接收立體形像對偶之步驟

11．．．獲得最大差距值之步驟

12．．．測定最大容許移位之步驟

13．．．計算移位值之步驟

14．．．移動左、右形像之步驟

15．．．把移位形像發送到顯示器之步驟

16．．．把移位形像儲存在儲存媒體之步驟

第1圖表示立體形像對偶；

第2圖表示第1圖立體形像對偶之縱深映圖；

第3圖說明聚散與協調衝突；

第4圖表示電影活動場景之縱深情形；

第5圖表示活動場景顯示在家庭3D電視機面板上之縱深情形；

第6圖表示本發明適應方法之流程圖；

第7圖簡示進行本發明適應方法用之裝置。

10．．．接收立體形像對偶之步驟

11．．．獲得最大差距值之步驟

12．．．測定最大容許移位之步驟

13．．．計算移位值之步驟

14．．．移動左、右形像之步驟

15．．．把移位形像發送到顯示器之步驟

16．．．把移位形像儲存在儲存媒體之步驟

Claims (9)

1. 一種使3D視訊內容適應顯示器之方法，該方法包括：檢復(10)立體影像對偶；從差距映圖或做為元資料的差距值連同立體影像對偶，為立體影像對偶獲得(11)最大差距值(d_max (t))；使用所得最大差距值(d_max (t))，為立體影像對偶測定(12)最大容許移位(h_MAX (t))；使用所測定最大容許移位(h_MAX (t))，為立體影像對偶之左影像和右影像，計算(13)實際移位(h(t)/2)；及按照所計算實際移位(h(t)/2)，移動(14)左影像和右影像；或檢復移位調節參數(α)之使用者輸入，其中移位調節參數把立體影像對偶的左影像和右影像之實際移位(h(t)/2)，限制於零和測得最大容許移位(h_MAX (t))間之值者。
2. 如申請專利範圍第1項之方法，又包括，在測定(12)最大容許移位(h_MAX (t))之前，利用時間過濾對最大差距值(d_max (t))加以滑順者。
3. 如申請專利範圍第2項之方法，其中時間過濾是利用Kalman過濾進行者。
4. 如申請專利範圍第1項之方法，又包括，把移動左影像和移動右影像發送(15)至顯示器(29)，或把移動左影像和移動右影像儲存(16)於儲存媒體(30)者。
5. 一種構成使3D視訊內容適應顯示器之裝置(20)，該裝置(20)包括：輸入(21)，構成以檢復(10)立體影像對偶；差距測定單位(22)，構成從差距映圖或做為元資料的差距值連同立體影像對偶，為立體影像對偶獲得(11)最大差距值(d_max (t))；最大移位測定單位(23)，構成從所得最大差距值(d_max (t))，為立體影像對偶測定(12)最大容許移位 (h_MAX (t))；實際移位計算單位(25)，構成從所測定最大容許移位(h_MAX (t))，計算(13)立體影像對偶的左影像和右影像之實際移位(h(t)/2)；影像移動單位(26)，構成按照所計算實際移位(h(t)/2)，移動(14)左影像和右影像；使用者介面(24)，連接至實際移位計算單位(25)，構成設定移位調節參數(α)，其中移位調節參數把立體影像對偶的左影像和右影像之實際移位(h(t)/2)，限制於零和測得最大容許移位(h_MAX (t))間之值者。
6. 如申請專利範圍第5項之裝置(20)，又包括時間過濾器(31)，在差距測定單位(22)下游，構成在測定(12)最大容許移位(h_MAX (t))之前，利用時間過濾對最大差距值(d_max (t))加以滑順者。
7. 如申請專利範圍第6項之裝置(20)，其中時間過濾器(31)係Kalman過濾器者。
8. 如申請專利範圍第5項之裝置(20)，又包括第一輸出(27)，構成把移動左影像和移動右影像發送(15)至顯示器(29)，和/或第二輸出(28)，構成把移動左影像和移動右影像儲存(16)於儲存媒體(30)者。
9. 一種包括申請專利範圍第5項裝置(20)之系統，構成使3D視訊內容適應顯示器，和使用者界面(24)，連接於該裝置(20)構成供設定移位調節參數(α)，其中移位調節參數(α)把立體影像對偶的左影像和右影像之實際移位(h(t)/2)，限制於零和測得最大容許移位(h_MAX (t))間之值者。