TWI523488B

TWI523488B - 處理包含在信號中的視差資訊之方法

Info

Publication number: TWI523488B
Application number: TW098134162A
Authority: TW
Inventors: 巴特賈瑞德伯納德柏瑞柏格; 克莉絲汀班尼恩; 沃爾柯哈洛德赫瑪納斯艾伯托斯凡
Original assignee: 皇家飛利浦電子股份有限公司
Priority date: 2008-10-10
Filing date: 2009-10-08
Publication date: 2016-02-21
Also published as: CN102177721B; JP2012505586A; US20110199465A1; CN102177721A; ES2562924T3; JP5575778B2; US8913108B2; KR20110083650A; WO2010041176A1; TW201019708A; EP2332340A1; KR101602904B1; PL2332340T3; EP2332340B1

Description

處理包含在信號中的視差資訊之方法

本發明係關於一種處理包含在一信號中的視差資訊之方法及裝置。

三維(3D)顯示裝置藉由提供該觀眾各個眼睛正在觀看之該場景之不同視圖而將一第三維(深度)添加至該觀看體驗。許多三維顯示裝置利用立體輸入，其意味著提供兩個不同但相關的視圖。這被用在例如標準三維電影院(其中眼鏡被用於為該觀眾的眼睛分離左及右視圖)中。取代例如提供每秒50訊框之影像資料，在一立體系統中提供每秒100訊框，左眼50訊框及右眼50訊框。一對之每個訊框包括該相同場景之一略微不同的視圖，大腦將其組合以產生一三維影像。由於在三維電影院中該技術的採用，所以有許多立體內容可用。有將想要在家複製該電影院體驗且建立或安裝立體投影系統的家庭電影院發燒友也是有可能的。

然而，與立體三維系統相關的眼鏡之使用對於許多應用(如，三維標誌及還有更普通的家庭三維電視觀看)來說是繁瑣的。不用戴眼鏡的系統(也稱為自動立體系統)通常提供該場景之兩個以上視圖以提供該觀眾之移動自由度，且因為視圖的數目改變，所以在該等應用中通常使用之表示是該影像+深度格式，其中一影像及其深度映射提供渲染如需要一樣多的視圖所需之該資訊。

提供視差資訊之系統存在的一個問題是將為一特定目標渲染系統或裝置優化該視差資訊之該結構(其對於該影像資料來說是額外的)。例如，若提供一深度映射，則其可利用考慮的一特定目標系統而設計。例如，可假設在該映射之產生中，該終端系統被設計成提供6個不同視圖(該使用者取決於它們的位置將僅看見該六個視圖之兩個)。6個視圖之該選擇可能係基於被感知為最有可能(或平均)的該終端系統之組態。然而，包含在該信號中之該視差資訊可能並不適於將在該顯示裝置發生之該渲染。

本發明之目的是基於已知技術而改良。

根據一態樣，本發明係關於一種處理包含在一信號中的視差資訊之方法，其包括：接收一信號，該信號包括至少一與進一步影像資訊相關的視差映射，從該信號獲得第一資料，該第一資料指示第一視差映射限制，從該信號獲得一第二資料，該第二資料指示第二視差映射限制，藉由處理至少該第一資料及該第二資料而決定匹配一目標裝置之第三視差映射限制的第三資料，該第三資料經調適以產生匹配該目標裝置之該等視差映射資訊限制的一更新信號。

因此，在該第一或該第二資料都不匹配該目標裝置之該等限制的情況下，在產生匹配該目標裝置之一更新的第三資料中利用該資料作為輸入是有可能的。該影像資訊可能為一靜態影像或一訊框或一視訊序列域。

在一實施例中，該第一資料及該第二資料為視差資訊變換，該等第一及該等第二視差映射限制為該影像資訊之第一及第二深度範圍，該第三資料為一第三視差資訊變換且該等第三視差映射限制為一第三深度範圍。

對於該術語，視差資訊是指與深度有關的資訊或與像差有關的資訊或其等之組合。在本文中與深度有關的資訊被用於表示對至該觀眾/相機的影像資訊之視距之一指示之資訊。而與像差有關的資訊被用於表示對視圖之間之影像元素之視移(即該左眼及右眼之影像中的該位移)之一指示之資訊。

在一實施例中，該第一視差資訊變換為該接收視差映射之一識別資訊變換。

在一實施例中，該第二視差資訊變換為藉由利用該識別資訊變換作為被處理之輸入而獲得的視差資訊變換，該處理導致輸出該第二視差資訊變換。

在一實施例中，該信號為一視訊信號，且其中該第二視差資訊變換係包括於該視訊信號中作為元資料。

在一實施例中，該元資料包括以下至少其中之一：與該視差資訊有關之一映射函數，與該視差資訊有關之一映射函數之一反函數，及用於與該視差資訊有關之一映射函數之一係數。

在某些情況下，可能有必要或有可能(例如)從電影院立體決定像差資訊，且接著將用於變換該等像差之一映射添加至更適合一減少深度範圍之家庭三維顯示器之一格式。後者(應用該變換之該結果)之該像差接著僅在該家庭中之該接收側首先產生。此元資料為一用於取消已經在該內容產生側完成之「向後」映射。

因此，該至少第二視差資訊變換可被視為經調整之適用於一特定終端接收器的視差資訊。該元資料的原理是其使得能夠獲得在沒有該元資料的情況下可能無法從該(原始)視差資訊獲得的資料。例如，第一視差資訊被發送至一三維顯示裝置。該元資料係關於該視差資訊之產生，即(例如，經由一函數或一查找表等)它們如何被獲得之方法。該元資料容許該接收器自視差資訊反向工作至該基本資料，該基本資料係用於產生該視差資訊或更適合於一特定目標裝置的新視差資訊。結果是產生該第二視差資訊變換，即在該接收器側被調整至一三維顯示器的視差資訊。

在一實施例中，決定匹配該目標裝置之該等第三視差映射限制之第三資料的該步驟包括在來自一組視差資訊變換之兩個各自視差資訊變換之間插值，該組視差資訊變換包括該第一及第二視差資訊變換，該第三資料為匹配該目標裝置之該深度範圍之一第三視差資訊變換。

在理想情況下，一三維顯示器可顯示一大視差範圍。然而，這需要滿足若干個觀看條件，例如該螢幕必須大，必須於遠距觀看該螢幕且視圖之間的該分離必須非常好。該等觀看條件並不總是滿足。因此，該「原始深度」導致該第一視差範圍，而該第二視差資訊變換導致一具有該第二視差範圍之第二深度信號。該實施例的優點是當一三維顯示裝置之該視差範圍不匹配該等範圍值任何一個時，藉由例如插值可從該兩個(或更多)變換計算一新變換。以這種方式，該信號之該深度範圍可被精確地調整至一三維顯示器之該可用視差範圍，從而致能改良的三維渲染。

在一實施例中，該組視差資訊變換基於來自該信號之進一步資料而進一步包括一進一步視差資訊變換。

在一實施例中，在決定該更新的視差資訊變換中用作輸入之該等視差資訊變換係基於一選擇規則而選擇。在一實施例中，該選擇規則界定選擇在該目標裝置之一預定深度範圍內之視差資訊變換。該預定範圍可為例如最緊密的深度範圍幅值。

在一實施例中，該目標裝置為一三維(3D)顯示系統且其中該等各自視差映射限制包括以下之至少其中之一：該三維顯示裝置之該視差或深度範圍，一觀眾與該三維顯示裝置之間之該顯示距離，及一位置參數，其指示該觀眾自該三維顯示裝置之該位置。

在一實施例中，該更新信號隨後被發送至該目標裝置，其中該更新信號被用於調整該視差映射以渲染用於一三維影像之視圖資訊的影像元素，該三維影像在該目標裝置之該可用視差範圍內。因此，可自例如一三維(3D)顯示裝置外部執行該視差資訊之該處理。

根據另一態樣，本發明係關於一種用於當在一電腦上運行一產品時指示一處理單元執行以上該等方法步驟之電腦程式產品。

根據又一態樣，本發明係關於一種處理包含在一信號中的視差資訊之裝置，其包括：一接收器，其用於接收一包括至少一與影像資訊相關的視差映射之信號，一處理器，其用於從該信號獲得第一資料，該第一資料指示第一視差映射限制，從該信號獲得第二資料，該第二資料指示第二視差映射限制，及藉由處理至少該第一資料及該第二資料而決定匹配一目標裝置之第三視差映射限制的第三資料，該第三資料經調適以產生匹配該目標裝置之該等視差映射資訊限制的一更新信號。

因此，提供一種裝置，該裝置在該第一或該第二資料都不匹配該目標裝置之該等限制的情況下，能夠在產生匹配該目標裝置之一更新的第三資料中利用該資料作為輸入。該影像資訊可能為一靜態影像或一訊框或一視訊序列域。

該裝置可為一機上盒、藍光光碟播放器、一三維顯示裝置、一立體顯示器、一PC電腦裝置或一可擕式電腦裝置之一整合部分。

根據又一態樣，本發明係關於一種包括該裝置之三維(3D)顯示裝置。

在一實施例中，該三維顯示裝置為一自動立體顯示系統。

該三維顯示裝置為一立體顯示系統或一自動立體的立體顯示器。

本發明之該等態樣之各個可與其他態樣之任何一個組合。本發明之該等及其他態樣參考以下所述之該等實施例將是顯而易見的且參考該等實施例而闡明。

將僅以實例的方式參考該等圖式描述本發明之實施例。

當我們看人們如何在現實世界中感知深度時，人們利用兩個眼睛看世界，且每個眼睛從一略微不同的位置看世界。大腦將來自該左及右眼睛之該等影像融合以獲得一三維效果。

該深度係經由不同深度「線索」感知，其中一些甚至藉由閉上一隻眼睛而工作(或若一個人看一照片或電視)。該等被稱為單眼深度線索(排除調視)。需要雙眼的深度線索被稱為雙眼深度線索。

該等單眼線索包含該透視、運動視差、紋路梯度、相對大小、重疊、陰影、景深及調視。調視是指當該等眼睛聚焦在某一物件上時，大腦可從控制該聚焦的眼睛肌肉之緊張度來估計該物件之距離。它是僅有的絕對單眼線索，其他全部都是相對的。

該等雙眼深度線索係幅奏作用且立體視覺。幅奏作用是指一個人的眼睛之眼軸聚合在該人正在看的該物件上。若一個人看一無限遠的物件，則該等眼睛是平行的，且當該人嘗試看其鼻尖時，該等眼睛視線變成相交。如調視一樣，幅奏作用也是一絕對線索。然而，調視及幅奏作用相較於立體視覺僅為較小線索。立體視覺(有時也稱為「三角量測」)是指藉由人腦基於該左及右眼視網膜上之物件之間的該像差應用之「影像處理」之該深度「計算」。

當考慮立體深度感知如何在一三維電影院中或任何其他立體或自動立體顯示器上工作時，該技術用於將一不同影像顯示給每個眼睛。這可藉由編碼具有不同顏色之該左及右影像(立體、杜比/豔麗生動)、藉由利用偏振光或藉由按順序顯示左及右影像而實現。該等方法全部都需要該觀眾戴眼鏡以過濾出該左及右影像。另一種是自動立體顯示器，該等顯示器不需要該觀眾戴眼鏡，但是基於例如該顯示器上之障壁或透鏡顯示不同影像給該左及右眼。所有方法的品質係由左與右影像之間之該分離程度良莠而定。若該左影像之一部分在該右眼中是可見的，反之亦然，則由此產生的該效果被稱為重影或串擾，且它會減低該三維體驗。

看起來在該螢幕之表面上的物件對於該左及右眼睛具有相同影像。浮動在該螢幕之後或之前的任何物件在該左/右影像中略微偏移。該影像中之該偏移通常在像素中量測且被稱為「像差」。因為其取決於該影像之解析度及該螢幕大小而導致一不同效果，所以人僅在該螢幕表面上看到該物件之該偏移，其被稱為「螢幕視差」。它被定義為一實體距離以便係與一特定解析度或螢幕大小無關。

圖1顯示該螢幕視差p、該觀眾與該顯示器之間之該顯示距離D、自該螢幕表面量測之該物件之該眼睛距離x _B及該感知距離z _p之間的關係。該x軸表示該顯示面板及該z軸表示自該顯示面板之該距離。

該關係可被表達如下：

有可能從該等式推導出以下屬性：當該感知深度z _p為0時，該螢幕視差p為0。

當該物件看起來係在該螢幕之後時，該螢幕視差p為正，且當該物件看起來係在該螢幕之前時，該螢幕視差p為負。

對於無限遠物件(z _p→∞)，p等於該眼睛距離x _B。這是p之上限。

浮動在該觀眾與該螢幕中間(其中)之一物件具有一視差p=-x _B。

具有自該觀眾一距離之一物件具有一視差p=-2x _B，及具有一距離之一物件具有一視差p=-3x _B等。

有時，以一不同方式用公式表示該等式更容易。不是自該螢幕表面之該絕對距離，而是有可能將重點放在一物件自該觀眾之相對距離(利用該螢幕距離D作為參考)。該相對深度可表達為：

該量測有時被稱為「視深」。若d為100%，則該物件看起來係在該螢幕表面上，若d為50%，則它浮動在該觀眾與該螢幕之間的中間。若它大於100%，則該物件看起來係在該螢幕之後。經由在d方面上重寫該原等式，

且代入d解它，給出

以上等式是一般性的且適用於所有螢幕大小及觀眾距離。不幸地是，由於以下原因，在一真實螢幕上很難產生一完美三維體驗：該螢幕大小是有限的，有一調視/幅奏作用不匹配，缺乏運動視差，及視野是有限的。

為了瞭解為何螢幕大小是一個問題，人們應該看該所謂的立體視窗，其為在該可視影像周圍的該框。經由水平偏移左及右影像，有可能影響物件出現在該螢幕平面之前或之後。在螢幕平面之後的任何物件自動感覺自然，幾乎像經由一真實視窗觀看。當浮動在該螢幕之前的物件被該螢幕邊界切斷時問題出現了。這是一所謂的視窗侵犯。若例如一物件浮動在該螢幕之前且碰到左眼之該影像上的該左邊界，則該物件之一部分在右眼之該影像中被切斷。人腦獲得衝突線索，該立體視覺線索告訴它該物件在該螢幕之前，但是該遮擋線索告訴它該物件隱藏在該螢幕邊界之後，且因此必須在該螢幕之後。在較小程度上，使物件在頂部或底部邊界切斷也是感覺不自然的。

目前，僅一IMAX螢幕係足夠寬的使得人們不必擔心該左/右邊界上之視窗侵犯。在一般電影院螢幕(大約10米寬)上，視窗侵犯開始成為一問題且在三維電視機上該問題是不可避免的。看以上等式，人們可看到，為了在相對深度方面上獲得相同立體效果，不論螢幕大小，該實體螢幕視差是相同的。為了在電影院內顯示無限遠的物件，該左及右影像被偏移了x _B=65mm。其為該螢幕寬度的大約0.5%。為了在三維電視中顯示無限遠的物件，該左及右影像也被偏移了65mm，但是現在該偏移為該螢幕寬度的近5%。為了顯示以25%的相對距離浮動在該螢幕之前之一物件，人們需要一電影院螢幕之該寬度之至少1.5%的一邊際，但是對於一電視來說需要一15%邊際。因此，對於三維電視來說很難使物件懸停在人們鼻子之前。它僅對差不多在該螢幕中心之物件有效。

結論是較小螢幕自動限制可顯示之深度量。

另一主要問題是該調視/幅奏作用不匹配。不論該物件出現在哪裡(該螢幕之後或之前)，人們仍然必須將眼睛聚焦至該螢幕上。簡單地說，只有該兩個絕對深度線索其中之一被用在立體投影中，且它排斥其他另一個。對於一無經驗的三維觀眾，經驗法則是避免大於1.5度之視網膜像差。大於1.5度之任何事物導致眼睛疲勞，且有時人們無法將兩個影像融合成一影像，且將看不到任何立體效果。這主要取決於幫助我們利用立體視覺融合該等影像之該等單眼深度線索之品質。該視網膜像差可被計算如下：

此外，因為該實體視差p相較於該螢幕距離D是小的，所以該三維電影院具有本文中之該優點。假設一螢幕距離D=10m，則對於無限遠的物件，該視網膜像差僅為0.37度左右。

在一相對距離20%浮動的物件具有一1.48度的視網膜像差，且儘量接近人們在電影院中之視網膜像差

經由再次看用於該相對深度之該等等式，假設一觀眾坐在一立體螢幕之前。具有一50%的相對深度之物件看起來在該觀眾與該螢幕之間的中間。現在，經由接近該螢幕移動一該相同物件仍然具有一50%的相對深度，但是其深度相較於該螢幕上之該大小改變。該物件具有較少絕對深度。若該觀眾遠離該螢幕移動，則該絕對深度被增加。僅在一特定「甜蜜點(sweet spot)」中，該觀眾獲得深度與二維大小之間的該正確比例。若該觀眾坐在該位置上，視野(即該螢幕對於你來說看起來最大的角度)與該電影院之視野是相同的。該情況也被稱為正交立體視覺，由該相機觀察之深度之完美複製。

對於所有觀眾實現該情況是不可能的。甚至對於單個觀眾，其是指必須利用一單一相機且在沒有變焦的情況下產生該整個內容。因為其因它們應避免太多可能看起來不自然之深度而被用在二維電視及二維電影院中，所以觀眾可很容易容忍太少深度。

深度縮放對不同螢幕之作用程度：

深度縮放係一種將以一種格式儲存之該深度轉換為該目標螢幕的深度範圍之程序。對於該術語，深度縮放較佳地是指將一像差/視差映射至另一像差/視差。各種格式(如WOWvx格式)可在任何螢幕上顯示三維，對於行動電話中之自動立體顯示器至電影院中之立體投影，其總是藉由利用每個螢幕之全深度能力，同時將眼睛疲勞及觀看不適度減少到最低。然而應指出，該格式不應限於一特定三維格式，而是也同樣可使用其他格式，如二維加深度檔案及介面格式。

本文之目的是在任何可用三維螢幕(自掌上型裝置至電影院螢幕)上顯示具有一適當格式之內容。因此，該格式應含有一大的深度範圍，使得足夠資訊可用於在大螢幕上顯示它。如上所述，必須考慮若干個因素以找到該原始深度資訊至該目標螢幕之該最佳變換。

該最佳組態首先為大螢幕及接著減小至掌上型大小且調查每個螢幕大小。

假設提供一檔案，其在相對深度方面上含有一25%至無窮大之深度範圍。這意味著該等最近物件浮動在距離該螢幕距離四分之一的該觀眾之前，及該等最遠物件係在無窮大深度。該視差範圍係自65mm(無窮遠)至-195mm(25%相對深度)。

電影院螢幕：

在一電影院螢幕上，或更精確而言，在任何電影院螢幕上，在觀眾與螢幕之間有足夠距離，所以該調視/幅奏作用不一致並不是一個問題且人們並不預期有該立體視窗之問題。因此，任何電影院螢幕可顯示以該適當格式編碼之該深度範圍，且不需要變換該深度資訊。應指出，這與在每個螢幕上顯示該等相應立體影像不一樣一該實體螢幕視差保持不變，但是這導致一像素像差，該像素像差取決於該螢幕大小及像素解析度。一個例外是IMAX，因為其視野大於一般電影院中的視野。為了保持用於一般電影院而產生之內容之該深度長寬比，移動該螢幕平面使之遠離觀眾可能是有利的。

立體三維電視：

考慮一具有三維眼鏡及一1m的螢幕寬度(大約45"對角線)之立體三維電視，觀眾與電視機之間的距離通常為3m。

顯然，由於相對深度25%可導致一3.72度的視網膜像差-一般對於舒適觀看來說感知為太多，所以顯示該原始內容之整個深度範圍是不可能的。雖然它僅有一1.24度的視網膜像差，但是若一觀眾必須連續看它，則甚至無窮大的深度也可導致眼睛疲勞。

另一問題是一-195mm的螢幕視差佔據了該螢幕之近20%。這在該物件的兩側上將需要一至少20%的邊際，其應浮動在該螢幕之前以便不會侵犯該立體視窗。

此外，若該原始內容意為用於一電影院螢幕，則有可能在一較小螢幕上觀看它，但是由於該相同實體螢幕視差導致「太深」的感覺。這是由於一不適當的深度長寬比而造成、由於該現在不同視野而造成。物件在大小上係較小，但是仍然具有相同深度，例如，現在看起來具有一黃瓜外形之一球。

最後，人們還應嘗試離開所欲置放之該螢幕平面，且並不朝著或遠離該觀眾移動太多。原因很簡單：一觀眾必須聚焦在其上之處的該內容之大部分(例如，小文字或其他細節)最好被顯示在該螢幕平面上以避免眼睛疲勞，且內容通常被產生成將注意力集中在該內容產生器想要該觀眾在該深度所聚焦的該等物件上。藉由考慮四個因素，該三維電視之一良好的深度範圍將為25mm至-75mm(在視差方面)及46.4%至162.5%(在相對深度方面)。這當然是非常主觀且僅為一安全默認。

所關注地是，若在該相同電視機上顯示一觀眾予一為該電影院螢幕而創作之立體電影，則將該深度範圍與該觀眾可獲得之該深度範圍相比較。假設該內容與上述相同，且該電影被製作用於一40'螢幕大小，則由此產生之該深度範圍為5.3mm至-16mm(在螢幕視差方面)及80%至109%(在相對深度方面)。例如對於該WOWvx格式，該深度效果可被製作成強至4至5倍之多。在圖2中顯示比較該差異的一圖，其顯示在一電影院螢幕上所顯示之一典型電影院內容之深度範圍、在一立體電視上所顯示之該等相同立體(L/R)影像及在該相同立體電視上所顯示之採用WOWvx技術(深度縮放及視差資訊變換)的該相同內容之一比較。

受限螢幕及較小顯示器：

簡單地，因為現代自動立體顯示器及較小顯示器在不放大該螢幕寬度的情況下不足以顯示足夠視差，或因為多視圖自動立體顯示器必須渲染若干個視圖且需要由一相同大小的立體顯示器使用之多個該視差範圍，所以該等顯示器一般具有一受限深度及視差範圍。

為了最大限度地利用該受限深度範圍，有可能利用以下方法其中之一：並不是每個景/場景利用該全深度範圍，且有可能將每個景之該深度範圍映射至該顯示器之該深度範圍。不可能在不同景之上獲得一致的深度，且沒有絕對的深度量測，但是這在該等螢幕上並不顯著。

在利用該全深度範圍的景中，將它減少至僅為該原始深度範圍的一小部分導致一登機證效應，例如臉及其他物件看起來平的。一種良好的解決方法是藉由犧牲物件間的深度來增加物件裏面的深度。這可藉由以該格式體現一視差變換而實現。

係該場景的焦點之物件可由一近及遠平面或一視錐包圍。在一受限螢幕上，在該遠平面之後的所有事物被投影在該顯示器的遠平面上且在該近平面之後的所有事物被剪裁/投影至該近平面。這也可藉由以該格式體現一視差變換而實現。

用於一三維顯示裝置之該等觀看條件並不總是滿足。這將需要該螢幕是大型的且它必須於遠距離觀看以及該等視圖之間的該分離必須非常好。然而，該等觀看條件並不總是滿足；因此，有時若是指一具有較少限制深度能力的三維顯示裝置，則一影像+深度信號可呈現太大的視差範圍。它也可能是該內容被製作用於一具有一限制深度範圍的顯示器之該情況，其意味著在一較少限制的顯示器上可顯現更多深度。簡單的深度線性延伸可能很難增加或減少深度量，但是有時需要一更因場景而定的視差變換。該等映射在該技術中是眾所周知的，如例如在「2004年Nick Holliman之在立體顯示器及應用程式XV中將感知深度映射至立體影像中所關注之區域，可在 http://www.comp.leeds.ac.uk/edemand/publications/hol04a.pdf 獲得」中所述，其以引用的方式併入本文中。

在圖4-6中給出該映射之該使用的一實例。圖4之左側顯示一道路的一場景，該道路看起來在該螢幕之後且其自螢幕深度延伸至無窮遠，且右側為該視差映射。非常接近該觀眾，一球正在空中懸停。在該球與該道路之該可視部分之間有一大的深度間隙。用於該整個範圍之該視差範圍可例如為-65mm至65mm。對於具有限制深度範圍之螢幕，當線性縮放像差時該球看起來非常平。更滿意地是使該球利用在該螢幕之前的該整個可用空間。這可利用圖5中所示之一視差變換而實現，其中該x軸含有該變換之該輸入視差，及該y軸顯示該輸出視差。該等正視差值被線性縮放(正視差係在該螢幕之後，在該情況下其為該道路)。做除了線性縮放以外的其他任何行為均將造成單眼與雙眼深度線索之間之一不一致，且一重新產生之其他視圖將顯示一曲面/彎曲的道路而不是一直路。該球自-65mm至例如大約-40mm之該視差範圍被線性縮放以利用該受限螢幕之前的該全「空間」。在該前景與背景物件之間(-40mm至0mm的該視差範圍)的該間隙被去除。如圖5中所示，一視差映射將完成此舉且導致一修飾的視差映射(利用一較小視差縮放)，如圖6中所示。如以下將討論，該識別變換(即，用於顯示圖4中之該影像的該實際深度資料)連同該供應的變換(用於顯示圖6中之該影像的該深度資料)被用於推導用於一特定目標裝置之顯示範圍的一新變換。應指出，因為不同三維顯示器具有不同深度範圍顯現特性，所以最好使用該等視差變換。例如，該深度範圍在較小螢幕上通常比在一大電影院螢幕上更小，其中人們可使物件幾乎碰到該觀眾的鼻子。

圖7中顯示一視差映射的另一實例，其識別該顯示器的深度範圍被分配至的一遠與近平面之間所關注的一範圍，其裁剪該範圍以外的任何深度值。

應指出，藉由自該視差映射接收如圖4中(右圖)所示的該視差映射，有可能是自該視差映射推導出該映射(在該情況下為該識別映射)，例如特徵在於(-65mm,-65mm)、(65mm，65mm)之該視差變換而不是圖5中所示的該映射。

如2007年9月13日申請之該未公開專利申請案EP 07116278.8(代理人檔案PH008849EP1)中所述，其全文以引用的方式併入本文中，有利地是連同深度映射一起發送描述該等映射之視差變換使得該映射可被應用(或不是)在該等觀看條件及該等三維顯示屬性是已知的該接收側。如此一來，因為該等視差映射仍然可適用於該三維顯示器及觀看條件，所以可在具有各種視差範圍能力之顯示器上觀看該內容。因此，來自圖4之該影像及深度可藉由描述圖5中所示之該視差變換的資訊而完成，或反之，若來自圖6之該深度映射將被編碼在該內容中，則圖5中所示之該變換的反向變換可作為元資料被發送以容許重新建構圖4中所示的該深度映射。

此外，該原始深度信號(或如MPEG-C部分3中之該視差縮放及偏移一樣的該元資料)導致一視差範圍，而應用如PH008849EP1中所述之該提供的視差變換導致一具有一第二視差範圍的第二深度信號。

在一實施例中，本發明之目的是處理該等視差範圍之任何一個都不(即，既不是該原始深度信號之該視差範圍也不是第二視差範圍)匹配一目標三維顯示器之視差範圍的該情況。在該情況下，可藉由插值(或若需要，則為外插法)而從該兩個變換(例如，該提供的變換及該識別變換)計算一新變換。以這種方式，該信號之該深度範圍可被調整至一三維顯示器之該可用視差範圍。

圖3顯示根據本發明之一處理包含在一信號中的視差資訊之方法的流程圖。

在步驟(S1)301中，接收一信號，該信號包括一與進一步影像資訊相關的視差映射。

在步驟(S2)303中，從該信號獲得第一資料，該第一資料指示第一視差映射限制。

指示該視差映射之該資料可為視差資訊(又稱像差資訊，其指示視圖之間的該(水平)位移量)或距離資訊(指示在該位置的該場景位於該顯示器之前或之後多遠的資料)。該等視差映射限制可例如包含一觀眾與該三維顯示裝置之間的該顯示距離或指示該觀眾自該三維顯示裝置之該位置的一位置參數或其等之一組合。

在步驟(S3)305中，從該信號獲得第二資料，該第二資料指示第二視差映射限制。

在步驟(S4)307中，藉由處理至少該第一資料及該第二資料而決定匹配一目標裝置之第三視差映射限制的第三資料。該第三資料經調適以產生匹配該目標裝置之該等視差映射資訊限制的一更新信號。

在一實施例中，該第一資料及該第二資料為視差資訊變換且該第一及該第二視差映射限制為用於該影像資訊之第一及第二深度範圍。

該術語視差資訊可包含與深度有關的資訊或與像差有關的資訊或其等之一組合。

在一實施例中，該第三資料為第三視差資訊變換且該第三視差映射限制為一第三深度範圍。在一實施例中，該第一視差資訊變換為該接收的視差映射之一識別資訊變換，即用於顯示該影像之該實際深度資料，且該至少第二視差資訊變換為從該識別資訊變換(圖4-6)處理之視差資訊變換。

如在PH008849EP1中所述，該至少第二視差資訊變換可作為元資料而被包括在該視訊信號中，其中該元資料包括用於產生該視差資訊變換之至少一映射函數或用於產生該視差資訊變換之一映射函數的至少一反函數或用於產生該視差資訊變換之一映射函數的至少一係數或其等之一組合。

在一實施例中，決定匹配該目標裝置之該等第三視差映射限制之第三資料的該步驟包括在來自一組視差資訊變換之兩個各自視差資訊變換之間插值，該組視差資訊變換包括該第一及第二視差資訊變換，該第三資料為匹配該目標裝置之該深度範圍之一第三視差資訊變換。該兩個或多個視差資訊變換可選自該等第二視差資訊變換或該接收之視差映射之該識別資訊變換及該等第二視差資訊變換之一或多個。在另一實施例中，該插值包括在兩個(或多個)深度映射之間插值，該等深度映射之各個具有它們的範圍。

因此，若提供一個以上的視差變換，則可使用較高階插值或選擇該等可用變換之一合適子集以執行插值。一種內含的第三變換為該線性變換，其將該內容視差範圍線性壓縮或擴展至該顯示器視差範圍。

在決定該更新的視差資訊變換中，用作輸入之兩或多個視差資訊變換之該選擇係基於一選擇規則而選擇。該選擇可係基於選擇在該目標裝置之一預定深度範圍內之該等視差資訊變換。例如，將使用之兩個或更多變換之該選擇可基於選擇其範圍最接近該目標裝置範圍之該等視差資訊變換，其最好是一個具有較小範圍且一個具有較大範圍。

例如，假設該原始深度資料之該視差範圍為[0..12]，且假設一視差變換為可用，則其可藉由選擇來自該自0至12之該子範圍[4..8]且裁剪小於4及大於8的值而將該範圍映射至[0..4]。此變換之特徵可在於該等映射0->0、4->0、8->4及12->4(它們之間利用線性插值)。若該目標裝置為一具有一深度範圍[0..8]之顯示裝置，則有可能藉由在該識別變換與該供應的視差變換之間插值而計算一新視差變換。因為8為12與4的平均值，所以其藉由平均該等映射而達成。該結果為一映射：0->(0+0)/2、4->(0+4)/2、8->(4+8)/2、12->(4+12)/2。該新變換接著可被應用至該視差資料而不是該供應的變換(因為0映射至0且4映射至2，所以(例如)2之一視差將映射至1)。其圖形地描繪於圖8中，其中該等「方塊」表示該原始深度資料之該視差範圍[0..12]，該「三角形」表示該供應之視差變換之該視差範圍，該供應之視差變換將該範圍映射至[0..4]，且該等三角形為該第三且新的視差變換[0..8]。這是如何藉由插值而從兩個變換計算一新變換之一實例。以這種方式，該信號之該深度範圍可被精確地調整至一三維目標顯示器之可用視差範圍。

也可利用在不同位置具有「控制點」之視差變換實現該插值。例如，參考該先前實例，在該實例中之該供應的視差變換在0、4、8及12具有控制點。若有另一視差變換0->0、6->8、12->12(相較於該識別變換，在(6、8)之一額外控制點)，則插值必須為該視差變換計算該等值在4及8是多少，且為該形成視差變換計算該值在6處是多少，以及接著將利用在0、4、6、8及12之控制點產生一新視差變換。

繼續參考圖3中之該流程圖，在步驟(S5)309中，該更新信號隨後被發送至該目標裝置，其中該更新信號被用於調整該視差映射以渲染用於一三維影像之視圖資訊的影像元素，該三維影像在該目標裝置之該可用視差範圍內。該步驟揭示自該目標裝置外部執行上述該等處理的該情況，即上述該等處理並不一定藉由該目標裝置而是利用任何接收器裝置(不是該目標裝置)執行。該裝置可為一處理單元，其容許該處理器藉由插值變換該資料以便推導適合於該目標裝置(例如，該三維顯示裝置)存在的要求之一信號。因此，該處理裝置可在一機上盒(例如，當該新進信號已經具有相關的兩個相關信號時)中，它可在一三維顯示裝置中，它可在一將記憶體中之資訊轉換成至一顯示器之視訊輸出的「顯示適配器」中，或一運行在一PC電腦上的程式。

圖9顯示一種處理包含在一信號901中的視差資訊之裝置900，其中該裝置900包括一接收器(R)910及一處理器(P)911。該接收器經調適以接收一信號，該信號包括一與影像資訊902相關的視差映射。該處理器(P)911經調適以從該信號獲得指示第一視差映射限制的第一資料，從該信號獲得指示第二視差映射限制的第二資料，及藉由處理至少該第一資料及該第二資料而決定匹配一目標裝置904之第三視差映射限制的第三資料。該第三資料經調適以產生匹配該目標裝置904之該等視差映射資訊限制的一更新信號。在圖3中已經討論由該處理器(P)911執行的該等處理步驟。

該裝置可為一機上盒905、藍光光碟播放器905、一三維顯示裝置1000、一立體顯示器、一PC電腦裝置905或一可擕式電腦裝置等之一整合部分。

如圖9中所示，且如圖3中先前所討論，該處理可在該顯示裝置側(即在該終端接收器側)或在外部執行，其中該第三資料隨後經由一有線或無線通信通道907由一發送器(T)906發送至該目標裝置904，該有線或無線通信通道具有一接收器903，該接收器用於接收該處理資訊以產生匹配該目標裝置904之該等視差映射資訊限制的該更新信號。在該外部處理的情況下，該顯示裝置900可經調適以在例如一wowvx檔案中讀取在其中的一視差變換，且將合成器的輸出模式設定成一特定顯示器(其具有一特定範圍)之一立體模式。以這種方式，該合成器將利用該調整的視差渲染一左及右圖片。

例如，一藍光光碟可含有用於一特定三維深度範圍值視訊+視差資訊及一視差變換，該視差變換容許將該視差資訊映射至可被用於一具有一不同深度範圍之第二顯示類型的一新視差映射。該藍光光碟播放器可播放該光碟、將該資訊從該壓縮格式轉換為一顯示格式及經由例如HDMI將該資訊全部發送至一三維顯示裝置。該顯示裝置或該藍光光碟播放器可利用本文中所揭示之該方法以計算一新視差變換，該新視差變換可被用於將該視差資訊映射至討論中的該三維顯示器之該顯示範圍(該藍光光碟播放器可從例如該EDID資訊確定該顯示器的顯示範圍)。若該藍光光碟播放器將實施該方法，則它在將該視訊資料通信至該顯示器時將利用符合該三維顯示裝置之該新變換替代自該光碟讀取的該視差變換。另外，該藍光播放器可將該新視差變換應用至自該光碟讀取的該等視差映射，且將該等新視差映射而不是自光碟讀取的該等映射發送至該顯示器。這樣將不再需要發送一視差變換將為不是實施本文中所揭示之該方法的一三維顯示器提供相容性。另外，來自該光碟之該原始視差變換被發送至該三維顯示器且該三維顯示器執行本文中所揭示之該方法以計算一新視差變換。

圖10顯示一包括來自圖9之該裝置900的三維(3D)顯示裝置1000。該三維顯示裝置可為一自動立體顯示系統、一立體顯示系統或一立體顯示器。

根據本發明之該方法可有利地實施在多種處理平臺上。可設想實施作業在一通用電腦、數位信號處理器或另一可程式化處理器上。另外，本發明可實施在一包括在一特定應用積體電路上之預程式化硬體實施中。

雖然本發明已經在該等圖式及先前描述中說明及描述，但是該說明及描述應視為說明性或示例性而不是限制性；本發明並不限於所揭示之該等實施例。應進一步指出，如以上參考圖10所述，本發明可體現在一產品中，如一顯示器、一機上盒或其他裝置。在後者情況下，本發明可併入、實施在針對該目的的處理平臺及/或更通用的處理平臺上。

對所揭示的該等實施例之其他改變可藉由熟習此項技術者自研讀該等圖式、本發明及附加技術方案而被理解及用於實踐本發明。在技術方案中，該單詞「包括」並不排除其他元件或步驟，且該不定冠詞「一(a)」或「一(an)」並不排除複數。一單一處理器或其他單元可實現在技術方案中所述之若干項之該等功能。某些措施被描繪在相互不同的從屬技術方案中的該事實並不表示不能有利地利用該等措施之一組合。一電腦程式可被儲存/分佈在一合適媒體上，如一光學儲存媒體或一與其他硬體一起供應或作為其他硬體之一部分的固態媒體，但是也可以其他形式分佈，如經由網際網路或其他有線或無線電信系統。在技術方案中之任何參考標記不應視為限制該範圍。

900．．．裝置

901．．．信號

902．．．影像資訊

903．．．接收器

904．．．目標裝置

905．．．機上盒、藍光光碟播放器、PC電腦裝置

906．．．發送器

907．．．有線或無線通信通道

910．．．接收器

911．．．處理器

1000．．．三維顯示裝置

圖1顯示該螢幕視差p、一觀眾與一顯示器之間之一顯示距離D、自該螢幕表面量測之一物件之一眼睛距離x _B及一感知距離z _p之間的關係，

圖2顯示通常用於立體電視、電影院及最先進自動立體顯示器之深度範圍的一比較，

圖3顯示根據本發明之一方法的流程圖，

圖4顯示在一變換之前之一視差映射，

圖5顯示用於受限螢幕之視差變換之一實例，

圖6顯示在變換之後之一視差映射，

圖7顯示一視差映射之另一實例，

圖8用圖形描繪在兩個視差資訊變換之間之一插值以獲得匹配一目標裝置限制之一第三視差資訊之一實例，

圖9顯示根據本發明之一裝置，及

圖10顯示根據本發明之一包括該裝置之三維(3D)顯示裝置。

(無元件符號說明)

Claims

一種處理一信號的方法，其包括：接收一信號(901)，該信號包括視差(parallax)資訊、影像資訊及元資料(metadata)，從該信號獲得一第一視差資訊變換(transform)，該第一視差資訊變換指示該影像資訊之第一深度範圍(303)，其中該第一視差資訊變換係從該元資料獲得，或該第一視差資訊變換係該經接收視差資訊之一識別資訊變換，該識別資訊變換係該視差資訊之識別變換(identity transformation)，從該信號獲得一第二視差資訊變換，該第二視差資訊變換指示該影像資訊之第二深度範圍(305)，其中該第二視差資訊變換係從該元資料獲得，藉由處理該第一視差資訊變換及該第二視差資訊變換而決定匹配一目標顯示裝置之一目標深度範圍之一目標視差資訊變換(307)，該第一視差資訊變換及該第二視差資訊變換係作為輸入以產生該目標視差資訊變換，該目標視差資訊變換經調適以產生一匹配該目標顯示裝置之該深度範圍的更新信號，其中指示一深度範圍之該等視差資訊變換界定該視差資訊之一變換以匹配該深度範圍。
如請求項1之方法，其中決定匹配該目標顯示裝置之該目標深度範圍之該目標視差資訊變換之步驟包括：在該第一視差資訊變換及該第二視差資訊變換之間進行插值(interpolating)，或對多於兩個視差資訊變換進行高階(high-order)插值，該多於兩個視差資訊變換包括該第一視差資訊變換及該第二視差資訊變換。
如請求項1或2之方法，其中該第二視差資訊變換為藉由利用該識別資訊變換作為被處理之輸入而獲得的一視差資訊變換，該處理導致輸出該第二視差資訊變換。
如請求項1之方法，其中該信號為一視訊信號，且其中該第二視差資訊變換係包括於該視訊信號中作為元資料。
如請求項4之方法，其中該元資料包括以下至少其中之一：與該視差資訊有關之一映射函數，與該視差資訊有關之一映射函數之一反函數，及用於與該視差資訊有關之一映射函數之一係數。
如請求項1之方法，其中決定匹配該目標顯示裝置之該目標深度範圍之該目標視差資訊變換的該步驟包括在來自一組視差資訊變換之兩個各自視差資訊變換之間插值，該組視差資訊變換包括該第一及第二視差資訊變換，該目標視差資訊變換匹配該目標顯示裝置之該深度範圍。
如請求項6之方法，其中該組視差資訊變換包括一基於該信號之第三視差資訊變換。
如請求項6或7之方法，其中在決定該更新之視差資訊變換中用作輸入之該等視差資訊變換係基於一選擇規則而選擇。
如請求項8之方法，其中該選擇規則界定選擇在該目標顯示裝置之一預定深度範圍內的視差資訊變換。
如請求項1之方法，其中該更新信號隨後被發送至該目標顯示裝置，其中該更新信號被用於調整該視差資訊以呈現(render)用於一三維影像之視圖資訊的影像元素，該三維影像落在該目標顯示裝置之可用視差範圍內。
一種電腦程式產品，其用於當在一電腦上運行該產品時指示一處理單元執行請求項1之該等方法步驟。
一種處理一信號(901)的裝置(900)，其包括：一接收器(910)，用於接收一包括視差資訊、影像資訊及元資料的信號，一處理器(911)，用於從該信號獲得一第一視差資訊變換，該第一視差資訊變換指示該影像資訊之第一深度範圍(303)，其中該第一視差資訊變換係從該元資料獲得，或該第一視差資訊變換係該經接收視差資訊之一識別資訊變換，該識別資訊變換係該視差資訊之識別變換(identity transformation)，從該信號獲得一第二視差資訊變換，該第二視差資訊變換指示該影像資訊之第二深度範圍(305)，其中該第二視差資訊變換係從該元資料獲得，藉由處理該第一視差資訊變換及該第二視差資訊變換而決定匹配一目標顯示裝置(904，1000)之一目標深度範圍之一目標視差資訊變換，該第一視差資訊變換及該第二視差資訊變換係作為輸入以產生該目標視差資訊變換，該目標視差資訊變換經調適以產生一匹配該目標顯示裝置(904，1000)之該深度範圍的更新信號，其中指示一深度範圍之該等視差資訊變換界定該視差資訊之一變換以匹配該深度範圍。
如請求項12之處理一信號(901)的裝置(900)，其中決定匹配該目標顯示裝置之該目標深度範圍之該目標視差資訊變換包括：在該第一視差資訊變換及該第二視差資訊變換之間進行插值，或對多於兩個視差資訊變換進行高階插值，該多於兩個視差資訊變換包括該第一視差資訊變換及該第二視差資訊變換。
一種三維(3D)顯示裝置(1000)，其包括如請求項12或13之裝置。