TWI504220B - 於三維視訊之深度轉變的有效編碼 - Google Patents

Description

於三維視訊之深度轉變的有效編碼

本發明係關於一種將一視訊資料信號編碼的方法，該方法包括為一影像中之像素提供色彩資訊；為該等像素提供具有深度資訊之一深度圖；為轉變資訊提供調合像素，在該等調合像素中調合一前景物件之色彩與一背景物件之色彩；及產生視訊資料信號，該等視訊資料信號包括表示色彩資訊、深度資訊及轉變資訊的編碼資料。

本發明係進一步關於一種將視訊資料信號解碼的方法、一種編碼器、一種解碼器、用於編碼或解碼的電腦程式產品、視訊資料信號及一種數位資料載體。

在三維(3D)視訊顯現技術中，存在將一第三維編碼為視訊資料信號的多個方法。表示三維視訊之一普遍方法為使用一個或多個二維(2D)影像加上提供第三維之資訊的一深度表示法。此方法亦容許用與包含於三維影像資料內之二維影像不同的視點及視角產生二維影像。此類方法提供許多優點，包含容許以相對低之複雜度產生三維視圖及提供一有效率資料表示法，藉此減少例如對於三維視訊信號的儲存及通信資源要求。

在產生具有不同視角的影像時，不同物件之不同深度引起物件邊界發生不應發生之偏移，而產生新的邊界。物件邊界之偏移可能引起減少影像品質的不希望之效果。當例如來自一離焦前景物件之光線反射與一聚焦前景物件混合時可能出現不真實的觀看邊界。通常使用一alpha圖解決此問題，該alpha圖在視訊資料信號之一分離層中傳輸。

該alpha圖包括alpha值，該等alpha值指示各個像素是否為一前景像素、一背景像素或者一混合像素，該混合像素中之色彩部分由前景物件決定且部分由背景物件決定。alpha值反映混合比率。此後此等混合像素亦稱為「不確定」像素。諸色彩之此混合亦稱為調合。出於編碼目的，alpha值可從現存資料擷取、手動指派或估計。一alpha估計演算法典型使用來自前景及背景的空間鄰近樣本來估計用於「不確定」區域內的所有像素之一alpha值。為了促進此估計程序，首先產生一所謂三相圖(trimap)，指示各個像素是否為前景、背景或不確定。從鄰近的前景及背景獲取多個空間鄰近之樣本以估計不確定區域內的一像素之前景值、背景值及alpha值。當產生一新視圖時，偏移的前景像素值與新背景調合。

典型而言，一alpha圖包括具有相對大區域，該等區域具有用於前景像素之一值「1」的或用於背景像素之「0」。在此等區域之間，alpha值進行從「0」至「1」或相反的一快速轉變。此係例如離焦前景物件之物件轉變及極細小物件(諸如毛髮)之情形，使用透明度作為處理此等物件之機制是方便的。在自然視訊中不太經常出現較大區域內的真實透明度(諸如窗戶等等)。alpha圖中的的空間快速改變使其等之壓縮相當無效率且使視訊資料信號之傳輸成本增加。

本發明之目的在於提供一種如首段中描述的將一視訊資料信號編碼之方法，該方法在新呈現視圖中保留平順的物件轉變之同時減少傳輸成本。

根據本發明之一第一態樣，藉由提供一種將一視訊資料信號編碼的方法達成此目的，該方法包括：為一影像中之像素提供色彩資訊；為該等像素提供具有深度資訊的一深度圖；提供轉變資訊，該等轉變資訊表示影像內一轉變區域之一寬度；該轉變區域包括一深度轉變及調合像素，在該等調合像素中調合一前景物件之色彩與一背景物件之色彩；產生該視訊資料信號，其包括表示該色彩資訊、該深度圖及該轉變資訊的編碼資料。

與必須為一轉變區域內所有像素提供alpha值不同的是，根據本發明之方法僅要求關注圍繞一深度轉變之一轉變區域寬度的一些資訊。正如以下將闡明，可以不同形式提供關注該轉變區域寬度的資訊。提供關注轉變區域寬度之資訊的主要優點在於其無須提供用於各個「不確定」像素之準確alpha值。當已知轉變區域寬度時，藉由建立深度轉變位置周圍像素之一帶來決定不確定像素。給定不確定像素之位置，則可以不同方式產生alpha值。

首先，一「不確定」像素至該深度轉變之距離及該像素本身之深度(局部前景或局部背景)可用於產生各別像素之alpha值。例如，可使用在不確定像素上alpha從局部背景中之0線性變化至局部前景中上之1的一線性函數。另外，非線性分析當然是可行的。僅具有alpha值便可足以藉由將調合色彩與其上像素彎曲之背景混合而粗略(近似)呈現一新視圖。雖然不準確，但此在視覺上可為處理模糊區域之一可接受方法。

其次，可使用已知alpha估計技術產生alpha，其中每個像素估計兩個未知者，亦即前景值及alpha(假設在資料串流中已存在一背景圖)；或者估計三個未知者，亦即前景值、背景值及alpha。因此當決定alpha值時較佳考慮形成深度轉變的前景物件及/或背景物件之深度值。已可從深度圖獲得此等深度值。

根據本發明之方法可從數量小得多之資料導出通常的alpha值。因此在對影像品質無不利影響的情況下減少傳輸成本。

在此發明方法之一實施例中，轉變資訊包括一寬度圖。該寬度圖界定在一特定深度轉變內構成的像素數目。此類圖僅需要一個整數值來界定轉變區域寬度。與先前技術中使用的alpha圖(其中各個像素包含一alpha值)相比，此方法將少得多之資料用於提供類似資訊。一實際情形可例如為在一標準YUV 4:2:0視訊的U通道或V通道中供應寬度相關資料而在Y通道中編碼其他資訊(諸如深度)或一「傳統」alpha通道。

可藉由將寬度指派至資料區塊而進一步減少寬度圖中使用的資料數量，藉此有效按比例縮減寬度圖。只要寬度轉變之間的距離遠大於區塊大小，則藉由將最近區塊之寬度值指派給一給定深度轉變即可重新建構高解析度原始圖。在一實際情形中此將暗示U通道及/或V通道之DC值將可用於儲存寬度資料，因為DC值典型不易受壓縮影響。

在一替代實施例中，二進位圖指示各個像素是否處於轉變區域中。接著，可由計數該轉變區域中之像素數目輕易地決定轉變區域之寬度，且可使用轉變區域之寬度及像素之位置對於轉變區域中之各個像素決定一alpha值。此二進位圖類似於已知的alpha圖，但其對於各個像素僅使用「1」或「0」而非一8位元alpha值。雖然使用二進位圖的此實施例比使用寬度圖的先前實施例對於較多像素使用非零值，但資料總數仍低的且甚至可低於先前實施例中之資料數量。

藉由按比例縮減該二進位圖可更進一步減少用於該二進位圖的資料數量。於是可將較低解析度之二進位圖作為轉變區域某種程度之粗略估計使用。對於轉變區域內的像素進行alpha值估計。然而，對於在決定alpha值之前重新建構該原始較高解析度二進位圖而言較佳使用按比例縮減之二進位圖。

另一實施例不使用一寬度圖而是使用一查詢表。該查詢表可包括用於不同轉變深度的寬度參數。該轉變區域之寬度強烈取決於該深度轉變與該影像中之焦點的平面之間的距離。緊鄰該聚焦平面，轉變急劇且轉變區域寬度小。離該聚焦平面越遠轉變區域越寬。可將轉變深度例如界定為引起轉變深度的前景物件或背景物件之深度。亦可將轉變深度界定於前景物件與背景物件之深度值間的某處。當為前景物件與背景物件之特定深度值對提供寬度參數時可獲得最佳結果。接著將轉變深度界定為引起深度轉變之兩個物件的深度值之一組合。

在並非僅寬度的另一實施例中，同樣可在查詢表中指定用於alpha圖重新建構的方法(固定曲線、局部估計)。如先前提及，存在產生alpha資料的多個方法。較佳方法可取決於內容(例如圍繞毛髮相對於圍繞其他物件)，其可藉由使具有三個值之圖來編碼重新建構方法及不確定區域之位置來替代具有寬度資料的二進位圖或顯現此等資料以將該內容發信。寬度資料可典型用少於8個位元表示，使一對位元指示alpha重新建構方法。如此可使用例如整數除法(DIV運算)擷取寬度，而使用模數運算子(MOD)獲得alpha重新建構方法。

應注意到轉變資訊可含有深度轉變之深度及設定用於擷取視訊資料的一些攝影機參數。發明者已意識到可由例如轉變深度及焦距以及攝影機透鏡之數值孔徑決定轉變區域之寬度。

根據本發明之一進一步態樣，提供將一視訊資料信號解碼的一方法，視訊資料信號包括表示一影像中像素之色彩資訊、具有該等像素之深度資訊的一深度圖及表示一轉變區域之一寬度的轉變資訊的編碼資料，該轉變區域包括一深度轉變及調合像素，在該等調合像素中調合一前景物件之色彩與一背景物件之色彩。該解碼方法包括接收該視訊資料信號；決定該轉變區域之該寬度；決定該等調合像素之alpha值並基於該等alpha值及該色彩資訊決定該等調合像素之一色彩。該轉變區域寬度之決定係基於該轉變資訊。該等alpha值之決定係基於該轉變區域之該寬度，該等調合像素之該alpha值係取決於至該深度轉變之一距離。

在此解碼方法中，由用視訊資料信號編碼的轉變資訊產生alpha值。在一較佳解碼方法中，alpha值亦取決於引起深度轉變的前景物件及/或背景物件之深度。考慮設定用於擷取視訊資料之攝影機參數可改良所計算alpha值及所得像素色彩之準確度。

參考下文中描述的實施例可清楚本發明之此等及其他態樣並加以闡明。

圖1展示用於根據本發明將視訊資料編碼之一系統的一方塊圖。該系統包括兩個數位攝影機11、12及一編碼器10。第一攝影機11及第二攝影機12記錄相同場景100，但來自稍微不同之位置並因此來自一稍微不同之角度。將來自攝影機11、12兩者的記錄器數位視訊信號發送至編碼器10。編碼器可例如為一專屬編碼盒之一部分、一電腦中之一視訊卡，或將由一通用微處理器執行的一軟體實施功能。或者，攝影機11、12為類比攝影機，且類比視訊信號在其作為編碼器10之輸入提供之前被轉換為數位視訊信號。若攝影機耦合於編碼器10，則編碼可在場景100記錄期間發生。亦可首先記錄場景100而稍後將記錄的視訊資料提供至編碼器10。應注意：根據本發明之方法關注將一視訊資料信號編碼的一特殊方式而不限於獲取視訊資料之特定方式。例如，亦可將深度資訊增添至僅由一個攝影機獲取之視訊資料。

編碼器10直接或間接地從攝影機11、12接收數位視訊資料，並將兩個數位視訊信號組合為一個三維視訊信號15。應注意到兩個攝影機11、12可組合為一個三維攝影機。亦可使用兩個以上之攝影機以從更多視點擷取場景100。

在下文中，將使用一單一影像解釋根據本發明之編碼及解碼方法及與先前技術方法不同之處。可將三維視訊信號視為許多此類影像之一序列。應注意到可藉由多個影像共用由編碼器10及解碼器使用的部分資訊。一些參數可為特定用於一特別影像或場景(循序影像之集合)。對於完整視訊而言其他參數可為有用的。熟練技術人士將意識到可對於視訊中的不同影像使用相同參數。

在先前技術之編碼器中，所產生的三維視訊信號可包括二維影像層，其具有用於影像中像素之色彩資訊51；一深度圖52，其具有用於像素之深度資訊；以及一alpha圖53，其具有alpha值，該alpha值指示一前景色彩及一背景色彩應如何在一深度轉變處及鄰近深度轉變處混合。圖2中圖解說明上述格式，其中影像示意性地描繪為具有許多像素的一個二維影像線51。在邊界處可觀察到從前景值F(220)到背景值B(20)之一逐漸轉變。轉變區域之寬度為U。此等區域是由虛線圍封。由Z指示的一相關深度圖52展示於影像線51下方。轉變區域具有與前景物件相同的深度值Z_B 。此為任意選擇，因為並未明確界定從前景物件至背景物件的準確轉變。此圖中的第三圖像描繪alpha通道53。在alpha通道53中，一低值(此處：接近0)指示對於對應像素之主導作用來自背景像素，而一高值(此處：接近1)指示主導作用來自前景像素。未界定在此轉變區域外部的alpha值。先前技術之alpha圖53包括影像51中之各個轉變區域的各個像素之alpha值。

圖3中更詳細地繪示使用一攝影機擷取影像的固有模糊效果。在位置C_i 處的一像素接收多個加權作用(亦即來自周圍背景像素的加權和)，該等加權在背景高斯54之左邊標記部分B中反映，且來自接近的前景像素之一個加權和在前景高斯55之右邊標記部分A中反映。高斯曲線之形狀取決於攝影機設定(例如焦距、數值孔徑)及物件至攝影機之距離(亦稱為深度)。一場景擷取期間使用的孔徑及焦點之設定將決定高斯形狀及因此之高斯曲線之寬度。效果為深度轉變附近存在調合像素。

重點在於注意到由於影像已模糊因此從編碼影像資料不可能模擬攝影機模糊程序。此僅若具有每一處皆可為清晰之電腦圖形的情況下可行。於是在程序期間可模擬攝影機光學元件之效果。然而，可藉由選擇轉變區域之一適當寬度考慮模糊程序並在轉變區域內使用一線性函數或非線性函數使alpha逐漸從0改變為1。

圖4展示根據本發明之一例示性編碼方法的一方塊圖。此編碼方法可由圖1之系統的編碼器10執行。根據本發明的編碼方法使用來自攝影機11、12的記錄數位視訊資料並提供一視訊資料信號15。在基底影像提供階段21中，提供包括在視訊資料信號15中之至少一第一場景影像。此基底影像可為來自兩個攝影機11、12之一者的標準二維視訊資料。編碼器10亦可使用兩個基底影像；一者來自第一攝影機11而一者來自第二攝影機12。從基底影像可導出記錄視訊之各個圖框中的所有像素之色彩值。基底影像表示從特定視點觀看的某一時刻之場景。可包含顯示來自一不同視點之相同影像的額外影像。

在三維致能步驟22中，來自攝影機11、12的進入視訊資料用於將深度資訊增添至基底影像。此額外資訊致使一解碼器能夠產生來自一不同視點的相同場景之一經呈現影像。編碼器使用已知、較佳經標準化之方法用於從記錄的常規視訊個資料導出深度資訊。應注意到亦可在來自一外部來源且已包含深度資訊的三維視訊資料上執行根據本發明之編碼方法。

在轉變資訊產生步驟23中，編碼器10產生表示影像中之一轉變區域之一寬度的資訊。可以如上已描述及下文中將參考圖5至圖7描述的不同形式提供此轉變資訊。

在信號產生步驟24中，先前步驟21、22、23中提供的資訊係用於產生根據本發明的一視訊資料信號15。視訊資料信號15至少表示二維影像、深度資訊及轉變資訊。此外，視訊資料信號15可包括用於致使一解碼器從具有高準確度的轉變資訊導出alpha值的參數。此類參數可包含描述攝影機在擷取視訊資料時設定的參數，諸如攝影機位置、照明條件或所使用的攝影機11、12之數值孔徑及焦距。

圖5展示可儲存於一表格中的轉變資訊之一圖形表示。根據本發明，可提供對於不同轉變深度(Z)可找到寬度參數56、57(U(ZF))的一表格。從此類表格，一解碼器30可在一對應深度Z找到一前景物件邊界處的一轉變區域之一寬度(U(ZF))。一聚焦(f)前景物件邊界的轉變區域將變窄。因此對應於此類物件深度的寬度參數57小於在其他深度的寬度參數56。越離開焦距，轉變區域越寬。代替前景物件深度(或除此之外)，表格亦可使用背景物件之深度。或者，表格包括用於影像中彼此重疊的前景物件與背景物件之特定深度值對的寬度參數。寬度參數U(ZF)56、57致使解碼器能夠決定影像中一轉變區域之寬度。寬度參數U(ZF)56、57可例如為具有來自兩個物件之一色彩作用的像素之數目。

圖6展示根據本發明的一寬度圖60之一部分的一實例。大部分寬度圖60為空。寬度圖60包括在對應於影像中之一深度轉變的一位置處具有寬度參數的一線62。轉變區域可從寬度參數決定並由一虛線61指示。在根據先前技術的一alpha圖中，轉變區域內的所有像素必須具有一alpha值。在寬度圖62中，僅線62上之像素指示具有一非零值的深度轉變。一解碼器從此一個值導出轉變區域之寬度63並用其產生轉變區域內其他像素之alpha值。

在圖6中展示的例示性情形中，深度轉變處於轉變區域之中心。或者，深度轉變可處於一轉變區域之邊界且寬度參數指示處於深度轉變的左/右/頂/底側處之像素數目。在一進一步實施例中，深度轉變可因預設而處於轉變區域與前景物件之間的邊界處或者處於轉變區域與背景物件之邊界處。

可藉由將寬度指派給資料區塊來進一步減少寬度圖中使用的資料數目，藉此有效地按比例縮減寬度圖。只要深度轉變之間的距離遠大於區塊大小，即可藉由將最接近區塊之寬度值指派給一給定深度轉變而重新建構高解析度原始圖。在一實際情形中，使用一標準YUV 4:2:0視訊中的U通道及/或V通道之DC值來儲存寬度資料，因為DC值典型不易受壓縮影響。

圖7a及7b展示根據本發明產生的具有轉變資訊之二進位圖70、71之實例。圖7b中之二進位圖71為圖7a之二進位圖的一按比例縮減版本。圖7a之高解析度二進位圖70包括用於轉變區域72中之各個像素的一「1」及用於不在一轉變區域72內之各個像素的一「0」。一解碼器藉由計數連續「1」之數目導出轉變區域72之寬度。使用此寬度，可計算alpha值。此二進位圖70包括與先前技術alpha圖相等的一資料數目。然而，寬度圖70每個像素僅使用一單一位元，而alpha圖使用例如一8位元值用於將alpha值編碼。因此根據本發明之寬度圖70減少傳輸成本。

在按比例縮減之二進位圖71中，影像按10個像素分為10個區段74。對於各個區段74，僅需要一個位元來指示該區段是否包括一深度轉變。一解碼器可將完整區段74視為轉變區域，但此將導致並非如此準確之alpha估計以及較低品質之影像。然而，可從圖7b中的虛線75看到，低解析度二進位圖71為準確重新建構轉變區域提供足夠資訊。在此重新建構之後，解碼器可以與在使用圖7a之較高解析度二進位圖70類似之精確度決定alpha值。

圖8展示根據本發明用於將視訊資料解碼之一系統的一方塊圖。系統包括一解碼器30，該解碼器30用於接收視訊資料信號15並將視訊資料信號15轉換為適合由一顯示器31顯示的一顯示信號。視訊資料信號15可作為一廣播信號(例如經由纜線或衛星傳輸)到達解碼器30。亦可按要求例如經由網際網路或經由一隨選視訊服務提供視訊資料信號15。或者在一數位資料載體(諸如一DVD碟或藍光碟)上提供視訊資料信號15。

顯示器31能夠提供由圖1之系統的編碼器10擷取並編碼的場景100之三維表示法。顯示器31可包括解碼器30或可耦合至解碼器30。例如，解碼器30可為耦合至一個或多個正常電視或電腦顯示器的三維視訊接收器之部分。較佳而言，顯示器為能夠提供不同視圖至一觀看者之不同眼中的一專屬三維顯示器31。

圖9展示可由圖8之解碼器30執行的一解碼方法之一流程圖。在視訊資料接收步驟41中，在解碼器30之一輸入端接收由編碼器10編碼的視訊資料信號15。接收到視訊資料信號15包括上述表示一影像、深度資訊及轉變資訊的編碼資料。可例如以一表格或寬度圖形式提供轉變資訊。編碼資料可包括額外資訊，諸如攝影機設定參數。

在寬度決定步驟42中，轉變資訊用於決定影像中的轉變資訊之寬度。在alpha決定步驟43中，所決定寬度用於計算轉變區域中像素之alpha值。解碼器可使用寬度資訊及深度資訊以外者。例如，用於物件引起深度轉變的攝影機設定參數及深度資訊可有助於決定alpha值。在像素調合步驟44中，影像之alpha值及色彩資訊經組合以決定轉變區域內所有像素的色彩值。

特別參考一種將一視訊資料信號編碼的方法、一種將一資料信號解碼之方法、一種編碼器裝置及一種解碼器裝置描述根據本發明之方法、編碼器裝置及解碼器裝置。然而本發明亦可應用於一種傳輸一視訊資料信號的方法中，該方法包括編碼方法的所有步驟及傳輸編碼視訊信號的一進一步步驟。反之，本發明可應用於一種接收一視訊資料信號之方法中，該方法包括解碼方法的所有步驟及接收編碼視訊資料信號的一進一步步驟。

可透過一有線或無線通道傳輸及/或接收視訊資料信號，例如，可透過一IEEE1394鏈路、透過一IP鏈路傳輸視訊資料信號。同樣可透過一家內網路的一無線鏈路(諸如一無線IEEE802.11鏈路或UWB鏈路)傳輸視訊資料信號。

亦可在用於一視訊資料信號的一傳輸器及/或一接收器中體現本發明。根據本發明的一傳輸器包括根據本發明的編碼器裝置且進一步包括用於傳輸編碼視訊資料信號的傳輸構件。較佳而言，編碼器之輸出功能作為傳輸構件。反之，根據本發明之一接收器包括解碼器裝置且進一步包括用於接收編碼視訊資料信號的接收構件；亦即透過有線通道或無線通道到達的處置資料。較佳而言，解碼器之輸入端功能作為接收構件。如上文中指示，傳輸及接收構件之本質取決於用於交換資料的通道類型。

或者，替代透過一通道傳輸及/或接收編碼視訊資料信號，亦可從一儲存媒體儲存及/或擷取編碼視訊資料信號。在此類實施例中，各別方法包括一額外步驟以將視訊資料信號儲存於一儲存媒體或儲存裝置上及/或從一儲存媒體或儲存裝置擷取視訊資料信號。

儲存媒體或儲存裝置可為一光學儲存媒體，諸如CD、CD-R、CD-RW、DVD、DVD+R、DVD-R、DVD+RW、DVD-RW或藍光碟。同樣編碼視訊資料信號可儲存於一HDD或一固態儲存媒體上。繼而儲存及/或擷取裝置可為一較大裝置(諸如一個人電腦、一個人錄影機或一藍光播放器)之部分。

當本發明併入於用於儲存一視訊資料信號及/或擷取一視訊資料信號之一裝置時，用於提供視訊資料信號的輸出端較佳亦併入用於儲存視訊資料信號的構件。反之，在此類情形中用於接收視訊資料信號的輸入端較佳包含用於擷取視訊資料信號的構件。

熟習此技術者將清楚各別構件隨著所涉及的儲存媒體或儲存裝置而變化。

根據本發明的一解碼器及編碼器包括用於處理之構件，例如在解碼器情形中，解碼器包括用於決定轉變區域寬度之構件、用於決定alpha值之構件及用於決定一色彩之構件。熟習此技術者應清楚可在大範圍的處理平台上實施的此類處理構件。此類平台可由專屬硬體組成，諸如特定應用積體電路或FPGA。然而亦可在軟體中實施用於在一通用處理平台(諸如在一PC環境中的一通用處理器或視訊信號處理器)上執行之此類處理。亦設想混合硬體軟體解決方案。雖然關於根據本發明之一解碼器內的構件繪示，對於根據本發明之一編碼器內的構件同樣成立。

本發明係參考透明度值及透明度圖而加以描述。然而熟習此技術者應清楚可將本發明等效地應用於不透明度及不透明度圖。在此方面透明度與不透明度大體上互補；一者界定一物件之透明程度，而另一者界定一物件之不透明程度。

應瞭解到本發明亦延伸至經調適用於實踐本發明的電腦程式，特定而言係在一載體上或載體中的電腦程式。程式可為下列形式原始碼、目標碼、一編碼中間原始碼及目標碼，諸如部分經編譯形式，或適合在根據本發明之方法實施中使用的任何其他形式。亦可瞭解到此類程式可具有許多不同架構設計。例如，實施根據本發明之方法或系統功能性的一程式碼可細分為一個或多個副程式。熟練技術人士可明白將功能性分佈於此等副程式中的許多不同方式。副程式可一起儲存於一個可執行檔案中以形成一自含式程式。此一可執行檔案可包括電腦可執行指令，例如處理器指令及/或解譯器指令(如Java解譯器指令)。或者，一或多個或所有副程式可被儲存於至少一外部程式館資料中且與一主程式靜態或動態地(如在執行時)連結。主程式含有對副程式之至少一者的至少一個調用。另外，副程式可包括彼此調用之函數。關於一電腦程式產品的一實施例包括電腦可執行指令，該等電腦可執行指令對應於所陳述方法之至少一者之處理步驟各者。此等指令可細分為副程式及/或儲存於可靜態或動態連結的一個或多個檔案中。與一電腦程式產品有關的另一實施例包括電腦可執行指令，該等電腦可執行指令對應於所陳述的系統及/或產品之至少一者的構件之各者。此等指令可細分為副程式及/或儲存於可靜態或動態連結的一個或多個檔案。

一電腦程式之載體可為能夠攜載程式的任何實體或裝置。例如，載體可包含一儲存媒體，諸如一ROM，例如一CD ROM或一半導體ROM；或一磁記錄媒體，例如一軟碟或硬碟。另外載體可為可傳輸載體，諸如可經由電纜或光纜或藉由無線電或其他構件傳達的一電信號或光信號。當在此類信號中體現程式時，可由此類纜線或者其他裝置或構件構成載體。或者，載體可為在其中嵌入程式的一積體電路，積體電路經調適用於執行或在相關方法之執行中使用。

應注意到以上提及的實施例係繪示而非限制本發明，且熟習此技術者將能夠在不脫離隨附申請專利範圍之範疇的情況下設計許多替代實施例。在申請專利範圍中，不應將置於圓括弧之間的任何參考符號理解為限制申請專利範圍。動詞「包括」之使用及其變化不排斥除其等陳述在一請求項之元件或步驟之存在。在一元件或步驟前之不定冠詞「一」或「一個」的使用不排斥複數個此元件之存在。本發明可藉由包括若干相異元件及藉由經適當程式化之電腦實施本發明。在列舉若干構件的裝置申請專利範圍中，此等構件之若干者可由同一個硬體項體現。僅有在某些互不相同的附屬專利申請範圍中陳述某些方法的事實並不表示不能夠將該等方法進行組合來突出優點。

10．．．編碼器

11．．．攝影機

12．．．攝影機

15．．．三維視訊信號

30．．．解碼器

31．．．顯示器

51．．．色彩資訊

52．．．深度資訊

53．．．alpha圖

54．．．背景高斯

55．．．前景高斯

56．．．轉變資訊

57．．．轉變資訊

60．．．轉變資訊

61．．．轉變區域

62．．．深度轉變

63．．．寬度

70．．．轉變資訊

71．．．轉變資訊

72．．．轉變區域

73．．．寬度

74．．．區段

75．．．寬度參數

100．．．場景

圖1展示根據本發明用於將視訊資料編碼之一系統的一方塊圖，

圖2及圖3繪示一轉變區域內色彩之混合，

圖4展示根據本發明之一編碼方法的一流程圖，

圖5展示一圖形，其表示可儲存於一表中之轉變資訊，

圖6展示根據本發明之一寬度圖的一實例，

圖7a及圖7b展示具有根據本發明產生的轉變資訊的二進位圖之實例，

圖8展示根據本發明用於解碼視訊資料的一系統之一方塊圖，及

圖9展示根據本發明之一解碼方法的一流程圖。

60．．．轉變資訊

61．．．轉變區域

62．．．深度轉變

63．．．寬度

Claims (13)

1. 一種將一三維視訊資料信號(15)編碼之方法，該方法包括：為一影像中之像素提供色彩資訊(51)，為該等像素提供具有深度資訊(52)的一深度圖，提供表示在該影像中之一轉變區域(61、72)之一寬度(63、73)的轉變資訊(56、57、60、70、71)，該轉變區域(61、72)包括一深度轉變(62)及調合像素，在該等調合像素中調合一前景物件之色彩與一背景物件之色彩，該轉變資訊使一解碼器能夠基於該轉變區域之該寬度及各別的該等調合像素至該深度轉變之一距離而決定該等調合像素之alpha值，產生(24)該三維視訊資料信號(15)，該三維視訊資料信號(15)包括表示該色彩資訊(51)、該深度圖(52)及該轉變資訊(56、57、60、70、71)的經編碼資料。
2. 如請求項1之將一三維視訊資料信號(15)編碼之方法，其中該轉變資訊包括一寬度圖(60)，該寬度圖(60)對於該深度轉變(62)將一對應寬度界定為調合像素之一數目。
3. 如請求項1之將一三維視訊資料信號(15)編碼之方法，其中該轉變資訊包括一二進位圖(70、71)，該二進位圖(70、71)指示該影像中的各個像素是否處於該轉變區域(72)中。
4. 如請求項3之將一三維視訊資料信號(15)編碼之方法，其中該二進位圖(71)具有比該影像低的一解析度。
5. 如請求項1之將一三維視訊資料信號(15)編碼之方法，其中該轉變資訊(56、57)包括具有用於不同轉變深度之寬度參數(56、75)的一表格。
6. 如請求項5之將一三維視訊資料信號(15)編碼之方法，其中將該等轉變深度界定為處於該深度轉變處之該前景物件之一深度。
7. 如請求項5之將一三維視訊資料信號(15)編碼之方法，其中將該等轉變深度界定為處於該深度轉變處之該前景物件與該背景物件之該等深度的一組合。
8. 一種將一三維視訊資料信號(15)解碼之方法，該三維視訊資料信號(15)包括經編碼資料，其表示在一影像中之像素的色彩資訊(51)；一深度圖，其具有該等像素之深度資訊(52)；以及表示一轉變區域(61、72)之一寬度(63、73)的轉變資訊(56、57、60、70、71)，該轉變區域(61、72)包括一深度轉變(62)及調合像素，在該等調合像素中調合一前景物件之色彩與一背景物件之色彩，該方法包括：接收該視訊資料信號(41)，基於該轉變資訊(56、57、60、70、71)，決定該轉變區域(61、72)之該寬度(63、73)，基於該轉變區域之該寬度及各別的該等調合像素至該深度轉變之一距離，決定該等調合像素之alpha值(53)，基於該等alpha值(53)及該色彩資訊(51)決定各別的該等調合像素之一色彩。
9. 如請求項8之將一三維視訊資料信號(15)解碼之方法，其中該等alpha值(53)之該決定進一步基於該深度轉變(62)之一深度(52)。
10. 一種用於將一三維視訊資料信號(15)編碼的一編碼器(10)，該編碼器包括：為一影像中之像素提供色彩資訊(51)、為該等像素提供具有深度資訊(52)的一深度圖及表示一轉變區域(61、72)之一寬度(63、73)的轉變資訊(56、57、60、70、71)的構件，該轉變區域(61、72)包括一深度轉變(62)及調合像素，在該等調合像素中調合一前景物件之色彩與一背景物件之色彩，用於使一經配置以接收該三維視訊資料信號之一解碼器能夠基於該轉變區域之該寬度及各別的該等調合像素至該深度轉變之一距離而決定該等調合像素之alpha值之構件，用於產生該三維視訊資料信號(15)之構件，該三維視訊資料信號(15)包括表示該色彩資訊(51)、該深度資訊(52)及該轉變資訊的經編碼資料，及一輸出端，其用於提供該三維視訊資料信號(15)。
11. 一種用於將一三維視訊資料信號(15)解碼的解碼器(30)，該解碼器(30)包括：一輸入端，其用於接收一三維視訊資料信號(15)，該三維視訊資料信號(15)包括表示一影像中之像素的色彩資訊(51)之經編碼資料、具有該等像素之深度資訊(52) 的一深度圖及表示一轉變區域(61、72)之一寬度(63、73)的轉變資訊(56、57、60、70、71)，該轉變區域(61、72)包括一深度轉變(62)及調合像素，在該等調合像素中調合一前景物件之色彩與一背景物件之色彩，用於基於該轉變資訊(56、57、60、70、71)決定該轉變區域(61、72)之該寬度(63、73)的構件，用於基於該轉變區域(61、72)之該寬度(63、73)決定該等調合像素之alpha值(53)的構件，該等調合像素之該等alpha值(53)取決於該轉變區域之該寬度及各別的該等調合像素至該深度轉變(62)之一距離，及用於基於該等alpha值(53)及該色彩資訊(51)決定該等調合像素之一色彩的構件。
12. 一種用於將一三維視訊資料信號編碼的電腦程式產品，其程式可操作以使一處理器執行如請求項1之方法。
13. 一種用於將一三維視訊資料信號解碼的電腦程式產品，其程式可操作以使一處理器執行如請求項8之方法。