TWI610270B - 三維影像資料處理 - Google Patents

三維影像資料處理 Download PDF

Info

Publication number
TWI610270B
TWI610270B TW098132351A TW98132351A TWI610270B TW I610270 B TWI610270 B TW I610270B TW 098132351 A TW098132351 A TW 098132351A TW 98132351 A TW98132351 A TW 98132351A TW I610270 B TWI610270 B TW I610270B
Authority
TW
Taiwan
Prior art keywords
transparency
image
depth
dimensional image
map
Prior art date
Application number
TW098132351A
Other languages
English (en)
Other versions
TW201035907A (en
Inventor
巴特 賈瑞德 伯納德 柏瑞柏格
伯納德斯 安東尼爾斯 瑪麗亞 賽宛斯
沃爾柯 哈洛德 赫瑪納斯 艾伯托斯 凡
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201035907A publication Critical patent/TW201035907A/zh
Application granted granted Critical
Publication of TWI610270B publication Critical patent/TWI610270B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明提供一種包括表示一特定言之可為一背景影像之第一影像之資料的三維影像資料。一混合影像為該第一影像與一特定言之可為一前景影像之第二影像之一組合，與該混合影像有關之一透明度圖包含該混合影像之像素之透明度值，且該混合影像之一深度指示圖包含該混合影像之像素之深度指示值。一混合影像之使用可允許三維處理，同時允許2D回溯相容性。藉由回應於深度指示值而修改透明度值及/或回應於透明度值而修改深度指示值，可改良影像物件周圍之影像品質。特定言之，深度指示值與透明度值之轉變的一改良之對準可提供改良之三維前景影像物件邊緣資料。

Description

三維影像資料處理
本發明係關於一種包括三維視訊影像資料之三維影像資料。
三維顯示器藉由向檢視者之眼睛提供正觀看的場景之不同視圖而將第三維添加至檢視體驗。用於表示三維影像之風行方法為使用一或多個二維(2D)影像加上提供第三維度之資訊之深度表示。此方法提供許多優勢，包括允許以相對低的複雜性產生三維視圖及提供高效資料表示，藉此減少(例如)對三維(3D)影像(及視訊)信號之儲存及通信資源要求。該方法亦允許以與包括於3D影像資料中之2D影像不同的視點及視角產生2D影像。
藉由單一2D影像及相關聯之深度資訊表示3D影像之缺點在於，其不包括關於由前景物件遮蔽的背景影像區之資訊。因此，若對於不同視點再現場景，則可能揭露不出在前景物件後之資訊。因此，已提議使用包含具有相關聯之深度資訊的複數個二維影像(例如，前景影像及背景影像)之多層影像及深度表示。自此資訊再現新視圖之方式的描述可發現於Steven J. Gortler及Li-wei He之Rendering Layered Depth Images(Microsoft Technical Report MSTR-TR-97-09，可得於http://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report＆id=20處)中及(例如)美國專利申請案US20070057944中。
在使用一個以上層(亦即，複數個重疊2D影像)之方法中，已提議允許層為半透明的。在電腦圖形之領域，此方法(例如)描述於Norman P. Jouppi及Chun-Fa Chang之「An Economical Hardware Technique for High-Quality Antialiasing and Transparency」(Proceedings of Eurographics/Siggraph workshop on graphics hardware 1999)中。此方法允許半透明材料(例如，水、煙、火焰)顯像，且亦允許在不同深度處的物件之邊緣之改良的抗假像。特定言之，其允許邊緣之較為平緩的轉變，因此透明度可不僅用於表示半透明物件，且亦可藉由使邊緣半透明(使得透明度值表示應為前景的像素之量及應可見的背景之量)來允許前景物件之邊緣之抗假像。此方法之一實例可發現於Proceedings of Siggraph 2004中的C. Lawrence Zitnick、Sing Bing Kang、Matthew Uyttendaele、Simon Winder、Richard Szeliski之「High-quality video view interpolation using a layered representation」中。
然而，此等方法之一問題在於，回溯相容性為次最佳的。詳言之，為了產生2D影像，必須藉由能夠理解三維格式之演算法處理3D影像資料。因此，信號不可用於不具有此功能性之傳統系統中。
又，該方法之另一劣勢在於，在一些情況下，其可能不能提供最佳的影像品質。詳言之，在一些實施例中，影像及相關聯之深度及透明度資訊之處理將導致前景影像物件之再現的邊緣失真。
因此，3D影像資料處理的改良之方法將為有利的，且詳言之，允許增加之靈活性、改良之回溯相容性、改良之影像品質、易化的實施及/或改良之效能之方法將為有利的。
因此，本發明尋求較佳地單一地或以任何組合減輕、緩和或消除以上提到的劣勢中之一或多者。
根據本發明之一態樣，提供一種提供三維影像資料之方法，該方法包含：提供一第一影像；提供一為該第一影像與一第二影像之一組合的混合影像，該第二影像為一相對於該第一影像之前景影像且該組合係回應於該第二影像之透明度資料；提供一與該混合影像有關之透明度圖，該透明度圖包含該混合影像之像素的透明度值；提供該混合影像之一第一深度指示圖，該第一深度指示圖包含該混合影像之像素的深度指示值；及提供包含該第一影像、該混合影像、該透明度圖及該第一深度指示圖之該三維影像資料。
根據本發明而提供之影像資料可用以再現影像元素，諸如，表示該三維影像資料之視圖的視圖之像素及/或全影像。本發明可允許改良之3D影像處理及/或效能。詳言之，在許多實施例中，3D影像資料可提供改良之回溯相容性。特定言之，將包含深度及透明度資訊從而允許3D處理之3D影像資料之優勢與可作為習知2D影像加以處理以提供影像之合適的2D表示之資訊一起提供。特定言之，混合影像可(例如)直接由2D呈現器件呈現為2D影像。
特定言之，在一些實施例中，影像之前景與背景並不單獨地儲存為不同影像，而實情為，可將背景及前景與背景之混合版本(根據透明度混合)一起儲存。此2D影像可接著由2D呈現器件直接使用，因為其對應於包含背景及前景兩者之習知2D影像。然而，同時，2D影像可由3D呈現器件用以產生表示其他視角之3D影像或2D影像。
第一深度指示圖提供該混合影像的與深度有關之資訊。因此，第一深度指示圖可為包含第一影像及第二影像兩者之像素的深度指示值之混合深度指示圖。
3D影像資料可係針對一影像序列中之一影像。特定言之，3D影像資料可係針對包含複數個3D影像的一視訊序列中之一影像。
該第一影像特定言之可為一背景影像，且該第二影像特定言之可為一前景影像。
與該混合影像有關之透明度圖特定言之可對應於該第二影像之一透明度圖，且因此，該透明度圖可為該第二影像之一透明度圖。特定言之，該透明度圖可通常為前景透明度圖。
根據本發明之一可選特徵，該方法進一步包含產生一包含該三維影像資料之影像信號。
該影像信號特定言之可為一包含一或多個影像之經編碼之影像信號。舉例而言，該影像信號可為一包含處於視訊圖框之形式的複數個影像之視訊信號。該方法可允許產生、儲存及散發一影像信號，其允許高效的3D處理以及與習知2D器件之回溯相容性兩者。
根據本發明之一可選特徵，該方法進一步包含回應於該三維影像資料而再現與該第一影像及第二影像之一視角不同的視角之一視圖。
該方法可允許藉由合適裝備的裝置再現不同視角，同時亦提供回溯相容性。
根據本發明之一可選特徵，該方法進一步包含回應於該三維影像資料而再現三維影像。
該方法可允許藉由合適裝備的裝置再現3D影像，同時亦提供回溯相容性。
根據本發明之一可選特徵，該方法進一步包含回應於來自一群值集合的一第二值集合中之值而修改來自該群值集合的一第一值集合中之值，該群值集合包含對應於該透明度圖之透明度值的一值集合及對應於該第一深度指示圖之深度指示值的一值集合。
在許多實施例及情況下，此舉可允許改良之影像品質。詳言之，在許多情況下，其可提供在該第一影像之影像物件之邊緣周圍的改良之影像品質。發明者已特別地認識到，藉由相對於彼此調整透明度值與深度指示值，可達成(相對的)前景影像物件的改良之再現。
根據本發明之一可選特徵，該方法進一步包含偵測一對應於一影像物件邊緣之影像區域，且其中修改值包含修改該影像區域之值。
發明者已認識到，若特別地對影像物件邊緣進行處理，則可達成基於混合影像/前景影像之深度指示值及透明度值再現的影像之改良之影像品質。物件邊緣可對應於混合影像之透明度值及/或深度指示值之轉變。
根據本發明之一可選特徵，該方法進一步包含修改在一影像區域中的該透明度圖之透明度值與該第一深度指示圖之深度指示值之間的關係。
在許多實施例及情況下，此舉可允許改良之影像品質。詳言之，在許多情況下，其可提供在該第一影像之影像物件之邊緣周圍的改良之影像品質。發明者已特別地認識到，藉由相對於彼此調整透明度值與深度指示值，可達成(相對的)前景影像物件的改良之再現。
根據本發明之一可選特徵，修改該關係包含對準該透明度圖之沿著一影像方向的透明度轉變與該第一深度指示圖之沿著該影像方向之一深度轉變。
在許多實施例中，此舉可促進實施及/或改良效能。詳言之，藉由對準透明度與深度轉變，可獲得因(相對的)前景影像物件邊緣之3D處理而引入的影像假影之減少。
根據本發明之一可選特徵，該方法進一步包含回應於該第一深度指示圖之深度指示值而修改該透明度圖之透明度值。
在許多實施例及情況下，此舉可允許改良之影像品質。詳言之，在許多情況下，其可提供在該第一影像之影像物件之邊緣周圍的改良之影像品質。發明者已特別地認識到，藉由相對於彼此調整透明度值與深度指示值，可達成(相對的)前景影像物件的改良之再現。
根據本發明之一可選特徵，修改透明度值包含使該透明度圖之透明度值在一影像區域中朝向較高透明度偏置，該影像區域為該透明度圖中之一透明度轉變之部分而並非該第一深度轉變圖中之一深度轉變之部分。
此舉可允許有利的實施及/或可提供用於3D處理的改良之影像品質。該特徵尤其可使得由3D處理引入至影像物件邊緣的影像假影較不引人注意。
根據本發明之一可選特徵，修改透明度值包含修改在包含沿著一影像方向之深度轉變及透明度轉變之一影像區域之至少部分中的透明度值，該修改係藉由：回應於該第一深度轉變圖之沿著該影像方向之該深度指示值而判定一第一深度轉變點；使該透明度圖之沿著該影像方向之透明度值對於沿著該影像方向的在一較高透明度及一較低深度中之至少一者之一方向上自該第一深度轉變點延伸的一間隔之像素朝向較高透明度偏置。
此舉可允許有利的實施及/或可提供用於3D處理的改良之影像品質。該特徵尤其可使得由3D處理引入至影像物件邊緣的影像假影較不引人注意。
根據本發明之一可選特徵，該方法進一步包含回應於該第一透明度圖之沿著該影像方向的該等透明度值判定一第一透明度轉變點，且其中該間隔自該第一透明度點延伸至該第一深度轉變點。
此舉可允許易化的實施同時提供高效之效能及高影像品質。詳言之，其可允許用於調適在影像物件邊緣周圍之3D效能的實際且高效之方法。
根據本發明之一可選特徵，該方法進一步包含將該第一透明度轉變點判定為沿著該影像方向在於一較高透明度及一較低深度中之至少一者之一方向上自該深度轉變點延伸的一評估間隔中具有一最高透明度值之一點。
此舉可允許有利的實施及/或可提供用於3D處理的改良之影像品質。該特徵尤其可使得由3D處理引入至影像物件邊緣的影像假影較不引人注意。
根據本發明之一可選特徵，偏置包含在偏置前將該間隔之所有透明度值之透明度值設定為該間隔之一最高透明度值。
此舉可允許複雜性降低的實施及/或可進一步減少或最小化由3D處理引入至影像物件邊緣之影像假影之可察覺性。
根據本發明之一可選特徵，該方法進一步包含提供該第一影像之一第二深度指示圖，該第二深度指示圖包含該第一影像之像素之深度指示值；且其中判定該第一深度轉變點包含進一步回應於該第二深度指示圖之深度指示值而判定該第一深度轉變點。
此舉可允許判定一深度轉變點之一特別合適的方式，且可實際上用以判定該等深度指示值之一轉變之存在。因此，該方法可允許對影像物件邊緣之可靠偵測。該方法特別適合於使用混合影像之方法，因為第一影像與混合影像之間的相對深度資訊提供指示混合影像分別由第一影像及第二影像支配之時間的直接資訊。
根據本發明之一可選特徵，判定該深度轉變點包含回應於該第一深度指示圖之深度指示值與該第二深度指示圖之深度指示值的一比較而判定該深度轉變點。
此舉可允許該深度轉變點之高效及/或準確的判定。
根據本發明之一可選特徵，判定該深度轉變點包含將該深度轉變點判定為在其處該第二深度指示圖之一深度指示值與該第一深度指示圖之一深度指示值之間的一差越過一臨限值的沿著該影像方向之一點。
此舉可允許對該深度轉變點之高效及/或準確的判定。
根據本發明之一可選特徵，該影像方向對應於一掃描線方向。
此舉可允許特別合適的實施，且尤其可允許低複雜性處理以導致對透明度及深度值中之轉變的準確偵測以及透明度值及/或深度指示值之低複雜性而高效的調適。
根據本發明之一可選特徵，該方法進一步包含回應於該透明度圖之透明度值而修改該第一深度指示圖之深度指示值。
在許多實施例及情況下，此舉可允許改良之影像品質。詳言之，在許多情況下，其可提供在該第一影像之影像物件之邊緣周圍的改良之影像品質。發明者已特別地認識到，藉由相對於彼此調整透明度值與深度指示值，可達成(相對的)前景影像物件的改良之再現。
根據本發明之一可選特徵，修改深度指示值包含使該第一深度指示圖之深度指示值在對應於該透明度圖中之一透明度轉變的一影像區域中朝向前景深度指示值偏置。
此舉可允許有利的實施及/或可允許用於3D處理的改良之影像品質。該特徵尤其可提供將包含來自第二影像之影像物件之貢獻的像素假定為具有對應於彼物件之深度的增加之可能性。作為一特定實例，其可允許將具有來自前景影像之部分貢獻的像素由3D處理作為前景之部分來處置，藉此減少誤差及假影。
根據本發明之一可選特徵，修改深度指示值包含修改在包含沿著一影像方向之一深度轉變及一透明度轉變的一影像區域中之至少一部分中之深度指示值，該修改係藉由：回應於沿著該影像方向的該透明度圖之該等透明度值及該第一深度指示圖之該等深度指示值中之至少一者而判定一第一轉變點；使該第一深度指示圖之沿著該影像方向的深度指示值對於沿著該影像方向的結束於該第一透明度轉變點且在較低透明度之一方向上自該第一透明度點延伸之一間隔之像素朝向前景深度指示值偏置。
此舉可允許有利的實施及/或可允許用於3D處理的改良之影像品質。該特徵尤其可提供將包含來自第二影像之影像物件之貢獻的像素假定為具有對應於彼物件之深度的增加之可能性。作為一特定實例，其可允許將具有來自前景影像之部分貢獻的像素由3D處理作為前景之部分來處置，藉此減少誤差及假影。
根據本發明之一可選特徵，該第一轉變點為一回應於該透明度圖之該等透明度值而判定的第一透明度轉變點，且該方法進一步包含：回應於該透明度圖之沿著該影像方向的該等透明度指示值判定一第二透明度轉變點，該第二透明度轉變點對應於一比該第一透明度點低之透明度；且其中該間隔自該第一深度轉變點延伸至該第二深度轉變點。
此舉可允許對偏置執行於其中的間隔之改良之判定。
根據本發明之一可選特徵，該第一轉變點為一回應於該透明度圖之該等透明度值而判定的第一透明度轉變點，且該方法進一步包含：回應於該第一深度指示圖之沿著該影像方向的深度指示值而判定一第一深度轉變點；回應於該第一深度轉變點而判定一透明度搜尋間隔；且其中判定該第一透明度點包含回應於該透明度搜尋間隔中之透明度值而判定該第一透明度點。
此舉可允許用於判定於其中執行偏置的間隔之特別有利的方法。
根據本發明之一可選特徵，偏置深度指示值包含在偏置前將該間隔之所有深度指示值設定為對應於該間隔之一最遠前景深度指示值之深度指示值。
此舉可允許複雜性降低的實施及/或可提供改良之影像品質。
根據本發明之一可選特徵，該影像方向對應於一掃描線方向。
此舉可允許特別合適的實施，且尤其可允許低複雜性處理以導致透明度及深度值中之轉變的準確偵測以及透明度值及/或深度指示值之低複雜性而高效的調適。
根據本發明之另一態樣，提供一種對一影像信號進行編碼之方法，該方法包含：提供一第一影像；提供一為該第一影像與一第二影像之一組合的混合影像，該第二影像為一相對於該第一影像之前景影像且該組合係回應於該第二影像之一透明度值；提供一與該混合影像有關之透明度圖，該透明度圖包含該混合影像之像素的透明度值；提供該混合影像之一第一深度指示圖，該第一深度指示圖包含該混合影像之像素的深度指示值；及產生包含表示該第一影像、該混合影像、該透明度圖及該第一深度指示圖之經編碼之資料的該影像信號。
根據本發明之一可選特徵，該方法進一步包含回應於該第一深度指示圖之深度指示值而修改該透明度圖之透明度值。
根據本發明之一可選特徵，該方法進一步包含回應於該透明度圖之透明度值而修改該第一深度指示圖之深度指示值。
根據本發明之一態樣，提供一種再現一影像之方法，該方法包含：提供一第一影像；提供一為該第一影像與一第二影像之一組合的混合影像，該第二影像為一相對於該第一影像之前景影像且該組合係回應於該第二影像之一透明度值；提供一與該混合影像有關之透明度圖，該透明度圖包含該混合影像之像素的透明度值；提供該混合影像之一第一深度指示圖，該第一深度指示圖包含該混合影像之像素的深度指示值；及回應於該第一影像、該混合影像、該透明度圖及該第一深度指示圖而再現該影像。
根據本發明之一可選特徵，再現包含將該影像再現為對應於與該第一影像及該第二影像之一視角不同的視角之一影像。
根據本發明之一可選特徵，該方法進一步包含回應於該第一深度指示圖之深度指示值而修改該透明度圖之透明度值。
根據本發明之一可選特徵，該方法進一步包含回應於該透明度圖之透明度值而修改該第一深度指示圖之深度指示值。
根據本發明之另一態樣，提供一種影像信號編碼器，其包含：用於提供一第一影像之構件；用於提供一為該第一影像與一第二影像之一組合的混合影像之構件，該第二影像為一相對於該第一影像之前景影像且該組合係回應於該第二影像之一透明度值；用於提供一與該混合影像有關之透明度圖之構件，該透明度圖包含該混合影像之像素的透明度值；用於提供該混合影像之一第一深度指示圖之構件，該第一深度指示圖包含該混合影像之像素的深度指示值；及用於產生包含表示該第一影像、該混合影像、該透明度圖及該第一深度指示圖之經編碼之資料的該影像信號之構件。
根據本發明之一可選特徵，該影像信號編碼器進一步包含用於回應於該第一深度指示圖之深度指示值而修改該透明度圖之透明度值之構件。
根據本發明之一可選特徵，該影像信號編碼器進一步包含用於回應於該透明度圖之透明度值而修改該第一深度指示圖之深度指示值之構件。
根據本發明之另一態樣，提供一種影像再現單元，其包含：用於提供一第一影像之構件；用於提供一為該第一影像與一第二影像之一組合的混合影像之構件，該第二影像為一相對於該第一影像之前景影像且該組合係回應於該第二影像之一透明度值；用於提供一與該混合影像有關之透明度圖之構件，該透明度圖包含該混合影像之像素的透明度值；用於提供該混合影像之一第一深度指示圖之構件，該第一深度指示圖包含該混合影像之像素的深度指示值；及用於回應於該第一影像、該混合影像、該透明度圖及該第一深度指示圖而再現該影像之構件。
根據本發明之一可選特徵，該影像再現單元進一步包含用於回應於該第一深度指示圖之深度指示值而修改該透明度圖之透明度值之構件。
根據本發明之一可選特徵，該影像再現單元進一步包含用於回應於該透明度圖之透明度值而修改該第一深度指示圖之深度指示值之構件。
根據本發明之另一態樣，提供一種影像信號，其包含：表示一第一影像之資料；表示一為該第一影像與一第二影像之一組合的混合影像之資料，該第二影像為一相對於該第一影像之前景影像且該組合係回應於該第二影像之一透明度值；表示一與該混合影像有關之透明度圖之資料，該透明度圖包含該混合影像之像素的透明度值；表示該混合影像之一第一深度指示圖之資料，該第一深度指示圖包含該混合影像之像素的深度指示值。
本發明之此等及其他態樣、特徵及優勢將自下文描述之實施例而顯而易見，且將參照下文描述之實施例來加以闡述。
將參看圖式來僅作為實例描述本發明之實施例。
以下描述聚焦於可適用於可應用至視訊信號之單一圖框之3D影像資訊之表示的本發明之實施例。然而，應瞭解，本發明不限於此應用，而可應用於包括(例如)靜止影像、動畫等之許多其他影像類型。
圖1說明用於提供三維(3D)影像資料之方法。3D影像資料可(例如)用以產生3D影像或產生對於一場景之不同二維(2D)影像之不同視點。在該實例中，產生併有兩個影像、深度資訊及透明度資訊之3D影像資料。應瞭解，在其他實施例中，3D資料可包含對應於更多層之更多2D影像。
特定言之，3D影像資料包含背景影像、含有來自背景影像及前景影像之貢獻的混合影像以及與混合影像有關的深度及透明度資訊。此外，3D影像資料可包括背景影像資料之深度資訊。
該方法開始於步驟101，在步驟101中，提供第一影像。在該實例中，第一影像為背景影像。步驟101後為步驟103，在步驟103中，提供為第一影像與第二影像(為前景影像)之組合的混合影像。因此，背景影像與前景影像為同一場景之重疊影像。前景影像可由(例如)處於背景影像之前景中之影像物件、添加之文字、副標題、螢幕上顯示資訊等組成或包含(例如)處於背景影像之前景中之影像物件、添加之文字、副標題、螢幕上顯示資訊等。
混合影像因此表示可出現於背景中以及前景中之兩個影像物件。前景與背景影像分量之組合考量前景影像物件之透明度。因此，對於透明度值對應於無透明度(完全不透明)之像素，將像素值選擇為前景影像之像素值。相反地，對於透明度值對應於全透明度(無不透明)之像素，將像素值選擇為背景影像之像素值。對於為半透明之像素值，可藉由組合前景與背景之像素值來計算混合影像。舉例而言，可將像素n之混合影像像素值y簡單地計算為：
y n =t n ‧f n +(1-t n )‧b n
其中f為前景影像像素值，b為背景影像像素值，且t為像素n之透明度值且為零與1之間的值(其中零表示完全透明且1表示完全不透明)。
應瞭解，在其他實施例中，可使用組合影像之其他方式。亦應瞭解，在其他實施例中，可使用兩個以上的影像層，且在彼情況下的第一及第二影像無需為背景及前景影像，而影像中之一或兩者可為中間影像/層。然而，在前景中，第二影像將比第一影像遠。
步驟103後為步驟105，在步驟105中，呈現與混合影像有關之透明度圖。透明度圖包含混合影像的像素之透明度值或與混合影像有關的像素之透明度值。詳言之，透明度圖可具有混合影像之每一像素的透明度值。透明度圖可對應於前景影像之透明度圖，且可特定地具有對應於無來自前景影像之對混合影像之貢獻的影像像素之全透明度之一值及對應於無來自背景影像之對混合影像之貢獻的影像像素之全不透明度之一值。此外，其可具有用於前景影像之半透明影像物件以及用於對應於在前景影像之影像物件周圍的邊緣之影像區域之中間透明度值。特定言之，透明度圖可與用以產生混合影像之前景透明度圖相同。
應瞭解，可使用不同方法產生透明度圖。舉例而言，對於電腦產生之影像，可藉由電腦圖形再現過程產生透明度值，例如，經由超級取樣(super sampling)或使用具有與其相關聯之透明度之構造。獲得透明度之另一方式為使用此項技術中稱為α遮蔽(alpha matting)之技術獲得邊緣附近或來自複合影像之透明度(用於藍色或綠色螢幕記錄)。又一方式為重疊半透明物件(諸如，選單重疊)，且產生具有透明度資訊之重疊。
步驟105後為步驟107，在步驟107中，提供混合影像之深度指示圖。深度指示圖包含混合影像之像素的深度指示值。深度指示值可(例如)對應於直接反映像素所屬的影像物件之影像深度之數字值。然而，應瞭解，在其他實施例中，可使用其他深度指示值。舉例而言，深度指示值可對應於像素之差異或視差值。
在該實例中，深度指示圖包含混合影像之每一像素的深度指示值。深度指示值可對應於前景及背景影像之深度指示值的混合。舉例而言，對於混合影像，可將深度指示值取作除了對應於全透明度之像素外的前景影像之深度指示值。對於此等像素，可自背景影像取得該深度指示值。
應瞭解，可使用不同方法產生深度指示圖。舉例而言，可使用不同方法產生深度指示圖。舉例而言，對於多相機(諸如，立體視訊)源，可藉由此項技術中稱為差異估計之方法來產生深度圖。亦可以手動、半自動化或自動化方式將深度圖添加至現有2D視訊片段(footage)。此等方法中之許多者對稱地處置前景與背景，將深度轉變置於對應的色彩轉變之中途。亦可藉由電腦圖形再現過程產生深度圖，例如，以z緩衝器之形式。可產生前景及背景層兩者之深度圖，且接著，使用合適規則將其混合為混合深度圖。
步驟107後為步驟109，在步驟109中，提供背景深度影像。應瞭解，在一些實施例中，3D影像處理可僅基於混合影像之深度資訊，且步驟109為可選步驟。
步驟109後為步驟111，在步驟111中，提供包括背景影像、混合影像以及混合影像之透明度及深度指示圖之3D影像資料。視情況，亦可包括背景深度影像。
圖2說明3D影像資料之元素之一實例。圖2特定言之說明背景影像201，該背景影像201具有一相關聯之深度指示圖203，對於每一像素，該深度指示圖203具有指示背景影像像素之深度的值。在該實例中，3D影像資料進一步包含一混合影像205及一相關聯之深度指示圖207。在特定實例中，混合影像205為包含前景影像物件(在該特定實例中，僅存在一前景影像物件)之混合影像。然而，對於不存在前景影像物件之影像區，已將背景像素值複製至前景影像。類似地，對於此等像素，已將背景深度指示值複製至前景深度指示圖207。
3D影像資料亦包含對於每一像素指示前景之透明度之透明度圖209。特定言之，對於為固體前景影像物件之部分的像素值，透明度值可指示全不透明度(亦即，僅前景可見)。對於完全在任何前景影像物件外之像素值，透明度值可指示全透明度(亦即，在此位置，背景清晰且充分可見)。此外，對於半透明前景影像物件，諸如，該實例之雙重影像物件，透明度值可具有指示前景及背景兩者皆部分可見之中間值。此外，可將中間透明度值應用於前景影像物件之邊緣周圍，以便提供前景與背景之間的平滑轉變。此舉可改良抗假像效能。
在一些實施例中，可(例如)將3D影像資料作為分別提供背景影像、混合影像以及透明度及深度資訊之個別資料或信號提供至另一處理單元或演算法。又，在一些實施例中，3D影像資料可經編碼以產生可有效地傳輸或儲存之3D影像信號。
圖3說明經配置以基於圖1之方法產生影像信號的影像信號編碼器之一實例。該影像信號編碼器可(例如)由經配置以執行圖1之方法的處理元件實施。特定言之，可將該影像信號編碼器實施為混合軟體及硬體計算平台。然而，應瞭解，其他實施係可能的，且該影像信號編碼器可(例如)實施為僅硬體平台。舉例而言，影像信號編碼器可由經硬體寫碼以執行所述操作的專用特殊應用積體電路來實施。
該影像信號編碼器包含一影像信號產生器301，該影像信號產生器301耦接至前景影像源303及背景影像源305。影像信號產生器301接收來自前景影像源303之前景影像及來自背景影像源305之背景影像。其接著進行連同深度指示圖及透明度圖產生前景與背景影像之混合影像。接著將包含此等分量之3D影像資料饋入至影像編碼器單元307，影像編碼器單元307進行將資料編碼為影像信號。可特定地對視訊信號之複數個圖框重複該處理，以便產生視訊影像信號。
圖4更詳細地說明圖3之影像信號編碼器。
在該實例中，影像信號產生器301包含一背景深度處理器401，背景深度處理器401進行產生自背景影像源305接收的背景影像之深度指示圖。該背景深度指示圖可(例如)產生為包含背景影像之每一像素的深度位準、深度值、視差值或差異值之圖。應瞭解，用於產生影像之深度指示圖之各種方法將為熟習此項技術者所知。舉例而言，可自立體影像(使用半自動化2D至3D轉換)或自電腦圖形產生深度指示圖。自2D視訊之全自動化深度產生亦係可能的。在一些實例中，背景影像源305可進一步提供3D相關資訊(諸如，各影像物件或區域之深度指示)，且背景深度處理器401可進行基於此3D資料判定背景深度指示圖。
影像信號產生器301進一步包含一前景深度處理器403，前景深度處理器403進行產生自前景影像源303接收的前景影像之深度指示圖。該前景深度指示圖可(例如)產生為包含背景影像之每一像素的深度位準、深度值、視差值或差異值之圖。可使用與用於背景深度影像相同的方法及演算法來產生前景影像之深度指示圖。在一些實例中，前景影像源303可進一步提供3D相關資訊，且背景深度處理器401可進行基於此3D資料判定背景深度指示圖。舉例而言，前景影像源303可提供所有前景影像物件之清單連同每一前景影像物件之深度指示。
影像信號產生器301進一步包含一混合影像產生器405，混合影像產生器405經配置以產生包含來自前景與背景影像兩者之貢獻的混合影像。混合影像產生器405組合前景與背景影像，使得其反映前景之所要的透明度特性。舉例而言，前景影像將通常包含完全不透明之前景影像物件。對於屬於此等影像物件之像素，將混合影像之像素值設定為前景影像之像素值。又，前景影像將通常包含不存在前景影像物件之影像區。對於屬於此等影像區之像素，將混合影像之像素值設定為背景影像之像素值。此外，前景影像將通常具有一些半透明之區域。此可(例如)出現於前景影像物件之邊緣且可對於自身半透明之前景影像物件而出現。對於屬於此等區域之像素，混合影像之像素值產生為前景與背景影像之像素值的線性組合。舉例而言，如先前所提及，可如下產生像素值
y n =t n ‧f n +(1-t n )‧b n
其中y為混合影像像素值，f為前景影像像素值，b為背景影像像素值，且t為像素n之透明度值且為零與1之間的值(其中零表示完全透明且1表示完全不透明)。可回應於自前景影像源303接收之3D資料而執行影像之混合。例如，可使用前景影像物件之清單來選擇自前景影像獲取哪些影像區域且自背景影像獲取哪些影像區域。
在該實例中，自前景影像源303接收之前景影像伴有前景影像之明確或暗含的透明度資訊。在一些實施例中，前景影像可能僅由許多前景影像物件界定，且混合影像產生器405自身可經配置以產生透明度資訊，例如，藉由設定透明度值以表示前景影像物件之全不透明度及其他區中之全透明度，例如，基於色彩調整(綠/藍)螢幕方法。此外，混合影像產生器405自身可產生半透明區域，例如，藉由在前景影像物件之邊緣周圍引入平緩透明度轉變。此可(例如)使用如α遮蔽之方法而達成。
混合影像產生器405耦接至混合深度處理器407，混合深度處理器407亦耦接至背景深度處理器401及前景深度處理器403。混合深度處理器407接收背景及前景深度指示圖且將此等深度指示圖組合為混合影像之深度指示圖。該組合特定言之可使用一組固定規則來執行，諸如，應向包括來自前景層之貢獻的任何像素之深度給予前景之深度的規則。
此外，影像信號產生器301包含產生與混合影像有關之透明度圖之透明度處理器409。通常，此透明度圖將與前景影像之透明度圖相同，或可(例如)藉由將半透明邊緣引入至前景影像物件而加以修改。
在該實例中，自前景影像源303接收(經由混合影像產生器405)之前景影像伴有前景影像之明確或暗含的透明度資訊。在一些實施例中，前景影像可僅由許多前景影像物件界定，且透明度處理器409自身可經配置以產生透明度資訊，例如，藉由設定透明度值以表示前景影像物件之全不透明度及其他區中之全透明度。此外，透明度產生器409自身可產生半透明區域，例如，藉由在前景影像物件之邊緣周圍引入平緩透明度轉變。此可(例如)使用如α遮蔽之方法而達成。在一些實例中，由混合影像產生器產生之透明度資訊可經轉遞至透明度處理器409且用以產生透明度圖。
在該實例中，不同類型的3D影像資料單獨地由影像編碼器單元307編碼。在該實例中，影像編碼器單元307包含一背景影像編碼器411，背景影像編碼器411接收背景影像且使用合適的編碼演算法對此背景影像進行編碼。
影像編碼器單元307進一步包含一第一深度圖編碼器413，第一深度圖編碼器413耦接至背景深度處理器401且自此背景深度處理器401接收背景深度指示圖且使用合適的編碼演算法對該背景深度指示圖進行編碼。
影像編碼器單元307亦包含一第二深度圖編碼器415，第二深度圖編碼器415耦接至混合深度處理器407且自此混合深度處理器407接收混合深度指示圖，且使用合適的編碼演算法(其特定言之可與由第一深度圖編碼器413使用之演算法相同)對該混合深度指示圖進行編碼。
影像編碼器單元307額外包含一混合影像編碼器417，混合影像編碼器417耦接至混合影像產生器405且自此混合影像產生器405接收混合影像，且使用合適的編碼演算法(其特定言之可與由背景影像編碼器411使用之演算法相同)對該混合影像進行編碼。
此外，影像編碼器單元307包含一透明度圖編碼器419，透明度圖編碼器419耦接至透明度處理器409且自此透明度處理器409接收混合影像透明度圖且使用合適的編碼演算法對該混合影像透明度圖進行編碼。
所有編碼器411-419耦接至組合器421，組合器421自編碼器411-419中之每一者接收經編碼之輸出資料且將其組合為單一輸出資料檔案或流。應瞭解，在其他實施例中，資料可(例如)在編碼前加以組合，且可對經組合流進行編碼。舉例而言，圖2之影像資料可緊鄰著彼此而配置，且可對該結果進行編碼。因此，產生包含經編碼之背景影像、經編碼之混合前景及背景影像、背景影像之深度指示圖、混合影像之深度指示圖及與混合影像有關之透明度圖的3D影像資料。接著可高效地儲存、散發及處理此3D資料。
此外，該3D資料可允許合適的處理器件(例如)自與由前景及背景影像表示之視角不同的視角再現3D影像或2D影像。同時，不具有處理3D資訊之能力的習知器件可僅擷取及呈現混合影像。因此，混合影像可作為任何其他2D影像加以處理，且因為其含有前景及背景影像資訊兩者，所以其自身提供可用的影像。此外，該方法亦可提供回溯相容性用於3D處理。特定言之，混合影像及相關聯之混合深度指示圖自身可用以提供3D影像。因此，可基於3D資料執行單一層3D處理。又，有可能使用(或實際上能夠使用)透明度資訊來基於無3D處理之兩個影像層及相關聯之深度指示圖執行3D處理。
應瞭解，圖1之方法亦可用於與用於編碼3D資料不同的其他器件中。舉例而言，該方法可用於能夠自不同視角產生3D圖片或2D圖片之再現單元中。
此再現單元之一實例說明於圖5中。該再現單元可(例如)由經配置以執行圖1之方法的處理元件來實施。特定言之，可將該再現單元實施為混合軟體及硬體計算平台。然而，應瞭解，其他實施係可能的，且該再現單元可(例如)實施為僅硬體平台。舉例而言，該再現單元可由經硬體寫碼以執行所述操作的專用特殊應用積體電路來實施。
該再現單元包含一接收器501，該接收器501接收包含表示背景影像、混合影像、與混合影像有關之透明度圖、混合影像之深度指示圖及背景影像之深度指示圖的經編碼資料之信號。特定言之，接收器501可接收由圖2之編碼器產生之資料流。接收器501經配置以接收信號及擷取個別類型之資料。
接收器501耦接至饋有不同類型資料之解碼器503。解碼器503包含一背景影像解碼器505，背景影像解碼器505對背景影像資料進行解碼以產生背景影像。此外，解碼器503包含一混合影像解碼器507，混合影像解碼器507對混合前景及背景影像資料進行解碼以產生混合影像。解碼器503亦包含一背景深度圖解碼器509，背景深度圖解碼器509對背景深度圖資料進行解碼以產生背景深度指示圖。另外，解碼器503包含一混合影像深度圖解碼器511，混合影像深度圖解碼器511對混合影像深度圖資料進行解碼以產生混合影像深度指示圖。最後，解碼器503包含一透明度解碼器513，透明度解碼器513對透明度深度圖資料進行解碼以產生透明度圖。
此外，解碼器503耦接至接收經解碼資料的3D再現單元515。因此，解碼器將3D影像資料提供至3D再現單元515。特定言之，背景影像解碼器505將背景影像提供至3D再現單元515，混合影像解碼器507將混合影像提供至3D再現單元515，背景深度圖解碼器509將背景深度指示圖提供至3D再現單元515，混合影像深度圖解碼器511將混合影像深度指示圖提供至3D再現單元515，且透明度解碼器513將透明度圖提供至3D再現單元515。
3D再現單元515可接著處理所提供之3D資料以產生3D影像。其他或另外，3D再現單元515可能能夠基於3D資訊自不同方向再現2D視圖。3D視圖或不同視角2D視圖之產生可係基於混合影像之深度圖以及背景影像之深度圖。舉例而言，對於背景之由前景影像物件遮蔽的區，對於由背景及混合影像表示之視角，再現之像素值可考量背景深度指示圖之深度值，但對於正經再現之視角，再現之像素值可不考量背景深度指示圖之深度值。
當再現多視圖時，假設存在來自前景之任何貢獻，前景層之任何分量保持處於前景位準處通常為對高影像品質之要求。因此，除非前景全透明，否則混合影像之深度指示應在前景層處。
然而，發明者已認識到，通常深度指示圖之深度轉變並不傾向於與不全透明之第一像素重合，而傾向於與自全透明至全不透明(或自全不透明至全透明)的轉變之中心重合。
此傾向於為顯著的，因為再現通常包括在編碼中執行的混合之逆操作。此允許前景及背景每一者在其自身深度處呈現。為此，可使用所謂的自左乘深度(pre-multiplied depth)：
t n ‧f n =y n -(1-t n )‧b n
接著可使用混合深度資料(其特定地指示並不全透明的所有像素之前景深度)再現此前景，且可使用背景深度來再現背景。可使用前景透明度之再現之版本組合所得之再現圖片，以獲得最終結果。以此方式，當改變視點時，前景(例如，圖2中之重像)及背景(例如，圖2中之教堂)獨立地在其各自身深度處移動。
圖6說明混合影像沿著在該特定實例中對應於掃描線(亦即，對應於水平方向)之給定影像方向的深度及透明度轉變。在該實例中，沿著掃描線之像素位置由水平軸X表示，而深度d及透明度α由垂直軸表示。在該實例中，垂直軸之增加的值對應於前景且減小的值對應於背景。因此，d之較低值對應於進一步朝向影像之後部的深度位置，且d之較高值對應於進一步朝向影像前部的深度位置。同樣地，α之較低值對應於較高透明度值(較低不透明度)，該較高透明度值對應於背景之增加的表示，且α之較高值對應於較低透明度值(較高不透明度)，該較低透明度值對應於前景之增加的表示。該實例說明其中沿著掃描線遇到前景物件且因此固定影像自全透明度(α=0)轉變至全不透明度(α=1)之情形。
如在該實例中可看出，前景開始變得可見之第一點(A)不與深度轉變之任一點(B)重合。發明者已認識到，此可頻繁地發生(例如，歸因於在比影像或透明度資訊低的解析度下對深度進行編碼及傳輸)。在此等情況下，按比例調大深度值，例如，使用雙向濾波器。然而，此傾向於導致深度轉變與前景影像物件邊緣之中心而非與其開始變得可見的點對準。又，個別深度指示圖、影像及透明度圖通常經個別地編碼，且此可導致其間之不對準。應瞭解，不對準可歸因於各種其他問題而發生。前景物件邊緣與深度轉變之間的不對準可導致顯著的影像品質降級。舉例而言，當執行多視圖再現時，可常引起條紋狀假影，因為延伸以填充去遮蔽區之背景延伸將重複仍具有一些前景貢獻之像素。因此，將前景延伸至背景去遮蔽區中。
發明者已認識到，可對於其中透明度及深度指示圖兩者皆存在之系統達成改良的效能。詳言之，發明者已認識到，藉由修改值以使得達成深度指示值與透明度值之改良的對準，可達成改良之影像品質。詳言之，可修改沿著對應於前景影像物件之邊緣的轉變之透明度值與深度指示值之間的關係以改良影像品質。
因此，在一些實施例中，圖1之方法可進一步包括回應於來自一群值集合的一第二值集合中之值而修改來自該群值集合的一第一值集合中之值，其中該群值集合包含對應於該透明度圖之透明度值的一值集合及對應於該第一深度指示圖之深度指示值的一值集合。特定言之，如圖7中所說明，圖1之方法可經修改以包括一額外步驟701，在該額外步驟701中，修改在影像區域中的在透明度圖之透明度值與第一深度指示圖之深度指示值之間的關係。
該影像區域特定言之可為對應於前景之影像物件邊緣之影像區域。舉例而言，可沿著掃描方向掃描混合影像透明度圖，且無論何時當出現透明度轉變(例如，自全透明轉變至全不透明或自全不透明轉變至全透明)時，執行此轉變與沿著混合影像深度指示圖之掃描線的對應轉變之對準。因此，可藉由偵測透明度值之轉變來偵測於其中執行對準之影像區域。應瞭解，可使用偵測合適的影像區域以修改的其他方式，諸如，藉由偵測深度指示值之轉變。
在下文中，將描述修改在影像區域中之混合影像之透明度值與深度指示值之間的關係之方式之特定實例(包括判定影像區域之方式及修改深度指示值與透明度值之間的關係之方式之實例)。將參看圖8之再現單元描述該等實例。
除了進一步包含一耦接至混合影像深度圖解碼器511及透明度解碼器513之對準處理器801外，圖8之再現單元與圖5之再現單元相同。對準處理器801接收混合影像之透明度圖及深度指示圖，且進行對準對應於前景影像物件邊緣之轉變的透明度值與深度指示值。此外，對準處理器801耦接至3D再現單元515，3D再現單元515饋有在修改後之深度指示圖及透明度圖。
在一些實施例中，對準處理器801可視深度指示值而定來調整透明度值。在其他實施例中，其他或另外，修改處理器801可視透明度值而定調整深度指示值。因此，自由混合影像的透明度值集合及深度指示值集合組成的群，可回應於該群之其他集合中之值而修改該群之一集合中之值。應瞭解，在一些實施例中，修改透明度值及深度指示值兩者以提供所要的對準。
在一些實施例中，對準處理器801經配置以回應於混合影像深度指示圖之深度指示值而修改混合影像/前景透明度圖之透明度值。
特定言之，對準處理器801可修改其中深度轉變及透明度轉變沿著影像方向(特定言之可為水平方向)出現之影像區域中之透明度值。
對準處理器801可一次一個掃描線地處理該影像。可監控沿著該掃描線之深度指示值及/或透明度值，且若偵測到轉變，則處理此轉變周圍之區域以提供該等轉變之改良的對準。在該特定實例中，沿著掃描線掃描透明度圖，且無論何時當偵測到自實質透明至實質不透明(或自實質不透明至實質透明)之透明度轉變時，對準處理器801進行修改該掃描線之相關聯的間隔之透明度值。
掃描線之深度及透明度轉變之一實例展示於圖9中(對應於圖6之實例)。當處理該掃描線時，對準處理器801因此起初偵測透明度轉變出現。其接著進行判定深度轉變點B，該深度轉變點B為深度指示圖中之掃描線的深度指示值之對應轉變之部分。
作為一特定實例，圖9說明混合影像沿著在該特定實例中對應於掃描線(亦即，對應於水平方向)之給定影像方向的深度及透明度轉變。對準處理器801首先偵測對應於前景影像物件之任何轉變。如上文所提及，此偵測可係基於透明度值，但其他或另外，可係基於(例如)深度指示值。
對準處理器801進行判定深度轉變之深度轉變點B。深度轉變點B對應於一為自前景影像物件外之深度至對應於前景影像物件之深度的轉變之部分之點。應瞭解，可使用許多不同方法來發現深度轉變點B，且在不同實施例及情況中，深度轉變點可對應於深度轉變之不同位置(例如，在轉變之開始、中間或結束時)。可(例如)僅自混合影像深度指示圖之深度指示圖判定深度轉變點B。舉例而言，若出現多於給定數目個像素內的給定量之深度轉變，則可評估深度指示值以發現在轉變之開端與完成之間的大致中途之像素。
在該特定實例中，深度轉變點B之判定不僅係基於混合影像深度指示圖之深度指示值，且亦係基於背景深度指示圖之深度指示值。特定言之，對於源於背景影像中之像素，此等值將相等，且對於源於前景影像中之像素(亦即，對於前景影像物件之像素)，此等值將實質上不同。因此，在圖9之特定實例中，同一像素之深度指示值之間的差在轉變(在掃描線方向上)前將很低且在轉變後將很高。可因此將深度轉變點B判定為背景深度指示圖與混合影像深度指示圖之深度指示值之差增加至一給定臨限值上之像素位置。應瞭解，對於自前景影像至背景區之轉變，可將深度轉變點判定為該差降低至一給定臨限值下之像素位置。
亦應瞭解，比較背景與混合影像深度指示值之所述方法可不僅用於判定深度轉變點B，且亦用於偵測對應於前景影像物件邊緣之轉變。
對準處理器801接著進行使混合影像透明度值之透明度值朝向較高透明度(對應於圖9中之較低α值)偏置。於在朝向較高透明度之方向上自深度轉變點延伸之間隔中執行偏置。因此，將相對較高透明度引入至為前景影像物件之邊緣轉變之部分的至少一些像素位置。
應瞭解，在一些情況及實施例中，可在比結束於深度轉變點B之間隔大的間隔中額外執行偏置。舉例而言，在一些情況下，亦可於在較低透明度之方向上自深度轉變點B延伸之間隔中提供透明度偏置。舉例而言，可為整個深度轉變提供高透明度(低α)值。
應瞭解，在增加的透明度之方向上自深度轉變點B延伸的間隔之大小在不同實施例及情況中可不同，且可在不同實施例及情況中不同地判定。舉例而言，該間隔可簡單地具有固定大小，且因此可始終在固定間隔大小中執行偏置。舉例而言，若已知前景影像物件通常具有(例如)5-10個像素之半透明邊緣，則可使用(例如)15個像素之固定間隔大小。
偏置使得該間隔之至少一透明度值經調整以對應於比偏置前高之透明度。作為一特定實例，可在偏置前將該間隔之所有像素位置之透明度值設定為該間隔之最高透明度值。因此，對準處理器801可發現該間隔之最小α值且將所有透明度值設定為此α值。圖9說明其中所有α值皆經設定為特定言之對應於最高透明度之相同值的此實例。在其他實施例中，偏置可僅存在於對準處理器801將間隔中之所有透明度值設定為最高可能透明度值(亦即，α=0)中。
該特定描述之方法因此導致透明度值在其中透明度邊緣轉變已開始但其中深度轉變尚未開始之影像區域中朝向較高透明度偏置。因此，在修改前，歸因於深度資訊，此區域可再現為背景之部分，但將仍包括前景影像物件之一些(例如，其色彩)。此將導致影像降級。然而，藉由增加透明度值，此影像降級得以減少，且實際上當將透明度值設定為全透明時，間隔中之影像降級可實質上減少或甚至完全消除。
在一些實施例中，藉由回應於透明度圖之透明度值而判定透明度轉變點A，可判定偏置間隔(且因此，間隔大小)之開始。特定言之，在已發現深度轉變點後，對準處理器801可進行搜尋在較高透明度值之方向自深度轉變點B延伸之評估間隔中的最高透明度值。舉例而言，在距深度轉變點B 30個像素之間隔中的最高轉變值之位置可得以偵測且用作偏置間隔之起點A。
因此，作為一特定實例且參看圖9，可如上所述發現深度轉變點B。判定遠離深度轉變點B之固定窗(在圖9中之左邊)中的最小α值，其後，以此最小α值替換此窗中之α值。雖然以此方式判定偏置間隔之開始在其中在轉變後透明度值不穩定之情況下可能不精確，但該方法對於實際應用高度有效。
在一些實施例中，對準處理器801經配置以回應於混合影像/前景透明度圖之透明度值而修改混合影像深度指示圖之深度指示值。
特定言之，對準處理器801可修改其中深度轉變及透明度轉變沿著影像方向(特定言之可為水平方向)出現之影像區域中之深度指示值。
因此，對準處理器801可一次一個掃描線地處理該影像。可監控沿著該掃描線之深度指示值及/或透明度值，且若偵測到轉變，則處理此轉變周圍之區域，如將在下文中描述。在該特定實例中，沿著掃描線掃描透明度圖，且無論何時當偵測到自實質透明至實質不透明(或自實質不透明至實質透明)之透明度轉變時，對準處理器801進行修改該掃描線之相關聯的間隔之深度值。
掃描線之深度及透明度轉變之一實例展示於圖10中(對應於圖6及圖9之實例)。當處理該掃描線時，對準處理器801因此起初偵測透明度轉變出現。其接著進行判定深度轉變點B，該深度轉變點B為深度指示圖中之掃描線的深度指示值之轉變之部分。
對於為透明度轉變之部分的像素位置中之至少一些，對準處理器801可接著進行使混合影像之深度指示值朝向較低深度值(對應於更朝向影像之前部的指示，亦即，對應於圖10中之增加的d值)偏置。
特定言之，對準處理器801可判定第一透明度轉變點A，該第一透明度轉變點A為轉變之部分。可接著使沿著結束於第一透明度轉變點A且在較低透明度之方向上延伸之掃描線的間隔之深度指示值偏置(亦即，朝向前景影像物件)。
應瞭解，在不同實施中可使用不同方法及準則用於判定第一透明度轉變點A。在許多情況下，第一透明度轉變點A對應於處於轉變之高透明度部分上之點(亦即，其接近於影像物件開始變得可見之點)係有利的。作為一簡單實例，可因此將第一透明度轉變點A判定為α值越過對應於幾乎全透明度之預定臨限值的位置(臨限值越過之方向將視轉變是至還是自前景影像物件而定)。
在開始於第一透明度轉變點且在朝向較低透明度之方向上延伸之間隔中執行深度指示值朝向較低深度值(更為前景)之偏置。因此，將相對較低深度引入至為前景影像物件之邊緣轉變之部分的至少一些像素位置。
應瞭解，在減小的透明度之方向上自第一透明度轉變點A延伸的間隔之大小在不同實施例及情況中可不同，且可在不同實施例及情況中不同地判定。舉例而言，在一簡單實例中，該間隔可具有始終於其中執行偏置之固定大小。舉例而言，已知前景影像物件通常具有(例如)5-10個像素之半透明邊緣，可使用(例如)15個像素之固定間隔大小。
偏置使得該間隔之至少一深度指示值經調整以對應於比偏置前低之深度位準(更朝向前景)。作為一特定實例，可在偏置前將該間隔之所有像素位置之深度指示值設定為該間隔之最低深度值。因此，對準處理器801可發現該間隔之最大d值，且將所有深度指示值設定為此d值。圖10說明其中將所有d值設定為對應於在轉變後之深度指示值之值的此實例。在其他實施例中，偏置可僅存在於對準處理器801將間隔中之所有深度指示值設定為對應於前景之一值中。
特定描述之方法因此導致深度指示值在包括其中透明度轉變已開始但其中深度轉變尚未開始之區之對應於透明度邊緣轉變之影像區域中朝向前景偏置。因此，在修改前，歸因於深度資訊，此區域可再現為背景之部分，但將仍包括前景影像物件之一些(例如，其色彩)。此將導致影像品質降級。然而，藉由減小深度指示值，此影像品質降級得以減少。詳言之，該方法可允許將包括來自前景之貢獻的影像像素值作為前景影像像素來處置。
在一些實施例中，藉由回應於沿著掃描線之透明度指示值而判定第二透明度轉變點C，可判定偏置間隔(及因此，間隔大小)之開始。第二透明度轉變點C對應於比第一透明度轉變點A低之透明度值，亦即，其對應於較接近於前景影像物件自身之位置或對應於前景影像物件自身之部分。作為一簡單實例，可將第二透明度轉變點C判定為α值越過接近於全不透明度之預定臨限值的點。
在該特定實例中，藉由在深度轉變點B周圍之間隔中搜尋而發現第一透明度轉變點A及第二透明度轉變點C。特定言之，可使用與參看圖9針對其中回應於深度指示值而修改透明度值之情形所描述的相同的方法來發現深度轉變點B(及實際上，轉變之存在)。
接著評估在深度轉變點B周圍之透明度搜尋間隔中的透明度值，且可特定地將第一透明度轉變點A及第二透明度轉變點C分別判定為具有最高、最低透明度值之點。接著可使自第一透明度轉變點A至第二透明度轉變點C之間隔中之深度指示值朝向較低深度位準偏置，且特定言之，可將間隔之深度指示值設定為間隔中之最高深度指示值，亦即，設定為第二透明度轉變點C之深度指示值。
此方法傾向於合理地對發現點B之精確度不敏感，但在其中透明度值不穩定之一些情況下可能導致降級之效能。然而，該方法傾向於對實際應用高度有效。
應瞭解，雖然圖6、圖9及圖10之實例之描述聚焦於其中評估沿著對應於掃描線方向(且特定言之，水平掃描線方向)之方向的轉變之情形，但該方法不限於此情況。實際上，應瞭解，在其他情況下，可替代或另外地評估沿著其他影像方向之轉變。舉例而言，可替代或另外地評估實質上與掃描線方向垂直之影像方向。因此，圖6、圖9及圖10之實例同等地適用於其他影像方向，諸如，特定言之，垂直影像方向。在許多情況下，此舉可改良影像品質，且特定言之可改良實質上水平影像邊緣之感知品質。作為另一實例，可在與物件邊緣實質上垂直之方向上應用該處理。因此，在一些實例中，可偵測影像物件之邊緣，且可識別特定邊緣之主要方向。接著可判定實質上垂直的方向，且可將所描述之方法應用於此方向。
應瞭解，為了清晰起見，以上描述已參照不同功能單元及處理器描述了本發明之實施例。然而，將顯而易見，在不脫離本發明之情況下，可使用不同功能單元或處理器之間的功能性之任何合適分配。舉例而言，說明為待由單獨的處理器或控制器執行之功能性可由同一處理器或控制器來執行。因此，對特定功能單元之引用僅應看作對用於提供所描述功能性之合適構件之引用，而並非指示一嚴格邏輯或實體結構或組織。
本發明可以任何合適形式來實施，包括硬體、軟體、韌體或此等之任何組合。本發明可視情況至少部分地實施為在一或多個資料處理器及/或數位訊號處理器上執行之電腦軟體。可以任何合適方式在實體上、在功能上及在邏輯上實施本發明之一實施例的元件及組件。實際上，功能性可實施於單一單元中、複數個單元中或作為其他功能單元之部分。因此，本發明可實施於單一單元中或可在實體上及功能上分散於不同單元及處理器之間。
雖然本發明已結合一些實施例加以描述，但其並不意欲限於本文所闡明之特定形式。實情為，本發明之範疇僅受到隨附申請專利範圍之限制。另外，雖然一特徵可能看起來是結合特定實施例描述的，但熟習此項技術者將認識到，可根據本發明來組合所描述之實施例的各種特徵。在申請專利範圍中，術語「包含」並不排除其他元件或步驟之存在。
此外，雖然個別地列出，但可藉由(例如)一單一單元或處理器實施複數個構件、元件或方法步驟。另外，雖然個別特徵可包括於不同請求項中，但有可能有利地組合此等特徵，且包括於不同請求項中並不暗示特徵之組合為不可行的及/或不利的。又，一特徵包括於申請專利範圍之一項中並不暗示限制於此項，而是指示該特徵同等地適用於其他適當的申請專利範圍項。此外，請求項中之特徵的次序不暗示該等特徵必須按其來工作之任何特定次序，且詳言之，一方法請求項中之個別步驟的次序不暗示必須以此次序執行該等步驟。相反，可以任何合適次序執行該等步驟。此外，單數引用並不排除複數個。因此，對「一」、「第一」、「第二」等之引用並不排除複數個。申請專利範圍中的引用標記僅提供為澄清實例，且不應解釋為以任何方式限制申請專利範圍之範疇。
201．．．背景影像
203．．．深度指示圖
205．．．混合影像
207．．．深度指示圖
209．．．透明度圖
301．．．影像信號產生器
303．．．前景影像源
305．．．背景影像源
307．．．影像編碼器單元
401．．．背景深度處理器
403．．．前景深度處理器
405．．．混合影像產生器
407．．．混合深度處理器
409．．．透明度處理器
411．．．背景影像編碼器
413．．．第一深度圖編碼器
415．．．第二深度圖編碼器
417．．．混合影像編碼器
419．．．透明度圖編碼器
421．．．組合器
501．．．接收器
503．．．解碼器
505．．．背景影像解碼器
507．．．混合影像解碼器
509．．．背景深度圖解碼器
511．．．混合影像深度圖解碼器
513．．．透明度解碼器
515．．．3D再現單元
801．．．對準處理器
圖1說明根據本發明之一些實施例的用於提供3D影像資料之方法之一實例；
圖2說明根據本發明之一些實施例的3D影像資料之元素之一實例；
圖3說明根據本發明之一些實施例的影像信號編碼器之一實例；
圖4說明根據本發明之一些實施例的影像信號編碼器之一實例；
圖5說明根據本發明之一些實施例的再現單元之一實例；
圖6說明混合背景與前景影像沿著一給定影像方向之深度及透明度轉變之一實例；
圖7說明根據本發明之一些實施例的用於提供3D影像資料之方法之一實例；
圖8說明根據本發明之一些實施例的再現單元之一實例；
圖9說明混合背景與前景影像沿著一給定影像方向之深度及透明度轉變之一實例；及
圖10說明混合背景與前景影像沿著一給定影像方向之深度及透明度轉變之一實例。
(無元件符號說明)

Claims (31)

  1. 一種提供用於在再現(rendering)三維影像資料之至少一視圖之影像元素時使用的該三維影像資料之方法，該方法包含：提供(101)一第一二維影像；提供(103)一為該第一二維影像與一第二二維影像之一組合的混合二維影像，該第二二維影像為一相對於該第一二維影像之前景影像且該組合係回應於該第二二維影像之透明度資料；提供(105)一與該混合二維影像有關之透明度圖，該透明度圖包含該混合二維影像之像素的透明度值；提供(107)該混合二維影像之一第一深度指示圖，該第一深度指示圖包含該混合二維影像之像素的深度指示值；及提供(111)包含該第一二維影像、該混合二維影像、該透明度圖及該第一深度指示圖之該三維影像資料。
  2. 如請求項1之方法，其進一步包含產生一包含該三維影像資料之影像信號。
  3. 如請求項1之方法，其進一步包含回應於該三維影像資料而再現與該第一二維影像及該第二二維影像之一視角不同的一視角之一視圖。
  4. 如請求項3之方法，其進一步包含回應於該三維影像資料而再現對應於該三維影像資料之多個視圖之影像元素的影像元素以供用於使一三維影像顯像。
  5. 如請求項1之方法，其進一步包含回應於來自一群值集合的一第二值集合中之值而修改(701)來自該群值集合的一第一值集合中之值，該群值集合包含對應於該透明度圖之透明度值的一值集合及對應於該第一深度指示圖之深度指示值的一值集合。
  6. 如請求項5之方法，其進一步包含偵測對應於一影像物件邊緣之一影像區域，且其中修改值包含修改該影像區域之值。
  7. 如請求項1之方法，其進一步包含修改(701)在一影像區域中的該透明度圖之透明度值與該第一深度指示圖之深度指示值之間的一關係。
  8. 如請求項7之方法，其中修改(701)該關係包含對準該透明度圖之沿著一影像方向的一透明度轉變與該第一深度指示圖之沿著該影像方向的一深度轉變。
  9. 如請求項1之方法，其進一步包含回應於該第一深度指示圖之深度指示值而修改(701)該透明度圖之透明度值。
  10. 如請求項9之方法，其中修改(701)透明度值包含使該透明度圖之透明度值在一影像區域中朝向較高透明度偏置，該影像區域為該透明度圖中之一透明度轉變之部分而並非該第一深度轉變圖中之一深度轉變之部分。
  11. 如請求項9之方法，其中修改(701)透明度值包含修改在包含沿著一影像方向之一深度轉變及一透明度轉變之一影像區域之至少部分中的透明度值，該修改係藉由：回應於該第一深度轉變圖之沿著該影像方向之該深度 指示值而判定一第一深度轉變點；使該透明度圖之沿著該影像方向之透明度值對於沿著該影像方向的在一較高透明度及一較低深度中之至少一者之一方向上自該第一深度轉變點延伸的一間隔之像素朝向較高透明度偏置。
  12. 如請求項11之方法，其進一步包含回應於該第一透明度圖之沿著該影像方向的該等透明度值而判定一第一透明度轉變點，且其中該間隔自該第一透明度點延伸至該第一深度轉變點。
  13. 如請求項12之方法，其進一步包含將該第一透明度轉變點判定為沿著該影像方向在於一較高透明度及一較低深度中之至少一者之一方向上自該深度轉變點延伸的一評估間隔中具有一最高透明度值之一點。
  14. 如請求項11之方法，其中偏置包含在偏置前將該間隔之所有透明度值之透明度值設定為該間隔之一最高透明度值。
  15. 如請求項11之方法，其進一步包含提供該第一二維影像之一第二深度指示圖，該第二深度指示圖包含該第一二維影像之像素之深度指示值；且其中判定該第一深度轉變點包含進一步回應於該第二深度指示圖之深度指示值而判定該第一深度轉變點。
  16. 如請求項15之方法，其中判定該深度轉變點包含回應於該第一深度指示圖之深度指示值與該第二深度指示圖之深度指示值的一比較而判定該深度轉變點。
  17. 如請求項15之方法，其中判定該深度轉變點包含將該深度轉變點判定為沿著該影像方向的該第二深度指示圖之一深度指示值與該第一深度指示圖之一深度指示值之間的一差越過一臨限值的一點。
  18. 如請求項1之方法，其進一步包含回應於該透明度圖之透明度值而修改(701)該第一深度指示圖之深度指示值。
  19. 如請求項18之方法，其中修改(701)深度指示值包含使該第一深度指示圖之深度指示值在對應於該透明度圖中之一透明度轉變的一影像區域中朝向前景深度指示值偏置。
  20. 如請求項18之方法，其中修改(701)深度指示值包含修改在包含沿著一影像方向之一深度轉變及一透明度轉變之一影像區域之至少部分中的深度指示值，該修改係藉由：回應於沿著該影像方向的該透明度圖之該等透明度值及該第一深度指示圖之該等深度指示值中之至少一者而判定一第一轉變點；使該第一深度指示圖之沿著該影像方向的深度指示值對於沿著該影像方向的結束於該第一透明度轉變點且在較低透明度之一方向上自該第一透明度點延伸之一間隔之像素朝向前景深度指示值偏置。
  21. 如請求項20之方法，其中該第一轉變點為回應於該透明度圖之該等透明度值而判定的一第一透明度轉變點，且該方法進一步包含： 回應於該透明度圖之沿著該影像方向的該等透明度指示值而判定一第二透明度轉變點，該第二透明度轉變點對應於比該第一透明度點低之一透明度；且其中該間隔自該第一深度轉變點延伸至一第二深度轉變點。
  22. 如請求項20之方法，其中該第一轉變點為回應於該透明度圖之該等透明度值而判定的一第一透明度轉變點，且該方法進一步包含：回應於該第一深度指示圖之沿著該影像方向的深度指示值而判定一第一深度轉變點；回應於該第一深度轉變點而判定一透明度搜尋間隔；且其中判定該第一透明度點包含回應於該透明度搜尋間隔中之透明度值而判定該第一透明度點。
  23. 如請求項20之方法，其中偏置深度指示值包含在偏置前將該間隔之所有深度指示值設定為對應於該間隔之一最遠前景深度指示值之一深度指示值。
  24. 一種對一影像信號進行編碼之方法，該方法包含：提供(101)一第一二維影像；提供(103)一為該第一二維影像與一第二二維影像之一組合的混合二維影像，該第二二維影像為一相對於該第一二維影像之前景影像且該組合係回應於該第二二維影像之一透明度值；提供(105)一與該混合二維影像有關之透明度圖，該透 明度圖包含該混合二維影像之像素的透明度值；提供(107)該混合二維影像之一第一深度指示圖，該第一深度指示圖包含該混合二維影像之像素的深度指示值；及產生(111)包含表示該第一二維影像、該混合二維影像、該透明度圖及該第一深度指示圖之經編碼資料的該影像信號。
  25. 如請求項24之方法，其進一步包含回應於該第一深度指示圖之深度指示值而修改(701)該透明度圖之透明度值。
  26. 如請求項24之方法，其進一步包含回應於該透明度圖之透明度值而修改(701)該第一深度指示圖之深度指示值。
  27. 一種再現一二維影像之方法，該方法包含：提供(101)一第一二維影像；提供(103)一為該第一二維影像與一第二二維影像之一組合的混合二維影像，該第二二維影像為一相對於該第一二維影像之前景影像且該組合係回應於該第二二維影像之一透明度值；提供(105)一與該混合二維影像有關之透明度圖，該透明度圖包含該混合二維影像之像素的透明度值；提供(107)該混合二維影像之一第一深度指示圖，該第一深度指示圖包含該混合二維影像之像素的深度指示值；及回應於該第一二維影像、該混合二維影像、該透明度圖及該第一深度指示圖而再現(111)該二維影像。
  28. 一種影像信號編碼器，其包含：用於提供一第一二維影像之構件(303)；用於提供一為該第一二維影像與一第二二維影像之一組合的混合二維影像之構件(405)，該第二二維影像為一相對於該第一二維影像之前景影像且該組合係回應於該第二二維影像之一透明度值；用於提供一與該混合二維影像有關之透明度圖之構件(409)，該透明度圖包含該混合二維影像之像素的透明度值；用於提供該混合二維影像之一第一深度指示圖之構件(407)，該第一深度指示圖包含該混合二維影像之像素的深度指示值；及用於產生包含表示該第一二維影像、該混合二維影像、該透明度圖及該第一深度指示圖之經編碼資料的該影像信號之構件(307)。
  29. 一種影像再現單元，其包含：用於提供一第一二維影像之構件(505)；用於提供一為該第一二維影像與一第二二維影像之一組合的混合二維影像之構件(507)，該第二二維影像為一相對於該第一二維影像之前景影像且該組合係回應於該第二二維影像之一透明度值；用於提供一與該混合二維影像有關之透明度圖之構件(513)，該透明度圖包含該混合二維影像之像素的透明度值； 用於提供該混合二維影像之一第一深度指示圖之構件(511)，該第一深度指示圖包含該混合二維影像之像素的深度指示值；及用於回應於該第一二維影像、該混合二維影像、該透明度圖及該第一深度指示圖而再現該二維影像之構件(515)。
  30. 一種影像信號，其包含：表示一第一二維影像之資料；表示一為該第一二維影像與一第二二維影像之一組合的混合二維影像之資料，該第二二維影像為一相對於該第一二維影像之前景影像且該組合係回應於該第二二維影像之一透明度值；表示一與該混合二維影像有關之透明度圖之資料，該透明度圖包含該混合二維影像之像素的透明度值；表示該混合二維影像之一第一深度指示圖之資料，該第一深度指示圖包含該混合二維影像之像素的深度指示值。
  31. 一種使一處理器能夠進行請求項1、24或27之方法之電腦程式。
TW098132351A 2008-09-25 2009-09-24 三維影像資料處理 TWI610270B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08165057 2008-09-25
??08165057.4 2008-09-25

Publications (2)

Publication Number Publication Date
TW201035907A TW201035907A (en) 2010-10-01
TWI610270B true TWI610270B (zh) 2018-01-01

Family

ID=41406855

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098132351A TWI610270B (zh) 2008-09-25 2009-09-24 三維影像資料處理

Country Status (7)

Country Link
US (1) US10043304B2 (zh)
EP (1) EP2338145B1 (zh)
JP (1) JP5527856B2 (zh)
KR (1) KR20110059790A (zh)
CN (1) CN102165496B (zh)
TW (1) TWI610270B (zh)
WO (1) WO2010035223A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
US8902229B2 (en) 2010-01-13 2014-12-02 Samsung Electronics Co., Ltd. Method and system for rendering three dimensional views of a scene
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
WO2012075631A1 (en) 2010-12-08 2012-06-14 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
JP5242667B2 (ja) 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
GB201114591D0 (en) * 2011-08-23 2011-10-05 Tomtom Int Bv Methods of and apparatus for displaying map information
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
JP2014534665A (ja) 2011-09-29 2014-12-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 視差マップをフィルタリングする方法及び装置
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
JP5289538B2 (ja) * 2011-11-11 2013-09-11 株式会社東芝 電子機器、表示制御方法及びプログラム
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
JP2013118468A (ja) 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
KR101893771B1 (ko) 2012-05-10 2018-08-31 삼성전자주식회사 3d 정보 처리 장치 및 방법
US8644596B1 (en) 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
TWI485653B (zh) * 2012-06-28 2015-05-21 Imec Taiwan Co 成像系統及方法
NL2009616C2 (en) * 2012-10-11 2014-04-14 Ultra D Co Peratief U A Adjusting depth in a three-dimensional image signal.
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
TW201421972A (zh) * 2012-11-23 2014-06-01 Ind Tech Res Inst 立體視訊的編碼方法及其系統
CN103077557B (zh) * 2013-02-07 2016-08-24 河北大学 一种自适应分层次胸部大数据显示的实现方法
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
KR20160034259A (ko) * 2013-07-18 2016-03-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10178373B2 (en) * 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
JP6332982B2 (ja) * 2014-01-29 2018-05-30 キヤノン株式会社 画像処理装置およびその方法
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
FR3035208B1 (fr) * 2015-04-17 2017-04-21 Thales Sa Procede de gestion et d'affichage de symboles graphiques geo-references et systeme de visualisation associe
CN106937103B (zh) * 2015-12-31 2018-11-30 深圳超多维科技有限公司 一种图像处理方法及装置
CN106937104B (zh) * 2015-12-31 2019-03-26 深圳超多维科技有限公司 一种图像处理方法及装置
CN107154032B (zh) * 2017-04-20 2019-01-29 腾讯科技（深圳）有限公司 一种图像数据处理方法和装置
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map
GB2565301A (en) 2017-08-08 2019-02-13 Nokia Technologies Oy Three-dimensional video processing
KR102022980B1 (ko) 2017-12-01 2019-09-19 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
CN108881887B (zh) * 2018-07-19 2019-07-19 四川长虹电器股份有限公司 一种基于Unity3D的光场信息获取及处理方法
US10643398B2 (en) * 2018-07-23 2020-05-05 Microsoft Technology Licensing, Llc Depth ray layer for reduced visual noise
CN109598737B (zh) * 2018-12-04 2021-01-12 广东智媒云图科技股份有限公司 一种图像边缘识别方法及系统
EP3691277A1 (en) * 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment
KR102374945B1 (ko) * 2019-02-22 2022-03-16 지멘스 메디컬 솔루션즈 유에스에이, 인크. 영상 처리 방법 및 영상 처리 시스템
US11363249B2 (en) * 2019-02-22 2022-06-14 Avalon Holographics Inc. Layered scene decomposition CODEC with transparency
CN110336942B (zh) * 2019-06-28 2021-02-02 Oppo广东移动通信有限公司 一种虚化图像获取方法及终端、计算机可读存储介质
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006067714A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Transparency change of view-obscuring objects
US20060267977A1 (en) * 2005-05-19 2006-11-30 Helmut Barfuss Method for expanding the display of a volume image of an object region
US20080079719A1 (en) * 2006-09-29 2008-04-03 Samsung Electronics Co., Ltd. Method, medium, and system rendering 3D graphic objects

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2888375B2 (ja) * 1990-11-30 1999-05-10 株式会社日立製作所 画像合成方法及び文字フオント生成方法
US5684941A (en) * 1994-09-01 1997-11-04 Cirrus Logic, Inc. Interpolation rendering of polygons into a pixel grid
US6266068B1 (en) * 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
JPH11339008A (ja) * 1998-05-26 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理装置
GB2354416B (en) * 1999-09-17 2004-04-21 Technologies Limit Imagination Depth based blending for 3D graphics systems
JP2002329210A (ja) 2001-04-27 2002-11-15 Canon Inc 画像処理装置および画像処理装置の制御方法および記憶媒体
US7081892B2 (en) * 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
NZ525956A (en) * 2003-05-16 2005-10-28 Deep Video Imaging Ltd Display control system for use with multi-layer displays
CN100483463C (zh) * 2003-09-17 2009-04-29 皇家飞利浦电子股份有限公司 用于在3-d图像显示屏上显示3-d图像的系统和方法
US7015926B2 (en) 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
JP4240395B2 (ja) * 2004-10-01 2009-03-18 シャープ株式会社 画像合成装置、電子機器、画像合成方法、制御プログラムおよび可読記録媒体
US20060087556A1 (en) * 2004-10-21 2006-04-27 Kazunari Era Stereoscopic image display device
CN101322418B (zh) 2005-12-02 2010-09-01 皇家飞利浦电子股份有限公司 图像信号的深度相关的滤波
JP5011316B2 (ja) * 2006-02-27 2012-08-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 出力画像のレンダリング
US8588514B2 (en) * 2007-05-11 2013-11-19 Koninklijke Philips N.V. Method, apparatus and system for processing depth-related information
US7982734B2 (en) * 2007-08-01 2011-07-19 Adobe Systems Incorporated Spatially-varying convolutions for rendering soft shadow effects
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006067714A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Transparency change of view-obscuring objects
US20060267977A1 (en) * 2005-05-19 2006-11-30 Helmut Barfuss Method for expanding the display of a volume image of an object region
US20080079719A1 (en) * 2006-09-29 2008-04-03 Samsung Electronics Co., Ltd. Method, medium, and system rendering 3D graphic objects

Also Published As

Publication number Publication date
WO2010035223A1 (en) 2010-04-01
KR20110059790A (ko) 2011-06-03
CN102165496A (zh) 2011-08-24
EP2338145A1 (en) 2011-06-29
EP2338145B1 (en) 2020-04-08
US20110181588A1 (en) 2011-07-28
JP5527856B2 (ja) 2014-06-25
JP2012503815A (ja) 2012-02-09
TW201035907A (en) 2010-10-01
US10043304B2 (en) 2018-08-07
CN102165496B (zh) 2014-08-13

Similar Documents

Publication Publication Date Title
TWI610270B (zh) 三維影像資料處理
KR101648206B1 (ko) ３차원 이미지 데이터 처리
KR101468267B1 (ko) 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
RU2551789C2 (ru) Выбор точек обзора для формирования дополнительных видов в 3d видео
TWI573434B (zh) 通用的三維圖片格式
JP5173028B2 (ja) シーンの階層化深さモデルを提供するための方法及び装置並びにシーンの階層化深さモデルを有する信号
US7822265B2 (en) Ghost artifact reduction for rendering 2.5D graphics
KR101798408B1 (ko) 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치
KR102581134B1 (ko) 광 강도 이미지를 생성하기 위한 장치 및 방법
JP2020524851A (ja) テクスチャマップ及びメッシュに基づく３ｄ画像情報の処理
Smolic et al. Disparity-aware stereo 3d production tools
EP4033754A1 (en) An image synthesis system and method therefor
Barenbrug Declipse 2: multi-layer image and depth with transparency made practical
WO2023247193A1 (en) Data signal comprising a representation of a three dimensional scene