TWI764959B

TWI764959B - 用於產生光強度影像之裝置與方法

Info

Publication number: TWI764959B
Application number: TW106142336A
Authority: TW
Inventors: 克莉斯汀維爾甘
Original assignee: 荷蘭商皇家飛利浦有限公司
Priority date: 2016-12-06
Filing date: 2017-12-04
Publication date: 2022-05-21
Also published as: EP3552183A1; RU2754721C2; CN110140151B; CN110140151A; JP2019536174A; RU2019120831A3; US20190385352A1; KR20190091500A; KR102581134B1; US10699466B2; EP3552183B1; WO2018104102A1; BR112019011254A8; BR112019011254A2; JP6651679B2; RU2019120831A; TW201828255A

Abstract

一種產生一影像之方法，其包括分別自一第一視點及一第二視點接收(301、303)表示一場景之一第一紋理圖及一第二紋理圖及網格。產生(305)一第三視點之一光強度影像。對於一第一位置，此包含藉由一視點變換分別基於該第一紋理圖及該第一網格及該第二紋理圖及該第二網格判定(401、403)該第一位置之一第一光強度值及一第二光強度值。接著，該光強度值藉由該第一光強度值與該第二光強度值之一加權組合判定(405)。該加權取決於對應於該第一位置之一第一網格位置處之該第一網格中之一深度梯度相對於對應於該第一位置之一第二網格位置處之該第二網格中之一深度梯度。

Description

用於產生光強度影像之裝置與方法

本發明係關於一種用於產生光強度影像之裝置與方法，且特定言之，係關於基於來自適於加速硬體處理之複數個不同視點之紋理圖及網格產生一新視點之一光強度影像。

基於三維場景之圖形應用已在諸多應用中變得普遍，諸如具體言之，電腦圖形應用。為了支援快速三維圖形處理，已開發了若干標準及規範。此不僅提供更快設計及實施，因為其可為諸多標準操作提供標準化功能及常式，諸如視點移位，而且容許開發及最佳化此等常式之專屬硬體圖形引擎。實際上，對於諸多電腦，圖形處理單元(GPU)現今通常可至少與中央處理單元(CPU)一樣強大且重要。用於支援快速圖形處理之一標準之一實例係OpenGL規範，其提供具有支援圖形處理之若干功能之一應用程式介面(API)。規範通常用於提供硬體加速圖形處理，其中特定常式由專屬加速硬體以一GPU形式實施。在多數此類圖形規範中，場景係藉由一紋理圖與一三維網格之一組合表示。實際上，在諸多案例中，一特別有效方法係藉由一多邊形網格(其中一組多邊形由其等之共同邊緣或隅角(頂點) (其等由三維位置給定)連接)表示影像物件，或實際上表示作為一整體之場景。經組合三維多邊形網格據此提供三維物件之一有效模型，包含(可能係)一整個影像之一三維描述。多邊形網格通常係由具有在3D空間中給定之共同隅角之三角形形成之一三角形網格。作為一實例，一立體攝影機可自一給定視點記錄一場景之一影像。對於各像素，一視差估計可經執行以估計至由像素表示之物件之距離。可針對各像素執行此，藉此提供各像素之x、y、z之一三維位置。接著，此等位置可用作一三角形網格之頂點，其中針對各2x2像素群組形成兩個三角形。由於此可導致大量三角形，故程序可包含將一些初始三角形組合成更大三角形(或在一些案例中，更一般言之，組合成更大多邊形)。此不僅將減少三角形之數目，而且將降低網格之空間解析度。據此，其通常取決於深度變動且主要在更平坦區中進行。各頂點進一步與紋理圖之一光強度值相關聯。紋理圖基本上在場景中提供物件在頂點之像素位置處之光/顏色強度。通常，一光強度影像/紋理圖與網格一起提供，該網格具有含有表示頂點之x、y、z位置之資料及識別紋理圖中之一鏈接位置之u、v資料之各頂點，即，其指示如在紋理圖中捕捉之x、y、z位置處之光強度。在此類表示中，多邊形網格用於提供物件之三維幾何結構之資訊，而紋理通常經提供作為一分離資料結構。具體言之，紋理通常經提供作為一分離二維圖，藉由處理演算法，該分離二維圖可疊對於三維幾何結構上。三角形網格之用途特別適用於由電腦圖形演算法進行處理及操縱，且諸多有效軟體及硬體解決方案已經開發且可用於市場中。在諸多系統中，一實質計算效率由通常處理複數個多邊形之個別頂點(而非分離地處理各多邊形)之演算法達成。舉例而言，對於一典型三角形網格，個別頂點通常為若干(通常3個至8個)三角形所共有。一單一頂點之處理可據此可應用於相對較多之三角形，藉此實質上減少一影像或正經處理之其他物件中點之數目。作為一具體實例，諸多當前系統單晶片(SoC)含有一GPU，其經高度最佳化以用於3D圖形之處理。例如，3D物件幾何結構及3D物件紋理之處理使用所謂OpenGL繪現管線中之兩個在很大程度上分離之路徑進行(或在諸多其他API中，諸如DirectX)。SoC上之GPU之硬體可有效地處理3D圖形，只要3D源呈頂點(通常係三角形之頂點)及紋理形式經呈現至GPU。接著，OpenGL應用介面容許設定及控制一虛擬透視攝影機，此判定3D物件如何呈現為投影於2D螢幕上。儘管OpenGL使用3D物件作為輸入，然輸出通常係適於一正常2D顯示器之一2D影像。然而，此類方法需要由一多邊形網格提供之三維資訊及相關聯紋理資訊。儘管在一些應用(諸如(例如)遊戲)中，可基於完全電腦產生虛擬場景及環境相對容易地提供此，然在其他實施例中，可能不太容易。特定言之，在基於捕捉真實場景之應用中，需要將此等真實場景轉換成一紋理及網格表示。如先前所提及，此可係基於立體影像或場景之一影像及深度表示。然而，儘管用於執行此一轉換之數種方法係已知，然此並非係微不足道的，且帶來數個複雜問題及挑戰。圖形處理中之一常見操作係視點變化，其中針對與輸入紋理圖及網格之視點不同之一視點產生一影像。圖形API通常具有用於十分有效地執行此類視點變換之功能。然而，由於輸入網格通常並非係完美的，故此類視點變換可導致移位之品質降級過於顯著。此外，一場景自一視點之一表示將通常包含數個遮擋元件，其中一前景物件遮擋其後面之元件。此等元件可自新方向可見，即，視點變化可導致去遮擋。然而，在此一情況中，輸入紋理圖及網格將不包括此類去遮擋部分之任何資訊。據此，其等不能最優地表示，由於所需資訊不可用。出於此等原因，視點變換通常係基於對應於不同取景方向之複數個紋理圖及網格。實際上，為了合成一新(看不見之)視點，通常較佳地或甚至必要地係，組合捕捉之多個網格與來自不同視點之相關聯攝影機影像(紋理)。組合來自不同視點之資料之主要原因係復原在一個視域中隱藏(遮擋)然在另一視域中可見之物件。此問題通常稱之為視點內插。然而，針對此之習知方法仍傾向於係次優的。舉例而言，用於產生一新視點之一種方法係將源自不同視點之網格變換成一單一世界坐標系統，且接著執行在一新攝影機平面上之一透視投影。此等步驟可在標準圖形硬體中進行。然而，此通常將不會正確地展示隱藏表面。具體言之，當點經組合於一單一像素處時，圖形硬體使用深度測試選擇最前點。此方法用於解決自遮擋，其中視點移位可導致影像物件相對於彼此移動，使得發生新遮擋，即，在新視點處，可能會遮擋在自原始視點不會被遮擋之兩個點。然而，當應用於不同影像時，此可導致誤差或降級。實際上，深度通常經線性內插使得其延伸超過前景物件(如一光暈效應)，最前點通常將對應於可由於緊鄰一前景物件而被遮擋之區。在SIGGRAPH '04 ACM SIGGRAPH 2004，第600至608頁C.L. Zitnick等人之「High-quality video view interpolation using a layered representation」中提供基於深度影像之視域內插之一技術之一實例。為達成高品質，該技術使用由一主層及一邊界層(圍繞深度轉變)組成之一兩層表示。此等使用α消光(考慮透明度)構造，且兩者在繪現程序期間扭曲(且與其他視域混合)。此方法之一缺點係需要斷開網格以產生兩層表示。此程序需要選擇深度圖之一臨限值及擦除對應網格在深度不連續處之三角形。此係不期望的，因為使用臨限值可潛在地降低繪現中之時間穩定性。因此，產生一不同視點之影像之一經改良方法可係有利的，且特定言之，容許增加靈活性、增加準確度、減少複雜度、經改良計算效率、經改良之與既有圖形處理方法之相容性、經改良影像品質、經改良去遮擋效能及/或經改良效能之一方法可係有利的。

據此，本發明尋求單獨或依任一組合較佳地減輕、緩和或消除上文提及缺點中之一或多者。根據本發明之一態樣，提供一種產生光強度影像之方法，該方法包括：自一第一視點接收表示一場景之一第一紋理圖及一第一網格；自一第二視點接收表示該場景之一第二紋理圖及一第二網格；回應於該第一紋理圖、該第一網格、該第二紋理圖及該第二網格判定表示自一第三視點之該場景之該光強度影像；其中判定該光強度影像包括針對該光強度影像中之一第一位置執行以下步驟：藉由一視點變換基於該第一紋理圖及該第一網格判定該第一位置之一第一光強度值；藉由一視點變換基於該第二紋理圖及該第二網格判定該第一位置之一第二光強度值；藉由該第一光強度值與該第二光強度值之一加權組合判定該光強度影像在該第一位置處之一光強度值；該第一光強度值相對於該第二光強度值藉由該加權組合之一加權取決於對應於該第一位置之一第一網格位置處之該第一網格中之一第一深度梯度相對於對應於該第一位置之一第二網格位置處之該第二網格中之一第二深度梯度。在諸多實施例中，本發明可基於來自其他視點之紋理圖及網格提供一給定視點之一光強度影像之經改良產生。在諸多案例中，達成相對於輸入視點之一者去遮擋(但非另一者)之區之經改良表示。特定言之，在諸多實施例中，方法可提供圍繞前景物件邊緣之經改良品質。該方法可避免自其他方法已知之網格孔之產生，且可提供經改良深度一致性。在諸多實施例中，該方法之一特定優點係其可由標準圖形常式密切支援。舉例而言，在諸多實施例中，視點變換可由標準化、專屬及最佳化圖形處理器硬體執行。舉例而言，該方法可與標準化圖形程序相容，且可有效地利用此等程序。實際上，該方法可藉由將非標準方法限制至容許使用者調適之繪現/處理管線之部分而與此類標準化方法相容，諸如(例如) OpenGL規範。例如，組合可經執行作為一OpenGL繪現管線之片段著色器階段之部分。使用標準化硬體加速處理以用於處理資源密集型元件之可能性可實質上增加例如系統之速度或容量。在諸多實施例中，其可減少複雜度及/或資源要求。該方法可容許組合之一調適，使得其自動地衡量針對一給定區高於具有較低像素密度之紋理圖之具有更高像素密度之紋理圖。在一些實施例中，第一光強度值之視點變換可包括：自該第一視點至該第三視點，將一網格視點變換應用於該第一網格以產生一經變換網格；回應於該第三視點之一透視圖判定對應於該第一位置之該經變換網格中之一位置；判定在該經變換網格中包括該位置之該經變換網格之一多邊形；及判定該第一光強度值作為鏈接至該多邊形之頂點之該第一紋理圖中之光強度值之一內插。應瞭解，在其他實施例中，可使用視點變換之其他方法。第一深度梯度及/或第二深度梯度可由任一值或參數表示，其提供適當網格中之對應位置處之一深度梯度之一指示。在一些實施例中，該組合可包含自其他視點之紋理圖及網格導出之額外光強度值。一網格可係一三維網格，其中各頂點與一三維位置相關聯(具有一三維位置)。各頂點可具體由至少一三維空間位置x、y、z表示。一網格之各頂點可進一步與對應紋理圖中之一位置鏈接。舉例而言，對於各頂點，可儲存該紋理圖中對應於該空間位置x、y、z之一位置u、v。一網格可包含與所表示之物件之深度相關之資訊，然不限於其(例如，如所描述，頂點可由三維坐標(而非僅由一深度坐標)表示)。對應於第一位置之一輸入視點之一輸入網格中之一網格位置可係輸入網格中之位置，藉由視點變換，其將經變換成該第一位置。等效地，對應於第一位置之一輸入視點之一輸入網格中之網格位置可係輸入網格中之位置，其經鏈接至紋理圖中之一位置，藉由視點變換，其將經變換成該第一位置。具體言之，第一網格位置可係第一網格中之位置，藉由視點變換，其將經變換/映射成第一位置(或類似地，第一網格位置可係鏈接至第一紋理圖中之一位置之第一網格中之位置，藉由視點變換，其將經變換/映射成第一位置)。類似地，第二網格位置可係第二網格中之位置，藉由視點變換，其將經變換/映射成第一位置(或類似地，第二網格位置可係鏈接至第二紋理圖中之一位置之第二網格中之位置，藉由視點變換，其將經變換/映射成第一位置)。加權組合可對第一光強度值施加一權重，其相對於第二光強度值之一權重取決於相對於第二深度梯度之第一深度梯度。深度可例如由一視差表示，例如，一深度圖可係一視差圖之一指示。根據本發明之一任選特徵，第一光強度值相對於第二光強度值之加權係第一深度梯度之絕對值之一單調遞減函數。此可提供經改良效能且可(特定言之)在諸多案例中使組合朝向表示輸入紋理圖中之非遮擋(而非遮擋值)之光強度值偏置。在一些實施例中，第二光強度值之一加權可同時係第二深度梯度之絕對值之一單調遞減函數。根據本發明之一任選特徵，第一光強度值相對於第二光強度值之加權係第二深度梯度之絕對值之一單調遞增函數。此可提供經改良效能且可(特定言之)在諸多案例中使組合朝向表示輸入紋理圖中之非遮擋(而非遮擋值)之光強度值偏置。在一些實施例中，第二光強度值之一加權可同時係第一深度梯度之絕對值之一單調遞增函數。根據本發明之一任選特徵，該方法進一步包括：判定第一網格之至少一些頂點之深度梯度；及回應於至少一些頂點之深度梯度判定第一深度梯度。在諸多實施例中，此可提供具有高效能之一特別有效實施。片語「絕對值」將進一步經標示為「量值」。根據本發明之一任選特徵，判定深度梯度包括：回應於第一網格之至少一些頂點之一頂點之一深度、第一網格之至少另一頂點之一深度及該頂點與該至少另一頂點之間之一距離判定該頂點之一深度梯度。在諸多實施例中，此可提供具有高效能之一特別有效實施。根據本發明之一任選特徵，判定深度梯度包括：回應於自第一網格之至少一些頂點之一頂點至複數個相鄰頂點之深度梯度，判定該頂點之一深度梯度。在諸多實施例中，此可提供具有高效能之一特別有效實施。特定言之，其可容許深度轉變在自一給定頂點之任一方向上之經改良偵測。深度梯度可例如經判定作為自第一頂點至複數個相鄰頂點之深度梯度之一平均值或最大值。根據本發明之一任選特徵，進一步包括：回應於第一紋理圖之一深度圖之深度變動，判定第一深度梯度。在諸多實施例中，此可提供具有高效能之一特別有效實施。特定言之，其可容許降低合適深度梯度之複雜度判定。深度圖可例如係用於產生網格之一深度圖(具體言之，包含一視差圖)。深度圖可例如係由捕捉場景及產生與可用作紋理圖之一影像相關聯之深度圖之一攝影機提供之一原始深度圖。根據本發明之一任選特徵，該方法進一步包括以下步驟：判定第一紋理圖之一深度梯度圖；將一視點變換應用於深度梯度以產生一視域經變換深度梯度圖；及回應於對應於第一位置之視域經變換深度梯度圖中之一位置處之一深度梯度判定第一深度梯度。此可提供一特別有效操作且可減少資源要求及/或實質上增加處理速度。特定言之，在諸多實施例中，其可容許針對程序之關鍵元件之資源使用標準化硬體加速。根據本發明之一任選特徵，該方法進一步包括以下步驟：回應於深度梯度判定包括加權組合之權重之一權重圖；將一視點變換應用於權重圖以產生一視域經變換權重圖；及回應於視域經變換深度梯度圖中之第一位置處之一權重判定加權組合之一權重。在諸多實施例中，此可提供具有高效能之一特別有效實施。其可提供一特別有效操作且可減少資源要求及/或實質上增加處理速度。特定言之，在諸多實施例中，其可容許針對程序之關鍵元件之資源使用標準化硬體加速。根據本發明之一任選特徵，針對第一紋理圖、第二紋理圖及深度梯度圖及權重圖之至少一者之視點變換係同一視點變換。該方法可容許極有效且低複雜度操作，其中同一最佳化功能性(諸如(例如)一GPU)可再用於處理資源關鍵元件。根據本發明之一任選特徵，第一紋理圖及第一網格自一真實場景之一捕捉產生。該方法可容許針對一真實場景之一捕捉之新視點之影像之一高效能且有效判定，且不限於例如由虛擬實境圖形引擎提供之影像。根據本發明之一任選特徵，加權進一步取決於第一視點與第三視點之間之一差值。在諸多實施例中，此可改良效能。根據本發明之一任選特徵，第一光強度值相對於第二光強度值之加權進一步取決於指示用於判定第一深度圖中第一網格位置處之一深度之一深度估計之一可靠性之一可靠性指示，第一光強度值相對於第二光強度值之加權增加指示深度估計之一增加可靠性之可靠性指示。在諸多實施例中，此可改良效能。根據本發明之一態樣，提供一種用於產生光強度影像之裝置，該裝置包括：一接收器，其用於自一第一視點接收表示一場景之一第一紋理圖及一第一網格；一接收器，其用於自一第二視點接收表示該場景之一第二紋理圖及一第二網格；一影像產生器，其用於回應於該第一紋理圖、該第一網格、該第二紋理圖及該第二網格產生表示自一第三視點之該場景之一光強度影像；其中該影像產生器包括：一第一視域變換器，其用於由一視點變換基於該第一紋理圖及該第一網格判定該光強度影像中之一第一位置之一第一光強度值；一第二視域變換器，其用於由一視點變換基於該第二紋理圖及該第二網格判定該第一位置之一第二光強度值；一組合器，其用於藉由該第一光強度值與該第二光強度值之一加權組合判定該光強度影像在該第一位置處之一光強度值；該加權組合之一加權取決於對應於該第一位置之一第一網格位置處之該第一網格中之一第一深度梯度相對於對應於該第一位置之一第二網格位置處之該第二網格中之一第二深度梯度。將自下文描述之實施例明白且參考下文描述之實施例說明本發明之此等態樣及其他態樣、特徵及優點。

以下描述主要探討可應用於一二維影像基於自自不同視點(即，不同攝影機視域)捕捉一真實三維場景產生之紋理圖及網格之一繪現之本發明之實施例。然而，應瞭解，本發明不限於此應用然可應用至例如影像基於電腦產生之一虛擬實境場景之深度圖及網格之產生。諸多3D影像(包含視訊)處理演算法及程序係基於三角形網格之使用，因為此可在諸多實施例中提供高計算效率。與一相關聯紋理圖一起提供三維資訊之深度網格廣泛用於諸多圖形處理系統中，諸如具體言之，在電腦圖形中。一網格可提供幾何結構之資訊，其包含深度資訊(然當然不限於僅提供深度資訊，例如，其可通常提供各頂點之一三維坐標)。為了簡潔，在下文，一網格與其相關聯紋理圖之組合將稱之為一網格影像。該方法十分適於在繪現場景時靈活地修改視域方向，且特定言之適於其中視點並非限制至在一嚴格水平線上之移動而非所要之視點之自由移動之案例。產生一新視點之一種有效方法係將源自不同視點之網格變換成一單一世界坐標系統，且接著執行在一新攝影機平面上之一透視投影。此等步驟可使用標準最佳化圖形硬體(諸如基於OpenGL標準之硬體)十分有效地進行。然而，為了最佳化品質且提供被視點變換去遮擋之區之額外資訊，自一新視點產生一繪現影像較佳地係基於針對複數個不同視點提供之紋理圖及網格。本發明者已意識到，此可通常導致具有假影之次優結果且具體言之導致深度失真，及不正確地填充去遮擋區。此可由圖1繪示，圖1繪示其中一個前景物件在一個背景物件前面之一實例。在實例中，各點(point)/點(dot)可視為對應於一場景位置，其可由一頂點表示，且通常，一點可表示一像素，且實際上表示網格之一頂點。圖1繪示一實例，其中提供一第一視點1及一第二視點2之一網格影像。基於此等網格影像，產生第一視點1與第二視點2之間之一第三視點3之一二維影像。因此，在實例中，第一視點1及第二視點2在捕捉場景時對應於攝影機視點，且視點3對應於場景之所要視點。影像係經產生用於繪現之一光強度影像。其可直接反映將由一顯示器繪現/顯示之一影像之個別像素之一光強度值。應瞭解，光強度值可係指示一光強度之任一值，且可具體言之係例如一個色彩通道之一光強度。舉例而言，一光強度值可係一RGB表示之一R、G或B值，或可例如係一Yuv表示之一Y值，或可實際上係此一Yuv表示之一u或v值。應注意，u及v值可係色度值，且此等值在繪現時亦提供與個別色彩通道之光強度相關之資訊。因此，一光強度值可係一亮度、色度，或實際上係一色彩表示之色度值。在圖1中，第一圖繪示自視點1可見之黑點(實心點)之位置，且背景物件上由前景物件遮擋之位置由白點(非實心點)繪示。第二圖繪示自視點2之對應情況。因此，兩個第一子圖展示兩個不同攝影機視點1及2之場景點之可見性。第三子圖繪示組合來自視點1及2之網格及紋理及將此等扭曲(視點變換)成視點3之結果。源自視點2之網格將局部伸展，且一間隙經形成(對應於背景物件之部分之去遮擋)。間隙之深度在投影至虛擬視點3中後經線性內插於具有不同深度之點之間。灰圓表示源自視點2之點，且在將場景投影於視點3之攝影機坐標中時其等經線性內插於網格中之已知3D點之間。因此，灰點/點指示深度位置，在起因於自視點2至視點3之視點變換之去遮擋後，其等經產生對應於自視點3之影像總之位置。此等點位於比其等後面之黑點更靠近視點3，其等表示自視點1可見之背景物件上之點。然而，當產生視點2之影像時，典型方法係選擇最前位置。因此，與其理想地選擇源自視點1且自視點1可見之黑點，系統將選擇源自視點2之灰點。據此，在此等點處，光強度影像值將基於視點2之紋理圖(而非基於視點1之紋理圖)產生。此將導致自紋理圖判定之一去遮擋區之影像，其中對應物件代替自其中物件並非經遮擋之紋理圖經遮擋。因此，產生之影像之品質經降級，且通常去遮擋區之元件並未準確地呈現，儘管適當資訊實際上對程序可用。應注意，儘管有可能修改如標準化硬體中使用之深度測試邏輯，然此僅可針對一給定繪現調用進行。因此，需要再次將部分中之網格分裂成前文提及之使用臨限值之缺點。標準深度測試係進行處理以解決自遮擋之部分，其中來自一分離視點之網格可折疊至其本身上(自遮擋)，其中深度測試用於解析所產生的模糊。在下文中，用於自不同視點之複數個網格及相關聯紋理圖產生一光強度影像之一裝置及方法將參考圖2及圖3描述，圖2繪示此一裝置之一些例示性元件，且圖3繪示此一方法之一些例示性元件。圖2及圖3之裝置及方法之方法力圖減輕部分所描述缺點。具體言之，與其選擇最前點，系統經配置以基於紋理圖兩者之值之一加權組合產生輸出影像之光強度值，其中加權取決於兩個網格中之對應深度梯度。裝置包括一第一接收器201，其執行步驟301，其中接收一第一網格影像，即，接收一第一網格及一第一紋理圖。第一網格影像表示來自一給定視點之一場景。網格影像可自任一內部或外部源接收。舉例而言，在一些實施例中，網格影像可自一外部源接收，例如，經由一通信系統，或具體言之，經由一網路，諸如(例如)網際網路。在一些實施例中，網格影像可自一內部源接收，該內部源可操作以讀取一合適分配媒體，例如，網格影像可自一DVD提取。在一些實施例中，網格影像可例如自一硬碟或局部記憶體提取，或實際上，在一些實施例中，網格影像可例如由一局部虛擬實境應用局部產生。在諸多實施例中，第一紋理圖及第一網格可自一真實場景之一捕捉產生。捕捉可係藉由一組合適之攝影機。舉例而言，一單一立體攝影機或範圍攝影機可捕捉一真實場景且產生一影像及一深度(/視差)圖。在其他實施例中，不同位置處之複數個攝影機可捕捉一二維影像，且一深度圖可自所捕捉影像產生，例如，藉由視差估計。影像之一者可用作一紋理圖，且一網格可自對應深度圖產生。因此，網格影像可係提供一真實場景之一捕捉之一影像，其中紋理圖表示由攝影機在給定視點處捕捉之光強度值，且其中所捕捉深度資訊由網格表示。因此，網格影像提供關於場景之有限資訊，因為其僅表示可自給定視點判定之資訊(如與例如可用之一詳細幾何模型相反，如可係例如一局部虛擬實境引擎之情況)。裝置進一步包括一第二接收器203，其執行步驟303，其中其接收一第二網格影像，即，其接收一第二紋理圖及一第二網格。第二網格影像提供同一場景然來自一不同視點之一表示。應瞭解，關於第一網格影像提供之註解同樣應用於第二網格影像。第一接收器201及第二接收器203經耦合至一影像產生器205，其執行步驟305，其中表示來自一第三視點之場景之一光強度影像回應於第一紋理圖、第一網格、第二紋理圖及第二網格產生。因此，分別基於一第一視點及一第二視點之第一網格影像及第二網格影像，產生一第三視點之一影像。第一視點及第二視點可通常係場景之攝影機視點，其中第三視點表示所要視點。影像係一光強度影像，且可具體言之對應於可直接呈現於一顯示器上以自第三視點提供場景之一視域之一影像。具體言之，光強度影像可包括一組光強度值，其中各光強度值指示影像之一位置處之光強度。通常，影像可包括一組像素，其中各像素具有一或多個光強度值。因此，各光強度值可對應於一像素值。應瞭解，在一些實施例中，各位置(像素)可與由一單一光強度值相關聯/由一單一光強度值描述/由一單一光強度值定義。此可例如係單色影像之情況。在其他實施例中，各位置(像素)可與由複數個光強度值相關聯/由複數個光強度值描述/由複數個光強度值定義，諸如(例如)一色彩表示之各通道之一個光強度值。因此，光強度值可視為色彩強度值，且光強度影像可係一色彩強度影像。在由複數個光強度值表示之複數個各像素之情況中，諸如(例如)對應於不同色彩通道，所描述方法可例如個別地應用於各色彩通道光強度值。影像產生器205因此經配置以產生不同視點之影像。舉例而言，在一些實施例中，影像產生器205可經提供具有定義例如回應於一使用者輸入產生之一所要視點之一輸入。接著，影像產生器205可在經接收網格影像基礎上產生對應於彼視點之一輸出顯示器影像。接著，此影像可由一合適顯示器繪現。將參考圖2及圖4更詳細描述影像產生器205之操作，圖4繪示影像產生器205之一方法之一實例。影像產生器205包括一第一視域變換器207，其執行步驟401，其中視點變換應用於第一網格影像，其中視點變換提供自第一視點至第三視點之一視點變換。具體言之，對於光強度影像中之一第一位置(通常一像素位置)，第一視域變換器207基於自第一視點至第三視點之一視點變換判定一光強度值，其中視點變換係基於第一紋理圖及第一網格。類似地，影像產生器205包括一第二視域變換器209，其執行步驟403，其中視點變換應用於第二網格影像，其中視點變換提供自第二視點至第三視點之一視點變換。具體言之，對於光強度影像中之第一位置(通常一像素位置)，第二視域變換器209基於自第二視點至第三視點之一視點變換判定一第二光強度值，其中視點變換係基於第二紋理圖及第二網格。應瞭解，諸多不同方法基於一紋理圖及網格之視點變換係已知的，且可使用任一合適方法而不會偏離本發明。在諸多實施例中，視點變換可有利地包括首先將自輸入視點至輸出視點之一網格視點變換應用至網格。熟習此項技術者將意識到用於做此之各種方法且據此將不再更詳細地描述此等方法。當判定第三視點之輸出影像中之一給定位置之一光強度值時，接著，影像產生器205可判定對應於給定位置之經變換網格中之位置。此可如熟習此項技術者已知般回應於自第三視點之一透視投影進行。接著，影像產生器205可藉由內插網格位置落於其中之多邊形之頂點之紋理圖值判定光強度值。內插可取決於網格位置至個別頂點之距離。舉例而言，在變換前之原始網格中，各頂點可基於當前視點在坐標系統中具有一相關聯位置(例如，定義各頂點之x、y、z坐標)。另外，在對應紋理圖中，各頂點將指示一特定光強度值/像素值，即，亦儲存各頂點之一組二維紋理圖坐標(u,v)。網格之視點變換導致頂點位置之一修改使得x、y、z值將經變換至第三視點之一坐標系統中之適當坐標。將判定網格上對應於光強度影像中之第一位置之點，且將識別此落於其中之多邊形之頂點。將判定自點至頂點之各者之距離，且針對各頂點，判定頂點之u、v位置處之紋理圖之光強度影像。接著，第一位置之光強度值由此等紋理圖值之一加權內插判定，其中權重取決於至個別頂點之距離。作為另一實例，可如下執行一視點變換： 1.使用透視投影將3D三角形網格投影至輸出影像之視點(即，第三視點)中 2.對於輸出影像中之各2D像素位置： a.判定其落於其中之網格多邊形； b.使用3D三角形頂點坐標及線性內插判定其在網格之原始坐標系統中之3D位置； c.使用三角形頂點之(u,v)紋理坐標及線性內插判定輸入紋理圖中之(u,v)紋理坐標； d.設定將係紋理圖之位置(u,v)處之紋理值之輸出影像之像素值。應瞭解，在其他實施例中，可使用其他視點變換。基於視點變換，第一視域變換器207及第二視域變換器209據此產生對應於第三視點之輸出影像。然而，由於視點變換，影像之一些區可具有去遮擋區。然而，不同影像之此等將通常不同。第一視域變換器207及第二視域變換器209經耦合至一組合器211，其執行步驟407，其中光強度影像之一輸出光強度值藉由組合來自兩個視域變換器207、209之影像產生。具體言之，對於輸出影像中之一給定(像素)位置，組合器211在由第一視域變換器207產生之影像中之位置處應用一第一光強度值之一加權組合，且在由第二視域變換器209產生之影像中之彼位置處應用一第二光強度值之一加權組合。加權組合之加權取決於網格中對應位置之相對深度梯度。具體言之，加權取決於對應於第一位置之一網格位置處之第一網格中之一深度梯度指示相對於對應於第一位置之一網格位置處之第二網格中之一深度梯度指示。因此，加權取決於位置處之相對深度梯度。應瞭解，在不同實施例中，可依不同方式判定深度梯度，且一深度梯度之一值或量值之任一指示可視為彼深度梯度之一表示。舉例而言，在一些實施例中，深度梯度可由僅僅指示其中一深度梯度高於或低於一臨限值之一二進位值表示。具體言之，組合器211可減少用於增加梯度之權重。舉例而言，在諸多實施例中，來自第一視域變換器207之第一光強度值之加權可係第一網格中梯度之一量值之一單調遞減函數。等效地，來自第一視域變換器207之第一光強度值之加權可係第二網格中梯度之一量值之一單調遞增函數。相同內容可對稱地可應用於來自第二視域變換器209之第二光強度值之加權。具體言之，各紋理之權重可與深度/視差圖或與各紋理相關聯之網格中之局部梯度量值成反比。因此，輸出光值不僅僅經選擇作為最前點，而係執行基於深度梯度之一漸進組合(影像中之深度之變化率)。因此，方法朝向更平坦區之光強度值偏置，同時遠離具有高深度變化之區偏置，諸如具體言之，深度轉變。本發明者已意識到，基於此一深度梯度之自適應加權組合可在諸多案例中提供經改良影像，且通常可提供實質上經改良效能及影像品質。關於圖5之實例繪示效應，其對應於圖1之效應。在實例中，使用深度梯度之一十分簡單指示，其中一值1經指派至位置，其中深度梯度量值超過一臨限值，而值0經指派至其他。圖5a及圖5b分別繪示視點1及2之梯度量值0 (在一恆定區)或1 (圍繞深度跳躍)。圖5c繪示扭曲/視點變換至第三視點後之結果。此外，灰點指示由內插導出之值。對於輸出光強度影像中之一給定位置，即，對於來自視點3之一給定透視線，輸出光強度值現經判定作為產生之兩個影像中之對應光強度值之加權組合。具有一較低深度梯度量值之影像將經更高加權，且因此，在實例中，前面灰點後面之平坦黑點將經更高加權，其通常高得多。據此，輸出值主要將由影像之值給定，其包含背景物件(而非經內插去遮擋值)之實際資訊。已發現，方法提供一十分實質改良，且特定言之，在去遮擋區中提供實質上經改良品質。應瞭解，在不同實施例中，可使用不同加權組合。作為一具體實例，可使用一加權線性組合。舉例而言，對於第三視點之輸出影像中之各像素，可執行以下組合：

。波浪符~標示已經由一視點變換將對應變量變換至第三視點之輸出坐標系統/格柵。當變量未使用一波浪符標示時，其等仍隱含地表示在原始坐標中。作為前一組合之一替代，可如下執行加權：

其中F 係固定分數，且

係兩個權重可採用之最大值。分數F 通常在範圍0.1至0.3內，且較佳地比靠近0.3更靠近0.1。在此情況中，僅針對空間位置執行加權，在該等位置處，第一視點具有一低置信度。此具有以下優點：在第一視點準確之區中(高權重值

)，影像品質不會由於經扭曲第一視點與第二視點之一非完美紋理對準而降級。先前方程式中之權重取決於原始網格影像中之局部梯度量值：

。分數 f 通常係梯度量值之一單調遞減函數，即，一大梯度量值導致混合同操作中之對應紋理之一小權重。作為圖5中之資料之一實例，可藉由以下給出f ：

。當梯度量值

=0時，則權重將係1。當梯度量值

=1時，則權重將係4.54∙10^-5 。作為一實例，考慮視點3之圖5 (圖5c)，可見，來自源自視點2之左至右之前3個樣本將接收一相對大權重1，因為梯度量值係零。然而，自視點2中之左至右之源樣本4及5具有一梯度量值1 (高於一臨限值之梯度)。輸出視點3中之經內插(灰)樣本4、5、6經內插於此兩個值之間，且因此，皆接收一經內插梯度量值1，其中一相關聯十分小權重4.54∙10^-5 。對於此等樣本，源自視點1之權重將係高(1)，此意謂對於輸出視域3中之灰樣本4、5、6，自視點1隱藏表面將完全可見。輸出視點3中之樣本7組合一小權重4.54∙10^-5 ，源自視點1，其中一小權重4.54∙10^-5 ，源自視點2。結果係彼位置處之紋理使用相等權重混合。在上文實例中，一給定網格影像之權重僅取決於彼網格影像之(經扭曲)深度梯度。然而，在其他實施例中，一個光強度值之權重可取決於第一網格影像及第二網格影像兩者中之局部梯度。舉例而言，第一權重可經給出如：

，其中g₁ 係第一網格中之局部梯度量值，g₂ 係第二網格中之局部梯度量值，且f係g₁ 之一單調遞減函數及g₂ 之一單調遞增函數。在一些實施例中，可自w₁ 直接給出w₂ 。舉例而言，f可經限制至自0至一之範圍，且第二權重可簡單經給出如：

提出之加權方法具有一優點：各原始視點之網格無需使用定限而在深度不連續處「切割」。來自不同視點之資訊依一軟方式合併(混合在一起)，一般操作給出比使用定限更佳之結果。該方法之另一優點係在傾斜表面上，遞送最高樣本密度之攝影機將在組合/混合操作中自動接收最高權重。此機構在圖6中繪示。上文基於梯度之加權係局部的，即，變量暗含地取決於空間位置。為了使註解簡單起見，此位置相依性自上文方程式刪除。為使此等明確，可進行以下替換：

其中k 係一網格頂點之指數或一2D影像坐標之指數：對於一給定視點之

。圖5繪示關於一一維表示之效應。圖7繪示關於一網格之一二維表示之一對應案例。在實例中，第一圖繪示第一視點之一網格，且第二圖繪示經扭曲至第三視點後之對應網格。在第一圖之實例中，由厚邊緣接界之多邊形在前景(f)中處於一恆定深度，且僅由薄邊緣接界之多邊形處於背景(b)中之一恆定深度。由厚邊緣及薄邊緣兩者接界之多邊形具有變化深度且因此具有一大梯度。若應用一視點變換，則前景物件移位，且因此，網格如在第二圖處展示般局部伸展。此伸展區域係其中所描述方法容許呈現一潛在背景紋理。該方法之另一十分顯著優點係由第一視域變換器207及第二視域變換器209執行之操作在諸多實施例中可由標準硬體最佳化圖形處理執行。舉例而言，兩個視域變換器205、207之所描述處理可由支援例如OpenGL標準之一GPU執行。此可減少成本，促進設計及實施，且提供一更有效實施，其中通常大大增加處理速度。此外，組合器211之操作係經支援作為一使用者可定義處理之一操作。實際上，其可適應根據例如OpenGL標準之圖形處理管線，即，其係可在容許使用者調適及程式化之管線之階段中執行之一操作。具體言之，其可在一OpenGL繪現管線之片段著色器階段中執行。在不同實施例中可使用用於判定梯度量值之不同方法。在諸多實施例中，梯度量值可由裝置局部判定。在圖2之實例中，影像產生器205進一步包括一深度梯度處理器213，其經配置以判定局部梯度量值。在一些實施例中，深度梯度處理器213可經配置以產生原始網格之頂點之深度梯度。舉例而言，對於第一網格中之各頂點，一深度梯度可使用頂點判定且與頂點相關聯。接著，輸出光強度影像中之一給定位置之梯度可基於此等頂點深度梯度判定。舉例而言，可使用對應於先前描述之用於由視域變換器207、209產生光強度值之方法之一方法，即，可判定對應於光強度影像中之位置之網格中之多邊形，且多邊形之頂點之深度梯度之內插可用於判定位置處之深度梯度。接著，此可用於加權中。在一些實施例中，深度梯度可用於判定一深度梯度圖。具體言之，可判定一深度梯度圖，對於紋理圖中之各位置，其具有一深度梯度(具體言之，一深度梯度量值)。因此，深度梯度可具有與紋理圖相同之解析度(儘管在所有實施例中，此係不必要的)。一給定像素位置之深度梯度值可例如藉由自像素位置落於其中之多邊形之頂點之深度梯度進行內插而判定。接著，所得深度梯度圖可係經變換至第三視點之視域。此視點變換可例如使用與用於紋理圖完全一樣之視點變換處理。因此，深度梯度處理器213可產生一深度梯度圖，其包括第一紋理圖之各像素之一深度梯度。此判定可係基於判定第一網格之各頂點之一深度梯度。接著，深度梯度圖與第一網格一起經饋送至第一視域變換器207，且當產生第一經變換影像/紋理圖時，應用與應用至第一紋理圖完全一樣之處理。因此，提供一經扭曲深度梯度圖，其與經扭曲影像精確對準。因此，當組合經扭曲影像時，一給定像素之權重可自兩個經扭曲/經變換深度梯度圖中之同一像素位置處之深度梯度直接判定。在諸多實施例中，此方法可極有效，因為其可容許使用完全一樣之處理。實際上，深度梯度圖可與一紋理圖區分開(其等皆可僅僅係一值圖)，且因此可以宛如其係一紋理圖般經精確處理。此可容許針對程序使用加速圖形硬體，且因此提供快速且有效處理。其進一步促進組合，因為此可僅僅自經變換深度梯度圖擷取對應值。在不同實施例中，用於判定頂點之深度梯度之方法可不同。在諸多實施例中，一給定頂點之深度梯度可基於彼頂點之深度及網格中至少另一頂點(通常係一相鄰頂點)之深度判定。具體言之，深度梯度可回應於兩個頂點之深度之差值判定。此外，因為一網格中之頂點之間之距離通常可改變，故深度差可補償其等之間之距離。在諸多實施例中，一深度梯度可經判定作為由其等之間之距離劃分之兩個頂點之間之深度差。假定3D網格自一密集深度或視差圖導出，則一給定頂點處之梯度可自其在自視差圖導出之一梯度圖中之位置獲得。依此方式，當自深度圖建立網格時，建立深度梯度資訊。在一些實施例中，僅可考慮另一頂點，例如，最接近之一者，然在多數實施例中，一給定頂點之深度梯度基於自頂點至複數個相鄰頂點之深度梯度之一平均值判定。具體言之，此可容許在多個方向上考慮深度變動。通常，考慮所有相鄰頂點以便保證考慮所有深度變動(例如，在一物件之邊緣處，一深度轉變可在一個方向上導致一十分高梯度，而在例如相反方向上導致一十分低梯度)。該方法亦可容許網格之有效梯度判定，其中多邊形之大小可實質上改變。舉例而言，當考慮呈自攝影機捕捉產生之一網格形式之典型3D資料時，當計算梯度時，必須小心謹慎。在此情況中，出於壓縮效率原因，網格通常可針對所謂之平坦區由更大三角形表示，若深度不會根據空間坐標之變化而快速變化。相反地，在深度不連續處，網格中之三角形太小而不能表示深度步長。然而，可在判定圖中所有相鄰頂點內深度之平均絕對變化及規範化2D邊緣之長度之各相鄰比重之所描述方法中補償此。舉例而言，可使用以下方程式：

其中N 係頂點k 之相鄰頂點m 之數目，且(u,v )係指紋理圖中之位置，且D 係指深度。在一些實施例中，深度梯度處理器213可經配置以回應於第一紋理圖之一深度圖之深度變動判定深度梯度。因此，與其(或可能以及)深度梯度處理器213回應於頂點深度判定深度梯度，其可處理一深度圖以判定梯度。舉例而言，在諸多實施例中，一攝影機可直接提供一影像及相關聯深度圖。此可經轉換成一網格及一紋理圖(其中紋理圖通常直接係所捕捉影像)。在此情況中，深度梯度處理器213可直接處理原始深度圖以產生一深度圖梯度。舉例而言，對於一給定像素，可判定在例如四個或八個不同方向上之深度變動，且梯度可經設定作為此等之中之平均或最高梯度。在諸多實施例中，此可提供一準確深度梯度圖之一低複雜度判定。接著，深度梯度圖可經扭曲至第三視點，如先前針對基於頂點判定之深度梯度圖所描述般。在先前實例中，產生一深度梯度圖，且接著其經扭曲至第三視點，其中接著在組合前判定權重。然而，在其他實施例中，可在扭曲之前執行權重判定。舉例而言，可藉由將一函數應用於各像素之深度梯度產生第一網格影像之第一權重圖。例如，可使用函數：

。可對第二網格影像進行相同操作，從而導致分別針對第一網格影像及第二網格影像之兩個權重圖。接著，此等權重圖可經扭曲至第三視點，且在組合中可直接使用經變換權重圖之權重。在一些實施例中，一給定像素位置之一權重之判定可取決於第一網格影像及第二網格影像之深度梯度兩者，例如：

。在一些實施例中，可判定僅一單一權重圖。舉例而言，在一些實施例中，應用於組合中之權重可經配置以總是添加至一，即，

。在此情況中，僅w₁ 之權重圖可經判定且經扭曲至第三視點。在諸多實施例中，使用深度梯度或權重圖之方法之一特定優點提供一十分有效處理。特定言之，其容許將與應用於紋理圖相同之視點變換應用於深度梯度/權重圖，且具體言之，可使用基於同一網格之同一視點變換。具體言之，在諸多實施例中，此容許使用有效加速硬體圖形處理。在諸多實施例中，組合之權重可進一步回應於其他參數。在諸多實施例中，權重可進一步取決於第一視點與第三視點之間之一差值。具體言之，差值愈大，權重將與低。差值可例如經判定作為視點之間之x、y、z坐標之間之一幾何差值，或可例如自經提供至影像產生器205之一視點變化參數直接判定。該方法可衡量高於更大變換之更小視點變換，從而反映以下事實：視點變化愈小，品質愈高。因此，在一些實施例中，權重亦可取決於一全域參數，其量測輸出視點與輸入視點(第三視點)差多少(例如，依據角差)。若此角差較大，則權重可經選擇為較低，使得附近攝影機在混合操作中具有一更大比重。在一些實施例中，加權可取決於第一梯度之一可靠性指示，其中可靠性指示指示用於判定第一網格位置處之一深度之一深度估計之一可靠性。諸多深度攝影機或深度估計技術提供一可靠性指示，其指示將考慮產生之深度估計有多可靠。舉例而言，一深度感測器，無論係一立體對或結構化光感測器，通常具有一相關聯不確定性。此不確定性可來自視差估計程序或來自深度感測器之紅外量測程序。可靠性資訊可例如經提供作為一像素置信度圖。在此一情況中，具有一較高不確定性之像素可在組合中比具有一較低不確定性之像素更低的加權。當在視點變換前判定一權重圖時，可例如考慮不確定性，或例如，置信度圖可經扭曲至第三視點，且在判定第三視點域中之權重時考慮置信度圖。在一些實施例中，深度梯度或權重可自一內部或外部源提供，例如，其可自一視訊檔案讀取或自(自一視訊檔案讀取之)一視差/深度圖計算。第一選項可具有以下優點：其他置信度可與基於梯度之置信度組合至一單一置信度圖中。此置信度之部分可自深度感測器或視差估計步驟輸出，且此可經編碼於視訊流中。應注意，可類似於感測中之一置信度值考慮深度梯度值，使得一更高值(指示一更高梯度)用於減少加權。據此，在諸多案例中，一深度估計置信度值及深度梯度值可直接經組合以提供像素之一經組合整體置信度值。深度估計置信度值愈高且深度梯度愈低，置信度愈高，使得對應光強度值適用於產生輸出值，且因此，權重愈高。應注意，在不同實施例中，在不同時間且由不同功能實體判定深度梯度。舉例而言，在一些實施例中，可提供兩個(或兩個以上)視訊流，各包括一影像序列及相關聯深度圖。接著，一繪現裝置可基於深度圖繼續產生對應網格，且例如產生一深度梯度圖。接著，其可基於經判定網格繼續將深度梯度圖且紋理圖扭曲至新視點。實際上，在一些實施例中，一給定視點之各視訊流可能甚至不包含一深度圖，然可代替地例如呈立體影像形式。在此情況中，繪現裝置可進一步經配置以執行視差估計以基於可產生哪些網格及深度梯度圖而產生明確深度資訊。然而，在其他實施例中，可在內容提供商側處執行此等功能之一些。舉例而言，當在不同位置處使用複數個立體攝影機捕捉一場景時，一內容提供商實體可繼續執行此等之各者之視差估計且可產生一深度圖。接著，其可繼續判定深度圖以及一網格之一深度梯度圖(或實際上，一權重圖)。在此情況中，可產生一視訊信號，對於各攝影機視點，其可包含一視訊序列，其包括一組紋理圖、網格及各攝影機視點之深度梯度圖。在諸多實施例中，一深度估計置信度圖進一步經提供以指示視差估計之可靠性。此資訊可經提供作為一分離置信度圖或可如先前描述般與深度梯度圖組合。接著，可將此視訊信號分配(潛在地)至大量終端使用者。在此情況中，對於基於網格將紋理圖及梯度圖(及可能置信度圖)扭曲至所要視點之各攝影機視點，一繪現單元可僅僅繼續產生一新視點之一影像。對於輸出影像中之各像素，接著，彼位置處之經扭曲紋理值基於彼位置處之經扭曲梯度值組合(且可能置信度值)。此提供一高度有效程序，因為僅所需功能係一低資源加權組合及可由專屬硬體有效地執行之標準化視域變換(扭曲)。該方法可提供十分有效操作同時維持低資源要求。實際上，可預見，功能性可經嵌入例如至3D眼鏡中，可僅僅使用此一視訊信號直接提供此，而能夠基於此提供高品質之一動態虛擬實境經驗。應瞭解，為了明確起見，上文描述已參考不同功能電路、單元或處理器描述本發明之所描述實施例。然而，應明白，可使用不同功能電路、單元或處理器之間之功能性之任一合適分配而不背離本發明。舉例而言，繪示為由分離處理器或控制器執行之功能性可由同一處理器或相同控制器執行。因此，對特定功能單元或電路之參考僅視為對用於提供所描述功能性之合適構件之參考而非指示一嚴格邏輯或實體結構或組織。本發明可依任一合適形式實施，其包含硬體、軟體、韌體或此等之任一組合。本發明可視情況經至少部分實施為運作於一或多個資料處理器及/或數位信號處理器上之電腦軟體。本發明之一實施例之元件及組件可依實體方式、在功能上及邏輯上依任一合適方式實施。實際上，功能性可經實施於一單一單元中、複數個單元中或作為其他功能單元之部分。因而，本發明可經實施於一單一單元中或可依實體方式及在功能上分配於不同單元、電路及處理器之間。儘管已結合一些實施例描述本發明，然其不意欲限於本文闡述之具體形式。實情係，本發明之範疇僅由隨附發明申請專利範圍限制。另外，儘管一特徵看起來像係結合特定實施例而描述，然熟習此項技術者應認識到，所描述實施例之各種特徵可根據本發明而組合。在發明申請專利範圍中，術語包括不排除存在其他元件或步驟。此外，儘管個別地列出，然可由例如一單一電路、單元或處理器實施複數個構件、元件、電路或方法步驟。另外，儘管個別特徵可包含於不同發明申請專利範圍中，然此等可有利地組合，且包含於不同發明申請專利範圍中不暗示特徵之一組合不可行及/或有利。此外，在發明申請專利範圍之一個分類中包含一特徵不暗示對此分類之一限制，而若適當，則指示特徵同樣可應用於其他發明申請專利範圍分類。此外，發明申請專利範圍中之特徵之順序不暗示任一具體順序，特徵必須依該順序工作，且特定言之，一方法發明申請專利範圍中之個別步驟之順序不暗示必須依此順序執行步驟。實情係，可依任一合適順序執行步驟。此外，單數參考不排除複數。因此，對「一(a/an)」、「第一」、「第二」等之參考不排除複數。提供發明申請專利範圍中之參考記號僅作為一闡明實例，而不應被解釋為依任一方式限制發明申請專利範圍之範疇。

201‧‧‧第一接收器203‧‧‧第二接收器205‧‧‧影像產生器207‧‧‧第一視域變換器209‧‧‧第二視域變換器211‧‧‧組合器213‧‧‧深度梯度處理器301‧‧‧接收303‧‧‧接收305‧‧‧產生401‧‧‧判定403‧‧‧判定405‧‧‧判定

將僅以實例方式參考圖式描述本發明之實施例，其中：圖1繪示具有一個背景物件及一前景物件之一場景之一視點變換之一實例；圖2繪示根據本發明之一些實施例之用於產生一影像之一裝置之元件之一實例；圖3繪示根據本發明之一些實施例之用於產生一影像之一方法之元件之一實例；圖4繪示根據本發明之一些實施例之用於產生一影像之一方法之元件之一實例；圖5繪示具有一個背景物件及一前景物件之一場景之一視點變換之一實例；圖6繪示不同視點之深度梯度之一實例；及圖7繪示一網格之一視點變換之一實例。

301‧‧‧接收

303‧‧‧接收

305‧‧‧產生

Claims

一種產生光強度影像之方法，該方法包括：自一第一視點接收(301)表示一場景之一第一紋理圖及一第一網格；自一第二視點接收(303)表示該場景之一第二紋理圖及一第二網格；回應於該第一紋理圖、該第一網格、該第二紋理圖及該第二網格判定(305)表示自一第三視點之該場景之該光強度影像；其中判定(305)該光強度影像包括：針對該光強度影像中之一第一位置執行以下步驟：藉由一視點變換基於該第一紋理圖及該第一網格判定(401)該第一位置之一第一光強度值；藉由一視點變換基於該第二紋理圖及該第二網格判定(403)該第一位置之一第二光強度值；藉由該第一光強度值與該第二光強度值之一加權組合判定(405)該光強度影像在該第一位置處之一光強度值；藉由該加權組合之該第一光強度值相對於該第二光強度值之一加權係取決於對應於該第一位置之一第一網格位置處之該第一網格中之一第一深度梯度相對於對應於該第一位置之一第二網格位置處之該第二網格中之一第二深度梯度。
如請求項1之方法，其中該加權包括該第一光強度值相對於該第二光強度值之一加權，該第一光強度值之該加權係該第一深度梯度之絕對值之一單調遞減函數。
如請求項1之方法，其中該加權包括該第一光強度值相對於該第二光強度值之一加權，該第一光強度值之該加權係該第二深度梯度之絕對值之一單調遞增函數。
如請求項1之方法，其進一步包括：判定該第一網格之至少一些頂點之深度梯度；及回應於該至少一些頂點之該等深度梯度判定該第一深度梯度。
如請求項4之方法，其中判定該等深度梯度包括：回應於該第一網格之該至少一些頂點之一頂點之一深度、該第一網格之至少另一頂點之一深度及該頂點與該至少另一頂點之間之一距離判定該頂點之一深度梯度。
如請求項4之方法，其中判定深度梯度包括：回應於自該第一網格之該至少一些頂點之一頂點至複數個相鄰頂點之深度梯度，判定該頂點之一深度梯度。
如請求項1-6中任一項之方法，其進一步包括：回應於該第一紋理圖之一深度圖之深度變動判定該第一深度梯度。
如請求項1-6中任一項之方法，其進一步包括以下步驟：判定該第一紋理圖之一深度梯度圖；將一視點變換應用於該深度梯度圖以產生一視域經變換深度梯度圖；及回應於對應於該第一位置之該視域經變換深度梯度圖中之一位置處之一深度梯度判定該第一深度梯度。
如請求項1-6中任一項之方法，其進一步包括以下步驟：回應於該等深度梯度判定包括經加權組合之權重之一權重圖；將一視點變換應用於該權重圖以產生一視域經變換權重圖；及回應於該視域經變換深度梯度圖中之該第一位置處之一權重判定該加權組合之一權重。
如請求項8之方法，其中針對該第一紋理圖、該第二紋理圖及該深度梯度圖及該權重圖之至少一者之該等視點變換係同一視點變換。
如請求項9之方法，其中針對該第一紋理圖、該第二紋理圖及該深度梯度圖及該權重圖之至少一者之該等視點變換係同一視點變換。
如請求項1-6中任一項之方法，其中該第一紋理圖及該第一網格自一真實場景之一捕捉產生。
如請求項1-6中任一項之方法，其中該加權進一步取決於該第一視點與該第三視點之間之一差值。
如請求項1-6中任一項之方法，其中該第一光強度值相對於該第二光強度值之該加權進一步取決於指示用於判定該第一深度圖中該第一網格位置處之一深度之一深度估計之一可靠性之一可靠性指示，該第一光強度值相對於該第二光強度值之該加權增加指示該深度估計之一增加可靠性之該可靠性指示。
一種用於產生光強度影像之裝置，該裝置包括：一接收器(201)，其用於自一第一視點接收表示一場景之一第一紋理圖及一第一網格；一接收器(203)，其用於自一第二視點接收表示該場景之一第二紋理圖及一第二網格；一影像產生器(205)，其用於回應於該第一紋理圖、該第一網格、該第二紋理圖及該第二網格判定表示自一第三視點之該場景之該光強度影像；其中該影像產生器(205)包括：一第一視域變換器(207)，其用於藉由一視點變換基於該第一紋理圖及該第一網格判定該光強度影像中之一第一位置之一第一光強度值；一第二視域變換器(209)，其用於藉由一視點變換基於該第二紋理圖及該第二網格判定該第一位置之一第二光強度值；一組合器(211)，其用於藉由該第一光強度值與該第二光強度值之一加權組合判定該光強度影像在該第一位置處之一光強度值；藉由該加權組合之該第一光強度值相對於該第二光強度值之一加權係取決於對應於該第一位置之一第一網格位置處之該第一網格中之一第一深度梯度相對於對應於該第一位置之一第二網格位置處之該第二網格中之一第二深度梯度。
一種經調適以執行如請求項1-14中任一者之方法之電腦程式產品。