TW202046716A - 表示場景之影像信號 - Google Patents

Abstract

產生一影像信號包含一接收器(401)接收表示一場景的來源影像。一組合影像產生器(403)從該等來源影像產生組合影像。各組合影像導出自該等來源影像中之至少兩個影像的僅部分。一評估器(405)判定針對該等來源影像之元素的預測品質測量，其中針對一第一來源影像之一元素的該預測品質測量指示該第一來源影像中的像素值與針對該元素中之像素之所預測像素值之間的一差。該等所預測像素值係得自於從該等組合影像所預測之像素的像素值。一判定器(407)判定該等來源影像之片段，該等來源影像包含該預測品質測量指示高於一臨限值的一差之元素。一影像信號產生器(409)產生一影像信號，該影像信號包含表示該等組合影像及該等來源影像之該等片段的影像資料。

Description

表示場景之影像信號

本發明係關於一種表示一場景之影像信號，且具體而言，但非排他地，係關於產生表示一場景之一影像信號，及從該影像信號演現影像作為虛擬實境應用之部分。

近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。

例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及「環視」。

此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者例如在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法在例如用於電腦及主控台的遊戲應用（諸如在第一人稱射擊遊戲類別中）係衆所周知的。

亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。

一般而言，虛擬實境應用固有地受限於，虛擬實境應用係基於預定場景模型，且一般係基於虛擬世界的人工模型。經常希望虛擬實境體驗可基於真實世界攝取而提供。然而，在許多情況中，此類方法受限制或傾向於要求從真實世界攝取來建置真實世界的虛擬模型。然後，藉由評估此模型來產生虛擬實境體驗。

然而，目前的方法往往是次佳的，且往往經常具有高運算或通訊資源需求及/或提供例如降低品質或受限制自由度的次佳使用者體驗。

在許多系統中，諸如具體而言，當基於真實世界場景時，提供場景之影像表示，其中影像表示包括用於場景中之一或多個攝取點/視點的影像及深度。影像加深度表示提供特別是真實世界場景之非常有效率表徵，其中該表徵不僅相對容易藉由攝取真實世界場景而產生，而且亦高度適用於演現器合成與所攝取者不同的其他視點的視圖。例如，一演現器可經配置以動態產生匹配目前局部觀看者姿態的視圖。例如，可動態地判定觀看者姿態，且基於所提供的影像及例如深度圖來動態產生視圖以匹配此觀看者姿態。

然而，對於給定影像品質，此類影像表示往往導致非常高的資料速率。為了提供場景之良好攝取，且具體而言，為了解決遮擋現象，希望從彼此接近且覆蓋大範圍位置兩者的攝取位置來攝取場景。因此，相對高數目個影像係所欲的。此外，攝影機的攝取視埠經常重疊，且因此成組的影像往往包括大量的冗餘資訊。此類問題往往獨立於特定攝取組態，且具體而言，獨立於使用線性或例如圓形攝取組態。

因此，雖然許多習知影像表示及格式可在許多應用及服務中提供良好的效能，但在至少一些情況中往往次佳。

因此，用於處理及產生包含場景之影像表示的影像信號之經改善方法將係有利的。具體而言，允許改善操作、增加靈活性、改善虛擬實境體驗、減小資料速率、增加效率、促進散佈、降低複雜度、促進實施、降低儲存需求、增加影像品質、改善演現、改善的使用者體驗、改善影像品質與資料速率之間的權衡、及/或改善效能及/或操作的系統及/或方法將是有利的。

因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。

根據本發明之一態樣，提供一種用於產生一影像信號的設備，該設備包含：一接收器，其用於接收從不同觀看姿態表示一場景的複數個來源影像；一組合影像產生器，其用於從該等來源影像產生複數個組合影像，各組合影像導出自該複數個來源影像中之一組至少兩個來源影像，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態；一評估器，其用於判定針對該複數個來源影像之元素的預測品質測量，針對一第一來源影像之一元素的一預測品質測量指示該第一來源影像中針對該元素中之像素的像素值與針對該元素中之像素的所預測像素值之間的一差，該等所預測像素值係得自於來自該複數個組合影像的該元素中之像素之預測的像素值；一判定器，其用於判定該等來源影像之片段，該等來源影像包含該預測品質測量指示高於一臨限值之一差的元素；及一影像信號產生器，其用於產生一影像信號，該影像信號包含表示該等組合影像的影像資料及表示該等來源影像之該等片段的影像資料。

本發明可提供一場景之一經改善表示，並且在許多實施例及情景中，可提供所演現影像之經改善影像品質對該影像信號之資料速率。在許多實施例中，可提供一場景之一更有效率表示，例如，允許藉由經減少資料速率來達成給定品質。該方法可提供一種用於演現一場景之影像的一更靈活且有效率的方法，且可允許對例如場景屬性的經改善適應。

在許多實施例中，該方法可採用適用於靈活、有效率且高效能虛擬實境(Virtual Reality, VR)應用的場景之影像表示。在許多實施例中，該方法可允許或實現具有在影像品質與資料速率之間實質上經改善權衡的VR應用。在許多實施例中，該方法可允許經改善的感知影像品質及/或經減少資料速率。

該方法可適合例如在接收端部處廣播支援對移動及頭部旋轉之適應的視訊服務。

具體而言，該等來源影像可係具有相關聯之深度資訊（諸如深度圖）的光強度影像。

具體而言，在具體適當的情況中，該方法可允許用提供額外資料的片段分別針對前景資訊與背景資訊來最佳化組合影像。

該影像信號產生器可經配置以與該等片段相比使用該等組合影像的更有效率編碼。然而，該等片段一般可表示該等組合影像的資料之一相對小比例。

根據本發明之一可選特徵，該組合影像產生器經配置以藉由從該複數個來源影像來視圖合成至少一第一組合影像之像素而產生該複數個組合影像的該第一組合影像，其中該第一組合影像之各像素針對一射線姿態來表示該場景，且該第一影像之該等射線姿態包含至少兩個不同位置。

在許多實施例中，此可提供特別有利的操作，且可例如允許針對觀看姿態產生該等組合影像，其中該等組合影像可（一般組合地）提供場景的一特別有利表示。

根據本發明之一可選特徵，針對該第一組合影像的至少90%之像素，一垂直向量與像素叉積向量之間的一點積係非負值，針對一像素的一像素叉積向量係一像素之一射線方向與從該等不同觀看姿態之一中心點至該像素之一射線位置的一向量之間的一叉積。

在許多實施例中，此可提供特別有效率且有利地產生組合影像。具體而言，提供一種用於判定一組合影像之低複雜度方法，其藉由傾向於提供經偏置朝向一側向視圖的一視圖來提供背景資料的一有利表示。

根據本發明之一可選特徵，該組合影像產生器經配置以藉由從該複數個來源影像來視圖合成一第二組合影像之像素而產生該複數個組合影像的該第二組合影像，其中該第二組合影像之各像素針對一射線姿態來表示該場景，且該第二影像之該等射線姿態包含至少兩個不同位置；且其中對於該第二組合影像的至少90%之像素，該垂直向量與像素叉積向量之間的一點積係非正值。

在許多實施例中，此可提供特別有效率且有利地產生組合影像。具體而言，提供一種用於判定一組合影像之低複雜度方法，其藉由傾向於提供經偏置朝向不同側向視圖的視圖來提供背景資料的一有利表示。

根據本發明之一可選特徵，該第一組合影像之該等射線姿態經選擇以鄰近於包含該複數個來源影像之該等不同觀看姿態的一區域之一邊界。

在許多實施例中，此可提供有利的操作，且可例如藉由該影像信號來提供經改善背景資訊，從而基於該影像信號而促進及/或改善視圖合成。

根據本發明之一可選特徵，該第一組合影像之該等射線姿態之各者經判定為小於相距包含該複數個來源影像之該等不同觀看姿態的一區域之一邊界的一第一距離，該第一距離不大於該邊界上之點之間的一最大內部距離的50%。

在許多實施例中，此可提供有利的操作，且可例如藉由該影像信號來提供經改善背景資訊，從而基於該影像信號而促進及/或改善視圖合成。在一些實施例中，該第一距離不大於該最大內部距離的25%或10%。

在一些實施例中，該等組合影像之至少一觀看姿態經判定為小於相距包含該複數個來源影像之該等不同觀看姿態的一區域之一邊界的一第一距離，該第一距離不大於該等不同觀看姿態之兩個觀看姿態之間的一最大距離的20%、10%、或甚至5%。

在一些實施例中，該等組合影像之至少一觀看姿態經判定為相距該等不同觀看姿態之一中心點的至少一最小距離，該最小距離係沿穿過該中心點及該至少一觀看姿態的一線從該中心點至包含該複數個來源影像之該等不同觀看姿態的一區域之一邊界的一距離之至少50%、75%、或甚至90%。

根據本發明之一可選特徵，該組合影像產生器經配置以針對該複數個組合影像中之一第一組合影像的各像素：判定呈現其之一對應像素的該等視圖來源影像之各者中的一對應像素，一對應像素係表示與該第一組合影像之該像素相同的一射線方向之像素；選擇針對該第一組合影像之該像素的一像素值作為在該視圖來源影像中的該對應像素之一像素值，該視圖來源影像的該對應像素表示具有相距該等不同觀看姿態之一中心點的一最大距離之一射線，該最大距離係在沿垂直於該對應像素之一射線方向的一第一軸的一第一方向上。

在許多實施例中，此可提供特別有效率且有利地產生組合影像。具體而言，提供一種用於判定一組合影像之低複雜度方法，其藉由傾向於提供經偏置朝向一側向視圖的一視圖來提供背景資料的一有利表示。

根據本發明之一可選特徵，該等對應像素包含：重新取樣各來源影像至表示環繞該等觀看姿態的一視圖球體之一表面之至少一部分的一影像表示；及判定對應像素作為在該影像表示中具有一相同位置的像素。

此可提供對應像素的特別有效率且準確判定。

該視圖球體表面可例如藉由等距柱狀或立方體圖表示來表示。該視圖球體之各像素可具有一射線方向，且重新取樣一來源影像可包括將該視圖球體的一像素值設定為其之該射線方向相同的該來源影像之該像素值。

根據本發明之一可選特徵，該組合影像產生器經配置以針對一第二組合影像之各像素：選擇針對該第二組合影像中之該像素的一像素值作為該視圖來源影像中之該對應像素之一像素值，該視圖來源影像的該對應像素表示在該第一方向之一相反方向上具有相距該中心點的一最大距離之一射線。

在許多實施例中，此可提供特別有效率且有利地產生組合影像。具體而言，提供一種用於判定一組合影像之低複雜度方法，其藉由傾向於提供經偏置朝向一側向視圖的一視圖來提供背景資料的一有利表示。進一步，可藉由從一相反方向提供一側向視圖而使該第二組合影像與該第一組合影像互補，從而與該第一組合影像組合以提供該場景（且具體而言，背景資訊）的一特別有利表示。

根據本發明之一可選特徵，該組合影像產生器經配置以針對一第三組合影像之各像素：選擇針對該第三組合影像中之該像素的一像素值作為該視圖來源影像中之該對應像素之一像素值，該視圖來源影像的該對應像素表示具有相距該中心點的一最小距離之一射線。

在許多實施例中，此可提供特別有效率且有利地產生組合影像。可藉由提供該場景之一更前面視圖而使該第三組合影像與該第一（及該第二）組合影像互補，其可提供該場景中的前景物體之一經改善表示。

根據本發明之一可選特徵，該組合影像產生器經配置以針對一第四組合影像之各像素：選擇針對該第四組合影像中之該像素的一像素值作為該視圖來源影像中之該對應像素之一像素值，該視圖來源影像的該對應像素表示在沿垂直於該對應像素之一射線方向的一第二軸之一第二方向上具有相距該中心點的一最大距離之一射線，該第一軸與該第二軸具有不同方向。

在許多實施例中，此可提供特別有效率且有利地產生組合影像，且可提供該場景之一經改善表示。

根據本發明之一可選特徵，該組合影像產生器經配置以產生該第一組合影像的原點資料，該原點資料指示該等來源影像中之哪一者係該第一組合影像之各像素的一原點；且該影像信號產生器經配置以在該影像信號中包括該原點資料。

在許多實施例中，此可提供特別有利的操作。

根據本發明之一可選特徵，該影像信號產生器經配置以在該影像信號中包括來源觀看姿態資料，該來源觀看姿態資料指示該等來源影像之該等不同觀看姿態。

在許多實施例中，此可提供特別有利的操作。

根據本發明之一態樣，提供一種用於接收一影像信號的設備，該設備包含：一接收器，其用於接收一影像信號，該影像信號包含：複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態；影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值；及一處理器，其用於處理該影像信號。

根據本發明之一態樣，提供一種產生一影像信號的方法，該方法包含：接收從不同觀看姿態表示一場景的複數個來源影像；從該等來源影像產生複數個組合影像，各組合影像導出自該複數個來源影像中之一組至少兩個來源影像，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態；判定針對該複數個來源影像之元素的預測品質測量，針對一第一來源影像之一元素的一預測品質測量指示該第一來源影像中針對該元素中之像素的像素值與針對該元素中之像素的所預測像素值之間的一差，該等所預測像素值係得自於來自該複數個組合影像的該元素中之像素之預測的像素值；判定該等來源影像之片段，該等來源影像包含該預測品質測量指示高於一臨限值之一差的元素；及產生一影像信號，該影像信號包含表示該等組合影像的影像資料及表示該等來源影像之該等片段的影像資料。

根據本發明之一態樣，提供一種處理一影像信號的方法，該方法包含：接收一影像信號，該影像信號包含：複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態；影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值；及處理該影像信號。

根據本發明之一態樣，提供一種影像信號，其包含：複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態；影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值。

本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。

允許使用者在一虛擬世界中四處移動的虛擬體驗已變得越來越流行，且正在開發服務以滿足此需求。然而，提供有效率的虛擬實境服務非常具挑戰性，尤其若體驗係基於攝取真實世界環境，而非基於完全虛擬地產生的人工世界。

在許多虛擬實境應用中，判定反映場景中之虛擬觀看者之姿態的觀看者姿態輸入。然後，虛擬實境設備/系統/應用針對對應於該觀看者姿態的觀看者，產生對應於場景之視圖及視埠的一或多個影像。

一般而言，虛擬實境應用產生呈用於左眼及右眼的分開視圖影像形式的三維輸出。然後，這些視圖影像可藉由合適手段（諸如一般而言，VR頭戴裝置之個別左眼顯示器及右眼顯示器）來呈現給使用者。在其他實施例中，影像可例如呈現在一裸視立體(autostereoscopic)顯示器上（在此情況中，可針對觀看者姿態產生較大數目個視圖影像），或實際上在一些實施例中，可產生僅單一二維影像（例如，使用習知二維顯示器）。

在不同應用中，可以不同方式判定觀看者姿態輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之移動的（例如，視覺）識別符。

在一些系統中，可藉由手動方段來提供觀看者姿態，例如，由使用者手動控制操縱桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一類比操縱桿而使虛擬觀看者在場景內四處移動，且以另一手來手動移動第二類比操縱桿而手動控制虛擬觀看者的觀看方向。

在一些應用中，可使用手動及自動化方法之組合來產生輸入觀看者姿態。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。

影像之產生係基於虛擬世界/環境/場景的合適表示。在一些應用中，可提供場景的完整三維模型，且可藉由評估此模型來判定來自特定觀看者姿態之場景的視圖。

在許多實用系統中，該場景可由包含影像資料的影像表示予以表示。影像資料一般可包含與一或多個攝取或錨定姿態相關聯之影像，且具體而言，可包括用於一或多個視埠的影像，其中各視埠對應於一特定姿態。可使用包含一或多個影像的一影像表示，其中各影像表示一給定觀看姿態的給定視埠之視圖。此類影像資料所提供之觀看姿態或位置經常稱為錨定姿態或位置或攝取姿態或位置（因為影像資料可一般對應於經定位在場景中之由攝影機而攝取或將由該攝影機而攝取的影像，其中位置及定向相對應於攝取姿態）。

許多典型的VR應用可以此類影像表示為基礎而繼續進行提供對應於目前觀看者姿態的場景之視埠的視圖影像，其中影像經動態更新以反映觀看者姿態之變化，且其中基於表示（可行的）虛擬場景/環境/世界的資料而產生影像。該應用可藉由執行視圖合成及視圖移位演算法來進行此，如所屬技術領域中具有通常知識者所熟知。

在本領域中，用語擺置(placement)及姿態(pose)被用作位置及/或方向/定向之常見用語。例如物體、攝影機、頭部、或觀看之位置及方向/定向之組合可被稱為姿態或擺置。因此，擺置或姿態指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別屬性。當然，在許多情形中，擺置或姿態可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿態之全面表示）。在下文中，用語姿態(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。

許多VR應用係基於具有最大自由度（即，位置及定向之各者的三個自由度導致總共六個自由度）的姿態。因此姿態可藉由代表六個自由度的一組六個值或六個值的向量表示，且因此姿態向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿態可由較少之值予以表示。

姿態可係定向及位置之至少一者。姿態值可指示定向值及位置值之至少一者。

基於提供最大自由度給觀看者之系統或實體一般稱為具有6個自由度(6 Degrees of Freedom, 6DoF)。許多系統及實體提供僅定向或位置，且這些系統及實體一般已知為具有3個自由度(3DoF)。

在一些系統中，可藉由例如獨立裝置（其不使用任何遠端VR資料或處理，或甚至不具有對任何遠端VR資料或處理的任何存取）來本端提供VR應用給觀看者。例如，諸如遊戲主控台之裝置可包含：儲存器，其用於儲存場景資料；輸入，其用於接收/產生觀看者姿態；及處理器，其用於從場景資料產生對應的影像。

在其他系統中，可在觀看者的遠端處實施及執行VR應用。例如，在使用者本端處的裝置可偵測/接收經傳輸至遠端裝置的移動/姿態資料，該遠端裝置處理該資料以產生觀看者姿態。然後，該遠端裝置可基於描述場景的場景資料來產生觀看者姿態的合適視圖影像。然後，該等視圖影像被傳輸至在觀看者本端處的裝置，在該裝置處呈現該等視圖影像。例如，該遠端裝置可直接產生直接由該本端裝置呈現的視訊串流（一般為立體/3D視訊串流）。因此，在此類實例中，該本端裝置可不執行任何VR處理，惟傳輸移動資料及呈現所接收視訊資料除外。

在許多系統中，功能性可跨本端裝置及遠端裝置分佈。例如，本端裝置可處理所接收之輸入及感測器資料，以產生連續地傳輸至遠端VR裝置的觀看者姿態。然後，該遠端VR裝置可產生對應的視圖影像且傳輸這些影像至本端裝置以供呈現。在其他系統中，該遠端VR裝置可不直接產生視圖影像，但可選擇相關場景資料且傳輸此場景資料至本端裝置，然後，可產生所呈現之視圖影像。例如，遠端VR裝置可識別最接近的攝取點，且提取對應的場景資料（例如，從攝取點提取球面影像及深度資料）且傳輸此場景資料至本端裝置。然後，本端裝置可處理所接收場景資料以產生用於特定目前觀看姿態的影像。觀看姿態一般對應於頭部姿態，且對觀看姿態之參考一般可等同地視為對應於對頭部姿態的參考。

在許多應用中，尤其是對於廣播服務，來源可依獨立於觀看者姿態的場景之影像（包括視訊）表示的形式來傳輸場景資料。例如，用於單一攝取位置之單一視圖球體的影像表示可傳輸至複數個用戶端。然後，個別用戶端可本端地合成對應於目前觀看者姿態的視圖影像。

特別吸引關注的應用係其中支援有限量的移動，使得所呈現之視圖經更新以遵循對應於使頭部之僅小頭部移動及旋轉的實質上靜態觀看者之小移動及旋轉。例如，觀看者坐下時會轉動其頭部且稍微移動頭部，其中所呈現之視圖/影像經調適以遵循這些姿態變化。此種方法可提供高度且身歷其境的例如視訊體驗。例如，觀看體育事件的觀看者可感覺到其身在比賽場中的特定點處。

此類有限的自由度應用具有提供經改善體驗的優點，同時不需要從許多不同位置獲得場景之準確表示，從而實質上減少攝取需求。類似地，可實質上減少需要提供給演現器的資料量。實際上，在許多情景中，僅需要提供單個視點的影像與一般深度資料，其中本端演現器能夠從此產生所欲視圖。具體而言，該方法可高度適用於其中資料需要透過頻寬有限的通訊頻道將資料從來源傳達至目的地的應用（例如，諸如用於廣播或用戶端伺服器應用）。

圖1繪示其中遠端VR用戶端裝置101與VR伺服器103例如經由網路105（諸如網際網路）聯絡的VR系統的此一實例。伺服器103可經配置以同時支援潛在大量的用戶端裝置101。

VR伺服器103可例如藉由傳輸包含呈影像資料形式之影像表示的影像信號來支援廣播體驗，可由用戶端裝置使用該影像資料以本端地合成對應於適當姿態的視圖影像。

在許多應用中，諸如圖1的應用中，因此會希望攝取場景並產生可有效率包括在影像信號中的有效率影像表示。然後，影像信號可傳輸至各種裝置，其可本端地合成除攝取姿態外的其他觀看姿態的視圖。為了做到這一點，影像表示一般可包括深度資訊，且例如可提供具有相關聯深度之影像。例如，可與視差評估組合地使用立體攝取或使用測距感測器來獲得深度圖，且可連同光強度影像提供這些深度圖。

然而，對於此類方法的一特定問題係改變觀看姿態會改變遮擋特性，而導致在給定所攝取影像中不可見的片段針對不同觀看姿態變成可見。

為了解決此，經常使用相對大量攝影機來攝取場景。圖2展示藉由圓形8視圖攝影機承架(8-view camera rig)之攝取的實例。在實例中，攝影機面朝外。如所能見到的，不同的攝影機（且因此不同的攝取/來源影像）可具有場景之不同部分的可見度。例如，背景區域1僅從攝影機2可見。然而，亦如所能見到的，大量場景從多個攝影機可見，且因此產生大量冗餘資訊。

圖3展示一組線性攝影機的實例。再次，攝影機提供場景之不同部分的資訊，例如，c1係攝取區域2的唯一攝影機，c3係攝取區域4的唯一攝影機，且c4係攝取區域3的唯一攝影機。同時，場景之一些部分由多於一個攝影機攝取。例如，所有攝影機攝取前景物體fg1及fg2之正面，其中一些攝影機提供的攝取優於其他攝影機。例如，圖3展示四個攝影機的實例A及兩個攝影機的實例B。如所能見到的，四個攝影機設置提供更佳的攝取，包括攝取場景之部分（背景bg之區域4），但當然也會產生較大量資料，包括更多冗餘資料。

相對於單一中心視圖，多視圖攝取的一項缺點明顯地係增加影像資料量。另一缺點係產生極大量像素，即，需要被處理及解碼器需要產生的像素速率。在播放期間，此亦需要用於視圖合成的增加的複雜度及資源使用量。

在下文中，將描述使用所攝取視圖之更有效率且較少冗餘影像表示的具體方法。企圖保留影像資料的一些空間及時間同調性，使視訊編碼器能夠更有效率。其降低位元率、像素率及在播放場所處視圖合成之複雜度。

此表示包含複數個組合影像，該複數個組合影像之各者係從二或更多個來源影像（具體而言，來源影像可係所攝取3D影像圖，例如，表示為影像加深度圖），其中一般而言該等來源影像之各者之僅部分被考慮。組合影像可提供用於視圖合成的參考，並提供實質的場景資訊。該等組合影像可經產生以偏置朝向場景之更外部視圖，且具體而言，朝向攝取區域的邊界。在一些實施例中，亦可提供一或多個中心組合影像。

在許多實施例中，該等組合影像之各者表示從不同觀看位置的視圖，即，各影像可至少包含對應於不同觀看/攝取/錨點姿態的像素。具體而言，針對始於一原點/位置瞄準一方向/定向且結束於由一組合影像之各像素的像素值所表示的場景點/物體的一射線，該組合影像之該像素可表示對應於該原點/位置及該方向/定向的一射線姿態。一組合影像之至少兩個像素可具有不同的射線原點/位置。例如，在一些實施例中，一組合影像之像素可分成N個群組，其中一群組中之所有像素具有相同的射線原點/位置，但此對於個別群組不同。N可係二或更大。在一些實施例中，N可等於一列中的水平像素的最大數目（及/或等於組合影像中的行數），且實際上在一些實施例中，N可等於像素數目，即，所有像素可具有一獨特的射線原點/姿態。

因此，針對一像素的一射線姿態可表示一射線的一原點/位置及/或一定向/方向，該射線該原點/位置與由該像素所表示之該場景點之間。具體而言，該原點/位置可係該像素之一觀看位置，且該定向/方向可係該像素之觀看方向。這可有效地表示將從該像素之該射線方向在該射線位置所攝取的光射線，且因此反映由該像素值所表示的該光射線。

因此，各像素可表示在觀看方向上從觀看位置所見的場景。據此，觀看位置及觀看方向界定一射線。各像素可具有始於該像素之觀看位置且在該像素之觀看方向上的一相關聯之觀看射線。各像素表示針對一（觀看）射線姿態的場景，該（觀看）射線姿態係始於該像素之一視點/位置且在一觀看方向上的一射線之姿態。具體而言，該像素表示其中觀看射線與場景物體（包括背景）相交的場景點（場景中之點）。一像素可表示從一場景點至該觀看位置且在該觀看方向中的光射線。該觀看射線可係在與該場景點相交的方向始於該觀看位置的一射線。

此外，該等組合影像係藉由已識別為從該等組合影像未充分良好地預測的所攝取視圖之片段或分段予以補充。因此，數個（且一般為相對高數目個）一般小片段經界定並且被包括以具體表示所攝取影像之個別部分，其可提供有關未藉由該等組合影像充分良好地表示的場景之元素的資訊。

此表示之優點在於，不同的編碼可經提供給待傳輸之影像資料之不同部分。例如，有效率且複雜的編碼及壓縮可應用於該等組合影像，此係因為此將往往構成影像信號之最大部分，而較不有效率編碼可經常應用於該等片段。進一步，該等組合影像可經產生為高度適用於有效率編碼，例如，藉由經產生為類似於習知影像，從而允許使用有效率的影像編碼方法。相比之下，該等片段的屬性可更取決於影像之特定特性而變化，且因此可能更難以有效率編碼。然而，此並非問題，因為該等片段往往提供更少的影像資料。

圖4繪示用於產生影像信號之設備的實例，該影像信號包括從不同來源觀看姿態（錨點姿態）的場景之複數個來源影像的表示。該設備亦將稱為影像信號傳輸器400。影像信號傳輸器400可例如包含在圖1的VR伺服器103中。

圖5繪示用於基於一所接收影像信號來演現視圖影像的設備的實例，該所接收影像信號包括場景之複數個影像的表示。具體而言，該設備可接收由圖4之設備所產生的影像資料信號，並繼續進行處理此信號，以演現用於特定觀看姿態的影像。圖5的設備亦將稱為影像信號接收器500。影像信號接收器500可例如包含在圖1的用戶端裝置101中。

影像信號傳輸器400包含影像來源接收器401，該影像來源接收器經配置以接收場景之複數個來源影像。該等來源影像可從不同觀看姿態表示場景之視圖。該等來源影像一般可係例如藉由攝影機承架之攝影機攝取的所攝取影像。該等來源影像可例如包含來自一列等距攝取攝影機或來自一圈攝影機的影像。

在許多實施例中，來源影像可係包含具有相關聯深度資訊之2D影像的3D影像。2D影像可具體地係來自對應的擷取姿態之場景之視埠的視圖影像，並且2D影像可伴隨有包含2D影像之各像素之深度值的一深度影像或深度圖。2D影像可係一紋理圖。2D影像可係一光強度影像。

深度值可例如係例如藉由z座標所指示的視差值或距離值。在一些實施例中，來源影像可係具有相關聯3D網格的紋理圖之形式的3D影像。在一些實施例中，在由影像信號傳輸器400進一步處理之前，可藉由影像來源接收器將此類紋理圖與網格表示轉換成影像加深度表示。

據此，影像來源接收器401接收從不同來源觀看姿態特徵化且表示場景的複數個來源影像。此一組來源影像將允許使用諸如視圖移位之演算法來產生用於其他姿態的視圖影像，如所屬技術領域中具有通常知識者所熟知。據此，影像信號傳輸器400經配置以產生包含用於該等來源影像之影像資料的一影像信號，且傳輸此資料至一遠端裝置以供本端地演現。然而，直接傳輸所有來源影像將需要不能實行的高資料速率，且將包含大量冗餘資訊。影像信號傳輸器400經配置以藉由使用一影像表示來減少資料速率，如先前所述。

具體而言，輸入來源接收器401耦接至經配置以產生複數個組合影像的一組合影像產生器403。該等組合影像包含導出自複數個來源影像的資訊。用於導出該等組合影像的確切方法可在不同的實施例之間有所不同，且稍後將更詳細描述具體實例。在一些實施例中，可藉由從不同來源影像選擇像素來產生一組合影像。在其他實施例中，該等組合影像可替代地或額外地藉由從該等來源影像視圖合成而產生該等組合影像之一或多者。

然而，雖然各組合影像包括來自該等來源影像之至少兩者（且通常更多者）的貢獻，但是對於各組合影像，一般考慮個別來源影像之僅部分。因此，針對用以產生給定組合影像的各來源影像，會有一些像素被排除/丟棄。因此，針對特定組合影像所產生的像素值不取決於這些像素的像素值。

該等組合影像可經產生使得各影像不是僅表示一個觀看/攝取/錨點位置，而是表示二或更多個觀看/攝取/錨點位置。具體而言，在一個組合影像中之至少一些像素的射線原點/位置將不同，且因此一個組合影像可從不同方向表示場景之視圖。

據此，組合影像產生器403可經配置以從來源影像產生複數個組合影像，其中各組合影像導出自一組至少兩個來源影像，且其中一般而言，一第一組合影像的推導包括這些至少兩個來源影像之各者之僅一部分。進一步，一給定組合影像之各像素表示針對一射線姿態的場景，且針對各組合影像的該等射線姿態可包含至少兩個不同位置。

組合影像產生器403耦接至被饋送組合影像及該等來源影像的一評估器405。評估器405經配置以判定該等來源影像之元素的預測品質測量。一元素可係一個別像素，且評估器405可經配置以判定各來源影像之各像素的一預測品質測量。在其他實施例中，元素可包含複數個像素，且各元素可係一像素群組。例如，可針對例如4×4或16×16像素區塊的區塊來判定預測品質測量。此可縮減所判定片段或分段的粒度，但實質上可降低處理複雜性及資源使用。

針對一給定元素的預測品質測量經產生以指示該第一來源影像中針對該元素中之像素的像素值與針對該元素中之像素的所預測像素值之間的一差。因此，一元素可由一或多個像素所構成，且該元素的預測品質測量可指示原始來源影像中的該等像素之像素值與將得自於來自該等組合影像之一預測的像素的像素值之間的差。

將理解，在不同實施例中，可使用用於判定預測品質測量的不同方法。具體而言，在許多實施例中，評估器405可繼續進行以實際執行從該等組合影像對該等來源影像之各者的預測。然後，可針對各個別影像及各個別像素，判定原始像素值與所預測像素值之間的差。應理解，可使用任何合適的差測量，例如，諸如簡單絕對差、應用至例如多個顏色通道的像素值分量之總和平方根差等。

因此，此一預測可模擬可由影像信號接收器500所執行以產生針對來源影像之觀看姿態的視圖的預測/視圖合成。因此，該等預測品質測量反映組合影像的接收器可能夠多好地僅基於組合影像來產生原始來源影像。

來自組合影像的針對一來源影像之一預測影像可係藉由從組合影像視圖合成所產生的來源影像之觀看姿態的影像。視圖合成一般包括觀看姿態移位，且一般係觀看位置移位。視圖合成可係視圖移位影像合成。

具體而言，從一第二影像的一第一影像之一預測可係基於該第二影像（及此之觀看姿態）在該第一影像之觀看姿態處的一影像之一視圖合成。因此，從一第二影像預測一第一影像的預測操作可係該第二影像從與此相關聯之觀看姿態至該第一影像之觀看姿態的觀看姿態移位。

應理解，在不同實施例中，可使用用於視圖合成及預測的不同方法及演算法。在許多實施例中，可使用視圖合成/預測演算法，其採用一合成觀看姿態（待產生該合成觀看姿態的合成影像）及複數個輸入影像（該複數個輸入影像之各者與一不同觀看姿態相關聯）作為輸入。然後，該視圖合成演算法可基於一般可包括紋理圖及深度兩者的輸入影像來產生此觀看姿態的合成影像。

許多此類演算法係已知的，且可使用任何合適的演算法而不會減損本發明。作為此種方法的實例，可首先針對各輸入影像產生中間合成/預測影像。這可例如藉由首先基於影像之深度圖產生輸入影像的一網格來達成。然後，可基於幾何計算將該網格從輸入影像之觀看姿態形變/移位至合成觀看姿態。然後，可將所得網格的頂點投射至中間合成/預測影像，且紋理圖可疊覆此影像。此一程序可例如使用從例如標準圖形管線已知的頂點處理及分段著色器來實施。

以此方式，可針對輸入影像之各者產生用於合成觀看姿態的一中間合成/預測影像（下文僅稱為中間預測影像）。

然後，可例如藉由加權組合/求和、或藉由選擇組合來組合該等中間預測影像。例如，在一些實施例中，針對合成觀看姿態的合成/預測影像之各像素可藉由從中間預測影像選擇前進最遠的像素而產生，或像素可藉由針對所有中間預測影像的對應像素值的加權求和而產生，其中給定中間預測影像的權重取決於針對該像素所判定的深度。組合操作亦稱為混合操作。

在一些實施例中，可執行預測品質測量而不需執行完全預測，而是可使用預測品質的間接測量。

可例如藉由評估涉及視圖移位的程序之參數來間接判定預測品質測量。例如，當執行觀看姿態移位時，導致基元（一般係三角形）之幾何失真（拉伸）量。幾何失真越大，針對此基元所表示之任何像素的預測品質測量越低。

因此，評估器405可判定針對複數個來源影像之元素的預測品質測量，其中針對一第一來源影像之一元素的一預測品質測量指示從複數個組合影像所預測的該元素中的像素之所預測像素值與該第一來源影像中針對該元素中之像素的像素值之間的一差。

評估器405耦接至一判定器407，該判定器經配置以判定該等來源影像的片段，該等片段包含其之預測品質測量指示該差高於一臨限值/該預測品質測量指示一預測品質低於一臨限值的元素。

該等片段可對應於由評估器405所判定且其之預測品質測量低於一品質臨限值的個別元素。然而，在許多實施例中，判定器407可經配置以藉由將此等元素分群組來產生片段，且實際上，該群組亦可包括其中預測品質測量高於臨限值的一些元素。

例如，在一些實施例中，判定器407可經配置以藉由將具有低於一品質臨限值的預測品質測量的所有相鄰元素分群組來產生片段（下文分別稱為低預測品質測量及低品質元素）。

在其他實施例中，判定器407可例如經配置以使給定大小及形狀的片段契合於影像，使得該等片段包括儘可能多的低品質元素。

因此，判定器407產生包括低品質元素的一組片段，且因此不能從該等組合影像充分地精準地預測該等片段。一般而言，該等片段將對應於該等來源影像之一低比例，且因此應於相對少量之影像資料及像素。

判定器407及組合影像產生器403耦接至接收該等組合影像及該等片段的一影像信號產生器409。影像信號產生器409經配置以產生包含表示該等組合影像之影像資料及表示該等片段之影像資料的影像信號。

具體而言，影像信號產生器409可編碼該等組合影像及該等片段，且具體而言，可針對該等組合影像及該等片段以不同方式且使用不同演算法及編碼標準進行編碼。

一般而言，該等組合影像係使用高效率影像編碼演算法及標準編碼，或若該等影像係一視訊信號的圖框，則使用高效率視訊編碼演算法及標準編碼。

該等片段的編碼一般可使較不有效率。例如，該等片段可經組合成片段影像，其中各影像一般可包含來自複數個來源影像的片段。然後，可使用標準影像或視訊編碼演算法來編碼此類組合片段影像。然而，歸因於此類組合片段影像的混合及部分本質，編碼一般比正常完整影像較不有效率。

作為另一實例，由於該等片段的稀疏本質，該等片段可能無法以完整圖框/影像儲存。在一些實施例中，可例如使用VRGS（虛擬實境模型化語言）將該等片段表示為3D空間中的網格。

用於該等片段之影像資料一般可伴隨有指示該等片段之原點的後設資料，例如，諸如原始影像座標及攝影機/來源影像原點。

在本實例中，該影像信號被傳輸至影像信號接收器500，該影像信號接收器係VR用戶端裝置101之部分。影像信號接收器500包含收來自影像信號傳輸器400之影像信號之影像信號接收器501。影像信號接收器501經配置以解碼所接收之影像信號以復原該等組合影像及該等片段。

影像信號接收器501耦接至一影像處理器503，該影像處理器經配置以處理該影像信號，且具體而言，該等組合影像及該等片段。

在許多實施例中，影像處理器503可經配置以基於該等組合影像及該等片段而合成針對不同觀看姿態的視圖影像。

在一些實施例中，影像處理器503可繼續進行以首先合成該等來源影像。然後，其之一片段被包括在該影像信號中的該等合成來源訊息之部分可被所提供片段之影像資料所取代。然後，所得來源影像可用於習知影像合成。

在其他實施例中，可直接使用該等組合影像及片段而無需首先復原該等來源影像。

應理解，影像信號傳輸器400及影像信號接收器500包含用於傳達影像信號之所需功能，包括用於對影像信號進行編碼、調變、傳輸、接收等的功能。應理解，此類功能將取決於個別實施例的偏好及需求，且此類技術將為所屬技術領域中具有通常知識者所習知，且因此為了清楚及簡潔起見將不會在本文中進一步討論。

在不同實施例中，可使用不同方法來產生該等組合影像。

在一些實施例中，組合影像產生器403可經配置以藉由從該等來源影像選擇像素來產生該等組合影像。例如，對於一組合影像中之各像素，組合影像產生器403可選擇該等來源影像之一者中的一個像素。

一影像及/或深度圖包含沿始於一射線原點（位置）具有一射線方向（定向）之一射線的具有可被視為表示場景之對應影像屬性（（多個）光強度或深度）的值之像素。該射線原點一般係影像的影像觀看姿態，但在一些表示中可依像素基礎而變化（例如，諸如對於全向性立體影像，其中影像因此可視為具有對應於全向性立體影像圓圈之中心的觀看姿態，但其中各像素具有對應於全向性立體影像圓圈上之位置的個別觀看姿態）。該射線方向一般可依像素基礎而變化，尤其對於其中所有像素具有相同射線原點的影像（即，有單一共同影像觀看姿態）。射線原點及/或方向亦經常稱為射線姿態或射線投射姿態。

因此，各像素與一位置連結，該位置係射線/筆直線的原點。各像素進一步與一方向連結，該方向係始於原點之射線/筆直線的方向。因此，各像素與一射線/筆直線連結，該射線/筆直線係由一位置/原點及自此位置/原點之一方向所界定。藉由在像素之射線與一場景物體（包括一背景）的第一相交點處的場景之適當屬性而給定像素值。因此，該像素值表示沿一射線/筆直線的場景之屬性，該射線/筆直線起源於一射線原點位置處且具有與像素相關聯之一射線方向。該像素值表示沿具有該像素之該射線姿態之一射線的該場景之一屬性。

組合影像產生器403可因此針對產生在該組合影像中之一給定第一像素，判定該等來源影像中之對應像素作為表示相同射線方向的像素。因此，對應像素可係表示相同射線方向的像素，但其可具有不同位置，因為該等來源影像可對應於不同位置。

因此，原則上，組合影像產生器403可針對該組合影像之一給定像素判定一射線方向，且然後，判定在該等來源影像中具有相同（在一給定相似性要求內）射線方向的所有像素，且將這些像素視為對應像素。因此，對應像素一般將具有相同的射線方向，但不同的射線位置/原點。

來自不同來源觀看姿態影像的視圖可例如被重新取樣，使得對應影像座標具有對應射線方向。例如，當該等來源視圖以部分等距柱狀投影格式表示時，其等被重新取樣成一完整的360°/180°版本。例如，可環繞整個視圖來源組態界定一視圖球體。此視圖球體可分成像素，其中各像素具有一射線方向。對於一給定來源影像，可藉由將針對一給定射線方向的視圖球體像素之值設定為針對在該來源視圖中具有相同射線方向的像素之像素值，來將各像素重新取樣至視圖球體表示。

重新取樣該來源影像至全視圖球體表面表示上一般將導致N部分填充影像，此係因為個別影像一般具有有限的視埠，且其中N係來源影像的數目。然而，視埠往往重疊，且據此，成組的視圖球體表面表示往往提供針對任何給定方向的多個像素值。

現在，組合影像產生器403可繼續進行以藉由在對應像素之間選擇來產生至少一個但一般複數個組合影像。

具體而言，一第一組合影像可經產生以覆蓋場景之一部分。例如，具有預定大小的組合影像可經產生以覆蓋視圖球體表示中之某些像素區域，從而描述該場景的此片區。在一些實施例中，該等組合影像之各者可覆蓋整個場景且包括整個視圖球體表面。

對於第一組合影像中之各像素，組合影像產生器403現在可考慮視圖球體表示中之對應像素並繼續選擇該等像素之一者。具體而言，組合影像產生器403可藉由選擇組合影像的像素值作為視圖來源影像中之對應像素的像素值來產生第一組合影像，該視圖來源影像的該對應像素表示在沿垂直於該對應像素之一射線方向的一第一軸之一第一方向具有相距於中心點的一最大距離之一射線。

自該中心點至一射線方向之距離可判定為該中心點之該等射線與該組合影像之該像素的該對應像素之間的距離。

選擇可由基於具有中心點C的圓形來源觀看姿態組態之實例的圖6例示。

在該實例中，考慮對具有一射線方向rc的一組合影像之一像素的判定。攝影機/來源視圖1至4攝取此方向，且因此存在四個對應像素。這些對應像素之各者表示一不同姿態，且因此表示起源於不同位置處的射線，如圖示。因此，在該等射線與組合影像之射線rc之間有偏移距離p1至p4，其等對應於中心點C與該等射線（當這些射線向後延伸（以與軸601交叉）時）之間的距離。

圖6亦展示垂直於射線rc的一方向/軸601。對於一第一組合影像，組合影像產生器403現在可選擇在此方向上該射線距離係最大的對應像素。因此，在此情況中，該組合影像像素值將經選擇作為攝影機/視圖1的像素值，此係因為p1係在此方向上最大距離。

組合影像產生器403一般可進一步繼續進行以藉由執行相同操作但選擇在相反方向上具有最大距離的對應像素來判定一第二組合影像（其可視為，若距離在與該軸相同的方向經測量為正值且在另一方向經測量為負值，則可分別藉由選擇相對於第一方向的最大正及負距離，而產生該第一組合影像及該第二組合影像）。因此，在此情況中，組合影像產生器403將選擇組合影像像素值作為攝影機/視圖4的像素值，此係因為p4係在此方向上最大距離。

在許多實施例中，組合影像產生器403可進一步繼續進行以藉由執行相同操作但選擇在任何方向上具有最小距離的對應像素（最小絕對距離），而產生一第三組合影像。因此，在此情況中，組合影像產生器403將選擇組合影像像素值作為攝影機/視圖3的像素值，此係因為p3係在此方向上最小距離。

以此方式，因此，組合影像產生器403可針對場景之相同部分（且可能針對整個場景）產生三個組合影像。該等影像之一者將對應於選擇從一個方向提供該場景之最側向視圖的像素，一個影像從相反方向表示該場景之最側向視圖，及一個影像表示該場景之最中心視圖。此可藉由圖7來繪示，其展示分別針對中心組合影像及兩個側向組合影像而從各視圖/攝影機選擇的觀看方向。

因此，所得影像提供場景的非常有效率表示，其中一個組合影像一般提供用於前景物體的最佳表示，及其他兩個組合影像組合以提供背景聚焦資料。

在一些實施例中，組合影像產生器403可經配置以藉由根據一軸方向選擇對應像素而進一步產生一或多個組合影像，該軸方向垂直於該射線方向，但不同於先前使用之軸方向。此方法可適用於非平面來源觀看姿態組態（即三維組態）。例如，對於一球狀來源觀看姿態組態，可考慮多於兩個平面。例如，可考慮0、60及120度的平面，或可考慮兩個正交平面（例如左右平面及上下平面）。

在一些實施例中，可藉由從來源影像視圖合成/預測來產生組合影像。具體而言，影像產生器103可產生從不同觀看位置（且具體而言，從不同於來源影像觀之看位置的觀看位置）表示場景之視圖的組合影像。進一步，與習知影像合成相對比，組合影像非經產生以從單一觀看/攝取位置表示場景之視圖，而是甚至在相同組合影像內，可從不同觀看位置表示場景。因此，可藉由從來源影像進行視圖合成/預測，但運用表示不同觀看位置的像素值，來產生組合影像的像素之像素值，而產生組合影像。

具體而言，對於組合影像中的一給定像素，可執行視圖合成/預測以判定對應於該像素的特定射線姿態之像素值。此可針對組合影像的所有像素重複，但其中該等像素之至少一些具有不同位置的射線姿態。

例如，單一組合影像可提供對應於例如環繞整個來源觀看姿態組態的一視圖球體之一表面的場景之360°表示。然而，場景之不同部分的視圖可從相同組合影像內的不同位置表示。圖8繪示一實例，其中組合影像包含表示兩個不同射線位置（且因此像素觀看位置）的像素，即用於表示一半球的像素之第一射線原點801，及表示另一半球的一第二射線原點803。對於這些射線位置/原點之各者而言，像素係以不同射線方向提供，如箭頭所示。在具體實例中，來源觀看姿態組態包含在圓形配置中的八個來源視圖（1至8）。每個攝影機視圖僅提供部分視圖，即90°視圖，但在視圖之間具有重疊。對於組合影像中的給定像素，可有一相關聯的射線姿態，且可藉由從該等來源視圖進行視圖合成/預測來判定此射線姿態的像素值。

原則上，可個別合成該組合影像的各像素，但在許多實施例中，針對複數個像素執行經組合合成。例如，可從視圖來源影像（例如使用位置2、1、8、7、6、5、4）針對第一位置801合成單一180°影像，且可從視圖來源影像（例如使用位置6、5、4、3、2、1、8）針對第二位置803合成單一180°。然後，可藉由組合這些影像來產生組合影像。如果分開合成之影像重疊，則可使用組合或混合以產生組合影像。替代地，可藉由例如指派將經保留的顏色或深度值來柔和組合影像之重疊部分。藉此增加視訊編碼效率。

在許多實施例中，該等組合影像之一或多者可經產生以從提供更多側向注視場景之視點表示場景。例如，在圖8中，視圖圓的中心對應於來源觀看姿態的中心點及針對組合影像的射線原點之位置之中心。然而，針對給定射線原點801、803的射線方向非在主要徑向方向上，而是提供場景之一側向視圖。具體而言，在實例中，第一射線原點801及第二原點803兩者提供在一向左方向的視圖，即，當從中心點面對射線原點801、803時，兩者的射線方向皆向左。

影像產生器103可繼續進行以產生表示場景之不同視圖的一第二組合影像，且具體而言，可經常有利地產生與該第一視圖互補但注視相反方向的場景之一第二視圖。例如，影像產生器103可產生一第二組合影像，其使用相同射線原點但是射線方向係在相反方向。例如，影像產生器103可產生對應於圖9之組態的一第二組合影像。

該兩個影像可提供場景之一高度有利且互補表示，且一般可提供場景之背景部分的經改善表示。

在許多實施例中，組合影像亦可包括一或多個影像，該一或多個影像經產生以提供一更前面視圖，例如，諸如對應於圖10之組態的視圖。在許多實施例中，此類實例可提供前景物體前方的經改善表示。

應理解，在不同實施例中，可使用不同的射線原點組態，且具體而言，可使用更多原點。例如。圖11及圖12展示用於產生側向觀看組合影像之兩個互補組態的實例，其中在此情況中，射線原點係分布在環繞視圖來源組態的曲線（具體而言，圓）上（通常此類曲線將經選擇以緊密契合來源觀看姿態組態）。圖式僅展示圓/曲線之部分的原點及姿態，且應理解，在許多實施例中，將產生完整的球形或360°視圖。

實際上，圖7可視為繪示另一例示性組態，其中基於環繞中心點之圓上的八個射線位置而產生三個組合影像。針對第一組合影像，選擇圓之徑向附近的方向，針對第二影像，選擇右方90°角附近的射線方向，且針對第三影像，選擇左方90°角附近的射線方向。組合影像的此類組合可提供場景的高效率組合表示。

在一些實施例中，因此，影像產生器103可經配置以藉由從來源影像視圖合成而產生針對特定射線姿態的組合影像之像素值。可針對不同的組合影像而不同地選擇該等射線姿態。

具體而言，在許多實施例中，一個影像的射線姿態可經選擇以提供從射線原點的場景之側向視圖，且另一影像的射線姿態可經選擇以提供一互補側向視圖。

具體而言，針對一第一組合影像的該等射線姿態可使得一垂直向量與像素叉積向量之間的一點積對於該第一組合影像的至少90%（有時95%或甚至全部）之像素係非負值。像素之像素叉積向量經判定為一像素之一射線方向與從不同來源觀看姿態之一中心點至該像素之一射線位置的一向量之間的一叉積。

該等來源觀看姿態的該中心點可經產生為該等來源觀看姿態的平均或中數位置。例如，各座標（例如x, y, z）可經個別求平均，且所得平均座標可係中心點。應注意，一組態之中心點不（必然）在包含該等來源觀看姿態的最小圓/球體之中心處。

因此，從中心點至針對給定像素的射線原點的向量係場景空間中界定從中心點至該像素之觀看位置的距離及方向的向量。該射線方向可由具有相同方向之一（任何）向量表示，即可係從該射線原點朝向由該像素所表示之場景點的向量（且因此亦可係場景空間中的向量）。

此兩個向量之間的叉積將垂直於兩者。對於一水平平面（在場景座標系統中），（從中心點看）朝向左的射線方向將導致具有向上分量（即，具有在x,y,z場景座標系統中之正z分量，其中z指示高度）的叉積向量。無論射線原點，針對任何向左視圖，該叉積向量將係向上，例如，針對圖8之所有像素/射線姿態，該叉積向量將係向上。

相反地，對於向右視圖，針對所有射線姿態，該叉積向量將係向下，例如針對圖9之所有像素/射線姿態，將導致負z座標。

場景空間中之垂直向量與具有正z座標之所有向量之間的點積將相同，具體而言，對於向上指的垂直向量將係正值，且對於向下指的垂直向量將係負值。相反地，對於負z座標，該點積對於向上指的垂直向量將係負值，且對於向下指的垂直向量將係正值。因此，該點積對於向右射線姿態將具有相同的正負號，及對於所有向左射線姿態將具有相反的正負號。

在一些情況中，會導致零向量(null vector)或點積（例如針對視圖圓上之極點），且針對此類射線姿態，向左或向右視圖的正負號將不會不同。

應理解，上述考量亦（作了適當的修正）適用於三維表示，例如，諸如其中射線原點經定位在球體上。

因此，在一些實施例中，組合影像的至少90%（且在一些實施例中，至少95%或甚至所有）之像素導致不具有不同正負號的點積，即，至少許多像素將具有同側的側向視圖。

在一些實施例中，該等組合影像可經產生以具有防護帶，或例如一些特定邊緣像素可具有點積可能不符合要求的特定情形。然而，絕大多數像素滿足要求，且該等像素提供對應側向視圖。

進一步，在許多實施例中，至少兩個組合影像符合這些要求，而且點積的正負號相反。因此，對於一個組合影像，至少90%之像素可表示向右視圖，且對於另一組合影像，至少90%之像素可表示向左視圖。

可針對提供場景之特別有利視圖的姿態來產生該等組合影像。發明人已認識到，在許多情景中，可特別有利的是，針對導致場景之主要部分的更側向視圖的觀看姿態來產生組合影像，且進一步認識到，針對來源視圖的給定組態，可為有利的是，產生接近組態的極端位置（而非接近組態的中心）的至少一些視圖。

因此，在許多實施例中，針對鄰近於對應於來源觀看姿態組態的區域之邊界的射線姿態來產生該等組合影像之至少一個（且一般至少兩者）。

具體而言，該區域可係空間的藉由一最大多邊形所界限之一區域（空間中的點集合或一組點），該最大多邊形可使用該等觀看位置之至少一些作為該多邊形之筆直線的頂點所形成。該多邊形可係藉由以一環封閉以形成一封閉鏈或環線的筆直線段之有限鏈所界限的一平面圖形，且此可包括一維組態，諸如圖2A者（亦稱為退化多邊形(degenerate polygon)）。對於三維組態，該區域可對應於藉由該等來源觀看位置之至少一些所形成的一最大可能多面體。因此，該區域可係一最大多邊形或多面體，其可使用該等來源觀看位置之至少一些形成為多邊形或多面體之線的頂點所形成。

作為替代方案，包含複數個來源影像之不同觀看姿態的一區域可係包括所有觀看位置的最小線、圓、或球體。具體而言，該區域可係包括所有來源觀看位置的最小球體。

因此，在許多實施例中，該等組合影像中之至少一者的該等射線姿態經選擇為接近包含該來源觀看姿態組態的區域之邊界。

在許多實施例中，該等組合影像之至少一個射線位置經判定為小於距該區域之邊界的一第一距離，其中此第一距離不大於該區域之邊界上的點之間的最大（內部）距離之50%，或在許多情況中，25%或10%。因此，從觀看姿態之位置至邊界的最小距離可不大於至邊界之最大距離的50%、25%或10%。

此可藉由圖13來繪示，其展示藉由黑色點所指示之來源視點的實例。圖13進一步繪示對應於包括觀看姿態之最小球體的一區域。在實例中，視圖組態係平面、二維組態，且考量球體縮減至圓1301之考量。圖13進一步展示針對鄰近於球體/圓/區域之邊界的一組合影像之一射線姿態1303。具體而言，至該區域之邊界/邊緣的最小距離dmin遠小於（約10%）至該區域之邊界/邊緣的最大距離dmax。

在一些實施例中，一組合影像之射線姿態可經判定為小於距該區域之邊界的一第一距離，其中該第一距離不大於兩個來源觀看姿態之間的最大距離的20%，或經常甚至10%或5%。在該區域經判定為包括所有來源觀看姿態的最小球體/圓的實例中，兩個觀看姿態之間的最大距離等於球體/圓之直徑，且因此組合影像觀看姿態可經選擇使得最小距離dmin符合此要求。

在一些實施例中，一組合影像之射線姿態可經判定為距不同觀看姿態之中心點至少一最小距離，其中該最小距離係沿穿過該中心點及該射線姿態從該中心點至該邊界的距離之至少50%，且經常甚至75%或90%。

在一些實施例中，用於組合影像的兩個觀看姿態經選擇使得這些之間的距離係與穿過該兩個觀看姿態之線交叉的一邊界之兩點之間的最大距離之至少80%，且有時甚至90%或95%。例如，如果一線經描畫穿過兩個姿態，則該兩個姿態之間的距離係在線與圓交叉的點之間的距離之至少80%、90%或95%。

在一些實施例中，該第一組合影像之該等射線姿態之兩者之間的一最大距離係包含該複數個來源影像之該等不同觀看姿態的一區域之邊界的點之間的一最大距離之至少80%。

發明人已深刻理解，針對接近包含來源觀看姿態的區域之邊界/邊緣的位置產生組合影像之方法可特別有利，因為其往往提供場景中之背景物體的增加資訊。大多數背景資料一般係由具有相對於中心視點最側向距離的攝影機或影像區所攝取。此可有利地與更中心的組合影像組合，此係因為此往往提供用於前景物體之經改善影像資訊。

在許多實施例中，影像信號產生器409可經配置以進一步包括針對所產生影像資料的後設資料。具體而言，組合影像產生器403可產生組合影像的原點資料，其中原點資料指示該等來源影像中之哪一者係該等組合影像中之個別像素的原點。然後，影像信號產生器409可在所產生影像信號中包括此資料。

在許多實施例中，影像信號產生器409可包括指示來源影像之觀看姿態的來源觀看姿態資料。具體而言，該資料可包括界定各來源影像/視圖之位置及方向的資料。

據此，該影像信號可包含（可能個別地針對各像素）指示提供其之像素值的位置及方向的後設資料，即射線姿態指示。因此，影像信號接收器500可經配置以處理此資料以執行例如視圖合成。

例如，針對藉由選擇對應像素所產生的三個視圖之各像素，可包括指示來源視圖識別的後設資料。此可導致三個標籤圖，一者係針對中心視圖，且兩者係針對側向視圖。然後，該等標籤可進一步被連結至包括例如攝影機光學元件及承架幾何的特定觀看姿態資料。

應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。

本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實施、以複數個單元實施、或實施為其他功能單元的部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。

雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。

另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。再者，包含在一種類別請求項中的一特徵非意味限於此種類，而是視情況，指示該特徵同樣地適用於其他類別請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。

所述方法可提供：

一種用於產生一影像信號的設備，該設備包含： 一接收器(401)，其用於接收從不同觀看姿態表示一場景的複數個來源影像； 一組合影像產生器(403)，其用於從該等來源影像產生複數個組合影像，各組合影像導出自該複數個來源影像中之一組至少兩個來源影像，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置； 一評估器(405)，其用於判定針對該複數個來源影像之元素的預測品質測量，針對一第一來源影像之一元素的一預測品質測量指示該第一來源影像中針對該元素中之像素的像素值與針對該元素中之像素的所預測像素值之間的一差，該等所預測像素值係得自於來自該複數個組合影像的該元素中之像素之預測的像素值； 一判定器(407)，其用於判定該等來源影像之片段，該等來源影像包含該預測品質測量指示高於一臨限值之一差的元素；及 一影像信號產生器(409)，其用於產生一影像信號，該影像信號包含表示該等組合影像的影像資料及表示該等來源影像之該等片段的影像資料。

一種用於接收一影像信號的設備，該設備包含： 一接收器(501)，其用於接收一影像信號，該影像信號包含： 複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置； 影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值；及 一處理器(503)，其用於處理該影像信號。

一種產生一影像信號的方法，該方法包含： 接收從不同觀看姿態表示一場景的複數個來源影像； 從該等來源影像產生複數個組合影像，各組合影像導出自該複數個來源影像中之一組至少兩個來源影像，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置； 判定針對該複數個來源影像之元素的預測品質測量，針對一第一來源影像之一元素的一預測品質測量指示該第一來源影像中針對該元素中之像素的像素值與針對該元素中之像素的所預測像素值之間的一差，該等所預測像素值係得自於來自該複數個組合影像的該元素中之像素之預測的像素值；判定該等來源影像之片段，該等來源影像包含該預測品質測量指示高於一臨限值之一差的元素；及 產生一影像信號，該影像信號包含表示該等組合影像的影像資料及表示該等來源影像之該等片段的影像資料。

一種處理一影像信號的方法，該方法包含： 接收一影像信號，該影像信號包含： 複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置；影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值；及 處理該影像信號。

一種影像信號，其包含：複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置；影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值。

次請求項之特徵可應用於這些方法。

1:背景區域/攝影機/來源視圖/攝影機/視圖/位置 2:攝影機/區域/攝影機/來源視圖/位置 3:區域/攝影機/來源視圖/攝影機/視圖/位置 4:區域/攝影機/來源視圖/攝影機/視圖/位置 5:位置/來源視圖 6:位置/來源視圖 7:位置/來源視圖 8:位置/來源視圖 101:遠端VR用戶端裝置/用戶端裝置 103:VR伺服器/伺服器/影像產生器 105:網路 400:影像信號傳輸器 401:影像來源接收器/輸入來源接收器 403:組合影像產生器 405:評估器 407:判定器 409:影像信號產生器 500:影像信號接收器 501:影像信號接收器 503:影像處理器 601:方向/軸 801:第一射線原點/第一位置/射線原點 803:第二射線原點/第二位置/射線原點 1301:圓 1303:射線姿態 A:實例 B:實例 C:中心點 bg:背景 c1:攝影機 c3:攝影機 c4:攝影機 dmax:最大距離 dmin:最小距離 fg1:前景物體 fg2:前景物體 p1:偏移距離 p2:偏移距離 p3:偏移距離 p4:偏移距離 rc:射線/射線方向

將僅以舉例之方式參考圖式描述本發明的實施例，其中 ［圖1］繪示用於提供虛擬實境體驗之配置的實例； ［圖2］繪示場景的攝取配置的實例； ［圖3］繪示場景的攝取配置的實例； ［圖4］繪示根據本發明之一些實施例之設備之元件的實例； ［圖5］繪示根據本發明之一些實施例之設備之元件的實例； ［圖6］繪示根據本發明之一些實施例之像素選擇的實例；及 ［圖7］繪示根據本發明之一些實施例之像素選擇的實例。 ［圖8］繪示根據本發明之一些實施例產生的組合影像的射線姿態配置之元素的實例； ［圖9］繪示根據本發明之一些實施例產生的組合影像的射線姿勢配置之元素的實例； ［圖10］繪示根據本發明之一些實施例產生的組合影像的射線姿勢配置之元素的實例； ［圖11］繪示根據本發明之一些實施例產生的組合影像的射線姿勢配置之元素的實例； ［圖12］繪示根據本發明之一些實施例產生的組合影像的射線姿態配置之元素的實例；及 ［圖13］繪示根據本發明之一些實施例產生的組合影像的射線姿態配置之元素的實例。

400:影像信號傳輸器

401:影像來源接收器/輸入來源接收器

403:組合影像產生器

405:評估器

407:判定器

409:影像信號產生器

Claims (18)

1. 一種用於產生一影像信號的設備，該設備包含： 一接收器(401)，其用於接收從不同觀看姿態表示一場景的複數個來源影像； 一組合影像產生器(403)，其用於從該等來源影像產生複數個組合影像，各組合影像導出自該複數個來源影像中之一組至少兩個來源影像，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態； 一評估器(405)，其用於判定針對該複數個來源影像之元素的預測品質測量，針對一第一來源影像之一元素的一預測品質測量指示該第一來源影像中針對該元素中之像素的像素值與針對該元素中之像素的所預測像素值之間的一差，該等所預測像素值係得自於來自該複數個組合影像的該元素中之像素之預測的像素值； 一判定器(407)，其用於判定該等來源影像之片段，該等來源影像包含該預測品質測量指示高於一臨限值之一差的元素；及 一影像信號產生器(409)，其用於產生一影像信號，該影像信號包含表示該等組合影像的影像資料及表示該等來源影像之該等片段的影像資料。
2. 如請求項1之設備，其中該組合影像產生器(403)經配置以藉由從該複數個來源影像來視圖合成至少一第一組合影像之像素而產生該複數個組合影像的該第一組合影像，其中該第一組合影像之各像素針對一射線姿態來表示該場景，且該第一影像之該等射線姿態包含至少兩個不同位置。
3. 如請求項2之設備，其中針對該第一組合影像的至少90%之像素，一垂直向量與像素叉積向量之間的一點積係非負值，針對一像素的一像素叉積向量係一像素之一射線方向與從該等不同觀看姿態之一中心點至該像素之一射線位置的一向量之間的一叉積。
4. 如請求項3之設備，其中該組合影像產生器(403)經配置以藉由從該複數個來源影像來視圖合成一第二組合影像之像素而產生該複數個組合影像的該第二組合影像，其中該第二組合影像之各像素針對一射線姿態來表示該場景，且該第二影像之該等射線姿態包含至少兩個不同位置；且 其中對於該第二組合影像的至少90%之像素，該垂直向量與像素叉積向量之間的一點積係非正值。
5. 如請求項2之設備，其中該第一組合影像之該等射線姿態經選擇以鄰近於包含該複數個來源影像之該等不同觀看姿態的一區域之一邊界。
6. 如請求項2或3之設備，其中該第一組合影像之該等射線姿態之各者經判定為小於相距包含該複數個來源影像之該等不同觀看姿態的一區域之一邊界的一第一距離，該第一距離不大於該邊界上之點之間的一最大內部距離的50%。
7. 如前述請求項中任一項之設備，其中該組合影像產生器(403)經配置以針對該複數個組合影像中之一第一組合影像的各像素： 判定一對應像素存在的該等視圖來源影像之各者中的一對應像素，一對應像素係表示與該第一組合影像之該像素相同的一射線方向之像素； 選擇針對該第一組合影像之該像素的一像素值作為在該視圖來源影像中的該對應像素之一像素值，該視圖來源影像的該對應像素表示具有相距該等不同觀看姿態之一中心點的一最大距離之一射線，該最大距離係在沿垂直於該對應像素之一射線方向的一第一軸的一第一方向上。
8. 如請求項7之設備，其中判定該等對應像素包含：重新取樣各來源影像至表示環繞該等觀看姿態的一視圖球體之一表面之至少一部分的一影像表示；及判定對應像素作為在該影像表示中具有一相同位置的像素。
9. 如請求項7或8之設備，其中該組合影像產生器(403)經配置以針對一第二組合影像之各像素： 選擇針對該第二組合影像中之該像素的一像素值作為該視圖來源影像中之該對應像素之一像素值，該視圖來源影像的該對應像素表示在該第一方向之一相反方向上具有相距該中心點的一最大距離之一射線。
10. 如請求項7至9中任一項之設備，其中該組合影像產生器(403)經配置以： 針對一第三組合影像之各像素： 選擇針對該第三組合影像中之該像素的一像素值作為該視圖來源影像中之該對應像素之一像素值，該視圖來源影像的該對應像素表示具有相距該中心點的一最小距離之一射線。
11. 如請求項7至10中任一項之設備，其中該組合影像產生器(403)經配置以： 針對一第四組合影像中之各像素： 選擇針對該第四組合影像中之該像素的一像素值作為該視圖來源影像中之該對應像素之一像素值，該視圖來源影像的該對應像素表示在沿垂直於該對應像素之一射線方向的一第二軸之一第二方向上具有相距該中心點的一最大距離之一射線，該第一軸與該第二軸具有不同方向。
12. 如請求項7至11中任一項之設備，其中該組合影像產生器(403)經配置以產生該第一組合影像的原點資料，該原點資料指示該等來源影像中之哪一者係該第一組合影像之各像素的一原點；且該影像信號產生器(409)經配置以在該影像信號中包括該原點資料。
13. 如前述請求項中任一項之設備，其中該影像信號產生器(403)經配置以在該影像信號中包括來源觀看姿態資料，該來源觀看姿態資料指示該等來源影像之該等不同觀看姿態。
14. 一種用於接收一影像信號的設備，該設備包含： 一接收器(501)，其用於接收一影像信號，該影像信號包含： 複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態； 影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值；及 一處理器(503)，其用於處理該影像信號。
15. 一種產生一影像信號的方法，該方法包含： 接收從不同觀看姿態表示一場景的複數個來源影像； 從該等來源影像產生複數個組合影像，各組合影像導出自該複數個來源影像中之一組至少兩個來源影像，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態； 判定針對該複數個來源影像之元素的預測品質測量，針對一第一來源影像之一元素的一預測品質測量指示該第一來源影像中針對該元素中之像素的像素值與針對該元素中之像素的所預測像素值之間的一差，該等所預測像素值係得自於來自該複數個組合影像的該元素中之像素之預測的像素值； 判定該等來源影像之片段，該等來源影像包含該預測品質測量指示高於一臨限值之一差的元素；及 產生一影像信號，該影像信號包含表示該等組合影像的影像資料及表示該等來源影像之該等片段的影像資料。
16. 一種處理一影像信號的方法，該方法包含： 接收一影像信號，該影像信號包含： 複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態；影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值；及 處理該影像信號。
17. 一種影像信號，其包含 複數個組合影像，各組合影像表示導出自從不同觀看姿態表示一場景的複數個來源影像中之一組至少兩個來源影像的影像資料，一組合影像之各像素針對一射線姿態來表示該場景，且針對各組合影像的該等射線姿態包括至少兩個不同位置，針對一像素的一射線姿態表示針對在該像素之一觀看方向上且始於該像素之一觀看位置的一射線之一姿態；影像資料，其用於該複數個來源影像之一組片段，一第一來源影像的一片段包含該第一來源影像的至少一個像素，針對該至少一個像素，來自該複數個組合影像的該片段之一預測之一預測品質測量低於一臨限值。
18. 一種包含電腦程式碼構件之電腦程式產品，該電腦程式碼構件經調適以當該程式在一電腦上運行時執行如請求項15或請求項16之所有步驟。

Images