TW202042539A - 產生影像信號的設備及方法 - Google Patents

產生影像信號的設備及方法 Download PDF

Info

Publication number
TW202042539A
TW202042539A TW109106393A TW109106393A TW202042539A TW 202042539 A TW202042539 A TW 202042539A TW 109106393 A TW109106393 A TW 109106393A TW 109106393 A TW109106393 A TW 109106393A TW 202042539 A TW202042539 A TW 202042539A
Authority
TW
Taiwan
Prior art keywords
image
images
candidate
image group
prediction
Prior art date
Application number
TW109106393A
Other languages
English (en)
Inventor
巴特 庫倫
吉斯特 巴特 巴瑟洛米斯 威爾赫摩斯 黛米安納斯 凡
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202042539A publication Critical patent/TW202042539A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

一種從一場景之複數個影像產生影像信號的方法執行疊代，該等疊代包含為一候選影像組從一（先前）內含影像組產生(505)預測影像。一經選擇影像組係回應於一預測品質而從候選影像組中選擇(509)。對於各經選擇影像，一像素子集係回應於影像之像素的像素預測品質而判定(511)，以及對應於該經選擇影像的一空間影像組係藉由選擇(511)一像素子集而產生(513)。該經選擇影像係從該候選組刪除，且將該部分影像添加至該內含組。該方法可提供表示一場景之影像資料的一低複雜度及低資源選擇。

Description

產生影像信號的設備及方法
本發明係關於一種產生影像信號的設備及方法，且具體而言，但非排他地，係關於針對相同場景之包含多個影像之影像信號的產生及/或處理。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及「環視」。
此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者例如在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法在例如用於電腦及主控台的遊戲應用（諸如在第一人稱射擊遊戲類別中）係衆所周知的。
亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
大量虛擬實境應用固有地受限於，虛擬實境應用係基於預定場景模型的存在，且一般係基於虛擬世界的人工模型，諸如例如遊戲應用。
然而，希望能提供允許使用者體驗真實世界擷取的虛擬實境體驗。此類應用包括（例如）允許使用者自由地改變在真實世界場景之一表示中的位置及觀看方向的應用。然而，支援此類自由度的要求在許多情況下係難以滿足的，諸如具體地，其中真實世界場景亦係動態變化，且具體而言係一即時場景。例如，提供足夠資料以允許使用者針對對應於（例如）一運動賽事的一實況、即時廣播之場景自由地移動並改變觀看方向通常是不實際或不可行的。因此，其中使用者在移動及/或觀看方向上的自由度的受到限制的應用和體驗正受到越來越多的關注。例如，一運動賽事可為其中一使用者可僅需以相對小的量來移動他的頭部而在一180°範圍內自由旋轉他的頭部來廣播。此種受限移動可減少實質上需要提供之資料的需求。
MAUGEY THOMAS等人已經在「Reference View Selection in DI BR-Based Multiview Coding 」，IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 25, no. 4, 1 April 2016 (2016-04-01), pages 1808-1819, XP011602607 "中發表一種用於在多視圖編碼系統中最佳化參考視圖之選擇的演算法。所描述的是擴增實境、3D場景的交互式導航、多視圖視訊、及其他新興多媒體應用需要大量的影像組，因此與傳統視訊服務相比，需要較大的資料量和更多的資源。在多視圖系統中的影像數目的顯著增加，導致為了在資源受限的環境下提供高品質體驗而在資料表示及資料傳輸中的新挑戰性問題。為了減少資料的大小，近期已提出不同的多視圖視訊壓縮策略。其中大多數使用參考或關鍵視圖的概念，這些參考或關鍵視圖係用於在資料集有高度相關性時估計其他影像。基於測量視圖之間之相似度的一度量，為參考視圖之定位進行一最佳化，使得視圖重建的失真與編碼速率成本兩者最小化。
對於大多數允許針對一場景之不同視點之影像進行本端演現的應用而言的一關鍵問題是如何表示這樣的場景，特別是如何有效地產生、分布、及處理表示真實世界場景的資料，使得一終端使用者裝置具備足夠的資料以本端地產生真實世界（通常為即時）場景視圖影像。一般而言，產生真實世界場景的模型是不可行或不實際的，特別是當服務係支援動態變化場景（例如，一即時事件）時這是不可能的。
在許多系統中，場景可由已由合適擷取設備（諸如，相機）擷取之影像來表示。例如，相機可配置成一給定組態（諸如在一列中），其中每個相機從一給定擷取姿勢擷取場景。來自不同位置的影像可提供場景之不同部分的一表示。例如，一背景物件可能被一前景物件在一些擷取位置遮擋，但在其他擷取位置卻沒有，因此與背景物件有關的資訊可以存在於一些擷取影像中，而不存在於其他擷取影像中。
在許多實務系統中，經擷取影像可由深度資訊來補充，諸如，為在一相關聯的深度圖中為各像素提供的一z值或一視差值。此種一影像+深度表示可視為一3D影像。使用為一視點範圍所提供之影像+深度資訊可具有許多應用，並且為許多場景提供允許本端產生視圖影像之場景的一有利表示。影像+深度資訊可經傳輸至一演現裝置，其可動態地產生一使用者之當前視圖位置及的視圖方向的視圖影像。
然而，儘管包含來自不通擷取位置的複數個影像之一場景的一影像表示可在許多實施例中提供所需的性能及操作，但是為了將影像表示傳達到演現裝置還是傾向需要高資料速率。實際上，直接地分配所有擷取的視圖影像通常是不可行的，因為像素速率（及因此的資料速率）都太高了。直接傳輸所有影像亦是浪費的，因為其包括傳輸大量的冗餘資料。例如，前景物體的前面可從複數個擷取位置看見，且因此物件的視覺資訊將被包括在要經傳輸的複數個擷取影像中。
然而，如何減少所需資料速率的問題是難以解決的一複雜問題。已提出識別並省略一些冗餘資料，並接著在沒有這些冗餘資料的情況下產生影像信號。然而，雖然這樣可能減少資料速率，但是如何具體地實現這一點以使影像品質、資料速率、複雜性、資源需求等盡可能地最佳化是困難的挑戰。
因此，一改善方法將係有利的。特別是，允許改善操作、增加靈活性、改善虛擬實境體驗、減小資料速率、增加效率、促進散佈、降低複雜度、促進實施、增加影像品質、及/或改善效能及/或操作的一種用於藉由來自不同視圖之影像來產生及/或處理表示一場景之一影像信號的一方法將是有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之第一態樣，提供一種產生一影像信號之方法，該方法包含：接收一候選影像組，該候選影像組包含一場景的複數個影像，該候選影像組中的至少一些影像係針對該場景之不同視圖姿勢；選擇該候選影像組的至少一個影像並且起始化一內含影像組以包括該至少一個影像；疊代執行下列步驟：從該內含影像組之該等影像為該候選影像組之該等影像產生預測影像；為該候選影像組之各影像判定一預測品質測量，該候選影像組之第一影像的預測品質測量指示該第一影像與該第一影像之一第一預測影像之間的差異；回應於該等預測品質而從該候選影像組選擇一經選擇影像組；對於該經選擇影像組之各影像，回應於該影像之該等像素的像素預測品質而判定一像素子集；產生對應於該經選擇影像組之一部分影像組，該經選擇影像組之一給定影像的該部分影像僅包含該給定影像之該像素子集的該等像素；將該部分影像組包括在該內含影像組中；以及從該候選影像組移除該經選擇影像組；產生包含該內含影像組中的該等影像之影像資料的該影像信號。
本發明可提供場景之經改善表示。在許多實施例中，可提供一場景之一更有效率表示，例如，允許藉由經減少資料速率來達成給定品質。
在許多實施例中，該方法可將具有適於用於不同視圖位置/姿勢之視圖影像的一彈性、有效率、及高效能本端產生的一場景之一表示提供給一改善的影像信號。在許多實施例中，該方法可允許經改善的感知影像品質及/或經減少資料速率。
在許多實施例及情景中，該方法可允許特別有效率及/或低複雜性的一影像信號之產生。
影像可係包含深度資訊的3D影像，諸如具體地是具有相關聯的深度影像/深度圖的一2D影像或紋理圖。回應於預測品質而從候選影像組選擇經選擇影像組，可包括選擇具有被包括在經選擇影像組中的一最低預測品質量之候選影像組的影像。
根據本發明之可選特徵，為第一影像判定預測品質包含：判定第一影像中，第一影像與第一預測影像之對應像素之像素值滿足一相似度標準的複數個像素；回應於複數個像素的一性質而判定第一影像的預測品質。
在許多實施例中，此可提供一特別有利的方法。
根據本發明之可選特徵，性質係一像素數目，及預測品質係在複數個像素中像素數目的一單調遞增函數。
根據本發明之可選特徵，判定像素子集包含從不包括在影像之複數個像素中的第一影像的像素來判定第一影像的一像素子集。
根據本發明之可選特徵，為該經選擇影像組的一第一經選擇影像判定該像素子集包含：為排除該經選擇影像組之該候選影像組的至少一候選影像：為至少一候選影像的像素判定指示以下的一誤差變化：在該至少一候選影像之一像素與對於基於該內含影像組與該第一選擇影像之該像素之一預測相對於僅基於內含影像組之該像素之一預測的一預測像素之間之一差異變化；以及為該第一經選擇影像產生一誤差變化影像，該誤差變化影像包含藉由從該至少一候選影像的一視圖姿勢至該第一經選擇影像之一視圖姿勢的一視圖姿勢偏移從該至少一候選影像之誤差變化來判定的像素值；以及回應於該誤差變化影像而選擇該像素子集。
在許多實施例中，此可提供一特別有利的方法。其可以特別提供一種用於為部分影像基於像素包含的程度可以改善其他影像的預測來選擇像素的一有效方法。
回應於該誤差變化影像選擇該像素子集可例如藉由針對該誤差變化值係指示高於一臨限的改善來選擇像素。
根據本發明之可選特徵，判定該第一經選擇影像之該像素子集包含判定該候選影像組之複數個候選影像的誤差變化，及藉由結合從該第一經選擇影像之該相同像素的不同候選影像所判定的誤差變化值來產生該誤差變化影像。
這可藉由有效率地考慮如何藉由包括一具體像素來改善複數個候選影像的預測來提供改善的性能。
根據本發明之可選特徵，為該候選影像組產生預測影像包含為該候選影像組的一第一候選影像：為該內含影像組中該影像中的各者提供該第一候選影像的中間預測影像；以及藉由組合該等中間預測影像而產生該第一預測影像。
在許多實施例中，這可以允許更有效的預測操作。
根據本發明之可選特徵，該疊代進一步包含：儲存中間預測影像；以及其中提供中間預測影像包含為該內含影像組中已在一前一疊代中為其產生並儲存中間預測影像之影像檢索經儲存的中間預測影像；以及為該參考影像組中在一前一疊代中沒有為其儲存中間預測影像的任何影像預測中間預測影像。
在許多實施例中，此可提供一高度有效率的操作。該方法可允許增量預測，從而實質上減少所需預測操作的量。
根據本發明之可選特徵，該組合係一加權組合，且一像素的一權重取決於該像素的一深度。
根據本發明之可選特徵，當一最低預測品質超過一臨限時停止該疊代。
在其他實施例中，當該候選影像組係空時，可停止疊代。
根據本發明之可選特徵，該選擇影像子集包含在至少一個疊代中的複數個經選擇影像。
根據本發明之可選特徵，該等影像係一視訊序列之圖框，且該方法包括使用用於複數個圖框之該內含影像組的一配置。
在許多實施例中，此可提供改善的時間一致性。
根據本發明之可選特徵，該方法進一步包含產生對應於該像素子集的一遮罩以及回應於將一空間濾波器應用至該遮罩而修改像素子集。
根據本發明之另一態樣，提供一種產生一影像信號之設備，該設備包含：一接收器，其用於接收一候選影像組，該候選影像組包含一場景的複數個影像，該候選影像組中的至少一些影像係針對該場景之不同視圖姿勢；一參考選擇器，其用於選擇該候選影像組的至少一個影像並且起始化一內含影像組以包括該至少一個影像；一疊代器，其用於疊代執行下列步驟：從該內含影像組之該等影像為該候選影像組之該等影像產生預測影像；為該候選影像組之各影像判定一預測品質測量，該候選影像組之第一影像的預測品質測量指示該第一影像與該第一影像之一第一預測影像之間的差異；回應於該等預測品質而從該候選影像組選擇一經選擇影像組；對於該經選擇影像組之各影像，回應於該影像之該等像素的像素預測品質而判定一像素子集；產生對應於該經選擇影像組之一部分影像組，該經選擇影像組之一給定影像的該部分影像僅包含該給定影像之該像素子集的該等像素；將該部分影像組包括在該內含影像組中；以及從該候選影像組移除該經選擇影像組；一輸出電路，其用於產生包含該內含影像組中的該等影像之影像資料的該影像信號。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
允許使用者在一虛擬世界中四處移動的虛擬體驗已變得越來越流行，且正在開發服務以滿足此需求。然而，提供有效率的虛擬實境服務非常具挑戰性，尤其若體驗係基於擷取真實世界環境，而非基於完全虛擬地產生的人工世界。
在許多虛擬實境應用中，判定反映場景中之虛擬觀看者之姿勢的觀看者姿勢輸入。然後，虛擬實境設備/系統/應用針對對應於該觀看者姿勢的觀看者，產生對應於場景之視圖及視埠的一或多個影像。
一般而言，虛擬實境應用產生呈用於左眼及右眼的分開視圖影像形式的三維輸出。然後，這些視圖影像可藉由合適手段（諸如一般而言，VR頭戴裝置之個別左眼顯示器及右眼顯示器）來呈現給使用者。在其他實施例中，影像可例如呈現在一裸視立體(autostereoscopic)顯示器上（在此情況中，可針對觀看者姿勢產生較大數目個視圖影像），或實際上在一些實施例中，可產生僅單一二維影像（例如，使用習知二維顯示器）。
在不同應用中，可以不同方式判定觀看者姿勢輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之移動的（例如，視覺）識別符。
在一些系統中，可藉由手動方段來提供觀看者姿勢，例如，由使用者手動控制操縱桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一類比操縱桿而使虛擬觀看者在場景內四處移動，且以另一手來手動移動第二類比操縱桿而手動控制虛擬觀看者的觀看方向。
在一些應用中，可使用手動及自動化方法之組合來產生輸入觀看者姿勢。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。
影像之產生係基於虛擬世界/環境/場景的合適表示。在一些應用中，可提供場景的完整三維模型，且可藉由評估此模型來判定來自特定觀看者姿勢之場景的視圖。在其他系統中，場景可由對應於從不同擷取姿勢所擷取之視圖的影像資料來表示，且具體地可由具有相關聯深度的複數個來源影像表示，其中各影像表示來自不同視點的場景。在此類方法中，可藉由三維影像處理（具體而言，諸如使用視圖移位演算法）產生用於除該（等）擷取姿勢外的姿勢之視圖影像。在其中藉由經儲存用於離散視點/位置/姿勢的視圖資料來描述/參考場景的系統中，這些離散視點/位置/姿勢亦可稱為錨點視點/位置/姿勢。一般而言，當已藉由擷取來自不同點/位置/姿勢的影像來擷取真實世界環境，這些擷取點/位置/姿勢亦係錨點/位置/姿勢。
據此，典型的VR應用：針對目前觀看者姿勢之場景而以動態更新的影像來提供（至少）對應於視埠的影像，以反映觀看者姿勢之變化；及以基於表示虛擬場景/環境/世界的資料所產生的影像來提供對應於視埠的影像。
在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、相機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別屬性。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。
許多VR應用係基於具有最大自由度（即，位置及定向之各者的三個自由度導致總共六個自由度）的姿勢。因此姿勢可藉由代表六個自由度的一組六個值或六個值的向量表示，且因此姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。
姿勢可係定向及位置之至少一者。姿勢值可指示定向值及位置值之至少一者。
基於提供最大自由度給觀看者之系統或實體一般稱為具有6個自由度(6DoF)。許多系統及實體僅提供定向或位置，且這些系統及實體一般已知為具有3個自由度(3DoF)。
在一些系統中，VR應用可藉由例如從一遠端裝置/伺服器接收場景資料（與一本端觀看者的特定觀看者姿勢無關）且然後為本端觀看者的特定當前視圖本端地產生視圖影像的一獨立裝置來本端地提供給一觀看者。因此，在許多應用中，尤其是對於廣播服務，來源可依獨立於觀看者姿勢的場景之影像（包括視訊）表示的形式來傳輸場景資料。例如，可接收包含複數個擷取視圖影像及相關聯深度圖的一影像表示。然後，個別用戶端可本端地合成對應於目前觀看者姿勢的視圖影像。
特別吸引關注的特別應用係其中支援有限量的移動，使得所呈現之視圖經更新以遵循對應於僅作小頭部移動及頭部之旋轉的實質上靜態觀看者之小移動及旋轉。例如，觀看者坐下時會轉動其頭部且稍微移動頭部，其中所呈現之視圖/影像經調適以遵循這些姿勢變化。此種方法可提供高度且身歷其境的例如視訊體驗。例如，觀看體育事件的觀看者可感覺到其身在比賽場中的特定點處。
此類有限的自由度應用具有提供經改善體驗的優點，同時不需要從許多不同位置獲得場景之準確表示，從而實質上減少擷取需求。類似地，可實質上減少需要提供給演現器的資料量。實際上，在許多情景中，僅需要提供單個視點的影像與一般深度資料，其中本端演現器能夠從此產生所欲視圖。為了支援頭部旋轉，通常希望藉由所提供之資料來表示來自視點的大面積視圖，且較佳地，藉由所提供之影像及深度資料來覆蓋置中於該視點上的視圖球體之整個表面。
具體而言，該方法可高度適用於其中資料需要透過頻寬有限的通訊頻道將資料從來源傳達至目的地的應用（例如，諸如用於廣播或用戶端伺服器應用）。
圖1繪示其中遠端VR用戶端裝置101與VR伺服器103例如經由網路105（諸如網際網路）聯絡的VR系統的此一實例。伺服器103可經配置以同時支援潛在大量的用戶端裝置101。
VR伺服器103可例如藉由傳輸用於複數個視點的影像資料及深度，然後其中用戶端裝置經配置以處理此資訊以本端合成對應於目前姿勢的視圖影像，來支援廣播體驗。
為了提供一有效率的分布，期望對於一給定影像品質將資料速率保持盡可能的低，並因此可具體地包括尋求減少所產生的冗餘資料量。
圖2繪示用於產生一影像信號之一設備的一實例，該影像信號包括來自不同視圖姿勢（錨點姿勢）之該場景之複數個影像的一表示。該設備亦將稱為一影像信號傳輸器200。影像信號傳輸器200可例如包含在圖1的VR伺服器103中。
圖3繪示用於基於所接收的影像信號來演現視圖影像之一設備的一實例，所接收的影像信號包括場景之複數個影像的一表示。設備可具體地接收由圖2之設備所產生的資料信號，並繼續處理此信號以渲染特定視圖姿勢的影像。圖3之設備亦將稱為一影像信號接收器300。影像信號接收器300可例如被包含在圖1的用戶端裝置101中。
影像信號傳輸器200包含一影像來源接收器201，該影像來源接收器係經配置以接收場景之複數個來源影像。來源影像可表示來自不同擷取姿勢之場景的視圖。例如，來源影像可包含來自一列等距擷取姿勢的影像。
在許多實施例中，來源影像可係包含具有相關聯深度資訊之2D影像的3D影像。2D影像可具體地係來自對應的擷取姿勢之場景之視埠的視圖影像，並且2D影像可伴隨有包含2D影像之各像素之深度值的一深度影像或深度圖。2D影像可係一紋理圖。
深度值可例如為視差值或距離值，例如由一z座標指示。在一些實施例中，來源影像可為以具有相關聯3D網格的一紋理圖之形式的一3D影像。在一些實施例中，可在由影像信號傳輸器200進一步處理之前，由影像來源接收器將此紋理圖及網格表示轉換為影像加上深度表示。
影像來源接收器201因此接收特徵化及表示來自不同姿勢之場景的複數個來源影像。此一來源影像組將允許使用諸如本領域具通常知識者已知的視圖偏移之演算法為其他姿勢產生視圖影像。因此，影像信號傳輸器200經配置以產生包含來源影像之影像資料的一影像信號，並傳輸此資料至用於本端演現的一遠端裝置。然而，直接傳輸所有來源影像將需要不可行的高資料速率，並且將包含大量的冗餘資訊。
影像信號傳輸器200係經配置以藉由產生已移除冗餘資訊的部分影像來減少資料速率。隨後將部分影像組合並編碼以產生影像信號。
影像源接收器201係經耦接至一像素選擇器203，該像素選擇器係經配置以從源影像產生一影像組，其中影像組中的至少一者係一部分影像。像素選擇器203可藉由選擇來源影像中的像素子集來產生來源影像之一個或通常大部分（或甚至全部）的部分版本來產生部分影像組以包括在影像信號中。一部分影像亦稱為一經調整影像，且用以產生其一部分影像之一影像之一像素子集的選擇將亦稱為調整影像。
因此，像素選擇器203之輸出可係對應於來源影像的一經調整或部分影像組，但是一個或通常大部分的影像為對應來源影像的部分版本。像素選擇器203尋求選擇此像素子集以包括在一部分影像中，使得所產生之部分影像組之整體冗餘經減少或較佳地最小化。所產生的部分影像亦可包括尚未調整的一或多個原始來源影像。
像素選擇器203係耦接至一影像產生器205，其係經饋送部分影像組。影像產生器205係經配置以將部分影像組合成經組合影像，其中各影像可表示一或多個部分影像。具體地，一經組合影像可包括源自複數個部分影像的像素。例如，來自一個部分影像之像素可經插入至另一部分影像的未經使用區域中。影像產生器205可視為將部分影像包裝至更密集打包的組合影像中。
影像產生器205產生較少的較不稀疏影像。組合影像組係經饋送至一編碼器207，編碼器繼續執行影像的編碼。由於影像產生器205已減少要傳輸之影像的數目，因此一般實現更有效率的編碼。此外，一般而言可執行將部分影像打包至組合影像中，使得所得影像係高度適用於編碼。
方法的一特定優點在於由部分影像表示的場景係以允許藉由編碼器207執行習知影像及視訊編碼方法的方式達成。例如，在許多實施例中，可使用諸如高效率視訊編碼(HEVC)（也稱為H.265和MPEG-HMPEG-H Part 2）或聯合視頻探索小組(JVET)開發的通用視頻編碼（VVC）的編碼格式。
因此，圖2之影像信號傳輸器200可提供一種有效率的方法，其用於產生表示自視圖姿勢之範圍之一場景的一有效影像信號。
影像信號係傳輸至一影像信號接收器300，影像信號接收器包含一解碼器301，該解碼器係配置以接收影像信號並將其解碼以產生饋送至編碼器207的組合影像組。因此，解碼器301可經配置以根據編碼器207所使用的標準執行一解碼，例如藉由執行HEVC或VVC編碼。
將應理解到影像信號傳輸器200及影像信號接收器300進一步包含用於傳達影像信號之所需功能，包括用於編碼、調節、傳輸、接收該影像信號等的功能。將理解到此類功能將取決於個別實施例的偏好及需求，且此類技術將為所屬技術領域中具有通常知識者所已知，且因此為了清楚及簡潔起見將不會在本文中進一步討論。
解碼器301係耦接至一影像檢索器303，其經配置以從所接收之經組合影像檢索部分影像。因此，影像檢索器303可執行影像產生器205之反向功能以將一組合影像之像素劃分成個別部分影像。因此，儘管組合影像一般包含對應於複數個不同視點或姿點的像素，但是產生部分影像使得各影像包含僅源自一個來源影像且因此僅對應於一個視圖姿勢的像素。
在許多實施例中，影像信號亦包含一或多個完整來源影像，並且影像檢索器303的輸出因此提供對應於來源影像的影像組，且因此可以自視圖姿勢的一範圍表示場景，其中一或多個影像只是部分影像。然而，來自一給定部分影像的遺失部分一般地對應於可從影像檢索器303輸出的影像組之其他影像中獲得的冗餘資訊。
影像被饋送至第一演現器305，其經配置以基於所接收到之發出的部分影像（及任何完整影像）產生新的視圖影像。這些影像對應於原始來源影像。將理解到可使用用於演現對應於一給定觀看者姿勢之一視圖影像的任何合適演算法。例如，第一演現器305可經配置以基於一所接收的完整來源影像而首先產生一視圖影像。導因於改變的視點，這通常可能由於遮蔽而導致數個孔。接著，可使用來自部分影像之資料來填充這樣的孔。應理解的是所屬技術領域中具有通常知識者將理解到許多不同演算法及基於來自其他視點的影像來合成用於特定目的之視圖的方法，並且第一演現器305可實施任何合適的演算法。
在一些實施例中，影像信號接收器300可包括一第二演現器307，其經配置以從所接收的經組合影像直接合成視圖影像。在許多實施例中，影像信號接收器300將包含第一演現器305及檢索器303、或第二演現器307。應理解到第二演現器307可使用針對一給定觀看者姿勢來演現視圖影像之任何合適的方法。
第一演現器及第二演現器可使用相同的合成方法及參數，其可為有利的，因為其可增加預測值。
基於部分影像（諸如，圖2及圖3之方法）的一方法之一特別關鍵問題係如何產生部分影像及如何選擇哪些像素要包括在部分影像中的問題。圖4繪示像素選擇器203之一可能實施方式之元件的一實例，其在許多實施例及情景中可提供一特別有利且有效之從一來源影像組產生一部分影像組。圖5繪示影像信號傳輸器200之操作之方法的一實例，其特別強調圖4之像素選擇器203上的操作。然而，應理解到圖4及圖5之方法可適用於除了圖2和圖3之影像信號傳輸器200及影像信號接收器300之外的其他實施例。
像素選擇器203之方法係具體地基於輸入來源影像的疊代處理。產生一候選影像組，其包含尚未處理的影像（且被起始化為包含所有來源影像）。然後疊代地進行該處理以選擇一或多個候選影像，並在已調整後將其等添加到一內含影像組。因此，疊代地選擇、調整候選影像、並將其移動至次級識別符。該方法可提供一種選擇如何調整影像的有效方式，特別是如此做之順序，為了提供一經選擇之調整或部分的影像組，其可提供場景的一更準確及完整的表示以用於本地地產生視圖影像。
如前所述，影像來源接收器201接收一組影像，該組影像包含場景的複數個影像，並且這些影像中的至少一些（通常是全部）係針對場景的不同視圖姿勢。影像可具體地係包含一2D影像/紋理圖及相關聯深度圖的3D影像。
像素選擇器203包含執行步驟501的一輸入接收器401，其從影像來源接收器201接收來源影像組。因此，輸入接收器401接收一來源影像組，該來源影像組一般係用於一視圖範圍的紋理圖與深度圖。輸入接收器401起始化候選影像組（為了簡潔起見，該組簡稱為候選組）。
輸入接收器401係耦接至執行步驟503的一參考選擇器403，其中藉由選擇一或多個候選影像並將其（其等）包括在內含影像組來起始化內含影像組。該內含影像組包含候選影像的影像（一般為部分影像），影像資料係包括在由影像信號傳輸器200所產生之影像信號中。於步驟503中，藉由一般地選擇一候選影像作為一內含影像來起始化內含影像組。
選擇的影像係一般地包括為一全部影像，且因此包括選擇的（多個）影像之所有像素。選擇的影像可一般地提供比其他任何內含影像更多場景資訊（因為這些影像一般為部分影像）並且可視為用於藉由一遠端演現器做影像合成的一初始參考影像，以及作為選擇其他內含影像和判定哪些對應的候選影像之像素應為部分影像而被選擇的參考。
應理解到可使用不同的方法及標準為內含影像組選擇初始參考影像。在一些實施例中，參考選擇器403可簡單地選擇對應於最中心影像的候選影像。在其他實施例中，可基於相關聯之深度圖的一分析來選擇參考影像。例如，為了選擇包括盡可能多的背景的一影像，可選擇具有深度大於給定臨限之最大數目像素的候選影像。
在一些實施例中，（多個）參考影像可例如基於不同候選影像之視埠的一視埠相似度。例如，可例如藉由從一個視圖（即，一個來源影像/擷取姿勢）取樣一像素組並且將其等投影至另一視圖，接著判定這個合成的影像與原始影像之間的相似度來計算一視埠相似度。該度量可藉由在相反方向上重複該處理使其對稱。
作為一相似度測量的一實例，可判定經合成及原始像素值之間的差異，並且可以在整個影像/視埠中將其平均。作為另一實例，可將低於一給定臨限之一誤差的像素數目進行計數，並且可以將此種像素的數目用作一相似度測量。
可為所有於其他候選影像執行對於一給定候選影像的處理，並且可以將相似度測量結合至候選影像的一個單一相似度測量。可進一步為全部（或一些）的候選影像重複該處理，並且最終地可以將候選影像選擇為總體上具有最高相似度的一個。
因此，可以選擇參考影像作為允許其他候選影像之最佳平均預測/視圖合成的影像。
選擇器403係耦接至一疊代器405，其係經配置以疊代地擴展內含影像組以包括候選影像之部分版本。在各疊代中，選擇候選影像之子集、一般是其中一個以包括在內含影像組中。對於各選擇的候選影像，產生一部分影像並將其添加至內含影像組，並且從候選影像組移除所選擇的候選影像。
在一些實施例中，疊代器405繼續進行處理，直到所有候選影像已被選擇為止。在其他實施例中，在選擇所有候選影像之前，疊代處理可能會停止。
疊代處理可能導致選擇影像的順序根據影像的特性而變化。由於部分影像取決於先前選擇的影像（及已包括在內含影像組中的部分影像），不同的順序可導致不同的部分影像。疊代處理尋求以導致產生可能降低資料速率之部分影像的一順序來選擇候選影像，且具體地適用於由編碼器207進行有效率的影像編碼。在許多實施例中，疊代處理可尋求減少部分影像中包含之像素的數目。
疊代在步驟505開始，其中疊代器405為來自內含影像組之影像的候選影像組之影像產生預測影像。對於來自內含影像組之一第一內含影像的候選影像組之第一候選影像的一預測影像可以係用於來自第一內含影像藉由視圖合成產生的第一候選影像之視圖姿勢的影像。由於第一內含影像及第一候選影像對應於不同視圖姿勢的來源影像，因此視圖合成包括一視圖姿勢偏移，且一般包括視圖位置偏移。視圖合成可係視圖偏移影像合成。因此，對於來自一第一內含影像之一第一候選影像之預測影像可係反映可以從第一內含影像中預測/估計來自候選影像之視圖姿勢的視埠之程度的一影像。
從一第二影像對一第一影像的一預測可具體地係基於第二影像（及此視圖姿勢）在第一影像的視圖姿勢處的一影像之一視圖合成。因此，從第二影像預測第一影像的一預測操作可係第二影像的一視圖姿勢從與其相關聯的視圖姿勢到第一影像的一視圖姿勢偏移。
應理解到在不同實施例中，可使用用於視圖合成及預測的不同方法及演算法。在許多實施例中，可使用一視圖合成/預測演算法，該視圖合成/預測演算法採用將為其產生之合成影像的一合成視圖姿勢作為一輸入，並且複數個輸入影像之各者與一不同視圖姿勢相關聯。視圖合成演算法可接著基於一般包括一紋理圖與深度兩者的輸入影像產生用於此視圖姿勢之合成影像。
許多此種演算法係已知的，且可使用任何合適的演算法而不背離本發明。作為此種方法的一實例，可首先對於各輸入影像產生中間合成/預測影像。這可例如藉由首先基於影像之深度圖產生輸入影像的一網格來達成。接著可基於幾何計算將網格從輸入影像之視圖姿勢撓曲/轉移至合成視圖姿勢。然後可將所得網格的頂點投射至中間合成/預測影像上，並將紋理圖覆蓋此影像。此一處理可以例如使用從（例如）標準圖形管線中已知的頂點處理和片段著色器來實施。
以此方式，可對於各輸入影像產生用於合成視圖姿勢的一中間合成/預測影像（此後只是中間預測影像）。
然後可（例如）藉由一加權組合/總和或藉由一選擇組合將中間預測影像組合在一起。例如，在一些實施例中，可藉由從最遠的中間預測影像中選擇像素來產生合成視圖姿勢的合成/預測影像的各像素，或者可藉由對所有中間預測影像之對應的像素值進行加權求和來產生像素，其中一給定中間預測影像的權重取決於為該像素判定的深度。組合操作亦稱為一摻合操作。
在步驟505中，疊代器405可因此繼續基於內含影像組中之影像（即，對於各已經內含的影像）而產生一第一候選影像之一預測影像。預測可因此（除了一般的第一疊代）基於其中一些影像為部分影像的複數個影像。
一視圖合成器可例如繼續藉由將各內含影像偏移到第一候選影像之視圖姿勢來為各內含影像產生一中間影像。接著，藉由摻合這些中間預測影像來產生第一候選影像的預測影像。由於一些影像係僅包含一像素子集之影像資料的部分影像，因此對於至少一些像素的摻合/組合將僅包含來自一中間預測影像子集的像素（即，中間預測影像亦可係部分影像）。 因此，對於第一候選影像，基於內含影像（即，基於已經在內含影像組中的影像）產生一第一預測影像。此預測影像可因此反映可從已經選擇為影像信號之部分的影像資料來預測第一候選影像。可為所有候選影像重複該處理，因此可為各候選影像產生預測影像，且因此步驟505基於已選擇的內含影像為各候選影像產生一預測影像。
然後疊代器405進行到其中為各候選影像判定一預測品質的步驟507，其中一給定候選影像的預測品質測量係候選影像與對於候選影像的預測影像之間之差異的一測量指示。
因此，預測品質測量係一測量，其中一增加的值可指示從（已）內含影像組至候選影像之預測的一改善品質。預測品質測量可藉由直接地比較預測影像與候選影像來判定。例如，一預測品質測量可經判定為候選影像與預測影像之對應的（相同位置）像素值之間的一平均或累積誤差。作為另一實例，一預測品質可經判定為其中候選影像與預測影像之像素值之間的一差異超過一臨限值的像素數目。應理解到可在其他實施例中使用其他預測品質測量。
因此，在步驟507結束處，為各候選影像判定一預測品質測量，其反映來自內含影像組之影像的候選影像之預測的品質。
步驟507之後接著步驟509，其中疊代器405進行回應於預測品質而從候選影像組選擇一經選擇影像組。疊代器405可具體地選擇一預定數目的候選影像作為具有最低預測品質測量的候選影像，即選擇由已經內含的影像所預測最差之一預定數目的候選影像。
然後，疊代器405繼續對於所選擇的（多個）影像判定一經調整的或部分影像，其接著將其從候選影像組移出。在許多實施例中，在各疊代中僅選擇一單一候選影像，並為了清楚及簡潔起見，下文的描述將聚焦在此方法上，但應理解到所選擇的一單一候選影像的參考可延伸至包括所選擇的複數個影像的一子集。
步驟509之後接著其中該疊代器405產生對應於經選擇影像的一部分影像的步驟511，其中部分影像僅包含所選擇影像的一像素子集。
具體而言，疊代器405可以繼續選擇所選擇的候選影像的一像素子集。應理解到可使用不同的方法與演算法來選擇哪些像素包括在子集中及哪些像素被排除。像素子集係回應於像素預測品質而選擇，且具體的是可判定各像素之像素預測品質的一測量或指示。像素預測品質測量可指示像素可被預測程度（一般從其他包內含影像），及/或可指示其他影像之預測的改善可藉由包括在子集中的像素來達成。疊代器405可基於像素預測品質測量是否符合一準則來選擇要包括在子集中或從子集中排除的像素。
在許多實施例中，像素之選擇可基於預測影像與所選擇影像之像素值之間的一差異。例如，若在候選影像中的預測值與實際值之間的差異超過一臨限值，則像素可被包括在子集中，否則像素不包括在子集中。
如下文將進一步敘述，在一些實施例中，可使用更加複雜的方法，包括評估如何藉由在部分影像中包括一像素來改善其他影像的預測。
在一些實施例中，可回應於預測影像中第一像素之預測值與候選影像中之像素的值之間的差異之一測量超過一臨限值的判定而選擇候選影像的一第一像素。
在一些實施例中，可為各像素判定一預測改善測量，其指示藉由在預測中包括像素之其他候選影像之（一或多個）像素的預測改善。然後可回應於預測改善測量，（例如）藉由選擇預測改善測量高於一臨限的像素來選擇子集。
因此，為候選影像產生一部分影像，其僅包含一像素子集的影像資料。部分影像可藉由丟棄候選影像中的一互補像素子集而產生。丟棄像素可係藉由在部分影像中不包括像素值的資訊，以及（例如）將對應的像素值設定為一固定值（例如，零）或獨立於候選影像中的像素值的值。一種用丟棄像素的方法是將其等不包括在影像產生器205所產生的組合影像中。部分影像之產生可具體地被視為對應於一調整遮罩產生，該調整遮罩可以用僅包含未被遮罩遮蔽之像素的部分影像覆蓋候選影像。
步驟511之後接著是步驟513，其中將部分影像（或在選擇多於一個候選影像的情況下係部分影像）添加至內含影像組。步驟513之後接著是步驟515，其中所選擇的（多個）影像係從候選影像組移除。
因此，疊代可具體地評估內含影像組以找出一或多個影像，其在被調整以產生一部分影像之後將其移動至內含影像組。
步驟515之後接著是步驟517，其評估是否應當執行進一步的疊代。若是，處理返回步驟505並且起始一新的疊代。否則，步驟517之後接著是步驟519，其中影像信號係由影像產生器205及編碼器207產生，以包含內含影像組。
如先前所提及，在一些實施例中，可執行疊代直到候選影像組係空的，即，直到已選擇所有候選影像。
在其他實施例中，該方法可繼續進行，直到所有剩餘候選影像之預測誤差低於一給定臨限。在此情況中，可以認為可以充分準確地預測所有視圖，並且不需要其他影像資料。在此實施例中，可以在判定預測品質測量的步驟505之後，做出是否可執行另一疊代的決定。若最低預測品質測量高於一給定臨限，則可具體地停止疊代。
（多個）候選影像及包括在部分影像中的像素子集之選擇係藉由與其他（具體來說是已經包括的）影像的關係的考量並回應於該選擇的預測影響的考量來執行。
已發現該方法傾向於導致高度適用於編碼及傳輸的內含影像組。已發現該方法實質上降低一給定所需影像品質的資料速率。同時，疊代方法允許以低計算需求實施特別有效且低複雜度的實施方案。
在一些實施例中，步驟507中預測品質測量的判定可藉由如上所述之藉由選擇和計數其預測誤差係低於一給定臨限的像素的數目來完成。
具體地，疊代器405可判定第一候選影像中，第一候選影像與候選影像之預測影像的對應像素之像素值滿足一相似度標準之複數個像素。因此，可判定充分良好預測的像素，且回應於複數個像素的性質來判定第一候選影像的預測品質測量，例如為複數個像素中之像素數目之一單調遞增函數。因此，由於已經被充分良好預測的像素數目的增加，預測品質測量可以增加。
該方法係因此基於選擇符合一相似度標準的一像素子集。在一些實施例中，步驟513中所判定的像素子集可以基於在步驟507中判定的子集來判定。
具體地，包括在部分影像中的像素子集可從不包括在滿足相似度需求之複數個像素中候選影像之像素來產生。因此，可使用相同的考量、準則、及方法來判定用於選擇候選影像的預測品質測量，並用於產生此影像的子集/調整遮罩。因將相同的操作用於這兩個目的時，這不僅可以在許多實施例中降低複雜度並減少計算資源的使用，而且在許多實施例中因為選擇直接與作為選擇之一結果將包括在影像信號中的影像資料量有關也可提供一改善選擇。
例如，影像信號傳輸器200可繼續產生用於各候選影像的一調整遮罩，從而將候選影像分割成滿足相似度標準的一第一像素子集及不滿足相似度準則的一第二子集。第一子集中的像素數目可被判定並用作為一預測品質測量。具體地，具有最低預測品質測量的候選影像對應於在第一子集中的最低像素數目及在第二子集中的最高像素數目。部分影像接著係藉由僅包括第二子集之像素並丟棄第一子集之像素來產生，例如藉由將其像素值設定為一固定值（例如，0）。
在一些實施例中，影像信號傳輸器200可在步驟511中可藉由考慮將由於包括單一像素而導致的剩餘候選影像的預測改善/誤差變化（即，預測像素值與正確值之間的差異）來選擇部分影像的像素。具體地，影像信號傳輸器200可對於在所選擇影像中的一給定第一像素藉由在預測處理中包括第一像素來判定其他候選影像之像素的一預測品質改善。若此預測品質改善高於一臨限，則接著將第一像素包括在產生的部分影像中。
可藉由下列程序具體判定預測品質改善。
針對來自內含影像組及所選擇影像之各剩餘候選影像而產生第一預測，即藉由進一步考慮在步驟509中所選擇的影像為候選影像產生預測。因此，與步驟505中的預測相反，步驟513為各候選影像產生一新的預測，其亦基於在步驟509中選擇的影像。例如，對於一第一剩餘候選影像，疊代器405基於在來自先前疊代之內含影像組中的所有影像以及來自此疊代之所選擇影像來產生一預測影像。
對於此第一剩餘候選影像的像素，疊代器405接著進行判定一誤差變化，該誤差變化指示像素值與基於內含影像組加上所選擇影像判定的預測值相對於僅基於內含影像組判定的預測值之間的差異的變化。
因此，對於第一剩餘候選影像的各像素，可以為包括所選擇影像之預測判定一第一預測誤差，以及可以為不包括所選擇影像之預測判定一第二預測誤差，即對應於先前在步驟505中進行的預測。。其等之間的差異反映了藉由將所選擇影像包括在預測中而實現的預測改善。對於一Yuv顏色表示，例如可以將各像素之誤差變化（藉由包括所選擇影像）判定為： i.      SquaredErrorcond = (Yref – Ycond )2 + (Uref – Ucond )2 + (Vref – Vcond )2 ii.     ΔSqError = SquaredErrorbefore – SquaredErrorafter 其中指數cond 指的是預測影像，指數ref 指的是原始候選影像，且指數before 與after 分別指的是不考慮所選擇影像的一預測的預測誤差及考慮預測影像的一預測的預測誤差。
因此，為第一剩餘候選影像的各像素判定誤差變化。這可形成一候選誤差變化影像，然後將其從第一剩餘候選影像之視圖姿勢視圖偏移至所選擇影像之視圖姿勢。結果，藉由從第一剩餘候選影像之視圖姿勢偏移至所選擇影像之視圖姿勢來判定一所選擇誤差變化影像，其中像素值藉由將所選擇影之像素包括在第一剩餘候選影像的預測中來反映在預測候選影像中發生的預測誤差的變化。因此，判定藉由在所選擇影像之部分影像中包括單一像素來預測第一剩餘候選影像之益處的一直接測量。
疊代器405可因此繼續選擇誤差變化影像指示誤差將減少超過一給定臨限的所有像素。
然而，在許多實施例中，對於部分影像之像素選擇不僅基於考慮一個剩餘候選影像，而是要考慮多個因素，一般是所有這些因素。在許多實施例中，位移至所選擇影像之視圖姿勢的誤差變化影像可針對所有剩餘候選影像產生。
在一些實施例中，這些可接著分開考慮，例如，如果任一所產生的誤差變化影像指示可實現高於一給定臨限的一改善，則藉由在部分影像中包括一像素。然而，在許多實施例中，可藉由組合對於所選擇影像之相同像素之不同候選影像所判定的誤差變化值來產生一組合誤差變化影像。作為一簡單實例，不同候選影像的誤差變化值可在偏移至所選擇影像之視圖姿勢之後簡單地加總一起或取平均。疊代器405可接著繼續選擇所選擇影像之像素，其中組合的誤差變化值指示部分影像中的誤差減少超過一給定臨限，即，選擇為剩餘候選影像提供最大整體預測改善的像素。
在許多實施例中，組合的誤差變化影像可包括對於所選擇影像本身產生的一誤差變化影像。實際上，在此階段，所選擇影像僅係預測的（未完全包括），所以當在組合的誤差變化影像中進行計算時，所選擇影像也可以有利地包括在內，從而指示對於所選擇影像本身實現的預測改進。例如，由於所選擇影像本身需要但是任何的剩餘候選影像不需要，所以像素係包括在部分影像中。
如先前所述，在許多實施例中執行的預測/視圖合成（具體地在步驟505）可藉由為內含影像組中的各影像產生一第一候選影像的單一中間預測來執行，即可為各候選影像及內含影像對產生一個中間影像。接著將這些中間預測影像組合/摻合至第一候選影像的一單一預測影像。
在許多實施例中，可使用一合成器，該合成器經配置以執行所有的這些操作，並且可簡單地作為被提供有內含影像組（及相關聯的視圖姿勢）及為其產生合成/預測影像之視圖姿勢的一輸入。其可以從這些輸入產生給定候選影像之合成/預測影像。該合成器可實施為一被積函數及演算法，諸如不允許存取中間結果或操作的軟體子程式、功能、或物件。因此，中間影像及摻合的產生可無法供其他功能、處理或操作存取。在使用此一合成器的實施例中，在（例如）步驟505中的預測可因此需要在每次疊代中使用所有內含影像對所有候選影像執行一完整合成。
然而，在一些實施例中，可使用允許存取中間預測影像與摻合的一合成器。例如，可能就是如果為了實施圖5的方法而專門開發綜合功能的這種情況。
在此一實施例中，疊代器405可經配置以進一步儲存在一個疊代中產生的中間影像並檢索已在一後續疊代中儲存的中間影像。
因此，在此一實施例中，如果有一個此種的影像可用，則可以藉由檢索在一先前疊代中已產生並儲存的影像來提供中間預測影像以進行摻合，並且如果先前疊代中沒有儲存此種影像時，則藉由視圖偏移來產生一新的中間預測影像。因此，如果先前已產生一中間預測影像，則將其再使用，並且對於候選及內含影像對不需要新的視圖偏移操作。
在圖5之方法中，新的影像係基於在各疊代中逐漸成長/擴展的一內含影像組而針對候選影像預測。因此，在各疊代中，基於與先前疊代中相同的內含影像加上由先前疊代中包括的任何影像而執行對於一給定剩餘候選影像之一新的預測的產生。因此，對於除了在先前疊代中選擇的所有影像，已經產生並儲存中間預測影像。因此，新的中間預測影像僅對於先前疊代中所包括的影像產生，且在許多實施例中，對於各剩餘候選影像，僅需要產生一個新的中間預測影像（例如，替換不再需要的舊的中間預測影像）。
因此，該方法係高度適合於一增量預測方法，且因此可用於提供非常有效率的實施方案，並且所需處理量大大減少。
應理解的是可用於中間預測影像之摻合像素的不同方法可用於不同的實施例，並且可以使用具體不同的函數和參數來產生權重。
在許多實施例中，摻合可係一加權組合，其中一給定像素的權重系係取決於與像素相關聯的深度。例如，摻合可係一選擇摻合，其中比較一給定像素位置的中間預測影像中所有像素的深度，並選擇具有最遠前向深度值的中間預測影像的像素。在許多實施例中，可使用基於權重之不同像素的一更逐步權重。例如，經常可使用深度與權重之間的一指數關係。
在其他實施例中，可替代地或額外地考慮其他參數。例如，可以考慮執行視圖偏移需要多少拉伸（下方圖元的幾何變形），並且權重可隨著所需的圖元之拉伸和幾何變形的增加而減小。
在許多實施例中，在各疊代中僅選擇一單一影像以包括在內含影像組中。然而，在一些實施例中，所選擇影像的子集可在各疊代中有利地包括複數個影像，且因此在各疊代中可以將複數個影像移動至內含影像組。
在一些實施例中，此可在一些實施例中稍微增加資料速率，但在一些實施例中可實質上減少計算需求，特別是減少執行完整方法所需的預測數目。在其中不能使用增量預測的實施例中，其提供實質上減少計算資源使用量，例如因為無法存取中間預測影像或摻合操作。
在許多實施例中，對於部分影像的像素選擇可包括（例如）基於像素預測性質來判定的起始子集的一些處理。此類處理可具體地考慮像素的空間特性或關係。
作為一具體實例，疊代器405可產生對應於像素子集的一遮罩，例如可以產生一二進製影像，對於各值指示該二進製影像是否將其包括在部分影像中。作為另一實例，可產生反映像素預測品質值的一影像（例如，組合的誤差變化影像）。此一影像可係一軟遮罩，因為其反映了在部分影像中包括該值的可能性或好處，因此與一臨限一起表示部分影像中包括的像素。
替代直接使用最初產生的此一遮罩，疊代器405可經配置以首先處理該遮罩。具體而言，可將一空間濾波器（通常是一空間低通濾波器）應用於該遮罩。遮罩中的改變可因此導致對於部分影像選擇之像素子集的一修改。
此類濾波可非常有用於避免部分影像中非常薄的結構。可應用的一空間濾波器的一實例係具有一小內核的一盒模糊。
在一些實施例中，經處理的影像可係一視訊序列的圖框。在此一類情況中，為一個圖框所判定之內含影像組的順序可施加在複數個圖框中。例如，對於一內部編碼圖框，所描述之方法可用於產生一內含影像順序組。然後可以將相同的影像配置/順序/序列用於所有內部編碼的圖框，直到下一個內部編碼圖框為止。因此，在一些實施例中，該方法可僅對於內圖框執行，且在此操作中判定的配置可針對所有後續內部圖框再使用。
經調整的遮罩可再使用於一些圖框，例如藉由在一較低圖框速率處產生經調整的遮罩、或當在一低影像移動指示的情況下藉由再使用調整的遮罩。替代地，可使用已經為內部編碼圖框判定的配置為所有內部編碼圖框產生經調整的遮罩。
在場景改變時更新配置可能是特別有利的，但此一事件一般亦將觸發一額外內部圖框，然後可能導致判定一新的配置。
此一方法可提供跨圖框的一改善的一致性。總體資料速率或品質劣化可略高於該方法被應用至各圖框，但是通常這將是理想的折衷方案，以實現更一致的視覺效果，因為時間變化往往對於一觀看者來說是高度可見的。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。再者，包含在一種類別請求項中的一特徵非意味限於此種類，而是視情況，指示該特徵同樣地適用於其他類別請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
本發明一般而言可概述為一種產生一影像信號之方法，該方法包含： 接收(501)一候選影像組，該候選影像組包含一場景的複數個影像，該候選影像組中的至少一些影像係針對該場景之不同視圖姿勢； 選擇(503)該候選影像組的至少一個影像並且起始化一內含影像組以包括該至少一個影像； 疊代執行下列步驟： 從該內含影像組之該等影像為該候選影像組之該等影像產生(505)預測影像； 為該候選影像組之各影像判定(507)一預測品質測量，該候選影像組之第一影像的預測品質測量指示該第一影像與該第一影像之一第一預測影像之間的差異； 回應於該等預測品質而從該候選影像組選擇(509)一經選擇影像組； 對於該經選擇影像組之各影像回應於該影像之該等像素的像素預測品質而判定(511)一像素子集； 產生(513)對應於該經選擇影像組之一部分影像組，該經選擇影像組之一給定影像的該部分影像僅包含該給定影像之該像素子集的該等像素； 將該部分影像組包括(515)在該內含影像組中；以及 從該候選影像組移除(515)該經選擇影像 產生(519)包含該內含影像組中的該等影像之影像資料的該影像信號。
此方法可進一步界定為如所附之請求項2至請求項13所界定的。
本發明一般可進一步歸納為一種電腦程式產品，其包含經調適以執行當該程式在一電腦上運行時、產生一影像信號之以上列出概述方法之任何者的所有步驟之電腦程式碼構件。
本發明一般可再進一步歸納為一種用於產生一影像信號的設備，該設備包含： 一接收器(401)，用於接收(501)一候選影像組，其包含一場景的複數個影像，該候選影像組的至少一些影像係針對該場景之不同視角姿勢； 一參考選擇器(403)，其用於選擇(503)該候選影像組的至少一個影像並且起始化一內含影像組以包括該至少一個影像； 一疊代器(405)，其用於疊代執行下列步驟： 從該內含影像組之該等影像為該候選影像組之該等影像產生(505)預測影像； 為該候選影像組之各影像判定(507)一預測品質測量，該候選影像組之第一影像的該預測品質測量指示該第一影像與該第一影像之一第一預測影像之間的差異； 回應於該等預測品質而從該候選影像組選擇(509)一經選擇影像組； 對於該經選擇影像組之各影像回應於該影像之該等像素的像素預測品質而判定(511)一像素子集； 產生(513)對應於該經選擇影像組之一部分影像組，該經選擇影像組之一給定影像的該部分影像僅包含該給定影像之該像素子集的該等像素； 將該部分影像組包括(515)在該內含影像組中；以及 從該候選影像組移除(515)該經選擇影像組； 一輸出電路(205, 207)，其用於產生(519)包含該內含影像組中的該等影像之影像資料的該影像信號。
本發明可具體地概述為如所附請求項1至請求項15所界定的。
101:VR用戶端裝置 103:VR伺服器 105:網路 200:影像信號傳輸器 201:影像來源接收器 203:像素選擇器 205:影像產生器 207:編碼器 300:影像信號傳輸器 301:解碼器 303:影像檢索器 305:第一演現器 307:第二演現器 401:輸入接收器 403:參考選擇器 405:疊代器 501、503、505、507、509、511、513、515、517、519:步驟
將僅以舉例之方式參考圖式描述本發明的實施例，其中 ［圖1］繪示用於提供一虛擬實境體驗之配置的實例； ［圖2］繪示根據本發明一些實施例之一影像信號傳輸器之元件的實例； ［圖3］繪示根據本發明一些實施例之影像信號接收器之元件的實例； ［圖4］繪示根據本發明之一些實施例之用於一影像信號傳輸器之一疊代器之元件的實例；及 ［圖5］繪示根據本發明的一些實施例之用於產生一影像信號的影像資料之一方法的實例。
501、503、505、507、509、511、513、515、517、519:步驟

Claims (15)

  1. 一種產生一影像信號之方法，該方法包含： 接收(501)一候選影像組，該候選影像組包含一場景的複數個影像，該候選影像組中的至少一些影像係針對該場景之不同視圖姿勢； 選擇(503)該候選影像組的至少一個影像並且起始化一內含影像組以包括該至少一個影像； 疊代執行下列步驟： 從該內含影像組之該等影像為該候選影像組之該等影像產生(505)預測影像； 為該候選影像組之各影像判定(507)一預測品質測量，該候選影像組之一第一影像的該預測品質測量指示該第一影像與該第一影像之一第一預測影像之間的差異； 回應於該等預測品質而從該候選影像組選擇(509)一經選擇影像組，從而該等經選擇影像具有相對於已經包括在該經選擇影像組中的該等影像之最低預測品質測量； 對於該經選擇影像組之各影像，回應於該影像之該等像素的像素預測品質而判定(511)一像素子集； 產生(513)對應於該經選擇影像組之一部分影像組，該經選擇影像組之一給定影像的該部分影像僅包含該給定影像之該像素子集的該等像素； 將該部分影像組包括(515)在該內含影像組中；以及 從該候選影像組移除(515)該經選擇影像組； 產生(519)包含該內含影像組中的該等影像之影像資料的該影像信號。
  2. 如請求項1之方法，其中為該第一影像判定(507)該預測品質包含： 判定該第一影像中，該第一影像與該第一預測影像之對應像素之像素值滿足一相似度標準的複數個像素； 回應於該複數個像素的一性質而判定該第一影像的該預測品質。
  3. 如請求項2之方法，其中該性質係一像素數目，且該預測品質係在該複數個像素中該像素數目的一單調遞增函數。
  4. 如請求項3之方法，其中判定(511)該像素子集包含從不包括在該影像之該複數個像素中的該第一影像的像素來判定該第一影像的一像素子集。
  5. 如前述請求項中任一項之方法，其中為該經選擇影像組的一第一經選擇影像判定(511)該像素子集包含： 為排除該經選擇影像組之該候選影像組的至少一候選影像： 為該至少一候選影像的像素判定指示以下的一誤差變化：在該至少一候選影像之一像素與對於基於該內含影像組與該第一經選擇影像之該像素之一預測相對於僅基於該內含影像組之該像素之一預測的一預測像素之間之一差異變化；以及 為該第一經選擇影像產生一誤差變化影像，該誤差變化影像包含藉由從該至少一候選影像的一視圖姿勢至該第一經選擇影像之一視圖姿勢的一視圖姿勢偏移而從該至少一候選影像之誤差變化來判定的像素值；以及 回應於該誤差變化影像而選擇該像素子集。
  6. 如請求項5之方法，其中判定該第一經選擇影像之該像素子集包含判定該候選影像組之複數個候選影像的誤差變化，及藉由結合從該第一經選擇影像之該相同像素的不同候選影像所判定的誤差變化值來產生該誤差變化影像。
  7. 如前述請求項中任一項之方法，其中為該候選影像組產生(505)預測影像包含為該候選影像組的一第一候選影像： 為該內含影像組中該影像中的各者提供該第一候選影像的中間預測影像；以及 藉由組合該等中間預測影像而產生該第一預測影像。
  8. 如請求項7之方法，其中該疊代進一步包含 儲存中間預測影像；以及 其中提供中間預測影像包含為該內含影像組中已在一前一疊代中為其產生並儲存中間預測影像之影像檢索經儲存的中間預測影像；以及為該參考影像組中在一前一疊代中沒有為其儲存中間預測影像的任何影像預測中間預測影像。
  9. 如請求項7或8之方法，其中該組合係一加權組合，且一像素的一權重取決於該像素的一深度。
  10. 如前述請求項中任一項之方法，其中當一最低預測品質超過一臨限時停止該等疊代。
  11. 如前述請求項中任一項之方法，其中該經選擇影像子集包含在至少一個疊代中的複數個經選擇影像。
  12. 如前述請求項中任一項之方法，其中該等影像係一視訊序列之圖框，且該方法包括使用用於複數個圖框之該內含影像組的一配置。
  13. 如前述請求項中任一項之方法，其進一步包含產生對應於該像素子集的一遮罩以及回應於將一空間濾波器應用至該遮罩而修改像素子集。
  14. 一種用於產生一影像信號的設備，該設備包含： 一接收器(401)，用於接收(501)一候選影像組，其包含一場景的複數個影像，該候選影像組中的至少一些影像係針對該場景之不同視圖姿勢； 一參考選擇器(403)，其用於選擇(503)該候選影像組中的至少一個影像並且起始化一內含影像組以包括該至少一個影像； 一疊代器(405)，其用於疊代執行下列步驟： 從該內含影像組之該等影像為該候選影像組之該等影像產生(505)預測影像； 為該候選影像組之各影像判定(507)一預測品質測量，該候選影像組之一第一影像的該預測品質測量指示該第一影像與該第一影像之一第一預測影像之間的差異； 回應於該等預測品質而從該候選影像組選擇(509)一經選擇影像組，從而該等經選擇影像具有相對於已經包括在該經選擇影像組中的該等影像之最低預測品質測量； 對於該經選擇影像組之各影像回應於該影像之該等像素的像素預測品質而判定(511)一像素子集； 產生(513)對應於該經選擇影像組之一部分影像組，該經選擇影像組之一給定影像的該部分影像僅包含該給定影像之該像素子集的該等像素； 將該部分影像組包括(515)在該內含影像組中；以及 從該候選影像組移除(515)該經選擇影像組； 一輸出電路(205, 207)，其用於產生(519)包含該內含影像組中的該等影像之影像資料的該影像信號。
  15. 一種包含電腦程式碼構件之電腦程式產品，該電腦程式碼構件經調適以當在一電腦上運行該程式時執行如請求項1至13中任一項的所有步驟。
TW109106393A 2019-03-01 2020-02-27 產生影像信號的設備及方法 TW202042539A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19160414.9 2019-03-01
EP19160414.9A EP3703378A1 (en) 2019-03-01 2019-03-01 Apparatus and method of generating an image signal

Publications (1)

Publication Number Publication Date
TW202042539A true TW202042539A (zh) 2020-11-16

Family

ID=65686712

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109106393A TW202042539A (zh) 2019-03-01 2020-02-27 產生影像信號的設備及方法

Country Status (10)

Country Link
US (1) US11856223B2 (zh)
EP (2) EP3703378A1 (zh)
JP (1) JP7326457B2 (zh)
KR (1) KR20210132712A (zh)
CN (1) CN113519165A (zh)
BR (1) BR112021016995A2 (zh)
ES (1) ES2928951T3 (zh)
PL (1) PL3932081T3 (zh)
TW (1) TW202042539A (zh)
WO (1) WO2020177990A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938602B (zh) * 2021-09-08 2022-08-02 荣耀终端有限公司 图像处理方法、电子设备、芯片及可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703350A (en) * 1985-06-03 1987-10-27 Picturetel Corporation Method and apparatus for efficiently communicating image sequences
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
JP2014502443A (ja) * 2010-11-04 2014-01-30 コーニンクレッカ フィリップス エヌ ヴェ 深さ表示マップの生成
US10264281B2 (en) * 2012-07-02 2019-04-16 Hfi Innovation Inc. Method and apparatus of inter-view candidate derivation in 3D video coding
JP2014082540A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造
JP5947977B2 (ja) * 2013-04-11 2016-07-06 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2015007348A1 (en) * 2013-07-19 2015-01-22 Huawei Technologies Co., Ltd. Method and apparatus for encoding and decoding a texture block using depth based block partitioning
JP6430542B2 (ja) * 2014-06-16 2018-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃにおける簡略化シフティングマージ候補およびマージリスト導出
WO2018058090A1 (en) * 2016-09-26 2018-03-29 University Of Florida Research Foundation Incorporated Method for no-reference image quality assessment
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream

Also Published As

Publication number Publication date
EP3932081A1 (en) 2022-01-05
CN113519165A (zh) 2021-10-19
PL3932081T3 (pl) 2023-01-16
KR20210132712A (ko) 2021-11-04
ES2928951T3 (es) 2022-11-23
BR112021016995A2 (pt) 2021-11-30
US11856223B2 (en) 2023-12-26
EP3932081B1 (en) 2022-08-31
WO2020177990A1 (en) 2020-09-10
US20220167013A1 (en) 2022-05-26
EP3703378A1 (en) 2020-09-02
JP7326457B2 (ja) 2023-08-15
JP2022521701A (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111602403B (zh) 用于生成图像数据比特流的装置和方法
JP7480163B2 (ja) 画像の奥行きマップの処理
KR102641527B1 (ko) 이미지 합성
TWI831796B (zh) 用於產生場景之影像的設備及方法
JP7378465B2 (ja) ビデオストリームを生成及びレンダリングするための装置及び方法
TW202042539A (zh) 產生影像信號的設備及方法
TW202038605A (zh) 場景的影像表示
RU2817803C2 (ru) Сигнал изображения, представляющий сцену
US11823323B2 (en) Apparatus and method of generating an image signal
TW202046716A (zh) 表示場景之影像信號