TW202224437A - 編碼及解碼沈浸式視訊 - Google Patents

Abstract

揭示用於編碼及解碼用於沈浸式視訊之多視圖資料的概念。在一編碼方法中，產生包含一欄位的後設資料，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。所產生的該後設資料提供一種區分包含原始紋理及深度資料的補片資料單元與包含經補繪資料（例如，經補繪紋理及深度資料）的補片資料單元的手段。在該沈浸式視訊之該後設資料內提供此類資訊可解決與融合及經修整視圖重建相關聯的問題。亦提供用於沈浸式視訊之多視圖資料的一種編碼器及一種解碼器，以及一種包含後設資料的對應位元串流。

Description

編碼及解碼沈浸式視訊

本發明係關於沈浸式視訊。具體而言，其係關於用於編碼及解碼沈浸式視訊(immersive video)之多視圖資料的方法及設備。

沈浸式視訊（亦稱為六自由度(six-degree-of-freedom, 6DoF)視訊）係三維(3D)場景的視訊，其允許針對在位置及定向上變化的視點來重建場景之視圖。其代表三自由度(3DoF)視訊的開發，其允許視圖針對具有任意定向的視點來重建，但僅在空間中的固定點。在3DoF中，自由度係角度的，亦即，俯仰、翻滾、及偏擺。3DoF視訊支援頭部旋轉；換言之，觀看該視訊之使用者可以場景中之任何方向來觀看，但無法移動至場景中之不同位置。6DoF視訊支援頭部旋轉且額外地支援場景中之位置（場景係從該位置觀看）的選擇。

為了產生6DoF，視訊需要多個攝影機來記錄場景。各攝影機產生影像資料（在此背景中通常稱為紋理資料）及對應的深度資料。對於各像素，深度資料表示觀察到對應影像像素資料的深度。該多個攝影機之各者提供場景之各別視圖。

產生一目標視圖的問題是，僅可合成來自來源攝影機之視圖中可取得的影像資料。目標視圖的一些影像區域無法從所傳輸視訊串流取得（例如，因為其等從任何來源攝影機不可見）。為了解決此問題，典型的是使用來自其他背景區域之可用的顏色資料來填充或「補繪(in-paint)」彼等影像區域。此類「補繪」係在視圖合成階段之後執行為後處理步驟（例如，在解碼器處）。這是複雜的操作，特別是當遺漏資料的（多個）區域之大小係大時。

在後處理期間進行補繪的替代方案係在資料編碼（例如，編碼器處）期間進行補繪，然後與平常的補片一起封裝所得的紋理輿圖(texture atlas)。然而，此具有相關聯之缺點，包括以下： (i)該等經補繪之影像區域涉及紋理以及深度資訊。需要深度資訊以用於必要的重新投影。除了紋理資訊外，經補繪深度資訊的品質也視為低於原始深度資訊。因此，經補繪資料之區域的重新投影較不準確。 (ii)在從經編碼資料重建經修整（不具有冗餘部分）來源視圖期間，當連同額外的經補繪影像區域封裝紋理輿圖時引發問題。經補繪補片及具有原始影像資料的補片兩者可映射至該等經重建視圖中的相同位置，造成衝突。 (iii)在視訊串流內封裝額外補繪紋理增加其等之位元率。其亦增加紋理之所需（作用中）圖框大小及深度輿圖，即，像素率。此增加用戶端裝置（其一般僅具有受限的資源）上的資源需求。

本發明由申請專利範圍定義。

根據本發明之一態樣的實例，提供如請求項1的一種編碼用於沈浸式視訊之多視圖資料的方法。

提出的概念旨在提供關於編碼用於沈浸式視訊之多視圖資料的方案、解決方案、概念、設計、方法、及系統。具體而言，實施例旨在提供用於區分保持原始紋理及深度資訊的補片資料單元與保持經補繪資料的補片資料單元的概念。因此，可解決融合及經修整視圖重建問題。具體而言，實施例提出使用沈浸式視訊的後設資料，以提供一種指示多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料之方式。以此方式，可利用沈浸式視訊之一現有特徵以指示在該多視圖資料中之經補繪資料的存在。

例如，根據所提出之實施例，可產生沈浸式視訊的後設資料，以包括指示一補片資料單元是否包含經補繪資料的一欄位（即，填充有資料之合成元素、後設資料欄位、後設資料元素、或輸入元素）。

該欄位可包含一組至少兩個可允許值。該組之第一值可指示該多視圖資料之該補片資料單元包含從至少一個視點擷取的原始影像資料，且該組之一第二值指示該多視圖資料的該補片資料單元包含經補繪資料。例如，該欄位可包含一二進位旗標或布林指示符，且因此包含一簡單位元（指示布林值「0」/「低」或「1」/「高」）。該欄位可在一位元串流中具有一合成元素的形式。替代地，該欄位係導出自其他欄位。例如，一第一其他欄位可表示存在於該位元串流中之視圖總數，且一第二其他欄位可指示未補繪之視圖總數。當一視圖索引超出未經補繪之視圖總數時，則（導出的）欄位係「1」，否則，其係「0」，或反之亦然。因此，此類實施方案可僅需要對習知沈浸式視訊後設資料進行最小或輕微修改。

然而，在一些實施例中，該組可允許值可包含多於兩個可允許值。例如，該欄位的該值可指示該補片資料單元的細節層次(Level of Detail, LoD)。該欄位的一個值可指示該補片資料單元包含最高品質（且因此供使用之最高優先順序，即，無損失）的原始/獲取資料。該欄位的另一值可指示該補片資料單元包含從獲得的資料來合成的資料（即，保真度較低，但仍具有良好的品質）。本欄位之又另一值可指示該補片資料單元包含最低品質（且因此供使用之最低優先順序，即，補繪損失）的經補繪資料。以此方式，該欄位可提供關於經補繪資料的進一步資訊（諸如經補繪資料的LoD細節）。一些實施例可因此採用具有三或更多個可允許值的一欄位。因此，該欄位可包含複數個位元（例如，一或多個位元組）。

可編碼多視圖資料。接著，該欄位可與該經編碼多視圖資料的一圖框相關聯，且包含該圖框之一或多個補片資料單元的一描述（或定義），該一或多個補片資料單元包含經補繪資料。

在一些實施例中，該欄位包含一所儲存值之一識別符或位址。此一所儲存值可例如包含一演現參數值。即，該欄位可包括使一或多個值能夠被檢索或「查找」的資訊。例如，不同演現參數組可經預定義，且使用一各別唯一識別符（例如，位址）儲存。接著，一補片資料單元欄位中所包括之一識別符/位址可用於識別及檢索用於搭配補片資料單元一起使用的參數組（即，成組之參數值）。即，與一補片資料單元相關聯之一欄位可包含一識別符或位址，用於定位與該補片資料單元相關的額外資訊。

一些實施例可進一步包含前述步驟：判定多視圖資料之一補片資料單元是否包含從至少一個視點擷取的原始影像資料或用於表示遺漏影像資料的經補繪資料；及基於判定之一結果，定義用於指示該補片資料單元是否包含原始影像資料或經補繪資料的一欄位值。即，一些實施例可包括一程序：分析一補片資料單元以判定其是否包含經補繪資料；然後根據該分析結果來設定該欄位之該值。此一程序可例如在關於在該多視圖資料中之經補繪資料的資訊尚未由替代構件以其他方式（例如，經由使用者輸入或來自分開之資料分析程序）提供時進行。

根據一些實施例，該欄位值可包含一視圖參數。判定多視圖資料的一補片資料單元是否包含從至少一個視點擷取的原始影像資料或用於表示遺漏影像資料的經補繪資料可接著包含：回應於識別該補片資料單元包含對一補繪視圖的一參考，判定多視圖資料之該補片資料單元包含經補繪資料。在此類實施例中，該欄位可係該等視圖參數之一部分，且當參考一補繪視圖時，一補片可被識別為一經補繪補片。這對於建立一合成背景視圖、接著該合成背景視圖經補繪至補片資料單元的實施方案而言可具有具體效益。

進一步，實施例亦可包括下列步驟：基於判定之一結果，定義一細節層次(LoD)，表示待應用於該補片資料單元的一資料子取樣因數之值。藉由採用一LoD特徵，實施例可支援一補繪補片資料單元之按比例縮小。

該多視圖資料可係包含複數個來源視圖之視訊資料，各來源視圖包含紋理值及深度值。換言之，一種如上文概述之編碼多視圖資料的方法可應用於一種編碼沈浸式視訊的方法中。

根據本發明之另一態樣，提供如請求項8的一種解碼用於沈浸式視訊之多視圖資料的方法。因此，提出的概念旨在提供關於解碼用於沈浸式視訊之多視圖資料的方案、解決方案、概念、設計、方法、及系統。具體而言，實施例旨在提供用於解碼包含根據所提出之實施例編碼多視圖資料及相關聯後設資料之一位元串流的概念。在此類概念中，基於該欄位指示該多視圖資料之該補片資料單元包含經補繪資料，設定該補片資料單元之一演現參數。以此方式，與該多視圖資料相關聯之該後設資料的所提出欄位可經利用以控制一補片資料單元之一視圖合成，例如，諸如一演現優先順序、演現順序、或融合（混合）權重。

舉實例而言，在一實施例中，該欄位可包含一演現參數值之一識別符。接著，設定該補片資料單元之該演現參數可包含基於該識別符判定該演現參數值；及將該演現參數設定為該經判定演現參數值。以此方式，所提出之實施例可經組態以使用該欄位來「查找」一或多個演現參數。例如，多個演現參數組可經預定義，且各自具有各別唯一識別符，接著，一參數組可根據其識別符經選擇以供搭配一補片資料單元一起使用，該識別符被包括在用於該補片資料單元之欄位中。

在一些實施例中，該演現參數包含一演現優先順序。接著，設定該補片資料單元之該演現參數可包含：回應於該欄位指示該多視圖資料之該補片資料單元包含經補繪資料，將該補片資料單元之一演現優先順序設定為一第一優先順序值；及回應於該欄位指示該多視圖資料之該補片資料單元包含從至少一個視點擷取的原始影像資料，將該補片資料單元之該演現優先順序設定為一第二不同的優先順序值。因此，演現一補片資料單元的重要性或「權重」可根據與該補片資料單元相關聯的該欄位是否指示其包含經補繪資料來控制。此可允許根據與經補繪資料有關的偏好或要求來控制演現或視圖合成的排序。

亦揭示一種電腦程式，其包含當該程式在一處理系統上運行時用於導致該處理系統實施如上文所概述之一方法的電腦碼。該電腦程式可儲存在電腦可讀儲存媒體上。此可係一非暫時性儲存媒體。

亦提供如請求項14之一種用於編碼用於沈浸式視訊之多視圖資料的編碼器。

更進一步提供如請求項16之一種用於解碼用於沈浸式視訊之多視圖資料的解碼器。

根據又另一態樣，提供如請求項17之一種包含用於沈浸式視訊之多視圖資料及相關聯之後設資料的位元串流。

該位元串流可使用如上文所概述之方法來編碼及解碼。其可體現在一電腦可讀媒體上，或作為經調節至一電磁載波上的一信號。

本發明的此等及其他態樣將參考下文描述的（多個）實施例闡明且將係顯而易見的。

將參考圖式描述本發明。

應該理解到，詳細說明與特定實例雖然指示了設備、系統、與方法的例示性實施例，但僅意圖用於說明的目的，而不意圖限制本發明的範圍。從以下描述、所附申請專利範圍、與附圖，將更佳地理解本發明的設備、系統、與方法的這些與其他特徵、態樣、與優點。在相互不同的附屬項中所敘述的某些測量的這一事實並未指示此等測量之組合無法用以得利。

在實踐所主張的發明時，所屬技術領域中具有通常知識者可藉由研究圖式、本揭露、及所附申請專利範圍而理解與實現所揭示之實施例的變化。在申請專利範圍中，詞語「包含(comprising)」不排除其他元素或步驟，且不定冠詞「一(a)」或「一(an)」不排除複數個。

應該理解到，圖式僅是示意性的，且未按比例繪製。也應該理解到，整個圖式使用相同的元件符號來表示相同或相似的部分。

根據本揭露之實施方案係關於編碼及解碼用於沈浸式視訊之多視圖資料的各種技術、方法、方案、及/或解決方案。根據所提出之概念，可分開或結合實施一些可行的解決方案。即，雖然這些可行的解決方案可分開地在以下描述，但這些可行的解決方案之二或更多者可以一組合或另一組合實施。

MPEG沈浸式視訊(MPEG Immersive Video, MIV)具有三個資料串流：紋理資料、深度資料（亦稱為幾何或範圍資料）、及後設資料。內容係使用標準壓縮編碼解碼器（例如，HEVC）編碼，且後設資料包括攝影機參數及補片資料。

用語「補片(patch)」或「補片資料單元(patch data unit)」係指在沈浸式視訊中之經編碼的多視圖框（輿圖）中的（矩形）區域（即，補片）。因此，在一補片中之像素係指某一來源視圖中之一部分，且經變換及同樣地投射。一補片資料單元可對應於一平截頭體切片或一整個投影平面。即，一補片不一定受限於大小小於一整體圖框的一區域（即，一圖框之一子區域），而是可替代地包含一整個圖框。

在來源側上，多視圖資料對應於全（即，所擷取）視圖。在沈浸式視訊中，經編碼的多視圖圖框一般稱為一輿圖，且由一或多個紋理及深度（幾何）影像組成。

另外，應引用「演現優先順序(rendering priority)」以指一重要性或相對加權，而非一個順序。因此，雖然分配一高演現優先順序的一補片資料單元會導致該補片資料單元在順序上向上移動以朝向一演現佇列的前方，非必然是此情況。而是，雖然較高演現優先順序會影響一演現順序，但是由於其他因素或補片資料單元的相對重要性或加權而最終可能不會變更或改變一演現順序。即，優先順序不必然暗示時間排序。一演現順序可取決於實施例，且經補繪資料與原始資料之不同演現順序係可行的。

根據所提出之概念，揭示編碼與解碼用於沈浸式視訊之多視圖資料的方法。在所提出之一編碼方法中，產生包含一欄位的後設資料，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。所產生的該後設資料提供一種區分包含原始紋理及深度資料的補片資料單元與包含經補繪資料（例如，經補繪紋理及深度資料）的補片資料單元的手段。在該沈浸式視訊之該後設資料內提供此類資訊可解決與融合（作為目標視圖合成之一部分）及經修整視圖重建相關聯的問題。

藉由提供包括指示該多視圖資料之一補片資料單元是否包含經補繪資料之一欄位的後設資料，實施例可提供用於指示在沈浸式視訊內的經補繪資料之（多個）位置的一手段。此亦可允許含經補繪資料的補片資料單元採用一減少的細節層次(LoD)，從而實現所需的位元率及像素率之減少。

因此，根據所提出之概念，沈浸式視訊之後設資料可經增強以指示經補繪資料在沈浸式視訊之多視圖資料內的存在、位置、及範圍。所提出之編碼方法可輸出指示一或多個補片中之經補繪資料的（經增強）後設資料。此（經增強）後設資料可由對應解碼方法使用，以演現或合成視圖。亦提供用於多視圖資料之一種編碼器及一種解碼器；及一種包含此類（經增強）後設資料的對應位元串流。

圖1繪示根據本發明之第一實施例的編碼方法。圖2係用於實行圖1之方法的編碼器之示意方塊圖。

編碼器200包含一輸入介面210；一分析器220；一後設資料編碼器230；及一輸出240。

在步驟110中，輸入介面210接收包含補片資料單元的多視圖資料。在本實施例中，多視圖資料係包含複數個來源視圖的沈浸式視訊資料。各來源視圖包含紋理值及深度值。紋理值及深度值之編碼係在本發明的範圍外，且將不在此進一步討論。輸入介面210耦接至分析器220。

在步驟120中，分析器220判定多視圖資料之一補片資料單元是否包含從至少一個視點擷取的原始影像資料或用於表示遺漏影像資料的經補繪資料。

在步驟125中，該分析器基於判定之一結果，定義用於指示該補片資料單元是否包含原始影像資料或經補繪資料的一欄位值。

因此，分析器之任務係識別補片資料單元包含原始影像資料或經補繪資料，並指示此類分析之結果。分析器220提供分析結果至後設資料編碼器230。

在步驟130中，後設資料編碼器230產生包含一欄位之後設資料140，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。在此實例中，一欄位包含一二進位旗標，該二進位旗標具有兩個可允許值（例如，具有「0」（邏輯低）及「1」（邏輯高）之可允許值的一單一位元）。第一值「0」指示該多視圖資料之該補片資料單元包含從至少一個視點擷取的原始影像資料。第二值「1」指示該多視圖資料之該補片資料單元包含經補繪資料。

因此，後設資料編碼器230之任務係產生包括一二進位旗標之（經增強）後設資料，該二進位旗標指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。此（經增強）後設資料包括定義包含經補繪資料之補片資料單元的資訊。雖然在此實施例中並非此情況，然而該後設資料之（多個）欄位可經組態以指示/包括關於一補片資料單元之經補繪資料的進一步資訊，例如，諸如該經補繪資料的一LoD。然而，在一些實施例中，此可能並非必要。例如，可預定及/或正規化經補繪資料之一LoD。

輸出240產生並輸出所產生之（經增強）後設資料。該輸出可輸出該後設資料作為包含該多視圖資料的位元串流（即，紋理及深度資料串流）之部分或與該位元串流分開。

圖3係繪示根據本發明之第二實施例之解碼用於沈浸式視訊之經編碼多視圖資料的方法之流程圖；圖4係用於實行圖3之方法的解碼器之示意方塊圖。

解碼器400包含一輸入介面410；一後設資料解碼器420；及一輸出430。可選地，其亦可包含一演現器440。

在步驟310中，輸入介面410接收包含紋理及深度資料305的一位元串流。輸入介面410亦接收描述該位元串流的後設資料140。該後設資料可嵌入該位元流中，或可係分開的。此實例中的後設資料140係根據上述圖1的方法所產生者。因此，該後設資料包含一欄位，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。應注意，輸入至解碼器400之後設資料一般將係由編碼器300輸出的後設資料之版本，該後設資料隨後可能已經受壓縮（以及可能透過傳輸頻道的易有錯誤通訊）。

在步驟320中，後設資料解碼器420解碼該後設資料。此涉及基於相關聯之欄位指示該多視圖資料之該補片資料單元是否包含經補繪資料來設定該補片資料單元之一演現參數。在此實例中，該演現參數係一演現優先順序。回應於該欄位指示該補片資料單元包含經補繪資料，將該補片資料單元之一演現優先順序設定為一第一優先順序值（例如，低）。回應於該欄位指示該補片資料單元包含從至少一個視點擷取的原始影像資料，將該補片資料單元之該演現優先順序設定為一第二較高的優先順序值（例如，高）。

後設資料解碼器420提供（多個）演現參數至輸出430。輸出430輸出（多個）演現參數（步驟330）。

若解碼器400包括可選的演現器440，則資料解碼器420可提供（多個）經解碼演現參數至演現器440，該演現器根據（該等）演現參數重建一或多個視圖。在此情況中，演現器440可提供經重建視圖至輸出430，而輸出430可輸出此經重建視圖（例如，至一訊框緩衝器）。

有各種方式可定義及使用者該後設資料之該等欄位。現將更詳細地論述這些方式中的一些。 替代例A

在一些實施例中，該後設資料的該欄位包含一二進位旗標（例如，單一位元），該二進位旗標指示該多視圖資料之該補片資料單元包含：從至少一個視點擷取的原始影像資料；或用於表示遺漏資料的經補繪資料。

在編碼器處：當一補片資料單元含有原始內容時，該旗標被設定（即，確證、設定為邏輯高、設定為值「1」等），而當該補片資料單元含有經補繪內容時，旗標未被設定（即，否定、設定為邏輯低、設定為值「0」等）。

在解碼器：當融合一補片之紋理且其中該旗標未被設定時，該融合權重設定為一低值。因此，當其他紋理資料（且平面被設定）映射至相同的輸出位置時，其有效地得到一高融合優先順序，導致更佳的品質。

當該解碼器在實際視圖合成之前使用「經修整視圖重建」時：現在藉由選擇性地允許僅有旗標被設定之補片而使重建程序發生。有效地忽略經補繪資料（即，以低優先順序處理該經補繪資料）。隨後，在實際的視圖合成中，保持經補繪內容的補片（即，具有旗標未被設定的補片）僅用於遺漏資料的區域。 替代例B

在一替代實施例中，該後設資料經延伸，使得按每輿圖圖框，指定專用於含有經補繪資料之補片的「補繪補片區域(inpaint-patches-region)」。此一區域最初可用一使用者參數（例如，作為可用之輿圖圖框大小之百分比）來指定，或可自動判定以針對原始資料對經補繪資料平衡可用空間（由最大像素率來判定）。以此方式，該後設資料的欄位與該經編碼多視圖資料的一圖框相關聯，且包含該圖框之一或多個補片資料單元的一描述（即定義），該一或多個補片資料單元包含經補繪資料。

在編碼器處：考量「補繪補片區域」。將具有經補繪內容的補片資料單元放置在其內，其他補片（具有原始內容）留在該區域外。

在解碼器處：如上文所述之先前實施例中所描述的相同行為亦應用。視訊編碼器可經指示以用用於紋理及/或深度視訊分量的較高量化值（即，較低品質）來編碼此區域。

對於其中多個輿圖分量被封裝至一視訊圖框中的MIV之實施方案，該補片資料單元可係分開之輿圖之部分，且該輿圖可被封裝至一視訊圖框中。即，視訊圖框之一或多個部分可保留用於與這些經補繪補片資料單元相關的視訊資料。

應注意，替代例A需要最少量變更目前的MIV（草擬）標準，因為其僅增加與（多個）補片資料單元相關聯的一旗標。亦允許所有補片資料單元更有效地封裝在一起（與替代例B相比較）。使用品質值（例如，一位元組）而非品質旗標（例如，一位元）可具有可進一步最佳化品質的額外優點。

替代例B不需要每補片資料單元一個後設資料語法，因此需要較低的後設資料位元率。此外，保持經補繪內容的補片可緊密封裝在一起，其可允許建立用於一專用補繪階段的三角形之一相異網格（例如，首先產生具有經補繪資料的一背景幕，然後使用平常修補資料來合成）。

如上文在[先前技術]中所提及，在該編碼器處的經補繪遺漏資料增加位元率及像素率。現在將描述對所提出實施例之延伸及/或修改，其旨在限制此增加。 按比例縮小含有經補繪內容之補片

已提出可使用較小尺度（即，減低的LoD）將經補繪內容封裝至補片中，以便減少位元率及像素率。具體而言，經提出一些實施例可經組態以指定每補片資料單元的LoD，具有經補繪內容的補片資料單元可採用一較低的LoD以減少位元率及像素率。

一經採用的傳輸標準可支援語法/語意，藉此每補片資料單元的LoD定義依據預設針對經補繪補片資料單元來啟用，並依據預設針對正規補片（即，由原始資料所組成的補片）來停用。可針對含有補繪補片之位元串流來指定預設LoD參數值。

一般的實施方案可經組態以依2的倍數對補繪資料進行子取樣，且不對正規補片進行子取樣。然而，實施例仍可經組態以依逐補片基礎上覆寫預設LoD參數值（例如，針對場景之低紋理部分採用較低LoD）。 採用低解析度網格以表示背景

可採用具有一組減少/稀疏頂點之一特定網格來表示遺漏的背景內容。頂點可伴隨著顏色資料（或參考現有紋理中的顏色資料）。此類方法提供可僅以小數目的頂點來表示相對大背景面積的利益。

此一低解析度網格可在編碼器側從來源視圖的深度圖來構成。然而，可能不總是此情況，且具有紋理的圖形模型可用作背景網格。即，可使用人工（圖形）與真實攝影機資料的組合。

不需要在與來源視圖相同的投影空間中表示具有相關聯之紋理的低解析度網格。例如，當該等來源視圖具有給定視場(FoV)的透視投影時，可相對於具有較大FoV的透視投影來定義低解析度背景網格，以避免在視埠之邊界處未覆蓋。亦可用於選擇背景網格的球狀投影。

低解析度背景網格可需要定義/產生相關聯的後設資料。因此，一些實施例可包括產生後設資料的步驟，該後設資料包括用於定義及/或描述相關聯之低解析度網格的一欄位。例如，在最簡單形式中，該欄位可包含指示一背景網格之呈現/存在(presence/existence)的一二進位旗標。替代地，該欄位可係允許指示進一步資訊的一形式，諸如深度及紋理資料的位置及/或規格投影參數。若此類額外資訊（例如，不存在演現參數），則可採用預設參數。

在上文所述之實例實施例中，該欄位已描述為包含一二進位旗標或布林指示符。然而，應理解，用於指示多視圖資料的一補片資料單元是否包含經補繪資料的所提出欄位可經組態以提供超出簡單二進位指示的額外資訊。例如，在一些實施例中，該欄位可包含用於指示大範圍可能值的一或多個位元組。再者，可行的值可包括所儲存值的識別符或位址，因此使資訊能夠被檢索或「查找」。

例如，多個演現參數組可經預定義且各自連同一各別唯一識別符（例如，位址）予以儲存。接著，用於一補片資料單元的欄位中所包括之一識別符可用於選擇及檢索用於搭配補片資料單元一起使用的一參數組。即，與一補片資料單元相關聯之一欄位可包含一識別符或位址，用於識別與該補片資料單元相關的額外資訊。

當然，可使用所提出之後設資料欄位以提供關於一經補繪補片資料單元的其他資訊。此類功能可包括（但不限於）：資料品質；演現偏好；一或多個識別符等。此類資訊可整體地使用，或單筆與其他資訊或演現參數組合使用。

本發明之實施例依賴於使用描述補片資料單元的後設資料。因為後設資料對於解碼程序而言係重要的，所以若以額外的錯誤偵測或錯誤校正碼來編碼後設資料則可係有利的。合適的碼在通訊理論的領域中係已知的。

圖1及圖3之編碼方法及解碼方法、以及圖2及圖4之編碼器及解碼器可以硬體或軟體、或者兩者之混合（例如，作為硬體裝置上運行的韌體）來實施。在實施例部分或全部以軟體實施的情況下，可藉由適當程式化的實體計算裝置（諸如一或多個中央處理單元(CPU)或圖形處理單元(GPU)）來執行程序流程圖中所繪示之功能性步驟。各程序（及如流程中所繪示之其個別組成步驟）可由相同或不同的運算裝置來執行。根據實施例，一種電腦可讀儲存媒體儲存一電腦程式，該電腦程式包含電腦程式碼，該電腦程式碼經組態以當該程式在一或多個實體運算裝置上運行時使該一或多個實體運算裝置執行如上所述之編碼或解碼方法。

儲存媒體可包括揮發性及非揮發性電腦記憶體（諸如RAM、PROM、EPROM、及EEPROM）、光碟（諸如CD、DVD、BD）、磁性儲存媒體（如硬碟及磁帶）。各種儲存媒體可係固定在一運算裝置內或可係可轉移的，使得儲存在其上之一或多個程式可載入一處理器中。

根據一實施例之後設資料可儲存在一儲存媒體上。根據一實施例之一位元串流可儲存在相同儲存媒體或不同儲存媒體上。後設資料可嵌入位元串流中，但此並非必要。同樣地，後設資料及/或位元串流（其中後設資料在位元串流中或與其分開）可傳輸作為經調變至電磁載波上之一信號。該信號可根據用於數位通訊的標準來定義。該載波可係一光學載波、一射頻波、一毫米波、或一近場通訊波。其可係有線的或無線的。

在實施例部分或全部以硬體實施的情況下，圖2及圖4之方塊圖中所顯示的方塊可係分開的實體組件、或單一實體組件的邏輯子分割，或可全部以一整合方式實施在一個實體組件中。圖式中所展示之一個方塊的功能可在一實施方案中的多個組件之間平分，或者圖式中所展示之多個方塊的功能可組合在一實施方案中的單一組件中。適用於本發明之實施例中的硬體組件包括，但不限於，習知微處理器、特殊應用積體電路(application specific integrated circuit, ASIC)、及場可程式化閘陣列(field-programmable gate array, FPGA)。一或多個方塊可實施為用以實行一些功能的專用硬體、及一或多個程式化微處理器、以及用以執行其他功能的相關聯電路系統之組合。

在實踐所主張的發明時，所屬技術領域中具有通常知識者可藉由研究圖式、本揭露、及所附申請專利範圍而理解與實現所揭示之實施例的變化。在申請專利範圍中，詞語「包含(comprising)」不排除其他元素或步驟，且不定冠詞「一(a)」或「一(an)」不排除複數個。單一處理器或其他單元可滿足申請專利範圍中所述之數個項目的功能。在相互不同的附屬項中所敘述的某些測量的這一事實並未指示此等測量之組合無法用以得利。若電腦程式係於上文討論，則其可儲存/分布在合適的媒體上，諸如光學儲存媒體或固態媒體，其連同其他硬體來供應或作為其他硬體的部分，但亦可以其他形式來分布，諸如經由網際網路或其他有線或無線電信系統。若用語「經調適以(adapted to)」使用在申請專利範圍或說明書中，應注意用語「經調適以(adapted to)」意圖等效於用語「經組態以(configured to)」。申請專利範圍中的任何元件符號不應解釋為限制範圍。

110:步驟 120:步驟 125:步驟 130:步驟 140:後設資料 200:編碼器 210:輸入介面 220:分析器 230:後設資料編碼器 240:輸出 305:紋理與深度資料 310:步驟 320:步驟 330:步驟 400:解碼器 410:輸入介面 420:資料解碼器 430:輸出 440:演現器

為更佳地瞭解本發明，並更清楚展示可如何使其生效，現在將僅通過實例方式來參考隨附圖式，其中： 〔圖1〕係根據本發明之第一實施例之編碼用於沈浸式視訊之多視圖資料的方法之流程圖； 〔圖2〕係根據一實施例之編碼器之方塊圖，該編碼器經組態以實行圖1所繪示之方法； 〔圖3〕係繪示根據本發明之第二實施例之解碼用於沈浸式視訊之多視圖資料的方法之流程圖；及 〔圖4〕係根據一實施例之解碼器之方塊圖，該解碼器經組態以實行圖3所繪示之方法。

110:步驟

120:步驟

125:步驟

130:步驟

140:後設資料

Claims (15)

1. 一種編碼用於沈浸式視訊之多視圖資料(110)的方法，該方法包含： 產生(130)包含一欄位之後設資料(140)，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。
2. 如請求項1之方法，其中該欄位包含一組至少兩個可允許值，且其中該組之一第一值指示該多視圖資料之該補片資料單元包含從至少一個視點擷取的原始影像資料，且其中該組之一第二值指示該多視圖資料之該補片資料單元包含經補繪資料，且其中該欄位之該值指示該補片資料單元之一細節層次。
3. 如請求項1之方法，其中該欄位包含一所儲存值之一識別符或位址。
4. 如請求項3之方法，其中該所儲存值包含一演現參數值。
5. 如請求項1至4中任一項之方法，其進一步包含前述步驟： 判定(120)多視圖資料(110)之一補片資料單元是否包含從至少一個視點擷取的原始影像資料或用於表示遺漏影像資料的經補繪資料；及 基於判定之一結果，定義(125)用於指示該補片資料單元是否包含原始影像資料或經補繪資料的一欄位值。
6. 如請求項5之方法，當附屬於請求項3時，其中該欄位值包含一視圖參數， 且其中判定多視圖資料(110)之一補片資料單元是否包含從至少一個視點擷取的原始影像資料或用於表示遺漏影像資料的經補繪資料包含： 回應於識別該補片資料單元包含對一補繪視圖的一參考，判定多視圖資料之該補片資料單元包含經補繪資料。
7. 一種解碼用於沈浸式視訊之多視圖資料的方法，該方法包含： 接收(310)包含多視圖資料及相關聯後設資料(140)的一位元串流，該後設資料包含一欄位，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料；及 解碼(320)該多視圖資料之該補片資料單元，其包含基於該欄位指示該多視圖資料之該補片資料單元包含經補繪資料，設定該補片資料單元之一演現參數。
8. 如請求項7之方法，其中該欄位包含一所儲存值之一識別符或位址， 且其中設定該補片資料單元之該演現參數包含： 基於該識別符或位址判定該所儲存值；及 基於該所儲存值來設定該演現參數。
9. 如請求項7或8之方法，其中該演現參數包含一演現優先順序，且其中設定該補片資料單元之該演現參數包含： 回應於該欄位指示該多視圖資料之該補片資料單元包含經補繪資料，將該補片資料單元之一演現優先順序設定為一第一優先順序值；及 回應於該欄位指示該多視圖資料之該補片資料單元包含從至少一個視點擷取的原始影像資料，將該補片資料單元之該演現優先順序設定為一第二不同的優先順序值。
10. 如請求項7、8、或9之方法，其中該欄位與該多視圖資料的一圖框相關聯，且包含該圖框之一或多個補片資料單元的一描述，該一或多個補片資料單元包含經補繪資料， 且其中解碼該多視圖資料之該補片資料單元包含： 分析該描述以判定該補片資料單元是否包含經補繪資料；及 基於該分析之結果設定該補片資料單元之演現參數。
11. 如請求項10之方法，其中該欄位值係一視圖參數， 且其中分析該描述包含判定該描述是否包含對一補繪視圖的一參考。
12. 一種包含一電腦程式之儲存媒體，當該程式在一處理系統上運行時用於使該處理系統實施如請求項1至11中任一項之方法。
13. 一種用於編碼用於沈浸式視訊之多視圖資料(110)之編碼器(200)，該編碼器包含： 一後設資料編碼器(230)，其經組態以產生包含一欄位之後設資料(140)，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。
14. 一種用於解碼用於沈浸式視訊之多視圖資料的解碼器(400)，該解碼器包含： 一輸入介面(410)，其經組態以接收包含多視圖資料及相關聯後設資料(140)的一位元串流，該後設資料包含一欄位，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料；及 一資料解碼器(420)，其經組態以解碼該多視圖資料之該補片資料單元，其包含基於該欄位指示該多視圖資料之該補片資料單元包含經補繪資料，設定該補片資料單元之一演現優先順序。
15. 一種位元串流，其包含用於沈浸式視訊之多視圖資料及相關聯之後設資料， 其中該後設資料包含一欄位，該欄位指示該多視圖資料之一補片資料單元是否包含用於表示遺漏資料的經補繪資料。

Images