TW202127895A - 用於深度資料之編碼方案 - Google Patents

用於深度資料之編碼方案 Download PDF

Info

Publication number
TW202127895A
TW202127895A TW109132270A TW109132270A TW202127895A TW 202127895 A TW202127895 A TW 202127895A TW 109132270 A TW109132270 A TW 109132270A TW 109132270 A TW109132270 A TW 109132270A TW 202127895 A TW202127895 A TW 202127895A
Authority
TW
Taiwan
Prior art keywords
depth
subset
map
values
levels
Prior art date
Application number
TW109132270A
Other languages
English (en)
Inventor
巴特 庫倫
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202127895A publication Critical patent/TW202127895A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

揭示編碼及解碼深度資料的方法。在編碼方法中，深度值及佔用資料兩者皆編碼至深度圖中。該方法調適如何將深度值及佔用資料轉換成深度圖中的圖值。例如，其可適應性地選擇一臨限，高於或低於該臨限之所有值皆代表未佔用像素。藉由基於該等深度值的分析來調適如何編碼深度及佔用，該方法可實現深度資料及佔用資料的更有效率編碼及傳輸。該編碼方法輸出界定該適應性編碼的後設資料。此後設資料可由對應解碼方法使用，以解碼該等圖值。亦提供用於深度資料之一種編碼器及一種解碼器；及一種對應位元流，其包含一深度圖及其相關聯的後設資料。

Description

用於深度資料之編碼方案
本發明係關於深度資料的編碼。具體而言，其係關於用於編碼及解碼沈浸式視訊(immersive video)的方法及設備。
沈浸式視訊，亦稱為六自由度(six-degree-of-freedom, 6DoF)視訊，係三維(3D)場景的視訊，其允許場景之視圖針對在位置及定向上變化的視點來重建。其代表三自由度(3DoF)視訊的開發，其允許視圖針對具有任意定向的視點來重建，但僅在空間中的固定點。在3DoF中，自由度係角度的-亦即，俯仰、翻滾、及偏擺。3DoF視訊支援頭部旋轉-換言之，觀看該視訊之使用者可以場景中之任何方向來觀看，但無法移動至場景中之不同位置。6DoF視訊支援頭部旋轉且額外地支援場景中之位置（場景係從該位置觀看）的選擇。
為了產生6DoF，視訊需要多個攝影機來記錄場景。各攝影機產生影像資料（在此背景中通常稱為紋理資料）及對應的深度資料。對於各像素，深度資料表示觀察到對應影像像素資料的深度。該多個攝影機之各者提供場景之各別視圖。
為了減少視圖之間的冗餘，已提議針對視訊流之各框修整視圖並將其包裝入「紋理輿圖(texture atlas)」中。此方法嘗試減少或消除多個視圖之間的重疊部分，從而改善效率。不同視圖之非重疊部分（其在修整後仍保留）可稱為「補片(patch)」。此方法之一實例係描述於Alvaro Collet等人的「High-quality streamable free-viewpoint video」，ACM Trans. Graphics (SIGGRAPH), 34(4), 2015。
所欲的係有效率地編碼深度資料。與深度資料相關的係佔用資料，其指示給定視圖中之給定像素是否由補片所佔用。針對補片存在有效深度資料。針對非佔用像素，無有效深度資料。一種方法將係與深度資料分開地編碼佔用圖，但此將需要額外資料結構的傳輸。另一方法將係編碼嵌入在深度資料中的佔用資訊-例如，藉由保留一特定深度值以示意一像素係未佔用。然而，深度資料可經壓縮以用於傳輸。壓縮及後續傳輸兩者皆可能在經解碼深度資料中引入錯誤。若該佔用資料係嵌入有深度資料，則壓縮或傳輸錯誤亦可能篡改該佔用資料，其最終可導致在經解碼的及經演現的沈浸式視訊中之顯著的或干擾的視覺假影。所欲的係減少或避免此類假影，而同時有效率地編碼深度資料及佔用資料。
本發明由申請專利範圍定義。
根據本發明之一態樣的實例，提供一種編碼深度資料之方法，該方法包含： 接收包含至少深度值的來源資料； 界定包含圖值之一陣列的一深度圖，各圖值採取複數個位準之一者； 分析該等深度值，以判定如何將該等深度值編碼至該複數個位準中； 基於該分析之一結果，界定該複數個位準之一第一子集，該第一子集用於表示該深度圖之一經佔用部分的深度資料； 基於該分析之該結果，界定該複數個位準之一第二子集，該第二子集用於表示該深度圖之一未佔用部分； 針對該深度圖之該未佔用部分，指派來自該複數個位準之該經界定第二子集的一或多個圖值； 針對該深度圖之該經佔用部分，將該等深度值轉換成該複數個位準之該經界定第一子集中的圖值，從而編碼該深度圖中的該等深度值；及 產生包含該深度圖及後設資料的一位元流，該後設資料包含該第一子集及該第二子集的一定義。
此方法允許在該深度圖中編碼該佔用。發明人已認知到，若編碼可調適至深度圖的內容，則將佔用及深度編碼在一起較佳地運作。若第一子集及第二子集係固定的，則編碼可為次佳的。藉由分析該等深度值，並根據分析的結果來選擇該第一子集及該第二子集，本方法可更有效地利用可用於該深度圖之該等位元。
該來源資料可係來源視訊資料。該來源資料可進一步包含指示該深度圖之經佔用部分及/或未佔用部分的佔用資料。
該第一子集及該第二子集的定義取決於該深度資料的內容。亦即，該等子集的選擇調適於該來源資料的內容。
該方法可進一步包含使用視訊壓縮演算法來壓縮該深度圖，該視訊壓縮演算法可選地係標準化視訊壓縮演算法，諸如高效率視訊編碼(High Efficiency Video Coding, HEVC)，亦稱為H.265及MPEG-H Part 2。該位元流可包含該經壓縮深度圖。
界定該等子集可包含選擇至少一臨限位準。
界定該第一子集及該第二子集可包含在該複數個位準中選擇一第一臨限位準，其中該等子集之一者包含大於該第一臨限位準的所有位準。
可選地，另一子集包含小於該第一臨限位準的所有位準。該後設資料可包括該第一臨限位準的定義。此可係明確的（亦即，該後設資料可包括該第一臨限位準）或隱含的（例如，該後設資料可界定一轉換函數，該轉換函數隱含地涉及一第一臨限）。
該第一臨限位準可經選擇為二的次方。
亦即，該第一臨限位準經選擇為2n ，其中n係非負整數。當該等圖值經編碼為二進位數字時，此可允許藉由檢查該二進位圖值之位元的子集來判定該佔用。
該方法可進一步包含界定該複數個位準之一第三子集作為防護位準，不使用在該深度圖中，其中該後設資料進一步包含該第三子集的一定義。
該第三子集與該第一子集及該第二子集不同。亦即，該第三子集的該等位準不在該第一子集中且不在該第二子集中。
引入防護位準可進一步增強對抗由壓縮或傳輸所引入之錯誤的堅固性。防護位準可包含介於該第一子集與該第二子集之間的位準範圍。防護位準未用以表示深度資料，且未用於表示該深度圖的未佔用部分。在解碼器處，可偵測等於該等防護位準之一者的圖值之任何實例為錯誤，並可選地校正該錯誤。
該第三子集可由一第二臨限位準來界定。例如，該第三子集可界定為包含介於該第一臨限與該第二臨限之間的位準。該後設資料可包括該第二臨限位準的一定義。此定義可係直接/明確（例如，該後設資料可包括該第二臨限位準）或間接/隱含。
分析該深度資料可包含判定該深度資料之一動態範圍。
該方法可進一步包含測量或預測其將藉由依一給定方式編碼該深度圖中的深度值而導致之經解碼深度資料中的錯誤程度。
該深度資料可包含正規化視差值。正規化視差值佔用範圍[0,1]，其中0表示無限深度而1表示最小深度。使用正規化視差值可促進位元至深度值之較佳分配。例如，假設深度係以公尺測量。在1 m與2 m之間的差異比在10 m與11 m之間的差異更為視覺上顯著的（即使1 m的絕對深度差異在兩種情況下均相同）。正規化視差有助於擷取此相對顯著性：在第一情況下，正規化視差中的差異係(1/1 - 1/2) = 0.5；而在第二情況下，正規化視差中的差異係(1/10 - 1/11) = 0.009。
將深度值轉換成圖值可包含使用一分段(piecewise)線性函數來轉換，且該後設資料可進一步包含該分段線性函數的一定義。
該來源資料可係包含複數個來源視圖之視訊資料，各來源視圖包含紋理值及深度值。換言之，一種如上文概述之編碼深度資料的方法可應用於一種編碼沈浸式視訊的方法中。
亦提供一種解碼深度資料之方法，該方法包含： 接收包含一深度圖及相關聯後設資料的一位元流， 該深度圖包含圖值的一陣列， 各圖值採取複數個位準之一者， 該後設資料界定該複數個位準之一第一子集，該第一子集表示該深度圖之一經佔用部分的深度資料，且該後設資料界定該複數個位準之一第二子集，該第二子集表示該深度圖之一未佔用部分； 解碼該深度圖，其包含將該第一子集值中的圖值轉換成深度值；及 輸出該等深度值。
解碼該深度圖可選地進一步包含藉由識別在該第二子集值中的圖值來產生一佔用圖。
該位元流中的深度圖可已使用一視訊壓縮演算法來壓縮，該視訊壓縮演算法可選地係一標準化視訊壓縮演算法。該方法可包含，在解碼該深度圖之前，根據該視訊壓縮演算法解壓縮該深度圖。
該第一子集及該第二子集中之至少一者可由該複數個位準中的一第一臨限位準來界定，其中該等子集之一者包含大於該第一臨限位準的所有位準。另一子集可包含小於該第一臨限位準的所有位準。
該後設資料可進一步包含一分段線性函數的一定義，且將該等圖值轉換成深度值可包含使用該分段線性函數來轉換。
該後設資料可進一步包含該複數個位準之一第三子集的一定義，該第三子集係該深度圖中未使用的防護位準，該方法進一步包含，在解碼該深度圖之前，偵測該第三子集值中的任何圖值。
在所接收的該深度圖中，該第三子集中的任何值皆為錯誤。其可已藉由壓縮或傳輸錯誤而引入。該方法可包含當解碼該深度圖時跳過或校正這些值。在一些實施例中，接近該第一子集中之一值（亦即，接近一有效值）的圖值可藉由將其改變至最近有效值來校正。
深度值可係包含複數個來源視圖之視訊資料的深度資料，且該方法可進一步包含重建該複數個來源視圖中之至少一者。
該後設資料可包含一負的正規化視差值及一正的正規化視差值。此可提供一種隱含地界定該第一子集及該第二子集的方式-具體地，當使用介於深度值與圖值之間的一線性（或分段線性）轉換函數時。該負的正規化視差值可界定該轉換函數的x軸截距（或該轉換函數的分段）。此負的正規化視差值可指派給圖值中的位準0。該正的正規化視差值可界定待編碼的最大正規化視差（最小深度）（或待以該轉換函數之此分段編碼的最大正規化視差）。此正的正規化視差值係指派給一指定位準（例如，最大位準，在單一線性轉換函數的情況下）。此隱含地界定用於表示深度資料的位準之一第一子集（對應於正深度值的那些），並隱含地界定用於表示該深度圖之未佔用部分的位準之一第二子集（對應於「負」深度值的那些）。因為真實正規化視差值無法為負值，所以所有深度值將轉換成該第一子集中的位準。
亦揭示一種電腦程式，其包含當該程式在一處理系統上運行時用於導致該處理系統實施如上文所概述之一方法的電腦碼。該電腦程式可儲存在電腦可讀儲存媒體上。此可係非暫時性儲存媒體。
亦提供一種用於深度資料的編碼器，該編碼器經組態以將深度值編碼至一深度圖中，該深度圖包含圖值之一陣列，各圖值採取複數個位準之一者，該編碼器包含： 一輸入，其經組態以接收包含至少深度值的來源資料； 一分析器，其經組態以： 分析該等深度值，以判定如何將該等深度值編碼至該複數個位準中， 基於該分析之一結果，界定該複數個位準之一第一子集，該第一子集用於表示該深度圖之一經佔用部分的深度資料； 基於該分析之該結果，界定該複數個位準之一第二子集，該第二子集用於表示該深度圖之一未佔用部分；及 一深度值編碼器，其經組態以： 針對該深度圖之該未佔用部分，指派來自該複數個位準之該經界定第二子集的一或多個圖值； 針對該深度圖之該經佔用部分，將該等深度值轉換成該複數個位準之該經界定第一子集中的圖值，從而編碼該深度圖中的該等深度值；及 產生包含該深度圖及後設資料的一位元流，該後設資料包含該第一子集及該第二子集的一定義。
進一步提供一種用於深度資料的解碼器，該解碼器包含： 一輸入，其經組態以接收包含一深度圖及相關聯後設資料的一位元流， 該深度圖包含圖值的一陣列， 各圖值採取複數個位準之一者， 該後設資料界定該複數個位準之一第一子集，該第一子集表示該深度圖之一經佔用部分的深度資料，且該後設資料界定該複數個位準之一第二子集，該第二子集表示該深度圖之一未佔用部分； 一深度值解碼器，其經組態以解碼該深度圖，其包含將該第一子集值中的圖值轉換成深度值；及 一輸出，其經組態以輸出該等經轉換深度值。 根據再另一態樣，提供一種包含一深度圖及相關聯後設資料的位元流， 該深度圖包含圖值的一陣列，各圖值採取複數個位準之一者， 該後設資料界定該複數個位準之一第一子集，該第一子集表示該深度圖之一經佔用部分的深度資料，且該後設資料界定該複數個位準之一第二子集，該第二子集表示該深度圖之一未佔用部分。
該位元流可使用如上文所概述之方法來編碼及解碼。其可體現在電腦可讀媒體上，或作為經調變至電磁載波上的信號。
本發明的此等及其他態樣將參考下文描述的（多個）實施例闡明且將係顯而易見的。
將參考圖式描述本發明。
應該理解到，詳細說明與特定實例雖然指示了設備、系統、與方法的例示性實施例，但僅意圖用於說明的目的，而不意圖限制本發明的範圍。從以下描述、所附申請專利範圍、與附圖，將更佳地理解本發明的設備、系統、與方法的這些與其他特徵、態樣、與優點。應該理解到，圖式僅是示意性的，且未按比例繪製。也應該理解到，整個圖式使用相同的元件符號來表示相同或相似的部分。
揭示編碼及解碼深度資料的方法。在編碼方法中，深度值及佔用資料兩者皆編碼至深度圖中。該方法調適如何將深度值及佔用資料轉換成深度圖中的圖值。例如，其可適應性地選擇一臨限，高於或低於該臨限之所有值皆代表未佔用像素。藉由基於該等深度值的分析來調適如何編碼深度及佔用，該方法可實現深度資料及佔用資料的更有效率編碼及傳輸。該編碼方法輸出界定該適應性編碼的後設資料。此後設資料可由對應解碼方法使用，以解碼該等圖值。亦提供用於深度資料之一種編碼器及一種解碼器；及一種對應位元流，其包含一深度圖及其相關聯的後設資料。
所欲的係使用已知影像及視訊壓縮演算法來壓縮深度資料。特別所欲的係能夠使用標準化演算法來壓縮該深度資料。用於根據標準化編碼解碼器(codec)編碼及解碼的合適硬體及軟體係廣泛可得，且常就速度、品質及電力消耗方面兩者而高度最佳化。然而，大部分視訊壓縮係有損的，以便達成對於傳輸及儲存係實際的位元率。因此，通常無法保證使用視訊壓縮技術所壓縮的深度圖將在解碼器處完全地重建。錯誤將藉由壓縮及潛在地亦藉由位元流的傳輸及/或儲存兩者而引入。
用以結合深度圖中之深度值與佔用資料的編碼之一種基本方法（非根據本發明）將是設定一固定臨限，以區別未佔用像素與有效深度值。例如，可係所欲的是使用HEVC Main 10 Level 5.2來編碼深度資料，意指最大位元深度係10。此暗示1024位準（從0至1023）可用來編碼深度資料及佔用資料。用於深度資料的編碼方案可界定從0至63的所有位準指示一未佔用像素。僅使用位準64至1023來編碼深度值。此暗示提供超過可用範圍之6%來編碼佔用。此可適用於一些內容，但對於其他內容係無效率的。難以選擇通常將適於所有類型的內容之單一固定臨限。
圖1繪示根據本發明之第一實施例的編碼方法。圖2係用於實行圖1之方法的編碼器之示意方塊圖。
編碼器300包含一輸入310；一分析器320；一深度值編碼器330；及一輸出340。在步驟110中，輸入310接收包含深度值的來源資料。在本實施例中，來源資料係包含複數個來源視圖的沈浸式視訊資料。各來源視圖包含紋理值及深度值。紋理值之編碼係在本發明的範圍外，且將不在此進一步討論。
在步驟120中，深度值編碼器330界定包含圖值之陣列的深度圖。各圖值採取複數個位準的一者。例如，若最大位元深度係10，則將有1024位準。
輸入310係耦接至分析器320。在步驟130中，分析器分析深度值，以判定如何最佳地將深度值編碼至複數個位準中。在本實施例中，將使用低於臨限之圖值來表示未佔用像素，且將使用高於臨限之圖值來編碼深度值。因此，分析器的任務係基於深度值的分析來選擇臨限（步驟140）。如何選擇臨限之進一步細節將稍後論述於下。現在，應注意，臨限(T)可經選擇為二的次方(T=2n )。此可係有利的，因為其可允許在解碼器處的簡單檢查，以確定給定的圖值是高於或是低於臨限。解碼器可僅檢查圖值的最高有效位元(most significant bits, MSBs)，而非比較圖值與特定臨限值。例如，若臨限T=256=28 ，則解碼器可檢查10位元表示之兩個最高有效位元。若這些位元兩者皆係0，則該值低於臨限；否則，若位元之任一者係1，則該值高於臨限。
在步驟150中，深度值編碼器330填充(populate)深度圖。針對未佔用的像素，深度圖係以低於所選擇臨限的一或多個圖值填充。針對經佔用的各像素，深度值編碼器330將深度值轉換成位於該臨限之上的各別圖值。
深度值編碼器330提供含有經編碼圖值的經填充深度圖至輸出340。同時，分析器320提供後設資料至輸出340。後設資料包括界定如何編碼深度值的資訊。具體而言，後設資料包括關於所選擇之臨限的資訊。後設資料亦可包括關於將深度值映射至高於臨限之範圍中的圖值之資訊。然而，在一些實施例中此可能並非必要，由於該映射可在編碼方案中明確地界定。例如，所有深度值可係在範圍[0,1]中的正規化視差值，而該映射可係至高於該臨限之圖值的線性映射。
輸出340產生並輸出包含至少該深度圖的位元流。其亦輸出後設資料，作為相同位元流的部分或與位元流分開。
圖3係繪示根據本發明之第二實施例之解碼一經編碼深度圖的方法之流程圖。圖4係用於實行圖3之方法的解碼器之示意方塊圖。
解碼器400包含一輸入410；一深度值解碼器420；及一輸出430。可選地，其亦可包含一演現器440。
在步驟210中，輸入410接收包含深度圖的位元流。該輸入亦接收描述該位元流的後設資料。該後設資料可嵌入該位元流中，或可係分開的。此實例中的深度圖係根據上述圖1的方法所產生者。應注意，輸入至解碼器400之深度圖一般將係由編碼器300輸出的深度圖之版本，該版本隨後已經受有損視訊壓縮（以及可能透過傳輸通道的易有錯誤通訊）。
在步驟220中，深度值解碼器420解碼深度圖。此涉及識別高於臨限的圖值且將其轉換回至深度值。如上文所論述，臨限係包括在後設資料中。適當的轉換函數可提前在編碼器與解碼器之間達成協議（例如，界定為一標準化編碼方案的部分）。替代地，若未提前界定/達成協議，則轉換函數可嵌入後設資料中，且解碼器可從後設資料提取轉換函數。
深度值解碼器420提供經解碼深度值至輸出430。輸出430輸出深度值（步驟230）。深度值解碼器亦可輸出佔用圖，其指示圖值低於臨限的深度圖之像素。
若解碼器400包括可選的演現器440，則深度值解碼器420可提供經解碼深度值至演現器，該演現器從深度資料重建一或多個視圖。在此情況中，演現器430可提供經重建視圖至輸出430，而輸出430可輸出此經重建視圖（例如，至一訊框緩衝器）。
有各種方式，其中可動態地指派圖值以編碼深度（及各別佔用）資料。現在將更詳細地討論這些方式中之一些-連同將由分析器320所執行的對應分析。
在一些實施例中，分析深度值包含判定深度值的動態範圍。若動態範圍小（亦即，若深度值全部在相同值附近且其間的差不顯著，則可使用少數位元來編碼佔用。例如，若所有攝影機皆足夠接近物體，且深度圖的動態範圍並非關鍵，則可使用一個位元來編碼佔用圖。亦即，針對10位元深度圖，臨限位準將係T=512=29 。此仍留下512位準以用於編碼深度資料，其在特寫情境中可係足夠的。
當判定一補片、視圖、圖框、或視訊具有完整佔用時，則臨限可設為0，指示所有像素皆佔用。此使可用於編碼深度資料的位準數目最大化。
在一些實施例中，該方法可包含測量或預測其將藉由依一特定方式編碼深度值而導致之經解碼深度資料中的可見錯誤程度。例如，分析器320可研究與來源視圖相關聯的攝影機參數，以判定如何編碼深度值。若兩個攝影機具有寬的角度間距（例如，90°），則在一個視圖中的深度錯誤將隨著在另一視圖中的移位至左邊或右邊而輕易可見。在這些情形中，將有利的是盡可能準確地編碼深度值。另一方面，若兩個攝影機具有小的角度間距（例如，5°），則深度值中的錯誤係極不易察覺的。
在一些實施例中，分析可包含編碼深度值、壓縮深度值、解壓縮並解碼深度值、以及從經解碼深度值合成測試視圖。經合成測試視圖可與自原始來源資料推導之一參考視圖進行比較，以產生一錯誤/差異影像。此可針對位準之第一子集及第二子集的不同組態而重複。可選擇導致最小錯誤/差異的組態來編碼深度值。
深度值可儲存為正規化視差(1/Z)，其具有分別對應於最高深度位準及最低深度位準的近深度及遠深度。一模型假定所選擇的臨限位準係對應於遠深度而1023對應於近深度（針對10位元資料）。
當指定深度範圍時，有各種方式來指定佔用編碼。
圖5繪示藉由線性函數而編碼至圖值中的深度值之實例。針對x軸上的給定深度值，該函數界定y軸上的對應圖值。假設該等深度值經提供為正規化視差；因此，深度值範圍係從1/Zmax 的最小值至1/Zmin 的最大值。在圖5之實例中，假設最大深度係在無限(Z=∞)處；因此，正規化視差的最小值係0。線之y軸截距給定臨限位準。低於T的T.圖值將用來代表未佔用像素。最大深度值(1/Zmin )將轉換成最大圖值(1023，在10位元編碼的情況下）。在0與1/Zmin 之間的深度值之圖值可藉由線性內插來獲得。轉換函數可以各種方式在後設資料中界定。例如，後設資料可包括臨限T及最小深度值Zmin 。最大圖值及最小圖值可自位元深度（例如，針對10位元分別為1023及0）隱含地得知；因此，可能不需要將這些明確地編碼在後設資料中。
圖6顯示另一例示性線性轉換函數。此處，最大深度Zmax 小於無限；因此，有非零1/Zmax 。線性轉換函數從座標(1/Zmax , T)運行至座標(1/Zmin , 1023)。再次，使用低於T的圖值來表示未佔用區。此轉換函數可藉由下列三個參數而界定在後設資料中：臨限T；最小深度值Zmin ；及最大深度值Zmax 。
若壓縮或傳輸錯誤在極接近1/Zmax 的正規化視差值中引入，則可能會發生潛在問題。圖值可由於錯誤而越過該臨限T，意指以未佔用像素不正確地置換遠深度處之像素。圖7顯示一轉換函數，該轉換函數尋求藉由在用以編碼深度資料的位準與用以指示未佔用像素的位準之間引入防護位準來防止此情況。用以編碼深度值的最低圖值係由第一臨限(T)給定。但僅低於第二臨限(TG )的圖值用以表示未佔用像素。此可等同於視為將防護帶引入在1/Zmax 與1/ZG 之間的深度值中。其可以任一方式在後設資料中描述。換言之，一額外臨限係界定在後設資料中，該額外臨限可係圖值中的臨限或深度值中的臨限。
圖8繪示另一種界定線性轉換函數的方式。此處，後設資料包含正深度值1/Zmin 、及負深度值-d。負深度值沒有真實、物理意義（因為正規化視差總是非負的）。其作為臨限T的隱含定義（在y軸截距處），低於該臨限則圖值係用以指示未佔用像素。圖8的實例沒有防護位準，但這些可藉由指定一額外臨限而引入，類似於在圖7中採取的方法。
圖9顯示一分段線性轉換函數。該分段線性函數具有三個區段，其可藉由其端點的座標而界定在後設資料中。界定第一端點之y軸座標的圖值係隱含地界定臨限T。換言之，第一端點之(x, y)座標係(1/Zmax , T)。第一線性區段具有一相對淺的斜率，意指相對少的圖值被指派給此範圍中的深度值。中間線性區段具有一相對陡的斜率，指示相對較多的圖值被指派給此範圍中的深度值。第三線性區段再次具有一較淺的斜率，其具有較少的位準指派給其圖值。例如，當大多數深度值群集在中間距離中時，此一輪廓可係適當的。在此情況下，極接近攝影機或極遠離攝影機之像素中的錯誤可能較無破壞性-亦即，對觀看者而言更可接受。
圖10顯示具有防護位準的另一分段線性轉換函數。防護位準可理解（且潛在地編碼在後設資料中）為分段線性函數中的一垂直步階。防護位準係步階之範圍中的圖值，從TG 至T。未佔用像素僅由小於TG 的圖值所指示。
圖5至圖10中之實例並非互斥，且可提供結合這些實例之數個屬性的轉換函數。例如，分段線性函數（如圖9中的一個）之一或多個分段可由一想像的負深度值來界定，如在圖8中。由防護位準所組成的第三子集位準可在實例之任一者中引入。
在上述實例之各者中，第二子集位準（指示未佔用像素）以一個或兩個臨限與第一子集位準（指示有效深度值）分開，其中第一子集位準係高於第二子集位準。應理解此並非必要。在其他實施例中，可以不同方式分配該等位準。例如，在步驟130中的分析可顯露：深度資料由接近攝影機之深度值的群集、及遠離攝影機之深度值的群集所組成，其中沒有像素具有在中間距離中的深度值。在此情況下，可有理由將一組位準分配在圖值之範圍的中間，用於標示未佔用像素。此一範圍可由一開始臨限及一結束臨限來界定。在使用分段線性函數來編碼的情況下，這些臨限可隱含在線性區段之端點的座標中。
雖然上文所述的實例已使用分段線性函數，但當然有可能使用其他函數以在深度值與圖值之間轉換。此類函數可包括（但不限於）：二次函數、較高階多項式函數、指數函數、及對數函數。該等函數可整體地、或分段地與其他分段函數組合來使用。
當解碼圖值時本發明的實施例依賴於描述編碼程序的後設資料之使用。因為後設資料對於解碼程序而言係重要的，所以若以額外的錯誤偵測或錯誤校正碼來編碼後設資料則可係有利的。合適的碼在通訊理論的領域中係已知的。
圖1及圖3之編碼方法及解碼方法、以及圖2及圖4之編碼器及解碼器可以硬體或軟體、或者兩者之混合（例如，作為硬體裝置上運行的韌體）來實施。在實施例部分或全部以軟體實施的情況下，可藉由適當程式化的實體計算裝置（諸如一或多個中央處理單元(CPU)或圖形處理單元(GPU)）來執行程序流程圖中所繪示之功能性步驟。各程序-及如流程圖中所繪示之其個別組成步驟-可藉由相同或不同的計算裝置來執行。根據實施例，一種電腦可讀儲存媒體儲存一電腦程式，該電腦程式包含電腦程式碼，該電腦程式碼經組態以當該程式在一或多個實體計算裝置上運行時導致該一或多個實體計算裝置執行如上所述之編碼方法或解碼方法。
儲存媒體可包括揮發性及非揮發性電腦記憶體，諸如RAM、PROM、EPROM、及EEPROM。各種儲存媒體可固定在計算裝置內或可係可轉移的，使得儲存在其上之一或多個程式可載入一處理器中。
根據一實施例之後設資料可儲存在一儲存媒體上。根據一實施例之一位元流可儲存在相同儲存媒體或不同儲存媒體上。後設資料可嵌入位元中，但此並非必要。同樣地，後設資料及/或位元流（其中後設資料在位元流中或與其分開）可傳輸為一經調變至電磁載波上之信號。信號可根據用於數位通訊的標準來定義。該載波可係一光學載波、一射頻波、一毫米波、或一近場通訊波。其可係有線的或無線的。
在實施例部分或全部以硬體實施的情況下，圖2及圖4之方塊圖中所顯示的方塊可係分開的實體組件、或單一實體組件的邏輯子分割，或可全部以一整合方式實施在一個實體組件中。圖式中所顯示之一個方塊的功能可在一實施方案中的多個組件之間分割，或者圖式中所顯示之多個方塊的功能可組合在一實施方案中的單一組件中。適用於本發明之實施例中的硬體組件包括，但不限於，習知微處理器、特殊應用積體電路(application specific integrated circuit, ASIC)、及場可程式化閘陣列(field-programmable gate array, FPGA)。一或多個方塊可實施為用以實行一些功能的專用硬體、及一或多個程式化微處理器、以及用以執行其他功能的相關聯電路系統之組合。
在實踐所主張的發明時，所屬技術領域中具有通常知識者可藉由研究圖式、本揭露、及所附申請專利範圍而理解與實現所揭示之實施例的變化。在申請專利範圍中，詞語「包含(comprising)」不排除其他元素或步驟，且不定冠詞「一(a)」或「一(an)」不排除複數個。單一處理器或其他單元可滿足申請專利範圍中所述之數個項目的功能。在相互不同的附屬項中所敘述的某些測量的這一事實並未指示此等測量之組合無法用以得利。若電腦程式係於上文討論，則其可儲存/分布在合適的媒體上，諸如光學儲存媒體或固態媒體，其連同其他硬體來供應或作為其他硬體的部分，但亦可以其他形式來分布，諸如經由網際網路或其他有線或無線電信系統。若用語「經調適以(adapted to)」使用在申請專利範圍或說明書中，應注意用語「經調適以(adapted to)」意圖等效於用語「經組態以(configured to)」。申請專利範圍中的任何元件符號不應解釋為限制範圍。
110:步驟 120:步驟 130:步驟 140:步驟 150:步驟 210:步驟 220:步驟 230:步驟 300:編碼器 310:輸入 320:分析器 330:深度值編碼器 340:輸出 400:解碼器 410:輸入 420:深度值解碼器 430:輸出/演現器 440:演現器 T:臨限/第一臨限 TG :第二臨限
為更佳地瞭解本發明，並更清楚顯示可如何使其生效，現在將僅通過實例方式參考隨附圖式，其中： 〔圖1〕係根據本發明之第一實施例之編碼深度資料的方法之流程圖； 〔圖2〕係根據一實施例之用於深度資料的編碼器之方塊圖，該編碼器經組態以實行圖1所繪示之方法； 〔圖3〕係繪示根據本發明之第二實施例之解碼深度資料的方法之流程圖； 〔圖4〕係根據一實施例之用於深度資料的解碼器之方塊圖，該解碼器經組態以實行圖3所繪示之方法；及 〔圖5〕顯示用於在深度值與圖值之間轉換的例示性線性轉換函數； 〔圖6〕顯示另一例示性線性轉換函數； 〔圖7〕顯示具有防護位準的線性轉換函數； 〔圖8〕繪示用以界定線性轉換函數的替代方式； 〔圖9〕顯示一分段線性轉換函數；及 〔圖10〕顯示具有防護位準的分段線性轉換函數。
110:步驟
120:步驟
130:步驟
140:步驟
150:步驟

Claims (15)

  1. 一種編碼深度資料的方法，該方法包含： 接收(110)包含至少深度值的來源資料； 界定(120)包含圖值之一陣列的一深度圖，各圖值採取複數個位準之一者； 分析(130)該等深度值，以判定如何將該等深度值編碼至該複數個位準中； 基於該分析之一結果，界定(140)該複數個位準之一第一子集，該第一子集用於表示該深度圖之一經佔用部分的深度資料； 基於該分析之該結果，界定(140)該複數個位準之一第二子集，該第二子集用於表示該深度圖之一未佔用部分； 針對該深度圖之該未佔用部分，指派來自該複數個位準之該經界定第二子集的一或多個圖值； 針對該深度圖之該經佔用部分，將該等深度值轉換成該複數個位準之該經界定第一子集中的圖值，從而編碼(150)該深度圖中的該等深度值；及 產生包含該深度圖及後設資料的一位元流，該後設資料包含該第一子集及該第二子集的一定義。
  2. 如請求項1之方法，其中界定該第一子集及該第二子集包含：在該複數個位準中選擇(140)一臨限位準， 其中該等子集之一者包含大於該臨限位準的所有位準。
  3. 如請求項1或請求項2之方法，其進一步包含界定該複數個位準之一第三子集作為防護位準，該等防護位準不使用在該深度圖中，其中該後設資料進一步包含該第三子集的一定義。
  4. 如前述請求項中任一項之方法，其中分析該等深度值包含：判定該等深度值之一動態範圍。
  5. 如前述請求項中任一項之方法，其中將該等深度值轉換成圖值包含使用一分段線性函數來轉換，且其中該後設資料進一步包含該分段線性函數的一定義。
  6. 一種解碼深度資料的方法，該方法包含： 接收(210)包含一深度圖及相關聯後設資料的一位元流， 該深度圖包含圖值的一陣列， 各圖值採取複數個位準之一者， 該後設資料界定該複數個位準之一第一子集，該第一子集表示該深度圖之一經佔用部分的深度資料，且該後設資料界定該複數個位準之一第二子集，該第二子集表示該深度圖之一未佔用部分； 解碼(220)該深度圖，其包含將該第一子集值中的圖值轉換成深度值；及 輸出(230)該等深度值。
  7. 如請求項6之方法，其中該第一子集及該第二子集的至少一者係由該複數個位準中的一第一臨限位準所界定， 其中該等子集之一者包含大於該第一臨限位準的所有位準。
  8. 如請求項6或請求項7之方法，其中該後設資料進一步包含一分段線性函數的一定義，且其中將該等圖值轉換成深度值包含使用該分段線性函數來轉換。
  9. 如請求項6至8中任一項之方法，其中該後設資料進一步包含該複數個位準之一第三子集的一定義，該第三子集係未用於該深度圖中的防護位準， 該方法進一步包含，在解碼該深度圖之前，偵測該第三子集值中的任何圖值。
  10. 如請求項6至9中任一項之方法，其中該等深度值係包含複數個來源視圖之視訊資料的深度資料，該方法進一步包含重建該複數個來源視圖中之至少一者。
  11. 如前述請求項中任一項之方法，其中該後設資料包含一負的正規化視差值及一正的正規化視差值。
  12. 一種電腦程式，其包含當該程式在一處理系統上運行時用於導致該處理系統實施請求項1至11中任一項之方法的電腦碼。
  13. 一種用於深度資料的編碼器(300)，該編碼器經組態以將深度值編碼至一深度圖中，該深度圖包含圖值之一陣列，各圖值採取複數個位準之一者，該編碼器包含： 一輸入(310)，其經組態以接收包含至少深度值的來源資料； 一分析器(320)，其經組態以： 分析該等深度值，以判定如何將該等深度值編碼至該複數個位準中， 基於該分析之一結果，界定該複數個位準之一第一子集，該第一子集用於表示該深度圖之一經佔用部分的深度資料； 基於該分析之該結果，界定該複數個位準之一第二子集，該第二子集用於表示該深度圖之一未佔用部分；及 一深度值編碼器(330)，其經組態以： 針對該深度圖之該未佔用部分，指派來自該複數個位準之該經界定第二子集的一或多個圖值； 針對該深度圖之該經佔用部分，將該等深度值轉換成該複數個位準之該經界定第一子集中的圖值，從而編碼該深度圖中的該等深度值；及 產生包含該深度圖及後設資料的一位元流，該後設資料包含該第一子集及該第二子集的一定義。
  14. 一種用於深度資料之解碼器，該解碼器包含： 一輸入(410)，其經組態以接收包含一深度圖及相關聯後設資料的一位元流， 該深度圖包含圖值的一陣列， 各圖值採取複數個位準之一者， 該後設資料界定該複數個位準之一第一子集，該第一子集表示該深度圖之一經佔用部分的深度資料，且該後設資料界定該複數個位準之一第二子集，該第二子集表示該深度圖之一未佔用部分； 一深度值解碼器(420)，其經組態以解碼該深度圖，其包含將該第一子集值中的圖值轉換成深度值；及 一輸出(430)，其經組態以輸出該等經轉換深度值。
  15. 一種位元流，其包含一深度圖及相關聯後設資料， 該深度圖包含圖值的一陣列，各圖值採取複數個位準之一者， 該後設資料界定該複數個位準之一第一子集，該第一子集表示該深度圖之一經佔用部分的深度資料，且該後設資料界定該複數個位準之一第二子集，該第二子集表示該深度圖之一未佔用部分。
TW109132270A 2019-09-20 2020-09-18 用於深度資料之編碼方案 TW202127895A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19198801.3A EP3796658A1 (en) 2019-09-20 2019-09-20 Coding scheme for depth data
EP19198801.3 2019-09-20

Publications (1)

Publication Number Publication Date
TW202127895A true TW202127895A (zh) 2021-07-16

Family

ID=68051637

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109132270A TW202127895A (zh) 2019-09-20 2020-09-18 用於深度資料之編碼方案

Country Status (10)

Country Link
US (1) US20220394229A1 (zh)
EP (2) EP3796658A1 (zh)
JP (1) JP2022548347A (zh)
KR (1) KR20220062119A (zh)
CN (1) CN114424569A (zh)
BR (1) BR112022004832A2 (zh)
CA (1) CA3154729A1 (zh)
MX (1) MX2022003207A (zh)
TW (1) TW202127895A (zh)
WO (1) WO2021052846A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315289B2 (en) * 2019-09-30 2022-04-26 Nokia Technologies Oy Adaptive depth guard band
US11514641B2 (en) * 2021-03-03 2022-11-29 Qualcomm Incorporated Error concealment in split rendering using shading atlases

Also Published As

Publication number Publication date
KR20220062119A (ko) 2022-05-13
EP3796658A1 (en) 2021-03-24
EP4032301A1 (en) 2022-07-27
WO2021052846A1 (en) 2021-03-25
CA3154729A1 (en) 2021-03-25
MX2022003207A (es) 2022-04-25
CN114424569A (zh) 2022-04-29
BR112022004832A2 (pt) 2022-06-07
JP2022548347A (ja) 2022-11-18
US20220394229A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US11232598B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
EP4221221A1 (en) Use of transformed coefficients to provide embedded signalling for watermarking
US8948530B2 (en) Adaptive image compression system and method
CN110944187B (zh) 点云编码方法和编码器
KR102014309B1 (ko) 종결가능한 공간 트리-기반의 위치 코딩 및 디코딩
JP2015512072A (ja) ３次元（３ｄ）モデルのテクスチャ情報を圧縮する方法及び装置
US11955994B2 (en) Data processing apparatuses, methods, computer programs and computer-readable media
US20170041623A1 (en) Method and Apparatus for Intra Coding for a Block in a Coding System
TW202127895A (zh) 用於深度資料之編碼方案
WO2021262560A1 (en) Decoded tile hash sei message for v3c/v-pcc
WO2014015460A1 (en) 3d video representation using information embedding
US11315289B2 (en) Adaptive depth guard band
EP2874398B1 (en) Method of embedding of an image with a color transform
US20230334712A1 (en) Chart based mesh compression
US20220360806A1 (en) Use of transformed coefficients to provide embedded signalling for watermarking
CN117751387A (zh) 面元网格连通性编码
JP2021530890A (ja) ポイントクラウドの処理
CN117178294A (zh) 使用具有一般拓扑结构的图进行基于图集采样的网格压缩