TW201322735A - 用於三維視訊編碼之發信深度範圍 - Google Patents

用於三維視訊編碼之發信深度範圍 Download PDF

Info

Publication number
TW201322735A
TW201322735A TW101130024A TW101130024A TW201322735A TW 201322735 A TW201322735 A TW 201322735A TW 101130024 A TW101130024 A TW 101130024A TW 101130024 A TW101130024 A TW 101130024A TW 201322735 A TW201322735 A TW 201322735A
Authority
TW
Taiwan
Prior art keywords
depth range
video data
encoding
values
video
Prior art date
Application number
TW101130024A
Other languages
English (en)
Inventor
Li Zhang
Ying Chen
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201322735A publication Critical patent/TW201322735A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一個實例中，一視訊編碼器(諸如一視訊編碼器或一視訊解碼器)經組態以：編碼一第一視訊資料集之一或多個深度範圍值之一第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼一第二視訊資料集之一或多個深度範圍值之一第二集合，其中一或多個深度範圍值之該第二集合具有不同於該等各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。以此方式，視訊編碼器可更新用以表示用於編碼多視圖加深度視訊資料的深度範圍值之精度(例如，位元之數目)。

Description

用於三維視訊編碼之發信深度範圍
本發明係關於視訊編碼。
本申請案主張2011年11月18日申請之美國臨時申請案第61/561,800號，2011年11月26日申請之美國臨時申請案第61/563,771號，及2011年12月9日申請之美國臨時申請案第61/569,134號之權利，該等臨時申請案中之每一者之其各別全文以引用之方式併入本文中。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書讀取器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流傳輸器件，及其類似者。數位視訊器件實施視訊編碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊編碼(AVC)所定義之標準、目前正在開發之高效視訊編碼(HEVC)標準及此等標準之擴展中所描述的視訊編碼技術。視訊器件可藉由實施此等視訊編碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊編碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊 之視訊編碼，可將視訊片段(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、編碼單元(CU)及/或編碼節點。使用相對於同一圖像中之鄰近區塊中之參考樣本的空間預測來編碼圖像之框內編碼(I)之片段中的視訊區塊。圖像之框間編碼(P或B)片段中之視訊區塊可使用相對於同一圖像中之鄰近區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間或時間預測引起待編碼之區塊之預測性區塊。殘餘資料表示待編碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經編碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間編碼區塊。根據框內編碼模式及殘餘資料來編碼框內編碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵編碼以達成甚至更多壓縮。
一般而言，本發明描述用於編碼用於三維(3D)視訊編碼之深度範圍值的技術。當使用紋理資訊及深度資訊兩者來編碼3D視訊資料時，提供深度資訊之深度值之範圍的指示可在編碼及呈現視訊資料時係有用的。在一些狀況下，允許用以編碼深度範圍之值具有可變精度(亦即，以可變位 元數目表達)可係有益的。本發明描述用於發信用以編碼深度範圍值的值之精度的技術，及用於使用新精度來編碼深度範圍值的技術。
在一個實例中，一種方法包括：編碼用於一第一視訊資料集之一或多個深度範圍值之一第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼用於一第二視訊資料集之一或多個深度範圍值之一第二集合，其中一或多個深度範圍值之該第二集合具有不同於各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。
在另一實例中，一種器件包括一視訊編碼器，其經組態以執行以下動作：編碼用於一第一視訊資料集之一或多個深度範圍值之第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼用於一第二視訊資料集之一或多個深度範圍值之第二集合，其中一或多個深度範圍值之該第二集合具有不同於各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。
在另一實例中，一種器件包括：用於編碼用於第一視訊資料集之一或多個深度範圍值之第一集合的構件，其中一或多個深度範圍值之該第一集合具有各別第一精度；用於編碼用於第二視訊資料集之一或多個深度範圍值之第二集合的構件，其中一或多個深度範圍值之該第二集合具有不同於各別第一精度之各別第二精度；及用於使用一或多個 深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分的構件。
在另一實例中，一種電腦可讀儲存媒體藉由當被執行時使一可程式化處理器執行以下動作的指令來編碼：編碼用於第一視訊資料集之一或多個深度範圍值之第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼用於第二視訊資料集之一或多個深度範圍值之第二集合，其中一或多個深度範圍值之該第二集合具有不同於各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。
一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
一般而言，本發明描述用於編碼及處理多視圖視訊資料(例如，用以產生三維(3D)效應的視訊資料)的技術。多視圖視訊資料可包括紋理資訊及深度資訊兩者，其中紋理資訊通常描述圖像之明度(亮度或強度)及色度(色彩，例如，藍色色調及紅色色調)。深度資訊可由深度圖表示，在深度圖中個別像素經指派指示紋理圖像之對應像素待在螢幕處、相對而言在螢幕前方或相對而言在螢幕後方顯示的值。當使用紋理資訊及深度資訊合成圖像時，此等深度值可轉換成差異值。此外，根據本發明之技術，在不同時間例項處之深度圖之深度範圍可變化。此外，深度值之精度 (例如，用以表示深度值之位元數目)可在不同時間例項處之深度圖之間變化。如下文較詳細解釋，本發明之技術可用以指示深度範圍值之精度是否已改變，且若已改變，則指示新的精度是什麼，及/或指示共同時間例項之不同圖像是否具有相同深度範圍值。
為了產生視訊之三維效應，可同時地或幾乎同時地展示一場景之兩個視圖，例如，左眼視圖及右眼視圖。同一場景之兩個圖像(對應於場景之左眼視圖及右眼視圖)可自稍微不同之水平位置(表示觀察者之左眼與右眼之間的水平差異)俘獲(或產生(例如)為電腦產生之圖形)。藉由同時地或幾乎同時地顯示此等兩個圖像，使得左眼視圖圖像被觀察者之左眼感知且右眼視圖圖像被觀察者之右眼感知，觀察者可體驗三維視訊效應。
本發明係關於基於進階編碼解碼器之3D視訊編碼，包括藉由深度圖編碼圖像的兩個或兩個以上視圖。一般而言，本發明之技術可應用於各種不同視訊編碼標準中之任一者。舉例而言，此等技術可應用於ITU-T H.264/AVC(進階視訊編碼)之多視圖視訊編碼(MVC)擴展，即將到來之高效視訊編碼(HEVC)標準之3D視訊(3DV)擴展，或其他編碼標準。即將到來之HEVC標準之最新草案描述於文獻HCTVC-I1003、Bross等人之名為「High Efficiency Video Coding (HEVC)Text Specification Draft 7」中(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊編碼聯合協作小組(Joint Collaborative Team on Video Coding,JCT-VC)、第9 次會議：Geneva,Switzerland，2012年4月27日至2012年5月7日)，該文獻自2012年8月6日起可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v10.zip下載。出於說明之目的，主要關於ITU-T H.264/AVC之MVC擴展或HEVC之3DV擴展來描述本發明之技術。然而，應理解此等技術亦可應用於用於編碼用以產生三維效應之視訊資料的其他標準。
如上文所提及，MVC為ITU-T H.264/AVC之擴展。在MVC中，用於複數個視圖之資料係以時間優先次序來編碼，且因此，將解碼次序配置稱作時間優先編碼。詳言之，在共同時間例項處的複數個視圖中之每一者的視圖分量(亦即，圖像)可經編碼，接著不同時間例項之另一視圖分量集合可經編碼，等等。存取單元可包括一個輸出時間例項之所有視圖的經編碼圖像。應理解存取單元之解碼次序不必與輸出(或顯示)次序相同。
對於多視圖視訊加深度(MVD)資料格式(其普遍用於3D電視及任意視點視訊)，紋理影像及深度圖可藉由MVC獨立地編碼。如下文較詳細地描述，圖4以紋理影像及其相關聯之每樣本深度圖說明MVD資料格式。深度範圍可限於距對應3D點之攝影機的最小znear及最大zfar距離的範圍內。
攝影機參數及深度範圍值可有助於在3D顯示器上呈現之前處理經解碼之視圖分量。因此，針對H.264/MVC之當前版本定義特別補充增強資訊(SEI)訊息，亦即，多視圖獲取資訊SEI，其包括指定獲取環境之各種參數的資訊。然 而，不存在H.264/MVC中指定的用於指示深度範圍相關資訊的語法。
可使用多視圖視訊加深度(MVD)格式來表示3D視訊(3DV)，其中各種視圖(其可對應於個別水平攝影機位置)的少量俘獲之紋理影像以及相關聯之深度圖可經編碼且所得位元串流封包可經多工至3D視訊位元串流中。目前，動畫專家群(MPEG)中之正在進行的3D視訊標準活動旨在擴展H.264/AVC以支援MVD之編碼。此3D視訊標準可預設使用H.264/MVC設計，但更高級語法擴展及編碼工具可應用。
在用於開發3DV之一些提案中，語法元素已經定義以支援用於編碼工具之攝影機參數以及深度範圍的使用。舉例而言，可在序列參數集(SPS)3DVC擴展中發信攝影機參數及深度範圍。攝影機參數或深度範圍之每一值V可以其精度P及整數值I來表示，使得：V=I＊10P，精度P為在小數點之前(若P大於0)或在小數點之後(若P小於0)的數位之數目。V之正負號可與I相同。可在不同視圖之對應值之間應用差分編碼。
此外，圖像之深度範圍可逐圖框地改變。因此，參數集(諸如，深度參數集(DPS))可用以發信指示圖像之深度範圍的資訊。DPS可指代主動SPS，且因此可在DPS中僅發信SPS中之新值與原始值的差異。亦即，可相對於對應SPS之深度範圍值預測性地編碼DPS中編碼之深度範圍值。在替代實例中，可相對於先前DPS之深度範圍值預測性地編 碼DPS中編碼之深度範圍值。
下文表1提供SPS 3DVC擴展之語法的實例集合。
表1之語法元素之語義可實質上與當前3DVC提案中定義的相同。一般而言，此資料結構提供針對深度之視圖間預測是否允許(disable_depth_inter_view_flag)及深度片段標頭資訊是否或如何可根據對應紋理片段標頭而預測(pred_slice_header_depth_idc)的指示。下文表2提供表1之cam_parameters()的語法，而下文表3提供表1之depth_ranges()的語法。
表2之語法元素的語義可經定義如下。cam_param_present_flag等於1可指示在此SPS中發信攝影機參數，而cam_param_present_flag等於0可指示不在此SPS中發信攝影機參數。Focal_length_precision可指定focal_length_x及focal_length_y之值的精度，focal_length_x及focal_length_y分別為所有攝影機在水平及垂直方向上的焦距。focal_length_x_I可指定focal_length_x之值的整數部分。可根據下文公式(1)來計算focal_length_x：focal_length_x=focal_length_x_I＊10focal_length_precision (1)
focal_length_y_I_diff_x加focal_length_x_I可指定focal_length_y之值的整數部分。可根據下文公式(2)來計算focal_length_y：focal_length_y=(focal_length_x_I+focal_length_y_I_diff_x)＊10focal_length_precision (2)
principal_precision可指定principal_point_x及principal_point_y之值的精度，principal_point_x及principal_point_y為所有攝影機在水平方向上之主點及在垂直方向上之主點。principal_point_x_I可指定principal_point_x之值的整數部分，principal_point_x可根據下文公式(3)來計算： principal_point_x=principal_point_x_I＊10principal_precision (3)
principal_point_y_I_diff_x加principal_point_x可指定principal_point_y之值的整數部分，principal_point_y可根據下文公式(4)來計算：principal_point_y=(principal_point_x_I+principal_point_y_I_diff_x)＊10principal_precision (4)
旋轉矩陣R可經判定用於每一攝影機，且可經表示如下：
rotation_kl_half_pi可指示旋轉矩陣R之對角元素，其中kl等於xy、yz或xz(亦即，kl{xy,yz,xz})，其中Rkl=(-1)rotation-kl_half_pi。此旗標等於0可指示Rkl=1；此旗標等於1可指示Rkl=-1。translation_precision可指定所有視圖之轉變之值的精度。轉變值之精度可應用於引用此SPS之視圖的所有轉變值。anchor_view_id可指定視圖之view_id，其之轉變可用作錨點以計算其他視圖之轉變。zero_translation_present_flag等於1可指示其中view_id等於anchor_view_id的視圖之轉變為0；此值等於0可指示發信其中view_id等於anchor_view_id的視圖之轉變。
translation_anchor_view_I可指定錨點視圖之轉變的整數部分。令錨點視圖之轉變表示為translation_anchor_view。當zero_translation_present_flag等於0時translation_anchor_ view可等於0；否則，轉變可如公式(6)中所示而計算：translation_anchor_view=ranslation_anchor_view_I＊10translation_precision (6)
translation_diff_anchor_view_I[i]加translation_anchor_view_I可指定其中view_id等於view_id[i]之視圖的轉變之整數部分，其表示為translation_view_I[i]。令其中view_id等於view_id[i]之視圖的轉變表示為translation_view[i]。translation_view[i]可如公式(7)中所示而計算：translation_view[i]=(translation_diff_anchor_view_I[i]+translation_anchor_view_I)＊10translation_precision (7)
下文表3提供表1之depth_ranges()的實例語法：
表3之實例語法的語義可經定義如下。depth_range_present_flag等於1可指示在此SPS中發信所有視圖之深度範圍，而 depth_range_present_flag等於0可指示不在此SPS中發信深度範圍。z_near_precision可指定z_near值的精度。如此SPS中指定的z_near之精度可應用於引用此SPS之視圖的所有z_near值。z_far_precision可指定z_far值的精度。如此SPS中指定的z_far之精度可應用於引用此SPS之視圖的所有z_far值。
different_depth_range_flag等於0可指示所有視圖之深度範圍係相同的且包括在z_near及z_far之範圍內。different_depth_range_flag等於1可指示所有視圖之深度範圍可為不同的：z_near及z_far為錨點視圖之深度範圍，且z_near[i]及z_far[i]在此SPS中進一步經指定為其中view_id等於view_id[i]之視圖的深度範圍，假定存在深度範圍不同於錨點視圖之深度範圍的至少一視圖。
z_near_integer可指定錨點視圖之z_near之值的整數部分。z_near可根據下文公式(8)來計算：z_near=z_near_integer＊10z_near_precision (8)
z_far_integer可指定錨點視圖之z_far之值的整數部分。z_far可根據下文公式(9)來計算：z_far=z_far_integer＊10z_far_precision (9)
z_near_diff_anchor_view_I加z_near_integer可指定其中view_id等於view_id[i]的視圖之最近深度值的整數部分，其表示為z_near_I[i]。令其中view_id等於view_id[i]的視圖之z_near值表示為z_near[i]。z_near[i]可根據下文公式(10)來計算： z_near[i]=(z_near_diff_anchor_view_I[i]+z_near_integer)＊10z_near_precision (10)
z_far_diff_anchor_view_I加z_far_Integer可指定其中view_id等於view_id[i]的視圖之最遠深度值的整數部分，其表示為z_far[i]。z_far[i]可根據下文公式(11)來計算：z_far[i]=(z_far_diff_anchor_view_I[i]+z_far_integer)＊10z_far_precision (11)
一般而言，經編碼之視訊資料可囊封於網路抽象層(NAL)單元中。NAL單元可囊封視訊編碼層(VCL)資料及非VCL資料。VCL資料通常包括最終表示預測資料及殘餘資料的經編碼視訊資料。非VCL資料可包括語法資料，諸如參數集資料及補充增強資訊(SEI)訊息。NAL單元可經指派NAL單元類型(表示為整數值)以通常指示何種類型資料囊封於NAL單元中。舉例而言，NAL單元類型16可囊封深度參數集，諸如下文表4之深度參數集：
一般而言，深度參數集(DPS)之語法元素(諸如表4中所示的)可用以更新序列參數集(SPS)(諸如根據表1之SPS)之深度範圍及/或攝影機參數。DSP的更新之深度範圍或攝影 機參數可適用於當前存取單元之視圖分量及在位元串流中之存取單元後的視圖分量，直至在當前DPS後的一新的DPS或SPS更新彼等值為止。表4之語法元素的語義可經定義如下：seq_para_set_id可識別當前深度參數集SPS引用的SPS。translation_update_view_I[i]加translation_view_I[i](translation_view[i]之整數部分)可指定translation_view[i]之新值的整數部分。translation_view[i]之新值可根據下文公式(12)來計算：translation_view[i]=(translation_view_I[i]+translation_update_view_I[i])＊10translation_precision (12)
z_near_update_view_I[i]加z_near_I[i](如SPS中導出的z_near[i]之整數部分)可指定z_near[i]之新值的整數部分。z_near[i]之新值可根據下文公式(13)來計算：z_near[i]=(z_near_I[i]+z_near_update_view_I[i])＊10z_near_precision (13)
z_far_update_view_I[i]加z_far_I[i](如SPS中導出的z_far[i]之整數部分)可指定z_far[i]之新值的整數部分。z_far[i]之新值可根據下文公式(14)來計算：z_far[i]=(z_far_I[i]+z_far_update_view_I[i])＊10z_far_precision (14)
以此方式，表4之DPS可用以更新對應SPS之特定深度範圍值及/或特定攝影機參數值。然而，深度參數集中之值共用與深度範圍值之對應SPS中所發信之彼等精度相同的精度。若深度範圍值劇烈地變化，則SPS中定義之精度可不適於新的深度範圍值。因此，本發明之技術包括適當時 發信深度範圍值之精度的變化。
舉例而言，表4之深度範圍參數集可經修改以包括一用以指示深度範圍值之精度是否需要更新的旗標。當旗標指示深度範圍值需要更新時，可(例如，在不參考對應SPS之深度範圍值的情況下)提供新的深度範圍值，且另外，亦可發信新的精度值(亦即，指示待用於深度範圍值之位元數目的值)。以此方式，視訊編碼器件可根據本發明之技術編碼具有不同於SPS中發信的深度範圍值之精度的精度之深度範圍值，並編碼表示新精度之值。亦即，可在深度參數集中啟用額外機制，其中可在不引用SPS中之深度範圍值的情況下發信深度範圍。一旗標可經發信以指示機制是否啟用。若機制經啟用，則可直接在深度參數集(其亦可稱為深度範圍參數集)中發信深度範圍值。
圖1為說明可利用在三維(3D)視訊編碼中發信深度範圍的技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括一提供待在稍後時間由目的地器件14解碼的經編碼視訊資料之源器件12。詳言之，源器件12經由電腦可讀媒體16提供視訊資料至目的地器件14。源器件12及目的地器件14可包含廣泛範圍器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂之「智慧型」電話之電話手機、所謂之「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸器件或其類似者。在一些狀況下，源器件12及目的地器件14可經裝備以進行無線通 信。
目的地器件14可經由電腦可讀媒體16接收待解碼的經編碼視訊資料。電腦可讀媒體16可包含任何類型之能夠將經編碼視訊資料自源器件12移動至目的地器件14之媒體或器件。在一個實例中，電腦可讀媒體16可包含一用以使源器件12能夠即時直接地傳輸經編碼視訊資料至目的地器件14的通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，經編碼資料可自輸出介面22輸出至一儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或局部存取式資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流傳輸或下載而自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編 碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼之視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件的傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。可將該等技術應用於視訊編碼而支援多種多媒體應用中之任一者，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應性串流傳輸(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、深度估計單元19、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30、深度影像繪圖法(DIBR)單元31及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於在3D視訊編碼中發信深度範圍的技術。在其他實例中，源器件及目的地器件可包括其他組件或配 置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件建立介面，而非包括整合式顯示器件。
圖1之所說明系統10僅為一個實例。用於在3D視訊編碼中發信深度範圍的技術可藉由任一數位視訊編碼及/或解碼器件來執行。雖然通常藉由視訊編碼器件執行本發明之技術，但亦可藉由視訊編碼器/解碼器(通常被稱作「編碼解碼器(CODEC)」)來執行該等技術。此外，亦可藉由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅為此等編碼器件之實例，在該等編碼器件中，源器件12產生用於傳輸至目的地器件14之經編碼視訊資料。在一些實例中，器件12、14可以實質上對稱方式進行操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料，作為源視訊、或直播視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可大體上適用於視訊編碼， 且可應用於無線及/或有線應用。在每一狀況下，經俘獲、預先俘獲或電腦產生之視訊可藉由視訊編碼器20來編碼。經編碼視訊資訊接著可由輸出介面22輸出至電腦可讀媒體16上。
視訊源18可提供視訊資料之多個視圖至視訊編碼器20。舉例而言，視訊源18可對應於攝影機之陣列，每一攝影機具有一相對於正被拍攝之特定場景的唯一水平位置。或者，視訊源18可自不同水平攝影機視角(例如)使用電腦圖形而產生視訊資料。深度估計單元19可經組態以判定對應於紋理影像中之像素的深度像素之值。舉例而言，深度估計單元19可表示聲音導航及測距(SONAR)單元、光偵測及測距(LIDAR)單元或能夠在記錄場景之視訊資料時實質上同時直接判定深度值的其他單元。
另外或其他，深度估計單元19可經組態以藉由比較實質上同時自不同水平攝影機視角俘獲的兩個或兩個以上影像來間接地計算深度值。藉由計算影像中的實質上類似之像素值之間的水平差異，深度估計單元19可近似場景中之各種物件的深度。在一些實例中，深度估計單元19可在功能上與視訊源18整合。舉例而言，當視訊源18產生電腦圖形影像時，深度估計單元19可(例如)使用用以呈現紋理影像之像素及物件之z座標來提供圖形物件之實際深度圖。
電腦可讀媒體16可包括暫態媒體(諸如無線廣播或有線網路傳輸)或儲存媒體(亦即，非暫時儲存媒體)(諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他 電腦可讀媒體)。在一些實例中，網路伺服器(未圖示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸而將經編碼視訊資料提供至目的地器件14。類似地，媒體製造設施(諸如光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且產生含有經編碼視訊資料之光碟。因此，在各種實例中，可將電腦可讀媒體16理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28接收來自電腦可讀媒體16之資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊(其亦由視訊解碼器30使用)，該語法資訊包括描述區塊及其他經編碼單元(例如，GOP)之特性及/或處理之語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含各種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。在一些實例中，顯示器件32可包含一能夠同時或實質上同時顯示兩個或兩個以上視圖(例如)以向觀察者產生3D視覺效應的器件。
根據本發明之技術，目的地器件14之DIBR單元31可使用自視訊解碼器30接收的經解碼視圖之紋理及深度資訊來呈現合成之視圖。舉例而言，DIBR單元31可判定在對應深度圖中隨像素值而變的紋理影像之像素資料的水平差異。DIBR單元31接著可藉由使紋理影像中之像素向左或向右偏移所判定之水平差異而產生一合成之影像。以此方式，顯示器件32可以任一組合顯示一或多個視圖，其可對 應於經解碼視圖及/或合成之視圖。根據本發明之技術，視訊解碼器30可提供深度範圍及攝影機參數之原始及更新之精度值至DIBR單元31，其可使用深度範圍及攝影機參數來適當地合成視圖。
視訊編碼器20及視訊解碼器30可根據一視訊編碼標準(諸如目前正在開發之高效視訊編碼(HEVC)標準)進行操作，且可遵照HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據其他專有或行業標準(諸如ITU-T H.264標準，或者稱作MPEG-4，部分10，進階視訊編碼(AVC))或此等標準之擴展(諸如，ITU-T H.264/AVC之MVC擴展)進行操作。然而，本發明之技術不限於任何特定編碼標準。視訊編碼標準之其他實例包括MPEG-2及ITU-T H.263。雖然未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準由ITU-T視訊編碼專家群(VCEG)連同ISO/IEC動畫專家群(MPEG)一起闡明為被稱為聯合視訊小組(JVT)之集體合作之產品。在一些態樣中，本發明中所描述之技術可應用於大體遵照H.264標準之器件。H.264標準由ITU-T研究小組且在日期為2005年3月描述於ITU-T推薦H.264(用於一般視聽服務之進階視訊 編碼)中，其在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。
視訊編碼器20及視訊解碼器30可各自實施為各種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地在軟體中實施時，一器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可經整合為各別器件中之組合編碼器/解碼器(編碼解碼器(CODEC))的部分。
JCT-VC致力於HEVC標準之開發。HEVC標準化努力係基於視訊編碼器件之演進型模型(稱作HEVC測試模型(HM))。HM根據(例如)ITU-T H.264/AVC假設視訊編碼器件相對於現有器件之若干額外能力。舉例而言，鑒於H.264提供九個框內預測編碼模型，但HM可提供多至三十三個角形框內預測編碼模型加DC及平面模型。
一般而言，HM之工作模型描述視訊圖框或圖像可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大編碼單元(LCU)序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大編碼單元。片段包括按 編碼次序之多個連續樹型區塊。可將視訊圖框或圖像分割成一或多個片段。每一樹型區塊可根據四分樹(quadtree)而分裂成若干編碼單元(CU)。一般而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
該四分樹資料結構中之每一節點可提供針對該對應CU之語法資料。舉例而言，在該四分樹中之節點可包括分裂旗標，從而指示是否將對應於該節點之CU分裂成子CU。可遞回地定義針對CU之語法元素，且針對CU之語法元素可取決於是否將該CU分裂成子CU。若一CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，但葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則四個8×8子CU亦將被稱作葉CU，儘管該16×16 CU從未經分裂。
除CU不具有大小差別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，可將一樹型區塊分裂成四個子節點(亦稱作子CU)，且每一子節點又可為上代節點且可被分裂為另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一編碼節點，該編碼節點亦被稱作葉CU。與一經編碼的位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦 可定義該等編碼節點之最小大小。因此，位元串流亦可定義一最小編碼單元(SCU)。本發明使用術語「區塊」來指代HEVC之上下文中的CU、PU或TU中之任一者或其他標準之上下文中的類似資料結構(例如，H.264/AVC中之巨集區塊及其子區塊)。
CU包括一編碼節點及與該編碼節點相關聯的若干預測單元(PU)及變換單元(TU)。CU之大小對應於編碼節點之大小，且形狀必須為正方形。CU之大小可在自8×8像素直至具有最大64×64像素或大於64×64像素的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可在CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU進行變換，該等變換對於不同CU而言可為不同的。通常基於在針對已分割LCU所定義之給定CU內的PU之大小來對TU設定大小，儘管可能並非總是此狀況。TU通常為與PU相同之大小或小於PU。在一些實例中，可使用已知為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之所有或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可包括於殘餘四分樹(RQT)中，該RQT可包括描述用於對應於PU之TU的框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義PU之一或多個運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT(亦稱作TU四分樹結構)來指定該等變換單元。舉例而言，分裂旗標可指示一葉CU是否被分裂為四個變換單元。接著，可將每一變換單元進一步分裂為進一步之子TU。當TU未被進一步分裂時，可將其稱作葉TU。大體而言，對於框內編碼而言，屬於葉CU之所有葉TU共用相同之框內預測模式。亦即，一般應用相同框內預測模式來計算葉CU的所有TU之預測值。對於框內編碼，視訊編碼器可將使用框內預測模式的每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限制於PU之大小。因此，TU可大於或小於PU。對於框內編碼，一PU可與用於同一CU之 一對應葉TU共置。在一些實例中，一葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別四分樹資料結構(稱作殘餘四分樹(RQT))相關聯。亦即，葉CU可包括一指示該葉CU如何被分割為TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊(或LCU)。將RQT之未被分裂的TU稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者之標頭或別處的語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一片段可包括描述該各別片段之編碼模式的片段語法資料。視訊編碼器20通常對個別視訊片段內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之編碼節點。視訊區塊可具有固定或變化之大小，且可根據指定編碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%及 75%。CU之對應於25%分割之部分係由「n」接著為「Up(上)」、「Down(下)」、「Left(左)」或「Right(右)」之指示來指示。因此，舉例而言，「2N×nU」指代水平上以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向中將具有16個像素(y=16)且在水平方向中將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向中與在垂直方向中具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測或框間預測編碼後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述產生空間域(亦稱作像素域)中之預測像素資料之方法或模式的語法資料，且TU可包含在將變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)應用於殘餘視訊資料後的變換域中之係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常指代將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮的程序。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描該等變換係數，從而根據包括該等量化變換係數之二維矩陣產生一維向量。該掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可經熵編碼的串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度編碼(CAVLC)、上下文自適應性二進位算術編碼(CABAC)、基於語法之上下文自適應性二進位算術編碼(SBAC)、概率區間分割熵(PIPE)編碼或另一熵編碼方法來對一維向量熵編碼。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的供由視訊解碼器30用於解碼視訊資料之語法元素。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能與(例如)符號之鄰近值是否為非零有關。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之 碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於指派給符號之上下文而進行。
視訊編碼器20及視訊解碼器30可經組態以在編碼多視圖視訊位元串流時編碼紋理及深度資訊。紋理資訊可包括明度資訊及色度資訊，而深度資訊可包括深度圖。深度圖之像素通常可描述紋理資訊之對應像素的深度。根據本發明之技術，視訊編碼器20及視訊解碼器30可經組態以編碼深度範圍，及深度範圍之值的精度。精度可包含(例如)用以表示深度範圍之值的位元之數目。
如關於上文表1至表3所描述，視訊編碼器20及視訊解碼器30可經組態以編碼一序列參數集中的深度範圍值及深度範圍值之精度。另外，視訊編碼器20及視訊解碼器30可經組態以編碼更新深度範圍值及/或用以表示深度範圍值之精度中之任一者或兩者的一深度參數集(或深度範圍參數集)。舉例而言，視訊編碼器20及視訊解碼器30可經組態以根據下文表5來編碼深度參數集：
在表5之實例中，某些語法元素類似於表4之語法元素。然而，如表5之實例中所示，此實例深度參數集額外地包括一深度範圍精度更新旗標。此外，在表5之實例中，基於深度範圍精度更新旗標之值有條件地發信某些其他語法元素。表5之語法元素的語義可如下文所描述而定義。亦即，視訊編碼器20及視訊解碼器30可基於如下文描述而定義的語義來編碼此等語法元素之值。
seq_para_set_id可識別當前深度參數集引用的SPS。depth_range_precision_update_flag等於1可指示在深度參數集中直接發信深度範圍。depth_range_precision_update_flag等於0可指示深度範圍之精度與SPS中發信的深度範圍之精度相同，因此僅發信深度範圍之整數值的差。translation_update_view_I[i]加translation_view_I[i](translation_view[i]之整數部分)可指定translation_view[i]之新值的整 數部分。translation_view[i]可根據上文公式(12)來計算，下文重現公式(12)：translation_view[i]=(translation_view_I[i]+translation_update_view_I[i])＊10translation_precision (12)
當depth_range_precision_update_flag等於0時，z_near_update_view_I[i]加z_near_I[i](如SPS中導出的z_near[i]之整數部分)可指定z_near[i]之新值的整數部分。z_near[i]之新值可根據上文公式(13)來計算，下文重現公式(13)：z_near[i]=(z_near_I[i]+z_near_update_view_I[i])＊10z_near_precision (13)
當depth_range_precision_update_flag等於0時，z_far_update_view_I[i]加z_far_I[i](如SPS中導出的z_far[i]之整數部分)可指定z_far[i]之新值的整數部分。z_far[i]之新值可根據上文公式(14)來計算，下文重現公式(14)：z_far[i]=(z_far_I[i]+z_far_update_view_I[i])＊10z_far_precision (14)
z_near_precision_update可指定z_near值之經更新精度。若depth_range_precision_update_flag等於1，則如此DPS中指定的z_near之精度可應用於引用此DPS的視圖之所有z_near值。z_far_precision_update可指定z_far值之經更新精度。若depth_range_precision_update_flag等於1，則如此DPS中指定的z_far之精度可應用於引用此DPS的視圖之所有z_far值。
different_depth_range_flag等於0可指示所有視圖之深度範圍係相同的且包括在z_near及z_far之範圍內。different_depth_range_flag等於1可指示所有視圖之深度範 圍可係不同的；z_near及z_far(在此實例中)為錨點視圖之深度範圍，且z_near[i]及z_far[i]在此實例DPS中經進一步指定為其中view_id等於view_id[i]的視圖之深度範圍。
當depth_range_precision_update_flag等於1時，z_near_integer_update可指定錨點視圖之z_near之值的經更新整數部分。z_near可根據下文公式(15)來計算：z_near=z_near_integer_update＊10z_near_precision_update (15)
當depth_range_precision_update_flag等於1時，z_far_integer_update可指定錨點視圖之z_far之值的經更新整數部分。z_far可根據下文公式(16)來計算：z_far=z_far_integer_update＊10z_far_precision_update (16)
當depth_range_precision_update_flag等於1時，z_near_diff_anchor_view_I_update[i]加z_near_integer_update可指定其中view_id等於view_id[i]的視圖之最近深度值的整數部分。z_near[i]因此可根據下文公式(17)來計算：z_near[i]=(z_near_diff_anchor_view_I_update[i]+z_near_integer_update)＊10z_near_precision_update (17)
當depth_range_precision_update_flag等於1時，z_far_diff_anchor_view_I_update加z_far_integer_update可指定其中view_id等於view_id[i]的視圖之最遠深度值的整數部分。z_far[i]因此可根據下文公式(18)來計算：z_far[i]=(z_far_diff_anchor_View_I_update[i]+z_far_integer_update)＊10z_far_precision_update (18)
因此，視訊編碼器20可判定(例如)共同存取單元之一或 多個深度圖的像素值是否具有精度更新適合的值。舉例而言，若深度像素之值相對於先前圖像之深度值已增加或減少一大於臨限值的量，則視訊編碼器20可判定精度更新係適當的。在判定精度更新係適當的之後，視訊編碼器20可使用更新之精度值來編碼深度圖之像素值。
當編碼一深度圖時，視訊編碼器20可以一類似於編碼紋理影像之明度值的方式來編碼深度圖之像素值。舉例而言，視訊編碼器20可使用框內預測或框間預測來編碼像素值。在執行精度更新之後，視訊編碼器20可按比例調整用於框間預測之參考深度圖中的深度像素之值，使得參考深度圖中之深度像素可具有與當前正被編碼的深度圖中之像素實質上相同的精度。此按比例調整可在使用框間預測來編碼當前深度圖時產生一更準確的預測值。此外，如上文所描述，視訊編碼器20可編碼一深度參數集(諸如表5中所示之深度參數集)以編碼表示經更新精度及經更新深度範圍的值。另外，可在視圖合成程序期間利用更新之深度參數以達成較佳視覺品質。
基於AVC之3DV編碼標準中的基於深度範圍之加權預測(DBWP)及外顯加權預測(EWP)兩者皆使用如下加權預測之相同方程： 其中v' ref 為加權預測之後的參考圖像，v ref 為加權預測之前 的參考圖像，且Z near 及Z far 為深度範圍參數，其分別表示最近深度值及最遠深度值。
類似地，視訊解碼器30可接收一資料結構，諸如表5之DPS。使用DPS，視訊解碼器30可判定(例如)當前存取單元及後續存取單元直至下一DPS或SPS中的後續深度圖之像素值的新精度，且亦自DPS判定新的深度範圍值。因此，視訊解碼器30可使用新判定之精度值及深度範圍值來解碼深度圖。舉例而言，在執行框間預測解碼時及在深度範圍精度及/或深度範圍值不同時，(例如)在啟用DBWP或EWP情況下，視訊解碼器30可如所上文所論述按比例調整當前深度圖的參考深度圖之像素值。以此方式，視訊解碼器30可使用與由視訊編碼器20預測之值實質上相同(若與由視訊編碼器20預測之值不同)的預測之值來解碼一深度圖。此外，若需要較小精度，則藉由調整深度值之精度，可在位元串流中節省位元，而當需要較大精度時可使用更多位元來達成更準確的值。
以此方式，視訊編碼器20及視訊解碼器30可經組態以編碼第一視訊資料集之一或多個深度範圍值之第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度。深度範圍值之第一集合可對應於(例如)一SPS或先前DPS(例如，針對先前存取單元編碼的DPS)。因此，第一視訊資料集可對應於一視圖分量(例如，深度視圖分量)序列，其可包括可用視圖中之任一者或所有的視圖分量。
另外，視訊編碼器20及視訊解碼器30可經組態以編碼第 二視訊資料集之一或多個深度範圍值之第二集合，其中深度範圍值之該第二集合具有不同於各別第一精度之第二精度。深度範圍值之第二集合可對應於DPS(諸如，在SPS之後的DPS或在先前DPS之後的後續DPS)。同樣地，第二視訊資料集可對應於不同存取單元以及該存取單元及後續存取單元直至下一DPS或SPS之圖像。另外，視訊編碼器20及視訊解碼器30可編碼一指示該等精度中之一或多者已被更新的深度範圍精度更新旗標以及更新之(第二)精度的值。
此外，視訊編碼器20及視訊解碼器30可經組態以使用具有第二精度的一或多個深度範圍之第二集合來編碼第二視訊資料集之一部分(例如，深度圖，或深度圖之部分)。舉例而言，視訊編碼器20及視訊解碼器30可經組態以根據各別第二精度來按比例調整參考圖像之深度值。另外或其他，視訊編碼器20及視訊解碼器30可使用視圖合成預測來編碼深度圖，其中視圖合成可至少部分地基於具有各別第二精度之深度範圍值。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器或解碼器電路中之任一者(在適用時)，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中之任一者可整合為組合式視訊 編碼器/解碼器(編碼解碼器(CODEC))之部分。一包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
圖2為說明可實施用於在3D視訊編碼中發信深度範圍之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊片段(例如，紋理影像及深度圖兩者的片段)內的視訊區塊之框內及框間編碼。紋理資訊通常包括明度(亮度或強度)及色度(色彩，例如，紅色色調及藍色色調)資訊。 一般而言，視訊編碼器20可關於明度片段判定編碼模式，並重新使用來自編碼明度資訊之預測資訊來編碼色度資訊(例如，藉由重新使用分割資訊、框內預測模式選擇、運動向量或其類似者)。框內編碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間編碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之編碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之編碼模式中的任一者。
如圖2中所示，視訊編碼器20接收待編碼之視訊圖框(例如，紋理影像或深度圖)內之一當前視訊區塊(亦即，視訊資料之區塊，諸如明度區塊、色度區塊或深度區塊)。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元 44、運動估計單元42、框內預測單元46及分割單元48。對於視訊區塊重建，視訊編碼器20亦包括逆量化單元58、逆變換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以對區塊邊界濾波以自重建之視訊移除方塊效應假影。若需要，則解區塊濾波器通常將對求和器62之輸出濾波。除解區塊濾波器外，亦可使用額外濾波器(迴路內或在迴路後)。出於簡潔性未展示此等濾波器，但若需要，則此等濾波器可對求和器50之輸出濾波(作為迴路內濾波器)。
在該編碼程序期間，視訊編碼器20接收待編碼之視訊圖框或片段。可將該圖框或片段劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行所接收視訊區塊之框間預測性編碼，以提供時間預測。框內預測單元46可替代地執行接收之視訊區塊相對於在與待編碼之區塊相同之圖框或片段中的一或多個鄰近區塊的框內預測性編碼以提供空間預測。視訊編碼器20可執行多個編碼遍次，(例如)以選擇用於視訊資料之每一區塊的適當編碼模式。
此外，分割單元48可基於對先前編碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為子區塊。舉例而言，分割單元48可最初將一圖框或片段分割成LCU，且基於位元率-失真分析(例如，位元率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生一指示將LCU分割為子CU之四分樹資料結構。四分樹之 葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果來選擇編碼模式(框內或框間)中之一者，且將所得經框內編碼區塊或經框間編碼區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建該經編碼區塊以供用作一參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的而分別說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在一當前視訊圖框或圖像內之一視訊區塊的一PU相對於在一參考圖框(或其他經編碼單元)內的一預測性區塊(其關於在該當前圖框(或其他經編碼單元)內正經編碼的當前區塊)之位移。
預測性區塊為被發現在像素差方面緊密地匹配於待編碼區塊之區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差度量來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖像的次整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊之位置而計算框間編碼片段中之視訊區塊之PU之運動向量。該參考圖像可選自一第一參考圖像清單(清單0)或一第二參考圖像清單(清單1)，清單0或清單1中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及到基於由運動估計單元42所判定之運動向量來提取或產生該預測性區塊。再次，在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44即可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正被編碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。 一般而言，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。以此方式，運動補償單元44可重新使用經判定用於明度分量之運動資訊以編碼色度分量，使得運動估計單元42無需執行對於色度分量之運動搜尋。模式選擇單元40亦可產生與視訊區塊及視訊片段相關聯之語法元素以供視訊解碼器30在解碼視訊片段之視訊區塊時使用。
如上文所描述，作為由運動估計單元42及運動補償單元 44執行之框間預測的替代例，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇待使用之適當框內預測模式。
舉例而言，框內預測單元46可使用對於各種所測試之框內預測模式的位元率-失真分析來計算位元率-失真值，且在所測試之模式之中選擇具有最佳位元率-失真特性之框內預測模式。位元率-失真分析大體上判定經編碼區塊與原始、未編碼區塊(其被編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可根據各種經編碼區塊之失真及位元率來計算比率，以判定哪一框內預測模式展現該區塊之最佳位元率-失真值。
在選擇一用於區塊之框內預測模式之後，框內預測單元46可提供指示用於區塊之選定框內預測模式的資訊至熵編碼單元56。熵編碼單元56可編碼指示該選定之框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式 索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被編碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成一殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生一殘餘變換係數區塊。
該變換可將殘餘資訊自像素值域轉換至變換域(諸如頻域)。變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減少位元率。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。
在量化後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度編碼(CAVLC)、上下文自適應性二進位算術編碼(CABAC)、基於語法之上下文自適應性二進位算術編碼(SBAC)、概率區間分割熵(PIPE)編碼或另一熵編碼技術。在基於上下文之熵編碼的狀況下，上下文可基於鄰近區塊。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至另一 器件(例如，視訊解碼器30)或加以存檔以供稍後傳輸或擷取。
逆量化單元58及逆變換單元60分別應用逆量化及逆變換以在像素域中重建殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將該殘餘區塊添加至參考圖框記憶體64之圖框中之一者的一預測性區塊來計算一參考區塊。運動補償單元44亦可對該經重建的殘餘區塊應用一或多個插值濾波器，以計算用於在運動估計中使用之次整數像素值。求和器62將該經重建的殘餘區塊添加至由運動補償單元44產生之經運動補償的預測區塊，以產生一經重建的視訊區塊以用於儲存於參考圖框記憶體64中。該經重建的視訊區塊可由運動估計單元42及運動補償單元44用作一參考區塊以框間編碼在後續視訊圖框中之區塊。
即使沒有對應色度分量，視訊編碼器20仍可以實質上類似於用於編碼明度分量之編碼技術的方式來編碼深度圖。舉例而言，框內預測單元46可框內預測深度圖之區塊，而運動估計單元42及運動補償單元44可框間預測深度圖之區塊。然而，如上文所論述，在深度圖之框間預測期間，運動補償單元44可基於深度範圍及深度範圍之精度值的差來按比例調整(亦即，調整)參考深度圖之值。舉例而言，若當前深度圖及參考深度圖中的不同最大深度值可對應於相同現實深度，則出於預測目的，視訊編碼器20可按比例調整參考深度圖之最大深度值以等於當前深度圖中之最大深度值。另外或其他，視訊編碼器20可使用經更新之深度範 圍值及精度值以(例如)使用實質上類似於視圖間預測的技術來產生用於視圖合成預測之視圖合成圖像。
視訊編碼器20可進一步判定是否應(例如)如上文所論述更新深度範圍值之精度。再次，精度可對應於用以表示深度圖中之深度範圍值及像素值的位元之數目。回應於判定更新深度範圍值之精度，視訊編碼器20可(例如)根據上文表5編碼一深度參數集。該深度參數集可包括一指示精度是否已被更新的旗標，且若已更新，則包括經更新精度之值及經更新深度範圍之值。視訊編碼器20可相對於對應SPS(亦即，經發信用於當前深度圖出現的圖像之序列的SPS)中發信之深度範圍值來編碼經更新之深度範圍值。在一些實例中，視訊編碼器20可編碼多達每一存取單元一個深度參數集，使得可使用最近DPS(或若自最近SPS以來無DPS被編碼，則SPS)之資訊來編碼共同時間例項之所有視圖中的深度圖。
以此方式，圖2之視訊編碼器20表示經組態以執行以下動作的視訊編碼器之實例：編碼一第一視訊資料集之一或多個深度範圍值之第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼一第二視訊資料集之一或多個深度範圍值之一第二集合，其中一或多個深度範圍值之該第二集合具有不同於各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。
圖3為說明可實施用於在3D視訊編碼中發信深度範圍之 技術的視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、逆量化單元76、逆變換單元78、參考圖框記憶體82及求和器80。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20(圖2)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收一表示經編碼視訊片段及相關聯語法元素之視訊區塊的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生量化之係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收處於視訊片段位準及/或視訊區塊位準的語法元素。
當視訊片段經編碼為框內編碼(I)片段時，框內預測單元74可基於所發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊片段之視訊區塊的預測資料。當視訊圖框經編碼為經框間編碼(亦即，B、P或GPB)片段時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生用於當前視訊片段之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可使用預設建構技術基於儲存於參考圖框記憶體82中之參考圖像來 建構參考圖框清單(清單0及清單1)。運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊片段之視訊區塊的預測資訊，且使用預測資訊來產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用一些所接收之語法元素以判定用以編碼視訊片段之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測片段類型(例如，B片段、P片段或GPB片段)、片段之參考圖像清單中之一或多者之建構資訊、片段之每一框間編碼視訊區塊之運動向量、片段之每一框間編碼視訊區塊之框間預測狀態，及用以解碼當前視訊片段中之視訊區塊之其他資訊。
運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
逆量化單元76逆量化(亦即，解量化)位元串流中提供並由熵解碼單元70解碼的經量化變換係數。逆量化程序可包括使用由視訊解碼器30針對視訊片段中之每一視訊區塊計算的量化參數QPY以判定量化程度，及(同樣)應應用的逆量化之程度。
逆變換單元78將逆變換(例如，逆DCT、逆整數變換或概念上類似之逆變換程序)應用於變換係數，以便在像素 域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自逆變換單元78之殘餘區塊與由運動補償單元72所產生的對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此加法運算之(多個)組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。亦可使用其他迴路濾波器(在編碼迴路內或在編碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，其儲存用於後續運動補償之參考圖像。參考圖框記憶體82亦儲存經解碼之視訊以用於稍後在顯示器件(諸如圖1之顯示器件32)上呈現。
根據本發明之技術，視訊解碼器30可接收(例如)根據上文表5之指示當前經編碼單元(例如，當前存取單元)之深度範圍值之精度已被更新的深度參數集。深度參數集可額外或替代地指示攝影機參數值之精度已經針對當前經編碼單元(例如，當前存取單元)而更新。在此例項中，術語「經編碼單元」不應與術語「編碼單元」混淆，原因在於「經編碼單元」可表示經編碼視訊資料之任一單元，諸如片段、圖像、圖像之序列或共同時間位置(例如，存取單元)處的視圖上的圖像之集合，而HEVC中之「編碼單元」表示包括一或多個PU及一或多個TU之資料之區塊。
回應於接收一深度參數集，視訊解碼器30可在解碼當前 存取單元及後續存取單元直至下一DPS或SPS之深度圖時使用深度參數集之資料。如上文所論述，運動補償單元72可在執行框間預測時基於當前深度圖及參考深度圖之各種DPS中發信的深度範圍及深度範圍值之精度來按比例調整參考深度圖之像素值。另外或其他，視訊解碼器30可使用經更新之深度範圍值及精度值以產生用於視圖合成預測(例如，使用實質上類似於視圖間預測之技術)之視圖合成圖像。
以此方式，圖3之視訊解碼器30表示經組態以執行以下動作的視訊解碼器之實例：編碼第一視訊資料集之一或多個深度範圍值之第一集合，其中一或多個深度範圍值之第一集合具有各別第一精度；編碼第二視訊資料集之一或多個深度範圍值之第二集合，其中一或多個深度範圍值之第二集合具有不同於各別第一精度之各別第二精度；及使用一或多個深度範圍值之第二集合編碼第二視訊資料集之至少一部分。
圖4為說明對應於存取單元之影像100之實例集合的概念圖。影像100之集合包括紋理影像102及對應深度圖104。紋理影像102可包括明度及色度(例如，U及V)資訊，而深度圖104可包括紋理影像102之對應像素的深度值。深度範圍106提供在範圍[0,255]內之數字像素值，及針對深度圖104中之像素值的對應陰影，其中相對較暗之陰影像素表示距攝影機(及同樣，觀察者)較遠之物件，而較亮陰影像素表示距攝影機較近的物件。
可(例如)根據表5依據本發明之技術在深度參數集中發信深度圖104之深度範圍值。同樣，深度圖104之深度範圍值及此等深度範圍值之精度可能已相對於(例如)先前DPS或先前SPS之精度及深度範圍值之先前指示而改變。因此，可相對於先前SPS或先前DPS發信當前DPS中之值。
圖5為說明用於編碼多視圖加深度視訊資料之實例方法的流程圖。詳言之，圖5之方法可由視訊編碼器(諸如，視訊編碼器20)使用以編碼當前存取單元之資料(亦即，在特定時間例項處出現的資料)。應理解此方法可重複被執行以編碼每一時間例項之資料。因此，圖5之方法可能先前已被執行用於先前存取單元，先前存取單元可對應於較早之視訊資料集。
對於當前存取單元，視訊編碼器20可編碼在特定時間位置處之紋理影像(150)。舉例而言，視訊編碼器20可接收來自複數個不同視圖之紋理影像，並(例如)使用框內預測、時間框間預測及/或視圖間預測來編碼此等影像。紋理影像中之每一者可包括明度資訊及色度資訊。在時間位置處之紋理影像可最終對應於一共同存取單元，如下文解釋。
視訊編碼器20接著可判定在時間位置處之深度圖的深度範圍(152)。舉例而言，視訊編碼器20可分析對應於紋理影像的深度圖之像素的最大及最小像素值。視訊編碼器20可判定此等深度圖之深度範圍值是否與先前編碼之深度圖充分不同以保證精度及/或深度範圍更新(154)。或者，視訊編碼器20可判定時間位置是否對應於新瞬時解碼器再新 (IDR)圖像，在該狀況下，視訊編碼器20可判定新SPS(包括新深度範圍值)需要被編碼。
在任一狀況下，回應於判定精度及/或深度範圍值應被更新(154之「是」分支)，視訊編碼器20可(例如)根據上文表5編碼一指示經更新精度及深度範圍之深度參數集(DPS)(156)。當視訊編碼器20判定需要精度更新時，視訊編碼器20可編碼一指示精度值已被更新以及編碼深度範圍值之精度之值的旗標。舉例而言，視訊編碼器20可編碼表5之depth_range_precision_update_flag、z_near_update_view_I[i]、z_far_update_view_I[i]、z_near_precision_update、z_far_precision_update、different_depth_range_flag、anchor_view_id、z_near_integer_update、z_far_integer_update、z_near_diff_anchor_view_I_update[i]及/或z_far_diff_anchor_view_I_update[i]的值。
視訊編碼器20亦可基於所判定之深度範圍編碼深度圖(158)。舉例而言，若不需要範圍及精度更新(154之「否」分支)，則視訊編碼器20可使用框內預測、時間框內預測或視圖間預測(其可包括視圖合成預測)來編碼深度圖。另一方面，若需要範圍及精度更新，則視訊編碼器20可在執行時間框間預測時按比例調整(例如)參考深度圖中的參考像素值之值以編碼當前深度圖，假定深度範圍及/或精度在當前深度圖與參考深度圖之間不同。視訊編碼器20接著可(例如)以存取單元之形式輸出經編碼資料(160)，若DPS在上文步驟156處被編碼則存取單元可包括DPS。
以此方式，圖5之方法表示一方法之實例，該方法包括：編碼第一視訊資料集之一或多個深度範圍值之第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼第二視訊資料集之一或多個深度範圍值之第二集合，其中一或多個深度範圍值之該第二集合具有不同於各別第一精度之各別第二精度；及使用一或多個深度範圍值之第二集合編碼第二視訊資料集之至少一部分。該第一視訊資料集可對應於在以圖5之方法編碼之該視訊資料集之前(例如，在先前SPS或先前DPS之後)被編碼的一視訊資料集。視訊編碼器20可重複圖5之方法直至在視訊位元串流之所有時間例項處之所有圖像已被編碼為止。
圖6為說明用於解碼多視圖加深度視訊資料之實例方法的流程圖。如同圖5之實例方法，應理解圖6之方法可藉由視訊解碼器(諸如視訊解碼器30)反覆針對存取單元之序列(例如，在特定時間例項處之資料集)而執行。視訊解碼器30可接收時間位置之經編碼資料(180)。舉例而言，視訊解碼器30可接收一包括經編碼紋理影像及深度圖的存取單元。視訊解碼器30可(例如)使用框內預測、時間框間預測或視圖間預測(其可包括視圖合成預測)來解碼時間位置之紋理影像(182)。
視訊解碼器30亦可判定深度參數集是否包括於(例如)存取單元之經編碼資料中(184)。若深度參數集被包括(184之「是」分支)，則視訊解碼器30可解碼指示深度範圍值之經更新精度及/或經更新深度範圍的深度參數集(186)。接 著，視訊解碼器30可使用當前深度範圍及精度(184之「否」分支)或在DPS中發信之經更新精度及/或深度範圍來判定時間位置處的深度圖之當前深度範圍。
視訊解碼器30接著可使用所判定之深度範圍來解碼深度圖(190)。舉例而言，若深度範圍經更新用於當前深度圖，及/或若深度範圍之精度被更新，則視訊解碼器30可在解碼一當前深度圖(例如，當前存取單元之深度圖)時按比例調整參考深度圖(其可包括使用視圖合成預測產生之視圖合成參考深度圖)之像素值。雖然圖6中未展示，但另外或其他，視訊解碼器30可提供經更新之深度範圍值及/或經更新之精度值至視圖合成單元(諸如DIBR單元31(圖1))，以用來合成未編碼其資料的視圖之影像。
以此方式，圖6之方法表示一方法之實例，該方法包括：編碼第一視訊資料集之一或多個深度範圍值之第一集合，其中一或多個深度範圍值之第一集合具有各別第一精度；編碼第二視訊資料集之一或多個深度範圍值之第二集合，其中一或多個深度範圍值之第二集合具有不同於各別第一精度之各別第二精度；及使用一或多個深度範圍值之第二集合編碼第二視訊資料集之至少一部分。該第一視訊資料集可對應於在以圖6之方法編碼之該視訊資料集之前(例如，在先前SPS或先前DPS之後)被編碼的一視訊資料集。視訊解碼器30可重複圖6之方法直至在視訊位元串流之所有時間例項處之所有圖像已被解碼為止。
應認識到，取決於實例，本文中所描述之技術中之任一 者的某些動作或事件可以一不同序列執行、可增添、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件皆係必要的)。此外，在某些實例中，動作或事件可(例如)經由多線緒處理、中斷處理或多個處理器同時而非順序地執行。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用 戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置來實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由 不同硬體單元來實現。而是，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧深度估計單元
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧深度影像繪圖法(DIBR)單元
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧逆量化單元
78‧‧‧逆變換單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
100‧‧‧影像
102‧‧‧紋理影像
104‧‧‧深度圖
106‧‧‧深度範圍
圖1為說明可利用在三維(3D)視訊編碼中發信深度範圍的技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施在3D視訊編碼中發信深度範圍之技術的視訊編碼器之實例的方塊圖。
圖3為說明可實施在3D視訊編碼中發信深度範圍之技術的視訊解碼器之實例的方塊圖。
圖4為說明對應於存取單元之影像的實例集合之概念圖。
圖5為說明用於編碼多視圖加深度視訊資料之實例方法的流程圖。
圖6為說明用於解碼多視圖加深度視訊資料之實例方法的流程圖。

Claims (47)

  1. 一種編碼視訊資料之方法，該方法包含：編碼一第一視訊資料集之一或多個深度範圍值之一第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼一第二視訊資料集之一或多個深度範圍值之一第二集合，其中一或多個深度範圍值之該第二集合具有不同於該等各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。
  2. 如請求項1之方法，其進一步包含編碼具有指示深度範圍精度是否已經針對一或多個深度範圍值之該第二集合而改變之一值的一深度範圍精度更新旗標。
  3. 如請求項2之方法，其中編碼一或多個深度範圍值之該第二集合包含當該深度範圍精度更新旗標指示該深度範圍精度已被更新時，編碼表示該等各別第二精度的一或多個精度更新值。
  4. 如請求項2之方法，其中一或多個深度範圍值之該第二集合包含用於一錨點視圖之深度範圍值，該方法進一步包含當該深度範圍精度更新旗標指示該深度範圍精度已被更新時：編碼表示該等各別第二精度的一或多個精度更新值，編碼一指示除該錨點視圖外之至少一視圖的一深度範圍是否具有不同於用於該錨點視圖之該等深度範圍值的深度範圍值的不同深度範圍旗標。
  5. 如請求項4之方法，其進一步包含當該不同深度範圍旗標指示該至少一視圖之該深度範圍具有不同於該錨點視圖之該等深度範圍值的深度範圍值時，相對於該錨點視圖之深度範圍值編碼該至少一視圖的一或多個深度範圍值之一不同值集合。
  6. 如請求項1之方法，其中該第一視訊資料集包含一圖像序列，其中該第二視訊資料集包含一包括在一共同時間例項處之複數個視圖之圖像的存取單元，且其中該存取單元中之該等圖像中之至少一者包括於該圖像序列中。
  7. 如請求項6之方法，其中編碼一或多個深度範圍值之該第一集合包含編碼一序列參數集，及其中編碼一或多個深度範圍值之該第二集合包含編碼一深度範圍參數集。
  8. 如請求項1之方法，其中該第一視訊資料集包含一包括在一第一共同時間例項處之複數個視圖之一第一圖像集合的第一存取單元，其中該第二視訊資料集包含一包括在一第二共同時間例項處之該複數個視圖之一第二圖像集合的第二存取單元，且其中該第二時間例項不同於該第一時間例項。
  9. 如請求項8之方法，其中編碼一或多個深度範圍值之該第一集合包含編碼一第一深度範圍參數集，及其中編碼一或多個深度範圍值之該第二集合包含編碼 一第二深度範圍參數集。
  10. 如請求項1之方法，其中使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之該至少一部分包含：基於一或多個深度範圍值之該第一集合與一或多個深度範圍值之該第二集合之間的差來調整該第一視訊資料集之一參考圖像之像素值；及相對於該參考圖像之該等調整之像素值來編碼該第二視訊資料集之該至少一部分。
  11. 如請求項10之方法，其進一步包含使用根據該第一視訊資料集之視圖合成預測、根據該第一視訊資料集之基於深度範圍之加權預測、根據該第一視訊資料集之隱式加權預測及根據該第一視訊資料集之外顯加權預測中之至少一者而產生該參考圖像。
  12. 如請求項1之方法，其中編碼該第二視訊資料集之該至少一部分包含解碼該第二視訊資料集之該至少一部分。
  13. 如請求項1之方法，其中編碼該第二視訊資料集之該至少一部分包含編碼該第二視訊資料集之該至少一部分。
  14. 一種用於編碼視訊資料之器件，該器件包含一視訊編碼器，該視訊編碼器經組態以執行以下動作：編碼一第一視訊資料集之一或多個深度範圍值之一第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼一第二視訊資料集之一或多個深度範圍值之一第二集合，其中一或多個深度範圍值之該第二集合具有不同 於該等各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。
  15. 如請求項14之器件，其中該視訊編碼器經進一步組態以編碼具有指示深度範圍精度是否已經針對一或多個深度範圍值之該第二集合而改變之一值的一深度範圍精度更新旗標。
  16. 如請求項15之器件，其中該視訊編碼器經組態以在該深度範圍精度更新旗標指示該深度範圍精度已被更新時編碼表示該等各別第二精度之一或多個精度更新值。
  17. 如請求項15之器件，其中一或多個深度範圍值之該第二集合包含一錨點視圖之深度範圍值，且其中該視訊編碼器經組態以當該深度範圍精度更新旗標指示該深度範圍精度已被更新時：編碼表示該等各別第二精度之一或多個精度更新值，及編碼指示除該錨點視圖外的至少一視圖之一深度範圍是否具有不同於該錨點視圖之該等深度範圍值的深度範圍值的一不同深度範圍旗標。
  18. 如請求項14之器件，其中該第一視訊資料集包含一圖像序列，且其中該第二視訊資料集包含一包括在一共同時間例項處之複數個視圖之圖像的存取單元，其中該存取單元中之該等圖像中之至少一者包括於該圖像序列中。
  19. 如請求項18之器件，其中一或多個深度範圍值之該第一集合包含一序列參數集，且其中一或多個深度範圍值之該第二集合包含一深度範圍參數集。
  20. 如請求項14之器件，其中該第一視訊資料集包含一包括在一第一共同時間例項處的複數個視圖之一第一圖像集合的第一存取單元，其中該第二視訊資料集包含一包括在一第二共同時間例項處的該複數個視圖之一第二圖像集合的第二存取單元，且其中該第二時間例項不同於該第一時間例項。
  21. 如請求項20之器件，其中一或多個深度範圍值之該第一集合包含一第一深度範圍參數集，且其中一或多個深度範圍值之該第二集合包含一第二深度範圍參數集。
  22. 如請求項14之器件，其中為使用一或多個深度範圍值之該第二集合編碼該第二視訊資料集之該至少一部分，該視訊編碼器經組態以基於一或多個深度範圍值之該第一集合與一或多個深度範圍值之該第二集合之間的差來調整該第一視訊資料集之一參考圖像之像素值，及相對於該參考圖像之該調整之像素值來編碼該第二視訊資料集之該至少一部分。
  23. 如請求項14之器件，其中該視訊編碼器包含一視訊解碼器。
  24. 如請求項14之器件，其中該視訊編碼器包含一視訊編碼器。
  25. 如請求項14之器件，其中該器件包含以下各者中之至少一者：一積體電路；一微處理器；及 一無線通信器件，其包括該視訊編碼器。
  26. 一種用於編碼視訊資料之器件，該器件包含：用於編碼一第一視訊資料集之一或多個深度範圍值之一第一集合的構件，其中一或多個深度範圍值之該第一集合具有各別第一精度；用於編碼一第二視訊資料集之一或多個深度範圍值之一第二集合的構件，其中一或多個深度範圍值之該第二集合具有不同於該等各別第一精度之各別第二精度；及用於使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分的構件。
  27. 如請求項26之器件，其進一步包含編碼具有指示深度範圍精度是否已經針對一或多個深度範圍值之該第二集合而改變之一值的一深度範圍精度更新旗標。
  28. 如請求項27之器件，其中該用於編碼一或多個深度範圍值之該第二集合的構件包含用於當該深度範圍精度更新旗標指示該深度範圍精度已被更新時編碼表示該等各別第二精度的一或多個精度更新值的構件。
  29. 如請求項27之器件，其中一或多個深度範圍值之該第二集合包含用於一錨點視圖之深度範圍值，該器件進一步包含：用於當該深度範圍精度更新旗標指示該深度範圍精度已被更新時編碼表示該等各別第二精度的一或多個精度更新值的構件；及用於當該深度範圍精度更新旗標指示該深度範圍精度 已被更新時編碼指示除該錨點視圖外之至少一視圖的一深度範圍是否具有不同於用於該錨點視圖之該等深度範圍值的深度範圍值的一不同深度範圍旗標的構件。
  30. 如請求項26之器件，其中該第一視訊資料集包含一圖像序列，其中該第二視訊資料集包含一包括在一共同時間例項處之複數個視圖之圖像的存取單元，且其中該存取單元中之該等圖像中之至少一者包括於該圖像序列中。
  31. 如請求項30之器件，其中該用於編碼一或多個深度範圍值之該第一集合的構件包含用於編碼一序列參數集之構件，及其中該用於編碼一或多個深度範圍值之該第二集合的構件包含用於編碼一深度範圍參數集之構件。
  32. 如請求項26之器件，其中該第一視訊資料集包含一包括在一第一共同時間例項處之複數個視圖之一第一圖像集合的第一存取單元，其中該第二視訊資料集包含一包括在一第二共同時間例項處之該複數個視圖之一第二圖像集合的第二存取單元，且其中該第二時間例項不同於該第一時間例項。
  33. 如請求項32之器件，其中該用於編碼一或多個深度範圍值之該第一集合的構件包含用於編碼一第一深度範圍參數集之構件，及其中該用於編碼一或多個深度範圍值之該第二集合的構件包含用於編碼一第二深度範圍參數集之構件。
  34. 如請求項26之器件，其中該用於使用一或多個深度範圍 值之該第二集合來編碼該第二視訊資料集之該至少一部分的構件包含：用於基於一或多個深度範圍值之該第一集合與一或多個深度範圍值之該第二集合之間的差來調整該第一視訊資料集之一參考圖像之像素值的構件；及用於相對於該參考圖像之該等調整之像素值來編碼該第二視訊資料集之該至少一部分的構件。
  35. 如請求項26之器件，其中該用於編碼該第二視訊資料集之該至少一部分的構件包含用於解碼該第二視訊資料集之該至少一部分的構件。
  36. 如請求項26之器件，其中該用於編碼該第二視訊資料集之該至少一部分的構件包含用於編碼該第二視訊資料集之該至少一部分的構件。
  37. 一種其上儲存有指令的電腦可讀儲存媒體，該等指令在被執行時使一用於編碼視訊資料之器件之一處理器執行以下動作：編碼一第一視訊資料集之一或多個深度範圍值之一第一集合，其中一或多個深度範圍值之該第一集合具有各別第一精度；編碼一第二視訊資料集之一或多個深度範圍值之一第二集合，其中一或多個深度範圍值之該第二集合具有不同於該等各別第一精度之各別第二精度；及使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之至少一部分。
  38. 如請求項37之電腦可讀儲存媒體，其進一步包含使該處理器執行以下動作之指令：編碼具有指示深度範圍精度是否已經針對一或多個深度範圍值之該第二集合而改變的一值的一深度範圍精度更新旗標。
  39. 如請求項38之電腦可讀儲存媒體，其中使該處理器編碼一或多個深度範圍值之該第二集合的該等指令包含：使該處理器當該深度範圍精度更新旗標指示該深度範圍精度已被更新時編碼表示該等各別第二精度的一或多個精度更新值之指令。
  40. 如請求項38之電腦可讀儲存媒體，其中一或多個深度範圍值之該第二集合包含用於一錨點視圖之深度範圍值，該電腦可讀儲存媒體進一步包含使該處理器當該深度範圍精度更新旗標指示該深度範圍精度已被更新時執行以下動作之指令：編碼表示該等各別第二精度之一或多個精度更新值；及編碼指示除該錨點視圖外之至少一視圖的一深度範圍是否具有不同於用於該錨點視圖之該等深度範圍值的深度範圍值的一不同深度範圍旗標。
  41. 如請求項37之電腦可讀儲存媒體，其中該第一視訊資料集包含一圖像序列，其中該第二視訊資料集包含一包括在一共同時間例項處之複數個視圖之圖像的存取單元，且其中該存取單元中之該等圖像中之至少一者包括於該圖像序列中。
  42. 如請求項41之電腦可讀儲存媒體，其中該等使該處理器編碼一或多個深度範圍值之該第 一集合的指令包含使該處理器編碼一序列參數集之指令，及其中該等使該處理器編碼一或多個深度範圍值之該第二集合的指令包含使該處理器編碼一深度範圍參數集之指令。
  43. 如請求項37之電腦可讀儲存媒體，其中該第一視訊資料集包含一包括在一第一共同時間例項處之複數個視圖之一第一圖像集合的第一存取單元，其中該第二視訊資料集包含一包括在一第二共同時間例項處之該複數個視圖之一第二圖像集合的第二存取單元，且其中該第二時間例項不同於該第一時間例項。
  44. 如請求項43之電腦可讀儲存媒體，其中該等使該處理器編碼一或多個深度範圍值之該第一集合的指令包含使該處理器編碼一第一深度範圍參數集之指令，及其中該等使該處理器編碼一或多個深度範圍值之該第二集合的指令包含使該處理器編碼一第二深度範圍參數集之指令。
  45. 如請求項37之電腦可讀儲存媒體，其中該等使該處理器使用一或多個深度範圍值之該第二集合來編碼該第二視訊資料集之該至少一部分的指令包含使該處理器執行以下動作之指令：基於一或多個深度範圍值之該第一集合與一或多個深度範圍值之該第二集合之間的差來調整該第一視訊資料 集之一參考圖像之像素值；及相對於該參考圖像之該等調整之像素值來編碼該第二視訊資料集之該至少一部分。
  46. 如請求項37之電腦可讀儲存媒體，其中該等使該處理器編碼該第二視訊資料集之該至少一部分的指令包含使該處理器解碼該第二視訊資料集之該至少一部分的指令。
  47. 如請求項37之電腦可讀儲存媒體，其中該等使該處理器編碼該第二視訊資料集之該至少一部分的指令包含使該處理器編碼該第二視訊資料集之該至少一部分的指令。
TW101130024A 2011-11-18 2012-08-17 用於三維視訊編碼之發信深度範圍 TW201322735A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161561800P 2011-11-18 2011-11-18
US201161563771P 2011-11-26 2011-11-26
US201161569134P 2011-12-09 2011-12-09
US13/586,688 US20130127987A1 (en) 2011-11-18 2012-08-15 Signaling depth ranges for three-dimensional video coding

Publications (1)

Publication Number Publication Date
TW201322735A true TW201322735A (zh) 2013-06-01

Family

ID=48426429

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101130024A TW201322735A (zh) 2011-11-18 2012-08-17 用於三維視訊編碼之發信深度範圍

Country Status (3)

Country Link
US (1) US20130127987A1 (zh)
TW (1) TW201322735A (zh)
WO (1) WO2013074162A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
GB2516223A (en) * 2013-07-09 2015-01-21 Nokia Corp Method and apparatus for video coding and decoding
US10477183B2 (en) 2013-07-19 2019-11-12 Hfi Innovation Inc. Method and apparatus of camera parameter signaling in 3D video coding
WO2015194913A1 (ko) * 2014-06-20 2015-12-23 성균관대학교 산학협력단 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR101748620B1 (ko) * 2014-06-20 2017-07-04 성균관대학교산학협력단 영상의 부호화/복호화 방법 및 이를 이용하는 장치
EP3206401A4 (en) * 2014-10-08 2018-06-06 LG Electronics Inc. Method and device for processing camera parameter in 3d video coding
US11138751B2 (en) * 2019-07-06 2021-10-05 Toyota Research Institute, Inc. Systems and methods for semi-supervised training using reprojected distance loss
CN114365490B (zh) 2019-09-09 2024-06-18 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
EP4018648A4 (en) 2019-09-21 2022-11-23 Beijing Bytedance Network Technology Co., Ltd. HIGH PRECISION TRANSFORMATION AND QUANTIZATION FOR IMAGE AND VIDEO CODING

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences

Also Published As

Publication number Publication date
WO2013074162A1 (en) 2013-05-23
US20130127987A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
TWI520573B (zh) 用於寫碼視訊資料之方法、器件及電腦可讀儲存媒體
CN114071165B (zh) 视频编码器、视频解码器及对应方法
TWI558178B (zh) 用於寫碼視訊資料之方法及器件及電腦可讀儲存媒體
US10687079B2 (en) Constrained depth intra mode coding for 3D video coding
TWI526055B (zh) 視訊編碼中之運動向量預測
US9900619B2 (en) Intra-coding of depth maps for 3D video coding
JP6312854B2 (ja) ３ｄビデオコーディングにおけるデルタｄｃ残差コーディングの簡易化
TWI527460B (zh) 於視訊寫碼中發信用於操作點之層識別符
JP6333942B2 (ja) ビデオ情報のスケーラブルコード化のための装置及び方法
JP2020503815A (ja) ビデオコーディングのためのイントラ予測技法
JP6698351B2 (ja) ビュー内でのおよびビューにわたる深度ルックアップテーブルの予測コーディング
TW201322735A (zh) 用於三維視訊編碼之發信深度範圍
TWI650004B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信分割區資訊
KR101810312B1 (ko) 스케일링 팩터를 사용하는 리샘플링
US20160360235A1 (en) Derivation of color gamut scalability parameters and tables in scalable video coding
TW201742464A (zh) 用於產生用於視訊圖像之區域嵌套訊息之方法及系統
JP7143512B2 (ja) ビデオ復号方法およびビデオデコーダ
TW201537958A (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信色彩值
TW201342883A (zh) 在使用深度之３ｄ視訊寫碼中的多重假設差異向量建立
KR20160071415A (ko) 다중-계층 비디오 코딩에서의 3차원 룩업 테이블 기반 색역 스케일러빌리티
JP6640108B2 (ja) 色域スケーラビリティのための３ｄ色予測のためにビット深度値を信号伝達すること
JP2018514985A (ja) ビデオデータを処理するためのデバイスおよび方法
JP2016508011A (ja) ビデオ情報のスケーラブルコード化のための機器及び方法