TWI590643B - 針對多視圖加深度寫碼之軌跡中紋理及深度視圖的存在之指示 - Google Patents

針對多視圖加深度寫碼之軌跡中紋理及深度視圖的存在之指示 Download PDF

Info

Publication number
TWI590643B
TWI590643B TW103100246A TW103100246A TWI590643B TW I590643 B TWI590643 B TW I590643B TW 103100246 A TW103100246 A TW 103100246A TW 103100246 A TW103100246 A TW 103100246A TW I590643 B TWI590643 B TW I590643B
Authority
TW
Taiwan
Prior art keywords
view
depth
track
texture
trajectory
Prior art date
Application number
TW103100246A
Other languages
English (en)
Other versions
TW201440486A (zh
Inventor
王益魁
陳盈
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201440486A publication Critical patent/TW201440486A/zh
Application granted granted Critical
Publication of TWI590643B publication Critical patent/TWI590643B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H04N5/919—Television signal processing therefor for bandwidth reduction by dividing samples or signal segments, e.g. television lines, among a plurality of recording channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

針對多視圖加深度寫碼之軌跡中紋理及深度視圖的存在之指示 優先權主張
本申請案主張於2013年1月4日申請之美國臨時申請案第61/749,089號的優先權，該申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊寫碼及儲存視訊內容，且更特定言之，係關於用於儲存含有多個經寫碼視圖之視訊串流的技術。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位紀錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件、轉碼器、路由器或其他網路器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前在開發中之高效率視訊寫碼(HEVC)標準、專屬標準、諸如VP8之開放視訊壓縮格式及此等標準、技術或格式之擴展中描述的技術。視訊器件可藉由實施此等視訊壓縮技術來更有效地傳輸、接收、編碼、解 碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之部分)劃分成視訊區塊，視訊區塊亦可被稱作巨集區塊、樹型區塊、寫碼單元(CU)及/或寫碼節點。視訊區塊自身可再分成(例如)較小視訊區塊或分割區，且該等分割區可進一步再分。舉例而言，巨集區塊可再分成通常被稱作分割區之較小視訊區塊，且分割區中之一些可再分成甚至更小的視訊區塊。
可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼在框內(I)模式中寫碼的視訊區塊。在框間模式(例如，預測性(P)或雙向預測性(B)模式)中寫碼的視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本之空間預測或相對於其他參考圖像中之參考樣本的時間預測。空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本的區塊之運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生接著可經量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
本發明係關於用於儲存視訊資料之各種技術。特定言之，本發明描述用於儲存含有多個經寫碼視圖之視訊串流的技術。
在本發明之一個實例中，描述一種處理視訊資料之方法。該方法包括：剖析視訊資料之一軌跡，其中該軌跡包括一或多個視圖；及剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包 括紋理視圖及深度視圖兩者。
在另一實例中，描述一種用於處理視訊資料之器件，該器件包括一或多個處理器。該一或多個處理器經組態以剖析視訊資料之一軌跡，其中該軌跡包括一或多個視圖。該一或多個處理器經進一步組態以剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
亦描述一種非暫時性電腦可讀儲存媒體，其具有儲存於其上之指令。在執行時，該等指令致使一視訊寫碼器件之一或多個處理器剖析視訊資料之一軌跡，其中該軌跡包括一或多個視圖。執行該等指令進一步致使一視訊寫碼器件之該一或多個處理器剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
在另一實例中，描述一種裝置，該裝置經組態以剖析包括經寫碼視訊內容之一視訊檔案。該裝置包括用於剖析視訊資料之一軌跡之構件，其中該軌跡包括一或多個視圖。該裝置進一步包括用於剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者之構件。
在另一實例中，描述一種處理視訊資料之方法。該方法包括：編製視訊資料之一軌跡，其中該軌跡包括一或多個視圖；及編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊。
在另一實例中，一種用於處理視訊資料之器件包括一或多個處理器。該一或多個處理器經組態以編製視訊資料之一軌跡，其中該軌跡包括一或多個視圖。該一或多個處理器經進一步組態以編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊。
亦描述一種非暫時性電腦可讀儲存媒體，其具有儲存於其上之指令。在執行時，該等指令致使一視訊寫碼器件之一或多個處理器編製視訊資料之一軌跡，其中該軌跡包括一或多個視圖。執行該等指令進一步致使一視訊寫碼器件之該一或多個處理器編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊。
在另一實例中，描述一種裝置，該裝置經組態以剖析包括經寫碼視訊內容之一視訊檔案。該裝置包括用於編製視訊資料之一軌跡之構件，其中該軌跡包括一或多個視圖。該裝置進一步包括用於編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊之構件。
一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍而顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
21‧‧‧囊封模組
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧解囊封模組
30‧‧‧視訊解碼器
31‧‧‧顯示器件
32‧‧‧儲存器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵寫碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧參考圖像記憶體
70‧‧‧視訊輸入介面
72‧‧‧視訊檔案建立模組
74‧‧‧網路抽象層(NAL)單元建構器
76‧‧‧視訊檔案輸出介面
80‧‧‧熵寫碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測單元
86‧‧‧反量化單元
88‧‧‧反變換單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧參考圖像記憶體
100‧‧‧網路
102‧‧‧伺服器器件
104A‧‧‧路由器件
104B‧‧‧路由器件
106‧‧‧轉碼器件
108‧‧‧用戶端器件
142‧‧‧具有深度的多視圖媒體檔案
144‧‧‧電影邏輯框
146‧‧‧視訊資料串流
146-1‧‧‧視訊資料串流
146-N‧‧‧視訊資料串流
148‧‧‧音訊資料串流
148-1‧‧‧音訊資料串流
148-N‧‧‧音訊資料串流
150‧‧‧存取單元
150-1‧‧‧存取單元
150-2‧‧‧存取單元
150-N‧‧‧存取單元
152‧‧‧NAL單元
152-1‧‧‧NAL單元
152-N‧‧‧NAL單元
154‧‧‧後設資料邏輯框
156‧‧‧後設資料表
158‧‧‧軌跡邏輯框
160‧‧‧媒體資料邏輯框
162‧‧‧樣本表邏輯框
164‧‧‧同步樣本邏輯框
166‧‧‧3VC可調性資訊SEI訊息邏輯框
168‧‧‧3VC組態邏輯框
170‧‧‧3VC深度解析度邏輯框
172‧‧‧視圖識別符邏輯框
174‧‧‧多視圖群組邏輯框
圖1為說明可根據本發明中所描述之技術產生的實例MVC+D媒體檔案之結構的概念圖。
圖2說明可包括於根據本發明中所描述之技術產生的媒體檔案中之MVC+D存取單元之實例。
圖3為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖4為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖5為說明可實施本發明中所描述之技術的實例視訊解碼器及解囊封模組之方塊圖。
圖6為說明可實施本發明中所描述之技術的實例囊封模組之組件 之方塊圖。
圖7為說明可實施本發明中所描述之技術的形成網路之部分的實例器件集合之方塊圖。
圖8為說明根據本發明中所描述之技術的剖析指示紋理及深度視圖之存在的含有多視圖視訊內容之媒體檔案之實例方法的流程圖。
圖9為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案以指示紋理及深度視圖之存在的實例方法的流程圖。
圖10為說明根據本發明中所描述之技術的剖析指示視圖之相依性的含有多視圖視訊之媒體檔案之實例方法的流程圖。
圖11為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案以指示視圖之相依性的實例方法的流程圖。
圖12為說明根據本發明中所描述之技術的剖析含有多視圖視訊之媒體檔案以判定深度視圖之空間解析度的實例方法的流程圖。
圖13為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案以指示深度視圖之空間解析度的實例方法的流程圖。
圖14為說明根據本發明中所描述之技術的剖析含有多視圖視訊之媒體檔案的實例方法的流程圖，其中特定視圖之紋理及深度視圖儲存於分開的軌跡中。
圖15為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案的實例方法的流程圖，其中特定視圖之紋理及深度視圖儲存於分開的軌跡中。
一般而言，本發明係關於囊封及解囊封視訊內容，及將經寫碼視訊內容儲存於檔案中。本發明描述用於儲存視訊內容之各種技術，包括(例如)將根據HEVC視訊標準寫碼之視訊內容儲存於基於國際標準組織(ISO)基礎媒體檔案格式(ISOBMFF)的檔案中。特定言之，本 發明描述用於將含有多個經寫碼視圖之視訊串流囊封於媒體檔案中的技術。貫穿本發明，術語「媒體檔案」可與「視訊檔案」互換地使用。本文中揭示用於在基於ISOBMFF的檔案中編製及剖析含有多個經寫碼視圖之視訊串流的各種方法，其中每一視圖可僅含有紋理視圖，僅含有深度視圖或含有紋理視圖及深度視圖兩者。
視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外，存在正由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作組(JCT-VC)開發之新的視訊寫碼標準，亦即，高效率視訊寫碼(HEVC)。HEVC之新近工作草案(WD)題為「High Efficiency Video Coding(HEVC)text specification draft 9」(本文中被稱作「HEVC工作草案9」或「HEVC WD9」)，描述於Bross等人的文件JCTVC-K1003_v11(ITU-T SG16 WP3及ISO/IEC TJC1/SC29/WG11之視訊寫碼聯合協作組(JCT-VC)，第11次會議，中國上海，2012年10月10日至19日)中，其可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v11.zip得到。
在JCT-3V及JCT-VC中，亦在開發各種AVC及HEVC擴展。在JCT-3V中，正開發兩個HEVC擴展，即多視圖擴展(MV-HEVC)及3D視訊擴展(3D-HEVC)。另外，正開發兩個AVC擴展，即MVC+D及3D-AVC。
正在形成中的標準之新近版本為如下。M.Hannuksela(Nokia)、Y.Chen(Qualcomm)、G.Sullivan(Microsoft)、T.Suzuki、S.Hattori(Sony)的日期為2012年10月的文件JCT3V-B1001，題為「Study Text of ISO/IEC 14496-10：2012/DAM2 MVC extension for inclusion of depth maps」且可在http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1001-v1.zip得到。此亦被稱作MVC+D或三維視訊寫碼(3VC)，且經寫碼視訊可被稱作三維視訊(3DV)。三維視訊寫碼亦可被稱作三維視訊寫碼。M.M.Hannuksela、Y.Chen、T.Suzuki、J.-R.Ohm、G.J.Sullivan的文件JCT3V-B1002，題為「3D-AVC draft text 4」且可在http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1002-v1.zip得到。G.Tech、K.Wegner、Y.Chen、M.Hannuksela的文件JCT3V-B1004，題為「MV-HEVC Draft Text 2」且可在http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1004-v1.zip得到。G.Tech、K.Wegner、Y.Chen、S.Yea的文件JCT3V-B1005，題為「3D-HEVC Test Model 2」且可在http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zip得到。
本發明係關於將視訊內容儲存於電子資料檔案中。為了儲存根據特定視訊標準寫碼之視訊內容，對應於特定視訊標準之檔案格式規範可有幫助。詳言之，此文件揭示用於將含有多個經寫碼視圖之視訊串流儲存於基於ISO基礎媒體檔案格式(ISOBMFF)的檔案中之各種方法，其中每一視圖可僅含有紋理視圖，僅含有深度視圖，或含有兩者。在寫碼擴展標準中之各種標準中，可存在多個視圖或層。此外，不同層、紋理或深度視圖可具有不同空間解析度。描述用於將經編碼視訊囊封於檔案中之技術，且亦描述用於解囊封檔案以擷取經編碼的視訊內容之技術。
檔案格式標準包括ISO基礎媒體檔案格式(ISOBMFF，ISO/IEC 14496-12)及自ISOBMFF衍生之其他格式，包括MPEG-4檔案格式(ISO/IEC 14496-14)、第三代合作夥伴計劃(3GPP)檔案格式(3GPP TS 26.244)及AVC檔案格式(ISO/IEC 14496-15)。ISOBMFF可被用作許多編碼器-解碼器(編碼解碼器)囊封格式(諸如，AVC檔案格式)以及許多多媒體容器格式(諸如，MPEG-4檔案格式、3GPP檔案格式(3GP)及DVB檔案格式)之基礎。
HEVC檔案格式使用ISOBMFF作為其囊封格式的基礎。HEVC檔案格式的最新草案(在本文中被稱作「HEVCFF」)係根據ISO/IEC 14496-15：2010/Amd.1：2011(E)而定義，且包括以下規範性參考：ISO/IEC 14496-15，資訊技術，音訊視覺物件之寫碼，第15章：以ISO基礎媒體檔案格式(亦即，ISOBMFF)輸送NAL單元結構化視訊。
ISOBMFF被用作許多視訊寫碼標準囊封格式以及許多多媒體容器格式之基礎。基於ISOBMFF的其他檔案格式之實例包括(例如)MPEG-4檔案格式(ISO/IEC 14496-14)、3GPP檔案格式(3GPP TS 26.244)及AVC檔案格式(ISO/IEC 14496-15)(亦即，AVCFF)。此外，應注意，儘管本文中所揭示之技術在一些實例中係關於HEVC來描述且可參考特定檔案格式，但該等技術同樣可適用於其他視訊寫碼標準及檔案格式。
除了連續媒體(諸如，音訊及視訊)之外，靜態媒體(諸如，影像)以及後設資料亦可儲存於遵照ISOBMFF之檔案中。根據ISOBMFF結構化之檔案可用於達成許多用途，包括本端媒體檔案播放、遠端檔案之漸進下載、用於經由超文字傳送協定(HTTP)之動態自適應性串流(DASH)的區段、用於待串流傳輸的內容及其封包化指令之容器，及所接收之即時媒體串流的紀錄。一般而言，ISOBMFF允許與後設資料獨立地儲存連續媒體資料(諸如，音訊及視訊資料)。在一個實例中，媒體資料可包括根據HEVC寫碼之圖像的群組。後設資料通常包括呈現及時序資訊以使得媒體資料之部分可獨立地解碼。
ISOBMFF使用基於物件導向式的方案，其中基本語法元素被用 作建置區塊以形成媒體檔案。在ISOBMFF中，此等基本語法元素被稱作「邏輯框(box)」。然而，基於ISOBMFF之特定檔案格式可使用諸如「原子」之不同術語來指邏輯框。此外，應注意，當描述基於ISOBMFF的特定檔案格式時，特定術語常常可以與HEVCFF術語以非限制性方式互換地使用。舉例而言，當描述HEVCFF時，術語「存取單元」可對應於ISOBMFF中之術語「樣本」，且可使用任一種術語來描述存取單元。
在ISOBMFF中，邏輯框(即基本語法元素)包括四字元類型、邏輯框的位元組計數及有效負載。邏輯框類型定義特定邏輯框與其他類型的邏輯框之間的邏輯關係。邏輯框類型亦可描述對於特定邏輯框類型什麼資料係強制性的且對於特定邏輯框類型什麼資料係選用的。邏輯框可為邏輯框的序列或群組的部分，且可含有可被稱作子邏輯框的其他邏輯框。
在ISOBMFF中，電影邏輯框(「moov」)含有用於存在於檔案中的連續媒體串流之後設資料。用於存在於檔案中的連續媒體串流之後設資料可進一步被圍封於電影邏輯框中的額外邏輯框(諸如，軌跡邏輯框(「trak」))內。連續媒體串流可在ISOMBFF檔案中表示為軌跡，其中軌跡為參考可圍封於電影邏輯框內之後設資料的邏輯結構，且其中媒體串流由樣本序列組成。在ISOBMFF中，媒體串流可圍封於邏輯框(諸如，媒體資料邏輯框(「mdat」)及其子邏輯框)內。此外，在一些實例中，媒體串流可直接儲存於ISOBMFF檔案中。用於軌跡之媒體內容由樣本(諸如，音訊或視訊存取單元)序列組成。樣本序列可被稱作串流。ISOBMFF指定含有基本媒體串流之媒體軌跡。用於每一軌跡之後設資料包括樣本描述輸入項之清單，每一樣本描述輸入項提供用於軌跡中之寫碼或囊封格式及用於處理彼格式之初始化資料。每一樣本與軌跡之樣本描述輸入項中的一者相關聯。基於ISOBMFF 之一些檔案類型亦包括提示軌跡。提示軌跡包括資訊，該資訊促進媒體內容之重建構以使得當經由網路串流傳輸媒體內容時品質及可靠性得到改良。
ISOBMFF指定以下類型之軌跡：含有基本媒體串流之媒體軌跡、包括媒體傳輸指令抑或表示所接收之封包串流的提示軌跡，及包含時間同步後設資料的定時後設資料軌跡。
儘管最初係設計用於儲存，但已證明ISOBMFF對於串流傳輸而言(例如，對於漸進下載或DASH而言)係極有價值的。為了達成串流傳輸用途，可使用按ISOBMFF定義的電影片段。
用於每一軌跡之後設資料包括樣本描述輸入項之清單，每一樣本描述輸入項提供用於軌跡中之寫碼或囊封格式及用於處理彼格式之初始化資料。每一樣本與軌跡之樣本描述輸入項中的一者相關聯。
ISOBMFF使得能夠使用各種機制來指定樣本特定後設資料。樣本表邏輯框(「stbl」)內之特定邏輯框已經標準化以回應於常見需求。舉例而言，同步樣本邏輯框(「stss」)用以列出軌跡之隨機存取樣本。同步樣本對於分別包括MVC或3VC組態紀錄之任何樣本輸入項識別MVC或3VC位元串流之瞬時解碼再新(IDR)存取單元之存在。樣本分組機制使得能夠根據四字元分組類型將樣本映射至共用如檔案中的樣本群組描述輸入項所指定的相同性質之樣本群組中。在ISOBMFF中已指定若干分組類型。
類似於根據ISOBMFF儲存的檔案，HEVC檔案可包括參考後設資料之一系列基本串流。在HEVCFF中，樣本可被稱作如ISO/IEC 23008-2中所定義的存取單元。在HEVCFF中，後設資料亦可包括於樣本描述輸入項中。HEVCFF可允許提示，但其應注意，在一些檔案格式中由提示軌跡稱作「B圖框」的圖框實際上可為如ISO/IEC 23008-2中所定義的「拋棄式」圖像或非參考圖像。此外，用於儲存HEVC視 訊內容之檔案格式可使用ISOBMFF之現有能力，但亦可定義擴展以支援特定HEVC經寫碼視訊內容特徵，諸如：參數集、時間可調性及隨機存取復原點。
在大多數狀況中，為了儲存基於ISOBMFF的特定視訊編碼解碼器之視訊內容，使用彼視訊編碼解碼器的檔案格式規範。在一些狀況下，為了儲存含有具有經寫碼為標準之擴展的深度之多個經寫碼視圖的視訊串流，與彼標準相容的檔案格式可用於具有深度之多個經寫碼視圖。舉例而言，可重新使用用於MVC之檔案格式(其為AVC檔案格式的部分)以用於儲存含有多個經寫碼視圖加深度(MVC+D)的視訊串流。使用用於MVC之檔案格式以儲存MVC+D係有可能的，此係因為MVC+D之設計係基於MVC。然而，直接應用MVC檔案格式以用於儲存MVC+D內容具有至少以下缺點。首先，將沒有辦法來指示包括於軌跡中之視圖是僅含有紋理視圖，僅含有深度視圖，還是含有紋理視圖分量及深度視圖分量兩者。此外，將沒有辦法來指示需要第一視圖中之第二視圖所取決於的哪一部分(紋理視圖、深度視圖或兩者)以用於解碼第二視圖。又，將沒有辦法在不剖析由深度視圖分量參考的序列參數集(SPS)的情況下將深度視圖的空間解析度發信。
本發明之技術可解決以上問題中之一或多者，以及提供其他改良，以使得能夠有效地及靈活地儲存含有具有深度的多個經寫碼視圖之視訊串流。儘管此描述特定針對基於MVC檔案格式的MVC+D視訊串流之儲存，但本文中所描述之技術可適用於任何用於儲存由任何視訊編碼解碼器寫碼的此視訊內容之檔案格式。ISO/IEC 14496-15的條款7指定MVC檔案格式。本發明之技術可將ISO/IEC 14496-15之條款7擴展至含有具有深度之多個視圖的3D視訊寫碼(3VC)資料之儲存。在本發明中定義若干新的邏輯框及樣本輸入項類型。
單一媒體檔案可含有多個軌跡(例如，電影及音訊軌跡，諸如視 訊資料串流146及音訊資料串流148)。樣本輸入項提供樣本或軌跡之頂部層級標頭資訊的儲存(在一些實例中，軌跡可由一或多個樣本組成)。樣本可為(例如)存取單元(諸如，存取單元150-1)或存取單元之部分(例如，在MVC或3VC軌跡中)。樣本輸入項將軌跡或樣本之相關寫碼資訊(諸如，設定檔、層級及階層資訊)以及其他高層級資訊提供給用於軌跡之編碼解碼器。在一些實例中，一或多個樣本輸入項存在於具有深度的多視圖媒體檔案142中。
根據本文中所描述之技術，改變在MVC檔案格式中所定義的視圖識別符邏輯框。在一個實例中，可改變視圖識別符邏輯框以對於包括於與視圖識別符邏輯框相關聯的軌跡中之視圖中之每一者指示，紋理視圖及/或深度視圖在軌跡中及在串流中的存在。在另一實例中，可改變視圖識別符邏輯框以指示如何需要參考視圖之紋理視圖及深度視圖以用於解碼特定視圖。舉例而言，可能需要僅紋理視圖、僅深度視圖或參考視圖的兩個視圖來解碼特定視圖。視圖識別符邏輯框可包括於樣本輸入項或多視圖群組輸入項中。
本發明之技術亦支援將深度視圖的空間解析度發信。可在新定義的3VC深度解析度邏輯框中指示深度視圖的空間解析度。3VC深度解析度邏輯框可包括於新定義的3VC組態邏輯框中。3VC組態邏輯框包括3VC解碼器組態紀錄3VCDecoderConfigurationRecord，且包括於類型「3vc1」或「3vc2」的任一樣本輸入項中之至少一者中。3VC組態邏輯框可包括於另一樣本輸入項中。3VC解碼器組態紀錄經定義以具有與MVCDecoderConfigurationRecord相同的語法，但具有不同語義以指示與3VC視訊串流有關的特性。
在一些實例中，定義3VC可調性資訊補充增強資訊(SEI)訊息邏輯框(在本文中被稱作「SEI訊息邏輯框」)。SEI訊息邏輯框含有在MVC+D編碼解碼器規範中定義的3DVC可調性資訊SEI訊息。SEI訊息 邏輯框可包括於樣本輸入項中。
此外，本發明之技術提供特定視圖之紋理視圖及深度視圖在分開的軌跡中的儲存。在一些實例中，定義具有類型值「deps」之新軌跡參考類型，該類型值的存在指示當前軌跡含有與參考軌跡中的紋理視圖相關聯之深度視圖。
在一些實例中，新的值Compressorname被推薦用於含有3VC視訊串流之檔案。新的名稱為「\0123VC Coding」。
本文中所描述之技術引入兩個新的樣本輸入項類型，即用於僅具有深度NAL單元之3VC軌跡的「3vc1」及「3vc2」。提取器在「3vc1」中不被允許且在「3vc2」中係允許的。進一步定義一些現有樣本輸入項類型。針對具有AVC、MVC及深度NAL單元的3VC軌跡，定義了樣本輸入項類型「avc1」以含有AVC、MVC及3VC組態。針對不具有AVC NAL單元但具有MVC及深度NAL單元的3VC軌跡，進一步定義了樣本輸入項類型「mvc1」以含有MVC及3VC組態，其中提取器係不允許的。針對不具有AVC NAL單元但具有MVC及深度NAL單元的3VC軌跡，進一步定義了樣本輸入項類型「mvc2」以含有MVC及3VC組態，其中提取器係允許的。應注意，樣本輸入項類型之其他名稱可與上文所描述之類似語義一起使用。
圖1為說明可根據本發明中所描述之技術產生的實例具有深度的多視圖媒體檔案142之結構的概念圖。具有深度的多視圖媒體檔案142係基於ISOBMFF及當前AVC檔案格式。應注意，圖1中之實例具有深度的多視圖媒體檔案142意欲說明資料串流與後設資料之間的邏輯關係。在其他實例中，媒體檔案142可係基於其他媒體檔案格式。類似於本文中針對具有深度的多視圖媒體檔案142所描述之技術的技術可適用於其他檔案格式以容許三維視訊。出於簡潔起見，尚未說明具有深度的多視圖媒體檔案142之完整囊封結構。然而，具有深度的多視 圖媒體檔案142可利用根據ISOBMFF及AVC檔案格式定義之邏輯框及囊封結構。
MVC及3VC串流之儲存可由數個結構支援，該等結構包括樣本輸入項中之資訊、媒體資訊邏輯框及樣本群組。表1提供對所提供之結構、其名稱及其功能的簡短描述之概述。更具體言之，表1提供用於MVC及3VC串流之實例邏輯框、樣本輸入項及群組結構。注意，以左邊欄中的輸入項(例如，「minf」及「？vc？」)開始之每一群組的列記錄彼容器內之內含項目結構；然而，並未展示較高層級內含項目。
樣本輸入項內之結構提供用於解碼或使用與彼樣本輸入項相關聯之樣本(例如，視訊資訊)的資訊。在(例如)提取軌跡內之媒體的子集的幫助下，樣本群組提供關於軌跡整體之時變資訊。多視圖資訊邏輯框(出現於媒體資訊邏輯框中)中之資訊可橫跨若干軌跡且描述軌跡 之集合，即使多視圖資訊邏輯框駐留於含有串流之基礎視圖的軌跡中亦然。
在一些實例中，MVC及3VC視訊基本串流含有所有與視訊寫碼有關的NAL單元(亦即，含有視訊資料或發信視訊結構的彼等NAL單元)，且可含有與視訊寫碼無關的NAL單元，諸如SEI訊息及存取單元定界符NAL單元。又，彙集器或提取器可存在於MVC及3VC視訊串流中。可存在未明確禁止之其他NAL單元，且若未辨識出該等其他NAL單元，則可忽略該等其他NAL單元(例如，在存取檔案時未置於輸出緩衝器中)。在需要時，亦可使用相關聯的參數集串流來儲存MVC及3VC串流。在MVC視訊基本串流中可能存在AVC VCL NAL單元、MVC VCL NAL單元及非VCL NAL單元。在3VC視訊基本串流中可能存在AVC VCL NAL單元、MVC VCL NAL單元、深度VCL NAL單元及非VCL NAL單元。另外，在MVC或3VC視訊基本串流中可能存在彙集器或提取器NAL單元。
具有深度的多視圖媒體檔案142可儲存連續媒體(例如，音訊及視訊)、靜態媒體(例如，影像)及後設資料。ISOBMFF中的基本語法結構為邏輯框，該邏輯框包括四字元經寫碼邏輯框類型、邏輯框之位元組計數及有效負載。具有深度的多視圖媒體檔案142由邏輯框序列組成。在圖1中所說明之實例中，具有深度的多視圖媒體檔案142包括電影邏輯框144、視訊資料串流146-1至146-N(在本文中統稱為「視訊資料串流146」)及音訊資料串流148-1至148-N(在本文中統稱為「音訊資料串流148」)，其中N可為任何正整數，且對於圖1中之N的不同執行個體可為相同或不同數目。
視訊資料串流146可對應於ISOBMFF中所描述之視訊或視覺軌跡。視訊串流可由具有深度的多視圖媒體檔案142中的一個視訊軌跡表示。視訊資料串流146-1至146-N中之每一者可包括一或多個存取單 元150-1至150-N(在本文中統稱為「存取單元150」)。具有深度的多視圖媒體檔案142中的存取單元150可根據ISOBMFF(或更具體言之，MVC或HEVCFF)來定義。存取單元150可對應於ISOBMFF中之樣本。存取單元150可經外部地成框且具有由彼外部成框提供的大小。在一些狀況下，後設資料邏輯框154可包括定義存取單元150之大小的資訊。存取單元150可包括NAL(亦即，網路抽象層)單元152-1至152-N(在本文中統稱為「NAL單元152」)的集合。NAL單元152可根據HEVCFF來定義。
每一NAL單元152可包括長度欄位，其指示(例如)按位元組或與資料儲存相關聯的其他長度或大小單位之NAL單元之長度。在一些實例中，長度欄位可經組態成一個、兩個或四個位元組。長度欄位使得能夠容易掃描存取單元150內之NAL單元。NAL單元152可含有如ISO/IEC 23008-2中所指定的NAL單元資料。除了其他類型之NAL單元之外，HEVCFF亦定義NAL單元之以下類型：可被稱作VCL NAL單元的視訊資料NAL單元、補充增強資訊(SEI)NAL單元及存取單元(AU)定界符NAL單元以及其他類型的NAL單元。應注意，在ISO/IEC 23008-2中所保留的NAL單元類型可在未來獲得定義。一些檔案讀取器可經組態以忽略具有NAL單元類型之保留值的NAL單元(當該等NAL單元存在於此等陣列中時)。應注意，設計此「容忍」行為以使得不會出現錯誤，從而有可能在未來規範中進行對此等陣列之回溯相容擴展。VCL NAL單元可經格式化以使得用於單一圖像之所有經寫碼圖塊NAL單元含於存取單元內，該存取單元的解碼時間及編製時間為該圖像的解碼時間及編製時間。此外，可能需要存取單元150含有至少一個視訊資料NAL單元。
電影邏輯框144可類似於ISOBMFF「moov」邏輯框。如本文中所描述，「moov」為在ISOBMFF中定義的用於電影邏輯框144之四字元 經寫碼邏輯框類型。此外，邏輯框可含有其他邏輯框。電影邏輯框144(「moov」)含有用於存在於具有深度的多視圖媒體檔案142中之任何連續媒體串流146及148的後設資料。
電影邏輯框144可含有一或多個後設資料邏輯框154。後設資料邏輯框154可類似於且可含有用於視訊資料串流146及/或音訊資料串流148中之每一者的後設資料。在一個實例中，後設資料可包括於一或多個後設資料表156中，該一或多個後設資料表156包括於一或多個後設資料邏輯框154中。後設資料表156可包括對應於視訊資料串流146之樣本輸入項。後設資料表156之一個實例為樣本表邏輯框。視訊資料串流146中之每一者可參考後設資料表156中之一或多者。
ISOBMFF使得能夠使用各種機制來指定樣本特定後設資料。後設資料邏輯框154可進一步包括樣本表邏輯框162內之特定邏輯框以含有其他後設資料資訊，諸如進一步含有樣本輸入項之樣本描述邏輯框。用於樣本表邏輯框162之四字元經寫碼邏輯框類型可為「stbl」。舉例而言，同步樣本邏輯框164可用以列出軌跡之隨機存取樣本。用於同步樣本邏輯框164之四字元經寫碼邏輯框類型可為「stss」。樣本分組機制使得能夠根據四字元分組類型將樣本映射至共用如具有深度的多視圖媒體檔案142中的樣本群組描述輸入項所指定的相同性質之樣本群組中。在ISOBMFF中已指定若干分組類型。
在一些實例中，陰影同步邏輯框未用於由任何MVC或3VC樣本輸入項描述之視訊資料。
在一些實例中，可使用獨立及拋棄式樣本邏輯框。若獨立及拋棄式樣本邏輯框被用於既AVC相容又MVC相容的軌跡中，則不管使用MVC資料(及可能僅AVC資料)的哪一有效子集，由獨立及拋棄式樣本邏輯框指示的資訊皆為真。若資訊變化，則可使用「未知」值(欄位sample-depends-on、sample-is-depended-on及sample-has-redundancy的 值0)。若在與所有AVC、MVC及3VC相容的軌跡中使用獨立及拋棄式樣本邏輯框，則應注意不管使用3VC資料(可能僅AVC資料或僅MVC資料)的哪一有效子集，該等陳述皆為真。若資訊變化，則可使用「未知」值(欄位sample-depends-on、sample-is-depended-on及sample-has-redundancy的值0)。
具有深度的多視圖媒體檔案142可包括隨機存取復原樣本群組及隨機存取點樣本群組。對於由類型「avc1」或「avc2」的樣本輸入項描述之視訊資料，隨機存取復原樣本群組及隨機存取點樣本群組對於操作於整個位元串流上的所有AVC解碼器、MVC解碼器及3VC解碼器分別識別隨機存取復原點及隨機存取點。對於由MVC樣本輸入項類型描述之視訊資料，隨機存取復原樣本群組識別整個MVC位元串流中之隨機存取復原，且隨機存取點樣本群組識別整個MVC位元串流中的隨機存取點。對於由3VC樣本輸入項類型描述之視訊資料，隨機存取復原樣本群組可識別整個3VC位元串流中之隨機存取復原，且隨機存取點樣本群組識別整個3VC位元串流中的隨機存取點。
電影邏輯框144可進一步含有一或多個軌跡邏輯框158及一或多個媒體資料邏輯框160。用於軌跡之後設資料被圍封於至少一個軌跡邏輯框158中。用於軌跡邏輯框158之四字元經寫碼邏輯框類型可為「trak」。軌跡之媒體內容被圍封於媒體資料邏輯框160中抑或直接在單獨檔案中。用於媒體資料邏輯框160之四字元經寫碼邏輯框類型可為「mdat」。用於軌跡之媒體內容由樣本(諸如，音訊或視訊存取單元)序列組成。
存在於具有深度的多視圖媒體檔案142中之連續媒體串流可以軌跡來表示。ISOBMFF指定以下類型之軌跡：含有基本媒體串流之媒體軌跡、包括媒體傳輸指令抑或表示所接收之封包串流的提示軌跡，及包含時間同步後設資料的定時後設資料軌跡。
MVC或3VC串流可以多個方式置於軌跡中，其中有如下方式：所有視圖在一個軌跡中，以樣本群組來標記；每一視圖(包括紋理視圖及深度視圖兩者(當兩者皆存在時))在其自身軌跡中，在樣本輸入項中加以標記；混合式，一個軌跡含有所有視圖及一或多個單視圖軌跡各自含有可獨立地寫碼之視圖；預期操作點各自在一軌跡中(例如，AVC基礎、立體對、多視圖場景或3VC場景)；及對於僅3VC，每一紋理或深度視圖在其自身軌跡中，在樣本輸入項中加以標記。
MVC及3VC檔案格式允許將一或多個視圖儲存至軌跡中。例如，當內容提供者想要提供並不意欲用於構造子集的多視圖位元串流時，或當已針對輸出視圖的幾個預定義集合(諸如，1個、2個、5個或9個視圖)產生位元串流(其中可相應地產生軌跡)時，可使用每一軌跡儲存多個視圖。若一個以上視圖儲存於軌跡中且存在表示MVC或SVC位元串流的若干軌跡(一個以上)，則可推薦使用樣本分組機制。樣本分組機制可用以定義識別存在於軌跡中之視圖的階層，且用以方便地提取用於某些操作點的所需要之NAL單元。樣本分組機制通常與彙集器NAL單元一起使用以形成樣本內之規則NAL單元型樣。因此，針對MVC及3VC指定了樣本群組的類SVC之樣本分組、彙集器及視圖定義。
若干技術被包括於本發明中以指示包括於軌跡中的視圖是僅含有紋理視圖，僅含有深度視圖，還是含有紋理視圖及深度視圖兩者；指示需要第一視圖中的第二視圖所取決於之哪一部分(紋理視圖、深度視圖或兩者)以用於解碼第二視圖；將深度視圖的空間解析度發信以使得不需要剖析由深度視圖分量參考的序列參數集(SPS)；及改良含有具有深度的多個經寫碼視圖之視訊串流之儲存的效率及靈活性。
此外，在一些實例中支援將特定視圖之紋理視圖及深度視圖儲存在分開的軌跡中。定義具有類型值「deps」的新軌跡參考類型。新 軌跡參考類型「deps」的存在可指示當前軌跡含有與參考軌跡中的紋理視圖相關聯的深度視圖。在替代實例中，用類型值「tref」來定義一新類型的軌跡參考，該類型值在軌跡中的存在指示當前軌跡取決於儲存於所參考軌跡中的紋理視圖。在另一替代實例中，用類型值「dref」來定義另一新類型的軌跡參考，該類型值在軌跡中的存在指示當前軌跡取決於儲存於所參考軌跡中的深度視圖。
具有深度的多視圖媒體檔案142可進一步含有一或多個視圖識別符邏輯框172，視圖識別符邏輯框172可包括於樣本輸入項或多視圖群組輸入項中。舉例而言，視圖識別符邏輯框172可指示對於包括於軌跡中之每一視圖而言，紋理及/或深度視圖在軌跡中及在視訊串流中的存在。在另一實例中，視圖識別符邏輯框172可指示如何需要參考視圖之紋理視圖及深度視圖以用於解碼特定視圖。亦即，視圖識別符邏輯框172可含有語法資訊，該語法資訊指示是僅需要紋理視圖，僅需要深度視圖，還是需要紋理視圖及深度視圖兩者以解碼特定視圖。如本文中所使用，編碼可指根據指定檔案格式編製或儲存資訊，且解碼可指根據檔案格式剖析資訊。通常，寫碼可指編製抑或剖析。
具有深度的多視圖媒體檔案142可進一步含有一或多個3VC組態邏輯框168。3VC組態邏輯框168可包括3VC解碼器組態紀錄。3VC解碼器組態紀錄可被命名為3VCDecoderConfigurationRecord。3VC解碼器組態紀錄可包括與MVCDecoderConfigurationRecord類似的語法，但具有不同語義以指示與3DV視訊串流有關的特性。3VC組態邏輯框可包括於樣本輸入項中，在一些實例中，必須包括於類型「3vc1」或「3vc2」的樣本輸入項中。
本發明之技術亦支援將深度視圖的空間解析度發信。3VC組態邏輯框168可進一步包括3VC深度解析度邏輯框170。可在3VC深度解析度邏輯框170中將深度視圖的空間解析度發信。在其他實例中，可將 3VC深度解析度邏輯框170直接添加至樣本輸入項中。在另一替代實例中，可在3VC解碼器組態紀錄中直接將深度視圖的寬度及高度發信。
具有深度的多視圖媒體檔案142可進一步含有一或多個3VC可調性資訊SEI訊息邏輯框166。3VC可調性資訊SEI訊息邏輯框166可含有在MVC+D編碼解碼器規範中定義的3DVC可調性資訊補充增強資訊(SEI)訊息。在一些實例中，3VC可調性資訊SEI訊息邏輯框166可包括於樣本輸入項中。
具有深度的多視圖媒體檔案142可進一步含有多視圖群組邏輯框174。多視圖群組邏輯框174可指示用於寫碼視訊資料串流146的操作點，包括3DV操作點。在一個實例中，多視圖分組為結構及分組機制，其指示NAL單元與不同可調性類型及階層架構層級之關聯。用於多視圖群組邏輯框174之四字元經寫碼邏輯框類型可為「mvcg」。在一些實例中，多視圖群組邏輯框174可含於多視圖資訊邏輯框(「mvci」)中。在具有深度的多視圖媒體檔案142中可存在零個或零個以上多視圖群組邏輯框174。
多視圖群組邏輯框174可指定用於MVC或3VC串流之被輸出的視圖之多視圖群組。可基於track_id、tier_id或view_id指示目標輸出視圖。當包括於軌跡中之視圖匹配操作點時，track_id(亦即，entry_type等於0)可用於多視圖群組邏輯框174內。當多視圖樣本分組在使用中且階層涵蓋一個以上視圖或一些階層含有位元串流之時間子集時，tier_id(亦即，entry_type等於1)可用於多視圖群組邏輯框174內。否則，可使用基於view_id的指示(亦即，entry_type等於2或3)中之一者。
當entry_type等於0或1時，以下情形可適用。包括於多視圖群組邏輯框174中的軌跡或階層中之每一視圖為目標輸出視圖，且若包括 於此邏輯框中之軌跡或階層含有多個視圖，則所有所含有之視圖為目標輸出視圖。
用於多視圖群組邏輯框174之語義包括語法元素num_entries，語法元素num_entries可指示包括於多視圖群組中之軌跡(輸入項類型0)、階層(輸入項類型1)、目標輸出視圖(輸入項類型2)或目標輸出視圖的連續集合(輸入項類型3)的數目。
本文中所描述之另一技術包括定義共同屬性及/或區別屬性以指示多視圖群組邏輯框174中所指示的3DV操作點是否存在。在另一實例中，資訊可包括於多視圖群組邏輯框174中以指示多視圖群組邏輯框174中所指示的操作點是3DC操作點還是MVC操作點。操作點可為可調式位元串流的可獨立解碼之子集。MVC或3VC操作點之位元串流子集可表示在特定時間解析度處的目標輸出視圖之特定集合，且由可用以解碼特定位元串流子集的資料組成。在3VC中，3VC操作點之位元串流子集中的每一目標輸出視圖可含有紋理視圖、深度視圖或兩者。此外，在一些實例中，引入可包括於多視圖群組邏輯框174中的語法元素以指示多視圖群組邏輯框174中所指示的輸出視圖是僅含有紋理視圖，僅含有深度視圖，還是含有紋理視圖及深度視圖兩者。
在本發明之額外技術中，定義新的樣本輸入項類型。舉例而言，針對僅具有深度NAL單元的3VC軌跡定義「3vc1」及「3vc2」，其中提取器分別為不允許的及允許的。提取器為串流中結構(例如，駐留於樣本資料內的結構)以使得能夠自不同於含有相關媒體資料的軌跡的軌跡高效地提取NAL單元。舉例而言，提取器可含有關於如何自其他軌跡提取資料之指令。
圖1之實例僅說明組織具有深度的多視圖媒體檔案142之一個可能方式。在一些實例中，邏輯框中之一或多者可為其他邏輯框的子邏輯框。亦即，在不同實例中，各種邏輯框可以不同於圖1中所示方式 之方式組織及組態。此外，本文中所描述之技術中的一或多者可以任何組合與本文中所描述之一或多個其他技術一起使用。
圖2說明可包括於根據本發明中所描述之技術產生的媒體檔案中之MVC+D存取單元150之實例。圖2說明在此實例中為整個存取單元150之樣本的實例結構。樣本經外部地成框且具有由彼外部成框提供的大小。經由用於基本串流之解碼器特定組態來組態樣本的語法。在以下圖中描繪視訊樣本的結構之實例。3VC樣本可包括如ISO/IEC 14496-10的附錄I中所定義的一或多個視圖分量及相關聯的非VCL NAL單元，其中每一視圖分量可含有紋理視圖分量、深度視圖分量或兩者。
如圖2中所說明，存取單元150包括NAL單元之集合，包括AU定界符NAL單元、SEI NAL單元及兩個圖塊NAL單元。每一NAL單元係用長度表示，該長度指示按位元串流次序在該NAL單元之後的NAL單元之按位元組計的長度。舉例而言，長度欄位可經組態成具有1個、2個或4個位元組。NAL單元含有如適用的視訊寫碼標準中所指定的NAL單元資料。
在一些實例中，提供用於深度經寫碼圖塊NAL單元的經寫碼圖塊擴展。在一些實例中，在單一時刻的所有深度經寫碼圖塊NAL單元應含於樣本中，該樣本的編製時間為由存取單元所表示之圖像的編製時間。3VC樣本應含有至少一個AVC、MVC或深度VCL NAL單元。
在一些實例中，可重建構諸如存取單元150-1之存取單元。為了自一或多個MVC或3VC軌跡的樣本重建構存取單元150-1，可需要藉由檢查多視圖群組邏輯框174及多視圖群組關係邏輯框來判定目標輸出視圖。explicit_au_track旗標等於1表明此軌跡為完整操作點；然而，可檢查軌跡以判定由此軌跡遞送的哪些視圖為輸出視圖。
若目標輸出視圖並未正好由在MVC解碼器組態紀錄中或在3VC 解碼器組態紀錄中以等於1的explicit_au_track標示的任何軌跡表示，則存取單元150-1可被如下重建構。解碼所判定的目標輸出視圖所需要的視圖可自包括於視圖識別符邏輯框中的參考視圖識別符、「scal」軌跡參考或階層相依性邏輯框推斷出。
若若干軌跡含有用於存取單元150-1之資料，則(例如)在不考慮編輯清單的情況下僅使用時間至樣本表在解碼時間執行軌跡中之各別樣本的對準。藉由按遵照ISO/IEC 14496-10之次序配置樣本之NAL單元而自所需的軌跡及階層中的各別樣本重建構存取單元150-1。以下次序提供用以形成相符的存取單元的程序之概要：所有參數集NAL單元(來自相關聯的參數集軌跡及來自相關聯的基本串流軌跡)；所有SEI NAL單元(來自相關聯的參數集軌跡及來自相關聯的基本串流軌跡)；按視圖次序索引值的遞升次序之視圖分量；及在視圖分量內，若紋理及深度兩者皆存在，則紋理視圖分量先於深度視圖分量。紋理或深度視圖分量內的NAL單元係按其在樣本內的出現次序。
圖3為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。在一個實例中，系統10可經組態以編製或剖析含有多個經寫碼視圖加深度的媒體檔案。如本文中所使用，術語編製及囊封可互換地使用。同樣，如本文中所使用，術語剖析及解囊封可互換地使用。此外，在一些實例中，術語編碼與術語編製類似地使用，且術語解碼與術語剖析類似地使用。
如圖3中所示，系統10包括源器件12，源器件12產生稍後待由目的地器件14解碼的經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂之「智慧型」電話之電話手機、所謂之「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、視訊串流器件或其類似者。在一些狀況下，源器 件12及目的地器件14可經配備以用於無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任何類型之媒體或器件。在一實例中，鏈路16可包含使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。經編碼視訊資料可根據通信標準(諸如，無線通信協定)調變且被傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台或可有用於促進自源器件12至目的地器件14之通信的任何其他設備。
或者，經編碼資料(諸如，經編製之MVC+D媒體檔案)可自輸出介面22輸出至儲存器件32。類似地，可藉由輸入介面28自儲存器件32存取經編碼資料。儲存器件32可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在另一實例中，儲存器件32可對應於檔案伺服器或可保持由源器件12產生之經編碼視訊的另一中間儲存器件。在一些實例中，儲存器件32儲存經編碼視訊內容，囊封模組21稍後擷取該經編碼視訊內容以用於囊封。目的地器件14可經由串流或下載自儲存器件32存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由包括網際網路連接之任何標準資料連接存取經編碼視訊資料。此情形可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據 機等)或兩者之適合於存取儲存於檔案伺服器上之經編碼視訊資料的組合。經編碼視訊資料自儲存器件32之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設置。該等技術可適用於支援多種多媒體應用中之任一者的視訊寫碼，該等應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、編碼數位視訊以用於儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話的應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20、囊封模組21及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如以下各者之源：視訊捕獲器件(例如，視訊攝影機)、含有先前捕獲之視訊的視訊存檔、用以自視訊內容提供者接收視訊之視訊饋入介面，及/或用於產生電腦圖形資料作為源視訊之電腦圖形系統，或此等源之組合。作為一實例，若視訊源18為視訊攝影機，則源器件12及目的器件14可形成所謂之攝影機電話或視訊電話。然而，本發明中所描述之技術可大體上適用於視訊寫碼，且可適用於無線及/或有線應用。
可由視訊編碼器20來編碼所捕獲、預捕獲或電腦產生之視訊。經編碼視訊資料可經由源器件12之輸出介面22直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件32上以供稍後由目的地器件14或其他器件存取以用於解碼及/或播放。
囊封模組21可自視訊編碼器20接收經編碼視訊內容且根據本文中所描述之技術產生視訊檔案。在一個實例中，囊封模組21可接收MVC或3VC寫碼之視訊內容，且使用基於ISOBMFF及AVCFF之當前 版本的檔案格式產生視訊檔案。圖3展示包括視訊編碼器20之源器件12。然而，在一些實例中，源器件12可不包括任何視訊編碼器，而是包括囊封經編碼視訊資料之囊封模組21。在一些實例中，經編碼視訊資料可儲存於遠端儲存位置(諸如，儲存器件32)中。如本文中所描述，囊封模組21可為視訊寫碼器件。
目的地器件14包括輸入介面28、解囊封模組29、視訊解碼器30及顯示器件31。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16進行傳達或在儲存器件32上所提供之經編碼視訊資料可包括由視訊編碼器20產生以供諸如視訊解碼器30之視訊解碼器使用於解碼視訊資料的多種語法元素。此等語法元素可與傳輸於通信媒體上、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料內包括在一起。
解囊封模組29可經組態以接收視訊檔案且剖析視訊檔案，且將解囊封之位元串流饋入至視訊解碼器30以使得視訊解碼器30可輸出經解碼視訊資料。在一些實例中，解囊封模組29可執行囊封模組21之互反程序。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20描述之編碼遍次大體上互反的解碼遍次。在一些實例中，解囊封模組29包括於視訊解碼器30中。在此文件之剩餘部分中，視訊解碼器30剖析檔案可指解囊封模組(諸如，包括於視訊解碼器30中之解囊封模組29)剖析檔案。如本文中所描述，囊封模組21可為視訊寫碼器件。
顯示器件31可與目的地器件14整合或在目的地器件14之外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件31向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光 二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如進階視訊寫碼標準或目前在開發中之高效率視訊寫碼(HEVC)標準及擴展之視訊壓縮標準操作，且可遵照HEVC測試模型(HM)。詳言之，視訊編碼器20及視訊解碼器30可根據基於AVC之多視圖加深度寫碼(MVC+D)而操作，且基於AVC之3D視訊(3D-AVC)寫碼標準當前正由JCT-3V開發中，如上文所概括。替代性地或額外地，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ITU-T H.264標準，或者被稱作MPEG-4第10部分)或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263以及諸如VP8之開放格式。
在一些態樣下，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。在該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可作為組合式編碼器/解碼器(編碼解碼器CODEC)之部分而整合於各別器件中。
JCT-VC正致力於開發HEVC標準之擴展。HEVC標準化努力係基 於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM假設視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。
本文中在HEVC之內容脈絡中描述視訊寫碼之一些細節。然而，技術可適用於ITU-T H.264/AVC，且更特定言之，適用於與ISO基礎媒體檔案格式(ISOBMFF)相一致的紋理視圖及/或深度視圖寫碼。
HM之工作模型描述可將視訊圖框或圖像劃分成包括明度及色度樣本兩者之巨集區塊、樹型區塊或最大寫碼單元(LCU)的序列。樹型區塊可用於與H.264標準之巨集區塊類似的一些用途，但樹型區塊具有相對於巨集區塊之許多差異。
圖4為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可編製基於ISO基礎媒體檔案格式之包括多視圖視訊資料的媒體檔案，諸如，圖1之具有深度的多視圖媒體檔案142。視訊編碼器20可執行視訊圖塊內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間的壓縮模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間的壓縮模式中之任一者。
在圖4之實例中，視訊編碼器20包括分割單元35、預測處理單元41、濾波器單元63、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵寫碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測單元46。針對視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。濾波器單元63通常可表示一或多個迴路濾波器，諸如解區塊濾波器、自適應性迴路濾波器(ALF)及樣本自適應性偏移(SAO)濾波器。儘管濾波器單 元63在圖4中被展示為迴路內濾波器，但在其他組態中，濾波器單元63可實施為迴路後濾波器，在該狀況下未經濾波資料可用於寫碼迴路中。
如圖4中所示，視訊編碼器20接收視訊資料，且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成圖塊、影像塊或其他較大單元，以及(例如)根據巨集區塊及巨集區塊分割區或可能根據LCU及CU之四分樹結構進行視訊區塊分割。視訊編碼器20大體上說明編碼在待編碼之視訊圖塊內之視訊區塊的組件。圖塊可劃分成多個視訊區塊(且可能劃分成被稱作影像塊之視訊區塊的集合)。預測處理單元41可基於錯誤結果(例如，寫碼率及失真之程度)選擇當前視訊區塊之複數個可能寫碼模式中之一者，諸如，複數個框內寫碼模式中的一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內寫碼或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，且將所得經框內寫碼或經框間寫碼區塊提供至求和器62以重建構經編碼區塊從而用作參考圖像。
預測處理單元41內之框內預測單元46可執行相對於在與待寫碼之當前區塊相同的圖框或圖塊中之一或多個相鄰區塊的對當前視訊區塊之框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行相對於一或多個參考圖像中之一或多個預測性區塊的對當前視訊區塊之框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣判定視訊圖塊之框間預測模式。預定型樣可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但為了概念目的而分別說明。由運動估計單元42執行之運動估計為產生估計視訊區塊之運動的運動向量之程序。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU(或巨集區塊分割區或 子區塊)相對於參考圖像內之預測性區塊的移位。
預測性區塊為被發現在像素差方面密切匹配待寫碼之視訊區塊的PU(或巨集區塊分割區或子區塊)之區塊，像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋，且輸出具有分數像素精度之運動向量。
運動估計單元42藉由比較經框間寫碼圖塊中之視訊區塊的PU(或巨集區塊分割區或子區塊)之位置與參考圖像之預測性區塊的位置而計算PU(或巨集區塊分割區或子區塊)之運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵寫碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行至子像素精度之內插)判定之運動向量獲取或產生預測性區塊。在接收到當前視訊區塊之PU(或巨集區塊分割區或子區塊)的運動向量時，運動補償單元44可在參考圖像清單中之一者中探尋運動向量所指向之預測性區塊。視訊編碼器20藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
作為由運動估計單元42及運動補償單元44執行之框間預測(如上 文所描述)的替代，框內預測單元46可框內預測當前區塊。詳言之，框內預測單元46可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自經測試模式選擇適當框內預測模式來使用。舉例而言，框內預測單元46可針對各種經測試框內預測模式使用位元率-失真分析來計算位元率-失真值，且在經測試模式當中選擇具有最佳位元率-失真特性的框內預測模式。位元率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測單元46可根據各種經編碼區塊之失真及位元率計算比率以判定哪一框內預測模式展現出區塊之最佳位元率-失真值。
在任何狀況下，在選擇區塊之框內預測模式之後，框內預測單元46可將指示區塊之選定框內預測模式的資訊提供至熵寫碼單元56。熵寫碼單元56可根據本發明之技術編碼指示選定框內預測模式的資訊。視訊編碼器20可在所傳輸位元串流中包括組態資料，該組態資料可包括：複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦稱作碼字映射表)、各種區塊之編碼上下文的定義，及用於上下文中之每一者的最有可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。
在預測處理單元41經由框間預測抑或框內預測產生當前視訊區塊的預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似的變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域，諸如，頻域。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54對變換係數進行量化以進一步減小位元速率。量化程序可減少與係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化之程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。或者，熵寫碼單元56可執行掃描。
在量化之後，熵寫碼單元56熵編碼經量化變換係數。舉例而言，熵寫碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵寫碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30或加以封存以供稍後傳輸或由視訊解碼器30擷取。熵寫碼單元56亦可對正被寫碼之當前視訊圖塊的運動向量及其他語法元素進行熵編碼。
反量化單元58及反變換單元60分別應用反量化及反變換，以在像素域中重建構殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊與參考圖像清單中之一者內的參考圖像中之一者之預測性區塊相加來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算次整數像素值，以供在運動估計中使用。求和器62將經重建構殘餘區塊與由運動補償單元44產生之經運動補償預測區塊相加以產生參考區塊，以供儲存於參考圖像記憶體64中。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。
圖4之視訊編碼器20表示經組態以實施本文中所描述之技術中的一或多者之視訊編碼器之實例。舉例而言，視訊編碼器20之囊封模組21可自含有多個經寫碼視圖之視訊串流編製媒體檔案格式。舉例而言，囊封模組21可編製包括視圖識別符邏輯框(諸如，圖1之視圖識別 符邏輯框172)的媒體檔案，該視圖識別符邏輯框指示對於包括於軌跡中之視圖中的每一者而言，紋理及/或深度在軌跡中及在串流中的存在。囊封模組21可在樣本輸入項或多視圖群組輸入項中包括視圖識別符邏輯框172。在另一實例中，囊封模組21可編製媒體檔案，以使得視圖識別符邏輯框172指示如何需要參考視圖之紋理視圖及深度視圖以用於解碼特定視圖：是僅需要紋理視圖，僅需要深度視圖，還是需要兩者。如圖4中所示，囊封模組21為視訊編碼器20之部分。然而，在其他實例中，囊封模組21與視訊編碼器20分離。
此外，視訊編碼器20可支援將特定視圖之紋理視圖及深度視圖儲存在分開的軌跡中。在一些實例中，視訊編碼器20經組態以使用及解譯一或多個新類型之軌跡參考。舉例而言，視訊編碼器20可利用具有類型值「deps」之新軌跡參考類型，該類型值的存在可指示當前軌跡含有與所參考軌跡中的紋理視圖相關聯之深度視圖。在替代實例中，視訊編碼器20可利用具有類型值「tref」的另一新軌跡參考類型，該類型值在軌跡中的存在指示當前軌跡取決於儲存於所參考軌跡中的紋理視圖。在另一替代實例中，(例如)用類型值「dref」來定義新類型的軌跡參考，該類型值在軌跡中的存在指示當前軌跡取決於儲存於所參考軌跡中的深度視圖。
視訊編碼器20可支援深度視圖之空間解析度的發信。舉例而言，視訊編碼器20可在新定義之3VC深度解析度邏輯框中將深度視圖之空間解析度發信，該新定義之3VC深度解析度邏輯框可包括於3VC組態邏輯框中。在一些實例中，3VC組態邏輯框包括3VC解碼器組態紀錄，且可包括於樣本輸入項中(且必須包括於類型「3vc1」或「3vc2」之樣本輸入項中)。在一些實例中，將3VCDepthResolutionBox直接添加至樣本輸入項中。在另一替代實例中，視訊編碼器20直接在3VC解碼器組態紀錄中將深度視圖的寬度及 高度發信。舉例而言，視訊編碼器20可編製媒體檔案，諸如圖1之具有深度的多視圖媒體檔案142，且將3VC深度解析度邏輯框(諸如，3VC深度解析度邏輯框170)添加至樣本輸入項中。在另一替代實例中，視訊編碼器20可直接在3VC解碼器組態紀錄中將深度視圖的寬度及高度發信，3VC解碼器組態紀錄可包括於3VC組態邏輯框168中。
對於僅具有深度NAL單元的3VC軌跡，視訊編碼器20亦可使用新定義之樣本輸入項類型「3vc1」及「3vc2」，其中提取器分別為不允許的及允許的。視訊編碼器20可在經編碼媒體檔案中進一步包括3VC可調性資訊SEI訊息邏輯框以含有在MVC+D編碼解碼器規範中定義的3DVC可調性資訊SEI訊息。
在另一替代實例中，視訊編碼器20在經編製媒體檔案中包括共同屬性及/或區別屬性，該共同屬性及/或區別屬性指示在多視圖群組邏輯框(諸如，多視圖群組邏輯框174)中所指示的3VC操作點是否存在，在多視圖群組邏輯框中所指示的操作點是3VC還是MVC，或在多視圖群組邏輯框中所指示的輸出視圖僅含有紋理，僅含有深度還是含有兩者。
視訊編碼器20可經組態以使用本文中所描述之技術中的一或多者以指示包括於軌跡中之視圖是由紋理視圖組成，由深度視圖組成，還是由紋理視圖及深度視圖兩者組成；指示視圖相依性；將深度視圖的空間解析度發信而不需要剖析SPS；及改良含有具有深度的多個經寫碼視圖之視訊串流之儲存的效率及靈活性。
再次參看圖3，囊封模組21可自視訊編碼器20接收經編碼視訊內容且根據本文中所描述之技術產生視訊檔案。在一個實例中，囊封模組21接收AVC或HEVC寫碼的視訊內容，且使用基於ISOBMFF及分別的AVCFF或HEVCFF之當前版本的檔案格式產生視訊檔案。
圖5為說明可實施本發明之技術的實例視訊解碼器30及解囊封模 組29之方塊圖。解囊封模組29可剖析基於ISO基礎媒體檔案格式之包括多視圖視訊資料的媒體檔案，諸如，圖1之具有深度的多視圖媒體檔案142。解囊封模組29可將經剖析媒體檔案提供至視訊解碼器30。
在圖5之實例中，視訊解碼器30包括熵寫碼單元80、預測處理單元81、反量化單元86、反變換單元88、求和器90、濾波器單元91及參考圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測單元84。在一些實例中，視訊解碼器30可執行與關於來自圖3之視訊編碼器20描述之編碼遍次大體上互反的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯的語法元素之經編碼視訊位元串流。視訊解碼器30可自網路實體29接收經編碼視訊位元串流。舉例而言，網路實體29可為伺服器、媒體感知網路元件(MANE)、視訊編輯器/拼接器，或經組態以實施上文所描述之技術中的一或多者之其他此類器件。如上文所描述，本發明中所描述之技術中的一些可在網路29將經編碼視訊位元串流傳輸至視訊解碼器30之前由網路實體29實施。在一些視訊解碼系統中，網路實體29及視訊解碼器30可為單獨器件之部分，而在其他情況下，關於網路實體29所描述之功能性可由包含視訊解碼器30的相同器件來執行。
視訊解碼器30之熵寫碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵寫碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可接收在視訊圖塊層級及/或視訊區塊層級處之語法元素。
在視訊圖塊經寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測單元84可基於所發信之框內預測模式及來自當前圖框或圖像的先前經解碼區塊之資料而產生當前視訊圖塊之視訊區塊的預測資料。在視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，預 測處理單元81之運動補償單元82基於自熵寫碼單元80接收之運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體92中之參考圖像、使用預設建構技術來建構參考圖框清單，清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊來產生正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收之語法元素中之一些來判定用以寫碼視訊圖塊的視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者的建構資訊、圖塊之每一經框間編碼視訊區塊的運動向量、圖塊之每一經框間寫碼視訊區塊的框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元82亦可基於內插濾波器執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用之內插濾波器來計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元82可根據所接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
反量化單元86對位元串流中所提供且由熵寫碼單元80解碼之經量化變換係數進行反量化，亦即進行解量化。反量化程序可包括使用由視訊編碼器20針對視訊圖塊中之每一視訊區塊所計算的量化參數判定量化之程度，且同樣地判定應該應用之反量化之程度。反變換單元88將反變換(例如，反DCT、反整數變換或概念上類似的反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素產生當前視訊 區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和來形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。在需要時，迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91可表示一或多個迴路濾波器，諸如解區塊濾波器、自適應性迴路濾波器(ALF)及樣本自適應性偏移(SAO)濾波器。儘管濾波器單元91在圖5中被展示為在迴路濾波器中，但在其他組態中，濾波器單元91可實施為迴路後濾波器。給定圖框或圖像中之經解碼視訊區塊接著儲存於參考圖像記憶體92中，參考圖像記憶體92儲存用於後續運動補償之參考圖像。參考圖像記憶體92亦儲存經解碼視訊，以供稍後呈現於諸如圖1之顯示器件31之顯示器件上。
圖5之視訊解碼器30表示視訊解碼器之實例，該視訊解碼器可與經組態以實施本文中所描述之技術中的一或多者之解囊封模組29一起使用。舉例而言，解囊封模組29可剖析包括含有多個經寫碼視圖之所儲存視訊串流之媒體檔案，且將該媒體檔案提供至視訊解碼器30。舉例而言，解囊封模組29可剖析包括視圖識別符邏輯框(諸如，圖1之視圖識別符邏輯框172)的媒體檔案，該視圖識別符邏輯框指示對於包括於軌跡中之視圖中的每一者而言，紋理及/或深度在軌跡中及在串流中的存在。解囊封模組29可自樣本輸入項或多視圖群組輸入項解碼視圖識別符邏輯框172。在另一實例中，視訊解碼器30剖析媒體檔案中之視圖識別符邏輯框172以判定是否需要參考視圖之紋理視圖及深度視圖以用於解碼特定視圖。亦即，解囊封模組29可判定是僅需要紋理視圖，僅需要深度視圖，還是需要兩者。
此外，解囊封模組29可剖析媒體檔案，該媒體檔案在分開的軌跡中含有特定視圖的紋理視圖及深度視圖。在一些實例中，解囊封模 組29經組態以剖析及解譯一或多個新類型之軌跡參考。舉例而言，解囊封模組29剖析具有類型值「deps」之新軌跡參考類型，該類型值的存在指示當前軌跡含有與所參考軌跡中的紋理視圖相關聯之深度視圖。在替代實例中，解囊封模組29剖析具有類型值「tref」的另一新軌跡參考類型，該類型值在軌跡中的存在指示當前軌跡取決於儲存於所參考軌跡中的紋理視圖。在另一替代實例中，解囊封模組29剖析具有類型值「dref」的新類型的軌跡參考，在軌跡中該類型值的存在指示當前軌跡取決於儲存於所參考軌跡中的深度視圖。
解囊封模組29可根據剖析根據本文中所描述之技術編製的媒體檔案來判定深度視圖之空間解析度。舉例而言，解囊封模組29可自新定義之3VC深度解析度邏輯框判定深度視圖之空間解析度，該新定義之3VC深度解析度邏輯框可包括於3VC組態邏輯框中。在另一替代實例中，解囊封模組29直接自3VC解碼器組態紀錄判定深度視圖的寬度及高度。舉例而言，解囊封模組29可剖析媒體檔案(諸如，圖1之具有深度的多視圖媒體檔案142)之3VC解碼器組態紀錄，以判定與媒體檔案相關聯之深度視圖的寬度及高度。
解囊封模組29亦可對於僅具有深度NAL單元的3VC軌跡剖析新定義之樣本輸入項類型「3vc1」及「3vc2」。解囊封模組29可進一步自經編碼媒體檔案解碼3VC可調性資訊SEI訊息邏輯框以存取在MVC+D編碼解碼器規範中定義的3DVC可調性資訊SEI訊息。
在另一替代實例中，解囊封模組29自媒體檔案剖析共同屬性及/或區別屬性，以判定在多視圖群組邏輯框(諸如，多視圖群組邏輯框174)中所指示的3VC操作點是否存在，在多視圖群組邏輯框174中所指示的操作點是3VC還是MVC，或在多視圖群組邏輯框174中所指示的輸出視圖僅含有紋理，僅含有深度還是含有兩者。
解囊封模組29可經組態以使用本文中所描述之技術中的一或多 者以判定包括於軌跡中之視圖是由紋理視圖組成，由深度視圖組成還是由紋理視圖及深度視圖兩者組成；判定視圖相依性；判定深度視圖的空間解析度而不需要剖析SPS；及改良含有具有深度的多個經寫碼視圖之視訊串流之儲存的效率及靈活性。
圖6為說明實例囊封模組21之組件的方塊圖。在圖6之實例中，囊封模組21包括視訊輸入介面70、視訊檔案建立模組72及視訊檔案輸出介面76。在此實例中，視訊檔案建立模組70包括網路抽象層(NAL)單元建構器74。
視訊輸入介面70可接收經寫碼視訊內容。視訊輸入介面70可自視訊編碼器20接收經寫碼視訊內容，或可自儲存器件擷取經編碼視訊內容。經寫碼視訊內容可根據AVC或HEVC標準來寫碼，且可包括視訊內容、參數集及SEI訊息之樣本。在接收到經編碼視訊內容時，視訊輸入介面70可將經寫碼視訊內容輸出至視訊檔案建立模組72以用於組譯至媒體檔案中。在一些例子中，視訊輸入介面70可藉由在將經寫碼視訊內容輸出至視訊檔案建立模組72之前組織或緩衝經寫碼視訊內容來促進媒體檔案之組譯。
一般而言，視訊檔案建立模組72可產生包括所接收到之經寫碼視訊內容的視訊檔案。在一個實例中，視訊檔案建立模組72可建立視訊檔案，諸如關於圖1所描述之具有深度的多視圖媒體檔案142。視訊檔案建立模組72可對應於一控制單元，該控制單元包括經組態以執行歸因於其之功能及程序的硬體、軟體及/或韌體。該控制單元可進一步執行大體上歸因於囊封模組21之功能。對於視訊檔案建立模組72係體現於軟體及/或韌體中之實例而言，囊封模組21可包括一包含用於視訊檔案建立模組72之指令的電腦可讀媒體及用以執行該等指令的處理單元。視訊檔案建立模組72之子模組(在此實例中為NAL單元建構器74)可被實施為個別硬體模組及/或軟體模組，且可在功能上整合或 進一步分成額外子模組。視訊檔案建立模組72可對應於任何合適處理單元或處理電路，諸如一或多個微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、數位信號處理器(DSP)或其任何組合。視訊檔案建立模組72可進一步包括儲存用於NAL單元建構器74之指令的非暫時性電腦可讀媒體，以及用於執行指令之處理器。
在一個實例中，視訊檔案建立模組72可經組態以根據檔案格式輸出經編碼視訊資料，該檔案格式可儲存含有具有深度的多個經寫碼視圖之視訊串流，其中可在檔案中將深度視圖之性質及關係發信。
視訊檔案建立模組72可經組態以實施本發明中所描述之技術。舉例而言，視訊檔案建立模組72可編製具有語法元素Compressorname之新值之媒體檔案。如在基礎類別VisualSampleEntry中所定義的Compressorname可指示與值「\0123VC Coding」一起使用之壓縮器的名稱，該值「\0123VC Coding」經推薦以用於含有3DV(諸如MVC+D)視訊串流之檔案。可進一步根據AVCFF或HEVCFF來定義語法元素Compressorname。
除了上文所描述之實例語法及語義之外，由視訊檔案建立模組72使用之檔案格式可包括關於3VC解碼器組態紀錄之額外約束。根據本文中所描述之技術，語法元素MVCDecoderConfigurationRecord可在結構上等同於語法元素AVCDecoderConfigurationRecord。然而，重定義了在lengthSizeMinusOne欄位之前及之後的一或多個保留位元。實例語法如下：
在一些實例中，3VCDecoderConfigurationRecord之語法結構可與MVCDecoderConfigurationRecord完全相同。當AVC解碼器組態紀錄(如ISO/IEC 14496-15之條款5.3.3.1中所定義)被用於可解譯為3VC串流之串流時，AVC解碼器組態紀錄可反映AVC相容基礎視圖的性質。舉例而言，AVC解碼器組態紀錄可僅含有用於解碼AVC基礎視圖之參數集。
當MVC解碼器組態紀錄(如ISO/IEC 14496-15中所定義)被用於可解譯為MVC或3VC串流之串流時，MVC解碼器組態紀錄應反映MVC相容位元串流子集的性質。亦即，例如，MVC解碼器組態紀錄可僅含有用於解碼MVC相容位元串流子集之參數集。舉例而言，MVC相 容子集可為僅具有紋理視圖之位元串流子集。
參數集串流可與3VC串流一起使用，如同AVC或MVC串流。在此實例中，參數集應不包括於解碼器組態紀錄中。包括子集序列參數集之序列參數集(SPS)可分別按儲存次序自1至numOfSequenceParameterSets或numOfPictureParameterSets來編號。可藉由InitialParameterSetBox使用此基於1的索引來參考儲存於檔案中之此紀錄中之SPS及圖像參數集(PPS)。
欄位AVCProfileIndication、profile_compatibility及AVCLevelIndication之語義可如下不同於MVCDecoderConfigurationRecord。AVCProfileIndication、profile_compatibility及AVCLevelIndication(若非零)必須具有值以使得相符的3VC解碼器能夠解碼遵照在含於此紀錄中之SPS或子集SPS中之任一者中所指示的設定檔、層級及設定檔相容性旗標的位元串流。
其他欄位之語義可為如下，或若不存在，則如針對MVCDecoderConfigurationRecord所定義：numOfSequenceParameterSets指示用於解碼3VC基本串流之SPS及子集SPS的數目。語法元素SequenceParameterSetNALUnit可含有如ISO/IEC 14496-10附錄I中所指定的SPS或子集SPS NAL單元。SPS應按參數集識別符遞升的次序出現，其中間隙是允許的。子集SPS應按參數集識別符遞升的次序出現，其中間隙是允許的。任何SPS應在所有子集SPS(若有的話)之前出現。
視訊檔案建立模組72亦可產生用於具有AVC、MVC及深度NAL單元的3VC軌跡之媒體檔案。兩個樣本輸入項類型被定義為「3vc1」及「3vc2」。如下提供用於MVC及3VC之樣本輸入項的實例定義。樣本輸入項類型「avc1」、「avc2」、「mvc1」、「mvc2」、「3vc1」及「3vc2」可含於樣本表邏輯框(「stbl」)(諸如，圖1之樣本表邏輯框 162)內。在一些實例中，在媒體檔案(諸如，具有深度的多視圖媒體檔案142)中具有avc1、avc2、mvc1、mvc2、3vc1及3vc2樣本輸入項類型中之一者係強制性的。在一些實例中，一或多個樣本輸入項可存在於具有深度的多視圖媒體檔案142中。
視訊檔案建立模組72可包括AVC組態邏輯框、MVC組態邏輯框及3VC組態邏輯框中之一者。當存在時，AVC組態邏輯框可記錄如由AVCDecoderConfigurationRecord所定義的與AVC相容基礎視圖有關的設定檔、層級及參數集資訊。當存在時，MVC組態邏輯框可記錄如由MVCDecoderConfigurationRecord所定義的與整個MVC串流有關的設定檔、層級及參數集資訊。當存在時，3VC組態邏輯框(諸如，圖1之3VC組態邏輯框168)可記錄如由儲存於3VC組態邏輯框168中之3VCDecoderConfigurationRecord所定義的與整個3VC串流有關之設定檔、層級及參數集資訊。
對於AVC樣本輸入項「avc1」及「avc2」，樣本輸入項中之寬度及高度欄位可記錄AVC基礎層。對於MVC樣本輸入項「mvc1」及「mvc2」以及3VC樣本輸入項「3vc1」及「3vc2」，包括於樣本輸入項中之寬度及高度可記錄藉由解碼整個MVC或3VC串流之任何單一紋理視圖而達成的解析度。對於3VC樣本輸入項，在3VC深度解析度邏輯框170中之depth_width及depth_height可記錄藉由解碼整個3VC串流之任何單一深度視圖而達成的解析度。
在一些實例中，在任何給定樣本輸入項中的AVC、MVC及3VC組態中之lengthSizeMinusOne欄位應具有相同值。
優先權指派統一資源識別符(URI)提供用以指派priority_id值之方法的名稱(在URI空間中)。當priority_id出現於AVC、MVC或3VC樣本輸入項中時，應正好存在一個URI，其記錄整個AVC、MVC或3VC串流中之priority_id指派。URI在此處僅被當作一名稱；其應為可取值 的(de-referenceable)，但這並不是所要求的。檔案讀取器可能夠辨識一些方法，且藉此知曉哪些基於priority_id的串流提取操作將起作用。
如ISO/IEC 14496-15章節6.5.3.1.1中所記錄的對於樣本輸入項類型「avc1」及「avc2」的一些要求在此處亦可適用。
當存在於AVC、MVC或3VC樣本輸入項中時，ViewScalabilityInfoSEIBox、ViewIdentifierBox(諸如，視圖識別符邏輯框172)、IntrinsicCameraParametersBox、ExtrinsicCameraParametersBox、3VCScalabilityInformationSEIBox(諸如，3VC可調性資訊SEI邏輯框166)、MPEG4BitRateBox及MPEG4ExtensionDescriptorsBox適用於整個AVC、MVC或3VC串流。可包括於樣本輸入項「3vc1」及「3vc2」中之一者或兩者中的實例邏輯框類型包括內在攝影機參數邏輯框(「icam」)、外在攝影機參數邏輯框(「ecam」)及視圖識別符邏輯框(「vwid」)。
對於MVC串流，在基礎類別VisualSampleEntry中之Compressorname指示與值「\012MVC Coding」(\012為10，字串「MVC coding」之以位元組為單位的長度)一起使用之壓縮器的名稱。類似地，對於3VC串流，在基礎類別VisualSampleEntry中之Compressorname指示與值「\0123VC Coding」(\012為10，字串「3VC coding」之以位元組為單位的長度)一起使用之壓縮器的名稱。
在一些實例中，直接抑或藉由來自提取器的參考而解碼存在於視訊串流之樣本資料中的NAL單元所需要之一或多個參數集應存在於彼視訊串流之解碼器組態中或在相關聯的參數集串流(若使用的話)中。
表2提供用於AVC、MVC及3VC軌跡之樣本輸入項之可能使用的實例。亦即，表2展示當AVC、MVC或3VC基本串流儲存於一或多個 軌跡、組態及亦可使用之MVC工具中時樣本輸入項之可能使用(排除定時後設資料，其總是用於另一軌跡中)。表2包括樣本輸入項之四字元經寫碼邏輯框類型、哪些組態紀錄與樣本輸入項有關的指示及樣本輸入項之意義。
下文提供MVC及3VC樣本輸入項之實例語法結構：class MVCConfigurationBox extends Box('mvcC'){
下文提供用於MVC及3VC樣本輸入項之實例語法元素。語法元 素depth_width及depth_height可分別給出串流中之經寫碼深度視圖分量的寬度及高度之值(以像素為單位)，含有3VCDepthResolutionBox()(諸如，3VC深度解析度邏輯框170)之樣本輸入項適用於該串流。語法元素3vcDepthRes可含有串流中之經寫碼深度視圖分量的寬度及高度，樣本輸入項適用於該串流。當不存在時，可推斷經寫碼深度視圖分量的寬度及高度與經寫碼紋理視圖分量的寬度及高度相同。
語法元素mvcscalinfosei可含有SEI NAL單元，其僅含有如ISO/IEC 14496-10附錄H中所指定的視圖可調性資訊SEI訊息。容器邏輯框ViewScalabilityInformationSEIBox的「大小」欄位應不等於0或1。
另一語法元素3vcscalinfosei可含有SEI NAL單元，其僅含有如ISO/IEC 14496-10附錄I中所指定的3DVC可調性資訊SEI訊息。容器邏輯框3VCScalabilityInformationSEIBox的「大小」欄位應不等於0或1。
對於MVC+D視訊串流，視訊檔案建立模組72亦可編製3VC可調性資訊SEI訊息邏輯框，諸如圖1之3VC可調性資訊SEI訊息邏輯框166。3VC可調性資訊SEI訊息邏輯框166可含有在MVC+D編碼解碼器規範中定義的3DVC可調性資訊SEI訊息。
根據本文中所描述之技術，視訊檔案建立模組72亦可編製視圖識別符邏輯框，諸如圖1之視圖識別符邏輯框172。視訊檔案建立模組72可編製視圖識別符邏輯框172以指示對於包括於軌跡中之每一視圖而言，紋理及深度視圖在軌跡中及在串流中之存在。此外，視訊檔案建立模組72可編製視圖識別符邏輯框172以指示如何需要參考視圖之紋理視圖及深度視圖以用於解碼特定視圖。
視圖識別符邏輯框172之其他細節為如下。用於視圖識別符邏輯 框172之四字元經寫碼邏輯框類型可為「vwid」。視圖識別符邏輯框172可含於任何樣本輸入項(例如，「avc1」、「avc2」、「mvc1」、「mvc2」、「3vc1」及「3vc2」)中或多群組輸入項中。在一些實例中，對於樣本輸入項「mvc1」、「mvc2」、「3vc1」及「3vc2」中之每一者及多視圖群組輸入項中之主要群組定義，必須包括視圖識別符邏輯框恰好一次。在一些實例中，對於多視圖群組輸入項中之非主要群組定義，不包括視圖識別符邏輯框172。
當包括於樣本輸入項中時，視圖識別符邏輯框172指示包括於軌跡中之視圖。當包括於多視圖群組輸入項中時，視圖識別符邏輯框172指示包括於各別階層中之視圖。視圖識別符邏輯框172亦指示用於每一所列出視圖的視圖次序索引。另外，當視圖識別符邏輯框172分別包括於樣本輸入項或多視圖群組輸入項中時，視圖識別符邏輯框172包括在軌跡或階層中所包括的temporal_id之最小及最大值。此外，視圖識別符邏輯框172可指示解碼包括於軌跡或階層中之視圖所需的一或多個所參考視圖。對於3VC串流，視圖識別符邏輯框172可指示對於包括於軌跡中之視圖中的每一者而言，紋理及/或深度在軌跡中及在串流中的存在。
用於視圖識別符邏輯框172之一個實例語法為如下：
如下提供視圖識別符邏輯框172之一些實例語義。當視圖識別符邏輯框172被分別包括於樣本輸入項或多視圖群組輸入項中時，兩個語法元素min_temporal_id及max_temporal_id可分別具有存在於映射至軌跡或階層之NAL單元的NAL單元標頭擴展中的temporal_id語法元素之最小及最大值。對於AVC串流，min_temporal_id及max_temporal_id取在前置NAL單元中的值或將在前置NAL單元中的值。
當視圖識別符邏輯框172存在於樣本輸入項中時，語法元素num_views可指示包括於軌跡中之視圖的數目。當視圖識別符邏輯框172存在於多視圖群組輸入項中時，num_views可指示包括於各別階層中之視圖的數目。
當視圖識別符邏輯框172被分別包括於樣本輸入項或多視圖群組輸入項中時，另一語法元素view_id[i]可指示包括於軌跡或階層中之視圖的NAL單元標頭擴展中之view_id語法元素的值。
當視圖識別符邏輯框172被分別包括於樣本輸入項或多視圖群組輸入項中時，語法元素view_order_index可指示用於包括於軌跡或階層中的視圖之如在ISO/IEC 14496-10附錄H中所指定的次序索引值(VOIdx)變數之值。
引入語法元素texture_in_stream[i]，其中texture_in_stream[i]等於1可指示用於具有view_id[i]之視圖的紋理視圖存在於串流中。值指示用於具有view_id[i]的視圖之紋理視圖可不存在於串流中。
類似地，引入語法元素texture_in_track[i]，其中texture_in_track[i]等於1可指示用於具有view_id[i]之視圖的紋理視圖存在於軌跡中。值可指示用於具有view_id[i]的視圖之紋理視圖不存在於軌跡中。在一些實例中，當texture_in_stream[i]等於0時，texture_in_track[i]之值應等於0。
引入另一語法元素depth_in_stream[i]，其中depth_in_stream[i]等於1可指示用於具有view_id[i]之視圖的深度視圖存在於串流中。值可指示用於具有view_id[i]的視圖之深度視圖不存在於串流中。在一些實例中，當texture_in_stream[i]等於0時，depth_in_stream[i]之值應等於1。
引入語法元素depth_in_track[i]，其中depth_in_track[i]等於1可指示用於具有view_id[i]之視圖的深度視圖存在於軌跡中。值可指示用於具有view_id[i]的視圖之深度視圖不存在於軌跡中。在一些實例中，當depth_in_stream[i]等於0時，depth_in_track[i]之值應等於0。在一些實例中，當texture_in_track[i]等於0時，depth_in_track[i]之值應等於1。
另一語法元素base_view_type可指示視圖是否為基礎視圖(虛擬的或非虛擬的)。語法元素base_view_type可取以下值：0指示視圖既非基礎視圖亦非虛擬基礎視圖；1應被用以標記MVC位元串流之非虛擬基礎視圖；2為保留值且不應被使用(但可在稍後時間使用)；且3指示具有view_id[i]之視圖為虛擬基礎視圖。具有view_id[i]的各別獨立地寫碼之非基礎視圖可駐留於另一軌跡中。當base_view_type等於3時，後續num_ref_views應等於0。
另一語法元素num_ref_views可指示可由具有view_id[i]之視圖直接或間接參考的視圖之數目。
引入另一語法元素dependent_component_idc[i][j]，其可指示如何需要第j個參考視圖之紋理視圖及深度視圖以用於解碼具有view_id[i]之視圖。若值等於0，則可僅需要參考視圖之紋理視圖。若值等於1，則可僅需要參考視圖之深度視圖。若值等於2，則可需要參考視圖之紋理視圖及深度視圖兩者。值3被保留。
另一語法元素ref_view_id[i][j]可指示可由具有view_id[i]之視圖直接或間接參考(亦即，解碼具有view_id[i]之視圖可能需要)的第j個視圖之視圖識別符。若需要視圖以用於解碼具有view_id[i]之視圖，則該視圖可被列為ref_view_id[i][j]中之一者。當視圖識別符邏輯框172被包括於樣本輸入項中時，推薦做法可為其指示用於同一樣本輸入項中之錨定存取單元與非錨定存取單元兩者的所參考視圖。
此外，在一些實例中，視訊檔案建立模組72可在3VC深度解析度邏輯框(諸如，圖1之3VC深度解析度邏輯框170)中提供深度視圖之空間解析度的的顯式指示。3VC深度解析度邏輯框170可包括於3VC組態邏輯框(諸如圖1之3VC組態邏輯框168)中。在一些實例中，3VC組態邏輯框168必須包括3VC解碼器組態紀錄，且可包括於樣本輸入項中，但必須包括於類型「3vc1」或「3vc2」之樣本輸入項中。
在一些態樣中，視訊檔案建立模組72進一步編製視訊檔案，其中紋理視圖及深度視圖儲存於分開的軌跡中。MVC或3VC串流可由檔案中之一或多個視訊軌跡(諸如，圖1之視訊資料串流146)來表示。每一軌跡可表示串流之一或多個視圖。對於儲存3VC視訊串流之檔案(諸如，具有深度的多視圖媒體檔案142)中的軌跡，軌跡可僅含有紋理，僅含有深度或含有紋理及深度兩者。
在一些實例中，可存在一或多個軌跡之最小集合，該等軌跡當被一併考慮時含有經編碼資訊之完整集合。所有此等軌跡可在其所有樣本輸入項中設定有旗標「complete_representation」。形成完整經編碼資訊之軌跡的群組可被稱作「完整子集」。設定有旗標「complete_representation」且含有具有等於0之temporal_id的基礎視圖之NAL單元的軌跡可被命名為「基礎視圖軌跡」。為同一串流之部分的所有其他軌跡可藉由類型「sbas」(視圖基礎)之軌跡參考而連結至此基礎視圖軌跡。當保持包括於「完整子集」中之軌跡時，可保持完整經編碼資訊；所有其他軌跡應為完整子集之子集、複本或重排序。
共用相同基礎視圖軌跡之所有軌跡亦可共用相同時間標度。對於3VC串流之一些實例，含有特定視圖之紋理視圖及深度視圖的所有軌跡共用相同時間標度。特定視圖之紋理視圖及深度視圖可具有view_id之相同值(因此亦具有視圖次序索引之相同值)且可被稱作彼此相關聯。
若由軌跡表示之視圖將由另一軌跡表示之另一視圖用作為視圖間預測參考，則類型「scal」之軌跡參考應被包括於參考用於視圖間預測之源軌跡的軌跡中。
在針對3VC串流之一些實例中，若深度視圖儲存於不同於含有與該深度視圖相關聯之紋理視圖的軌跡之軌跡中，則將類型「deps」之 軌跡參考包括於含有深度視圖之軌跡中，該軌跡參考含有紋理視圖的軌跡。軌跡參考「deps」的存在指示當前軌跡含有與所參考軌跡中的紋理視圖相關聯的深度視圖。
在一些實例中，在視訊檔案建立單元72產生視訊檔案之後，視訊檔案建立單元72將視訊檔案傳遞至視訊檔案輸出介面76。視訊檔案輸出介面76將視訊檔案輸出(例如)至源器件20之輸出介面22。在一些實例中，視訊檔案輸出介面76將視訊檔案輸出至源器件20之儲存媒體或儲存器件32。
圖7為說明可實施本發明中所描述之技術的形成網路100之部分之實例器件集合之方塊圖。在此實例中，網路100包括路由器件104A、104B(路由器件104)及轉碼器件106。路由器件104及轉碼器件106意欲表示可形成網路100之部分之少量器件。諸如交換器、集線器、閘道器、防火牆、橋接器及其他此等器件之其他網路器件亦可包括於網路100內。此外，可沿著伺服器器件102與用戶端器件108之間的網路路徑設置額外網路器件。任何此等器件可包含可實施本文中所描述之一或多個技術之編碼器或解碼器。此外，網路器件可包含不一定包括完全編碼或解碼能力之MANE，且MANE亦可實施本文中所描述之一或多個技術。在一些實例中，伺服器器件102可對應於圖3之源器件12，而用戶端器件108可對應於圖3之目的地器件14。
一般而言，路由器件104實施一或多個路由協定以經由網路100交換網路資料。在一些實例中，路由器件104可經組態以執行代理或快取操作。因此，在一些實例中，路由器件104可被稱作代理器件。一般而言，路由器件104執行路由協定以發現經由網路100之路由。藉由執行此等路由協定，路由器件104B可發現自其自身經由路由器件104A至伺服器器件102之網路路由。
經由網路100，伺服器器件102可將根據本文中所描述之技術編 製的一或多個媒體檔案提供給用戶端器件108。在其他實例中，用戶端器件108經由網路100將根據本文中所描述之技術編製的一或多個媒體檔案提供給伺服器器件102。
圖8為說明根據本發明中所描述之技術的剖析含有多視圖視訊內容之媒體檔案之實例方法的流程圖。圖8中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件可包括本文中所描述之目的地器件20及解囊封模組29之任何組合。視訊寫碼器件可剖析視訊資料之軌跡，其中該軌跡包括一或多個視圖(200)。舉例而言，解囊封模組29可自源器件12獲得含有多個經寫碼視圖加深度的媒體檔案，諸如具有深度的多視圖媒體檔案142。視訊寫碼器件可剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者(202)。舉例而言，解囊封模組29可剖析來自具有深度的多視圖媒體檔案142的資訊以判定包括於具有深度的多視圖媒體檔案142中的軌跡中之至少一者是含有紋理視圖，含有深度視圖，還是含有紋理視圖及深度視圖兩者。
在一些實例中，剖析資訊進一步包含自樣本輸入項及多視圖群組輸入項中之至少一者剖析視圖識別符邏輯框，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。舉例而言，解囊封模組29可剖析來自視圖識別符邏輯框172的資訊以判定對於包括於軌跡中之每一視圖而言，該視圖是紋理視圖還是深度視圖。解囊封模組29可剖析視圖識別符邏輯框172以進一步判定是需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之特定視圖。
解囊封模組29可基於第一視訊資料剖析視訊資料的另一第二集合，且進一步剖析資訊以判定使用第一視訊資料之第一紋理視圖、第一深度視圖還是第一紋理視圖及第一深度視圖兩者來解碼第二視訊資料。
在另一實例中，程序包括剖析補充增強資訊(SEI)訊息邏輯框以判定與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。亦即，解囊封模組29可剖析SEI訊息邏輯框(諸如，3VC可調性資訊SEI訊息邏輯框166)以自視圖中之一或多者的SEI訊息獲得資訊。
在軌跡含有一或多個深度視圖之實例中，程序可進一步包括剖析3VC深度解析度邏輯框以判定一或多個深度視圖的空間解析度。舉例而言，解囊封模組29剖析3VC深度解析度邏輯框170以判定包括於具有深度的多視圖媒體檔案142中的深度視圖之空間解析度。在一些實例中，解囊封模組29自3VC組態邏輯框168剖析3VC深度解析度邏輯框170。在其他實例中，解囊封模組29直接自樣本輸入項剖析3VC深度解析度邏輯框170。解囊封模組29亦可剖析3VC解碼器組態紀錄3VCDecoderConfigurationRecord，該3VC解碼器組態紀錄包括指示與3DV視訊串流(諸如，MVC+D視訊串流)有關的特性之語義。程序亦可包括剖析三維視訊寫碼(3VC)解碼器組態紀錄以判定包括於軌跡中之深度視圖的寬度及高度。
在一些實例中，軌跡為第一軌跡，其中第一軌跡包括視圖之深度視圖及視圖之紋理視圖中的一者，且程序進一步包括剖析視訊資料之第二軌跡，其中第二軌跡包括視圖之深度視圖及視圖之紋理視圖中的不包括於第一軌跡中的一者。程序可進一步包括剖析參考第二軌跡之用於第一軌跡的軌跡參考，其中軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：第一軌跡包括與儲存於第二軌跡中之紋理視圖相關聯的深度視圖(例如，軌跡參考類型為「deps」)，第一軌跡取決於儲存於第二軌跡中之紋理視圖(例如，軌跡參考類型為「tref」)，及第一軌跡取決於儲存於第二軌跡中之深度視圖(例如，軌跡參考類型為「dref」)。
在軌跡為三維視訊寫碼(3VC)軌跡的實例中，程序可進一步包括 剖析3VC解碼器組態紀錄，其中3VC解碼器組態紀錄指示用於視訊資料之匹配樣本輸入項的組態紀錄。在軌跡為包括一或多個深度網路抽象層(NAL)單元的3VC軌跡之另一實例中，程序包括剖析允許提取器的樣本輸入項類型「3vc1」及不允許提取器的樣本輸入項類型「3vc2」中之至少一者。在其他實例中，程序可含有本發明中所描述之技術中的一或多者。
圖9為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案以指示紋理及深度視圖之存在的實例方法的流程圖。圖9中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件包括本文中所描述之囊封模組21。視訊寫碼器件可編製視訊資料之軌跡，其中該軌跡包括一或多個視圖(206)。舉例而言，囊封模組21可自視訊編碼器20獲得視訊資料。視訊寫碼器件可編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊(208)。舉例而言，囊封模組21可將資訊編製至具有深度的多視圖媒體檔案142中，以指示包括於具有深度的多視圖媒體檔案142中的軌跡中之至少一者是含有紋理視圖，含有深度視圖，還是含有紋理視圖及深度視圖兩者。根據本文中所描述之技術，囊封模組21可編製含有多個經寫碼視圖加深度的媒體檔案，諸如具有深度的多視圖媒體檔案142。
在一些實例中，編製資訊進一步包含在樣本輸入項及多視圖群組輸入項中之至少一者中編製視圖識別符邏輯框，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。舉例而言，囊封模組21可將資訊編製至視圖識別符邏輯框172中以指示對於包括於軌跡中之每一視圖而言，該視圖是紋理視圖還是深度視圖。囊封模組21可編製視圖識別符邏輯框172以進一步指示是需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之特定視圖。
囊封模組21可基於第一視訊資料編製視訊資料的另一第二集合，且進一步編製資訊以指示可使用第一視訊資料之第一紋理視圖、第一深度視圖還是第一紋理視圖及第一深度視圖兩者來解碼或剖析第二視訊資料。
在另一實例中，程序包括編製補充增強資訊(SEI)訊息邏輯框以指示與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。亦即，囊封模組21可編製SEI訊息邏輯框(諸如，3VC可調性資訊SEI訊息邏輯框166)以在視圖中之一或多者的SEI訊息中提供資訊。
在軌跡含有一或多個深度視圖之實例中，程序可進一步包括編製3VC深度解析度邏輯框以指示一或多個深度視圖的空間解析度。舉例而言，囊封模組21編製3VC深度解析度邏輯框170以指示包括於具有深度的多視圖媒體檔案142中的深度視圖之空間解析度。在一些實例中，囊封模組21編製3VC組態邏輯框168中的3VC深度解析度邏輯框170。在其他實例中，囊封模組21直接在樣本輸入項中編製3VC深度解析度邏輯框170。囊封模組21亦可編製3VC解碼器組態紀錄3VCDecoderConfigurationRecord，該3VC解碼器組態紀錄包括指示與3DV視訊串流(諸如，MVC+D視訊串流)有關的特性之語義。程序亦可包括編製三維視訊寫碼(3VC)解碼器組態紀錄以判定包括於軌跡中之深度視圖的寬度及高度。
在一些實例中，軌跡為第一軌跡，其中第一軌跡包括視圖之深度視圖及視圖之紋理視圖中的一者，且程序進一步包括編製視訊資料之第二軌跡，其中第二軌跡包括視圖之深度視圖及視圖之紋理視圖中的不包括於第一軌跡中的一者。程序可進一步包括編製參考第二軌跡之用於第一軌跡的軌跡參考，其中軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：第一軌跡包括與儲存於第二軌跡中之紋理視圖相關聯的深度視圖(例如，軌跡參考 類型為「deps」)，第一軌跡取決於儲存於第二軌跡中之紋理視圖(例如，軌跡參考類型為「tref」)，及第一軌跡取決於儲存於第二軌跡中之深度視圖(例如，軌跡參考類型為「dref」)。
在軌跡為三維視訊寫碼(3VC)軌跡的實例中，程序可進一步包括編製3VC解碼器組態紀錄，其中3VC解碼器組態紀錄指示用於視訊資料之匹配樣本輸入項的組態紀錄。在軌跡為包括一或多個深度網路抽象層(NAL)單元的3VC軌跡之另一實例中，程序包括編製允許提取器的樣本輸入項類型「3vc1」及不允許提取器的樣本輸入項類型「3vc2」中之至少一者。在其他實例中，程序可含有本發明中所描述之技術中的一或多者。
圖10為說明根據本發明中所描述之技術的剖析指示視圖之相依性的含有多視圖視訊之媒體檔案之實例方法的流程圖。圖10中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件包括本文中所描述之解囊封模組29。視訊寫碼器件可剖析視訊資料之軌跡，其中該軌跡包括一或多個視圖(220)。舉例而言，解囊封模組29可自源器件12獲得含有多個經寫碼視圖加深度的媒體檔案，諸如具有深度的多視圖媒體檔案142。視訊寫碼器件可剖析資訊以判定需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之一或多個視圖中的一者(222)。舉例而言，解囊封模組29可自具有深度的多視圖媒體檔案142剖析資訊以判定需要參考視圖之紋理視圖還是深度視圖以用於解碼包括於具有深度的多視圖媒體檔案142中的軌跡中之一或多個視圖中之一者。
在一些實例中，程序可進一步包括基於第一視訊資料解碼第二視訊資料，其中解碼第二視訊資料包括解碼指示使用第一視訊資料之紋理視圖、深度視圖還是紋理視圖及深度視圖兩者來解碼第二視訊資料的資訊。
在一些實例中，剖析資訊進一步包含自樣本輸入項及多視圖群 組輸入項中之至少一者剖析視圖識別符邏輯框，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。舉例而言，視訊解碼器30可自視圖識別符邏輯框172剖析資訊以判定需要參考視圖之紋理視圖還是深度視圖以用於解碼包括於具有深度的多視圖媒體檔案142中的軌跡中之一或多個視圖中之一者。在另一實例中，解囊封模組29可自視圖識別符邏輯框172剖析資訊以判定軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。在另一實例中，解囊封模組29可自視圖識別符邏輯框172剖析資訊以判定對於包括於軌跡中之每一視圖而言，該視圖是紋理視圖還是深度視圖。解囊封模組29可剖析視圖識別符邏輯框172以進一步判定是需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之特定視圖。
解囊封模組29可基於第一視訊資料剖析視訊資料的另一第二集合，且進一步剖析資訊以判定使用第一視訊資料之第一紋理視圖、第一深度視圖還是第一紋理視圖及第一深度視圖兩者來解碼第二視訊資料。
在另一實例中，程序包括剖析補充增強資訊(SEI)訊息邏輯框以判定與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。亦即，解囊封模組29可剖析SEI訊息邏輯框(諸如，3VC可調性資訊SEI訊息邏輯框166)以自視圖中之一或多者的SEI訊息獲得資訊。
在軌跡含有一或多個深度視圖之實例中，程序可進一步包括剖析3VC深度解析度邏輯框以判定一或多個深度視圖的空間解析度。舉例而言，解囊封模組29剖析3VC深度解析度邏輯框170以判定包括於具有深度的多視圖媒體檔案142中的深度視圖之空間解析度。在一些實例中，解囊封模組29自3VC組態邏輯框168剖析3VC深度解析度邏輯框170。在其他實例中，解囊封模組29直接自樣本輸入項剖析3VC深度解析度邏輯框170。解囊封模組29亦可剖析3VC解碼器組態紀錄 3VCDecoderConfigurationRecord，該3VC解碼器組態紀錄包括指示與3DV視訊串流(諸如，MVC+D視訊串流)有關的特性之語義。程序亦可包括剖析三維視訊寫碼(3VC)解碼器組態紀錄以判定包括於軌跡中之深度視圖的寬度及高度。
在一些實例中，軌跡為第一軌跡，其中第一軌跡包括視圖之深度視圖及視圖之紋理視圖中的一者，且程序進一步包括剖析視訊資料之第二軌跡，其中第二軌跡包括視圖之深度視圖及視圖之紋理視圖中的不包括於第一軌跡中的一者。程序可進一步包括剖析參考第二軌跡之用於第一軌跡的軌跡參考，其中軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：第一軌跡包括與儲存於第二軌跡中之紋理視圖相關聯的深度視圖(例如，軌跡參考類型為「deps」)，第一軌跡取決於儲存於第二軌跡中之紋理視圖(例如，軌跡參考類型為「tref」)，及第一軌跡取決於儲存於第二軌跡中之深度視圖(例如，軌跡參考類型為「dref」)。
在軌跡為三維視訊寫碼(3VC)軌跡的實例中，程序可進一步包括剖析3VC解碼器組態紀錄，其中3VC解碼器組態紀錄指示用於視訊資料之匹配樣本輸入項的組態紀錄。在軌跡為包括一或多個深度網路抽象層(NAL)單元的3VC軌跡之另一實例中，程序包括剖析允許提取器的樣本輸入項類型「3vc1」及不允許提取器的樣本輸入項類型「3vc2」中之至少一者。在其他實例中，程序可含有本發明中所描述之技術中的一或多者。
圖11為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案以指示視圖之相依性的實例方法的流程圖。圖11中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件包括本文中所描述之囊封模組21。視訊寫碼器件可編製視訊資料之軌跡，其中該軌跡包括一或多個視圖(226)。舉例而言，囊封模組21可自視訊編碼器20獲 得視訊資料。視訊寫碼器件可編製指示需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之一或多個視圖中的一者的資訊(228)。舉例而言，囊封模組21可將資訊編製至具有深度的多視圖媒體檔案142中以指示需要參考視圖之紋理視圖還是深度視圖以用於解碼包括於具有深度的多視圖媒體檔案142中的軌跡中之一者。根據本文中所描述之技術，囊封模組21可編製含有多個經寫碼視圖加深度的媒體檔案，諸如具有深度的多視圖媒體檔案142。
在一些實例中，編製資訊進一步包含在樣本輸入項及多視圖群組輸入項中之至少一者中編製視圖識別符邏輯框，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。舉例而言，囊封模組21可將資訊編製至視圖識別符邏輯框172中以指示對於包括於軌跡中之每一視圖而言，該視圖是紋理視圖還是深度視圖。囊封模組21可編製視圖識別符邏輯框172以進一步指示軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖。囊封模組21可編製視圖識別符邏輯框172以進一步指示對於包括於軌跡中之每一視圖而言，該視圖是紋理視圖還是深度視圖。
囊封模組21可基於第一視訊資料編製視訊資料的另一第二集合，且進一步編製資訊以指示使用第一視訊資料之第一紋理視圖、第一深度視圖還是第一紋理視圖及第一深度視圖兩者來解碼或剖析第二視訊資料。
在另一實例中，程序包括編製補充增強資訊(SEI)訊息邏輯框以指示與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。亦即，囊封模組21可編製SEI訊息邏輯框(諸如，3VC可調性資訊SEI訊息邏輯框166)以在視圖中之一或多者的SEI訊息中提供資訊。
在軌跡含有一或多個深度視圖之實例中，程序可進一步包括編製3VC深度解析度邏輯框以指示一或多個深度視圖的空間解析度。舉 例而言，囊封模組21編製3VC深度解析度邏輯框170以指示包括於具有深度的多視圖媒體檔案142中的深度視圖之空間解析度。在一些實例中，囊封模組21編製3VC組態邏輯框168中的3VC深度解析度邏輯框170。在其他實例中，囊封模組21直接在樣本輸入項中編製3VC深度解析度邏輯框170。囊封模組21亦可編製3VC解碼器組態紀錄3VCDecoderConfigurationRecord，該3VC解碼器組態紀錄包括指示與3DV視訊串流(諸如，MVC+D視訊串流)有關的特性之語義。程序亦可包括編製三維視訊寫碼(3VC)解碼器組態紀錄以判定包括於軌跡中之深度視圖的寬度及高度。
在一些實例中，軌跡為第一軌跡，其中第一軌跡包括視圖之深度視圖及視圖之紋理視圖中的一者，且程序進一步包括編製視訊資料之第二軌跡，其中第二軌跡包括視圖之深度視圖及視圖之紋理視圖中的不包括於第一軌跡中的一者。程序可進一步包括編製參考第二軌跡之用於第一軌跡的軌跡參考，其中軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：第一軌跡包括與儲存於第二軌跡中之紋理視圖相關聯的深度視圖(例如，軌跡參考類型為「deps」)，第一軌跡取決於儲存於第二軌跡中之紋理視圖(例如，軌跡參考類型為「tref」)，及第一軌跡取決於儲存於第二軌跡中之深度視圖(例如，軌跡參考類型為「dref」)。
在軌跡為三維視訊寫碼(3VC)軌跡的實例中，程序可進一步包括編製3VC解碼器組態紀錄，其中3VC解碼器組態紀錄指示用於視訊資料之匹配樣本輸入項的組態紀錄。在軌跡為包括一或多個深度網路抽象層(NAL)單元的3VC軌跡之另一實例中，程序包括編製允許提取器的樣本輸入項類型「3vc1」及不允許提取器的樣本輸入項類型「3vc2」中之至少一者。在其他實例中，程序可含有本發明中所描述之技術中的一或多者。
根據本文中所描述之技術處理視訊資料之替代程序包括編碼第一視訊資料，其中第一視訊資料包括紋理視圖及深度視圖。程序進一步包括基於第一視訊資料編碼第二視訊資料，其中編碼第二視訊資料包括編碼指示使用第一視訊資料之紋理視圖、深度視圖還是紋理視圖及深度視圖兩者來解碼第二視訊資料的資訊。
圖12為說明根據本發明中所描述之技術的剖析含有多視圖視訊之媒體檔案以判定深度視圖之空間解析度的實例方法的流程圖。圖12中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件包括本文中所描述之解囊封模組29。視訊寫碼器件可剖析視訊資料之軌跡，其中該軌跡包括一或多個視圖，該等視圖包括至少一個深度視圖(240)。舉例而言，解囊封模組29可自源器件12獲得含有多個經寫碼視圖加深度的媒體檔案，諸如具有深度的多視圖媒體檔案142。視訊寫碼器件可剖析資訊以判定與深度視圖相關聯之空間解析度，其中解碼空間解析度不需要剖析深度視圖之序列參數集(242)。舉例而言，解囊封模組29可自具有深度的多視圖媒體檔案142剖析資訊以判定儲存於深度媒體檔案142中之深度視圖的空間解析度。
在一些實例中，剖析資訊進一步包含自來自3VC組態邏輯框及直接自樣本輸入項中的至少一者的3VC深度解析度邏輯框剖析該空間解析度。亦即，在一些實例中，3VC深度解析度邏輯框(諸如，3VC深度解析度邏輯框170)儲存於3VC組態邏輯框(諸如，3VC組態邏輯框168)中，而在其他實例中，3VC深度解析度邏輯框170直接儲存於樣本輸入項中。程序可進一步包含自3VC組態邏輯框剖析3VC解碼器組態紀錄，其中3VC組態邏輯框被包括於允許提取器之類型「3vc1」的樣本輸入項及不允許提取器之類型「3vc2」的樣本輸入項中的至少一者中。
在一些實例中，解囊封模組29亦可剖析3VC解碼器組態紀錄以判 定深度視圖之寬度及高度。3VCDecoderConfigurationRecord可包括指示與3DV視訊串流(諸如，MVC+D視訊串流)有關的特性之語義。程序亦可包括剖析三維視訊寫碼(3VC)解碼器組態紀錄以判定包括於軌跡中之深度視圖的寬度及高度。
在一些實例中，剖析資訊進一步包含自樣本輸入項及多視圖群組輸入項中的至少一者剖析視圖識別符邏輯框以判定以下各者中的至少一者：需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之一或多個視圖中的至少一者；軌跡僅包括深度視圖還是包括紋理視圖及深度視圖；及對於包括於軌跡中之每一視圖而言，視圖為紋理視圖還是深度視圖，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。舉例而言，解囊封模組29可自視圖識別符邏輯框172剖析資訊以判定對於包括於軌跡中之每一視圖而言，該視圖是紋理視圖還是深度視圖。解囊封模組29可進一步剖析視圖識別符邏輯框172以判定是需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之特定視圖。
在視訊資料為視訊資料之第一集合及軌跡進一步包括至少一個紋理視圖的實例中，解囊封模組29可進一步基於視訊資料之第一集合剖析視訊資料之第二集合，其中剖析資訊包含剖析資訊以判定使用視訊資料之第一集合的第一紋理視圖、第一深度視圖還是第一紋理視圖及第一深度視圖兩者來解碼視訊資料的第二集合。
在另一實例中，程序包括剖析補充增強資訊(SEI)訊息邏輯框以判定與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。亦即，解囊封模組29可剖析SEI訊息邏輯框(諸如，3VC可調性資訊SEI訊息邏輯框166)以自視圖中之一或多者的SEI訊息獲得資訊。
在軌跡為含有深度視圖之第一軌跡的實例中，程序可進一步包括剖析視訊資料之第二軌跡，其中第二軌跡包括對應於深度視圖之紋 理視圖，其中紋理視圖不包括於第一軌跡中。程序可進一步包括剖析參考第二軌跡之用於第一軌跡的軌跡參考，其中軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：第一軌跡包括與儲存於第二軌跡中之紋理視圖相關聯的深度視圖(例如，軌跡參考類型為「deps」)，第一軌跡之一或多個視圖取決於儲存於第二軌跡中之紋理視圖(例如，軌跡參考類型為「tref」)，及第一軌跡之一或多個視圖取決於儲存於第二軌跡中之深度視圖(例如，軌跡參考類型為「dref」)。
處理視訊資料之其他實例程序可包括解碼深度視圖及解碼與深度視圖相關聯的空間解析度，其中解碼空間解析度不需要剖析深度視圖之序列參數集。在另一實例中，處理視訊資料之程序包括解碼深度解析度邏輯框以指示深度視圖的空間解析度。在又一實例中，處理視訊資料之程序包括解碼組態邏輯框，其中深度解析度邏輯框被包括於組態邏輯框中。處理視訊資料之另一實例程序包括直接自樣本輸入項解碼3VCDepthResolutionBox。在又一實例中，處理視訊資料之程序包括自3VC解碼器組態紀錄解碼深度視圖之寬度及高度，其中3VC代表三維視訊寫碼。此等實例程序中之任一者可包括本文中所描述之技術的任何子集。
圖13為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案以指示深度視圖之空間解析度的實例方法的流程圖。圖13中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件包括本文中所描述之囊封模組21。視訊寫碼器件可編製視訊資料之軌跡，其中該軌跡包括一或多個視圖，該等視圖包括至少一個深度視圖(246)。舉例而言，囊封模組21可自視訊編碼器20獲得視訊資料。視訊寫碼器件可編製資訊以指示與深度視圖相關聯之空間解析度，其中解碼空間解析度不需要剖析深度視圖之序列參數集(248)。根據本文 中所描述之技術，囊封模組21可編製含有多個經寫碼視圖加深度的媒體檔案，諸如具有深度的多視圖媒體檔案142。舉例而言，囊封模組21可將資訊編製至具有深度的多視圖媒體檔案142中以指示包括於具有深度的多視圖媒體檔案142中之軌跡中的深度視圖的空間解析度。
在一些實例中，編製資訊進一步包含在3VC組態邏輯框及直接在樣本輸入項中的至少一者中的3VC深度解析度邏輯框中編製空間解析度。亦即，在一些實例中，3VC深度解析度邏輯框(諸如，3VC深度解析度邏輯框170)儲存於3VC組態邏輯框(諸如，3VC組態邏輯框168)中，而在其他實例中，3VC深度解析度邏輯框170直接儲存於樣本輸入項中。程序可進一步包含編製3VC組態邏輯框中之3VC解碼器組態紀錄，其中3VC組態邏輯框被包括於允許提取器之類型「3vc1」的樣本輸入項及不允許提取器之類型「3vc2」的樣本輸入項中的至少一者中。
在一些實例中，囊封模組21亦可編製3VC解碼器組態紀錄以指示深度視圖之寬度及高度。3VCDecoderConfigurationRecord可包括指示與3DV視訊串流(諸如，MVC+D視訊串流)有關的特性之語義。
在一些實例中，編製資訊進一步包含自樣本輸入項及多視圖群組輸入項中的至少一者編製視圖識別符邏輯框以指示以下各者中的至少一者：需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之一或多個視圖中的至少一者；軌跡僅包括深度視圖還是包括紋理視圖及深度視圖；及對於包括於軌跡中之每一視圖而言，視圖為紋理視圖還是深度視圖，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。舉例而言，囊封模組21可編製視圖識別符邏輯框172中的資訊以指示對於包括於軌跡中之每一視圖而言，該視圖是紋理視圖還是深度視圖。視訊解碼器30可進一步編製視圖識別符邏輯框172以指示是需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之特 定視圖。
在視訊資料為視訊資料之第一集合及軌跡進一步包括至少一個紋理視圖的實例中，囊封模組21可進一步基於視訊資料之第一集合編製視訊資料之第二集合，其中剖析資訊包含編製資訊以指示使用視訊資料之第一集合的第一紋理視圖、第一深度視圖還是第一紋理視圖及第一深度視圖兩者來解碼視訊資料的第二集合。
在另一實例中，程序包括編製補充增強資訊(SEI)訊息邏輯框以指示與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。亦即，囊封模組21可編製SEI訊息邏輯框(諸如，3VC可調性資訊SEI訊息邏輯框166)以儲存來自視圖中之一或多者的SEI訊息之資訊。
在軌跡為第一軌跡的實例中，程序可進一步包括編製視訊資料之第二軌跡，其中第二軌跡包括對應於深度視圖之紋理視圖，其中紋理視圖不包括於第一軌跡中。程序可進一步包括編製參考第二軌跡之用於第一軌跡的軌跡參考，其中軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：第一軌跡包括與儲存於第二軌跡中之紋理視圖相關聯的深度視圖(例如，軌跡參考類型為「deps」)，第一軌跡之一或多個視圖取決於儲存於第二軌跡中之紋理視圖(例如，軌跡參考類型為「tref」)，及第一軌跡之一或多個視圖取決於儲存於第二軌跡中之深度視圖(例如，軌跡參考類型為「dref」)。
處理視訊資料之其他實例程序可包括編碼深度視圖及編碼與深度視圖相關聯的空間解析度，其中編碼空間解析度如此進行以使得不將對深度視圖之序列參數集的剖析用以判定空間解析度。在另一實例中，處理視訊資料之程序包括編碼深度解析度邏輯框以指示深度視圖的空間解析度。在又一實例中，處理視訊資料之程序包括編碼組態邏輯框，其中深度解析度邏輯框包括於組態邏輯框中。處理視訊資料之 另一實例程序包括直接將3VCDepthResolutionBox編碼至樣本輸入項中。在又一實例中，處理視訊資料之程序包括在3VC解碼器組態紀錄中編碼深度視圖之寬度及高度，其中3VC代表三維視訊寫碼。此等實例程序中之任一者可包括本文中所描述之技術的任何子集。
圖14為說明根據本發明中所描述之技術的剖析含有多視圖視訊之媒體檔案的實例方法的流程圖，其中特定視圖之紋理及深度視圖被儲存於分開的軌跡中。圖14中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件包括本文中所描述之解囊封模組29。視訊寫碼器件可剖析視訊資料之軌跡，其中軌跡包括一或多個視圖，該等視圖包括特定視圖之紋理視圖及特定視圖之深度視圖中的僅一者(260)。舉例而言，解囊封模組29可剖析來自源器件12的媒體檔案(諸如，具有深度的多視圖媒體檔案142)，該媒體檔案包括儲存於分開的軌跡中的特定視圖之紋理視圖及特定視圖之深度視圖。
視訊寫碼器件可剖析軌跡參考以判定軌跡對軌跡參考中所指示的所參考軌跡之相依性(262)。舉例而言，解囊封模組29可剖析軌跡參考類型「deps」，該軌跡參考類型「deps」指示軌跡包括特定視圖之深度視圖，且參考軌跡包括特定視圖之紋理視圖。在另一實例中，解囊封模組29可剖析軌跡參考類型「tref」，該軌跡參考類型「tref」指示軌跡取決於儲存於所參考軌跡中之特定視圖的紋理視圖。在又一實例中，解囊封模組29可剖析軌跡參考類型「dref」，該軌跡參考類型「dref」指示軌跡取決於儲存於所參考軌跡中之特定視圖的深度視圖。
在一些實例中，方法可進一步包括自樣本輸入項及多視圖群組輸入項中之至少一者剖析視圖識別符邏輯框以判定對於軌跡中之每一視圖而言，視圖為紋理視圖還是深度視圖，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。在另一實例中，視圖識別符 邏輯框可經剖析以判定是需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之特定視圖。
在另一實例中，程序包括剖析補充增強資訊(SEI)訊息邏輯框以判定與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。在軌跡含有特定視圖之深度視圖之實例中，方法可進一步包括剖析3VC深度解析度邏輯框以判定特定視圖之深度視圖的空間解析度。在軌跡含有特定視圖之深度視圖的另一實例中，方法包含剖析三維視訊寫碼(3VC)解碼器組態紀錄以判定特定視圖之深度視圖的寬度及高度。
在軌跡為三維視訊寫碼(3VC)軌跡的又一實例中，方法可進一步包括剖析3VC解碼器組態紀錄，其中3VC解碼器組態紀錄指示用於視訊資料之匹配樣本輸入項的組態紀錄。
在處理視訊資料之另一實例方法中，方法包括解碼用於軌跡之類型值「tref」以判定軌跡取決於儲存於所參考軌跡中的紋理視圖。在處理視訊資料之另一實例方法中，方法包括解碼用於軌跡之類型值「dref」以判定軌跡取決於儲存於所參考軌跡中的深度視圖。在其他實例中，本文中所描述之程序中的任一者可含有本發明中所描述之技術中的一或多者。
圖15為說明根據本發明中所描述之技術的編製含有多視圖視訊內容之媒體檔案的實例方法的流程圖，其中特定視圖之紋理及深度視圖被儲存於分開的軌跡中。圖15中所描述之程序可由視訊寫碼器件執行，該視訊寫碼器件包括本文中所描述之囊封模組21。視訊寫碼器件可編製視訊資料之軌跡，其中軌跡包括一或多個視圖，該等視圖包括特定視圖之紋理視圖及特定視圖之深度視圖中的僅一者(266)。舉例而言，囊封模組21可編製媒體檔案(諸如，具有深度的多視圖媒體檔案142)，該媒體檔案包括儲存於分開的軌跡中的特定視圖之紋理視圖及特定視圖之深度視圖。
視訊寫碼器件可編製軌跡參考以指示軌跡對軌跡參考中所指示的所參考軌跡之相依性(268)。舉例而言，囊封模組21可編製軌跡參考類型「deps」，該軌跡參考類型「deps」指示軌跡包括特定視圖之深度視圖，且參考軌跡包括特定視圖之紋理視圖。在另一實例中，囊封模組21可編製軌跡參考類型「tref」，該軌跡參考類型「tref」指示軌跡取決於儲存於所參考軌跡中之特定視圖的紋理視圖。在又一實例中，囊封模組21可編製軌跡參考類型「dref」，該軌跡參考類型「dref」指示軌跡取決於儲存於所參考軌跡中之特定視圖的深度視圖。
在一些實例中，方法可進一步包括自樣本輸入項及多視圖群組輸入項中之至少一者編製視圖識別符邏輯框以指示對於軌跡中之每一視圖而言，視圖為紋理視圖還是深度視圖，其中樣本輸入項及多視圖群組輸入項中之至少一者與軌跡相關聯。在另一實例中，可編製視圖識別符邏輯框以指示是需要參考視圖之紋理視圖還是深度視圖以用於解碼軌跡中之特定視圖。
在另一實例中，程序包括編製補充增強資訊(SEI)訊息邏輯框以指示與視圖中之一或多者相關聯的三維可調性資訊SEI訊息。在軌跡含有特定視圖之深度視圖之實例中，方法可進一步包括編製3VC深度解析度邏輯框以指示特定視圖之深度視圖的空間解析度。在軌跡含有特定視圖之深度視圖的另一實例中，方法包括編製三維視訊寫碼(3VC)解碼器組態紀錄以指示特定視圖之深度視圖的寬度及高度。
在軌跡為三維視訊寫碼(3VC)軌跡的又一實例中，方法可進一步包括編製3VC解碼器組態紀錄，其中3VC解碼器組態紀錄指示用於視訊資料之匹配樣本輸入項的組態紀錄。
在處理視訊資料之另一實例方法中，方法包括將特定視圖之紋理視圖及深度視圖儲存於分開的軌跡中。在處理視訊資料之另一實例 方法中，方法包括編碼用於軌跡之類型值「tref」以指示軌跡取決於儲存於所參考軌跡中的紋理視圖。在處理視訊資料之另一實例方法中，方法包括編碼用於軌跡之類型值「dref」以指示軌跡取決於儲存於所參考軌跡中的深度視圖。在其他實例中，本文中所描述之程序中的任一者可含有本發明中所描述之技術中的一或多者。
在另一實例中，處理視訊資料之方法包括解碼一解碼器組態紀錄，其中解碼器組態紀錄經定義為「3VCDecoderConfigurationRecord」，其包括與「MVCDecoderConfigurationRecord」相同的語法結構及至少一些不同於「MVCDecoderConfigurationRecord」的語義以指示與3VC視訊串流有關的特性。
在又一實例中，處理視訊資料之方法包括解碼用於僅具有深度NAL單元的3VC軌跡之樣本輸入項類型，其中輸入項類型係選自包括不允許提取器的第一類型及允許提取器的第二類型之群組。
在另一實例中，處理視訊資料之方法包括解碼來自樣本輸入項類型之群組的樣本輸入項類型，該群組包括：1)用於具有AVC、MVC及深度NAL單元之3VC軌跡的含有AVC、MVC及3VC組態之樣本輸入項類型「avc1」；2)用於不具有AVC NAL單元但具有MVC及深度NAL單元的3VC軌跡的含有MVC及3VC組態之樣本輸入項類型「mvc1」，其中提取器係不允許的；及3)用於不具有AVC NAL單元但具有MVC及深度NAL單元的3VC軌跡之含有MVC及3VC組態的樣本輸入項類型「mvc2」，其中提取器係允許的。
在另一實例中，處理視訊資料之方法包括解碼用以指示以下各者中之至少一者的屬性：多視圖群組邏輯框中所指示的3VC操作點是否存在，多視圖群組邏輯框中所指示的操作點是3VC還是MVC，及多視圖群組邏輯框中所指示的輸出視圖是僅含有紋理，僅含有深度，還是含有兩者。
在另一實例中，處理視訊資料之方法包括解碼含有按MVC+D編碼解碼器規範定義的三維可調性資訊SEI訊息之SEI訊息邏輯框。在另一實例中，處理視訊資料之方法包括解碼用於含有三維視訊寫碼(3VC)視訊串流之檔案的壓縮器名稱值「/0123VC Coding」。
在另一實例中，處理視訊資料之方法包括編碼一解碼器組態紀錄，其中解碼器組態紀錄經定義為「3VCDecoderConfigurationRecord」，其包括與「MVCDecoderConfigurationRecord」相同的語法結構及至少一些不同於「MVCDecoderConfigurationRecord」的語義以指示與三維視訊寫碼(3VC)視訊串流有關的特性。在又一實例中，處理視訊資料之方法包括編碼用於僅具有深度NAL單元的3VC軌跡之樣本輸入項類型，其中輸入項類型係選自包括不允許提取器的第一類型及允許提取器的第二類型之群組，其中NAL代表網路抽象層且3VC代表三維視訊寫碼。
在又一實例中，處理視訊資料之方法包括編碼來自樣本輸入項類型之群組的一樣本輸入項類型，該群組包括：1)用於具有AVC、MVC及深度NAL單元之3VC軌跡的含有AVC、MVC及3VC組態之樣本輸入項類型「avc1」；2)用於不具有AVC NAL單元但具有MVC及深度NAL單元的3VC軌跡的含有MVC及3VC組態之樣本輸入項類型「mvc1」，其中提取器係不允許的；及3)用於不具有AVC NAL單元但具有MVC及深度NAL單元的3VC軌跡之含有MVC及3VC組態的樣本輸入項類型「mvc2」，其中提取器係允許的。
在另一實例中，處理視訊資料之方法包括編碼屬性以指示以下各者中之至少一者：多視圖群組邏輯框中所指示的3VC操作點是否存在，多視圖群組邏輯框中所指示的操作點是3VC還是MVC，及多視圖群組邏輯框中所指示的輸出視圖是僅含有紋理，僅含有深度，還是含有兩者。在一些實例中，屬性為共同屬性或區別屬性中之一者。
在另一實例中，處理視訊資料之方法包括編碼補充增強資訊(SEI)訊息邏輯框，該SEI訊息邏輯框含有按多視圖加深度寫碼(MVC+D)編碼解碼器規範所定義的三維可調性資訊SEI訊息。在另一實例中，處理視訊資料之方法包括編碼用於含有三維視訊寫碼(3VC)視訊串流之檔案的壓縮器名稱值「/0123VC Coding」。
本發明亦包括以下附件，該附件係基於MPEG輸出文件W13036中的最新整合規範14496-15，該規範的全部內容以引用之方式併入本文中。在以下附件中，未改變部分通常並未展示，而是在附件內用陳述「[See Original Document]」來替代。MPEG輸出文件W13036中的原始規範14496-15的版權屬於ISO/IEC。
本發明之技術可由諸如路由器件104及轉碼器件106之網路器件實施，但亦可由用戶端器件108實施。以此方式，路由器件104、轉碼器件106及用戶端器件108表示經組態以執行本發明之技術(包括本發明之申請專利範圍部分中所敍述的技術)之器件的實例。此外，圖1之器件及圖2中所示之編碼器及圖3中所示之解碼器亦為可經組態以執行本發明之技術(包括本發明之申請專利範圍部分中所敍述的技術)的例示性器件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸，且由基於硬體之處理單元來執行。電腦可讀媒體可包括電腦可讀儲存媒體或通信媒體，電腦可讀儲存媒體對應於諸如資料儲存媒體之有形媒體，通信媒體包括促進電腦程式(例如)根據通信協定自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性之有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於 實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
在又其他實例中，本發明預期電腦可讀媒體，其包含儲存於其上之資料結構，其中該資料結構包括與本發明一致地寫碼之經編碼位元串流。
作為實例而非限制，此電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用於儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱作電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)，或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL，或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他瞬間媒體，而是針對非瞬間的有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用，術語「處理器」可指前述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一 或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術的器件之功能態樣，但未必要求藉由不同硬體單元實現。更確切而言，如上文所描述，各種單元可組合於一編碼解碼器硬體單元中或由結合合適的軟體及/或韌體的交互操作之硬體單元之集合(包括如上文所描述之一或多個處理器)來提供。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
142‧‧‧具有深度的多視圖媒體檔案
144‧‧‧電影邏輯框
146-1‧‧‧視訊資料串流
146-N‧‧‧視訊資料串流
148-1‧‧‧音訊資料串流
148-N‧‧‧音訊資料串流
150-1‧‧‧存取單元
150-2‧‧‧存取單元
150-N‧‧‧存取單元
152-1‧‧‧NAL單元
152-N‧‧‧NAL單元
154‧‧‧後設資料邏輯框
156‧‧‧後設資料表
158‧‧‧軌跡邏輯框
160‧‧‧媒體資料邏輯框
162‧‧‧樣本表邏輯框
164‧‧‧同步樣本邏輯框
166‧‧‧3VC可調性資訊SEI訊息邏輯框
168‧‧‧3VC組態邏輯框
170‧‧‧3VC深度解析度邏輯框
172‧‧‧視圖識別符邏輯框
174‧‧‧多視圖群組邏輯框

Claims (62)

  1. 一種處理視訊資料之方法，該方法包含：剖析視訊資料之一軌跡，其中該軌跡包括一或多個視圖；剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者；及剖析一深度解析度邏輯框以判定該一或多個視圖之一或多個深度視圖之一空間解析度。
  2. 如請求項1之方法，其中剖析資訊進一步包含自一樣本輸入項及一多視圖群組輸入項中之至少一者剖析一視圖識別符邏輯框，其中該樣本輸入項及該多視圖群組輸入項中之該至少一者與該軌跡相關聯。
  3. 如請求項2之方法，其中剖析資訊進一步包含自該視圖識別符邏輯框判定對於包括於該軌跡中的每一視圖而言，該視圖是一紋理視圖還是一深度視圖。
  4. 如請求項2之方法，其中剖析資訊進一步包含自該視圖識別符邏輯框判定是需要一參考視圖之一紋理視圖還是一深度視圖以用於解碼該軌跡中之一特定視圖。
  5. 如請求項1之方法，其中該視訊資料包含一包括一第一紋理視圖及一第一深度視圖的第一視訊資料，該方法進一步包含：基於該第一視訊資料剖析第二視訊資料，其中剖析資訊包含剖析資訊以判定使用該第一視訊資料之該第一紋理視圖、該第一深度視圖還是該第一紋理視圖及該第一深度視圖兩者來解碼該第二視訊資料。
  6. 如請求項1之方法，其進一步包含：剖析一補充增強資訊(SEI)訊息邏輯框以判定與該等視圖中之 一或多者相關聯的一三維可調性資訊SEI訊息。
  7. 如請求項1之方法，其進一步包含：剖析一解碼器組態紀錄以判定包括於該軌跡中之一深度視圖的一寬度及一高度。
  8. 如請求項1之方法，其中該軌跡為一第一軌跡，其中該第一軌跡包括一視圖之一深度視圖及該視圖的一紋理視圖中之一者，其進一步包含：剖析視訊資料之一第二軌跡，其中該第二軌跡包括該視圖之該深度視圖及該視圖之該紋理視圖中之不包括於該第一軌跡中的一者。
  9. 如請求項8之方法，其進一步包含：剖析參考該第二軌跡之用於該第一軌跡的一軌跡參考，其中該軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：該第一軌跡包括與儲存於該第二軌跡中之該紋理視圖相關聯的該深度視圖，該第一軌跡取決於儲存於該第二軌跡中之該紋理視圖，及該第一軌跡取決於儲存於該第二軌跡中之一深度視圖。
  10. 如請求項1之方法，進一步包含：剖析一解碼器組態紀錄，其中該解碼器組態紀錄指示用於該視訊資料之一匹配樣本輸入項的一組態紀錄。
  11. 如請求項1之方法，其中該軌跡包括一或多個深度網路抽象層(NAL)單元，其中剖析該軌跡進一步包含剖析允許提取器之一樣本輸入項類型及不允許提取器之一樣本輸入項類型中的至少一者。
  12. 如請求項1之方法，其中剖析資訊包含剖析來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識 別符邏輯框內之資訊，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，以經由剖析該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  13. 如請求項12之方法，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
  14. 一種用於處理視訊資料之器件，其包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：剖析視訊資料之一軌跡，其中該軌跡包括一或多個視圖；剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者；及剖析一深度解析度邏輯框以判定該一或多個視圖之一或多個深度視圖之一空間解析度。
  15. 如請求項14之器件，其中剖析資訊進一步包含以下各者中之至少一者：自一樣本輸入項及一多視圖群組輸入項中之至少一者剖析一視圖識別符邏輯框，其中該樣本輸入項及該多視圖群組輸入項中之該至少一者與該軌跡相關聯，自該視圖識別符邏輯框且對於包括於該軌跡中之每一視圖判定，該視圖是一紋理視圖還是一深度視圖，及 自該視圖識別符邏輯框判定是需要一參考視圖之一紋理視圖還是一深度視圖以用於解碼該軌跡中之一特定視圖。
  16. 如請求項14之器件，其中該視訊資料包含一包括一第一紋理視圖及一第一深度視圖的第一視訊資料，該一或多個處理器經進一步組態以：基於該第一視訊資料剖析第二視訊資料，其中剖析資訊包含剖析資訊以判定使用該第一視訊資料之該第一紋理視圖、該第一深度視圖還是該第一紋理視圖及該第一深度視圖兩者來解碼該第二視訊資料。
  17. 如請求項14之器件，該一或多個處理器經進一步組態以：剖析一補充增強資訊(SEI)訊息邏輯框以判定與該等視圖中之一或多者相關聯的一三維可調性資訊SEI訊息。
  18. 如請求項14之器件，該一或多個處理器經進一步組態以：剖析一解碼器組態紀錄以判定包括於該軌跡中之一深度視圖的一寬度及一高度。
  19. 如請求項14之器件，其中該軌跡為一第一軌跡，其中該第一軌跡包括一視圖之一深度視圖及該視圖的一紋理視圖中之一者，該一或多個處理器經進一步組態以：剖析視訊資料之一第二軌跡，其中該第二軌跡包括該視圖之該深度視圖及該視圖之該紋理視圖中之不包括於該第一軌跡中的一者；及剖析參考該第二軌跡之用於該第一軌跡的一軌跡參考，其中該軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：該第一軌跡包括與儲存於該第二軌跡中之該紋理視圖相關聯的該深度視圖，該第一軌跡取決於儲存於該第二軌跡中之該紋理視圖，及該第一軌跡取決於儲存 於該第二軌跡中之一深度視圖。
  20. 如請求項14之器件，其該一或多個處理器經進一步組態以：剖析一解碼器組態紀錄，其中該解碼器組態紀錄指示用於該視訊資料之一匹配樣本輸入項的一組態紀錄。
  21. 如請求項14之器件，其中該軌跡包括一或多個深度網路抽象層(NAL)單元，其中剖析該軌跡進一步包含剖析允許提取器之一樣本輸入項類型及不允許提取器之一樣本輸入項類型中的至少一者。
  22. 如請求項14之器件，其中該一或多個處理器進一步經組態以剖析來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識別符邏輯框內之資訊，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，以經由該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track之一剖析判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  23. 如請求項22之器件，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
  24. 一種非暫時性電腦可讀儲存媒體，其具有儲存於其上之指令，該等指令在執行時致使一視訊寫碼器件之一或多個處理器：剖析視訊資料之一軌跡，其中該軌跡包括一或多個視圖；剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者；及 剖析一深度解析度邏輯框以判定該一或多個視圖之一或多個深度視圖之一空間解析度。
  25. 如請求項24之非暫時性電腦可讀儲存媒體，其中剖析資訊進一步包含自一樣本輸入項及一多視圖群組輸入項中之至少一者剖析一視圖識別符邏輯框，其中該樣本輸入項及該多視圖群組輸入項中之該至少一者與該軌跡相關聯。
  26. 如請求項25之非暫時性電腦可讀儲存媒體，其中剖析資訊進一步包含以下各者中之至少一者：自該視圖識別符邏輯框判定對於包括於該軌跡中之每一視圖而言，該視圖是一紋理視圖還是一深度視圖，及自該視圖識別符邏輯框判定是需要一參考視圖之一紋理視圖還是一深度視圖以用於解碼該軌跡中之一特定視圖。
  27. 如請求項24之非暫時性電腦可讀儲存媒體，其中剖析資訊進一步包含剖析來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識別符邏輯框內之資訊，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，以經由該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track之一剖析判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  28. 如請求項27之非暫時性電腦可讀儲存媒體，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
  29. 一種經組態以剖析包括經寫碼視訊內容之一視訊檔案之裝置，該裝置包含：用於剖析視訊資料之一軌跡之構件，其中該軌跡包括一或多個視圖；用於剖析資訊以判定該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者之構件；及用於剖析一深度解析度邏輯框以判定該一或多個視圖之一或多個深度視圖之一空間解析度之構件。
  30. 如請求項29之裝置，其中用於剖析資訊之構件進一步包含用於自一樣本輸入項及一多視圖群組輸入項中之至少一者剖析一視圖識別符邏輯框之構件，其中該樣本輸入項及該多視圖群組輸入項中之該至少一者與該軌跡相關聯。
  31. 如請求項30之裝置，其中用於剖析資訊之構件進一步包含以下各者中之至少一者：用於自該視圖識別符邏輯框判定對於包括於該軌跡中之每一視圖而言，該視圖是一紋理視圖還是一深度視圖之構件；及用於自該視圖識別符邏輯框判定是需要一參考視圖之一紋理視圖還是一深度視圖以用於解碼該軌跡中之一特定視圖之構件。
  32. 如請求項29之裝置，其中用以剖析資訊之該構件包含用以剖析來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識別符邏輯框內之資訊之一構件，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，以經由該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track之一剖析判定該軌跡是僅 包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  33. 如請求項32之裝置，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
  34. 一種處理視訊資料之方法，該方法包含：編製視訊資料之一軌跡，其中該軌跡包括一或多個視圖；編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊；及編製指示一深度解析度邏輯框中之該一或多個視圖之該一或多個深度視圖之一空間解析度的資訊。
  35. 如請求項34之方法，其中編製資訊進一步包含編製在一樣本輸入項及一多視圖群組輸入項中之至少一者中的一視圖識別符邏輯框，其中該樣本輸入項及該多視圖群組輸入項中之該至少一者與該軌跡相關聯。
  36. 如請求項35之方法，其中編製資訊進一步包含在該視圖識別符邏輯框中指示對於包括於該軌跡中的每一視圖而言，該視圖是一紋理視圖還是一深度視圖。
  37. 如請求項35之方法，其中該視圖識別符邏輯框指示是需要一參考視圖之一紋理視圖還是一深度視圖以用於解碼該軌跡中之一特定視圖。
  38. 如請求項34之方法，其中該視訊資料包含一包括一第一紋理視圖及一第一深度視圖的第一視訊資料，該方法進一步包含：基於該第一視訊資料編製第二視訊資料，其中編製資訊包含 編製指示使用該第一視訊資料之該第一紋理視圖、該第一深度視圖還是該第一紋理視圖及該第一深度視圖兩者來剖析該第二視訊資料的資訊。
  39. 如請求項34之方法，其進一步包含：編製一補充增強資訊(SEI)訊息邏輯框，其包括與一或多個視圖相關聯的一三維可調性資訊SEI訊息。
  40. 如請求項34之方法，其進一步包含：編製一解碼器組態紀錄，其中該解碼器組態紀錄指示包括於該軌跡中之一深度視圖的一寬度及一高度。
  41. 如請求項34之方法，其中該軌跡為一第一軌跡，其中該第一軌跡包括一視圖之一深度視圖及該視圖的一紋理視圖中之一者，其進一步包含：編製視訊資料之一第二軌跡，其中該第二軌跡包括該視圖之該深度視圖及該視圖之該紋理視圖中之不包括於該第一軌跡中的一者。
  42. 如請求項41之方法，其進一步包含：編製參考該第二軌跡之用於該第一軌跡的一軌跡參考，其中該軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：該第一軌跡包括與儲存於該第二軌跡中之該紋理視圖相關聯的該深度視圖，該第一軌跡取決於儲存於該第二軌跡中之該紋理視圖，及該第一軌跡取決於儲存於該第二軌跡中之一深度視圖。
  43. 如請求項34之方法，其進一步包含：編製一解碼器組態紀錄，其中該解碼器組態紀錄指示用於該視訊資料之一匹配樣本輸入項的一組態紀錄。
  44. 如請求項34之方法，其中該軌跡包括一或多個深度網路抽象層 (NAL)單元，其中編製該軌跡進一步包含編製允許提取器之一樣本輸入項類型及不允許提取器之一樣本輸入項類型中的至少一者。
  45. 如請求項34之方法，其中編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊包含編製來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識別符邏輯框中之資訊，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，其經由編制該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  46. 如請求項45之方法，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
  47. 一種用於處理視訊資料之器件，其包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：編製視訊資料之一軌跡，其中該軌跡包括一或多個視圖；編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊；及編製指示一深度解析度邏輯框中之該一或多個視圖之該一或多個深度視圖之一空間解析度的資訊。
  48. 如請求項47之器件，其中編製資訊進一步包含編製在一樣本輸 入項及一多視圖群組輸入項中之至少一者中的一視圖識別符邏輯框，其中該樣本輸入項及該多視圖群組輸入項中之該至少一者與該軌跡相關聯。
  49. 如請求項48之器件，其中編製資訊進一步包含在該視圖識別符邏輯框中指示對於包括於該軌跡中的每一視圖而言，該視圖是一紋理視圖還是一深度視圖。
  50. 如請求項48之器件，其中該視圖識別符邏輯框指示是需要一參考視圖之一紋理視圖還是一深度視圖以用於解碼該軌跡中之一特定視圖。
  51. 如請求項47之器件，其中該視訊資料包含一包括一第一紋理視圖及一第一深度視圖的第一視訊資料，該器件經進一步組態以：基於該第一視訊資料編製第二視訊資料，其中編製資訊包含編製指示使用該第一視訊資料之該第一紋理視圖、該第一深度視圖還是該第一紋理視圖及該第一深度視圖兩者來剖析該第二視訊資料的資訊。
  52. 如請求項47之器件，該器件經進一步組態以：編製一補充增強資訊(SEI)訊息邏輯框，其包括與一或多個視圖相關聯的一三維可調性資訊SEI訊息。
  53. 如請求項47之器件，其中該軌跡為一第一軌跡，其中該第一軌跡包括一視圖之一深度視圖及該視圖的一紋理視圖中之一者，該器件經進一步組態以：編製視訊資料之一第二軌跡，其中該第二軌跡包括該視圖之該深度視圖及該視圖之該紋理視圖中之不包括於該第一軌跡中的一者；及編製參考該第二軌跡之用於該第一軌跡的一軌跡參考，其中 該軌跡參考包括至少一個軌跡參考類型，該至少一個軌跡參考類型指示以下各者中的一者：該第一軌跡包括與儲存於該第二軌跡中之該紋理視圖相關聯的該深度視圖，該第一軌跡取決於儲存於該第二軌跡中之該紋理視圖，及該第一軌跡取決於儲存於該第二軌跡中之一深度視圖。
  54. 如請求項47之器件，其中該器件經進一步組態以：編製一解碼器組態紀錄，其中該解碼器組態紀錄指示用於該視訊資料之一匹配樣本輸入項的一組態紀錄，其中編製該軌跡進一步包含編製允許提取器之一樣本輸入項類型及不允許提取器之一樣本輸入項類型中的至少一者。
  55. 如請求項47之器件，其中一或多個處理器進一步經組態以編製來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識別符邏輯框中之資訊，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，其經由編制該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  56. 如請求項55之器件，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
  57. 一種非暫時性電腦可讀儲存媒體，其具有儲存於其上之指令，該等指令在執行時致使一視訊寫碼器件之一或多個處理器：編製視訊資料之一軌跡，其中該軌跡包括一或多個視圖； 編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊；及編製指示一深度解析度邏輯框中之該一或多個視圖之該一或多個深度視圖之一空間解析度的資訊。
  58. 如請求項57之非暫時性電腦可讀儲存媒體，其中編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊包含編製來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識別符邏輯框中之資訊，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，其經由編制該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  59. 如請求項58之非暫時性電腦可讀儲存媒體，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
  60. 一種經組態以編製一視訊檔案之裝置，該裝置包含：用於編製視訊資料之一軌跡之構件，其中該軌跡包括一或多個視圖；用於編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊之構件；及用於編製指示一深度解析度邏輯框中之該一或多個視圖之該一或多個深度視圖之一空間解析度的資訊之構件。
  61. 如請求項60之裝置，其中用於編製指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者的資訊之構件包含用於編製來自一樣本輸入項及一多視圖群組輸入項之至少一者之一媒體檔案格式之一視圖識別符邏輯框中之資訊之一構件，其中該樣本輸入項及該多視圖群組輸入項之該至少一者與該軌跡相關聯，其經由用於編制該媒體檔案格式之該視圖識別符邏輯框中之一第一語法元素depth_in_track及該媒體檔案格式之該視圖識別符邏輯框中之一第二語法元素texture_in_track之一構件指示該軌跡是僅包括紋理視圖，僅包括深度視圖，還是包括紋理視圖及深度視圖兩者。
  62. 如請求項61之裝置，其中：該語法元素depth_in_track包含一單一位元，其中該語法元素depth_in_track之一值等於1指示一深度視圖存在於該軌跡中；及該語法元素texture_in_track包含一單一位元，其中該語法元素texture_in_track之一值等於1指示一紋理視圖存在於該軌跡中。
TW103100246A 2013-01-04 2014-01-03 針對多視圖加深度寫碼之軌跡中紋理及深度視圖的存在之指示 TWI590643B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361749089P 2013-01-04 2013-01-04
US14/137,063 US9648299B2 (en) 2013-01-04 2013-12-20 Indication of presence of texture and depth views in tracks for multiview coding plus depth

Publications (2)

Publication Number Publication Date
TW201440486A TW201440486A (zh) 2014-10-16
TWI590643B true TWI590643B (zh) 2017-07-01

Family

ID=51060660

Family Applications (4)

Application Number Title Priority Date Filing Date
TW103100246A TWI590643B (zh) 2013-01-04 2014-01-03 針對多視圖加深度寫碼之軌跡中紋理及深度視圖的存在之指示
TW103100245A TWI603608B (zh) 2013-01-04 2014-01-03 於多視圖寫碼檔案格式中當前視圖對參考視圖之相依性之指示
TW103100240A TWI554087B (zh) 2013-01-04 2014-01-03 用於多視圖寫碼及深度之紋理及深度視圖之分軌儲存
TW103100243A TWI535271B (zh) 2013-01-04 2014-01-03 在多視圖寫碼檔案格式中深度視圖之空間解析度之發信

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW103100245A TWI603608B (zh) 2013-01-04 2014-01-03 於多視圖寫碼檔案格式中當前視圖對參考視圖之相依性之指示
TW103100240A TWI554087B (zh) 2013-01-04 2014-01-03 用於多視圖寫碼及深度之紋理及深度視圖之分軌儲存
TW103100243A TWI535271B (zh) 2013-01-04 2014-01-03 在多視圖寫碼檔案格式中深度視圖之空間解析度之發信

Country Status (9)

Country Link
US (6) US9584792B2 (zh)
EP (5) EP2941884B1 (zh)
JP (4) JP6333853B2 (zh)
KR (6) KR102254608B1 (zh)
CN (5) CN104919801B (zh)
BR (1) BR112015016052B1 (zh)
ES (2) ES2898452T3 (zh)
TW (4) TWI590643B (zh)
WO (4) WO2014107378A2 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584792B2 (en) 2013-01-04 2017-02-28 Qualcomm Incorporated Indication of current view dependency on reference view in multiview coding file format
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CA2921759C (en) * 2013-10-17 2018-05-15 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
US20160105678A1 (en) * 2014-10-13 2016-04-14 Microsoft Technology Licensing, Llc Video Parameter Techniques
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
GB201502205D0 (en) * 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
US10306253B2 (en) * 2015-10-14 2019-05-28 Qualcomm Incorporated Signaling of parameter sets in files of multi-layer bitstreams
CN113014930B (zh) * 2016-01-13 2024-04-26 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
EP3422731B1 (en) * 2016-02-22 2021-08-25 Sony Group Corporation File generation device, file generation method, reproduction device, and reproduction method
WO2017145756A1 (ja) * 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
US10410441B2 (en) * 2016-05-16 2019-09-10 Wi-Tronix, Llc Real-time data acquisition and recording system viewer
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10699389B2 (en) * 2016-05-24 2020-06-30 Qualcomm Incorporated Fisheye rendering with lens distortion correction for 360-degree video
US10652630B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
WO2017203098A1 (en) * 2016-05-24 2017-11-30 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
TWI637356B (zh) * 2016-06-30 2018-10-01 聯發科技股份有限公司 將全向圖像映射到佈局輸出格式的方法和裝置
CN109074678B (zh) * 2016-12-30 2021-02-05 华为技术有限公司 一种信息的处理方法及装置
US11049323B2 (en) * 2017-03-24 2021-06-29 Mediatek Inc. Method and apparatus for deriving VR projection, packing, ROI and viewport related tracks in ISOBMFF and supporting viewport roll signaling
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
GB2563439B (en) * 2017-06-16 2022-02-16 Canon Kk Methods, devices, and computer programs for improving streaming of portions of media data
CN107395456B (zh) * 2017-07-18 2021-06-29 郑州云海信息技术有限公司 分布式文件系统流直存测试方法及平台
JP2019054417A (ja) 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
JP7239029B2 (ja) * 2017-09-15 2023-03-14 ソニーグループ株式会社 画像処理装置およびファイル生成装置
CN107734321A (zh) * 2017-09-26 2018-02-23 韩世民 一种基于移动设备的3d成像方法
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
WO2020003269A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for lut updating
BR112020024162A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método de processamento de vídeo e aparelho para processar dados de vídeo, meios de armazenamento e de gravação legíveis por computador não transitórios, método para armazenar uma representação de fluxo de bits de um vídeo
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
CN110662064B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 Lut中的运动候选的检查顺序
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
KR102624513B1 (ko) * 2018-08-06 2024-01-12 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 3차원 데이터 저장 방법, 3차원 데이터 취득 방법, 3차원 데이터 저장 장치, 및 3차원 데이터 취득 장치
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
WO2020261690A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
EP4066513A4 (en) * 2019-11-29 2023-01-25 ZTE Corporation METHOD AND DEVICE FOR VIDEO EDITING WITH MULTIPLE VIEWS
EP4057632A4 (en) * 2019-12-13 2023-01-04 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
EP4114005A4 (en) * 2020-03-18 2023-08-09 LG Electronics, Inc. POINT CLOUD DATA TRANSMISSION DEVICE, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD
CN113766271B (zh) * 2020-06-04 2022-07-12 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法、装置及设备
US11677979B2 (en) * 2020-08-24 2023-06-13 Tencent America LLC Freeview video coding
EP3965421A1 (en) 2020-09-02 2022-03-09 Lemon Inc. Association of operation point info properties to vvc image items
KR20220030192A (ko) 2020-09-02 2022-03-10 레몬 인크. 미디어 파일에서의 이미지 전환들을 위한 전환 기간
US11711518B2 (en) 2020-09-17 2023-07-25 Lemon Inc. Decoding capability information storage in video coding
KR20220037380A (ko) 2020-09-17 2022-03-24 레몬 인크. 코딩된 비디오에서의 크로마 포맷 및 비트 깊이 표시
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding
US11640647B2 (en) * 2021-03-03 2023-05-02 Qualcomm Incorporated Methods and apparatus for intra-wave texture looping
US11962808B2 (en) 2021-04-18 2024-04-16 Lemon Inc. Video usability information in common media application format
US11750843B2 (en) * 2021-06-28 2023-09-05 Tencent America LLC Multiview-related supplementary enhancement information messages
CN113497943A (zh) * 2021-08-09 2021-10-12 杭州小影创新科技股份有限公司 一种深度信息的量化和编码方法
CN115914672A (zh) * 2021-08-10 2023-04-04 腾讯科技（深圳）有限公司 自由视角视频的文件封装方法、装置、设备及存储介质

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2333411B (en) 1998-01-14 2002-07-17 Ibm Document scanning system
BR0309770A (pt) * 2002-05-01 2005-03-22 Ibm Computador, método de configuração de dispositivo de exibição, e programa
US7483488B1 (en) 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
JP3862620B2 (ja) 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、及び画像処理方法
CN100423539C (zh) 2004-02-23 2008-10-01 Toa株式会社 图像压缩方法、图像压缩装置、图像传输系统、数据压缩预处理装置及数据压缩预处理方法
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
JP5587552B2 (ja) 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
JP4818373B2 (ja) * 2006-01-09 2011-11-16 韓國電子通信研究院 Ｓｖｃファイルのデータ共有方法およびそのファイル
EP2130374A4 (en) 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
EP2914000A1 (en) * 2007-06-19 2015-09-02 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
WO2009002115A2 (en) 2007-06-26 2008-12-31 Lg Electronics Inc. Media file format based on, method and apparatus for reproducing the same, and apparatus for generating the same
US8331663B2 (en) 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
EP2149264B1 (en) 2007-07-02 2011-01-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing and reading a file having a media data container and a metadata container
KR101530713B1 (ko) 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
EP2088789A3 (en) 2008-02-05 2012-08-15 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
CA2730543C (en) 2008-07-16 2014-04-22 Nokia Corporation Method and apparatus for track and track subset grouping
US9973739B2 (en) 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding
WO2010060442A1 (en) * 2008-11-26 2010-06-03 Telefonaktiebolaget Lm Ericsson (Publ) Technique for handling media content to be accessible via multiple media tracks
JP6159507B2 (ja) 2009-02-19 2017-07-05 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ映像フォーマット
JP5274359B2 (ja) 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
CN102461171A (zh) 2009-05-01 2012-05-16 汤姆森特许公司 三维视频的参考画面列表
US9148673B2 (en) 2009-06-25 2015-09-29 Thomson Licensing Depth map coding
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
KR101290467B1 (ko) * 2009-09-22 2013-07-26 퀄컴 인코포레이티드 2 개 이상의 비연속적인 ｎａｌ 유닛들을 참조하는 추출자를 이용하는 멀티-트랙 비디오 코딩 방법들 및 장치
KR101847072B1 (ko) 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US20110304618A1 (en) 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
US9288490B2 (en) * 2010-09-30 2016-03-15 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9398313B2 (en) 2010-12-29 2016-07-19 Nokia Technologies Oy Depth map coding
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US20120219069A1 (en) 2011-02-28 2012-08-30 Chong Soon Lim Methods and apparatuses for encoding and decoding images of a plurality of views using multiview video coding standard and mpeg-2 video standard
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2014528190A (ja) * 2011-08-12 2014-10-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） カメラおよび／または深度パラメータのシグナリング
WO2013030458A1 (en) * 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
US20130113882A1 (en) 2011-11-08 2013-05-09 Sony Corporation Video coding system and method of operation thereof
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
GB201202754D0 (en) 2012-02-17 2012-04-04 Qatar Foundation Multicasting multiview 3D videos
WO2013165215A1 (ko) * 2012-05-04 2013-11-07 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
BR112015006178B1 (pt) 2012-09-21 2022-11-16 Nokia Technologies Oy Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
US9544612B2 (en) 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US20150245063A1 (en) 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
US9584792B2 (en) 2013-01-04 2017-02-28 Qualcomm Incorporated Indication of current view dependency on reference view in multiview coding file format

Also Published As

Publication number Publication date
CN104919801A (zh) 2015-09-16
ES2898452T3 (es) 2022-03-07
WO2014107376A2 (en) 2014-07-10
TWI603608B (zh) 2017-10-21
US20140192152A1 (en) 2014-07-10
EP2941889B1 (en) 2021-10-20
US9357199B2 (en) 2016-05-31
EP3866467A1 (en) 2021-08-18
WO2014107376A3 (en) 2015-04-16
EP2941865A2 (en) 2015-11-11
CN104904204B (zh) 2019-05-14
WO2014107378A3 (en) 2015-04-09
CN104919800A (zh) 2015-09-16
BR112015016052A2 (pt) 2017-07-11
TWI554087B (zh) 2016-10-11
WO2014107374A2 (en) 2014-07-10
KR102184062B1 (ko) 2020-11-27
CN104904221B (zh) 2018-11-30
EP2941884B1 (en) 2021-12-08
JP6324996B2 (ja) 2018-05-16
EP2941890A2 (en) 2015-11-11
US10791315B2 (en) 2020-09-29
JP2016509399A (ja) 2016-03-24
KR20150103225A (ko) 2015-09-09
KR20180023071A (ko) 2018-03-06
KR20150104130A (ko) 2015-09-14
WO2014107377A2 (en) 2014-07-10
JP2016508335A (ja) 2016-03-17
KR20150104132A (ko) 2015-09-14
TW201440499A (zh) 2014-10-16
TW201440486A (zh) 2014-10-16
KR102254608B1 (ko) 2021-05-20
KR101928136B1 (ko) 2018-12-11
US11178378B2 (en) 2021-11-16
ES2904350T3 (es) 2022-04-04
JP6333853B2 (ja) 2018-05-30
WO2014107377A3 (en) 2015-04-16
BR112015016052B1 (pt) 2023-04-11
KR102113898B1 (ko) 2020-05-21
EP2941889A2 (en) 2015-11-11
EP2941884A2 (en) 2015-11-11
CN110198451A (zh) 2019-09-03
KR20150104131A (ko) 2015-09-14
CN104904204A (zh) 2015-09-09
US20140192151A1 (en) 2014-07-10
WO2014107378A2 (en) 2014-07-10
US20200336726A1 (en) 2020-10-22
CN104904221A (zh) 2015-09-09
TWI535271B (zh) 2016-05-21
JP6441233B2 (ja) 2018-12-19
EP2941890B1 (en) 2022-01-26
US9648299B2 (en) 2017-05-09
JP2016506693A (ja) 2016-03-03
JP6279613B2 (ja) 2018-02-14
CN104919800B (zh) 2019-03-01
CN104919801B (zh) 2018-06-05
KR102209478B1 (ko) 2021-01-28
KR20210011508A (ko) 2021-02-01
US20140193139A1 (en) 2014-07-10
TW201444346A (zh) 2014-11-16
US10873736B2 (en) 2020-12-22
US9584792B2 (en) 2017-02-28
TW201429257A (zh) 2014-07-16
CN110198451B (zh) 2023-04-07
WO2014107374A3 (en) 2015-04-09
US20170134708A1 (en) 2017-05-11
US20140192153A1 (en) 2014-07-10
JP2016507967A (ja) 2016-03-10

Similar Documents

Publication Publication Date Title
TWI590643B (zh) 針對多視圖加深度寫碼之軌跡中紋理及深度視圖的存在之指示
TWI659319B (zh) 用於在檔案格式中樣本分組發信號之方法及器件