TWI458334B - 用於檔案格式軌跡選擇之媒體提取器軌跡 - Google Patents

Description

用於檔案格式軌跡選擇之媒體提取器軌跡

本發明係關於經編碼之視訊資料的傳送。

本申請案主張以下美國臨時申請案之權利：2009年9月16日申請之美國臨時申請案第61/243,030號、2009年9月22日申請之美國臨時申請案第61/244,827號、2010年1月11日申請之美國臨時申請案第61/293,961號及2010年1月15日申請之美國臨時申請案第61/295,261號，該等臨時申請案中之每一者的全部內容以引用之方式併入本文中。

可將數位視訊能力併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準及此等標準之擴展中描述的視訊壓縮技術，以更有效地傳輸及接收數位視訊資訊。

視訊壓縮技術執行空間預測及/或時間預測以減小或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，視訊訊框或切片可分割為巨型區塊。每一巨型區塊可經進一步分割。框內寫碼(I)訊框或切片中之巨型區塊係使用相對於鄰近巨型區塊之空間預測進行編碼。框間寫碼(P或B)訊框或切片中之巨型區塊可使用相對於同一訊框或切片中之鄰近巨型區塊的空間預測或相對於其他參考訊框之時間預測。

在已編碼視訊資料之後，可由多工器封包化視訊資料以供傳輸或儲存。MPEG-2包括定義許多視訊編碼標準之傳送等級的「系統」部分。MPEG-2傳送等級系統可由MPEG-2視訊編碼器或遵照不同視訊編碼標準之其他視訊編碼器使用。舉例而言，MPEG-4規定不同於MPEG-2之編碼及解碼方法的編碼及解碼方法，但實施MPEG-4標準之技術的視訊編碼器仍可利用MPEG-2傳送等級方法。一般而言，對「MPEG-2系統」之提及指代由MPEG-2規定之視訊資料的傳送等級。MPEG-2規定之傳送等級在本發明中亦稱為「MPEG-2傳送流」，或簡稱為「傳送流」。同樣，MPEG-2系統之傳送等級亦包括程式流。傳送流及程式流通常包括用於遞送類似資料之不同格式，其中傳送流包含包括音訊資料及視訊資料兩者之一或多個「程式」，而程式流包括一個包括音訊資料及視訊資料兩者的程式。

已努力開發基於H.264/AVC之新視訊寫碼標準。一種此標準為係對H.264/AVC之可擴充擴展的可擴充視訊寫碼(SVC)標準。另一標準為多視圖視訊寫碼(MVC)，其為對H.264/AVC之多視圖擴展。MPEG-2系統規範描述經壓縮之多媒體(視訊及音訊)資料流可如何與其他資料一起進行多工以形成適於數位傳輸或儲存的單一資料流。在2006年5月之「Information Technology-Generic Coding of Moving Pictures and Associated Audio: Systems,Recommendation H.222.0;International Organisation for Standardisation,ISO/IEC JTC1/SC29/WG11;Coding of Moving Pictures and Associated Audio」中指定MPEG-2系統之最新規範。MPEG最近設計優於MPEG-2系統之MVC傳送標準，且此規範之最新版本為「Study of ISO/IEC 13818-1:2007/FPDAM4 Transport of MVC」，MPEG doc. N10572,MPEG of ISO/IEC JTC1/SC29/WG11(美國夏威夷毛伊島，2009年4月)。

MVC之最新聯合草案描述於JVT-AB204，「Joint Draft 8.0 on Multiview Video Coding」(德國漢諾威第28次JVT會議，2008年7月)中，其可在http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip處獲得。整合於AVC標準中之較新版本描述於JVT-AD007，「Editors」draft revision to ITU-T Rec. H.264|ISO/IEC 14496-10 Advanced Video Coding-in preparation for ITU-T SG 16 AAP Consent(in integrated form)」(瑞士日內瓦第30次JVT會議，2009年2月)中，其可在http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip處獲得。

一般而言，本發明描述用於在多軌跡視訊資料格式中使用媒體提取器以形成一媒體提取器軌跡的技術。本發明修改國際標準組織(ISO)基礎媒體格式以利用一提取器，該提取器能夠參考一或多個潛在不連續網路存取層(NAL)單元。此提取器可存在於一ISO基礎媒體格式檔案之任何軌跡中。本發明亦描述對第三代合作夥伴計劃(3GPP)檔案格式之修改以包括一訊框率值作為一軌跡選擇箱(track selection box)之一屬性。本發明進一步關於對該ISO基礎媒體格式之多視圖視訊寫碼(MVC)擴展來描述該提取器之使用以支援MVC操作點的有效提取。

在一實例中，一種用於編碼視訊資料之方法包括：藉由一源視訊器件基於經編碼之視訊資料來建構一第一軌跡，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；藉由該源視訊器件建構一包括一提取器之第二軌跡，該提取器識別該第一軌跡之該視訊樣本中之該複數個NAL單元中的至少一者，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二經識別之NAL單元為不連續的；將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式的視訊檔案中；及輸出該視訊檔案。

在另一實例中，一種用於編碼視訊資料之裝置包括：一編碼器，其經組態以編碼視訊資料；一多工器，其經組態以：基於該經編碼之視訊資料來建構一第一軌跡，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；建構一包括一提取器之第二軌跡，該提取器識別該第一軌跡之該視訊樣本中之該複數個NAL單元中的至少一者，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二經識別之NAL單元為不連續的；將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式的視訊檔案中；及一輸出介面，其經組態以輸出該視訊檔案。

在另一實例中，一種用於編碼視訊資料之裝置包括：用於基於經編碼之視訊資料來建構一第一軌跡之構件，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；用於建構一包括一提取器之第二軌跡之構件，該提取器識別該第一軌跡之該視訊樣本中之該複數個NAL單元中的至少一者，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二NAL單元為不連續的；用於將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案中的構件；及用於輸出該視訊檔案之構件。

在另一實例中，一種電腦可讀儲存媒體包含指令，該等指令在執行時使一源器件之一處理器進行以下操作：基於經編碼之視訊資料來建構一第一軌跡，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；建構一包括一提取器之第二軌跡，該提取器識別該第一軌跡之該視訊樣本中之該複數個NAL單元中的至少一者，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二經識別之NAL單元為不連續的；將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式的視訊檔案中；及輸出該視訊檔案。

在另一實例中，一種用於解碼視訊資料之方法包括：藉由一目的地器件之一解多工器接收一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括一包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括一識別該第一軌跡之該複數個NAL單元中之至少一者的提取器，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二經識別之NAL單元為不連續的；選擇該第二軌跡以進行解碼；及將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至該目的地器件之一視訊解碼器。

在另一實例中，一種用於解碼視訊資料之裝置包括：一視訊解碼器，其經組態以解碼視訊資料；及一解多工器，其經組態以：接收一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括一包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括一識別該第一軌跡之該複數個NAL單元中之至少一者的提取器，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二經識別之NAL單元為不連續的；選擇該第二軌跡以進行解碼；及將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至該視訊解碼器。

在另一實例中，一種用於解碼視訊資料之裝置包括：用於藉由一目的地器件之一解多工器接收一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案之構件，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括一識別該第一軌跡之該複數個NAL單元中之至少一者的提取器，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二經識別之NAL單元為不連續的；用於選擇該第二軌跡以進行解碼之構件；及用於將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至該目的地器件之一視訊解碼器的構件。

在另一實例中，一種電腦可讀儲存媒體編碼有指令，該等指令在執行時使一目的地器件之一處理器進行以下操作：在接收到一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案之後，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括一包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括一識別該第一軌跡之該複數個NAL單元中之至少一者的提取器，該複數個NAL單元中之該至少一者包含一第一經識別之NAL單元，且其中該提取器識別該存取單元之一第二NAL單元，其中該第一經識別之NAL單元與該第二經識別之NAL單元為不連續的，選擇該第二軌跡以進行解碼；及將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至一視訊解碼器。

一或多個實例之細節在隨附圖式及以下描述中進行闡述。其他特徵、目標及優點將自描述及圖式且自申請專利範圍而顯而易見。

本發明之技術大體上係針對增強國際標準組織(ISO)基礎媒體檔案格式及ISO基礎媒體檔案格式之擴展。ISO基礎媒體檔案格式之擴展包括(例如)進階視訊寫碼(AVC)檔案格式、可擴充視訊寫碼(SVC)檔案格式、多視圖視訊寫碼(MVC)檔案格式及第三代合作夥伴計劃(3GPP)檔案格式。一般而言，本發明之技術可用以產生呈ISO基礎媒體檔案格式及/或ISO基礎媒體檔案格式之擴展的媒體提取器軌跡。如下文更詳細描述，在一些實例中，此等媒體提取器軌跡可用以支援超文字傳送協定(HTTP)視訊串流中之調適。在一些實例中，媒體提取器形成ISO基礎媒體檔案格式及/或ISO基礎媒體檔案格式之擴展(例如，AVC、SVC、MVC及3GPP)之部分以提取另一軌跡之整個樣本從而形成新媒體提取器軌跡。

此等技術可由MPEG-2(動畫專家群)系統(亦即，在傳送等級細節方面遵照MPEG-2之系統)使用。MPEG-4(例如)提供用於視訊編碼之標準，但通常假設遵照MPEG-4標準之視訊編碼器將利用MPEG-2傳送等級系統。因此，本發明之技術適用於遵照以下各者之視訊編碼器：MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，或利用MPEG-2傳送流及/或程式流之任何其他視訊編碼標準。

ISO基礎媒體檔案格式提供包括一或多個軌跡之檔案。ISO基礎媒體檔案格式標準將軌跡定義為相關樣本之按時間順序的序列。ISO基礎媒體檔案格式標準將樣本定義為與單一時戳相關聯之資料，並提供樣本之實例作為視訊之個別訊框、按解碼次序之一系列視訊訊框，或音訊之按解碼次序的經壓縮區段。稱為示意軌跡(hint track)之特殊軌跡並不含有媒體資料，而含有用於將一或多個軌跡封裝於串流頻道中的指令。ISO基礎媒體檔案格式標準指出，在示意軌跡中，樣本定義一或多個串流封包之形成。

本發明之技術提供媒體提取器軌跡之建立。媒體提取器軌跡通常可包括一或多個提取器。媒體提取器軌跡中之提取器用以識別並提取另一軌跡之樣本。以此方式，可將媒體提取器軌跡中之媒體提取器視為指標，該等指標在解參考時自另一軌跡擷取樣本。不同於SVC之提取器，例如，本發明之提取器可參考另一軌跡之一或多個潛在不連續的網路存取層(NAL)單元。根據本發明之技術，媒體提取器軌跡、含有一或多個媒體提取器之軌跡及不包括媒體提取器之其他軌跡可分組在一起以形成交替群組。

本發明關於NAL單元使用術語「連續的」以描述在同一軌跡中連續出現之兩個或兩個以上NAL單元。亦即，當兩個NAL單元為連續的時，該等NAL單元中之一者中的資料之最末位元組緊接於同一軌跡中之另一NAL單元的資料的第一位元組之前。在同一存取單元中之兩個NAL單元在同一軌跡內分離開某一資料量的情況下，或在一NAL單元在一軌跡中出現而另一NAL單元在不同軌跡中出現的情況下，通常認為該兩個NAL單元係「不連續的」。本發明之技術提供一可識別一存取單元之兩個或兩個以上不連續NAL單元的提取器。

此外，本發明之提取器並不限於SVC，而是通常可包括於ISO基礎媒體檔案格式或ISO基礎媒體檔案格式之任何其他擴展(諸如，AVC、SVC或MVC)中。本發明之提取器亦可包括於第三代合作夥伴計劃(3GPP)檔案格式中。本發明另外提供修改3GPP檔案格式以明確地傳訊訊框率作為軌跡選擇箱之一屬性。

媒體提取器軌跡可用於MVC檔案格式中(例如)以支援操作點之提取。伺服器器件可在MPEG-2傳送層位元流中提供各種操作點，該等操作點中之每一者對應於多視圖視訊寫碼視訊資料之特定視圖的一各別子集。亦即，操作點通常對應於位元流之視圖之一子集。在一些實例中，操作點之每一視圖包括處於相同訊框率之視訊資料。根據本發明之技術，操作點可使用一媒體提取器軌跡來表示，該媒體提取器軌跡包括參考其他軌跡之視訊資料之一或多個提取器，及並未包括於其他軌跡中的潛在額外樣本。

以此方式，每一操作點可僅包括解碼操作點所需要之必要NAL單元，以便以共同訊框率輸出視圖之一子集。提取器軌跡與MVC視訊之整體表示的組合可形成MVC表示之播放清單。本發明之媒體提取器軌跡之使用可支援操作點選擇及(例如)具有由時間可調能力引起之各種位元率之操作點的切換。

本發明之媒體提取器軌跡亦可用以形成交替群組或切換群組。亦即，在ISO基礎媒體檔案格式中，軌跡可分組在一起以形成交替群組。在ISO基礎媒體檔案格式之實例中，交替群組之軌跡形成對彼此之可行替代，使得在任一時間通常播放或串流交替群組之軌跡中的僅一者。交替群組之軌跡應可(例如)經由諸如位元率、編解碼器、語言、封包大小之屬性或其他特性而與交替群組之其他軌跡區分開。本發明之技術提供對媒體提取器軌跡、含有媒體提取器之軌跡及/或其他正常視訊軌跡進行分組，以形成交替群組。在遵照MVC之實例中，每一軌跡可對應於一各別操作點。亦即，MVC中之每一操作點可由軌跡中之一特定軌跡(例如，媒體提取器軌跡或不包括媒體提取器之軌跡)來表示。同一交替群組中之一軌跡通常經選擇以用於漸進式下載，以適應於可用頻寬。

類似地，媒體提取器軌跡及其他軌跡可分組在一起以形成3GPP檔案格式之切換群組，且可用於軌跡選擇以適應HTTP串流應用中的頻寬及解碼器能力。3GPP檔案格式提供軌跡之切換群組之定義。切換群組中之軌跡屬於同一交替群組。亦即，根據3GPP檔案格式，同一切換群組中之軌跡可用於在會話期間進行切換，而不同切換群組中之軌跡不可用於切換。

圖1為說明音訊/視訊(A/V)源器件20將音訊資料及視訊資料傳送至A/V目的地器件40之實例系統10的方塊圖。A/V源器件20亦可稱為「源視訊器件」。圖1之系統10可對應於視訊電話會議系統、伺服器/用戶端系統、廣播裝置/接收器系統，或其中將視訊資料自源器件(諸如，A/V源器件20)發送至目的地器件(諸如，A/V目的地器件40)的任何其他系統。A/V目的地器件40亦可稱為「目的地視訊器件」或「用戶端器件」。在一些實例中，A/V源器件20及A/V目的地器件40可執行雙向資訊交換。亦即，A/V源器件20及A/V目的地器件40可能能夠編碼並解碼(且傳輸並接收)音訊資料及視訊資料。在一些實例中，音訊編碼器26可包含亦稱為聲碼器(vocoder)之語音編碼器。

圖1之實例中之A/V源器件20包含音訊源22及視訊源24。音訊源22可包含(例如)麥克風，其產生表示待由音訊編碼器26編碼之所捕獲音訊資料的電信號。或者，音訊源22可包含一儲存先前記錄之音訊資料之儲存媒體、諸如電腦化合成器之音訊資料產生器，或任何其他音訊資料源。視訊源24可包含產生待由視訊編碼器28編碼之視訊資料的視訊相機、編碼有先前記錄之視訊資料的儲存媒體、視訊資料產生單元，或任何其他視訊資料源。

原始音訊資料及視訊資料可包含類比或數位資料。類比資料在由音訊編碼器26及/或視訊編碼器28編碼之前可經數位化。音訊源22可在談話參與者正在談話之同時自談話參與者獲得音訊資料，且視訊源24可同時獲得談話參與者之視訊資料。在其他實例中，音訊源22可包含一包含所儲存之音訊資料的電腦可讀儲存媒體，且視訊源24可包含一包含所儲存之視訊資料的電腦可讀儲存媒體。以此方式，本發明中所描述之技術可應用至直播之串流即時音訊資料及視訊資料，或應用至經封存之預先記錄之音訊資料及視訊資料。

對應於視訊訊框之音訊訊框通常為含有音訊資料之音訊訊框，該音訊資料由音訊源22與由視訊源24捕獲之含於視訊訊框內之視訊資料同時捕獲。舉例而言，在談話參與者通常藉由談話產生音訊資料時，音訊源22捕獲音訊資料，且視訊源24同時(亦即，在音訊源22正捕獲音訊資料時)捕獲談話參與者之視訊資料。因此，音訊訊框可在時間上對應於一或多個特定視訊訊框。因此，對應於視訊訊框之音訊訊框通常對應於同時捕獲音訊資料及視訊資料之情形，且對於該情形而言，音訊訊框及視訊訊框分別包含同時捕獲之音訊資料及視訊資料。

在一些實例中，音訊編碼器26可編碼每一經編碼音訊訊框中之時戳，該時戳表示記錄經編碼音訊訊框之音訊資料的時間，且類似地，視訊編碼器28可編碼每一經編碼視訊訊框中之時戳，該時戳表示記錄經編碼視訊訊框之視訊資料的時間。在此等實例中，對應於視訊訊框之音訊訊框可包含一包含時戳之音訊訊框及一包含同一時戳的視訊訊框。A/V源器件20可包括可供音訊編碼器26及/或視訊編碼器28產生時戳或可供音訊源22及視訊源24用以使音訊資料及視訊資料分別與時戳相關聯的內部時鐘。

在一些實例中，音訊源22可將對應於記錄音訊資料之時間的資料發送至音訊編碼器26，且視訊源24可將對應於記錄視訊資料之時間的資料發送至視訊編碼器28。在一些實例中，音訊編碼器26可在經編碼音訊資料中編碼一序列識別符，以指示經編碼音訊資料中之相對時間排序但未必指示記錄音訊資料之絕對時間，且類似地，視訊編碼器28亦可使用序列識別符來指示經編碼視訊資料的相對時間排序。類似地，在一些實例中，序列識別符可經映射，或以其他方式與時戳相關。

本發明之技術通常係針對經編碼多媒體(例如，音訊及視訊)資料之傳送，及經傳送多媒體資料之接收及後續解譯以及解碼。本發明之技術可應用至各種標準及擴展之視訊資料(諸如，可擴充視訊寫碼(SVC)、進階視訊寫碼(AVC)、OSI基礎層或多視圖視訊寫碼(MVC)資料)或包含複數個視圖之其他視訊資料的傳送。如圖1之實例中所示，視訊源24可向視訊編碼器28提供一場景之複數個視圖。視訊資料之多個視圖可用於產生待由三維顯示器(諸如，戴眼鏡式立體或眼式立體三維顯示器)使用之三維視訊資料。

A/V源器件20可向A/V目的地器件40提供「服務」。服務通常對應於MVC資料之可用視圖的子集。舉例而言，多視圖視訊資料可用於以零至七排序之八個視圖。一服務可對應於具有兩個視圖之立體視訊，而另一服務可對應於四個視圖，且又一服務可對應於所有八個視圖。一般而言，一服務對應於可用視圖之任一組合(亦即，任一子集)。服務亦可對應於可用視圖以及音訊資料之組合。

A/V源器件20根據本發明之技術能夠提供對應於視圖之一子集的服務。一般而言，一視圖藉由亦稱為「view_id」之視圖識別符來表示。視圖識別符通常包含可用以識別視圖之語法要素。在編碼視圖時，MVC編碼器提供視圖之view_id。view_id可由MVC解碼器使用以用於視圖間預測，或由其他單元使用以用於其他用途(例如，用於顯現)。

視圖間預測為用於參看共同時間位置處之一或多個訊框編碼一訊框之MVC視訊資料作為不同視圖之經編碼訊框的技術。下文更詳細論述之圖7提供用於視圖間預測之實例寫碼方案。一般而言，MVC視訊資料之經編碼訊框可經空間、時間預測性編碼，及/或參看共同時間位置處之其他視圖的訊框而經預測性編碼。因此，供預測其他視圖之參考視圖通常在參考視圖充當參考之視圖之前進行解碼，使得此等經解碼視圖在解碼有參考內容之視圖時可用於參考。解碼次序不必對應於view_id之次序。因此，使用視圖次序索引來描述視圖之解碼次序。視圖次序索引為指示存取單元中之相應視圖組件之解碼次序的索引。

每一個別資料(音訊或視訊)流稱為基本流。基本流為程式之單一經數位寫碼(可能經壓縮)組件。舉例而言，程式之經寫碼視訊或音訊部分可為基本流。基本流在多工為程式流或傳送流之前可轉換為經封包化之基本流(PES)。在同一程式內，流ID用以區分屬於一基本流之PES封包與屬於其他基本流的PES封包。基本流之基本資料單元為經封包化之基本流(PES)封包。因此，MVC視訊資料之每一視圖對應於各別基本流。類似地，音訊資料對應於一或多個各別基本流。

經MVC寫碼之視訊序列可分離成若干子位元流，該等子位元流中之每一者為一基本流。可使用MVC view_id子集來識別每一子位元流。基於每一MVC view_id子集之概念，定義MVC視訊子位元流。MVC視訊子位元流含有在MVC view_id子集中列出之視圖的NAL單元。程式流通常含有僅係來自基本流之NAL單元的NAL單元。亦設計任兩個基本流不可含有相同視圖。

在圖1之實例中，多工器30接收來自視訊編碼器28之包含視訊資料之基本流及來自音訊編碼器26之包含音訊資料的基本流。在一些實例中，視訊編碼器28及音訊編碼器26可各自包括用於自經編碼資料形成PES封包的封包化器。在其他實例中，視訊編碼器28及音訊編碼器26可各自與用於自經編碼資料形成PES封包的各別封包化器介接。在其他實例中，多工器30可包括用於自經編碼音訊資料及視訊資料形成PES封包之封包化器。

如本發明中所使用之「程式」可包含音訊資料及視訊資料之組合，例如，藉由A/V源器件20之服務所遞送之音訊基本流及可用視圖之一子集。每一PES封包包括一識別PES封包所屬於之基本流的stream_id。多工器30可將基本流組合為構成性程式流或傳送流。程式流及傳送流係目標為不同應用之兩個替代性多工。

一般而言，程式流包括一程式之資料，而傳送流可包括一或多個程式之資料。多工器30可基於以下各者來編碼程式流或傳送流中之任一者或兩者：正提供之服務、流將傳遞至之媒體、待發送之程式之數目，或其他考慮事項。舉例而言，當將在儲存媒體中編碼視訊資料時，多工器30可能更有可能形成程式流，而當將經由網路串流、廣播或發送作為視訊電話之部分的視訊資料時，多工器30可能更有可能使用傳送流。

可使多工器30更傾向於使用程式流來用於來自數位儲存服務之單一程式的儲存及顯示。因為程式流對於錯誤為相當敏感的，所以程式流意欲用於無錯誤環境或較不容易遭遇錯誤的環境中。程式流僅包含屬於其之基本流，且通常含有可變長度封包。在程式流中，自相關基本流得出之PES封包經組織為「套包(pack)」。套包包含套包標頭、可選系統標頭，及自相關基本流中之任一者獲取的採用任一次序之任何數目個PES封包。系統標頭含有程式流之特性之概述，諸如其最大資料速率、相關視訊及音訊基本流之數目、其他時序資訊，或其他資訊。解碼器可使用含於系統標頭中之資訊以判定解碼器是否能夠解碼程式流。

多工器30可使用一傳送流用於經由潛在易於出錯之頻道同時遞送複數個程式。傳送流為針對多程式應用(諸如，廣播)設計之多工，使得單一傳送流可容納許多獨立程式。傳送流包含一連串傳送封包，該等傳送封包中之每一者為188位元組長。短固定長度封包之使用意謂，傳送流相較於程式流對錯誤較不敏感。另外，可藉由經由標準錯誤保護過程(諸如，李德-所羅門編碼)處理封包來向每一188位元組長之傳送封包提供額外錯誤保護。舉例而言，傳送流之改良之抗誤性意謂，傳送流更可能使在廣播環境中所見之易於出錯之頻道存續下來。

看起來具有增大之抗誤性及載運許多同時程式之能力的傳送流為兩個多工中之較佳者。然而，傳送流相較於程式流為更複雜之多工，且因此更難以產生且難以解多工。傳送封包之第一位元組為具有值0x47(十六進制47、二進制「01000111」、十進制71)的同步位元組。單一傳送流可載運許多不同程式，每一程式包含許多封包化之基本流。多工器30可使用13位元封包識別符(PID)欄位來區分含有一基本流之資料的傳送封包與載運其他基本流之資料的封包。多工器負責確保向每一基本流授予一唯一PID值。傳送封包之最末位元組為連續性計數欄位。多工器30使屬於同一基本流之連續傳送封包之間的連續性計數欄位的值遞增。此情形使得目的地器件(諸如，A/V目的地器件40)之解碼器或其他單元能夠偵測到傳送封包之丟失或增益，並有希望隱匿原本可能由此類事件導致的錯誤。

多工器30接收來自音訊編碼器26及視訊編碼器28之程式之基本流的PES封包，且自PES封包形成相應網路抽象層(NAL)單元。在H.264/AVC(進階視訊寫碼)之實例中，經寫碼之視訊片段組織為NAL單元，該等NAL單元提供解決諸如視訊電話、儲存、廣播或串流之應用的「網路親和性」視訊表示。NAL單元可分類成視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL單元含有核心壓縮引擎，且可包含區塊、巨型區塊及/或切片等級。其他NAL單元為非VCL NAL單元。

多工器30可形成NAL單元，該等NAL單元包含一識別NAL所屬於之程式的標頭，以及有效負載，例如音訊資料、視訊資料或描述NAL單元對應於之傳送流或程式流的資料。舉例而言，在H.264/AVC中，NAL單元可包括一位元組標頭及可變大小之有效負載。在一實例中，NAL單元標頭包含priority_id要素、temporal_id要素、anchor_pic_flag要素、view_id要素、non_idr_flag要素，及inter_view_flag要素。在習知MVC中，保留藉由H.264定義之NAL單元(除包括4位元組MVC NAL單元標頭及NAL單元有效負載之首碼NAL單元及經MVC寫碼之切片NAL單元外)。

NAL標頭之priority_id要素可用於簡單之單路徑位元流調適過程。temporal_id要素可用於指定相應NAL單元之時間等級，其中不同時間等級對應於不同訊框率。

anchor_pic_flag要素可指示圖片為錨定圖片或是非錨定圖片。錨定圖片及其後之採用輸出次序(亦即，顯示次序)之所有圖片可在不以解碼次序(亦即，位元流次序)解碼先前圖片的情況下經正確解碼，且因此可用作隨機存取點。錨定圖片及非錨定圖片可具有不同相依性，其兩者皆在序列參數集合中予以傳訊。將在此章節之隨後段落中論述並使用其他旗標。此錨定圖片亦可稱為開放GOP(圖像群組)存取點，而在non_idr_flag要素等於零時亦支援封閉GOP存取點。non_idr_flag要素指示圖片為即時解碼器再新(IDR)圖片或是視圖IDR(V_IDR)圖片。一般而言，IDR圖片及其後之採用輸出次序或位元流次序的所有圖片可在不以解碼次序或顯示次序解碼先前圖片的情況下經正確解碼。

view_id要素包含可用以識別視圖之語法資訊，其可用於MVC解碼器內部之資料互動(例如，用於視圖間預測)及解碼器外部之資料互動(例如，用於顯現)。inter_view_flag要素可指定相應NAL單元是否由其他視圖用於視圖間預測。為了傳達可能符合AVC之基本視圖的4位元組NAL單元標頭資訊，在MVC中定義首碼NAL單元。在MVC之情形下，基礎視圖存取單元包括視圖之當前時刻的VCL NAL單元以及其首碼NAL單元，該首碼NAL單元僅含有NAL單元標頭。H.264/AVC解碼器可忽略首碼NAL單元。

在有效負載中包括視訊資料之NAL單元可包含各種粒度等級之視訊資料。舉例而言，NAL單元可包含視訊資料區塊、巨型區塊、複數個巨型區塊、視訊資料之切片，或視訊資料的整個訊框。

一般而言，存取單元可包含用於表示視訊資料之訊框的一或多個NAL單元，以及對應於訊框之音訊資料(在此音訊資料可用時)。存取單元通常包括一輸出時刻之所有NAL單元，例如，一時刻之所有音訊資料及視訊資料。在對應於H.264/AVC之實例中，存取單元可包含在一時刻之經寫碼圖片，該圖片可呈現為初始經寫碼圖片。因此，存取單元可包含共同時刻之所有視訊訊框，例如，對應於時間X 之所有視圖組件。

本發明亦將特定視圖之經編碼圖片稱為「視圖組件」。亦即，視圖組件包含特定視圖在特定時間之經編碼圖片(或訊框)。因此，存取單元在一些實例中可包含共同時刻之所有視圖組件。存取單元之解碼次序不需要必須與輸出次序或顯示次序相同。連續存取單元之集合可形成經寫碼之視訊序列，其可對應於NAL單元位元流或子位元流之圖片群組(GOP)或其他可獨立解碼單元。

如同多數視訊寫碼標準，H.264/AVC定義無錯誤位元流之語法、語義及解碼過程，其中之任一者遵照某一規範或等級。H.264/AVC並不指定編碼器，但向編碼器分派保證所產生之位元流對於解碼器而言符合標準的任務。在視訊寫碼標準之情形下，「規範」對應於演算法、特徵或工具及施加至演算法、特徵或工具之約束的子集。舉例而言，如藉由H.264標準所定義，「規範」為藉由H.264標準指定之整個位元流語法的子集。「等級」對應於對解碼器資源消耗(諸如，解碼器記憶體及計算)的限制，該等限制係關於圖片之解析度、位元率及巨型區塊(MB)處理速率。

H.264標準(例如)確認，在藉由給定規範之語法強加之界限內，視藉由位元流中之語法要素獲取之值(諸如，經解碼圖片之指定大小)而定需要編碼器及解碼器之效能方面的大變化仍係可能的。H.264標準進一步確認，在許多應用中，實施一能夠處置特定規範內之語法的所有假設使用之解碼器為既不實際亦不經濟的。因此，H.264標準將「等級」定義為強加於位元流中之語法要素之值上的指定約束集合。此等約束可為對值之簡單限制。或者，此等約束可採用對值(例如，圖片寬度×圖片高度×每秒解碼之圖片之數目)之算術組合之約束的形式。H.264標準進一步提供，個別實施可支援每一所支援規範之不同等級。

遵照規範之解碼器一般支援在規範中定義之所有特徵。舉例而言，作為寫碼特徵，B圖片寫碼在H.264/AVC之基線規範中並不被支援，且在H.264/AVC之其他規範中被支援。遵照一等級之解碼器應能夠解碼並不需要超出在該等級中定義之限制之資源的任何位元流。規範及等級之定義可有助於解譯能力。舉例而言，在視訊傳輸期間，一對規範及等級定義可對整體傳輸會話進行協商並達成一致。更具體而言，在H.264/AVC中，等級可定義(例如)對以下各者之限制：需要進行處理之巨型區塊之數目、經解碼之圖片緩衝器(DPB)大小、經寫碼之圖片緩衝器(CPB)大小、垂直動作向量範圍、每兩個連續MB之動作向量的最大數目，及B區塊是否可具有小於8×8像素之子巨型區塊分區。以此方式，解碼器可判定解碼器是否能夠適當地解碼位元流。

參數集合通常含有序列參數集合(SPS)中之序列層標頭資訊及圖片參數集合(PPS)中的偶爾改變之圖片層標頭資訊。藉由參數集合，對於每一序列或圖片而言不需要重複此偶爾改變之資訊；因此，寫碼效率可得以改良。此外，參數集合之使用可致能標頭資訊之頻帶外傳輸，從而避免對冗餘傳輸之需要以達成抗誤性。在頻帶外傳輸中，在不同於其他NAL單元之頻道上傳輸參數集合NAL單元。

本發明之技術涉及將提取器包括於媒體提取器軌跡中。本發明之提取器可參考共同檔案中之另一軌跡的兩個或兩個以上NAL單元。亦即，檔案可包括一具有複數個NAL單元之第一軌跡及一包括一提取器的第二軌跡，該提取器識別第一軌跡之複數個NAL單元中的兩個或兩個以上NAL單元。一般而言，提取器可充當指標，使得當解多工器38遭遇提取器時，解多工器38可自第一軌跡擷取由該提取器識別之NAL單元，並將彼等NAL單元發送至視訊解碼器48。包括提取器之軌跡可稱為媒體提取器軌跡。本發明之提取器可包括於遵照(例如)以下各者之各種檔案格式的檔案中：ISO基礎媒體檔案格式、可擴充視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式，及/或多視圖視訊寫碼(MVC)檔案格式。

一般而言，視訊檔案之各種軌跡可用作切換軌跡。亦即，多工器30可包括各種軌跡以支援各種訊框率、顯示能力及/或解碼能力。舉例而言，當視訊檔案遵照MVC檔案格式時，每一軌跡可表示不同MVC操作點。因此，解多工器38可經組態以選擇軌跡中之一者，從而自所選擇軌跡擷取不同於所選擇軌跡之由提取器識別之NAL單元的NAL單元並丟棄其他軌跡之資料。亦即，當所選擇軌跡包括一參考另一軌跡之NAL單元的提取器時，解多工器38可提取經參考之NAL單元，同時丟棄其他軌跡之未經參考的NAL單元。解多工器38可將所提取之NAL單元發送至視訊解碼器48。

藉由在媒體提取器軌跡中使用提取器，本發明之技術可用以達成視訊檔案之各種軌跡之間的時間可調能力。在MPEG-1及MPEG-2中，例如，經B編碼之圖片提供固有之時間可調能力。遵照MPEG-1或MPEG-2之視訊檔案之第一軌跡可包括經I編碼之圖片、經P編碼之圖片及經B編碼之圖片的整個集合。視訊檔案之第二軌跡可包括僅參考第一軌跡之經I編碼之圖片及經P編碼之圖片的一或多個提取器，省略對經B編碼之圖片之參考。藉由捨棄經B編碼之圖片，視訊檔案可達成確定之一半解析度的視訊表示。MPEG-1及MPEG-2亦提供基礎層及增強層概念以寫碼兩個時間層，其中增強層圖片對於每一預測方向可選定來自基礎層或增強層之圖片作為參考。

作為另一實例，H.264/AVC使用階層式經B編碼之圖片以支援時間可調能力。採用H.264/AVC之視訊序列之第一圖片可稱為即時解碼器再新(IDR)圖片(亦稱為關鍵圖片)。關鍵圖片通常在規則或不規則時間間隔內進行寫碼，該等關鍵圖片使用先前關鍵圖片作為參考經框內寫碼或框間寫碼以用於經動作補償之預測。圖片群組(GOP)通常包括一關鍵圖片及在時間上定位於關鍵圖片與先前關鍵圖片之間的所有圖片。可將GOP分成兩個部分，一部分為關鍵圖片，且另一部分包括非關鍵圖片。非關鍵圖片藉由2個參考圖片進行階層式預測，該2個參考圖片為具有較低時間等級之距過去及未來最近的圖片。可向每一圖片指派時間識別符值以指示圖片之階層位置。因此，具有達N之時間識別符值之圖片可形成一視訊片段，該視訊片段具有為具有達N-1之時間識別符值的圖片所形成之視訊片段之訊框率的兩倍之訊框率。因此，本發明之技術亦可用以藉由以下操作來達成H.264/AVC中之時間可調能力：使第一軌跡包括具有達N之時間識別符值之所有NAL單元，且使第二軌跡包括一或多個提取器，該一或多個提取器參考第一軌跡之具有達N-1之時間識別符值的NAL單元。

如上文所指出，本發明之技術可應用至遵照以下各者中之至少一者的視訊檔案：ISO基礎媒體檔案格式、可擴充視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式，及多視圖視訊寫碼(MVC)檔案格式。ISO基礎媒體檔案格式經設計以含有按時間順序的媒體資訊以用於以靈活的可擴展格式進行呈現，該格式促進媒體之互換、管理、編輯及呈現。ISO基礎媒體檔案格式(ISO/IEC 14496-12:2004)指定於MPEG-4第12部分中，該MPEG-4第12部分定義基於時間之媒體檔案的通用結構。其用作該族中之其他檔案格式(諸如，經定義以支援H.264/MPEG-4 AVC視訊壓縮之AVC檔案格式(ISO/IEC 14496-15)、3GPP檔案格式、SVC檔案格式及MVC檔案格式)的基礎。3GPP檔案格式及MVC檔案格式為AVC檔案格式之擴展。ISO基礎媒體檔案格式含有媒體資料之按時間順序的序列之時序、結構及媒體資訊，諸如視聽呈現。檔案結構為物件導向式。檔案可極簡單地分解為基本物件，且該等物件之結構由其類型來暗示。

遵照ISO基礎媒體檔案格式之檔案形成為稱作「箱」之一系列物件。ISO基礎媒體檔案格式之資料含於該等箱中，且在檔案內不存在其他資料。此箱包括特定檔案格式所需之任何初始簽章。「箱」為由唯一類型識別符及長度定義之物件導向式構建區塊。通常，呈現項含於一檔案中，且媒體呈現為自含式的。電影容器(電影箱)含有媒體及視訊之中繼資料，且音訊訊框含於媒體資料容器中，且可係在其他檔案中。

呈現項(動作序列)可含於若干檔案中。所有時序及成框(位置及大小)資訊通常係在ISO基礎媒體檔案中，且輔助檔案本質上可使用任何格式。此呈現項對於含有該呈現項之系統可為「本端」的，或可經由網路或其他流遞送機制。

該等檔案可具有邏輯結構、時間結構及實體結構，且此等結構不需要進行耦合。檔案之邏輯結構可具有一又含有時間平行之軌跡之集合的電影。檔案之時間結構可為，軌跡含有按時間順序的樣本之序列，且彼等序列藉由可選編輯清單映射至整體電影的時刻表中。檔案之實體結構可自媒體資料樣本自身分離出邏輯、時間及結構分解所需要的資料。此結構資訊可集中於電影箱中，可能藉由電影片段箱在時間上進行擴展。電影箱可用文件證明樣本之邏輯及時序關係，且亦可含有該等關係位於何處的指標。彼等指標可係指向同一檔案或(例如)藉由URL參考的另一檔案中。

每一媒體流可含於專用於彼媒體類型(音訊、視訊等)之軌跡中，且可藉由樣本項來進一步參數化。樣本項可含有準確之媒體類型之「名稱」(對流進行解碼所需要之解碼器的類型)及所需要之該解碼器的任何參數化。名稱亦可採用四字元碼(例如，「moov」或「trak」)之形式。存在不僅用於MPEG-4媒體而且用於由使用此檔案格式族之其他組織使用之媒體類型的所定義之樣本項格式。

對中繼資料之支援通常採用兩種形式。首先，按時間順序的中繼資料可儲存於恰當軌跡中，視需要與其描述之媒體資料進行同步。第二，可存在對附接至電影或個別軌跡之不按時間順序的中繼資料的通用支援。結構支援為通用的，且如在中繼資料中一般允許將中繼資料資源儲存於檔案中之其他處或另一檔案中。此外，此等資源可進行命名，且可進行保護。

在ISO基礎媒體檔案格式中，樣本分組為將軌跡中之樣本中的每一者指派為一樣本群組的一成員。不需要樣本群組中之樣本為連續的。舉例而言，當呈現AVC檔案格式之H.264/AVC時，可將一時間等級中之視訊樣本取樣為一樣本群組。樣本群組可藉由以下兩個資料結構來表示：SampleToGroup箱(sbdp)及SampleGroupDescription箱。SampleToGroup箱表示樣本至樣本群組之指派。對於每一樣本群組項可存在SampleGroupDescription箱之一例項以描述相應群組之性質。

可選中繼資料軌跡可用以由每一軌跡具有之「所關心特性」對每一軌跡加標籤，對於該「所關心特性」而言，其值可不同於群組之其他成員(例如，其位元率、螢幕大小或語言)。軌跡內之一些樣本可具有特殊特性，或可經個別地識別。該特性之一實例為同步點(通常為視訊之I訊框)。此等點可藉由每一軌跡中之特殊表來識別。更一般而言，軌跡樣本之間的相依性之本質亦可使用中繼資料來用文件證明。中繼資料可如視訊軌跡般結構化為檔案格式樣本之一序列。此軌跡可稱為中繼資料軌跡。每一中繼資料樣本可結構化為一中繼資料陳述式。存在對應於可能就相應檔案格式樣本或其構成性樣本進行詢問的各種問題之各種種類陳述式。

當經由串流協定遞送媒體時，可能需要自在檔案中呈現媒體之方式變換媒體。此情形之一實例為在經由即時協定(RTP)傳輸媒體時。在檔案中，例如，視訊之每一訊框連續地儲存為檔案格式樣本。在RTP中，必須遵守專門針對所使用之編解碼器之封包化規則以將此等訊框置於RTP封包中。串流伺服器可經組態以在運轉時間計算此封包化。然而，存在對輔助串流伺服器之支援。稱作示意軌跡之特殊軌跡可置於檔案中。

示意軌跡含有用於串流伺服器之關於如何針對特定協定自媒體軌跡形成封包流的通用指令。因為此等指令之形式為獨立於媒體的，所以當引入新編解碼器時，可能不需要修正伺服器。此外，編碼及編輯軟體可不知曉串流伺服器。一旦完成對檔案之編輯，稱作示意器(hinter)之軟體片段可用以在將檔案置於串流伺服器上之前將示意軌跡添加至檔案。作為一實例，在MP4檔案格式規範中存在針對RTP流之所定義的示意軌跡格式。

3GP(3GPP檔案格式)為由第三代合作夥伴計劃(3GPP)針對3G UMTS多媒體服務定義之多媒體容器格式。其通常用於3G行動電話及具有3G能力之其他器件上，但亦可在某些2G及4G電話及器件上播放。3GPP檔案格式係基於ISO基礎媒體檔案格式。在3GPP TS26.244「Transparent end-to-end packet switched streaming service(PSS);3GPP file format(3GP)」中指定最新3GP。3GPP檔案格式將視訊流儲存為MPEG-4第2部分或H.263或MPEG-4第10部分(AVC/H.264)。因為3GPP指定樣本項及模板欄位在ISO基礎媒體檔案格式中的使用以及定義編解碼器參考之新箱，所以3GPP允許在ISO基礎媒體檔案格式(MPEG-4第12部分)中使用AMR及H.263編解碼器。對於MPEG-4媒體特定資訊在3GP檔案中之儲存，3GP規範參考MP4及AVC檔案格式，MP4及AVC檔案格式亦係基於ISO基礎媒體檔案格式。MP4及AVC檔案格式規範描述MPEG-4內容在ISO基礎媒體檔案格式中的使用。

為AVC檔案格式之擴展的SVC檔案格式具有提取器及層之新結構。提取器為提供關於樣本中之與在另一軌跡中具有相等解碼時間的視訊寫碼資料之位置及大小之資訊的指標。此情形允許在寫碼域中直接構建軌跡階層。SVC中之提取器軌跡鏈接至一或多個基礎軌跡，提取器軌跡在運轉時間自一或多個基本軌跡提取資料。提取器為具有NAL單元標頭之可藉由SVC擴展解參考的指標。若用於提取之軌跡含有不同訊框率下之視訊寫碼資料，則提取器亦含有解碼時間偏移以確保軌跡之間的同步。在運轉時間，在流傳遞至視訊解碼器之前，提取器必須由其指向之資料替換。

因為SVC中之提取器軌跡類似於視訊寫碼軌跡而結構化，所以SVC中之提取器軌跡可表示其以不同方式需要的子集。SVC提取器軌跡僅含有關於如何自另一軌跡提取資料之指令。在SVC檔案格式中，亦存在彙總工具，其可將樣本內之NAL單元彙總在一起作為一NAL單元，包括將一層中之NAL單元彙總至一彙總工具中。SVC中之提取器經設計以自以下各者提取某一範圍之位元組：樣本或彙總工具，或僅一整個NAL單元而非多個NAL單元，尤其是樣本中之不連續的NAL單元。在SVC檔案格式中，可存在許多視訊操作點。層經設計以對操作點之一或多個軌跡中的樣本進行分組。

MVC檔案格式亦支援提取器軌跡，該提取器軌跡自不同視圖提取NAL單元以形成一操作點，該操作點為採用某一訊框率之視圖的子集。MVC提取器軌跡之設計類似於SVC檔案格式中之提取器。然而，並不支援使用MVC提取器軌跡來形成交替群組。為了支援軌跡選擇，向以下MPEG提案建議MPEG:P. Frojdh、A. Norkin及C. Priddle「File format sub-track selection and switching」(ISO/IEC JTC1/SC29/WG11 MPEG M16665 ，英國，倫敦)。此提案試圖致能子軌跡等級中之交替/切換群組概念。

映射樣本群組為樣本群組之擴展。在映射樣本群組中，每一群組項(樣本之群組項)具有其「groupID」之描述，其實際上為在可能將一視圖中之NAL單元彙總為一NAL單元之後的至view_id之映射。換言之，每一樣本群組項具有其含有之在ScalableNALUMapEntry值中列出的視圖。此樣本群組項之grouping_type為「scnm」。

漸進式下載為用以描述數位媒體檔案通常使用HTTP協定自伺服器至用戶端之轉移的術語。當自電腦起始時，消費者在下載完成之前可開始播放媒體。串流媒體與漸進式下載之間的關鍵差異在於正存取數位媒體之終端使用者器件如何接收並儲存數位媒體資料。具有漸進式下載播放能力之媒體播放器依賴位於當自web伺服器下載數位媒體檔案時完整檔案之標頭中的中繼資料及數位媒體檔案之本端緩衝器。在指定量之資料可用於本端播放器件之時刻，將開始播放媒體。此指定量之緩衝藉由編碼器設定中之內容的生產者嵌入於檔案中，並由藉由媒體播放器強加之額外緩衝器設定進行加強。

在3GPP中，對於3GP檔案而言，支援HTTP/TCP/IP傳送以用於下載及漸進式下載。此外，將HTTP用於視訊串流具有一些優點，且基於HTTP之視訊串流服務正變得愈加風行。HTTP串流之一些優點包括：可使用現有網際網路組件及協定，使得不需要新努力來開發經由網路傳送視訊資料的新技術。(例如)RTP有效負載格式之其他傳送協定需要中間網路器件(例如，中間箱)以知曉媒體格式及傳訊背景。又，HTTP串流可經用戶端驅動，其避免許多控制問題。舉例而言，為了利用所有特徵以獲得最佳效能，伺服器可追蹤尚未確認之封包的大小及內容。伺服器亦可分析檔案結構並重建用戶端緩衝器之狀態以做出RD最佳切換/精簡決策。此外，可滿足對位元流變化之約束以便符合經協商之規範。HTTP在實施HTTP 1.1之Web伺服器處不必需要新硬體或軟體實施。HTTP串流亦提供TCP親和性及防火牆遍歷。本發明之技術可(例如)藉由提供位元率適應來改良視訊資料之HTTP串流以克服關於頻寬之問題。

諸如ITU-T H.261、H.262、H.263、MPEG-1、MPEG-2及H.264/MPEG-4第10部分之視訊壓縮標準利用經動作補償之時間預測來減小時間冗餘。編碼器使用來自一些先前經編碼之圖片(本文中亦稱為訊框)之經動作補償之預測，以根據動作向量來預測當前經寫碼之圖片。在典型視訊寫碼中存在三種主要圖片類型。其為經框內寫碼之圖片(「I圖片」或「I訊框」)、所預測之圖片(「P圖片」或「P訊框」)，及經雙向預測之圖片(「B圖片」或「B訊框」)。P圖片之區塊可經框內寫碼，或參看一其他圖片進行預測。在B圖片中，區塊可自一或兩個參考圖片進行預測，或可經框內寫碼。此等參考圖片可按時間次序定位於當前圖片之前或之後。

根據H.264寫碼標準，作為一實例，B圖片使用先前經寫碼之參考圖片的兩個清單(清單0及清單1)。此等兩個清單可各自含有採用時間次序之過去及/或未來之經寫碼圖片。可以以下若干方式中之一者來預測B圖片中之區塊：自清單0參考圖片之經動作補償之預測，自清單1參考圖片之經動作補償的預測，或自清單0參考圖片及清單1參考圖片兩者之組合的經動作補償之預測。為了獲得清單0參考圖片及清單1參考圖片兩者之組合，分別自清單0參考圖片及清單1參考圖片獲得兩個經動作補償之參考區域。其組合將用以預測當前區塊。

較小視訊區塊可提供較佳解析度，且可用於定位包括高等級細節之視訊訊框。一般而言，可將巨型區塊及有時稱為子區塊之各種分區視為視訊區塊。此外，可將切片視為複數個視訊區塊，諸如巨型區塊及/或子區塊。每一切片可為視訊訊框之一可獨立解碼之單元。或者，訊框自身可為可解碼之單元，或訊框之其他部分可定義為可解碼之單元。術語「經寫碼之單元」或「寫碼單元」可指代視訊訊框之任何可獨立解碼之單元，諸如整個訊框、訊框之切片、亦稱為序列之圖片群組(GOP)，或根據適用寫碼技術定義之另一可獨立解碼之單元。

術語巨型區塊指代用於根據包含16×16像素之二維像素陣列編碼圖片及/或視訊資料的資料結構。每一像素包含一色度分量及一照度分量。因此，巨型區塊可定義各自包含一為8×8像素之二維陣列的四個照度區塊、各自包含一為16×16像素之二維陣列的兩個色度區塊，及一包含諸如以下各者之語法資訊的標頭：經寫碼之區塊型樣(CBP)、編碼模式(例如，框內(I)編碼模式或框間(P或B)編碼模式)、經框內編碼之區塊之分區的分區大小(例如，16×16、16×8、8×16、8×8、8×4、4×8或4×4)，或經框間編碼之巨型區塊的一或多個動作向量。

視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、多工器30及解多工器38在適用時各自可實施為多種合適編碼器或解碼器電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體，或其任一組合。視訊編碼器28及視訊解碼器48中之每一者可包括於一或多個編碼器或解碼器中，其任一者可整合為經組合之視訊編碼器/解碼器(CODEC)之部分。同樣，音訊編碼器26及音訊解碼器46中之每一者可包括於一或多個編碼器或解碼器中，其任一者可整合為經組合之音訊編碼器/解碼器(CODEC)的部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、多工器30及/或解多工器38之裝置可包含一積體電路、一微處理器，及/或一諸如蜂巢式電話之無線通信器件。

根據本發明之技術，多工器30可將NAL單元組合為遵照ISO基礎媒體檔案格式或其衍生格式(例如，SVC、AVC、MVC或3GPP)之視訊檔案的軌跡，且包括一媒體提取器軌跡，該媒體提取器軌跡識別另一軌跡之一或多個潛在不連續NAL單元並將視訊檔案傳遞至輸出介面32。輸出介面32可包含(例如)傳輸器、收發器、用於將資料寫入至電腦可讀媒體之器件(諸如，光碟機、磁性媒體驅動器(例如，軟碟機)、通用串行匯流排(USB)、網路介面)，或其他輸出介面。輸出介面32將NAL單元或存取單元輸出至電腦可讀媒體34(例如，諸如傳輸信號或載波之暫態媒體)，或諸如磁性媒體、光學媒體、記憶體或隨身碟之電腦可讀儲存媒體。

輸入介面36自電腦可讀媒體34擷取資料。輸入介面36可包含(例如)光碟機、磁性媒體驅動器、USB埠、接收器、收發器，或其他電腦可讀媒體介面。輸入介面36可將NAL單元或存取單元提供至解多工器38。解多工器38可將傳送流或程式流解多工為構成性PES流，解封包化該等PES流以擷取經編碼之資料，且視經編碼之資料(例如)如藉由流之PES封包標頭所指示係音訊流或是視訊流的部分而定而將經編碼之資料發送至音訊解碼器46或視訊解碼器48。解多工器38最初可選擇包括於所接收視訊檔案中之軌跡中的一者，且接著僅將所選擇軌跡之資料及其他軌跡的由所選擇軌跡之提取器參考之資料傳遞至視訊解碼器48，丟棄其他軌跡之並未由所選擇軌跡之提取器參考的資料。音訊解碼器46解碼經編碼之音訊資料，並將經解碼之音訊資料發送至音訊輸出42，而視訊解碼器48解碼經編碼之視訊資料，並將可能包括一流之複數個視圖的經解碼之視訊資料發送至視訊輸出44。視訊輸出44可包含一使用一場景之複數個視圖的顯示器，例如，同時呈現一場景之每一視圖的戴眼鏡式立體顯示器或眼式立體顯示器。

圖2為說明多工器30(圖1)之組件之實例配置的方塊圖。在圖2之實例中，多工器30包括流管理單元60、視訊輸入介面80、音訊輸入介面82、多工流輸出介面84，及程式特定資訊表88。流管理單元60包括NAL單元建構器62、流識別符(流ID)查找單元66、軌跡產生單元64及提取器產生單元68。

在圖2之實例中，視訊輸入介面80及音訊輸入介面82包括用於自經編碼之視訊資料及經編碼之音訊資料形成PES單元的各別封包化器。在其他實例中，視訊及/或音訊封包化器可呈現為在多工器30外部。關於圖2之實例，視訊輸入介面80可自接收自視訊編碼器28之經編碼之視訊資料形成PES封包，且音訊輸入介面82可自接收自音訊編碼器26之經編碼之音訊資料形成PES封包。

在NAL單元建構器62建構NAL單元之後，NAL單元建構器62將NAL單元發送至軌跡產生單元64。軌跡產生單元64接收NAL單元，並將包括NAL單元之視訊檔案組合為視訊檔案的一或多個軌跡。軌跡產生單元64可進一步執行提取器產生單元68以產生藉由軌跡產生單元64建構之一或多個媒體提取器軌跡的提取器。當判定一或多個NAL單元屬於多個軌跡而非在軌跡之間重複NAL單元時，提取器產生單元68可建構參考NAL單元之軌跡的提取器。以此方式，多工器30可避免資料在軌跡之間的重複，此可減小傳輸視訊檔案時的頻寬消耗。

下文論述提取器之資料結構及組件之各種實例。一般而言，提取器可包括：一軌跡識別符值，其參考其中包括經參考之NAL單元的軌跡；及一或多個NAL單元識別符，其識別由提取器參考之NAL單元。在一些實例中，NAL單元識別符可參考由對應於經識別之NAL單元的軌跡識別符值參考之軌跡中的位元或位元組範圍。在一些實例中，NAL單元識別符可個別地參考由提取器識別之每一NAL單元，(例如)以便識別不連續NAL單元。在一些實例中，NAL單元識別符可基於自媒體提取器軌跡中之提取器之時間或空間位置的偏移來參考NAL單元。

軌跡產生單元64在一些實例中可包括媒體提取器軌跡中之額外NAL單元。亦即，媒體提取器軌跡可包括NAL單元及提取器兩者。因此，在一些實例中，軌跡產生單元64可建構一視訊檔案，該視訊檔案具有一僅包括NAL單元之第一軌跡及一包括一或多個提取器之第二軌跡，該一或多個提取器參考第一軌跡之NAL單元的全部或子集。此外，在一些實例中，軌跡產生單元64可包括第二軌跡中之並未包括於第一軌跡中的額外NAL單元。同樣，本發明之技術可擴展至複數個軌跡。舉例而言，軌跡產生單元64可建構一可參考第一軌跡之NAL單元及/或第二軌跡之NAL單元的第三軌跡，且可另外包括並未包括於第一軌跡或第二軌跡中的NAL單元。

圖3為說明一實例檔案100之方塊圖，該實例檔案100包括一具有視訊樣本之一集合的第一軌跡及一具有參考第一軌跡之視訊樣本子集的提取器之第二軌跡。在圖3之實例中，檔案100包括MOOV箱102及媒體資料(MDAT)箱110。MOOV箱102對應於電影箱，其由ISO基礎媒體檔案格式定義為容器箱，該容器箱之子箱定義用於呈現之中繼資料。MDAT箱104對應於媒體資料箱，其由ISO基礎媒體檔案格式定義為可保持用於呈現之實際資料的箱。

在圖3之實例中，MOOV箱102包括完整子集軌跡104及媒體提取器軌跡106。ISO基礎媒體檔案格式將「軌跡」定義為ISO基礎媒體檔案中之相關樣本之按時間順序的序列。ISO基礎媒體檔案格式進一步指出，對於媒體資料而言，軌跡對應於影像或經取樣音訊之序列。

在圖3之實例中，MDAT箱110包括經I編碼之樣本112、經P編碼之樣本114、經B編碼之樣本116及經B編碼的樣本118。將經B編碼之樣本116及經B編碼的樣本118視為處於不同階層編碼等級。在圖3之實例中，經B編碼之樣本116可用作對經B編碼之樣本118的參考，且因此經B編碼之樣本118可係處於低於經B編碼的樣本116之階層編碼等級的階層編碼等級。樣本之顯示次序可不同於階層次序(亦稱為解碼次序)及樣本包括於MDAT箱110中的次序。舉例而言，經I編碼之樣本112可具有為0之顯示次序值及為0的解碼次序值，經P編碼之樣本114可具有為2之顯示次序值及為1的解碼次序值，經B編碼之樣本116可具有為1之顯示次序值及為2的解碼次序值，且經B編碼的樣本118可具有為4之顯示次序值及為3的解碼次序值。軌跡1可包括額外樣本，例如，具有為3之顯示次序值及為4的解碼次序值之樣本。

經I編碼之樣本112、經P編碼之樣本114、經B編碼之樣本116及經B編碼的樣本118中之每一者可對應於各種NAL單元或存取單元。ISO基礎媒體檔案格式將「樣本」定義為與單一時戳相關聯之所有資料，例如，視訊之個別訊框、按解碼次序之一系列視訊訊框，或音訊之按解碼次序的經壓縮區段。在圖3之實例中，完整子集軌跡104包括參考經I編碼之樣本112、經P編碼之樣本114、經B編碼之樣本116及經B編碼的樣本118之中繼資料。

MDAT箱110進一步包括提取器120、提取器122及提取器124。因此，提取器120至124包括於一電影資料箱中，其通常將包括資料樣本。在圖3之實例中，提取器120參考經I編碼之樣本112，提取器122參考經P編碼之樣本114，且提取器124參考經B編碼的樣本118。可能存在對應於經I編碼之樣本112、經P編碼之樣本114及/或經B編碼之樣本118的兩個或兩個以上NAL單元，且該等NAL單元可能為不連續的。根據本發明之技術，儘管在相應樣本中可能存在兩個或兩個以上不連續NAL單元，但提取器120至124仍可識別相應樣本之NAL單元中的每一者。在圖3之實例中，媒體提取器軌跡106包括參考提取器120、提取器122及提取器124的中繼資料。

提取器120至124中之每一者亦可包括顯示次序值及解碼次序值。舉例而言，提取器120可具有為0之顯示次序值及為0之解碼次序值，提取器122可具有為1之顯示次序值及為1的解碼次序值，且提取器124可具有為2之顯示次序值及為2之解碼次序值。在一些實例中，顯示值及/或解碼值可跳過某些值，(例如)以與所識別之樣本的值匹配。

完整子集軌跡104及媒體提取器軌跡106可形成交替群組，使得解多工器38(圖1)可選擇完整子集軌跡104或媒體提取器軌跡106以由視訊解碼器48進行解碼。關於MVC之實例，完整子集軌跡104可對應於第一操作點，且媒體提取器軌跡106可對應於第二操作點。關於3GPP之實例，完整子集軌跡104及媒體提取器軌跡106可形成切換群組。以此方式，完整子集軌跡104及媒體提取器軌跡106(例如)在HTTP串流應用中可用以調適頻寬可用性及解碼器能力。

當選擇完整子集軌跡104時，解多工器38可將對應於完整子集軌跡104之樣本(例如，經I編碼之樣本112、經P編碼之樣本114、經B編碼之樣本116及經B編碼的樣本118)發送至視訊解碼器48。當選擇媒體提取器軌跡106時，解多工器38可將對應於媒體提取器軌跡106之樣本(包括由對應於媒體提取器軌跡106之媒體提取器識別的樣本)發送至視訊解碼器48。因此，當選擇媒體提取器軌跡106時，解多工器38可將經I編碼之樣本112、經P編碼之樣本114及經B編碼的樣本118發送至視訊解碼器48，解多工器38可藉由對提取器120、提取器122及提取器124進行解參考而自完整子集軌跡104擷取經I編碼之樣本112、經P編碼之樣本114及經B編碼的樣本118。

圖4為說明包括兩個相異提取器軌跡146、148之另一實例檔案140的方塊圖。雖然在圖4之實例中說明兩個提取器軌跡，但一般而言一檔案可包括任何數目個提取器軌跡。在圖4之實例中，檔案140包括MOOV箱142及MDAT箱150。MOOV箱142包括完整子集軌跡144及媒體提取器軌跡146、148。MDAT箱150包括各種軌跡之資料樣本及提取器，例如，經I編碼之樣本152、經P編碼之樣本154、經B編碼的樣本156、經B編碼的樣本158及提取器160至168。

在圖4之實例中，提取器160至164對應於媒體提取器軌跡146，而提取器166至168對應於媒體提取器軌跡148。在此實例中，媒體提取器軌跡146之提取器160識別經I編碼之樣本152，提取器162識別經P編碼之樣本154，且提取器164識別經B編碼的樣本156。在此實例中，提取器166識別經I編碼之樣本152，而提取器162識別經P編碼之樣本154。圖4之實例示範一其中各種媒體提取器軌跡之兩個或兩個以上提取器參考完整子集軌跡之同一樣本的實例。

媒體提取器軌跡可用以表示為可解碼之視訊流之時間子集及含有原始全時間解析度位元流之軌跡的交替/切換軌跡(例如，完整子集軌跡144)。完整子集軌跡144可(例如)表示30個訊框/秒(FPS)之視訊流。在一些實例中，藉由在子位元流中不包括某一階層等級之B圖片，該子位元流之訊框率可減半或減小某一其他分率。舉例而言，媒體提取器軌跡146藉由不包括經B編碼之樣本158而可具有相對於完整子集軌跡144經減半的訊框率。舉例而言，媒體提取器軌跡146可具有為15 FPS之訊框率。同樣，媒體提取器軌跡148藉由省略經B編碼之樣本156及經B編碼之樣本158而可具有一相對於媒體提取器軌跡146經減半的訊框率，且因此具有為7.5 FPS之訊框率。

圖5為說明包括一子集軌跡188及兩個媒體提取器軌跡184、186之另一實例檔案180的方塊圖。檔案180之MOOV箱182包括子集軌跡188、媒體提取器軌跡184、186，而MDAT箱190包括經I編碼之樣本192、經P編碼之樣本194、經B編碼之樣本202、經B編碼的樣本208，及提取器198、200、204、206及210。

如上文所論述，媒體提取器軌跡可包括參考另一軌跡之樣本的提取器。此外，媒體提取器軌跡可進一步包括並未包括於另一軌跡中之額外視訊樣本。在圖5之實例中，子集軌跡188包括經I編碼之樣本192及經P編碼之樣本194。媒體提取器軌跡186包括提取器198、200，且另外包括經B編碼之樣本202。類似地，媒體提取器軌跡184包括提取器204、206、210，且另外包括經B編碼的樣本208。

在圖5之實例中，媒體提取器軌跡186包括視訊資料之經編碼之樣本(經B編碼之樣本202)，且媒體提取器軌跡184包括提取器210，其參考包括經編碼樣本的媒體提取器軌跡186之樣本。亦即，在圖5之實例中，提取器210參考經B編碼之樣本202。因此，媒體提取器軌跡184可表示全時間解析度位元流，而媒體提取器軌跡186及子集軌跡188可表示全時間解析度位元流的子集。亦即，媒體提取器軌跡186及子集軌跡188可具有低於由媒體提取器軌跡184表示之全時間解析度的時間解析度(例如，較低訊框率)。

根據本發明之技術，H.264/AVC檔案格式可經修改以包括提取器軌跡，其可經提取而作為軌跡之含有原始全時間解析度位元流的任何相容時間子集。對於支援階層B(或P)圖片寫碼之H.264/AVC而言，假設存在N個時間等級，包括自時間等級0至k(k<N)之樣本的每一子位元流可藉由定義相應提取器軌跡來提取。因此，對於同一視訊而言，可存在形成交替/切換群組之N個軌跡(包括N-1個提取器軌跡)。提取器可與對應於由提取器識別之樣本之時間階層等級的時間階層等級相關聯。舉例而言，亦可在提取器中傳訊指定樣本之時間等級的時間識別符值。

圖6A至圖6C為說明一檔案之MDAT箱220之實例的方塊圖，該MDAT箱220包括各種媒體提取器軌跡之媒體提取器的實例。圖6A至圖6C中之每一者描繪：錨定樣本222，其包括視圖0樣本224A、視圖2樣本226A、視圖1樣本228A、視圖4樣本230A及視圖3樣本232A；及非錨定樣本223，其包括視圖0樣本224B、視圖2樣本226B、視圖1樣本228B、視圖4樣本230B及視圖3樣本232B。非錨定樣本223旁邊之省略號指示，額外樣本可包括於MDAT箱220中。錨定樣本及非錨定樣本中之每一者可共同形成檔案之第一軌跡。在一實例中，根據本發明之技術，描繪於圖6A至圖6C中之檔案之提取器之每一集合的媒體提取器軌跡可對應於遵照MVC檔案格式之視訊檔案的獨立操作點。以此方式，本發明之技術可用以產生對應於遵照MVC檔案格式之視訊檔案之操作點的一或多個媒體提取器軌跡。

圖6A至圖6C描繪各種媒體提取器軌跡之提取器240、244、250，其中提取器240、244、250將各自包括於MDAT箱220中，但出於清晰性目的而未以獨立圖進行說明。亦即，在進行充分組合時，MDAT箱220可包括提取器240、244、250之每一集合。

圖6A至圖6C提供一檔案之實例，該檔案包括含有媒體提取器以及真實視訊樣本的軌跡。各種樣本根據不同時間等級可獨立地含於不同軌跡中。對於每一時間等級而言，特定軌跡可含有所有視訊樣本以及對具有較低時間等級之軌跡的提取器。可將視訊樣本(NAL單元)分離成不同軌跡，而具有較高訊框率之軌跡可具有指向其他軌跡的提取器。以此方式，有可能具有含有具僅一時間等級之樣本之電影片段，且一電影片段可能含有指向其他片段的提取器。在此狀況下，不同軌跡但同一時間週期之電影片段可以時間等級之遞增次序交錯。

圖6A提供包括對應於媒體提取器軌跡之提取器242A至242N之提取器240的實例。在此實例中，提取器242A參考錨定樣本222之視圖0樣本224A。提取器242N參考非錨定樣本223之視圖0樣本224B。一般而言，在圖6A之實例中，提取器集合240之提取器參考相應視圖0樣本。提取器242A至242N中之每一者對應於共同媒體提取器軌跡，該等軌跡可屬於切換群組及/或交替群組。媒體提取器軌跡可進一步對應於個別操作點，例如，包括視圖0之操作點。

在一些實例中，對於使用MVC寫碼之立體視訊而言，可存在三個操作點，包括支援輸出兩個視圖之一操作點及一支援輸出僅一視圖(例如，僅視圖0或視圖1)的第二操作點。第三操作點可為輸出視圖1的操作點。視預測關係而定，第三操作點可包括僅視圖1中之VCL NAL單元及相關聯之非VCL NAL單元、視圖0及視圖1之所有NAL單元，或視圖1之NAL單元以及錨定NAL單元(亦即，錨定視圖組件之NAL單元)。在此立體狀況下，所揭示技術之實例可提供，其他兩個操作點可由兩個提取器軌跡來表示。此等兩個提取器軌跡可形成切換群組，且與原始視訊軌跡一起，此等三個軌跡可形成交替群組。

本發明提供用於修改MVC檔案格式以包括MVC媒體提取器軌跡的技術。一般而言，具有相同數目個輸出視圖的包括MVC媒體提取器軌跡之MVC視訊軌跡可特徵化為切換群組。由檔案之軌跡表示之所有操作點可屬於MVC視訊呈現之一交替群組。錨定樣本222及非錨定樣本223中之每一者的視圖可形成完整子集軌跡，例如，包括所有可用視圖的操作點。

(例如)如關於圖6B中之提取器246A至246N所展示，提取器可參考樣本之連續部分。在圖6B之實例中，提取器246A參考視圖0樣本224A並參考視圖2樣本226A。表示提取器246A之資料結構可指定所識別視圖之位元組範圍、起始視圖及結束視圖、起始視圖及後續視圖之數目，或由提取器識別之一系列連續視圖的其他表示。提取器集合244可對應於另一媒體提取器軌跡，該另一媒體提取器軌跡又可對應於獨立MVC操作點。

舉例而言，如關於圖6C中之提取器254A、256A所展示，兩個提取器亦可參考一樣本的兩個部分(例如，兩個不連續視圖)。舉例而言，提取器樣本252A包括參考視圖0樣本224A及視圖2樣本226A之提取器254A，以及參考視圖4樣本230A的提取器254B。因此，由提取器樣本252A表示之樣本可對應於參考不連續視圖樣本的提取器樣本。類似地，在圖6C之實例中，提取器樣本252N包括參考視圖0樣本224B及視圖2樣本226B之提取器256A，以及參考視圖4樣本230B的提取器256B。

亦可關於錨定或非錨定樣本來定義提取器，其中關於錨定樣本定義之提取器與關於非錨定樣本定義之提取器可參考不同視圖。

ISO基礎媒體檔案格式或MVC檔案格式之上文所提之MVC媒體提取器軌跡可為中繼資料軌跡之例項，該中繼資料軌跡可經實施而具有類似提取功能性，且可用以表示正常視訊軌跡的交替及/或切換軌跡。

在使用MVC檔案格式之實例中，全位元流可含於一軌跡中，且所有其他可能操作點可由提取器軌跡來表示，該等提取器軌跡中之每一者可為信號，例如供輸出的視圖之數目、供輸出的視圖之視圖識別符值、傳輸所需要之頻寬，及訊框率。

圖7為說明實例MVC預測型式之概念圖。在圖7之實例中，說明八個視圖(具有視圖ID「S0」至「S7」)，且說明每一視圖之12個時間位置(「T0」至「T11」)。亦即，圖7中之每一列對應於一視圖，而每一行指示時間位置。

雖然MVC具有可由H.264/AVC解碼器解碼之所謂基礎視圖，且立體視圖對亦可由MVC支援，但MVC之優點為，其可支援使用兩個以上視圖作為3D視訊輸入並解碼由多個視圖表示之此3D視訊的實例。具有MVC解碼器之用戶端之呈現器(renderer)可期待具有多個視圖之3D視訊內容。視圖中之錨定視圖組件及非錨定視圖組件可具有不同視圖相依性。舉例而言，視圖S2中之錨定視圖組件視視圖S0中之視圖組件而定。然而，視圖S2中之非錨定視圖組件並非視其他視圖中之視圖組件而定。

在圖7中使用包括字母之陰影方塊來指示每一列及每一行的圖7中之訊框，從而指定相應訊框係經框內寫碼(亦即，I訊框)，或是在一方向上經框間寫碼(亦即，為P訊框)，或是在多個方向上經框間寫碼(亦即，為B訊框)。一般而言，由箭頭來指示預測，其中箭頭指向之訊框使用箭頭出發之物件用於預測參考。舉例而言，自視圖S0之時間位置T0處的I訊框預測視圖S2之時間位置T0處的P訊框。

如同單一視圖視訊編碼，多視圖視訊寫碼視訊序列之訊框可相對於不同時間位置處之訊框經預測性編碼。舉例而言，視圖S0之時間位置T1處的b訊框具有一自視圖S0之時間位置T0處的I訊框指向其之箭頭，從而指示自I訊框預測b訊框。然而，另外，在多視圖視訊編碼之情形下，可視圖間地預測訊框。亦即，視圖組件可使用其他視圖中之視圖組件用於參考。在MVC中，例如，如同另一視圖中之視圖組件為預測間參考一般實現視圖間預測。潛在視圖間參考在序列參數集合(SPS)MVC擴展中傳訊，且可藉由參考圖片清單建構過程來修改，其致能預測間或視圖間預測參考的靈活排序。以下表1提供MVC擴展序列參數集合的實例定以。

圖7提供視圖間預測之各種實例。在圖7之實例中，視圖S1之訊框說明為係自視圖S1之不同時間位置處的訊框來預測，以及自視圖S0及S2在同一時間位置處的訊框中之訊框經視圖間預測。舉例而言，視圖S1在時間位置T1處之b訊框係自視圖S1在時間位置T0及T2處之B訊框以及視圖S0及S2在時間位置T1處之b訊框中的每一者進行預測。

在圖7之實例中，大寫字母「B」及小寫字母「b」意欲指示訊框之間的不同階層關係而非不同編碼方法。一般而言，大寫字母「B」訊框相較於小寫字母「b」訊框預測階層相對較高。亦即，在圖7之實例中，參看「B」訊框來編碼「b」訊框。可添加額外階層等級，從而具有可參考圖7之「b」訊框的額外經雙向編碼之訊框。圖7亦使用不同等級之陰影來說明預測階層之變化，其中較大量之陰影(亦即，相對較深)訊框預測階層高於具有較少陰影(亦即，相對較淺)的彼等訊框。舉例而言，由全陰影來說明圖7中之所有I訊框，而P訊框具有稍淺之陰影，且B訊框(及小寫字母b訊框)相對於彼此具有各種等級之陰影，但始終淺於P訊框及I訊框之陰影。

一般而言，預測階層與視圖次序索引有關，其關係在於預測階層相對較高之訊框應在解碼階層相對較低之訊框之前進行解碼，使得階層相對較高之彼等訊框在解碼階層相對較低之訊框期間可用作參考訊框。視圖次序索引為指示存取單元中之視圖組件之解碼次序的索引。如在H.264/AVC之附錄H(MVC修正)中所指定，視圖次序索引隱含於SPS MVC擴展中。在SPS中，對於每一索引i 而言，傳訊相應view_id。視圖組件之解碼應遵循視圖次序索引之升序。若呈現所有視圖，則視圖次序索引係處於自0至num_views_minus_1的連續次序。

以此方式，用作參考訊框之訊框可在解碼參考參考訊框編碼之訊框之前進行解碼。視圖次序索引為指示存取單元中之視圖組件之解碼次序的索引。對於每一視圖次序索引i 而言，傳訊相應view_id。視圖組件之解碼遵循視圖次序索引之升序。若呈現所有視圖，則視圖次序索引之集合包含一自零至比視圖之全數目小1的連續排序之集合。

對於處於相等階層等級之某些訊框而言，解碼次序相對於彼此可能並不重要。舉例而言，視圖S0在時間位置T0處之I訊框用作視圖S2在時間位置T0處之P訊框的參考訊框，視圖S2在時間位置T0處之P訊框又用作視圖S4在時間位置T0處之P訊框的參考訊框。因此，視圖S0在時間位置T0處之I訊框應在視圖S2在時間位置T0處的P訊框之前經解碼，視圖S2在時間位置T0處之P訊框應在視圖S4在時間位置T0處的P訊框之前經解碼。然而，在視圖S1與S3之間，解碼次序並不重要，此係因為視圖S1及S3並不依賴於彼此以進行預測，而僅係自預測階層較高之視圖進行預測。此外，視圖S1可在視圖S4之前經解碼，只要視圖S1在視圖S0及S2之後解碼即可。

以此方式，階層排序可用以描述視圖S0至S7。使記法SA>SB意謂視圖SA應在視圖SB之前解碼。在圖7之實例中，使用此記法，S0>S2>S4>S6>S7。又，關於圖7之實例，S0>S1，S2>S1，S2>S3，S4>S3，S4>S5，且S6>S5。視圖之並不違反此等要求之任一解碼次序為可能的。因此，在僅具有某些限制之情況下，許多不同解碼次序為可能的。下文呈現兩個實例解碼次序，但應理解，許多其他解碼次序為可能的。在說明於下表2中之一實例中，儘可能快地解碼視圖。

表2之實例確認，在已解碼視圖S0及S2之後，可立即解碼視圖S1；在已解碼視圖S2及S4之後，可立即解碼視圖S3；且在已解碼視圖S4及S6之後，可立即解碼視圖S5。

下表3提供另一實例解碼次序，其中該解碼次序使得用作另一視圖之參考的任一視圖在並未用作任何其他視圖之參考的視圖之前經解碼。

表3之實例確認，在圖7之實例中，視圖S1、S3、S5及S7之訊框並不充當任何其他視圖之訊框的參考訊框，且因此視圖S1、S3、S5及S7在用作參考訊框之彼等視圖(亦即，視圖S0、S2、S4及S6)的訊框之後解碼。視圖S1、S3、S5及S7相對於彼此可以任何次序經解碼。因此，在表3之實例中，在視圖S1、S3及S5中之每一者之前解碼視圖S7。

為了清楚起見，在每一視圖之訊框以及每一視圖之訊框的時間位置之間可能存在階層關係。關於圖7之實例，自其他視圖在時間位置T0處之訊框來視圖內預測或視圖間預測時間位置T0處的訊框。類似地，自其他視圖在時間位置T8處之訊框來視圖內預測或視圖間預測時間位置T8處的訊框。因此，關於時間階層，時間位置T0及T8係處於時間階層之頂點處。

在圖7之實例中，因為參考時間位置T0及T8之訊框來B編碼時間位置T4之訊框，所以時間位置T4處之訊框在時間階層上低於時間位置T0及T8的訊框。時間位置T2及T6處之訊框在時間階層上低於時間位置T4處的訊框。最後，時間位置T1、T3、T5及T7處之訊框在時間階層上低於時間位置T2及T6處的訊框。

在MVC中，可提取整體位元流之子集以形成仍遵照MVC之子位元流。基於(例如)以下各者而存在特定應用可能需要之許多可能子位元流：由伺服器提供之服務、一或多個用戶端之解碼器的容量、支援及能力，及/或一或多個用戶端的優選項。舉例而言，用戶端可能需要僅三個視圖，且可能存在兩個情境。在一實例中，一用戶端可能需要流暢之觀看體驗，且可能首選具有view_id值S0、S1及S2之視圖，而另一用戶端可能需要視圖可調能力並首選具有view_id值S0、S2及S4之視圖。若最初關於表9之實例對view_id進行排序，則視圖次序索引值在此等兩個實例中分別為{0,1,2}及{0,1,4}。注意，此等子位元流中之兩者可解碼為獨立MVC位元流，且可得以同時支援。

可存在可由MVC解碼器解碼之許多MVC子位元流。理論上，滿足以下兩個性質之視圖的任何組合可由符合某一規範或等級之MVC解碼器來解碼：(1)以視圖次序索引之遞增次序來對每一存取單元中之視圖組件排序，及(2)對於組合中之每一視圖而言，其相依視圖亦包括於組合中。

關於本發明之技術，可使用媒體提取器軌跡及/或純視訊樣本軌跡來表示各種MVC子位元流。此等軌跡中之每一者可對應於一MVC操作點。

圖8至圖21為說明根據本發明之技術的媒體提取器之資料結構及可使用之其他支援資料結構的各種實例之方塊圖。如下文所詳細論述，圖8至圖22之各種媒體提取器包括各種特徵。一般而言，圖8至圖21之媒體提取器中的任一者可包括於一檔案之媒體提取器軌跡中以識別檔案之經寫碼之樣本，該檔案遵照ISO基礎媒體檔案格式或對ISO基礎媒體檔案格式之擴展。一般而言，媒體提取器可用以自參考軌跡提取一或多個整體樣本。圖8至圖12為能夠識別另一軌跡之一視訊樣本箱的媒體提取器之實例。如圖13中所示，實施提取器之另一方式為致能來自另一軌跡之樣本的樣本分組。為了提供對時間可調能力之更特定支援，如圖14中所示，可傳訊一時間識別符。圖16至圖22為MVC之媒體提取器之實例，其能夠自每一視訊樣本箱(存取單元)提取一或多個潛在不連續NAL單元。提取器之各種實例係基於檔案或存取單元中之偏移及位元組長度，而其他實例可純粹係基於整體NAL單元之索引，因此傳訊位元組範圍並不必要。由整體NAL單元之索引傳訊提取器之機制亦可擴展至SVC檔案格式。

圖8至圖21之實例亦可直接應用至3GPP檔案格式而作為對3GPP檔案格式的擴展。圖8至圖21中之一或多者的元件及概念亦可與圖8至圖22中之其他者的元件組合，以形成其他提取器。雖然關於特定檔案格式來描述圖8至圖21中之某些圖，但一般而言，圖8至圖21之實例可關於具有類似特性之任何檔案格式(例如，ISO基礎媒體檔案格式或ISO基礎媒體檔案格式之擴展)來使用。如在圖21之實例中所示，為了促進所提議提取器在3GPP中之使用，3GPP軌跡選擇箱可經擴展以包括(所提取)交替軌跡中之每一者的更多特性，諸如時間識別符、待顯示之視圖的數目，及待解碼之視圖的數目。

圖8為說明實例媒體提取器300之方塊圖，該實例媒體提取器300說明媒體提取器之格式。在圖8之實例中，媒體提取器300包括軌跡參考索引302及樣本偏移值304。根據本發明之技術，媒體提取器300可對應於可例示於媒體提取器軌跡內之資料結構的定義。多工器30可經組態以將遵照媒體提取器300之實例的提取器包括於視訊檔案之媒體提取器軌跡中，以識別視訊檔案之不同軌跡的NAL單元。解多工器38可經組態以使用遵照媒體提取器300之提取器來擷取經識別之NAL單元。

軌跡參考索引302可對應於其中存在經識別之NAL單元的軌跡之識別符。可向視訊檔案之每一軌跡指派一唯一索引，以便區別視訊檔案之軌跡。軌跡參考索引302可指定軌跡參考之索引以用以找尋供提取資料的軌跡。供提取資料之該軌跡中的樣本可經準確地時間對準(在媒體解碼時刻表中，使用時間-樣本表，藉由由樣本偏移值304指定的偏移來調整)，其中該樣本含有提取器。在一些實例中，視訊檔案之第一軌跡具有為「1」之索引值，且因此多工器30可向軌跡參考索引值302指派為「1」的值，以參考視訊檔案之第一軌跡。可保留軌跡參考索引值之為「0」的值以供未來使用。

樣本偏移值304定義自媒體提取器軌跡中之媒體提取器300之時間位置至由軌跡參考索引302指代之軌跡的經識別之NAL單元之偏移值。亦即，樣本偏移值304給出用作資訊源之經鏈接軌跡中的樣本之相對索引。樣本偏移值304之為零的值指代具有與含有提取器之樣本相同之解碼時間或緊接於含有提取器之樣本之前的樣本。樣本1為下一樣本，樣本-1為前一樣本，以此類推。舉例而言，當在H.263或MPEG-4第2部分中使用遵照媒體提取器300之媒體提取器時，媒體提取器可用以提取由軌跡參考索引302指代的視訊軌跡之時間子集。

以下偽碼提供類似於媒體提取器300之媒體提取器類別的實例定義。

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

在實例偽碼中，class MediaExtractor()經位元組對準。亦即，當由MediaExtractor() class來例示提取器時，將在八位元組邊界上對準提取器。變數「track_ref_index」對應於軌跡參考索引值302，且在此實例偽碼中對應於無正負號之八位元組整數值。變數「sample_offset」對應於樣本偏移值304，且在此實例中對應於帶正負號之八位元組整數值。

圖9為說明媒體提取器310之另一實例的方塊圖。媒體提取器310包括軌跡參考索引314及樣本偏移值316，且另外包括樣本標頭312。軌跡參考索引314及樣本偏移值316通常可包括類似於軌跡參考索引302及樣本偏移值304(圖8)之資料。

在對應於H.264/AVC之實例中，樣本標頭312可根據由媒體提取器310參考之視訊樣本之NAL單元標頭來建構。樣本標頭312可含有具有三個語法要素之一位元組資料：forbidden_zero_bit、nal_ref_idc(其可包含3個位元)、nal_unit_type(其可包含5個位元)。「nal_unit_type」之值可為29(或任何其他保留數字)，且其他兩個語法要素可與經識別視訊樣本中之彼等語法要素相同。對於遵照MPEG-4第2部分「視覺」之實例而言，樣本標頭312可包含四位元組碼，該碼可包括為「0x 00 00 01」之起始碼首碼及為「0x C5」(或任何其他保留數字)之起始碼，其中「0x」指示「0x」之後的值為十六進制值。對於H.263而言，樣本標頭312亦可包括一不同於正常視訊樣本之起始碼的經位元組對準之起始碼。樣本標頭312可由解多工器38用於同步化之目的，使得可將提取器視為正常視訊樣本。

以下偽碼提供類似於媒體提取器310之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖10為說明實例媒體提取器320之方塊圖，該實例媒體提取器320藉由在提取器內傳訊經識別之NAL單元的位元組範圍來識別NAL單元。媒體提取器320包括可類似於樣本標頭312之樣本標頭322，及可類似於軌跡參考索引302的軌跡參考索引324。然而，媒體提取器320之實例包括資料偏移值326及資料長度值328而非樣本偏移值。

資料偏移值326可描述由媒體提取器320識別之資料的起始點。亦即，資料偏移值326可包含一表示至要複製的由軌跡索引值324識別之軌跡內之第一位元組的偏移之值。資料長度值328可描述要複製之位元組的數目，且因此可等效於經參考之樣本(或在參考多個NAL單元時，多個樣本)的長度。

以下偽碼提供類似於媒體提取器320之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖11為說明實例媒體提取器340之方塊圖，該實例媒體提取器340含有用於未來可擴展性之保留位元。媒體提取器340包括可分別類似於軌跡參考索引302及樣本偏移值304的軌跡參考索引342及樣本偏移值346。此外，媒體提取器340包括保留位元344，其可包含用於對媒體提取器之未來擴展的保留位元。以下偽碼提供類似於媒體提取器340之媒體提取器類別的實例類別定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖12為說明實例媒體提取器350之方塊圖，該實例媒體提取器350使用軌跡識別符值而非軌跡參考索引值。使用軌跡識別符值來識別軌跡可指代按ISO基礎媒體檔案格式呈現軌跡參考箱。媒體提取器350之實例包括軌跡識別符352、保留位元354及樣本偏移值356。如藉由圍繞保留位元354之虛線所指示，保留位元354為可選的。亦即，一些實例可包括保留位元354，而其他實例可省略保留位元354。樣本偏移值356可類似於樣本偏移值304。

軌跡識別符352指定供提取資料之軌跡的軌跡ID。供提取資料之軌跡中的樣本可在時間上對準(在媒體解碼時刻表中，使用時間-樣本表，藉由由樣本偏移356指定之偏移來調整)，其中該樣本含有媒體提取器350。可向第一軌跡參考指派為1之識別符值。可保留為0之值以供未來使用及擴展。

以下偽碼提供類似於媒體提取器350之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖13為說明一實例媒體提取器樣本群組360之方塊圖。多工器30可將媒體提取器樣本群組360包括於訊息類型箱(具有類型識別符「MESG」)、樣本表箱容器中。多工器30可經組態以將零或一個媒體提取器樣本群組360物件包括於訊息箱中。在圖13之實例中，媒體提取器樣本群組360包括軌跡參考索引362、群組類型364、群組數目計數366、保留位元368及群組描述索引370。

軌跡參考索引362指定用以在某一準則下找尋來自樣本群組之供提取資料之軌跡的軌跡參考之索引。亦即，軌跡參考索引362以類似於軌跡參考索引302之方式識別供提取由媒體提取器識別之資料的軌跡。

群組類型值364識別媒體提取器樣本群組360對應於之樣本群組的類型。群組類型值364通常識別用以形成取樣群組之樣本群組的準則，並將準則鏈接至由軌跡參考索引362識別之軌跡中的具有相同群組類型值之樣本群組描述表。群組類型值364可包含整數值。以此方式，媒體提取器樣本群組360之群組類型值可與軌跡參考索引362所指代之軌跡的群組類型相同。或者，對於視訊時間子集而言，群組類型值364可定義為「vtst」，可僅針對該群組類型定義媒體提取器樣本群組，且語法表將不需要語法要素「grouping_type」。

群組數目計數值366可描述包括媒體提取器樣本群組360之媒體提取器軌跡中的樣本群組之數目。群組數目計數值366之為零的值可表示在準則下由群組類型值364參考之所有樣本群組用以形成媒體提取器軌跡。群組描述索引368定義用以形成樣本群組描述表中之媒體提取器軌跡的樣本群組項之索引。

根據本發明之技術，組合過程可用以將所有樣本置於樣本群組項中，使得樣本按時間排序，使得樣本A在媒體提取器軌跡中之樣本B之後指示樣本A在由軌跡參考索引362指代之軌跡中的樣本B之後。

以下偽碼提供類似於媒體提取器樣本群組360之媒體提取器樣本群組類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖14為說明實例媒體提取器380之方塊圖，該媒體提取器380可用於遵照AVC檔案格式之視訊檔案的情形中。媒體提取器380之實例包括軌跡參考索引382、時間識別符值384、保留位元386及樣本偏移值388。軌跡參考索引382及樣本偏移值388可以分別類似於軌跡參考索引302及樣本偏移值304之方式來使用。保留位元386可經保留以供未來使用，且此時並不向其指派語義值。

時間識別符值384指定待由媒體提取器380提取之樣本的時間等級。在一實例中，時間等級係在0至7(包括0及7)之範圍內。如上文所論述，經編碼之圖片可對應於時間等級，其中時間等級通常描述訊框之間的編碼階層。舉例而言，可向關鍵訊框(亦稱為錨定訊框)指派最高時間等級，而可向並不用作參考訊框之訊框指派相對較低之時間等級。以此方式，媒體提取器380可藉由參考樣本之時間等級而非明確地識別樣本自身來識別來自由軌跡參考索引382指代之軌跡的所提取樣本。具有達一高於由時間識別符值384定義之值的值之媒體提取器的媒體提取器軌跡可對應於具有較高訊框率之操作點。

以下偽碼提供類似於媒體提取器380之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖15為說明實例MVC媒體提取器420之方塊圖，該實例MVC媒體提取器420可用以修改MVC以使其包括媒體提取器軌跡。媒體提取器420之實例包括一可選NAL單元標頭422、軌跡參考索引424、樣本偏移426、連續位元組集合計數428，及一包括資料偏移值430及資料長度值432的值迴圈。MVC媒體提取器420可用以自特定軌跡提取視圖組件之一子集的多個NAL單元。MVC媒體提取器420之實例在自經參考之軌跡之樣本提取資料時可跳過軌跡中的視圖組件。

在存在時，NAL單元標頭422可鏡射由MVC媒體提取器420識別之NAL單元的NAL單元標頭。亦即，NAL單元標頭422之語法要素可根據提取器中之NAL單元標頭語法或在MVC檔案格式中定義之彙總工具產生過程而產生。在一些實例中，(例如)在一系列提取器將經產生以包括相關NAL單元標頭時，提取器可能不需要NAL單元標頭422。

軌跡參考索引值424指定軌跡參考之索引以用以找尋供提取資料的軌跡。供提取資料之軌跡中的樣本可在媒體解碼時刻表中在時間上對準，藉由由樣本偏移值426指定之偏移來調整，其中該樣本含有MVC媒體提取器420。第一軌跡參考可經指定以接收為1之索引值，且可保留軌跡參考索引值之為零的值。

樣本偏移值426定義待提取之樣本相對於MVC媒體提取器420之時間位置的偏移，該樣本位於由軌跡參考索引值424指代之軌跡中。樣本偏移值426之為零的值指示待提取之樣本係處於同一時間位置，-1指示先前樣本，+1指示下一樣本，以此類推。

連續位元組集合計數428描述供提取資料之軌跡之樣本的連續位元組集合之數目。若連續位元組集合計數428具有為零之值，則將提取軌跡中的整個經參考之樣本。連續位元組集合亦可稱為樣本之獨立部分。

資料偏移值430及資料長度值432出現於一迴圈中。一般而言，迴圈之反覆的數目(亦即，資料偏移值430及資料長度值432之數目)與待擷取之樣本之部分的數目(例如，連續位元組集合之數目)有關。因此，可使用MVC媒體提取器420來提取樣本之兩個或兩個以上部分。對於待提取之樣本之每一部分而言，資料偏移值430之相應者指示該部分之起始(例如，該部分之第一位元組，相對於樣本之第一位元組)，且資料長度值432之相應者指示要複製之長度(例如，位元組之數目)。在一些實例中，資料長度值432中之一者的為零之值可指示將複製樣本中之所有剩餘位元組，亦即，該部分對應於由資料偏移值430之相應者指示的位元組及直至樣本之結束的所有其他連續位元組。

以下偽碼提供類似於MVC媒體提取器420之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖16為說明另一實例MVC媒體提取器440之方塊圖，該實例MVC媒體提取器440可用以修改MVC以使其包括媒體提取器軌跡。與如關於圖15之實例所描述之樣本的特定位元組形成對比，MVC媒體提取器440之實例識別特定NAL單元以供提取。在圖16之實例中，MVC媒體提取器440包括一可選NAL單元標頭442、軌跡參考索引444、樣本偏移446、連續NALU(NAL單元)集合計數448，及NALU偏移值450及連續NAL單元之數目452的迴圈。通常分別以與NAL單元標頭422、軌跡參考索引424及樣本偏移值426相同之方式來定義NAL單元標頭442、軌跡參考索引444及樣本偏移值446。

連續NALU集合計數448描述供提取資料之軌跡之樣本的連續NAL單元之數目。在一些實例中，若將此值設定為零，則提取軌跡中的整個經參考之樣本。

NALU偏移值450及連續NALU之數目452出現於一迴圈中。一般而言，如藉由連續NALU集合計數448所定義，存在與連續NALU集合一樣多的NALU偏移值之例項及連續NALU之數目。每一NALU偏移值描述供提取資料之軌跡之樣本處的相應NAL單元之偏移。可使用此提取器來提取自NAL單元之此偏移起始的NAL單元。連續NALU之數目的每一值描述相應NAL單元集合之要複製的整個單一經參考之NAL單元的數目。

以下偽碼提供類似於MVC媒體提取器440之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖17為說明另一實例MVC媒體提取器460之方塊圖，該MVC媒體提取器460在存在一視圖組件之一個以上NAL單元時彙總同一視圖組件中的NAL單元。MVC媒體提取器460可接著用以提取經識別之視圖組件。在圖17之實例中，MVC媒體提取器460包括一可選NAL單元標頭462、軌跡參考索引464、樣本偏移466、連續視圖集合計數468，及視圖組件偏移值470及視圖組件計數472的迴圈。通常分別以與NAL單元標頭422、軌跡參考索引424及樣本偏移值426相同之方式來定義NAL單元標頭462、軌跡參考索引464及樣本偏移值466。

連續視圖集合計數468定義由軌跡參考索引464識別之供提取資料之軌跡中的經識別之樣本之連續視圖組件的數目。多工器30可將連續視圖集合計數468之值設定為零以指示將提取軌跡中之整個經參考的樣本。

視圖組件偏移值470及視圖組件計數472出現於一迴圈中。一般而言，存在與連續視圖集合計數468之值一樣多的迴圈反覆，且每一迴圈對應於連續視圖集合中的一者。視圖組件偏移值470中之每一者指示相應連續視圖集合之供提取資料之軌跡之樣本處的第一視圖組件之偏移。可接著使用MVC媒體提取器460提取自視圖組件之此偏移起始之視圖組件。視圖組件計數472中之每一者描述相應連續視圖集合之樣本中的要複製之整個經參考之視圖組件的數目。

以下偽碼提供類似於MVC媒體提取器460之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖18為說明MVC媒體提取器480之另一實例的方塊圖，該MVC媒體提取器480可用以參考各種軌跡。在圖18之實例中，MVC媒體提取器480包括一可選NAL單元標頭482、連續視圖集合計數484，及樣本偏移值486、軌跡參考索引值488、視圖組件偏移值490及視圖組件計數492的迴圈。NAL單元標頭482可類似於NAL單元標頭422而進行定義，且在一些實例中可省略。

連續視圖集合計數484給出供提取資料之具有軌跡參考索引track_ref_index的媒體提取器軌跡之樣本的連續視圖組件之數目。track_ref_index值可指定軌跡參考之索引以用以找尋供提取資料的軌跡。供提取資料之軌跡中的視圖組件可在時間上對準(在媒體解碼時刻表中，使用時間-樣本表，藉由由樣本偏移值486之相應者指定的偏移來調整)，其中樣本含有MediaExtractorMVC。第一軌跡參考可具有索引值1；可保留值0以供未來使用。

MVC媒體提取器480之實例將樣本偏移值486、軌跡參考索引值488、視圖組件偏移值490及視圖組件計數492中的每一者包括於一迴圈中。每一迴圈反覆對應於一供提取對應於MVC媒體提取器480之樣本的資料之特定軌跡。

樣本偏移值486定義由軌跡參考索引值488之相應者指代之軌跡中的樣本之相對索引，該樣本可用作資訊源。樣本0(零)為由軌跡參考索引值488中的相應者識別之具有與含有MVC媒體提取器480之樣本相同之解碼時間或緊接於含有MVC媒體提取器480之樣本之前的樣本，樣本1為下一樣本，樣本-1為前一樣本，以此類推。

軌跡參考索引值488中之每一者指定軌跡參考之索引以用以找尋供提取相應迴圈反覆之資料的軌跡。藉由使用多個軌跡參考索引值，MVC媒體提取器480可自多個不同軌跡提取資料。

視圖組件偏移值490中之每一者描述供提取資料之軌跡之樣本處的第一視圖組件之偏移，該軌跡具有對應於此迴圈反覆中之軌跡參考索引值488之相應者的軌跡參考索引。可使用MVC媒體提取器480提取自視圖組件之此偏移起始之視圖組件。在一些實例中，可建構一種具有巢式迴圈結構之類似於圖15至圖17之彼等媒體提取器的媒體提取器，在該巢式迴圈結構中，外部迴圈經由供提取樣本之軌跡反覆，且內部迴圈經由待自相應軌跡提取之樣本反覆。視圖組件計數492中之每一者描述軌跡之樣本中的經參考之視圖組件的數目，該軌跡具有對應於此迴圈反覆中之軌跡參考索引值488中之當前者的軌跡參考索引。

以下偽碼提供類似於MVC媒體提取器480之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖19為說明另一實例MVC媒體提取器500之方塊圖，該實例MVC媒體提取器500傳訊提取器之持續時間。當媒體提取器軌跡中之不同樣本共用提取器之相同語法要素時，MVC媒體提取器500可提供一或多個優點。在圖19之實例中，MVC媒體提取器500包括樣本計數502、連續視圖集合計數504、樣本偏移值506、軌跡參考索引508、視圖組件偏移510，及視圖組件計數512。

連續視圖集合計數504、樣本偏移值506、軌跡參考索引508、視圖組件偏移510及視圖組件計數512通常可根據連續視圖集合計數484、樣本偏移值486、軌跡參考索引488、視圖組件偏移490及視圖組件計數492中之相應者來定義。樣本計數502可定義含有MVC媒體提取器500之媒體提取器軌跡中的使用同一媒體提取器之連續樣本的數目。

以下偽碼提供類似於MVC媒體提取器500之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

圖20為說明另一實例MVC媒體提取器520之方塊圖，該實例MVC媒體提取器520定義不同提取器之集合。對於媒體提取器軌跡中之每一樣本而言，樣本可使用提取器之集合中的一或多個提取器，或對該等提取器之一參考。亦即，可定義類似於MVC媒體提取器520之媒體提取器之一集合，且每一樣本可使用提取器之集合中的一或多個提取器或對該等提取器之一參考來識別另一軌跡之樣本。

MVC媒體提取器520之實例包括提取器識別符值522、樣本偏移值524、軌跡參考索引值526、連續視圖集合計數528，及包括視圖組件偏移530及視圖組件計數532的迴圈。樣本偏移值524、連續視圖集合計數528、視圖組件偏移530及視圖組件計數532可根據連續視圖集合計數484、樣本偏移值486、視圖組件偏移490及視圖組件計數492中之相應者來定義。軌跡參考索引值526可根據(例如)軌跡參考索引464來定義。

提取器識別符值522定義提取器(亦即，MVC媒體提取器520)之識別符。向同一媒體提取器軌跡中之提取器指派不同提取器識別符，使得媒體提取器軌跡中之樣本可參考提取器識別符值來使用媒體提取器。參考提取器箱亦可經定義以包括提取器之數目及參考提取器識別符。提取器數目之值可提供用以複製提取器軌跡中之樣本之資料的提取器之數目。當提取器數目之值等於零時，可使用具有預定提取器識別符(例如，等於零之提取器識別符)的提取器。參考提取器識別符可提供用以複製提取器軌跡中之樣本之資料的提取器之提取器識別符。此箱可包括於媒體提取器軌跡之樣本中。

以下偽碼提供類似於MVC媒體提取器520之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

以下偽碼提供上文所描述之參考提取器箱之參考提取器箱類別的實例定義：

圖21為說明實例MVC媒體提取器550之方塊圖，該實例MVC媒體提取器550可使用映射樣本群組來形成。MVC媒體提取器550之實例指定來自一系列樣本項之NAL單元的群組，該等樣本項中之每一者貢獻於映射樣本群組中的連續NAL單元。在圖22之實例中，MVC媒體提取器550包括NALU群組計數552，及包括軌跡索引554、群組描述索引556、NALU起始映射樣本558及NALU視圖計數560的迴圈。

NALU群組計數552指定來自參考軌跡中之映射樣本群組項之NAL單元群組的數目。軌跡參考索引554各自指定軌跡參考之索引以用以找尋供提取相應迴圈反覆之資料的軌跡。群組描述索引556各自指定用以形成相應迴圈反覆之NAL單元群組的映射樣本群組項之索引。NALU起始映射樣本558各自指定相應迴圈反覆中之映射樣本群組中之NAL單元的偏移，該映射樣本群組具有群組描述索引556之相應者的映射樣本項索引。NALU視圖計數560指定相應迴圈反覆中之待提取至映射樣本群組中之媒體提取器中的連續NAL單元之數目，該映射樣本群組具有群組描述索引556之相應者的映射樣本項索引。

以下偽碼提供類似於MVC媒體提取器550之媒體提取器類別的實例定義：

多工器30及解多工器38可使用在以上實例偽碼中定義之媒體提取器來例示媒體提取器資料物件。因此，解多工器38(例如)在自所選擇軌跡擷取資料時可參考所例示之媒體提取器，以便自由所例示之媒體提取器參考之另一軌跡擷取經識別的資料。

本發明之技術可包括用於將樣本之視圖組件配置於樣本群組中的組合過程。樣本群組項之樣本中的視圖組件以時間方式進行排序，使得：若樣本A在原始軌跡(具有軌跡參考索引之索引)中在樣本B之後，則樣本A中之視圖組件在媒體提取器軌跡中在樣本B中的視圖組件之後；若樣本A具有早於樣本B之解碼時間的解碼時間，則樣本A中之視圖組件在媒體提取器軌跡中在樣本B中之視圖組件之後；軌跡之同一樣本中的兩個視圖組件遵循媒體提取器映射樣本群組之語法表中之呈現次序；若軌跡之同一樣本中的兩個視圖組件屬於NAL單元之同一群組，亦即，其由媒體提取器映射樣本群組中之同一迴圈之語法要素進行提取，則該兩個視圖組件遵循原始次序；且若自在不同軌跡中但具有同一時戳之樣本提取兩個視圖組件，則該兩個視圖組件遵循如在MVC檔案格式之視圖識別符箱中指定的視圖次序索引之次序。

圖22為說明傳訊軌跡選擇箱之額外屬性的實例經修改3GPP軌跡選擇箱390之方塊圖。根據此文獻(writing)之最新3GPP標準指定一AttributeList，其包括描述以下各者之屬性：語言、頻寬、編解碼器、螢幕大小、最大封包大小，及媒體類型。3GPP軌跡選擇箱390之屬性清單392包括語言值394、頻寬值396、編解碼器值398及螢幕大小值400，其根據現有3GPP標準傳訊此等屬性。此外，本發明之技術可修改現有3GPP軌跡選擇箱以使其包括訊框率值406、時間識別符值408，及(在一些狀況下)顯示視圖數目值410及輸出視圖清單值412。

如在現有3GPP標準之條款5.3.3.4中所定義，語言值394定義會話等級SDP中之「交替群組」屬性的群組類型LANG之值。頻寬值396定義媒體等級SDP中之「b=AS」屬性的值。編解碼器值398定義媒體軌跡之樣本描述箱中的SampleEntry值。螢幕大小值400定義媒體軌跡中之MP4VisualSampleEntry值及H263SampleEntry值的寬度及高度欄位。最大封包大小值402定義RTPHintSampleEntry中(例如，在RTP示意軌跡中)之MaxPacketSize欄位的值。媒體類型值404描述媒體軌跡之處置器箱中的HandlerType。一般而言，此等值對應於現有3GPP標準。

訊框率值406描述對應於3GPP軌跡選擇箱390之視訊軌跡或媒體提取器軌跡的訊框率。時間識別符值408對應於對應於3GPP軌跡選擇箱390之視訊軌跡的時間識別符，且可視具有較低時間識別符值之軌跡而定。在一些實例中，多工器30可指示，時間識別符值408之值並非藉由將值設定為經預先組態之「非指定」值(例如，8)來指定。一般而言，多工器30可指示，並不指定非視訊軌跡之時間識別符值408的值。在一些實例中，多工器30亦可指示，當相應視訊軌跡並不含有媒體提取器及/或並未由其他軌跡作為時間子集而加以參考時，不指定時間識別符值408的值。

在於3GPP中考慮MVC之實例中，多工器30可包括額外屬性：顯示視圖數目值410及輸出視圖清單值412。在此等實例中，多工器30可省略時間識別符值408。顯示視圖數目值410描述相應軌跡之將輸出之視圖的數目。舉例而言，在參考並未顯示之視圖編碼待顯示之視圖時，待輸出之視圖之數目與待解碼之視圖的數目不必相同。輸出視圖清單值412可定義識別待輸出之N個視圖之N個視圖識別符的清單。

圖23為根據本發明之技術的用於使用媒體提取器之實例方法的流程圖。最初，諸如A/V源器件20(圖1)之源器件根據本發明之技術建構遵照一檔案格式之檔案的視訊軌跡。亦即，多工器30將經編碼之視訊資料組合於該軌跡中，使得視訊軌跡包括經寫碼之視訊樣本，該等視訊樣本包括一或多個NAL單元(600)。多工器30亦建構一參考視訊軌跡之一或多個NAL單元中之一些或全部的提取器(602)，並建構一包括該提取器的提取器軌跡(604)。此外，多工器30可將經編碼之視訊樣本包括於媒體提取器軌跡及包括經編碼之視訊樣本及/或媒體提取器的額外軌跡中。

多工器30可接著輸出檔案(606)。檔案可經由傳輸器、收發器、網路介面、數據機或其他信號輸出構件輸出至一信號，或檔案可經由諸如USB介面、磁性媒體記錄器、光學記錄器之硬體介面或其他硬體介面輸出至儲存媒體。

A/V目的地器件40可(例如)藉由接收信號或讀取儲存媒體來最終接收到檔案(608)。解多工器38可選擇兩個(或兩個以上)軌跡中的一者以進行解碼(610)。解多工器38可基於視訊解碼器48之解碼能力、視訊輸出44之顯現能力或其他準則來選擇軌跡中的一者。當選擇一提取器軌跡時，解多工器38可自該軌跡擷取由提取器軌跡中之提取器參考之NAL單元，在該軌跡中儲存有由提取器識別之經編碼的視訊樣本。

解多工器38可丟棄並不處於所選擇軌跡中且並未由所選擇軌跡中之至少一提取器識別的經編碼之視訊樣本(或其他NAL單元)。亦即，解多工器38可避免將此等經編碼之視訊樣本發送至視訊解碼器48，使得無需向視訊解碼器48分派解碼未使用之視訊資料的任務。

在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任一組合來實施。若以軟體來實施，則該等功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸。電腦可讀媒體可包括諸如資料儲存媒體或通信媒體之電腦可讀儲存媒體，該通信媒體包括促進將電腦程式自一處轉移至另一處的任何媒體。資料儲存媒體可為任何可用媒體，其可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構。以實例說明之且並非限制，此電腦可讀儲存媒體可包含：RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，可將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸線纜、光纖線纜、雙絞線、數位用戶線(DSL)，或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令，則同軸線纜、光纖線纜、雙絞線、DSL，或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫態媒體。於本文中使用時，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟藉由雷射以光學方式再現資料。上述各者之組合亦應包括在電腦可讀媒體之範疇內。

編碼於電腦可讀媒體中之指令可由諸如以下各者之一或多個處理器來執行：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效整合式或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指代前述結構或適於實施本文中所描述之技術之任何其他結構中的任一者。此外，在一些態樣中，本文中所描述之功能性可提供於專用硬體及/或軟體模組內，其經組態以用於編碼及解碼或併入於經組合之編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。

本發明之技術可以多種器件或裝置來實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但不必要求由不同硬體單元來實現。實情為，如上文所描述，各種單元可組合於一編解碼器硬體單元中，或由包括如上文所描述之一或多個處理器的交互操作式硬體單元之集合結合合適軟體及/或韌體來提供。

已描述了各種實施例。此等及其他實例係在以下申請專利範圍之範疇內。

10．．．系統

20．．．音訊/視訊(A/V)源器件

22．．．音訊源

24．．．視訊源

26．．．音訊編碼器

28．．．視訊編碼器

30．．．多工器

32．．．輸出介面

34．．．電腦可讀媒體

36．．．輸入介面

38．．．解多工器

40．．．音訊/視訊(A/V)目的地器件

42．．．音訊輸出

44．．．視訊輸出

46．．．音訊解碼器

48．．．視訊解碼器

60．．．流管理單元

62．．．NAL單元建構器

66．．．流識別符(流ID)查找單元

64．．．軌跡產生單元

68．．．提取器產生單元

80．．．視訊輸入介面

82．．．音訊輸入介面

84．．．多工流輸出介面

88．．．程式特定資訊表

100．．．檔案

102．．．MOOV箱

104．．．完整子集軌跡

106．．．媒體提取器軌跡

110．．．媒體資料(MDAT)箱

112．．．經I編碼之樣本

114．．．經P編碼之樣本

116．．．經B編碼之樣本

118．．．經B編碼的樣本

120．．．提取器

122．．．提取器

124．．．提取器

140．．．檔案

142．．．MOOV箱

144．．．完整子集軌跡

146．．．提取器軌跡

148．．．提取器軌跡

150．．．媒體資料(MDAT)箱

152．．．經I編碼之樣本

154．．．經P編碼之樣本

156．．．經B編碼的樣本

158．．．經B編碼的樣本

160．．．提取器

162．．．提取器

164．．．提取器

166．．．提取器

168．．．提取器

180．．．檔案

182．．．MOOV箱

184．．．媒體提取器軌跡

186．．．媒體提取器軌跡

188．．．子集軌跡

190．．．媒體資料(MDAT)箱

192．．．經I編碼之樣本

194．．．經P編碼之樣本

198．．．提取器

200．．．提取器

202．．．經B編碼之樣本

204．．．提取器

206．．．提取器

208．．．經B編碼的樣本

210．．．提取器

220．．．媒體資料(MDAT)箱

222．．．錨定樣本

223．．．非錨定樣本

224A．．．視圖0樣本

224B．．．視圖0樣本

226A．．．視圖2樣本

226B．．．視圖2樣本

228A．．．視圖1樣本

228B．．．視圖1樣本

230A．．．視圖4樣本

230B．．．視圖4樣本

232A．．．視圖3樣本

232B．．．視圖3樣本

240．．．提取器集合

242A．．．提取器

242N．．．提取器

244．．．提取器集合

246A．．．提取器

246N．．．提取器

250．．．提取器

252A．．．提取器樣本

252N．．．提取器樣本

254A．．．提取器

254B．．．提取器

256A．．．提取器

256B．．．提取器

300．．．媒體提取器

302．．．軌跡參考索引

304．．．樣本偏移值

310．．．媒體提取器

312．．．樣本標頭

314．．．軌跡參考索引

316．．．樣本偏移值

320．．．媒體提取器

322．．．樣本標頭

324．．．軌跡參考索引

326．．．資料偏移值

328．．．資料長度值

340．．．媒體提取器

342．．．軌跡參考索引

344．．．保留位元

346．．．樣本偏移值

350．．．媒體提取器

352．．．軌跡識別符

354．．．保留位元

356．．．樣本偏移值

360．．．媒體提取器樣本群組

362．．．軌跡參考索引

364．．．群組類型

366．．．群組數目計數

368．．．保留位元

370．．．群組描述索引

380．．．媒體提取器

382．．．軌跡參考索引

384．．．時間識別符值

386．．．保留位元

388．．．樣本偏移值

390．．．3GPP軌跡選擇箱

392．．．屬性清單

394．．．語言值

396．．．頻寬值

398．．．編解碼器值

400．．．螢幕大小值

402．．．最大封包大小值

404．．．媒體類型值

406．．．訊框率值

408．．．時間識別符值

410．．．顯示視圖數目值

412．．．輸出視圖清單值

420．．．媒體提取器

422．．．NAL單元標頭

424．．．軌跡參考索引

426．．．樣本偏移

428．．．連續位元組集合計數

430．．．資料偏移值

432．．．資料長度值

440．．．MVC媒體提取器

442．．．NAL單元標頭

444．．．軌跡參考索引

446．．．樣本偏移值

448．．．連續NALU(NAL單元)集合計數

450．．．NALU偏移值

452．．．連續NAL單元之數目

460．．．MVC媒體提取器

462．．．NAL單元標頭

464．．．軌跡參考索引

466．．．樣本偏移

468．．．連續視圖集合計數

470．．．視圖組件偏移值

472．．．視圖組件計數

480．．．MVC媒體提取器

482．．．NAL單元標頭

484．．．連續視圖集合計數

486．．．樣本偏移值

488．．．軌跡參考索引值

490．．．視圖組件偏移值

492．．．視圖組件計數

500．．．MVC媒體提取器

502．．．樣本計數

504．．．連續視圖集合計數

506．．．樣本偏移值

508．．．軌跡參考索引

510．．．視圖組件偏移

512．．．視圖組件計數

520．．．MVC媒體提取器

522．．．提取器識別符值

524．．．樣本偏移值

526．．．軌跡參考索引值

528．．．連續視圖集合計數

530．．．視圖組件偏移

532．．．視圖組件計數

550．．．MVC媒體提取器

552．．．NALU群組計數

554．．．軌跡索引

556．．．群組描述索引

558．．．NALU起始映射樣本

560．．．NALU視圖計數

S0．．．視圖

S1．．．視圖

S2．．．視圖

S3．．．視圖

S4．．．視圖

S5．．．視圖

S6．．．視圖

S7．．．視圖

圖1為說明音訊/視訊(A/V)源器件將音訊資料及視訊資料傳送至A/V目的地器件之實例系統的方塊圖。

圖2為說明多工器之組件之實例配置的方塊圖。

圖3為說明一實例檔案之方塊圖，該實例檔案包括一具有視訊樣本之一集合的第一軌跡及一具有提取器之第二軌跡，該等提取器參考第一軌跡之視訊樣本之一子集。

圖4為說明包括兩個相異提取器軌跡之另一實例檔案的方塊圖。

圖5為說明包括一子集軌跡及兩個媒體提取器軌跡之另一實例檔案的方塊圖。

圖6A至圖6C為說明一檔案之媒體資料箱之實例的方塊圖，該媒體資料箱包括各種媒體提取器軌跡之媒體提取器的實例。

圖7為說明實例MVC預測型式之概念圖。

圖8至圖21為說明根據本發明之技術的媒體提取器之資料結構及可使用之其他支援資料結構的各種實例之方塊圖。

圖22為說明用以傳訊軌跡選擇箱之額外屬性的實例經修改第三代合作夥伴計劃(3GPP)軌跡選擇箱之方塊圖。

圖23為根據本發明之技術的用於使用媒體提取器之實例方法的流程圖。

10．．．系統

20．．．音訊/視訊(A/V)源器件

22．．．音訊源

24．．．視訊源

26．．．音訊編碼器

28．．．視訊編碼器

30．．．多工器

32．．．輸出介面

34．．．電腦可讀媒體

36．．．輸入介面

38．．．解多工器

40．．．音訊/視訊(A/V)目的地器件

42．．．音訊輸出

44．．．視訊輸出

46．．．音訊解碼器

48．．．視訊解碼器

Claims (46)

1. 一種用於編碼視訊資料之方法，該方法包含：藉由一源視訊器件基於經編碼之視訊資料來建構一第一軌跡，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；藉由該源視訊器件建構一包括複數個提取器之第二軌跡，該複數個提取器包括識別該第一軌跡之複數個NAL單元之一提取器，經識別之該複數個NAL單元中包括該第一軌跡之該視訊樣本中之該等NAL單元之經識別之一第一NAL單元與該存取單元中之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該第一NAL單元與該第二NAL單元之間的任何NAL單元；將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式的視訊檔案中；及輸出該視訊檔案。
2. 如請求項1之方法，其中該視訊檔案遵照該ISO基礎媒體檔案格式。
3. 如請求項1之方法，其中該視訊檔案遵照以下各者中之至少一者：可擴充視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式，及多視圖視訊寫碼(MVC)檔案格式。
4. 如請求項1之方法，其中建構該第二軌跡進一步包含基於該經編碼之資料將一或多個額外NAL單元包括於該第二軌跡中，該一或多個額外NAL單元並未包括於該第一軌跡之該複數個NAL單元中。
5. 如請求項4之方法，其進一步包含建構一第三軌跡，該第三軌跡包括一識別該第一軌跡之該複數個NAL單元中之一或多者的第一提取器，及一識別該第二軌跡之該一或多個NAL單元中之至少一者的第二提取器。
6. 如請求項5之方法，其中建構該第三軌跡進一步包含將並未包括於該第一軌跡及該第二軌跡中之一或多個NAL單元包括於該第三軌跡中。
7. 如請求項1之方法，其中建構該第二軌跡包含建構識別該第一軌跡之該視訊樣本之該複數個NAL單元中之每一者的提取器，且其中該提取器使一目的地器件整體上提取該視訊樣本之該複數個NAL單元中的每一者。
8. 如請求項1之方法，其中建構該第二軌跡包含藉由以下操作來建構識別該視訊樣本之該複數個NAL單元中之該一或多者的提取器：指定該視訊檔案之該第一軌跡中的該視訊樣本之該複數個NAL單元中之該一或多者的一位元組範圍。
9. 如請求項1之方法，其中該第一軌跡中的該視訊樣本之該複數個NAL單元包含以下各者中之至少一者：一共同圖片之切片、非視訊寫碼層(VCL)NAL單元、補充增強資訊(SEI)訊息NAL單元、該存取單元之視訊層、該存取 單元之不同視圖組件，及自多個NAL單元彙總之NUL單元。
10. 如請求項1之方法，其中該複數個NAL單元包含第一複數個NAL單元，該方法進一步包含基於該經編碼之視訊資料建構一包括第二複數個NAL單元的第三軌跡，其中該第二複數個NAL單元形成該存取單元之部分，且其中該第二複數個NAL單元包含由該提取器所識別之該第二經識別之該第二NAL單元。
11. 如請求項1之方法，其中該視訊樣本包含一第一視訊樣本，其中該複數個NAL單元包含第一複數個NAL單元，其中該第一軌跡進一步包含一包含第二複數個NAL單元的第二樣本，其中該存取單元包含該第二樣本，且其中該第二複數個NAL單元包含由該提取器所識別之該第二NAL單元。
12. 如請求項1之方法，其中該第二NAL單元包含該第一軌跡之該視訊樣本之該複數個NAL單元中的一第二NAL單元，該第二NAL單元與該視訊樣本中之經識別之該第一NAL單元分離開至少一位元組之資料。
13. 如請求項1之方法，其中該第一軌跡及該第二軌跡形成一切換群組，使得該第一軌跡或該第二軌跡可基於每一軌跡之特性而選擇用於藉由一目的地器件進行解碼。
14. 如請求項13之方法，其中建構該第二軌跡包含：傳訊該第二軌跡之一訊框率；傳訊該第一軌跡之該視訊樣本的一時間識別符以用於 該第二軌跡；且其中當該第二軌跡包含一個以上視圖時，建構該第二軌跡進一步包含：傳訊一表示在解碼該第二軌跡之後待顯示之視圖之一數目的值；傳訊用於該第二軌跡之待顯示之視圖的一或多個視圖識別符值；及傳訊一表示用於該第二軌跡之待解碼之視圖之一數目的值。
15. 一種用於編碼視訊資料之裝置，該裝置包含：一編碼器，其經組態以編碼視訊資料；一多工器，其經組態以：基於經編碼之該視訊資料來建構一第一軌跡，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；建構一包括複數個提取器之第二軌跡，該複數個提取器包括識別該第一軌跡之複數個NAL單元之一提取器，經識別之該複數個NAL單元包含該第一軌跡之該視訊樣本中之該等NAL單元之經識別之一第一NAL單元與該存取單元中之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該第一NAL單元與該第二NAL單元之間的任何NAL單元，其中該多工器進一步經組態以將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織 (ISO)基礎媒體檔案格式的視訊檔案中；及一輸出介面，其經組態以輸出該視訊檔案。
16. 如請求項15之裝置，其中該視訊檔案遵照以下各者中之至少一者：ISO基礎媒體檔案格式、可擴充視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式，及多視圖視訊寫碼(MVC)檔案格式。
17. 如請求項15之裝置，其中該多工器經組態以基於該經編碼之視訊資料將一或多個NAL單元包括於該第二軌跡中，該一或多個NAL單元並未包括於該第一軌跡中。
18. 如請求項17之裝置，其中該多工器經組態以建構一第三軌跡，該第三軌跡包括一識別該第一軌跡之該複數個NAL單元中之一或多者的第一提取器，及一識別該第二軌跡之該複數個NAL單元中之一或多者的第二提取器。
19. 如請求項15之裝置，其中該提取器包含一第一提取器，其中該多工器經組態以基於該經編碼之視訊資料建構一包括複數個NAL單元之第三提取器軌跡，且其中該多工器經組態以建構該第二軌跡以使其包括一識別該第三軌跡之該複數個NAL單元中之一或多者的第二提取器。
20. 如請求項16之裝置，其中該裝置包含以下各者中之至少一者：一積體電路；一微處理器；及一無線通信器件，其包括該視訊編碼器及該多工器。
21. 一種用於編碼視訊資料之裝置，該裝置包含：用於基於經編碼之視訊資料來建構一第一軌跡之構件，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；用於建構一包括複數個提取器之第二軌跡之構件，該複數個提取器包括識別該第一軌跡之複數個NAL單元之一提取器，經識別之該複數個NAL單元包含該第一軌跡之該視訊樣本中之該等NAL單元之經識別之一第一NAL單元與該存取單元中之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該第一NAL單元與該第二NAL單元之間的任何NAL單元；用於將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案中的構件；及用於輸出該視訊檔案之構件。
22. 如請求項21之裝置，其中該視訊檔案遵照以下各者中之至少一者：ISO基礎媒體檔案格式、可擴充視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式，及多視圖視訊寫碼(MVC)檔案格式。
23. 如請求項21之裝置，其進一步包含用於基於該經編碼之資料將一或多個NAL單元包括於該第二軌跡中之構件， 該一或多個NAL單元並未包括於該第一軌跡中。
24. 如請求項23之裝置，其進一步包含用於建構一第三軌跡之構件，該第三軌跡包括一識別該第一軌跡之該複數個NAL單元中之一或多者的第一提取器，及一識別該第二軌跡之該一或多個NAL單元中之至少一者的第二提取器。
25. 如請求項21之裝置，其中該提取器包含一第一提取器，該裝置進一步包含用於基於該經編碼之視訊資料建構一包括複數個NAL單元之第三提取器軌跡之構件，且其中該用於建構該第二軌跡之構件包含用於建構該第二軌跡以使其包括一識別該第三軌跡之該複數個NAL單元中之一或多者的第二提取器之構件。
26. 一種包含指令之非暫時性的電腦可讀儲存媒體，該等指令在執行時使一處理器進行以下操作：基於經編碼之視訊資料來建構一第一軌跡，該第一軌跡包括一包含複數個網路存取層(NAL)單元之視訊樣本，其中該視訊樣本包括於一存取單元中；建構一包括複數個提取器之第二軌跡，該複數個提取器包括識別該第一軌跡之複數個NAL單元之一提取器，經識別之該複數個NAL單元包含該第一軌跡之視訊樣本中之該等NAL單元之經識別之一第一NAL單元與該存取單元中之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該 第一NAL單元與該第二NAL單元之間的任何NAL單元；將該第一軌跡及該第二軌跡包括於一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式的視訊檔案中；及輸出該視訊檔案。
27. 如請求項26之非暫時性的電腦可讀儲存媒體，其中該視訊檔案遵照以下各者中之至少一者：ISO基礎媒體檔案格式、可擴充視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式，及多視圖視訊寫碼(MVC)檔案格式。
28. 如請求項26之非暫時性的電腦可讀儲存媒體，其進一步包含使該處理器基於該經編碼之資料將一或多個NAL單元包括於該第二軌跡中之指令，該一或多個NAL單元並未包括於該第一軌跡中。
29. 如請求項28之非暫時性的電腦可讀儲存媒體，其進一步包含使該處理器建構一第三軌跡之指令，該第三軌跡包括一識別該第一軌跡之該複數個NAL單元中之一或多者的第一提取器，及一識別該第二軌跡之該一或多個NAL單元中之至少一者的第二提取器。
30. 如請求項26之非暫時性的電腦可讀儲存媒體，其中該提取器包含一第一提取器，該電腦可讀儲存媒體進一步包含使該處理器基於經編碼之該視訊資料建構一包括複數個NAL單元之第三提取器軌跡之指令，且其中使該處理器建構該第二軌跡之該等指令包含使該處理器建構該第二軌跡以使其包括一識別該第三軌跡之該複數個NAL單 元中之一或多者的第二提取器之指令。
31. 一種用於解碼視訊資料之方法，該方法包含：藉由一目的地器件之一解多工器接收一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括一包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括複數個提取器，該複數個提取器包括識別該第一軌跡之複數個NAL單元之一提取器，經識別之該複數個NAL單元包括該第一軌跡之該等NAL單元之經識別之一第一NAL單元與該存取單元之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該第一NAL單元與該第二NAL單元之間的任何NAL單元；選擇該第二軌跡以進行解碼；及將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至該目的地器件之一視訊解碼器。
32. 如請求項31之方法，其進一步包含丟棄該第一軌跡之並未由該第二軌跡之該提取器識別的該複數個NAL單元中之每一者。
33. 如請求項31之方法，其中該第二軌跡進一步包含並未包括於該第一軌跡中之一或多個NAL單元，該方法進一步 包含將該第二軌跡之該一或多個NAL單元的經編碼視訊資料發送至該視訊解碼器。
34. 如請求項31之方法，其中該視訊檔案進一步包含一包括對應於經編碼視訊資料之複數個NAL單元的第三軌跡，該方法進一步包含將該第三軌跡之該複數個NAL單元的經編碼視訊資料發送至該視訊解碼器。
35. 一種用於解碼視訊資料之裝置，該裝置包含：一視訊解碼器，其經組態以解碼視訊資料；及一解多工器，其經組態以：接收一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括一包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括複數個提取器，該複數個提取器包括識別該第一軌跡之複數個NAL單元之一提取器，經識別之該複數個NAL單元包括該第一軌跡之該等NAL單元之經識別之一第一NAL單元與該存取單元中之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二經NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該第一NAL單元與該第二NAL單元之間的任何NAL單元，其中該解多工器經進一步組態以選擇該第二軌跡以進行解碼，及將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至該視訊解碼器。
36. 如請求項35之裝置，其中該解多工器經組態以丟棄該第一軌跡之並未由該第二軌跡之該提取器識別的該複數個NAL單元中的每一者。
37. 如請求項35之裝置，其中該第二軌跡進一步包含並未包括於該第一軌跡中之一或多個NAL單元，且其中該解多工器經組態以將該第二軌跡之該一或多個NAL單元的經編碼視訊資料發送至該視訊解碼器。
38. 如請求項35之裝置，其中該視訊檔案進一步包含一包括對應於經編碼視訊資料之複數個NAL單元的第三軌跡，且其中該解多工器經組態以將該第三軌跡之該複數個NAL單元的經編碼視訊資料發送至該視訊解碼器。
39. 一種用於解碼視訊資料之裝置，該裝置包含：用於接收一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案之構件，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括複數個提取器，該複數個提取器包括識別該第一軌跡之複數個NAL單元之一提取器，經識別之該複數個NAL單元包含該第一軌跡之該等NAL單元之經識別之一第一NAL單元與該存取單元之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該第一NAL單元與該第二NAL單元之間的 任何NAL單元；用於選擇該第二軌跡以進行解碼之構件；及用於將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至該裝置之一視訊解碼器的構件。
40. 如請求項39之裝置，其進一步包含用於丟棄該第一軌跡之並未由該第二軌跡之該提取器識別的該複數個NAL單元中之每一者的構件。
41. 如請求項39之裝置，其中該第二軌跡進一步包含並未包括於該第一軌跡中之一或多個NAL單元，該裝置進一步包含用於將該第二軌跡之該一或多個NAL單元的經編碼視訊資料發送至該視訊解碼器之構件。
42. 如請求項39之裝置，其中該視訊檔案進一步包含一包括對應於經編碼視訊資料之複數個NAL單元的第三軌跡，該裝置進一步包含用於將該第三軌跡之該複數個NAL單元的經編碼視訊資料發送至該視訊解碼器之構件。
43. 一種包含指令之非暫時性的電腦可讀儲存媒體，該等指令在執行時使一處理器進行以下操作：在接收到一至少部分遵照國際標準組織(ISO)基礎媒體檔案格式之視訊檔案之後，該視訊檔案包含一第一軌跡及一第二軌跡，該第一軌跡包括一包含對應於經編碼視訊資料之複數個網路存取層(NAL)單元的視訊樣本，其中該視訊樣本包括於一存取單元中，且該第二軌跡包括複數個提取器，該複數個提取器包括識別該第一軌跡之 複數個NAL單元之一提取器，經識別之該複數個NAL單元包括該第一軌跡之該等NAL單元之經識別之一第一NAL單元與該存取單元中之一第二NAL單元，其中經識別之該第一NAL單元與經識別之該第二NAL單元為不連續的，且其中該提取器識別該第一NAL單元與該第二NAL單元而不識別該第一NAL單元與該第二NAL單元之間的任何NAL單元，選擇該第二軌跡以進行解碼；及將由該第二軌跡之該提取器識別之該第一NAL單元及該第二NAL單元的經編碼視訊資料發送至一視訊解碼器。
44. 如請求項43之非暫時性的電腦可讀儲存媒體，其進一步包含丟棄該第一軌跡之並未由該第二軌跡之該提取器識別的該複數個NAL單元中之每一者。
45. 如請求項43之非暫時性的電腦可讀儲存媒體，其中該第二軌跡進一步包含並未包括於該第一軌跡中之一或多個NAL單元，該非暫時性的電腦可讀儲存媒體進一步包含數個指令，當執行該等指令時，使該處理器將該第二軌跡之該一或多個NAL單元的經編碼視訊資料發送至該視訊解碼器。
46. 如請求項43之非暫時性的電腦可讀儲存媒體，其中該視訊檔案進一步包含一包括對應於經編碼視訊資料之複數個NAL單元的第三軌跡，該非暫時性的電腦可讀儲存媒體進一步包含數個指令，當執行該等指令時，使該處理器將該第三軌跡之該複數個NAL單元的經編碼視訊資料發送至該視訊解碼器。