TWI735297B - 具有初始化片段之視訊及音訊之寫碼 - Google Patents

具有初始化片段之視訊及音訊之寫碼 Download PDF

Info

Publication number
TWI735297B
TWI735297B TW109125318A TW109125318A TWI735297B TW I735297 B TWI735297 B TW I735297B TW 109125318 A TW109125318 A TW 109125318A TW 109125318 A TW109125318 A TW 109125318A TW I735297 B TWI735297 B TW I735297B
Authority
TW
Taiwan
Prior art keywords
pattern
duration
data stream
data
decoder
Prior art date
Application number
TW109125318A
Other languages
English (en)
Other versions
TW202110176A (zh
Inventor
大衛 W 辛爾
Original Assignee
美商蘋果公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商蘋果公司 filed Critical 美商蘋果公司
Publication of TW202110176A publication Critical patent/TW202110176A/zh
Application granted granted Critical
Publication of TWI735297B publication Critical patent/TWI735297B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種用於經寫碼視訊資料之新檔案格式。一解碼器可識別該經寫碼視訊資料中之型樣，以便使資料之解碼處理程序及/或顯示更有效率。此等型樣可為預定義的且儲存於該解碼器處，可由每一編碼器定義且在終端機初始化期間進行交換，或可藉由該相關聯之視訊資料來傳輸及/或儲存。與視訊資料之片段相關聯的初始化資訊亦可提供輪播初始化更新，使得初始化片段可指示應更新該初始化資訊或應重新初始化該解碼器。另外，可將媒體檔案或區段分裂成片段且每一區段可具有用以提供對該區段之媒體資料之隨機存取的一索引。

Description

具有初始化片段之視訊及音訊之寫碼
本發明大體係關於視訊處理之領域，且更具體言之，係關於視訊資料之編碼及解碼。
本發明之態樣大體係關於視訊處理之領域，且更具體言之，係關於視訊資料之編碼及解碼。
在視訊寫碼系統中，編碼器可將來源視訊序列寫碼為具有小於來源視訊之位元速率之位元速率的經寫碼表示且藉此達成資料壓縮。使用預測性寫碼技術，可獨立地寫碼視訊串流之一些部分(經框內寫碼之I圖框)且可參考其他部分寫碼一些其他部分(經框間寫碼之圖框，例如，P圖框或B圖框)。此寫碼常常涉及經由時間或空間預測、殘餘值之量化及熵寫碼來利用視訊資料中之冗餘。先前經寫碼圖框(亦被稱為參考圖框)可由編碼器臨時儲存以供未來用於框間寫碼。因此，參考圖框快取記憶體儲存圖框資料，該圖框資料可表示用於輸入至視訊寫碼系統之稍後所接收圖框的預測來源。可經由通道將所得經壓縮資料(位元串流)傳輸至解碼系統。為了恢復視訊資料，可在解碼器處藉由反轉由編碼器執行之寫碼處理程序來解壓縮位元串流，從而產生經恢復之經解碼視訊序列。
當在自通道擷取經寫碼視訊資料之後解碼經寫碼視訊資料時， 經恢復之視訊序列複製但並非來源視訊之確切重複。此外，視訊寫碼技術可基於可變外部約束(諸如，位元速率預算、視訊編碼器及/或視訊解碼器處之資源限制，或由視訊寫碼系統支援之顯示器大小)而變化。在許多寫碼應用中，持續需要最大化頻寬節省。當寫碼視訊資料以用於消費者應用(諸如，攜帶型媒體播放器及軟體媒體播放器)時，常常以自1280×720像素/圖框(高達30圖框/秒)之來源視訊的約8-12 Mbits/sec且有時4 MBits/sec的資料速率寫碼視訊資料。
在許多系統中，頻寬正上升但延時通常在很大程度上受信號行進之速度限制，且因此保持一致或甚至可能歸因於緩衝延遲而上升。此外，許多共同檔案格式未經設計用於現代媒體遞送技術，尤其是串流傳輸及一對多分佈(廣播、多播、應用層多播或同級間分佈)。習知地，在往返延遲成本攤銷於較大資料物件(諸如，區段)中時，達成頻寬效率。HTTP串流傳輸係解決此等問題之環境的一實例，但在彼例子中，此等媒體之格式取決於遞送系統。
因此，此項技術中需要一種經設計以簡化現有檔案格式及使現有檔案格式現代化同時仍儘可能多地重新使用現有格式的新檔案格式，以允許遞送與儲存之間的容易轉換，及用於媒體遞送之最佳化。
在本發明之一實施例中，一種視訊寫碼方法包含：針對一視訊圖框序列，寫碼該圖框序列；識別該等圖框之一特性中的一型樣；及在一通道上藉由該圖框序列傳輸該型樣。
在本發明之另一實施例中，一種用於解碼一經寫碼圖框序列之方法包含：識別該圖框序列中之圖框的一型樣；使該圖框型樣與一初 始化表中所定義之一型樣匹配；及使用用於該型樣之該初始化表中所定義的值來解碼呈該圖框型樣之圖框。
在本發明之另一實施例中，一種用於存取一媒體區段之方法包含：存取用於該媒體區段之一初始化區塊，該初始化區塊識別該媒體區段中之複數個電影片段；及藉由該初始化區塊中所提供之該識別，存取該媒體區段之一片段。
在本發明之另一實施例中，一種用於解碼串流傳輸媒體資料之方法包含：在一解碼器處接收用於該媒體資料之一第一初始化片段，該第一片段具有一第一主要版本號碼及一第一次要版本號碼；在一解碼器處接收用於該媒體資料之一第二初始化片段，該第二片段具有一第二主要版本號碼及一第二次要版本號碼；若該第一主要版本號碼與該第二主要版本號碼不同，則藉由該第二片段重新初始化該解碼器；若該第一主要版本號碼與該第二主要版本號碼相同，且該第一次要版本號碼與該第二次要版本號碼不同，則在該解碼器處藉由該第二片段中所提供之資訊更新初始化資料；且若該第一主要版本號碼與該第二主要版本號碼相同，且該第一次要版本號碼與該第二次要版本號碼相同，則放棄該第二片段。
100:視訊寫碼系統
101:來源視訊
110:編碼器系統
120:解碼器系統
130:通道
200:編碼器
201:輸入來源視訊序列
205:預處理器
210:寫碼引擎
215:解碼引擎
220:多工器(MUX)
225:控制器
300:解碼器
305:緩衝器
310:解碼引擎
315:控制器
320:後處理器
500:用於選擇基於型樣之預設值以用於解碼經寫碼視訊序列之例示性方法
600:視訊檔案
601:初始化資訊
605:電影片段
605.1:電影片段
605.2:電影片段
605.3:電影片段
605.N:電影片段
610.1:媒體資料
610.2:媒體資料
610.3:媒體資料
610.N:媒體資料
700:用於隨機地存取媒體檔案之一部分之例示性方法
800:經寫碼視訊資料
801:主要版本號碼
802:次要版本號碼
805:初始化片段
810:媒體資料
900:用於識別視訊資料串流中之初始化更新資訊之例示性方法
本發明之各種實施例之前述及其他態樣將經由其結合隨附圖式圖之以下詳細描述的檢查而顯而易見，在該等圖中，類似參考數字用以指示功能上類似之元件。
圖1為說明根據本發明之一實施例之例示性視訊寫碼系統的組件的簡化方塊圖。
圖2為說明根據本發明之一實施例之例示性編碼器的組件的簡化方塊圖。
圖3為說明根據本發明之一實施例之例示性解碼器的組件的簡化方塊圖。
圖4說明根據本發明之一實施例之具有型樣的例示性片段。
圖5為說明用於選擇基於型樣之預設值以用於解碼一經寫碼視訊序列之例示性方法的簡化流程圖。
圖6說明根據本發明之一實施例之例示性視訊檔案，該視訊檔案具有藉由初始化資訊編索引的複數個電影片段。
圖7為說明根據本發明之一實施例的用於隨機地存取媒體檔案之一部分之例示性方法的簡化流程圖。
圖8說明根據本發明之一實施例的具有輪播初始化資訊之經寫碼視訊資料的例示性片段。
圖9為說明根據本發明之一實施例的用於識別視訊資料串流中之初始化更新資訊之例示性方法的簡化流程圖。
相關申請案之交叉參考
本申請案主張2012年4月23日申請之題為「CODING OF VIDEO AND AUDIO」的同在申請中之美國臨時申請案第61/637,068號及2012年4月23日申請之題為「A NEW MPEG FILE FORMAT」的臨時申請案第61/637,263號的權利，該等申請案之揭示內容以其全文引用之方式併入本文中。
呈現一種經設計以簡化現有檔案格式及使現有檔案格式現代化 之新檔案格式。習知檔案類型(包括標準MP4檔案)可自動地轉換為所呈現之格式的檔案。本文中所定義之資料物件係遞增的，能夠載運單一串流或封裝，可重新封裝，等等。可將呈現表示為經封裝單一媒體檔案或表示為複數個軌跡，或非計時之資料條目，使得可單獨地儲存封裝之內容。亦可在時間上將呈現分段，且將片段收集至單獨區段中。根據一實施例，媒體片段可含有時刻表之部分(包括媒體資料)，而初始化片段可含有初始化資訊(可能或可能不繼之以媒體資料)。資料之區段可以初始化片段開始。
圖1為說明根據本發明之一實施例之例示性視訊寫碼系統100的組件的簡化方塊圖。如圖1中所展示，例示性視訊寫碼系統可包括經由通道130通信之編碼器系統110及解碼器系統120。編碼器系統110可接受來源視訊101且可將來源視訊101寫碼為經寫碼視訊，經寫碼視訊通常具有比來源視訊101之位元速率低得多的位元速率。編碼器系統110可將經寫碼視訊資料輸出至通道130，通道130可為儲存器件(諸如，光學、磁性或電儲存器件)或由電腦網路或通信網路形成之通信通道。
終端機可作為初始交握之部分交換資訊(例如，詳述每一終端機之能力的資訊)。每一終端機可包括含有用於編碼及解碼之預設參數的初始化表。在交握期間所交換之資訊可接著識別寫碼格式及預設初始化表。
解碼器系統120可具有初始化資訊，該初始化資訊可包括經寫碼視訊資料中之寫碼型樣。舉例而言，對於基於時間之寫碼技術，媒體資料可由各自可具有各種基於時間之特性的片段組成。舉例而言，每 一圖框可具有相關聯之時間長度、寫碼次序及顯示次序。片段可含有一圖框序列，該圖框序列之相關聯的特性遵循一預定義型樣。型樣資訊可在交握處理程序期間予以交換或可另外藉由經寫碼視訊資料來儲存或傳輸。在一些例子中，初始化資訊可定義資料參考、樣本條目等之預設設置。對於視訊資料之片段，相關聯之初始化資訊可包括定義此等寫碼型樣之表格。當此等型樣為已知的時，其可經編索引。此等型樣包括樣本大小型樣、持續時間、時序、重新排序、樣本群組成員及可用以解碼及顯示經寫碼視訊資料之其他片段特性。
解碼器系統120可自通道130擷取經寫碼視訊資料，反轉由編碼器系統110執行之寫碼操作，及將經解碼視訊資料輸出至相關聯之顯示器件。解碼器系統120可存取與所擷取之經寫碼視訊資料相關聯的初始化資訊。該初始化資訊可促進經恢復之媒體資料的解碼及/或顯示。
根據一實施例，寫碼系統100可包括經由網路通信之終端機。該等終端機各自可在本端俘獲視訊資料且寫碼視訊資料以用於經由網路傳輸至另一終端機。每一終端機可自網路接收另一終端機之經寫碼視訊資料，解碼該經寫碼資料及顯示經恢復之視訊資料。視訊終端機可包括個人電腦(桌上型電腦與膝上型電腦兩者)、平板電腦、手持型計算器件、電腦伺服器、媒體播放器及/或專用視訊會議設備。如圖1中所展示，一對終端機藉由編碼器系統110及解碼器系統120表示。如所展示，寫碼系統100支援僅在一方向上的視訊寫碼及解碼。然而，根據一實施例，可藉由實施於每一終端機處之編碼器及解碼器來達成雙向通信。
圖2為說明根據本發明之一實施例之例示性編碼器200的組件的簡化方塊圖。如圖2中所展示，編碼器200可包括預處理器205、寫碼引擎210、解碼引擎215、多工器220及控制器225。編碼器200可自視訊來源(諸如，攝影機或儲存器件)接收輸入來源視訊序列201。預處理器205可將輸入來源視訊序列201處理為一系列圖框且調節來源視訊以達成更有效率之壓縮。舉例而言，可評估輸入來源視訊序列之影像內容以判定用於每一圖框之適當寫碼模式。預處理器205可另外對圖框執行視訊處理操作，包括濾波操作(諸如，去除雜訊濾波、雙邊濾波)或改良由編碼器200執行之寫碼操作之效率的其他種類的處理操作。
寫碼引擎210可自預處理器205接收經處理之視訊資料且產生經壓縮之視訊。寫碼引擎210可根據預定多級協定(諸如，H.263、H.264或MPEG-2)來操作。因此，經寫碼視訊資料可遵照藉由正使用之協定指定的語法。寫碼引擎可另外選擇或經指派多種寫碼模式中之一者以寫碼視訊資料，其中每一不同寫碼模式取決於來源視訊之內容而產生一不同壓縮層級。舉例而言，寫碼引擎210可根據像素資料之標準陣列(例如，8×8或16×6區塊)(本文中稱為「像素區塊」)來剖析來源視訊圖框，且可根據預測殘餘值之區塊預測及計算、量化及熵寫碼來寫碼該等像素區塊。
編碼器200可進一步包括解碼引擎215，解碼引擎215藉由反轉在其中執行之寫碼操作來解碼自寫碼引擎210輸出之經寫碼像素區塊。解碼引擎215可產生解碼器系統將產生之來源視訊資料的相同經解碼複本，其可用作由寫碼引擎210執行之預測性寫碼技術的基礎。解碼 引擎215可存取參考圖框快取記憶體以擷取用於解碼之參考資料及儲存經解碼圖框資料，該經解碼圖框資料可表示用於輸入至視訊寫碼系統之稍後所接收圖框的預測來源。
可接著將經寫碼圖框或像素區塊自寫碼引擎210輸出並由MUX 220儲存，在MUX 220中，可將該等經寫碼圖框或像素區塊組合為待藉由傳輸通道遞送至解碼器、終端機或資料儲存器的共同位元串流。在一實施例中，編碼器200可在藉由用於頻帶外資料之控管協定建立的邏輯通道中藉由視訊資料之片段的經寫碼圖框來傳輸初始化資訊。作為一實例(供H.264協定使用)，編碼器200可在藉由H.264指定之補充增強資訊(SEI)通道中傳輸累積之統計。在此實施例中，MUX 220表示用以將初始化資訊引入對應於SEI通道之邏輯通道中的處理程序。當本發明將與不指定此等頻帶外通道之協定一起使用時，MUX 220可建立用於輸出通道內之雜訊參數的單獨邏輯通道。
在編碼期間，控制器225可監視預處理器205之操作、寫碼引擎210之操作、經寫碼視訊資料及/或經恢復之視訊資料以識別某些特性之型樣。舉例而言，可識別視訊資料之區段大小、持續時間、時序及重新排序的型樣。根據一實施例，型樣可限於經寫碼視訊資料之特定區段大小。控制器225可將此資訊收集於每一區段之初始化表中。可接著在通道上藉由相關聯之經寫碼視訊資料來傳輸初始化資訊。根據一實施例，控制器225可控制寫碼引擎之某些態樣(例如，藉由設定寫碼參數或將來源視訊資料分段)，以確保利用適當型樣。
圖3為說明根據本發明之一實施例之例示性解碼器300的組件的簡化方塊圖。如圖3中所展示，解碼器300可包括：緩衝器305，其用 以接收並儲存經寫碼通道資料及將經寫碼視訊資料與初始化資訊分離；解碼引擎310，其用以接收經寫碼視訊資料及反轉由編碼器執行之寫碼處理程序；控制器315，其用以識別經寫碼視訊資料之特性及選擇用於經寫碼視訊資料之解碼模式；及後處理器320，其進一步處理經解碼視訊以使其準備好用於顯示。
解碼器300可自通道接收初始化資訊，舉例而言，在藉由H.264指定之補充增強資訊(SEI)通道中。在此實施例中，緩衝器305表示用以將雜訊參數與對應於SEI通道之邏輯通道分離的處理程序。然而，當本發明將與不指定此等頻帶外通道的協定一起使用時，緩衝器305可藉由利用輸入通道內之邏輯通道來將雜訊參數與經編碼視訊資料分離。
可由控制器315來利用初始化資訊以設定用於解碼引擎310之某些參數或另外使視訊資料準備好用於顯示。舉例而言，可根據預定義型樣基於用於每一圖框之已知寫碼模式來設定解碼參數。初始化資訊可儲存於控制器315處或可由控制器315存取之單獨記憶體器件(未圖示)中。
後處理操作可包括濾波、解交錯、定標或對經解壓縮之序列執行其他處理操作，該等後處理操作可改良藉由後處理器顯示之視訊的品質。經處理之視訊資料可顯示於螢幕或其他顯示器上或可儲存於一儲存器件中以供稍後使用。可利用初始化資訊來對經恢復之視訊資料編索引及促進媒體之隨機存取播放。
圖4說明根據本發明之一實施例之具有型樣的例示性片段。如所展示，該片段包括複數個圖框，第一圖框(1)可經編碼為I圖框，且複 數個後續圖框(2-10)可經寫碼為B圖框或P圖框。接著，後續圖框(11)可經寫碼為I圖框且複數個後續圖框(12-30)可以B圖框及P圖框之類似型樣加以編碼。
長型樣可具有涵蓋共同短型樣之子部分。短型樣可規則地重複。長於一型樣之片段可保持以相同型樣循環直至該片段之結尾為止。若使用序列特定值使得片段不遵循預設或另外已知之型樣，則可藉由該片段將定義型樣值之表格自編碼器傳輸至解碼器。若無資訊經傳輸，則可基於至預設型樣之初始偏移及片段中之長度而使用隱含型樣。
與片段相關聯之初始化資訊可設定多個特性之型樣。區段大小、持續時間、時序、重新排序、群組成員等的型樣可為已知的。舉例而言，每一型樣可經定義以具有固定長度。型樣長度可短於或長於片段中之總區段計數。片段可另外指示至一指定型樣之初始偏移。可接著在需要時重複型樣，以涵蓋整個片段。
圖5為說明用於選擇基於型樣之預設值以用於解碼經寫碼視訊序列之例示性方法500的簡化流程圖。如圖5中所展示，可在解碼器處接收與所接收經寫碼視訊序列相關聯之初始化表(區塊505、510)。該初始化表可定義該序列中之型樣的預設值。如先前所註釋，初始化表可在終端機之間的初始交握處理程序期間經傳輸至解碼器，或可藉由視訊資料之每一相關聯片段來傳輸。在片段內具有初始化資訊的片段可被稱為初始化片段。初始化資訊可定義與片段相關聯之媒體資料的型樣或可定義複數個媒體片段(包括在相關聯區段或檔案中之所有片段)之型樣。
接著對於不具有相關聯之初始化表的片段(區塊515)，解碼器可識別型樣及與該所識別之型樣相關聯的特性資訊。可藉由與區段相關聯之表格的缺乏來用信號通知對型樣識別的需要。對於已知型樣，可接著使用預定義之預設值。對於並非任何預定義之型樣之一部分的圖框，可將特性值包括於經寫碼視訊資料中(區塊525)。
對於具有相關聯之初始化表的片段(區塊515)，解碼器可接著識別序列中之圖框的特性值(區塊520)。型樣將具有對應的預設值集合，該等預設值對於遵循該型樣之每個圖框而言可為相同的。接著，解碼器可使用先前所識別之特性值來解碼經寫碼視訊(區塊530)。
圖6說明根據本發明之一實施例之例示性視訊檔案600，視訊檔案600具有藉由初始化資訊601編索引的複數個電影片段605。每一電影片段605.1-N可具有所定義之開始時間及持續時間，且若經連續地儲存，則具有已知之開始位元組及大小。電影片段可經實施使得初始化表可用以存取檔案中之每一片段。一旦片段605.1-N經存取，相關聯之媒體資料610.1-N便可為已知的且可用於顯示或播放。表格及片段上之標記可接著允許隨機存取媒體資料之一部分，而不需要解碼單元剖析整部電影以用於播放。
圖7為說明根據本發明之一實施例的用於隨機地存取媒體檔案之一部分之例示性方法700的簡化流程圖。如圖7中所展示，為了顯示媒體檔案之一部分，解碼器可存取檔案之所接收之初始化資訊(區塊705)。如先前所註釋，初始化資訊可包括檔案之特性資訊且包括識別檔案內之複數個片段中之每一者的大小或持續時間的表格。根據一實施例，可藉由檔案(藉由每一相關聯之片段)將初始化資訊傳輸至解碼 器，或可在終端機之間的初始交握處理程序中交換初始化資訊。可接著將與檔案或片段相關聯之初始化表一起予以儲存。為了存取所請求之片段，控制器可剖析表格以識別相關媒體檔案之開始及自初始化資訊貫穿檔案載運且適用於所請求之片段的任何特性。
解碼器可接著存取與片段資訊相關聯之初始化資訊(區塊710)。如先前所註釋，片段資訊可包括片段之特性資訊。可接著使用在初始化資訊中所存取之特性資訊來顯示所請求之媒體，以識別片段之開始及用於適當顯示之任何其他必要之資訊(區塊715)。
圖8說明根據本發明之一實施例的具有輪播初始化資訊之經寫碼視訊資料800的例示性片段。用於媒體資料810之初始化資訊805可(例如)在串流傳輸資料時經週期性地傾印或更新。每當接收到初始化片段時，顯示媒體資料810之習知解碼器將接著重新初始化媒體資料之設定及特性。如圖8中所展示，具有輪播版本資料之初始化資訊可指示是否需要重新初始化，藉此避免不必要之重新初始化。
如圖8中所展示，所接收之初始化資訊805可給出主要版本號碼801及次要版本號碼802，其記錄在遇到新初始化封包或僅需要更新時是否需要重新初始化。可將同步初始化片段與非同步初始化片段兩者包括於初始化資訊805中。舉例而言，初始化版本(主要)801可指示是否需要完全重新初始化，例如，串流資訊是否在不同編碼解碼器之間切換。而初始化版本(次要)802可指示是否需要對初始化資訊之更新。
根據一實施例，片段之初始化資訊805可含有編輯清單，使得在將對整個媒體應用更新之情況下，可在初始化區段之輪播版本中替換 該編輯清單。若新編輯清單將媒體資料映射至相同的呈現時間，則該編輯清單指示對初始化區段之較小更新。否則，其指示較大(重新初始化)更新。
舉例而言，對於在解碼器處接收到的一對初始化片段805，若兩個版本801、802在兩個片段中係相同的，則初始化資訊係相同的且較遲接收之初始化片段為已知之初始化片段的重送。若主要版本801係相同的，但次要版本802已在兩個所接收之片段之間改變，則較遲接收之片段為相容更新。舉例而言，若片段包括應用於呈現之整個持續時間的額外後設資料，但不需要重新初始化，則該片段可為相容的。然而，若主要版本801已自第一所接收之片段改變至較遲所接收之片段，則較遲所接收之片段含有新的初始化資訊且需要重新初始化。
根據另一實施例，可將含有初始化片段805之片段800標記為檔案之索引中的隨機存取點。接著對於次要版本802改變，更新初始化片段可含有原始初始化片段與更新片段之間的差異。接著，每一後續區段可為獨立(I)區段(當主要版本801指示重新初始化時)或經預測性(P)寫碼區段(當次要版本802識別待對I區段資料之資料作出之改變時)。
圖9為說明根據本發明之一實施例的用於識別視訊資料串流中之初始化更新資訊之例示性方法900的簡化流程圖。如圖9中所展示，解碼器可接收用於經串流傳輸至解碼器之資料的初始化資訊(區塊905)。該初始化資訊可含有識別資料之版本的版本資訊(主要及次要)(區塊910)。可接著將所接收之初始化資料的版本與當前所利用之初始化資料的版本相比較(區塊915)。
若版本資訊包括主要識別及次要識別，且針對所接收之初始化資料的主要識別不同於針對當前所利用之初始化資料的主要識別，則應使用所接收之初始化資料來重新初始化解碼器(區塊920)。
然而，若該等主要版本係相同的，但該等次要版本係不同的，則所接收之初始化資料指示應發生初始化資訊之改變(區塊925)。此等改變可包括更新編輯表或用所接收之初始化資料中的資訊替換當前所利用之初始化資料中的其他資訊(區塊930)。若關於所接收之資訊資料與當前所利用之資訊資料兩者的主要版本及次要版本係相同的，則可放棄所接收之資訊(區塊935)。
如上文所論述，圖1、圖2及圖3說明終端機之功能性方塊圖。在實施中，該等終端機可體現為硬體系統，在該狀況下，所說明之區塊可對應於電路子系統。或者，終端機可體現為軟體系統，在該狀況下，所說明之區塊可對應於軟體程式內之程式模組。在又一實施例中，終端機可為涉及硬體電路系統與軟體程式兩者之混合系統。此外，不需要提供本文中所描述之所有功能區塊或不需要將本文中所描述之所有功能區塊作為單獨單元提供。舉例而言，儘管圖2將例示性編碼器之組件(諸如，預處理器205及寫碼引擎210)說明為單獨單元，在一或多個實施例中，可整合一些組件。除非上文另有註釋，否則此等實施細節對於本發明之操作而言係不重要的。類似地，當資料經輸入至編碼器/解碼器中時，可連續不斷地執行關於圖5、圖7及圖9所描述之編碼、解碼及後處理操作。如上文所描述之步驟的次序並不限制操作之次序。
舉例而言，可使用非暫時性電腦可讀儲存媒體或物品來實施一 些實施例，該非暫時性電腦可讀儲存媒體或物品可儲存一指令或一指令集，該指令或指令集在由處理器執行時可使得處理器執行根據所揭示之實施例之方法。例示性方法及電腦程式指令可體現於非暫時性機器可讀儲存媒體上。另外，伺服器或資料庫伺服器可包括經組態以儲存機器可執行程式指令的機器可讀媒體。本發明之實施例之特徵可以硬體、軟體、韌體或其組合來實施且用於系統、子系統、組件或其子組件中。「機器可讀儲存媒體」可包括可儲存資訊之任何媒體。機器可讀儲存媒體之實例包括電子電路、半導體記憶體器件、ROM、快閃記憶體、可抹除ROM(EROM)、軟碟、CD-ROM、光碟、硬碟、光纖媒體或任何電磁或光學儲存器件。
雖然上文已參考一些實施例詳細地描述了本發明，但在本發明之範疇及精神內的變化對於一般熟習此項技術者而言將為顯而易見的。因此，應將本發明視為僅藉由附加申請專利範圍的範疇來限制。
500:用於選擇基於型樣之預設值以用於解碼經寫碼視訊序列之例示性方法

Claims (20)

  1. 一種視訊解碼方法，其包含：自一通道接收一資料串流；自該資料串流中之資訊解碼一型樣(pattern)之內容及該型樣之資料長度；當該資料串流包含代表該型樣及該型樣之一重複持續時間之一指示時，藉由以重複達由該重複持續時間所指定之一持續時間之該型樣來取代該指示及該重複持續時間而改變該資料串流。
  2. 如請求項1之方法，其中該資料串流表示多個經編碼之視訊圖框，且該重複持續時間係在該等視訊圖框中所量測。
  3. 如請求項1之方法，其中：該資料串流包含具有所偵測型樣及型樣長度之一表格的初始化資訊，且該型樣及該型樣之資料長度係解碼自該表格。
  4. 如請求項3之方法，其中：該初始化資訊係以一次要版本號碼來編碼。
  5. 如請求項1之方法，其中該重複持續時間係長於該型樣之資料長度。
  6. 如請求項1之方法，其進一步包含：自該資料串流解碼該型樣之一初始偏移；其中藉由啟動該初始偏移之該型樣之一第一實例(instance)，而以重複達該持續時間之該型樣取代該指示。
  7. 如請求項1之方法，其中該型樣之每一元件包括複數個寫碼參數。
  8. 一種解碼器，其包含：一解碼器，及一控制器，其經組態以：自一通道接收一資料串流；自該資料串流中之資訊提取一型樣之內容及該型樣之資料長度；當該資料串流包含代表該型樣及該型樣之一重複持續時間之一指示時，藉由以重複達由該重複持續時間所指定之一持續時間之該型樣來取代該指示及該重複持續時間而改變該資料串流。
  9. 如請求項8之解碼器，其中該資料串流表示多個經編碼之視訊圖框，且該重複持續時間係在該等視訊圖框中所量測。
  10. 如請求項8之解碼器，其中：該資料串流包含具有所偵測型樣及型樣長度之一表格的初始化資訊，且該型樣及該型樣之資料長度係解碼自該表格。
  11. 如請求項10之解碼器，其中：該初始化資訊係以一次要版本號碼來編碼。
  12. 如請求項8之解碼器，其中該重複持續時間係長於該型樣之資料長度。
  13. 如請求項8之解碼器，其中該控制器係進一步組態以：自該資料串流提取該型樣之一初始偏移；其中藉由啟動該初始偏移之該型樣之一第一實例(instance)，而以重複達該持續時間之該型樣取代該指示。
  14. 如請求項8之解碼器，其中該型樣之每一元件包括複數個寫碼參數。
  15. 一種儲存指令之非暫時性媒體，當該等指令被一處理器執行時，使：自一通道接收一資料串流；自該資料串流中之資訊解碼一型樣之內容及該型樣之資料長度； 當該資料串流包含代表該型樣及該型樣之一重複持續時間之一指示時，藉由以重複達由該重複持續時間所指定之一持續時間之該型樣來取代該指示及該重複持續時間而改變該資料串流。
  16. 如請求項15之媒體，其中該資料串流表示多個經編碼之視訊圖框，且該重複持續時間係在該等視訊圖框中所量測。
  17. 如請求項15之媒體，其中：該資料串流包含具有所偵測型樣及型樣長度之一表格的初始化資訊，且該型樣及該型樣之資料長度係解碼自該表格。
  18. 如請求項17之媒體，其中：該初始化資訊係以一次要版本號碼來編碼。
  19. 如請求項15之媒體，其中該重複持續時間係長於該型樣之資料長度。
  20. 如請求項15之媒體，其中該等指令進一步使：自該資料串流解碼該型樣之一初始偏移；其中藉由啟動該初始偏移之該型樣之一第一實例(instance)，而以重複達該持續時間之該型樣取代該指示。
TW109125318A 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼 TWI735297B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261637068P 2012-04-23 2012-04-23
US201261637263P 2012-04-23 2012-04-23
US61/637,263 2012-04-23
US61/637,068 2012-04-23
US13/631,194 US20130279882A1 (en) 2012-04-23 2012-09-28 Coding of Video and Audio with Initialization Fragments
US13/631,194 2012-09-28

Publications (2)

Publication Number Publication Date
TW202110176A TW202110176A (zh) 2021-03-01
TWI735297B true TWI735297B (zh) 2021-08-01

Family

ID=49380201

Family Applications (4)

Application Number Title Priority Date Filing Date
TW107133639A TWI700918B (zh) 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼
TW105119782A TWI643488B (zh) 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼
TW109125318A TWI735297B (zh) 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼
TW102114430A TWI552573B (zh) 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW107133639A TWI700918B (zh) 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼
TW105119782A TWI643488B (zh) 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102114430A TWI552573B (zh) 2012-04-23 2013-04-23 具有初始化片段之視訊及音訊之寫碼

Country Status (3)

Country Link
US (3) US20130279882A1 (zh)
TW (4) TWI700918B (zh)
WO (1) WO2013162952A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279882A1 (en) 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
US10123040B2 (en) * 2016-08-30 2018-11-06 Qualcomm Incorporated Intra-coded video frame caching for video telephony sessions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566089A (en) * 1994-10-26 1996-10-15 General Instrument Corporation Of Delaware Syntax parser for a video decompression processor
US6404817B1 (en) * 1997-11-20 2002-06-11 Lsi Logic Corporation MPEG video decoder having robust error detection and concealment

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150209A (en) 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
WO1994011993A1 (en) * 1992-11-16 1994-05-26 Multimedia Systems Corporation Method for the production and transmission of enhanced interactive multimedia information
EP0606856B1 (en) 1993-01-13 2000-04-05 Hitachi, Ltd. Digital video recording device with variable speed reproduction
JPH0887575A (ja) 1994-09-16 1996-04-02 Dainippon Printing Co Ltd Ｉｃカード利用装置
JPH0887577A (ja) * 1994-09-19 1996-04-02 Olympus Optical Co Ltd 情報記録媒体及び情報再生装置
US5473376A (en) * 1994-12-01 1995-12-05 Motorola, Inc. Method and apparatus for adaptive entropy encoding/decoding of quantized transform coefficients in a video compression system
JP3086396B2 (ja) * 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
US5825830A (en) * 1995-08-17 1998-10-20 Kopf; David A. Method and apparatus for the compression of audio, video or other data
JP3273119B2 (ja) * 1995-09-29 2002-04-08 京セラ株式会社 データ圧縮・伸長装置
US5987181A (en) * 1995-10-12 1999-11-16 Sharp Kabushiki Kaisha Coding and decoding apparatus which transmits and receives tool information for constructing decoding scheme
JPH09116866A (ja) * 1995-10-20 1997-05-02 Sony Corp 符号化方法、符号化復号化方法及び記録再生装置
KR19990072122A (ko) * 1995-12-12 1999-09-27 바자니 크레이그 에스 실시간 영상 전송 방법 및 장치
US5877711A (en) * 1997-09-19 1999-03-02 International Business Machines Corporation Method and apparatus for performing adaptive data compression
US6493385B1 (en) * 1997-10-23 2002-12-10 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
JP3148710B2 (ja) * 1998-03-06 2001-03-26 日本電気株式会社 映像符号化方式
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
JP3738574B2 (ja) * 1998-09-18 2006-01-25 富士ゼロックス株式会社 画像情報符号化装置
US7536705B1 (en) 1999-02-22 2009-05-19 Tvworks, Llc System and method for interactive distribution of selectable presentations
JP3683766B2 (ja) * 2000-01-21 2005-08-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理装置およびその方法
JP2003533906A (ja) * 2000-02-24 2003-11-11 サーノフ コーポレイション 圧縮ビデオ解析
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6668093B2 (en) * 2000-05-05 2003-12-23 Xerox Corporation Method for improving dictionary-based compression by ordering raster data
EP1191795A3 (en) * 2000-09-22 2004-04-14 Matsushita Electric Industrial Co., Ltd. Image decoding method and apparatus
US7773670B1 (en) * 2001-06-05 2010-08-10 At+T Intellectual Property Ii, L.P. Method of content adaptive video encoding
US6909745B1 (en) * 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US7003039B2 (en) * 2001-07-18 2006-02-21 Avideh Zakhor Dictionary generation method for video and image compression
US6959044B1 (en) * 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding
US7283265B2 (en) * 2001-11-14 2007-10-16 Infoprint Solutions Company Raster data compression apparatus and method
US7006567B2 (en) * 2001-11-30 2006-02-28 International Business Machines Corporation System and method for encoding three-dimensional signals using a matching pursuit algorithm
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
US6667700B1 (en) * 2002-10-30 2003-12-23 Nbt Technology, Inc. Content-based segmentation scheme for data compression in storage and transmission including hierarchical segment representation
KR100604032B1 (ko) * 2003-01-08 2006-07-24 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법
DE10343817A1 (de) * 2003-09-22 2005-04-21 Anno 2003 Ag Zug Verfahren und System zur Videokompression und Videoübertragung
US20050094003A1 (en) * 2003-11-05 2005-05-05 Per Thorell Methods of processing digital image and/or video data including luminance filtering based on chrominance data and related systems and computer program products
US20070160152A1 (en) * 2003-12-08 2007-07-12 Kanazawa University Technology Licensing Organization Ltd. System for encoding/decoding motion picture and method for encoding/decoding motion picture
JP2007533197A (ja) * 2004-04-08 2007-11-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディアデータに適用される符号化方法
JP2006203661A (ja) * 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置、動画像復号装置及び符号化ストリーム生成方法
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
KR20080100354A (ko) 2006-01-30 2008-11-17 클리어플레이, 아이엔씨. 필터 메타데이터를 멀티미디어 표현물과 동기화하는 방법
US8363936B2 (en) * 2006-08-25 2013-01-29 Thomson Licensing Method and apparatus for reduced resolution partitioning
US20120230390A1 (en) * 2011-03-08 2012-09-13 Gun Akkor Adaptive Control of Encoders for Continuous Data Streaming
US8351513B2 (en) * 2006-12-19 2013-01-08 Allot Communications Ltd. Intelligent video signal encoding utilizing regions of interest information
KR101305491B1 (ko) * 2007-04-17 2013-09-17 (주)휴맥스 비트스트림 디코딩 장치 및 방법
JP5032936B2 (ja) * 2007-10-04 2012-09-26 キヤノン株式会社 動画像符号化装置及びその制御方法
JP4801778B2 (ja) * 2007-10-18 2011-10-26 富士通株式会社 映像圧縮符号化装置、映像復元装置、映像圧縮プログラム、及び、映像復元プログラム
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
US8335259B2 (en) * 2008-03-12 2012-12-18 Packetvideo Corp. System and method for reformatting digital broadcast multimedia for a mobile device
JP4582185B2 (ja) * 2008-04-22 2010-11-17 ソニー株式会社 情報処理装置及び情報処理方法
US20110246603A1 (en) * 2008-09-05 2011-10-06 The Chinese University Of Hong Kong Methods and devices for live streaming using pre-indexed file formats
US8194977B2 (en) * 2008-12-09 2012-06-05 Microsoft Corporation Remote desktop protocol compression acceleration using single instruction, multiple dispatch instructions
EP2382771A1 (en) * 2009-01-26 2011-11-02 Thomson Licensing Method, apparatus and system for improving tuning in receivers
US20100254453A1 (en) 2009-04-02 2010-10-07 Qualcomm Incorporated Inverse telecine techniques
KR101496422B1 (ko) * 2009-04-08 2015-02-27 뉴로우, 인코포레이티드 이미지 압축을 위한 시스템 및 방법
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US8817875B2 (en) 2009-08-13 2014-08-26 The Johns Hopkins University Methods and systems to encode and decode sequences of images
JP4819940B2 (ja) * 2009-12-04 2011-11-24 株式会社日立国際電気 動画像符号化装置
US8400334B2 (en) * 2009-12-31 2013-03-19 Thomson Reuters Global Resources (Trgr) Asymmetric dictionary-based compression/decompression useful for broadcast or multicast unidirectional communication channels
US9992456B2 (en) * 2010-02-24 2018-06-05 Thomson Licensing Dtv Method and apparatus for hypothetical reference decoder conformance error detection
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US8891935B2 (en) * 2011-01-04 2014-11-18 Samsung Electronics Co., Ltd. Multi-video rendering for enhancing user interface usability and user experience
US9113172B2 (en) * 2011-01-14 2015-08-18 Vidyo, Inc. Techniques for describing temporal coding structure
US9300976B2 (en) * 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
AU2012225826A1 (en) * 2011-03-10 2013-09-05 Vidyo, Inc. Parameter set maintenance in video coding
EP2769543A1 (en) * 2011-11-14 2014-08-27 Telefonaktiebolaget LM Ericsson (Publ) Method of and apparatus for compression encoding a picture in a picture sequence
US8868584B2 (en) * 2012-01-13 2014-10-21 International Business Machines Corporation Compression pattern matching
US9402082B2 (en) * 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
US9317751B2 (en) * 2012-04-18 2016-04-19 Vixs Systems, Inc. Video processing system with video to text description generation, search system and methods for use therewith
US20130279882A1 (en) * 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
US9161004B2 (en) * 2012-04-25 2015-10-13 Qualcomm Incorporated Identifying parameter sets in video files
US9516308B2 (en) * 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US9899007B2 (en) * 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566089A (en) * 1994-10-26 1996-10-15 General Instrument Corporation Of Delaware Syntax parser for a video decompression processor
US6404817B1 (en) * 1997-11-20 2002-06-11 Lsi Logic Corporation MPEG video decoder having robust error detection and concealment

Also Published As

Publication number Publication date
TWI552573B (zh) 2016-10-01
WO2013162952A1 (en) 2013-10-31
US20190200031A1 (en) 2019-06-27
TW201924328A (zh) 2019-06-16
TWI700918B (zh) 2020-08-01
TW201635788A (zh) 2016-10-01
US10992946B2 (en) 2021-04-27
US20160366433A1 (en) 2016-12-15
US20130279882A1 (en) 2013-10-24
TW201404165A (zh) 2014-01-16
US10264274B2 (en) 2019-04-16
TWI643488B (zh) 2018-12-01
TW202110176A (zh) 2021-03-01

Similar Documents

Publication Publication Date Title
CA2742111C (en) Video conference rate matching
AU2014275405B2 (en) Tuning video compression for high frame rate and variable frame rate capture
CN109547786B (zh) 视频编码、以及视频解码的方法、装置
CN102447906B (zh) 低延时视频解码
US9609338B2 (en) Layered video encoding and decoding
WO2017193821A1 (zh) 云桌面图像处理方法、服务器、客户端及计算机存储介质
CN112073737B (zh) 在直播视频流应用中重新编码预测的图像帧
US10298931B2 (en) Coupling sample metadata with media samples
US20130034151A1 (en) Flexible codec switching
CN116962719A (zh) 针对屏幕数据的有效帧内编码
US11356739B2 (en) Video playback method, terminal apparatus, and storage medium
MX2012004747A (es) Codificacion de graficos integrados: corriente de bits reclasificada para descodificacion paralela.
US20130235931A1 (en) Masking video artifacts with comfort noise
TWI393447B (zh) 視訊解碼器之訊框緩衝壓縮和記憶體配置
US10992946B2 (en) Coding of video and audio with initialization fragments
CN109379630A (zh) 视频处理方法、装置、电子设备及存储介质
US20240244229A1 (en) Systems and methods for predictive coding
US20130287100A1 (en) Mechanism for facilitating cost-efficient and low-latency encoding of video streams
CN112422974A (zh) 视频编码方法、装置、计算机设备及存储介质
CN114143601A (zh) 裁剪视频的方法、装置、电子设备、存储介质及程序产品