TWI482498B - 媒體檔案之多重解碼時間發訊技術 - Google Patents

媒體檔案之多重解碼時間發訊技術 Download PDF

Info

Publication number
TWI482498B
TWI482498B TW097115019A TW97115019A TWI482498B TW I482498 B TWI482498 B TW I482498B TW 097115019 A TW097115019 A TW 097115019A TW 97115019 A TW97115019 A TW 97115019A TW I482498 B TWI482498 B TW I482498B
Authority
TW
Taiwan
Prior art keywords
decoding
time
media
selectable
data
Prior art date
Application number
TW097115019A
Other languages
English (en)
Other versions
TW200910969A (en
Inventor
Ye-Kui Wang
Miska Hannuksela
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW200910969A publication Critical patent/TW200910969A/zh
Application granted granted Critical
Publication of TWI482498B publication Critical patent/TWI482498B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Description

媒體檔案之多重解碼時間發訊技術 發明領域
本發明一般是關於媒體內容儲存之欄位。本發明尤其是關於媒體檔案之發訊多重解碼時間技術。
 發明背景
本節意欲提供在申請專利範圍中闡述的本發明之背景或脈絡。此處的描述可包括可被探討的概念，但並不必然是先前已被設想或探討之概念。因此，除非本文另外指出，否則此節內描述的內容不是本申請案中描述及申請專利範圍之先前技術且不因為出現在本節內而被認為是先前技術。
視訊編碼標準包括ITU－T H.261、ISO/IEC MPEG－1 Visual、ITU－T H.262或ISO/IEC MPEG－2 Visual、ITU－T H.263、ISO/IEC MPEG－4 Visual及ITU－T H.264(也被稱為ISO/IEC MPEG－4 AVC)。除此之外，目前正著力於新的視訊編碼標準之發展。一種正在發展的標準是可縮放視訊編碼(SVC)標準，這將成為H.264/AVC之可縮放擴展。另一正在發展的的標準是多視圖視訊編碼(MVC)，其也是H.264/AVC之一擴展。另一努力包含發展中國視訊編碼標準。
SVC標準之一草案於2007年1月在摩洛哥馬拉喀什舉行的第22屆JVT會議的JVT－V201“Joint Draft 9 of SVC Amendment”中被描述，可從http：//ftp3.itu.ch/av－arch/jvt－site/2007_01_Marrakech/JVT－V 201.zip獲得。MVC標準之一草案於2007年1月在摩洛哥馬拉喀什舉行的第22屆JVT會議的JVT－V209“Joint Draft 2.0 on Multiview Video Coding”中被描述，可從http：//ftp3.itu.ch/av－arch/jvt－site/2007_01_Marrakech/JVT－V 209.zip獲得。
可縮放媒體一般被排序為資料之階層，其中一視訊信號可被編碼為一基層及一或多個增強層。一基層可包含一已編碼媒體串流之一個別表示，例如一視訊序列。增強層可包含相對於該層階級內先前的層之細化資料。已解碼媒體串流之品質隨著增強層被加到該基層而被漸進地改良。一增強層增強時間解析度(即，圖框率)、空間解析度以及/或僅增強由另一層或其部分表示的視訊內容之品質。每一層以及其所有相依層是以某一空間解析度、時間解析度及/或品質等級的視訊信號之一表示。因此，詞語“可縮放層表示”在本文被用以描述一可縮放層及其所有相依層。對應一可縮放層表示的一可縮放位元流之部分可被取出且解碼以產生以某一保真度的原始信號之一表示。
被引入視訊編碼標準的可縮放性之最早的類型是MPEG－1 Visual內的具有B圖像的時間可縮放性。依據此B圖像時間可縮放性，一B圖像自兩個圖像進行雙預測，一圖像在該B圖像之前且另一圖像在該B圖像之後，二者都按照顯示順序。除此之外，一B圖像是一非參考圖像，即其不被 其他圖像用於圖像間預測參考。因此，B圖像可被丟棄以獲得具有一較低圖框率的時間可縮放性。相同的機制在MPEG－2視訊、H.263及MPEG－4 Visual中被保持。
在H.264/AVC中，B圖像或B片段之概念已被一般化。一B片段內的一區塊可自按照顯示順序的相同方向內的兩個參考圖像被預測，且一由B片段組成的圖像可被其他圖像參考以進行圖像間預測。習知的B圖像時間可縮放性之雙向預測特性及非參考圖像特性不再有效。
在H.264/AVC、SVC及MVC中，時間可縮放性可藉由使用以下較詳細描述的非參考圖像及/或階層圖像間預測結構達成。應該注意到的是，藉由只使用非參考圖像時，可能達成與藉由使用MPEG－1/2/4內的習知B圖像類似的時間可縮放性。這可藉由丟棄非參考圖像而實現。可選擇的方式是，一階層編碼結構之使用可達成一較彈性的時間可縮放性。
第1圖描述了具有4個時間可縮放性等級的一習知階層編碼結構。一顯示順序由被表示為圖像順序計數(POC)的值表示。I或P圖像(也被稱為關鍵圖像)按照解碼順序被編碼為一圖像組(GOP)之第一圖像。當一關鍵圖像被圖像間編碼時，先前的關鍵圖像被用作一參考以進行圖像間預測。因此，該等圖像對應該時間可縮放結構內最低的時間等級(在第1圖中以TL表示)且與最低的圖框率相關聯。應該注意到的是，一較高時間等級的圖像只可使用相同或較低時間等級的圖像進行圖像間預測。利用此一階層編碼結構，對應 不同圖框率之不同的時間可縮放性可藉由丟棄具有某一時間等級值及之外的圖像達成。
例如，回看第1圖，圖像0、108及116是最低的時間等級(即，TL＝0)，而圖像101、103、105、107、109、111、113及115是最高的時間等級(即，TL＝3)。其餘圖像102、106、210及114以階層方式被指定給另一TL且組成具有一不同圖框率的位元流。應該注意到的是，藉由解碼一GOP內的所有時間等級，一最高的圖框率可被達成。較低的圖框率可藉由丟棄一些時間等級的圖像被獲得。應該注意到的是，一具有一較低時間等級或一較低圖框率的時間可縮放層也可被稱為一較低時間等級。
以上描述的階層B圖像編碼結構是用於時間可縮放性的典型編碼結構。然而，應該注意到的是，較彈性的編碼結構是可能的。例如，GOP大小可能隨著時間不是常數的。仍可選擇的方式是，時間增強層圖像不必被編碼為B片段，而是可被編碼為P片段。
一視訊編碼層(VCL)及一網路抽象層(NAL)之概念自進階視訊編碼(AVC)繼承。該VCL包含編碼解碼器之信號處理功能，例如，如轉換、量化、移動補償預測、迴圈濾波器及層間預測此類的機制。一基層或增強層之一已編碼圖像由一或多個片段組成。該NAL將由VCL產生的每個片段封裝成一或多個NAL單元。
每個SVC層由NAL單元形成，表示該層之已編碼視訊位元。一只攜載一層的即時傳輸協定(RTP)串流將攜載只屬 於該層的NAL單元。一攜載一完整的可縮放視訊位元流的RTP串流將攜載一基層及一或多個增強層之NAL單元。SVC指定了該等NAL單元之解碼順序。
在一些情況下，一增強層內的資料可在某一位置之後或甚至是任意位置被截斷，其中每個截斷位置可包括表示逐漸增強的視覺品質之額外資料。在截斷點緊密隔開之情形下，該可縮放性被稱為“細粒”，因此是詞語“細粒(粒度)可縮放性”(FGS)。與FGS相反，只可在一些粗位置被截斷的該等增強層提供的可縮放性被稱為“粗粒(粒度)可縮放性”(CGS)。除此之外，以上所註明的草案SVC編碼標準也可支援習知被稱為“中粒(粒度)可縮放性”(MGS)的。依據MGS，品質增強圖像以與CGS可縮放層圖像類似地被編碼，但是可如同FGS層圖像由高階語法元件表示。可注意到的是，增強層可共同包括CGS、MGS及FGS品質(SNR)可縮放性及空間可縮放性。
依據H.264/AVC，一存取單元包含一主編碼圖像。在一些系統中，存取單元邊界之檢測可藉由將一存取單元定界符NAL單元插入位元流而被簡化。在SVC中，一存取單元可包含多數個主編碼圖像，但是dependency_id、temporal_id及quality_id之每個唯一組合最多一個圖像。本文所描述的一已編碼圖像可指一具有dependency_id與quality_id之特定值的存取單元內所有NAL單元。需注意到的是，SVC內使用的詞語可改變。因此，在本文可被稱為一已編碼圖像者可接著被另一詞語參照，例如一層表示。
SVC使用與H.264/AVC中使用的一機制類似的機制提供階層時間可縮放性。在SVC中，某一組的參考圖像與非參考圖像可能自一已編碼位元流刪除，不會影響其餘位元流之解碼。階層時間可縮放性需要多數個參考圖像用於移動補償，即，具有一包含多數個已解碼圖像的參考圖像緩衝器，一編碼器可自該參考圖像緩衝器選擇一參考圖像以進行圖像間預測。在H.264/AVC中，一被稱為子序列的特徵致能階層時間可縮放性，其中每個增強層包含子序列且每個子序列包含一些參考圖像及/或非參考圖像。該子序列也由一些相互相依圖像組成，該等相互相依圖像可被處理，而不會干擾任何較低的子序列層內的任何其他子序列。該等子序列層基於其等彼此的相依性依階層排列且等效於SVC內的時間等級。因此，當最高的子序列層內的一子序列被處理時，其餘的位元流仍有效。在H.264/AVC內，時間可縮放性資訊之發訊藉由使用子序列相關補充增強資訊(SEI)訊息而被實施。在SVC中，時間等級階層以NAL單元之標頭指出。
檔案格式在多媒體內容產生、操作、傳輸及消耗鏈中是一重要元素。編碼格式與檔案格式具有一差別。編碼格式與將內容資訊編碼到一位元流的特定編碼演算法之動作相關。對比上，檔案格式包含用以組織一產生的位元流之系統及結構，使得產生的位元流可被存取以供本地解碼及播放、作為一檔案傳遞或被串流化，都使用各種儲存及傳輸架構。此外，檔案格式可方便媒體之交換及編輯。例如， 許多串流化應用程式需要一伺服器上的一被預先編碼的位元流伴隨元資料(被儲存在“提示－軌”內)，幫助伺服器串流化視訊給客戶端。可被包括在提示－軌元資料內的資訊之例子包括時序資訊、同步化點之指示以及封包化提示。此資訊被用以降低伺服器之操作負載以及使終端使用者體驗最大化。
一可用的媒體檔案格式標準包括以物件為導向、ISO基礎媒體檔案格式檔案結構，其中一檔案可被分解為其組成物件且該等組成物件之結構可自其等類型及位置被直接推導出。除此之外，該ISO基礎媒體檔案格式被設計以包含定時媒體資訊以以一彈性可擴充格式呈現，這方便媒體之交換、管理、編輯及呈現。實際的檔案具有一邏輯結構、一時間結構及一實體結構，雖然此等結構並不需要被耦合。
檔案之邏輯結構可能類似一“影片”之邏輯結構，包含一組時間－平行軌。檔案之時間結構由包含時間上的樣本之序列的多數個軌表示，以及該等序列透過可取捨編輯列表映射到整個影片之一時間線。檔案之實體結構將需要用於邏輯、時間及結構分解的資料與媒體資料樣本本身分開。該結構資訊由表明該等樣本之邏輯與時序關係的軌表示以及也包含指向它們所在位置的指標。該等指標可參考相同檔案或者另一檔案(例如，被一致資源定位器參考)內的媒體資料。
每個媒體串流被包含在專用於該媒體類型(音訊、視訊等)的一軌內，且進一步由一樣本項目參數表示。該樣本項 目包含實際的媒體類型之“名稱”(即，需要被用以解碼該串流的解碼器之類型)以及所需的解碼器之任何參數化。除此之外，軌藉由該等媒體樣本之時間標記被同步化。此外，軌可藉由軌參考鏈結在一起，其中該等軌可形成彼此之選擇，例如包含不同語言的兩個音訊軌。
一軌內的一些樣本具有特別的特徵或者需要被個別識別，例如同步化點(一般為一視訊I－圖框)。該等同步化點藉由每個軌內的一特殊表格被識別出。較一般地，軌樣本之間的相依性之本質也可被表示出。此外，被命名、參數化的樣本組之一概念可被使用。該等被命名、參數化的樣本組允許任意特性之表示，該等特性被一軌內的一些樣本共享。在SVC檔案格式內，樣本組被用以描述具有某一NAL單元結構的樣本。
所有檔案以一檔案類型盒開始，該檔案類型盒定義了檔案之最佳用途以及該檔案所符合的規格，其等被表示為“品牌”。一檔案類型盒內的商標之存在表示一聲明及一允許：檔案作者聲明該檔案符合該規格；以及允許一讀者可能只實施該規格以讀取及解譯該檔案。
在以上所描述的影片結構之情況下，該“影片”盒可包含一組“軌”盒，例如一用於一視訊軌之軌盒、一用於一音訊軌之軌盒以及一用於一提示軌之軌盒。接著，對於一串流，每個軌可包含包括下列但不限於下列的資訊：時序、材料之本質(例如，視訊、音訊等)、可視資訊、初始化資訊(例如，樣本項目表)以及與可在哪找到編碼資料有關的資 訊、其大小等。換言之，一軌盒可包含與實際媒體內容資料相關的元資料。例如，每一軌尤其可包含一具有一樣本描述盒的一樣本表盒，其中該樣本描述盒保持一些需要被解碼器用以初始化的資訊(例如，被包含在MPEG－4 AVC視訊之解碼器組態記錄內的資訊)。此外，該樣本表盒保持一些表格，該等表格包含時序資訊及媒體資料之指標。換言之，視訊資料與音訊資料可被交錯儲存在一媒體資料容器/盒內的塊內。最後，該提示軌可包含與如何處理檔案以串流化有關的被預先計算的指令。
除此之外，利用SVC，可能利用SEI訊息發訊與多重解碼時間有關的資訊。然而，自一SEI訊息取出所需的解碼時間需要一檔案讀取器配備熵解碼器。除此之外，解析媒體資料樣本以找到包含與解碼時間有關的資訊之SEI訊息也可能是一負擔。因此，此等要求可能導致增加實施及計算複雜度給提供被儲存的位元流之子組的伺服器。該ISO基礎媒體檔案格式及其衍生格式(例如，SVC檔案格式)允許對包含一存取單元的每個樣本發訊一個解碼時間。然而，對於可縮放媒體，當只有一子組樣本或多數個樣本子組需要被解碼時，每個樣本或樣本子組之解碼時間不同於當整個串流需要被解碼時的解碼時間。
 發明概要
在一第一層面中，依據本發明的示範性實施例提供一種方法，該方法包括以下步驟：將第一時序資料儲存到一 媒體檔案之一軌盒內，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；以及儲存該已編碼多媒體內容之該至少一樣本的可選擇的解碼時間資料，該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值。
在另一層面中，依據本發明的示範性實施例提供一種方法，該方法包括以下步驟：將第一時序資料儲存到一媒體檔案之一軌盒內，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；以及若該已編碼多媒體內容之一子組需被解碼，則儲存該已編碼多媒體內容之該至少一樣本的一可選擇的解碼時間資料以供使用。
在另一層面中，依據本發明的示範性實施例提供一種裝置，該裝置包括一處理器以及一與該處理器耦接的記憶體單元。該裝置進一步包含一編碼器，該編碼器被組配以將第一時序資料儲存到一媒體檔案之一軌盒內，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；以及儲存該已編碼多媒體內容之該至少一樣本的可選擇的解碼時間資料，該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值。
在又一層面中，依據本發明的示範性實施例提供一種方法，該方法包括以下步驟：解析一媒體檔案，該媒體檔 案包含一媒體位元流及描述該媒體位元流之至少一樣本之解碼時間的第一時序資料；決定是否完全解碼該媒體位元流以及解碼該媒體位元流之一子組中的一者；當決定解碼該媒體位元流之該子組時，解析該媒體位元流之該子組的該至少一樣本的一可選擇的解碼時序資料；以及依據該可選擇的解碼時序資料解碼該媒體位元流之該子組。
在又一層面中，依據本發明的示範性實施例提供一種裝置，該裝置包括一處理器以及一可運作地連接到該處理器的記憶體單元。該裝置進一步包含一檔案解析器，該檔案解析器用以解析一媒體檔案，該媒體檔案包含一媒體位元流及描述該媒體位元流之至少一樣本之解碼時間的第一時序資料；決定是否完全解碼該媒體位元流以及解碼該媒體位元流之一子組中的一者；當決定解碼該媒體位元流之該子組時，解析該媒體位元流之該子組的該至少一樣本的一可選擇的解碼時序資料。該裝置進一步包括一解碼器，該解碼器依據該可選擇的解碼時序資料解碼媒體位元流之該子組。
在又一層面中，依據本發明的示範性實施例提供一種儲存一容器檔案的電腦可讀媒體，該容器檔案具有：多數個軌；包含在一軌盒內的第一時序資料，該第一時序資料描述了被儲存在一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；包含在該盒內的可選擇的時序資料，用於對該已編碼多媒體內容之至少一樣本發訊該可選擇的時序資料，該可選擇的解碼時間資料被表達為表 示該至少一樣本之該解碼時間之一調整的一差值；以及一識別該至少一樣本的一可縮放性層的識別符。
在另一層面中，依據本發明的示範性實施例提供一種裝置，該裝置包括一處理器以及一與該處理器耦接的記憶體單元。該裝置進一步包括：被組配以將第一時序資料儲存在一媒體檔案之一軌盒內的電腦程式碼，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；被組配以儲存該已編碼多媒體內容之該至少一樣本的可選擇的解碼時間資料之電腦程式碼，該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值；以及被組配以儲存一識別該至少一樣本的一可縮放性層之識別符的電腦程式碼。
在再一層面中，依據本發明的示範性實施例提供一種裝置，該裝置包括一處理器以及一可運作地連接到該處理器的記憶體單元。該裝置進一步包括：用以解析一媒體檔案的電腦程式碼，該媒體檔案包含一媒體位元流及描述該媒體位元流之至少一樣本之解碼時間的第一時序資料；用以決定是否完全解碼該媒體位元流以及解碼該媒體位元流之一子組中的一者的電腦程式碼；當決定解碼該媒體位元流之該子組時，解析該媒體位元流之該子組的該至少一樣本的一可選擇的解碼時序資料；以及被組配以依據該可選擇的解碼時序資料解碼媒體位元流之該子組的電腦程式碼；以及被組配以解析一識別該至少一樣本的一可縮放性 層之識別符的電腦程式碼。
圖式簡單說明
本發明之示範性實施例的以上及其他優點及特徵以及其操作之組織與方式從以下結合附圖的詳細描述將顯而易見，其中類似的元件在以下的幾個圖式中具有類似的符號。
第1圖顯示了具有4個時間可縮放層之一習知階層結構；第2圖顯示了用於本發明的一般多媒體通訊系統；第3圖是可用於本發明之實施態樣的一行動裝置之一透視圖；第4圖是第3圖之行動裝置的裝置電路之一示意表示；第5圖是描述了依據本發明之示範性實施例的一種方法之操作以及電腦程式指令之執行結果的一邏輯流程圖；第6圖是描述了依據本發明之示範性實施例的一種方法之操作以及電腦程式指令之執行結果的另一邏輯流程圖；以及第7圖是描述了依據本發明之示範性實施例的一種方法之操作以及電腦程式指令之執行結果的另一邏輯流程圖。
 較佳實施例之詳細說明
下文描述的是提供以一檔案格式等級對每個樣本發訊多重解碼時間之能力以允許(例如)解碼一整個串流與解碼該串流之一子組之間的每個樣本或樣本子組之不同的解碼 時間之示範性方法、電腦程式及裝置。一可選擇的解碼時間盒被指定以允許對每個樣本發訊多重解碼時間。此一盒可包含一表格之緊密版本，該表格允許從一可選擇的解碼時間至一樣本編號之索引，其中一可選擇的解碼時間是當只有被儲存在一軌內的一基本串流之一子組需要被解碼時被用於一樣本的一解碼時間。此外，該表格內的每個項目提供具有相同時間差值的連續樣本之數目以及該等連續樣本之間的差值。因此，藉由增加差值，一完整的時間對樣本映射可被建構。各個示範性實施例之實施允許(例如)解碼整個串流與解碼該串流之一子組之間的一樣本或一樣本子組之不同的解碼時間。本發明之各個示範性實施例可被實施，而沒有增加額外的元件及/或計算複雜度給儲存伺服器/元件。
第2圖顯示了用於本發明的一般多媒體通訊系統。如第2圖所示，一資料源200提供以一類比、未壓縮數位或壓縮數位格式或者此等格式之任何組合的一源信號。一編碼器210將源信號編碼成一已編碼媒體位元流。該編碼器210或許能夠編碼多於一個媒體類型(例如音訊及視訊)，或者可能需要多於一個編碼器210編碼不同媒體類型的源信號。該編碼器210也可獲得合成產生的輸入(例如，圖形及文字)，或者其可以能夠產生合成媒體之已編碼位元流。在下文中，只處理一個媒體類型的一已編碼媒體位元流是為了簡化描述。然而，應注意到的是，典型的即時廣播服務包含幾個串流(一般是至少一音訊、視訊及文字字幕串流)。也應注意 到的是，該系統可包括許多編碼器，但是在下文中，只有一個編碼器210是為了簡化描述，並不缺乏一般性。
應明白的是，雖然此處包含的文字及例子可特別描述一編碼程序，但是該項領域內具有通常知識者應容易明白的是，相同的概念及原理也應用於對應的解碼程序，反之亦然。
該已編碼媒體位元流被傳送給一儲存器220。該儲存器220可包含任何類型的大容量記憶體以儲存該已編碼媒體位元流。該儲存器220內的該已編碼媒體位元流之格式可以是一基本自含位元串流格式，或者一或多個已編碼媒體位元流可被封裝成一容器檔案。一些系統“實況”操作，即，省略儲存且將來自該編碼器210的已編碼媒體位元流直接傳送給一發送器230。接著，該已編碼媒體位元流根據需要被傳送給該發送器230(也被稱為伺服器)。傳輸中使用的格式可以是一基本自含位元串流格式、一封包串流格式，或者一或多個已編碼媒體位元流可被封裝成一容器檔案。該編碼器210、儲存器220及發送器230可設於相同的實體裝置內，或者它們可被包括在個別的裝置內。該編碼器210及發送器230可操作實況即時內容，在此情況下該已編碼媒體位元流一般沒有被永久儲存，而是在該內容編碼器210及/或該發送器230內被緩衝小的時間期間，以使處理延遲、傳送延遲及已編碼媒體位元率之變化平滑。
該發送器230利用一通訊協定堆疊發送該已編碼媒體位元流。該堆疊可包括下列但不限於下列：即時傳輸協定 (RTP)、使用者資料塊協定(UDP)及網際網路協定(IP)。當通訊協定堆疊以封包為導向時，該發送器230將該已編碼媒體位元流封裝成封包。例如，當RTP被使用時，該發送器230依據一RTP付載格式將該已編碼媒體位元流封裝成RTP封包。一般而言，每個媒體類型具有一專用RTP付載格式。再次應注意到的是，一系統可包含多於一個發送器230，但是為了簡單之目的，以下描述只考慮一個發送器230。
該發送器230可或可不透過一通訊網路連接到一閘道器240。該閘道器240可執行不同類型的功能，例如，依據一通訊協定堆疊到另一通訊協定堆疊將一封包串流解譯、資料串流之合併及分又，且依據下行鏈路及/或接收器能力操作資料串流，例如依據主要的下行鏈路網路條件控制被轉發的串流之位元率。閘道器240之例子包括多點會議控制單元(MCU)、電路切換與封包切換視訊電話之間的閘道器、蜂巢式按鈕通話(PoC)伺服器、數位視訊廣播手持(DVB－H)系統中的IP封裝器，或是區域性的發送廣播節目給家用無線網路的機上盒。當RTP被使用時，該閘道器240被稱為一RTP混合器且作為一RTP連接之端點。
該系統包括一或多個接收器250，一般能夠接收、解調變，且將被發送的信號解封裝為一已編碼媒體位元流。該已編碼媒體位元流一般被一解碼器260進一步處理，其輸出是一或多個未壓縮的媒體串流。最後，一呈現器270可利用(例如)一揚聲器或一顯示器再現未被壓縮的媒體串流。該接收器250、解碼器260及呈現器270可設於相同的實體裝置內 或者它們可被包括在個別的裝置內。
應注意到的是，需被解碼的位元流可自設於實質上任何類型的網路內的一遠端裝置被接收。另外，該位元流可自本地的硬體或軟體被接收。
按照位元率、解碼複雜度及圖像尺寸的可縮放性是不同類且易出錯的環境之期望的特性。此特性被期望以抵消如一接收裝置內的位元率、顯示解析度、網路產出量及計算能力的該等限制此類的限制。
本發明之通訊裝置可利用各種傳輸技術進行通訊，該等技術包括下列但不限於下列：分碼多重接取(CDMA)、全球行動通訊系統(GSM)、通用行動電信系統(UMTS)、分時多重接取(TDMA)、分頻多重接取(FDMA)、傳輸控制協定/網際網路協定(TCP/IP)、短訊息服務(SMS)、多媒體訊息服務(MMS)、電子郵件、即時訊息服務(IMS)、藍牙、IEEE802.11等。一通訊裝置可利用各種媒體進行通訊，包括下列但不限於下列：無線電、紅外線、雷射、纜線連接及類似的媒體。
第3與4圖顯示了一本發明可在其內實現的代表性行動裝置12。然而，應明白的是，本發明並不意指受限於一特定類型的行動裝置12或者其他電子裝置。第3與4圖中描述的一些或所有特徵可被併入第2圖中表示的任何或所有裝置內。
第3與4圖之行動裝置12包括一外殼30、一以液晶顯示器形式的顯示器32、一鍵盤34、一麥克風36、一耳機38、 一電池40、一紅外線埠42、一天線44、一以依據本發明之一實施例的一UICC形式的智慧卡46、一讀卡器48、無線電介面電路52、編碼解碼電路54、一控制器56以及一記憶體58。個別的電路及元件皆是該項領域內眾所周知的一類型，例如，諾基亞系列的行動電話。
各個實施例提供以一檔案格式等級對每個樣本發訊多重解碼時間之能力以允許(例如)解碼一整個串流與解碼該串流之一子組之間的一樣本或樣本子組之不同的解碼時間。除此之外，各個實施例也可被實施，沒有增加額外的元件及/或計算複雜度給儲存伺服器/元件(例如，第2圖之儲存器220)。
依據一第一實施例，一“盒”(可被稱為一可選擇解碼時間盒)被指定如下以允許對每個樣本發訊多重解碼時間：Group Type：“adts” Container：Sample Table Box('stbl') Mandatory：No Quantity：Zero or More(one for each layer)
此一盒可包含一表格之緊密版本，該表格允許從一可選擇的解碼時間至一樣本編號之索引，其中，如以上所描述的，一檔案之時間結構由包含時間中的樣本序列之軌表示。該可選擇的解碼時間是當決定只有被儲存在一軌內的一基本串流之一子組需要被解碼時的一解碼時間。另外，當整個基本串流需要被解碼時，習知的解碼時間(如被ISO基礎媒體檔案格式及其衍生格式允許的)可被使用。此外， 該表格內的每個項目提供具有相同時間差值的連續樣本之數目以及該等連續樣本之間的差值。因此，藉由增加差值，一完整的時間對樣本映射可被建構。
除此之外，該盒可包含可選擇的解碼時間差值，其中ADT(n＋1)＝ADT(n)＋sample_delta(n)，ADT(n)是一樣本n之可選擇的解碼時間以及sample_delta(n)是一樣本n之(未被壓縮的)的表格項目。ADT軸具有一零原點，其中ADT(i)＝SUM(對於sample_delta(j)之j＝0至i－1)，以及所有差值之總和給出該軌內的特定媒體之長度。應注意到的是，該軌內的特定媒體之長度可能小於可包含編輯列表的影片之整個期間。也應注意到的是，差值可能等於零。
該盒之特徵在於以下語法結構：
除此之外，以上描述的盒之語法結構之語義如下：version是一指出該盒之版本的整數； operation_point是一指出在該盒內被發訊的解碼時間應該被使用的操作點之整數。應注意到的是，一操作點對應被儲存在該軌內的基本串流之一子組之解碼。也應注意到的是，一operation_point之值可能等於tierId元件之值，該tierId元件表示一SVC檔案格式可縮放性層。除此之外，對於一只具有時間可縮放性的串流，operation_point可能等於時間層之識別符，例如，SVC內的temporal_id元件或者AVC內的sub_seq_layer_id元件；entry_count是給出一如下表格內的項目之數目的整數；sample_count是一計算具有一給定可選擇的解碼時間差值的連續樣本之數目之整數；以及sample_delta是一表示媒體之時間－標度內的樣本之間的可選擇解碼時間之差值的整數。
依據一第二實施例，在以上指定的可選擇解碼時間盒內，sample_delta欄編碼為“int(32)”，取代“unsigned int(32)”。因此，依據“時間時間對樣本盒”，該sample_delta欄可給出用於解碼相同樣本的整個串流之一可選擇的解碼時間與一習知解碼時間之間的偏差。換言之，若對於樣本n，依據解碼時間對樣本盒的解碼時間是DT(n)，則可選擇的解碼時間可由ADT(n)＝DT(n)＋sample_delta(n)表示。
本發明以方法步驟或程式之一般脈絡被描述，該等方法步驟可在一實施例中由包括電腦可執行指令的一電腦程式產品實現，如藉由網路環境中之電腦所執行的程式碼。 一般而言，程式模組包括常式、程式、物件、元件、資料結構等，其等執行特定任務或者實施特定抽象資料類型。電腦可執行指令、相關的資料結構及程式模組表示用於執行本文所揭露的方法之步驟的程式碼之實例。此等可執行指令之特定順序或者相關的資料結構表示用以實現此等步驟內所描述的該等功能的對應動作之實例。
本發明之軟體及網頁實施態樣可利用標準的程式化技術實現，具有基於規則的邏輯及其他邏輯以實現各種資料庫搜尋步驟、相關步驟、比較步驟及決策步驟。也應注意到的是，在此處及以下申請專利範圍內使用的詞語“元件”及“模組”意指包含使用一行或多行軟體程式碼的實施態樣、及/或硬體實施態樣，以及/或用於接收人工輸入的設備。
基於上述，應顯而易見，本發明之示範性實施例提供一種用以增強媒體檔案編碼器及解碼器之操作的方法、裝置及電腦程式。
例如且參照第5圖，依據一種方法及電腦程式指令之執行結果，在方塊5A內，將第一時序資料儲存到一媒體檔案之一軌盒內被執行，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間，以及在方塊5B內，儲存該已編碼多媒體內容之該至少一樣本之可選擇的解碼時間資料被執行，該可選擇的解碼時間資料被表達為表示該至少一樣本之解碼時間之調整的差值。
進一步舉例且參照第6圖，依據另一方法及電腦程式指 令之執行結果，在方塊6A內，將第一時序資料儲存到一媒體檔案之一軌盒被執行，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間，以及在方塊6B內，若該已編碼多媒體內容之一子組需被解碼，則儲存該已編碼多媒體內容之該至少一樣本之一可選擇的解碼時序資料以供使用被執行。
進一步舉例且參照第7圖，依據另一方法及電腦程式指令之執行結果，在方塊7A內，解析一媒體檔案被執行，該媒體檔案包含一媒體位元流及第一時序資料，該第一時序資料描述了該媒體位元流之至少一樣本的解碼時間；在方塊7B內，決定是否完全解碼該媒體位元流以及解碼該媒體位元流之一子組中的一者被執行；在方塊7C內，當決定解碼該媒體位元流之該子組時，則解析該媒體位元流之該子組的該至少一樣本之一可選擇的解碼時序資料被執行；以及在方塊7D內，依據該可選擇的解碼時序資料解碼該媒體位元流之該子組被執行。
在第5、6及7圖中所示的各個方塊可被視為方法步驟及/或由電腦程式碼之操作產生的操作，以及/或作為被構造以執行相關功能的多數個耦接電路元件。
一般而言，各個示範性實施例可以硬體或專用電路、軟體、邏輯或者其任何組合實施。例如，一些層面可以硬體實施，而其他層面可以可由一控制器、微處理器或其他計算裝置執行的韌體或軟體實施，雖然本發明並不限於 此。雖然本發明之示範性實施例的各個層面可被說明且描述為方塊圖、流程圖或者使用一些其他圖形表示，但是也應明白的是，本文所描述的該等方塊、裝置、系統、技術或方法可以(作為非限制例子)硬體、軟體、韌體、專用電路或邏輯、通用硬體或控制器或其他計算裝置或者其等之一些組合實施。
這樣，應該瞭解的，本發明之示範性實施例的至少一些層面可在各種元件中實施，例如積體電路晶片及模組。因此應瞭解的是，本發明之示範性實施例可在被實施為一積體電路的裝置內實現，其中該積體電路可包含用於實施可被組配以依據本發明之示範性實施例操作的一資料處理器、一數位信號處理器、基頻電路及射頻電路中的至少一者或多者之電路(以及可能是韌體)。
就以上描述而言，本發明之以上示範性實施例之各種修改及變化當結合附圖閱讀時對於相關領域內具有通常知識者而言是顯而易見的。然而，任何及所有修改仍落於本發明之非限制性及示範性實施例之範圍內。
例如，雖然該等示範性實施例已在一些視訊編碼標準之脈絡下被描述，但是應瞭解的是，本發明之示範性實施例並不限於只用於被特別提到的視訊編碼標準，且它們可被用以在其他視訊及其他媒體相關標準及檔案類型與系統中得利。
應該注意到的是，詞語“連接”、“耦接”或者其等之任何變化表示兩個或多個元件之間的直接或間接的任何連接 或耦接，且可包含在被“連接”或“耦接”在一起的兩個元件之間存在一或多個中間元件。該等元件之間的”連接”或”耦接”可以是實體、邏輯或者其一組合。如本文所使用的，兩個元件可被認為透過使用一或多個導線、纜線及/或印刷電氣連接以及藉由使用電磁能量(例如，具有在射頻範圍、微波範圍及光(包括可見及非可見)範圍內的波長之電磁能量)被“連接”或“耦接”在一起，作為幾個非限制及非詳盡例子。
此外，本發明之各個非限制及示範性實施例之一些特徵可被用以增加優勢，在沒有其他特徵之對應使用情況下。這樣，以上描述應被認為僅僅說明本發明之原理、教示及示範性實施例且不是其限制。
12‧‧‧行動裝置
30‧‧‧外殼
32‧‧‧顯示器
34‧‧‧鍵盤
36‧‧‧麥克風
38‧‧‧耳機
40‧‧‧電池
42‧‧‧紅外線埠
44‧‧‧天線
46‧‧‧智慧卡
48‧‧‧讀卡器
50‧‧‧電子裝置
52‧‧‧無線電介面電路
54‧‧‧編碼解碼電路
56‧‧‧控制器
58‧‧‧記憶體
200‧‧‧資料源
210‧‧‧編碼器
220‧‧‧儲存器
230‧‧‧發送器
240‧‧‧閘道器
250‧‧‧接收器
260‧‧‧解碼器
270‧‧‧呈現器
第1圖顯示了具有4個時間可縮放層之一習知階層結構；第2圖顯示了用於本發明的一般多媒體通訊系統；第3圖是可用於本發明之實施態樣的一行動裝置之一透視圖；第4圖是第3圖之行動裝置的裝置電路之一示意表示；第5圖是描述了依據本發明之示範性實施例的一種方法之操作以及電腦程式指令之執行結果的一邏輯流程圖；第6圖是描述了依據本發明之示範性實施例的一種方法之操作以及電腦程式指令之執行結果的另一邏輯流程圖；以及第7圖是描述了依據本發明之示範性實施例的一種方 法之操作以及電腦程式指令之執行結果的另一邏輯流程圖。
5A,5B‧‧‧方塊

Claims (27)

  1. 一種用以儲存多媒體於媒體檔案的方法，包含以下步驟：將第一時序資料儲存到一媒體檔案之一軌盒內，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本之解碼時間；以及儲存該已編碼多媒體內容之該至少一樣本的可選擇的解碼時間資料，該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值，且該可選擇的解碼時間是在決定只有儲存於一軌內的一基本串流之一子組要被解碼時將配合一樣本使用的一解碼時間。
  2. 如申請專利範圍第1項所述之方法，其中儲存與該差值相關的可選擇的解碼時間資料之步驟儲存一識別該至少一樣本之一可縮放性層的識別符。
  3. 如申請專利範圍第1項所述之方法，其中儲存與該差值相關的可選擇的解碼時間資料之步驟儲存一識別該至少一樣本之一時間層的識別符。
  4. 如申請專利範圍第1項所述之方法，其中該可選擇的解碼時序資料被儲存在一盒內，該盒之特徵在於：一識別該至少一樣本之一可縮放性層的識別符；以及一樣本差值，表示該可選擇的解碼時間與用於解碼 由該已編碼多媒體內容表示的多媒體內容之一時間標度內的該至少一樣本之整個串流之解碼時間之間的一差值。
  5. 一種儲存有用以儲存多媒體於媒體檔案中之程式指令的電腦可讀媒體，該等程式指令執行時完成如申請專利範圍第1項所述之方法。
  6. 一種用以儲存多媒體於媒體檔案的方法，包含以下步驟：將第一時序資料儲存到一媒體檔案之一軌盒內，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；以及為該已編碼多媒體內容之該至少一樣本儲存一可選擇的解碼時間資料以供在該已編碼多媒體內容之一子組需被解碼時使用，該可選擇的解碼時間是在決定只有儲存於一軌內的一基本串流之一子組要被解碼時將配合一樣本使用的一解碼時間。
  7. 如申請專利範圍第6項所述之方法，其中該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值。
  8. 如申請專利範圍第6或7項所述之方法，其中儲存與該差值相關的可選擇的解碼時間資料之步驟儲存一識別該至少一樣本之一可縮放性層的識別符。
  9. 如申請專利範圍第6或7項所述之方法，其中儲存與該差 值相關的可選擇的解碼時間資料之步驟儲存一識別該至少一樣本之一時間層的識別符。
  10. 如申請專利範圍第6或7項所述之方法，其中該可選擇的解碼時序資料被儲存在一盒內，該盒之特徵在於：一識別該至少一樣本之一可縮放性層的識別符；以及一樣本差值，表示該可選擇的解碼時間與用於解碼由該已編碼多媒體內容表示的多媒體內容之一時間標度內的該至少一樣本之整個串流之解碼時間之間的一差值。
  11. 一種儲存有用以儲存多媒體於媒體檔案中之程式指令的電腦可讀媒體，該等程式指令執行時完成如申請專利範圍第6項所述之方法。
  12. 一種用以儲存多媒體於媒體檔案的裝置，包含：一處理器；以及一記憶體單元，與該處理器耦接且進一步包含：一編碼器，被組配來：將第一時序資料儲存到一媒體檔案之一軌盒內，該第一時序資料描述了被儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；以及儲存該已編碼多媒體內容之該至少一樣本的可選擇的解碼時間資料，該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值，且 該可選擇的解碼時間是在決定只有儲存於一軌內的一基本串流之一子組要被解碼時將配合一樣本使用的一解碼時間。
  13. 如申請專利範圍第12項所述之裝置，其中該編碼器結合該差值儲存一識別該至少一樣本之一可縮放性層的識別符。
  14. 如申請專利範圍第12項所述之裝置，其中該編碼器結合該差值儲存一識別該至少一樣本之一時間層的識別符。
  15. 如申請專利範圍第12項所述之裝置，其中該可選擇的解碼時序資料被儲存在一盒內，該盒之特徵在於：一識別該至少一樣本之一可縮放性層的識別符；以及一樣本差值，表示該可選擇的解碼時間與用於解碼由該已編碼多媒體內容表示的多媒體內容之一時間標度內的該至少一樣本之整個串流之一解碼時間之間的一差值。
  16. 一種用以解碼來自媒體檔案之多媒體內容的方法，包含以下步驟：解析一媒體檔案，該媒體檔案包含一媒體位元串流、描述該媒體位元串流之至少一樣本之解碼時間的第一時序資料、及用於該媒體位元串流之該至少一樣本的可選擇的解碼時間資料；決定是否完全解碼該媒體位元串流以及解碼該媒體位元串流之一子組中的一者； 當決定解碼該媒體位元串流之該子組時，解析該媒體位元串流之該子組的該至少一樣本的一可選擇的解碼時序資料，其中該可選擇的解碼時間資料被表達為表示對該至少一樣本之該解碼時間之一調整的一差值；以及依據該可選擇的解碼時序資料，解碼該媒體位元串流之該子組。
  17. 如申請專利範圍第16項所述之方法，其進一步包含以下步驟：解析一識別該至少一樣本之一可縮放性層的識別符。
  18. 如申請專利範圍第16項所述之方法，其進一步包含以下步驟：解析一識別該至少一樣本之一時間層的識別符。
  19. 如申請專利範圍第16項所述之方法，其中該可選擇的解碼時序資料被儲存在一盒內，該盒之特徵在於：包含一識別該至少一樣本之一時間層的識別符；以及以及包含一樣本差值，表示該可選擇的解碼時間與用於解碼由該媒體位元串流表示的多媒體內容之一時間標度內的該至少一樣本之整個串流之解碼時間之間的一差值。
  20. 一種儲存用以解碼來自媒體檔案之多媒體內容之程式指令的電腦可讀媒體，該等程式指令執行時完成如申請 專利範圍第16項所述之方法。
  21. 一種用以解碼來自媒體檔案之多媒體內容的裝置，包含：一處理器；以及一記憶體單元，可運作地連接到該處理器以及進一步包含：一檔案解析器，用以：解析一媒體檔案，該媒體檔案包含一媒體位元串流、描述該媒體位元串流之至少一樣本之解碼時間的第一時序資料、及用於該媒體位元串流之該至少一樣本的可選擇的解碼時間資料；決定是否完全解碼該媒體位元串流以及解碼該媒體位元串流之一子組中的一者；當決定解碼該媒體位元串流之該子組時，解析該媒體位元串流之該子組的該至少一樣本的一可選擇的解碼時序資料，其中該可選擇的解碼時間資料被表達為表示對該至少一樣本之該解碼時間之一調整的一差值；以及一解碼器，依據該可選擇的解碼時序資料解碼媒體位元串流之該子組。
  22. 如申請專利範圍第21項所述之裝置，其中該解析器被進一步組配以解析一識別該至少一樣本之一可縮放性層的識別符。
  23. 如申請專利範圍第21項所述之裝置，其中該解析器被組 配以解析一識別該至少一樣本之一時間層的識別符。
  24. 如申請專利範圍第21項所述之裝置，其中該可選擇的解碼時序資料被儲存在一盒內，該盒之特徵在於：包含一識別該至少一樣本之一時間層的識別符；以及以及包含一樣本差值，表示該可選擇的解碼時間與用於解碼由該媒體位元串流表示的多媒體內容之一時間標度內的該至少一樣本之整個串流之解碼時間之間的一差值。
  25. 一種儲存容器檔案的電腦可讀媒體，該容器檔案包含：多數個軌；包含在一軌盒內的第一時序資料，該第一時序資料描述了儲存在一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；包含在該盒內的可選擇的時序資料，用於對該已編碼多媒體內容之該至少一樣本發訊該可選擇的時序資料，該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值，其中該可選擇的解碼時間是在決定只有儲存於一軌內的一基本串流之一子組要被解碼時將配合一樣本使用的一解碼時間；以及一識別該至少一樣本的一可縮放性層的識別符。
  26. 一種用以儲存多媒體於媒體檔案的裝置，包含：一處理器，一記憶體單元，與該處理器耦接以及進一步包含： 組配來將第一時序資料儲存在一媒體檔案之一軌盒內的電腦程式碼，該第一時序資料描述了儲存在該媒體檔案之一相關媒體資料盒內的一已編碼多媒體內容之至少一樣本的解碼時間；以及組配來儲存該已編碼多媒體內容之該至少一樣本的可選擇的解碼時間資料之電腦程式碼，該可選擇的解碼時間資料被表達為表示該至少一樣本之該解碼時間之一調整的一差值，其中該可選擇的解碼時間是在決定只有儲存於一軌內的一基本串流之一子組要被解碼時將配合一樣本使用的一解碼時間；以及組配來儲存一識別該至少一樣本的一可縮放性層之識別符的電腦程式碼。
  27. 一種用以解碼來自媒體檔案之多媒體內容的裝置，包含：一處理器；以及一記憶體單元，可運作地連接到該處理器以及進一步包含：用以解析一媒體檔案的電腦程式碼，該媒體檔案包含一媒體位元串流、描述該媒體位元串流之至少一樣本之解碼時間的第一時序資料、及用於該媒體位元串流之該至少一樣本的可選擇的解碼時間資料；用以決定是否完全解碼該媒體位元串流以及解碼該媒體位元串流之一子組中的一者的電腦程式碼；當決定解碼該媒體位元串流之該子組時，解析該媒 體位元串流之該子組的該至少一樣本的一可選擇的解碼時序資料，其中該可選擇的解碼時間資料被表達為表示對該至少一樣本之該解碼時間之一調整的一差值；以及組配來依據該可選擇的解碼時序資料解碼媒體位元串流之該子組的電腦程式碼；以及組配來解析一識別該至少一樣本的一可縮放性層之識別符的電腦程式碼。
TW097115019A 2007-04-24 2008-04-24 媒體檔案之多重解碼時間發訊技術 TWI482498B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US91376407P 2007-04-24 2007-04-24

Publications (2)

Publication Number Publication Date
TW200910969A TW200910969A (en) 2009-03-01
TWI482498B true TWI482498B (zh) 2015-04-21

Family

ID=39876050

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097115019A TWI482498B (zh) 2007-04-24 2008-04-24 媒體檔案之多重解碼時間發訊技術

Country Status (11)

Country Link
US (1) US8774284B2 (zh)
EP (1) EP2137974B1 (zh)
KR (1) KR101115547B1 (zh)
CN (1) CN101669369B (zh)
AR (1) AR066295A1 (zh)
AU (1) AU2008242129B2 (zh)
CA (1) CA2681197C (zh)
MX (1) MX2009010322A (zh)
RU (1) RU2437245C2 (zh)
TW (1) TWI482498B (zh)
WO (1) WO2008129516A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
US20130097334A1 (en) * 2010-06-14 2013-04-18 Thomson Licensing Method and apparatus for encapsulating coded multi-component video
MX2013008895A (es) * 2011-02-16 2013-08-21 Panasonic Corp Metodo de codificacion de video y metodo de decodificacion de video.
EP2727342B1 (en) * 2011-06-30 2016-06-29 Telefonaktiebolaget LM Ericsson (publ) Reference picture signaling
CN104641647B (zh) 2012-04-13 2018-05-04 Ge视频压缩有限责任公司 低延迟图像写码
CN107743232B (zh) * 2012-06-25 2020-12-04 日本电气株式会社 视频解码设备和视频解码方法
TWI584637B (zh) 2012-06-29 2017-05-21 Ｇｅ影像壓縮有限公司 視訊資料串流概念技術
JP5993092B2 (ja) * 2012-09-09 2016-09-14 エルジー エレクトロニクス インコーポレイティド 映像復号化方法及びそれを利用する装置
US20150237372A1 (en) * 2012-10-08 2015-08-20 Samsung Electronics Co., Ltd. Method and apparatus for coding multi-layer video and method and apparatus for decoding multi-layer video
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
TWI548266B (zh) * 2014-06-24 2016-09-01 愛爾達科技股份有限公司 多媒體檔案儲存系統與相關裝置
US10986402B2 (en) * 2018-07-11 2021-04-20 Qualcomm Incorporated Time signaling for media streaming
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
US11711518B2 (en) 2020-09-17 2023-07-25 Lemon Inc. Decoding capability information storage in video coding
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020064224A1 (en) * 2000-11-06 2002-05-30 Koichi Hata Scheme, apparatus, and program for header compression
TWM304860U (en) * 2006-08-03 2007-01-11 Watch Technology Co Ltd I Apparatus with multiple output streams of digital data
TW200708105A (en) * 2005-07-15 2007-02-16 Enuclia Semiconductor Inc Video processing system and method with dynamic tag architecture

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671226A (en) * 1995-02-09 1997-09-23 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
US7346698B2 (en) * 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
US20030105880A1 (en) * 2001-12-04 2003-06-05 Koninklijke Philips Electronics N.V. Distributed processing, storage, and transmision of multimedia information
EP1343327B1 (fr) * 2001-12-28 2011-06-15 Koninklijke Philips Electronics N.V. Procédé pour effectuer un traitement sur un contenu multimedia
JP3918580B2 (ja) * 2002-02-26 2007-05-23 ヤマハ株式会社 マルチメディア情報符号化装置、マルチメディア情報再生装置、マルチメディア情報符号化処理プログラム及びマルチメディア情報再生処理プログラム
EP1387584A1 (en) * 2002-07-22 2004-02-04 Deutsche Thomson-Brandt Gmbh Method and apparatus for storing and transmiting audio-visual data
US20050044499A1 (en) * 2003-02-23 2005-02-24 Anystream, Inc. Method for capturing, encoding, packaging, and distributing multimedia presentations
CA2521165A1 (en) * 2003-04-03 2004-10-14 Dublin City University Shape matching method for indexing and retrieving multimedia data
EP1738583A4 (en) * 2004-03-03 2009-08-19 Packetvideo Network Solutions SYSTEM AND METHOD FOR SEARCHING DIGITAL MULTIMEDIA CONTENT IN A NETWORK NODE
JP4805915B2 (ja) * 2004-05-04 2011-11-02 クゥアルコム・インコーポレイテッド 時間的なスケーラビリティのために２方向予測されたフレームを組み立てるための方法及び装置
CN100514963C (zh) * 2004-12-31 2009-07-15 华为技术有限公司 一种在网关上生成rtp时戳的方法
US8233540B2 (en) * 2005-03-10 2012-07-31 Qualcomm Incorporated Method of time base reconstruction for discrete time labeled video
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
KR101255226B1 (ko) 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
WO2007042914A1 (en) 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
KR100724825B1 (ko) * 2005-11-17 2007-06-04 삼성전자주식회사 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템
KR100667840B1 (ko) * 2005-11-30 2007-01-11 삼성전자주식회사 멀티미디어 파일을 생성 방법, 재생 방법, 재생 장치 및멀티미디어 파일이 기록된 정보저장매체
TWI378732B (en) * 2006-01-27 2012-12-01 Au Optronics Corp The dynamic index system
US9332274B2 (en) 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
US8699583B2 (en) 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
WO2008007304A2 (en) * 2006-07-12 2008-01-17 Nokia Corporation Signaling of region-of-interest scalability information in media files
WO2008010157A2 (en) 2006-07-17 2008-01-24 Nokia Corporation Method, apparatus and computer program product for adjustment of leaky factor in fine granularity scalability encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020064224A1 (en) * 2000-11-06 2002-05-30 Koichi Hata Scheme, apparatus, and program for header compression
TW200708105A (en) * 2005-07-15 2007-02-16 Enuclia Semiconductor Inc Video processing system and method with dynamic tag architecture
TWM304860U (en) * 2006-08-03 2007-01-11 Watch Technology Co Ltd I Apparatus with multiple output streams of digital data

Also Published As

Publication number Publication date
AR066295A1 (es) 2009-08-12
RU2437245C2 (ru) 2011-12-20
KR20100005225A (ko) 2010-01-14
CA2681197A1 (en) 2008-10-30
CN101669369A (zh) 2010-03-10
EP2137974A2 (en) 2009-12-30
MX2009010322A (es) 2009-10-19
WO2008129516A4 (en) 2009-08-13
EP2137974B1 (en) 2018-12-12
WO2008129516A2 (en) 2008-10-30
CA2681197C (en) 2014-01-07
US20080292003A1 (en) 2008-11-27
WO2008129516A3 (en) 2009-05-14
AU2008242129B2 (en) 2011-11-17
RU2009143102A (ru) 2011-05-27
CN101669369B (zh) 2013-11-06
TW200910969A (en) 2009-03-01
US8774284B2 (en) 2014-07-08
AU2008242129A1 (en) 2008-10-30
KR101115547B1 (ko) 2012-03-05

Similar Documents

Publication Publication Date Title
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
RU2697741C2 (ru) Система и способ предоставления указаний о выводе кадров при видеокодировании
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
CN107431819B (zh) 用于视频解码的方法、装置、计算机可读存储介质及视频解码器
TWI455591B (zh) 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
CA2730543C (en) Method and apparatus for track and track subset grouping
KR101088772B1 (ko) 스케일러블 멀티미디어의 적응 경로들에 대한 포괄적 표시
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
KR20100030648A (ko) 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
TW200822758A (en) Scalable video coding and decoding
TW200850008A (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding