TWI430665B - 儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法 - Google Patents

儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法 Download PDF

Info

Publication number
TWI430665B
TWI430665B TW097124990A TW97124990A TWI430665B TW I430665 B TWI430665 B TW I430665B TW 097124990 A TW097124990 A TW 097124990A TW 97124990 A TW97124990 A TW 97124990A TW I430665 B TWI430665 B TW I430665B
Authority
TW
Taiwan
Prior art keywords
packet
data
media
information
container
Prior art date
Application number
TW097124990A
Other languages
English (en)
Other versions
TW200910970A (en
Inventor
Kraegeloh Stefan
Doehla Stefan
Fuchs Harald
Faerber Nikolaus
Original Assignee
Fraunhofer Ges Forschung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Ges Forschung filed Critical Fraunhofer Ges Forschung
Publication of TW200910970A publication Critical patent/TW200910970A/zh
Application granted granted Critical
Publication of TWI430665B publication Critical patent/TWI430665B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23895—Multiplex stream processing, e.g. multiplex stream encrypting involving multiplex stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key
    • H04N21/63345—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key by transmitting keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675—Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0021—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
    • G11B20/00485—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier characterised by a specific kind of data which is encrypted and recorded on and/or reproduced from the record carrier
    • G11B20/00492—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier characterised by a specific kind of data which is encrypted and recorded on and/or reproduced from the record carrier wherein content or user data is encrypted
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00731—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a digital rights management system for enforcing a usage restriction

Description

儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法
本發明涉及向具有媒體資料容器和元資料容器的文件儲存傳輸協定資料分組及與其相關聯的輔助資訊，和/或從具有媒體資料容器和元資料容器的文件讀取傳輸協定資料分組及與其相關聯的輔助資訊，所述文件例如是基於ISO(國際標準化組織)基礎媒體文件格式的文件。
各種電子設備能夠接收和呈現媒體資料流程。例如，可以根據例如DVB-H標準(數位視頻廣播-手持)或DVB-T標準(數位視頻廣播-地面)，從廣播媒體流的數位視頻廣播網路上接收這樣的媒體資料流程。
DVB-T使用自包含的MPEG-2(MPEG=運動圖像專家組)傳輸流，該傳輸流包含根據國際標準ISO/IEC 13818(IEC=國際電子技術委員會)的基本MPEG-2視頻和音頻流。MPEG-2傳輸流是一種在當今的許多廣播系統中使用的複用流。它是一個或更多個流節目(典型地是音頻和視頻以及其他資料)的流複用。MPEG-2傳輸流在所有媒體流中共用公共的時鐘，並使用加時間戳的媒體樣本(訪問單元AU)。這實現了發送方與接收方的時鐘同步，以及音頻與視頻流的口型同步。
對於DVB-H，以RTP(即時傳輸協定)、UDP(用戶資料報協定)、IP(網際網路協定)和MPE(多協議封裝)對基本音頻和視頻流進行封裝，以用於IP資料傳播。RTP 用於多媒體資料在IP網路上的有效即時傳送。典型地，複用是通過將不同的網路埠與每個不同的媒體流相關聯來完成的，例如，一個網路埠用於視頻而另一個用於音頻。通常，不同的媒體來自具有不同時鐘或時鐘速率的不同源。例如，音頻樣本具有取決於音頻採樣設備的時鐘速率的採樣速率，其中，視頻幀的幀速率取決於抓取(grab)設備的時鐘速率的視頻幀。這樣的時鐘可以具有大於百萬分之幾百的固有頻率誤差，從而導致每天幾十秒的累計誤差。術語“時鐘偏移(clock skew)”被定義為時鐘的實際振盪器頻率與其額定頻率之差。如果發送方的時鐘比接收方的時鐘運行得快，則這可以導致分組在接收方累積。如果發送方的時鐘比接收方的時鐘運行得慢，則將導致接收方緩衝器未充滿。因此，如果接收方的時鐘速率不同於發送方的時鐘速率，則接收方緩衝器或者漸滿或者漸空。此外，時鐘偏移可以導致相關的音頻與視頻樣本在接收方處失去同步。
RTCP(即時傳輸控制協議)允許RTP流的時鐘恢復和同步。RTCP通道與每個RTP流相關聯，並包括以發送方報告(SR)的形式從發送方至接收方的控制資訊，反之亦然。每個RTCP SR包括兩個時間戳：發送方的系統時鐘(參考時間)的NTP(網路時間協定)時間戳以及關聯RTP流的對應的媒體時間戳。對於音頻和視頻，都要發送這些RTCP SR。從RTP和NTP的時間值，可以在時間線上設置RTP分組，並且可以完美地同步媒體。
將流服務定義為以時間約束或無約束的方式傳送的用於接收過程中立即消耗的同步媒體流的集合。每個流會話可以包括音頻、視頻和/或如定時文本之類的即時媒體資料。例如，通過移動電視接收電影的媒體資料的用戶可以觀看該電影和/或將其記錄到文件中。通常，為了這個目的，對接收媒體流的接收資料分組進行解分組，以將原始媒體資料儲存至文件。也就是說，首先對接收到的RTP分組或MPEG-2分組進行解分組，以獲得它們的以媒體資料樣本形式的有效載荷。接著，在解分組之後，重放所獲得的媒體資料樣本或將其儲存至文件。通常，通過如H.264/ABC(AVC=高級視頻編碼)視頻格式和/或MPEG-4 HE-AACv2(HE-AACv2=高效高級音頻編碼第2版)音頻格式的格式來對所獲得的媒體樣本進行壓縮。在要儲存具有這樣的視頻和/或音頻格式的媒體資料樣本時，可以以所謂的3GP文件格式(也稱為3GPP(第3代合作夥伴項目)文件格式)或MP4 (MPEG-4)文件格式對其進行儲存。3GP和MP4都是從ISO/IEC國際標準14496-12:2005 "Information technology-coding of audio-visual objects-part 12: ISO base media file format"中規定的ISO基本媒體文件格式中導出的。為了可以操作這樣的文件，這些資料均必須存在。將媒體資料儲存在與文件相關的媒體資料容器(mdat)中，而將元資料儲存在文件的元資料容器(moov)中。傳統上，媒體資料容器包括實際媒體樣本。即，它可以包括例如隔行掃描的、按時間排序的視頻和/或音頻幀。因此，每個媒 體在元資料容器moov中具有其自身的元資料軌道(trak)，描述該媒體內容的屬性。元資料容器moov中的附加容器(也稱為箱)可以包括關於文件屬性、文件內容等的資訊。
近來，國際標準化組織定義了針對基於ISO基本媒體文件格式的文件的所謂的接收提示軌道。這些接收提示軌道可以用於儲存複用的和/或分組化的流，例如接收的MPEG-2傳輸流或RTP分組。接收提示軌道可以用於用戶端側儲存和重播接收到的資料分組。因此，將一個流的接收MPEG-2 TS或RTP分組直接儲存在接收提示軌道中作為例如預先計算的樣本或構造器。
與對資料分組進行解複用和/或解分組、然後針對每個基礎媒體流(音頻和/或視頻)寫入分離的媒體軌道相比，這種方法有兩個優點。第一，它降低了儲存過程中接收設備所需的複雜度，這是因為不需要對接收的資料分組進行解複用或其他處理。僅對接收的資料分組執行以未修改形式的文件儲存。第二，在某些情況下，根本不可能將接收的資料分組解複用為分離的媒體軌道，尤其是以傳輸/複用級對媒體進行加密或分組化方案未知的情況下。第三，由於頭兩點，在PVR(PVR=個人視頻記錄器)應用中，使時間偏移(即寫文件和立即從同一文件中讀取具有可變的時間偏移)變得更容易。
可以通過模擬正常流的接收，並從接收提示軌道中讀取儲存的資料分組，如同它們是通過IP接收的一樣，可以完成從接收提示軌道的重播。同所有提示軌道一樣，接收 提示軌道具有傳輸定時，其與具有媒體重播定時的媒體軌道相反。因此，接收設備的接收時間戳與接收提示軌道中所儲存的每個資料分組相關聯。
伺服器側文件中的RTP提示軌道僅儲存來自一個流的RTP媒體資料分組，並且不包含對應的輔助或控制資訊，例如RTCP資訊或密鑰消息。由於RTCP資訊描述了流的情形的當前狀態，例如定時，因此，RTCP消息由流伺服器動態地產生。
流接收方可以從接收時間中恢復發送方的系統時鐘，並將接收方的系統時鐘與發送方的系統時鐘對齊，以避免緩衝器在直接重播運行下分別溢出。由於RTP分組或RTCP發送方報告分組的到達時間的抖動(網路抖動)，不論哪個分組用於時鐘恢復，即時的時鐘恢復都是不可能的。儘管媒體時間戳以固定速率不斷增大，然而具有不同步的採樣時鐘的獨立的音頻和視頻捕獲單元可能導致RTP時鐘的漂移。RTCP SR攜帶針對每個流的NTP和RTP時間戳，從而可以被用於提取相關設備的漂移。在許多系統中，在創建RTCP SR時，尤其在NTP與RTP時鐘之間的關係中存在抖動。因此，通常流用戶端在啟動之後不能立即實現完美的口型同步，而是需要在視頻與音頻流之間的口型同步變得精確之前，考慮特定數目的RTCP SR。如果需要恢復發送方的系統時鐘，並且存在較高的網路抖動，則也需要特定數目的RTP分組或RTCP發送方的報告分組，而不論哪個分組用於時鐘恢復。在即時流接收過程中，除相關資料分 組的RTP時間戳之外，如上所述，可以使用多個RTCP SR的資訊來重新計算網路抖動和時鐘漂移。
當前，RTP接收提示軌道被規定為只能儲存媒體流的接收資料分組，而不能包含對應的RTCP SR，以及相應地發送方的報告中的定時資訊。只有接收的RTP分組的RTP時間戳不足以同步從不同流接收的媒體資料。這是因為，一般地，每個媒體流為其初始時間戳和初始序列號分配隨機值，並且時間戳的時鐘頻率取決於所攜帶的媒體資料的格式。可以使用RTP分組的到達或接收時間來進行流之間的同步。然而，這種方法的問題在於，RTP不保證分組的傳送，也不制止帶外傳送。由此，僅基於接收時間的同步無法保證精確度。
如上所述，不同RTP流之間的最精確的同步方法需要等待關聯的RTCP SR，該RTCP SR包含能夠實現在RTP時間戳與流中採取NTP時間戳格式的公共時間戳之間的轉換的資訊。通常，針對特定位元率的每個流每5秒發送這些RTCP發送方報告，其中，兩個RTCP SR之間的時間間隔取決於位元率。
因此，只有在以下兩種情況下，才可能實現具有精確定時和口型同步的RTP接收提示軌道的重播：第一，不同媒體時鐘之間沒有時鐘漂移，對於每個接收的RTP分組，有RTCP發送方報告流間同步資料可用。然而，這與在現實環境中不可能發生的理想情形相對應。第二，在儲存過程中，接收設備必須通過在儲存所接收的RTP分組之前調 整所接收RTP分組的RTP時間戳來考慮RTCP SR的定時資訊。
第一種情況只是一種理論上的情況，實際中不會發生。第二種情況給接收方施加了沉重的負擔，例如，要考慮多個發送方RTCP SR用於定時調整，將需要緩衝幾秒的接收流。這也將影響時間偏移應用中從相同文件即時讀取的能力。此外，在儲存之後，無法重新創建原始接收情形，即在接收並記錄了完整的流之後，在處理階段不能移除長期抖動。
當前的廣播系統使用密鑰流(或帶內或帶外)，用於傳輸受保護的密鑰作為輔助資訊，該輔助資訊用於對相關資料分組的媒體資料進行解密。典型地，密鑰流和加密的媒體資料流程之間僅存在鬆結合，沒有定時關係。
在DVB-H和OMA-BCAST(開放移動聯盟-移動廣播服務)中，將密鑰流定義為在與不同於關聯媒體流的UDP埠上發送的密鑰消息的分離的流。將每個密鑰消息作為單個UDP分組來發送。OMA-BCAST將這樣的消息稱為短期密鑰消息(STKM)，DVB-H將其稱為密鑰流消息(KSM)。由於每個密鑰消息由流服務的訂閱而界定，從而只能由授權的用戶/設備來訪問，因此儲存密鑰消息不損害流系統的安全性。密鑰消息內的實際的密碼密鑰由服務或節目密鑰來保護。
每個密鑰具有關聯的密鑰識別字(密鑰ID)，該密鑰識別字也在關聯的加密媒體訪問單元中指示。解密器檢查密 鑰的存在，該密鑰與加密訪問單元中的密鑰ID相關聯。
通過以重疊的有效週期頻繁發送密鑰來處理加密媒體訪問單元與關聯的密鑰消息的同步。在加密視頻分組之前發送該密鑰，該密鑰以對應的密鑰識別字來標記。接著，至少只要媒體資料正在使用該特定密鑰，該密鑰就有效。
由於在流中沒有媒體定時與密鑰消息相關聯，因此，在記錄文件的過程中，將該密鑰儲存為媒體軌道是不現實的。密鑰與對應的加密訪問單元之間的媒體定時關聯只能在處理和分析對密鑰和媒體流進行結合的密鑰ID之後才能做出。只有在這樣的分析之後，才清楚哪個密鑰是用於哪個訪問單元或視頻幀。
因此，本發明的目的是提供一種以有效的方式在文件中儲存和處理接收的分組和關聯輔助信息的概念，以使得可以在記錄或儲存過程中不明顯增加複雜度的情況下，在例如記錄的媒體流重播過程中實現精確的口型同步或解密。
這個目的的是通過如申請專利範圍第1項所述的用於記錄文件的設備、如如申請專利範圍第20項所述的用於記錄文件的方法、如如申請專利範圍第22項所述的用於讀取文件的設備以及如如申請專利範圍第27項所述的用於讀取文件的方法來解決。
為了解決上述目的，本發明的實施例還提供了用於實 施本發明的方法的電腦程式。
本發明是基於以下發現：不僅通過儲存接收的流媒體資料分組，也通過在攜帶輔助資訊的接收過程中儲存關聯資料，尤其是與該媒體流並行傳送的所有關聯資料，例如包括RTCP發送方報告的RTCP消息，或通過記錄包括密碼密鑰在內的關聯的接收密鑰消息，所述密碼密鑰與所接收的流媒體資料分組所包括的媒體資料相關聯，可以同時解決上述問題。
將所接收的關聯資料或輔助資訊以所謂的關聯接收提示軌道("arht")的形式儲存在包括媒體資料容器和元資料容器在內的文件中。該軌道由包含相關媒體分組在內的對應的接收提示軌道使用例如ISO/IEC 14496-12的軌道引用機制來界定。如同相關的接收提示軌道，該關聯接收提示軌道以例如接收方的系統時鐘的時間戳的形式儲存傳輸定時。這樣可以實現在稍後階段的重播過程中恢復原始分組接收的定時條件。
該接收提示軌道和關聯接收提示軌道包括文件的媒體資料容器中的分組資料部分和文件的元資料容器中的元資料部分。
根據本發明的實施例，在記錄關聯接收提示軌道的過程中，保存如RTCP SR之類的消息以及相關的傳輸定時資訊。並行地，將接收的媒體RTP分組和相關傳輸定時直接儲存到接收提示軌道。在記錄過程中，不執行去抖動過程或口型同步校正。
為了這個目的，本發明的實施例提供了一種用於記錄具有相關媒體資料容器和元資料容器的文件的設備。該設備包括接收機，該接收機用於接收第一資料分組和第二資料分組，該第一資料分組包括基於第一時鐘的分組化的第一媒體資料樣本，該第二資料分組包括基於不同於第一時鐘的第二時鐘的第二媒體資料樣本，其中，該第二媒體資料樣本與第一媒體資料樣本相關聯。該接收機還適於接收第一控制分組和第二控制分組，該第一控制分組包括用於指示第一時鐘與參考時鐘的關係的資訊，該第二控制分組包括用於指示第二時鐘與參考時鐘的關係的資訊。該設備還包括記錄器，用於將接收到的第一和第二資料分組以及接收到的第一和第二控制分組的至少部分儲存在媒體資料容器中，並用於將關聯元資料儲存在元資料容器中，該關聯元資料包括接收到的第一和第二資料分組以及接收到的第一和第二控制分組的定時資訊，並包括指示第一和第二資料分組以及第一和第二控制分組被儲存在媒體資料容器中的位置的位置資訊。
根據本發明的實施例，該記錄器適於將第一和第二接收資料分組作為樣本儲存在媒體資料容器的第一組塊(chunk)中，並適於將接收到的關聯第一和第二控制分組作為樣本儲存在媒體資料容器的第二組塊中。
根據本發明的實施例，該記錄器適於將第一和第二資料分組的定時資訊和位置資訊儲存在文件的元資料容器的第一軌道中，並適於將第一和第二控制分組的定時資訊和 位置資訊儲存在文件的元資料容器的第二軌道中。
根據本發明的實施例，該文件基於ISO基礎媒體文件格式。根據本發明的優選實施例，該文件是3GP或MP4文件。
根據本發明的實施例，第一資料分組是包括分組化的第一媒體樣本(例如壓縮視頻)在內的第一流RTP分組，第一控制分組是與第一流RTP分組相關的、包括第一RTCP發送方報告的RTCP分組。第二資料分組是包括分組化的第二媒體資料樣本(例如與所述視頻相關的壓縮音頻)在內的第二流RTP分組，第二控制分組是與第二流RTP分組相關的、包括第二RTCP發送方報告的RTCP分組。
第一和第二資料分組和關聯控制分組的並行儲存具有以下優點：記錄過程仍然負載較輕，並且可以捕獲用於在以後的階段中根據記錄的文件重播媒體流所需的所有資訊。在重播接收提示軌道的過程中，即重播文件的媒體資料容器中儲存的第一和/或第二資料分組以及文件的元資料容器中儲存的其關聯元資訊的過程中，使用所述關聯接收提示軌道，即在媒體資料容器中儲存的控制分組和元資料容器中的關聯元資訊。
為了重播記錄文件，本發明的實施例提供了一種用於讀取文件的設備，所述文件在與所述文件相關的媒體資料容器中儲存第一資料分組以及第二資料分組，所述第一資料分組包括基於第一時鐘的分組化的第一媒體資料樣本，所述第二資料分組包括基於不同於第一時鐘的第二時鐘的 分組化的第二媒體資料樣本。所述文件還儲存關聯的第一控制分組的至少部分以及關聯的第二控制分組的至少部分，所述第一控制分組包括用於指示第一時鐘與參考時鐘的關係的資訊，所述第二控制分組包括用於指示第二時鐘與參考時鐘的關係的資訊。所述文件將關聯元資料儲存在文件的元資料容器中，所述關聯的元資料容器包括接收到的第一和第二資料分組以及接收到的第一和第二控制分組的定時資訊以及指示儲存的第一和第二資料分組以及儲存的第一和第二控制分組在媒體資料容器中的位置的位置資訊。所述用於讀取文件的設備包括處理器，用於通過訪問元資料容器以及通過解釋媒體資料容器中儲存的第一和第二資料分組以及儲存的第一和第二控制分組的定時資訊來確定儲存的第一和第二資料分組的輸出調度。所述設備還包括輸出控制器，用於根據所確定的輸出調度，通過訪問媒體資料容器以及通過從媒體資料容器中讀取資料分組來輸出第一和第二資料分組。
根據本發明的實施例，為口型同步、時鐘恢復和/或時鐘漂移調整，可以對儲存的第一和第二資料分組以及關聯的儲存的第一和第二控制分組進行動態處理。這種重播等同於對記錄的媒體流的模擬實況接收。
記錄的接收提示軌道(第一/第二資料分組)和記錄的關聯接收提示軌道(第一/第二控制分組)持續整個記錄過程。在重播或重放過程中，可以例如以RTCP SR的形式預先取回關聯接收提示軌道的控制資料，例如，用於通過考 慮多個未來的RTCP SR來實現精確的口型同步，其中，所述未來的RTCP SR與當前重播時刻的未來的時刻相關。
本發明的優點在於：關聯接收提示軌道的概念(即在接收媒體流的過程中記錄控制資訊)實現了與用於僅從文件同步重播流相關的所有資訊的輕便的記錄過程，而不增加複雜度。
在想要長期儲存記錄文件而最終將重播多次的情況下，可能希望在每次重播過程中，避免分別分析儲存的第一/第二資料分組和儲存的第一/第二控制分組以及關聯的元資料，取而代之的是，無需進一步處理，媒體定時就直接可用，即用於重放第一/第二儲存資料分組所包括的第一/第二媒體資料樣本的定時直接可用。
通常，這暗示著根據接收提示軌道對所儲存的資料分組進行解分組，並以每軌道一個基本流將其儲存至相關媒體資料容器中的媒體軌道。這並不總是可能的或有利的，例如，如果對流的分組應用了傳輸加密或如果儲存容量有限。
除傳輸分組的精確定時之外，還希望關於接收提示軌道的擴展資訊(儲存的第一/第二資料分組加元資訊)可用，尤其是關於第一/第二資料分組內的媒體資料樣本的資訊，例如，幀精度的SMPTE時間戳(SMPTE=運動畫面和電視工程師協會)或視頻軌道的字幕。
為了這個目的，本發明的實施例也提供了一種設備，所述設備用於對與文件相關的媒體資料容器中儲存的傳輸 協定相關的資料分組進行處理，並用於對文件的元資料容器中儲存的關聯元資訊進行處理，所述關聯元資訊包括傳輸定時資訊和指示儲存的資料分組在媒體容器中的位置的位置資訊。所述設備包括處理器，所述處理器基於儲存的資料分組和儲存的關聯元資訊，確定針對儲存的資料分組的有效載荷的解碼資訊，其中，所述解碼資訊指示了在哪個時刻重放儲存的資料分組中的哪個有效載荷。所述用於處理的設備可以是獨立設備，也可以是被集成到上述用於儲存文件的設備中的設備。
根據實施例，儲存的資料分組可以包括MPEG-2傳輸流分組。根據另一個實施例，儲存的資料分組可以包括RTP分組，所述RTP分組包括分組化的媒體資料。
根據本發明的實施例，基於媒體訪問單元來確定所述解碼資訊。即，對於每個訪問單元，例如媒體幀，在文件的媒體資料容器中儲存解碼資訊樣本，其中，所述解碼資訊樣本指示了從儲存的資料分組的哪個部分取出哪個媒體資料樣本以獲得媒體(例如視頻和音頻)幀。將與所述解碼資訊樣本相關的元資訊儲存在元資料容器中的解碼資訊元資料軌道中。因此，所述解碼資訊元資料軌道(ISO基礎媒體文件格式的"trak"箱/原子)包括針對所述解碼資訊樣本的定時和位置資訊。
儲存的解碼資訊樣本及其關聯解碼資訊元資料軌道(以下也被稱為“虛擬媒體軌道”)是在關聯接收提示軌道的思想上建立的，為重播提供了上述優點。在虛擬媒體 軌道的元資料部分，提供了針對媒體資料容器中的相關解碼資訊樣本的媒體定時。該解碼資訊樣本提供了從哪個儲存資料分組或傳輸單元獲得針對相關媒體訪問單元的媒體資料的資訊，該資訊使得不需要對媒體分組進行解分組。可以在最終接收到媒體流之後，使用來自接收提示軌道的資訊，以及如果必要的話使用來自關聯接收提示軌道的資訊，來建立虛擬媒體軌道。這是在“反提示過程”中完成的，產生的文件使重播設備能夠在文件中進行搜索，並且能夠基於媒體定時執行對媒體的隨機訪問。
虛擬媒體軌道可以被視為不完整的媒體軌道。因此，可以應用從RTP和RTCP接收提示軌道恢復的定時以及媒體軌道的所有索引(典型地通過使用“樣本表”)。此外，定時的元資料軌道可以引用虛擬媒體軌道並對其進行擴展。
虛擬媒體軌道可以由解碼資訊樣本(虛擬媒體樣本)來建立，所述解碼資訊樣本可以包含用於根據接收提示軌道傳輸單元重構訪問單元的構造器。此外，所述解碼資訊樣本可以包含對與訪問單元的重構(不完整構造器)相關的一個或更多重要傳送單元的鏈結。同樣，虛擬媒體軌道的解碼資訊樣本或虛擬媒體樣本可以是空的，例如，在接收過程中分組丟失的情況下。備選性地，虛擬軌道的解碼資訊樣本(下面也稱為虛擬媒體樣本)可以包含如在經典媒體軌道中那樣的完整的已拆包的媒體樣本。
按照至接收提示軌道的對應傳送單元的鏈結，可以將 來自虛擬媒體軌道的樣本表中的索引的資訊(以及例如來自定時的元資料軌道的任何關聯資訊)邏輯地應用至參考接收提示軌道。
如果不能從流中恢復出對虛擬媒體樣本的描述，虛擬媒體軌道可以包含虛擬媒體樣本的近似和不完整的描述。這尤其適用於資料分組被加密或不完全知道解分組方案的情況。
為了重放虛擬媒體軌道，本發明的實施例提供了一種用於讀取文件的設備，所述文件在與所述文件相關的媒體資料容器中儲存包括有效載荷在內的資料分組，並在所述媒體資料容器中儲存針對儲存的資料分組的有效載荷的解碼資訊，其中，所述解碼資訊指示在哪個時刻重放儲存的資料分組中的哪個有效載荷，所述文件在媒體資料容器中儲存關聯元資料，所述關聯元資料指示媒體資料容器中解碼資訊的解碼時間和位置。所述設備包括處理器，用於通過訪問媒體資料容器中的關聯元資料，並通過基於所述元資料訪問媒體資料容器中的解碼資訊，以及通過基於所述解碼資訊訪問儲存的資料分組中的有效載荷，來確定儲存的資料分組中的有效載荷的輸出調度。輸出控制器用於根據所確定的輸出調度來輸出所述有效載荷。
與在記錄過程中將接收到的資料分組動態地轉換為媒體軌道相比，虛擬媒體軌道提供了媒體定時和元資料，而無需對媒體資料(儲存資料分組)進行解分組，從而節省了儲存空間。虛擬媒體軌道使重播設備能夠基於媒體定時 在文件中進行搜索。虛擬媒體軌道在無需加倍文件大小的情況下合併了媒體軌道和接收提示軌道的優點，如果向文件加入經典媒體軌道可能會出現文件大小加倍的情況。利用虛擬媒體軌道的概念，保持了原始接收過程的所有資訊，例如有助於錯誤隱藏的關於分組丟失的資訊，以及有助於口型同步的關於接收定時的資訊。同時，本發明的虛擬媒體軌道提供了用於媒體訪問的傳統媒體軌道的所有可能性。與傳統媒體軌道相比，甚至提供了更多的靈活性。可以基於逐樣本來確定儲存的傳輸單元(資料分組)是否完全被拆包為訪問單元(媒體幀)，或是否例如為了節省儲存空間而僅儲存了用於重構訪問單元的構造器或鏈結。此外，在一個虛擬媒體軌道中混合了所有可能性，即包括完整訪問單元、構造器、鏈結或為空的解碼資訊樣本或虛擬媒體樣本。
多個虛擬媒體軌道可以引用傳送單元或資料分組，所述傳送單元或資料分組來自實現相同的記錄資料分組流的不同索引的相同接收提示軌道。例如，具有隨機訪問的兩個虛擬媒體軌道，一個涉及音頻，另一個涉及視頻，指向相同的MPEG-2傳輸流接收提示軌道的音頻和視頻索引。
為了實現接收和儲存的資料分組中的加密媒體資料樣本的重播或重放，也可以在文件的媒體資料容器中的資料分組旁邊儲存關聯的密鑰流消息。根據本發明的實施例，所述密鑰流消息被儲存在密鑰流接收提示軌道的樣本中。接收時間(傳輸時間)可以用作密鑰流樣本的時間戳，以 將該密鑰消息與對應接收提示軌道中的加密媒體分組對齊。軌道引用用於將密鑰流接收提示軌道與媒體接收提示軌道相關聯。
為了記錄文件的目的，本發明的實施例提供了一種用於記錄文件的設備，所述文件具有相關的媒體資料容器和元資料容器。所述設備包括接收機，用於接收資料分組以及用於接收包括多個密碼密鑰的密鑰流分組，其中每個資料分組包括有效載荷，每個密碼密鑰與資料分組的有效載荷相關聯。所述設備包括記錄器，用於將接收到的資料分組和接收到的密鑰流分組儲存在所述媒體資料容器中，並用於將關聯元資料儲存在所述元資料容器中，所述關聯元資料包括接收到的資料分組和接收到的密鑰流分組的傳輸定時資訊，以及指示儲存的資料分組和儲存的密鑰流分組在媒體資料容器中的位置的位置資訊。所述用於記錄資料分組和密鑰流分組的設備可以是獨立設備，也可以是被集成到或與上述用於儲存和/或處理的設備結合的設備。
根據本發明的實施例，所述記錄器適於將接收到的資料分組作為樣本儲存在所述媒體資料容器的第一組塊中，並將接收到的關聯密鑰流分組作為樣本儲存在所述媒體資料容器的第二組塊中。根據本發明的實施例，所述記錄器適於將資料分組的傳輸定時資訊和位置資訊儲存在所述媒體資料容器的第一軌道中，並將密鑰流分組的傳輸定時資訊和位置資訊儲存在所述元資料容器的第二軌道中。
根據本發明的實施例，所述文件基於ISO基礎媒體文 件格式。
根據本發明的實施例，所述資料分組包括MPEG-2傳輸流分組。
根據本發明的另一實施例，所述資料分組包括RTP分組，所述RTP分組包括分組化的媒體資料樣本。
為了便於在接收資料分組流和關聯密鑰流之後進行重播，可以進行一次處理，以將密鑰流接收提示軌道轉換為虛擬元資料軌道。具有傳輸定時的密鑰流接收提示軌道中的密鑰消息可以被變換為具有媒體定時的虛擬元資料軌道中的密鑰樣本，所述虛擬元資料軌道與上述虛擬媒體軌道類似。如果需要，虛擬地加倍密鑰樣本，使得媒體軌道中的每個媒體樣本擁有密鑰軌道中的關聯的密鑰樣本。
因此，可以創建媒體訪問單元與密鑰消息之間的精確的定時關係，尤其是當可以根據傳送單元重構加密的訪問單元時(在內容加密的情況下)。
為了重放，實施例提供了一種用於讀取文件的設備，所述文件在與文件相關的媒體資料容器中儲存包括分組化的媒體資料樣本在內的資料分組以及關聯的密鑰流分組。所述文件在元資料容器中儲存了關聯元資料，所述關聯元資料包括接收的資料分組和接收的密鑰流分組的傳輸定時資訊，以及指示儲存的資料分組和儲存的密鑰流分組在媒體資料容器中的位置的位置資訊。此外，所述設備包括處理器，所述處理器基於資料分組，基於關聯元資訊，以及基於儲存的密鑰流分組和關聯的密鑰流元資訊，將解密資 訊分配給儲存的資料分組的有效載荷，其中，所述解密資訊指示了在哪個時刻使用哪個密碼密鑰來重放儲存的資料分組的有效載荷。提供了用於輸出基於所分配的解密資訊的解密的資料分組的輸出端。
本發明的實施例完全保持了密鑰消息的接收定時以及與接收資料分組的定時關係。當文件包含具有密鑰消息的元資料軌道，所述密鑰消息針對包括儲存的資料分組的媒體軌道中的每個對應媒體樣本時，本發明的實施例實現了將記錄文件轉換為針對重播而優化的文件。因此，在重播過程中，不需要為了正確的密鑰而解析記錄的密鑰軌道。
結合附圖考慮以下詳細描述，本發明的其他目的和特徵將變得顯而易見。
第一圖示出了用於記錄具有相關媒體資料容器104和元資料容器106的文件102的設備100的示意流程圖。
設備100包括接收機108，用於接收第一資料分組110和第二資料分組112，第一資料分組110包括基於第一時鐘的分組化的第一媒體資料樣本，第二資料分組112包括基於不同於第一時鐘的第二時鐘的第二媒體資料樣本，其中，第二媒體資料樣本與第一媒體資料樣本相關聯。此外，接收機108用於接收第一控制分組114，第一控制分組114包括用於指示第一時鐘與參考時鐘的關係的資訊，並用於接收第二控制分組115，第二控制分組115包括用於指示第 二時鐘與參考時鐘的關係的資訊。此外，設備100包括記錄器116，用於將接收到的第一和第二資料分組110、112以及接收到的第一和第二控制分組114、115的至少一部分儲存在媒體資料容器104中，並用於在元資料容器106中儲存關聯元資料，所述關聯元資料包括接收到的第一和第二資料分組110、112以及接收到的第一和第二控制分組114、115的定時資訊。此外，所述關聯元資料包括指示儲存的第一和第二資料分組110、112以及儲存的第一和第二控制分組114、115在媒體資料容器104中的位置的位置資訊。
根據本發明的實施例，第一資料分組110可以是包括分組化的第一媒體資料樣本(例如視頻)的第一流RTP分組，第二資料分組112可以是包括分組化的第二媒體資料樣本(例如音頻)的第二流RTP分組。相應地，第一控制分組114可以是與第一流RTP分組110相關聯的RTCP分組，其中，第二控制分組115可以是與第二流RTP分組112相關聯的RTCP分組。
根據本發明的實施例，文件102可以是基於ISO基礎媒體文件格式的文件。例如，該文件格式可以是MPEG-4相容的文件格式，即文件102可以是由ISO/IEC 14496-14規定的所謂的MP4文件。MP4文件格式由儲存在元資料容器106中的元資料組成，該元資料描述典型地與儲存在媒體資料容器104中的媒體相關的資訊。媒體資料容器104也可以位於文件102之外。例如，媒體資料容器104可以 是分離的儲存位置，該位置可以通過文件102中的鏈結來引用。通常，儲存在媒體資料容器104中的媒體資料是編碼的視頻和/或音頻資料。在相關規範中，容器104和106是被稱為“箱”(或“原子”)的資料結構。
典型地，箱由大小欄位、類型欄位和資料欄位組成。在大小欄位中，包含包括該大小欄位的整個箱的大小，即位元組數。在箱的類型欄位中儲存箱識別字，通常是4個字母。在資料欄位中儲存實際的報頭資料和媒體資料。使用這樣的箱結構形成上述MP4文件格式的元資料容器106典型地被稱為電影箱"moov"。類似地，媒體資料容器104被稱為媒體資料箱，下文中稱為"mdat"。
典型地，媒體資料容器mdat 104由資料單元或樣本的序列組成，該資料單元或樣本的序列被組合為所謂的組塊。組塊可以具有不同大小，組塊內的樣本可以具有不同的大小。
根據本發明的實施例，記錄器116適於將第一和第二接收資料分組110、112作為樣本儲存在媒體資料容器104的第一組塊118中。記錄器116還適於將接收到的關聯第一和第二控制分組114、115的至少部分作為樣本儲存在媒體資料容器104的第二組塊122中，如第二圖所示。
組塊118、122的儲存可以以交錯的方式完成。
因此，組塊的樣本可以包括一個或更多接收到的資料分組。也就是說，第一組塊118的樣本可以包括一個或更多接收到的第一和/或第二RTP分組110、112，第二組塊 122的樣本可以包括接收到的第一和/或第二控制分組114、115中的一個或更多第一和/或第二RTCP SR。
可以將多個第一組塊118視為(RTP-)接收提示軌道的媒體資料部分。類似地，可以將多個第二組塊122視為接收提示軌道的關聯(RTCP-)接收提示軌道的媒體資料部分。即，在第一圖或第二圖的情況下，針對所有接收到的RTP分組110、112，存在一個RTP接收提示軌道；針對所有接收到的RTCP分組114、115或RTCP SR，存在一個關聯RTCP接收提示軌道。這意味這最小的記錄複雜度。
RTCP接收提示軌道不需要任何普通分組有效載荷配置資料，儘管它只有在與其相關的基礎RTP接收提示軌道的SDP(會話描述協定)資訊結合時才有用。
RTCP接收提示軌道樣本有效載荷由原始RTCP分組組成。該原始RTCP分組可以直接被其RTCP報頭包括，或者在另一種結構內分組裝，以便能夠在一個樣本中儲存多個RTCP分組。
RTCP樣本的定時取決於其關聯RTP接收提示軌道的定時方法。如果RTP接收提示軌道從RTP時間戳中推導出其解碼時間，則RTCP接收提示軌道也從RTCP分組中的RTP時間戳中推導出其解碼時間。如果接收時間用於RTP接收提示軌道，則接收定時也用於儲存RTCP分組。一般地，RTP接收提示軌道和RTCP接收提示軌道被同步，並使用相同的時間基礎。
如第一圖和第二圖所示，記錄器116可以適於將第一 和第二接收資料分組110、112的定時資訊和位置資訊儲存在媒體資料容器106的第一元資料軌道124中，並適於將與第一和第二資料分組110、112相關聯的接收到的第一和第二控制分組114、115的定時資訊和位置資訊儲存在媒體資料容器106的第二元資料軌道128中。將參考第三圖，給出對儲存過程的更詳細的描述。
第一元資料軌道124可以被視為RTP接收提示軌道的元資料部分。類似地，第一元資料軌道124可以被視為接收提示軌道的關聯RTCP提示軌道的元資料部分。
在第二圖的示例中，在以後的階段，例如通過使用結合RTP分組儲存的各個媒體類型的SDP資訊，可以從單個RTP接收提示軌道和單個關聯RTCP接收提示軌道中識別各個媒體流(例如視頻/音頻)。
第二圖示出了具有RTP接收提示軌道和關聯RTCP接收提示軌道的ISO媒體文件102的結構。
如上所述，文件102包括元資料容器106，其中，元資料容器106包括RTP接收提示軌道124，RTP接收提示軌道124包括與接收到的RTP分組相關的資訊，RTP分組作為樣本儲存在媒體資料容器104的第一組塊118-1、118-2等等中。這就是說，RTP接收提示軌道124包括在接收過程中儲存的(第一和第二)RTP分組的傳輸定時。
該傳輸定時可以是接收機108的接收時鐘的時間戳和/或可以是接收到的RTP分組110、112的RTP時間戳。也就是說，對於每個RTP分組或樣本，RTP接收提示軌道的 元資料部分124包括關於何時接收各個RTP分組110、112的指示，以及此外還包括關於各個RTP分組被儲存在媒體資料容器104中的何處的資訊。
對於關聯RTCP接收提示軌道的元資料部分128同樣如此。元資料部分128包括儲存在第二組塊122中的接收到的RTCP分組的傳輸定時資訊。例如，該傳輸定時資訊可以是相關RTCP分組的接收時間，或與該RTCP分組相關的RTP分組的RTP時間戳。此外，關聯RTCP接收提示軌道的元資料部分128包括指示RTCP分組被儲存在媒體資料容器104中何處的位置資訊。
根據其他實施例，在記錄過程中可以直接分析這些SDP參數，使得可以將與不同媒體相關的RTP會話立即儲存至分離的RTP接收提示軌道以及分離的關聯RTCP接收提示軌道。
因此，根據本發明的實施例，記錄器116適於將第一接收資料分組110作為樣本儲存在媒體資料容器104的第一組塊中。記錄器116還適於將第二接收資料分組112作為樣本儲存在媒體資料容器104的第二組塊。記錄器116適於將接收到的關聯第一控制分組114的至少部分作為樣本儲存在媒體資料容器104的第三組塊中，以及適於將接收到的關聯第二控制分組115的至少部分作為樣本儲存在媒體資料容器104的第四組塊中。
組塊的儲存可以以交錯的方式來完成。也就是說，根據本發明的實施例，可以以交錯的方式儲存與第一媒體流 (例如視頻)相關的第一RTP分組、與第二媒體流(例如音頻)相關的第二RTP分組、以及關聯的第一和第二RTCP分組或至少第一和第二RTCP發送方報告作為第一、第二、第三和第四組塊的樣本。
因此，組塊的樣本可以包括一個或更多接收到的資料分組。也就是說，第一組塊的樣本可以包括一個或更多接收到的第一資料分組110，第二組塊的樣本可以包括一個或更多接收到的第二資料分組112，第三組塊的樣本可以包括接收到的第一控制分組114的一個或更多第一RTCP SR，第四組塊的樣本可以包括接收到的第二控制分組115的一個或更多第二RTCP SR。
可以將多個第一組塊視為與第一分組110的媒體相關的第一接收提示軌道的媒體資料部分。可以將多個第二組塊視為與第二分組112的媒體相關的第二接收提示軌道的媒體資料部分。可以將多個第三組塊視為第一接收提示軌道的關聯提示軌道的媒體資料部分。類似地，可以將多個第四組塊視為第二接收提示軌道的關聯提示軌道的媒體資料部分。即，在RTP接收提示軌道和RTCP關聯接收提示軌道的情況下，可以針對每個識別的RTP會話記錄接收提示軌道，可以針對每個記錄的RTP接收提示軌道記錄關聯接收提示軌道。
根據本發明的實施例，記錄器116適於將第一接收資料分組110的定時資訊和位置資訊儲存在媒體資料容器106的第一元資料軌道中，並適於將第二接收資料分組112的 定時資訊和位置資訊儲存在元資料容器106的第二元資料軌道中。記錄器116適於將與第一資料分組110相關聯的接收到的第一控制分組114的定時資訊和位置資訊儲存在媒體資料容器106的第三元資料軌道中，並適於將與第二資料分組112相關聯的接收到的第二控制分組115的定時資訊和位置資訊儲存在媒體資料容器106的第四元資料軌道中。
現在轉到第三圖，給出對基於ISO媒體基礎格式的文件的元資料容器106的更詳細的描述。
將媒體資料容器106(對於基於ISO媒體基礎格式的文件被稱為"moov")進一步分層為箱，所需的箱302以電影報頭箱"mvhd"的形式包含報頭資訊作為一個整體，以及多個"trak"箱304(在第三圖中僅示出一個)。將trak箱304進一步分層為兩個箱，其中，軌道報頭箱"tkhd" 306規定了該軌道的特性。
trak箱304還包括媒體箱"mdia" 308，mdia箱308包括所有物件，即關於軌道內的資料分組(通常是媒體資料)的聲明資訊。mdia箱308包括媒體報頭箱"mdhd" 310和處理引用箱"hdlr" 312。媒體報頭箱mdhd 310包括總體資訊，該總體資訊是獨立於媒體的，與覆蓋接收提示軌道中的“媒體”(即資料分組)的特性相關。處理引用箱hdlr 312聲明了一個過程，通過該過程呈現軌道中的“媒體資料”，從而聲明了軌道中的“媒體”的本質，例如接收提示軌道。
此外，媒體mdia箱308包括媒體資訊箱"minf" 314。該箱包含聲明提示軌道中的“媒體”(資料分組)的特性資訊的所有物件。媒體資訊箱minf 314還包括提示媒體箱"hmhd" 316，提示媒體箱hmhd 316包含針對提示軌道的總體資訊。此外，媒體資訊箱minf 314包括資料資訊箱"dinf" 318。資料資訊箱dinf 318包含聲明媒體資訊在軌道中的位置的物件。
此外，媒體資訊箱minf 314包括樣本表箱"stbl" 320。該箱中包含了媒體資料容器mdat 104的組塊和樣本中的至少之一的資料，其鏈結到每一項。為了描述stbl 320中的項，應觀察到，stts箱322包括一個樣本的持續時間，stsd箱324包括樣本細節，stsz 326包括樣本大小，stsc 328包括組塊中所包括的樣本數目，即資料分組的數目，以及stco箱330包括組塊偏移，每個與媒體資料容器104中的樣本/分組鏈結。
如上所述，記錄器116適於將接收到的資料分組110、112的(傳輸)定時資訊和位置資訊儲存在相關接收提示軌道的元資料部分124、128中。具體地，將定時資訊儲存在軌道124、128的相關樣本表箱stbl 320中，所述定時資訊可以是從接收時間戳推導出的定時資訊，或者可以是從後續接收到的資料/控制分組推導出的相對定時資訊。
第四圖示出了對接收到的資料分組的時間相關的元資訊進行接收並將其儲存在元資料軌道124、128軌道所包括的樣本箱stbl 320中的過程的流程圖。
在第一步驟402，接收機108接收資料分組，該資料分組可能是RTP分組或RTCP分組。在第二步驟404，通過接收機108的系統時鐘以接收時間戳的形式獲得與接收到的資料分組相關的定時資訊，或者，從接收到的資料分組的RTP時間戳中獲得與接收到的資料分組相關的定時資訊。在後續步驟406，計算與先前的接收資料分組的時間差。在步驟408，將計算得到的時間差寫入各個元資料軌道的stts箱322中，其中，stts能夠將接收定時索引到各個樣本號(即接收並儲存的分組)。也就是說，根據本發明的實施例，對箱stts 322進行採樣的解碼時間包含接收時間增量：RT(n+1)=RT(n)+stts(n)，其中RT(n)表示分組n的接收時間，stts(n)是分組n的未壓縮的表的條目。
如上所述，將媒體資料容器104內的樣本(分組)組合為組塊110、112。這些組塊可以具有不同的大小，組塊內的樣本也可以具有不同的大小。可以使用對組塊箱stsc328的採樣來尋找包含特定樣本、其位置以及關聯的樣本描述的組塊。每個條目給出了一系列具有相同特性的組塊中的第一組塊的索引。這裏，通過從前一個條目中減去一個條目，可以計算出在各個系列中有多小組塊。可以通過乘以適當的每組塊樣本數，將其轉換為樣本計數。
組塊偏移表stco或co64 330給出了每個組塊到媒體資料容器104的索引。存在兩種變體，允許使用32位元或64位元偏移。後者可用於在管理非常大的文件102。偏移通常是文件的偏移，而不是進入文件內(例如媒體資料容器中) 的任何箱中的偏移。這允許在沒有任何箱結構的情況下參考文件中的媒體資料。
因此，根據本發明的實施例，記錄器116適於儲存指示每個第一組塊進入文件的索引的第一組塊偏移表330。參照第五圖進行描述。
在第一步驟502中由接收機108接收資料分組之後，在第二步驟504，將接收到的資料分組110、112儲存在與文件102相關的媒體資料容器104中。由此，以媒體資料容器104中的儲存位址，將接收到的資料分組110、112作為樣本進行儲存。在第三步驟506，計算該儲存位址對於文件102的起始處的偏移(如果文件102包括媒體資料容器104)或對於媒體資料容器104的起始處的偏移(如果媒體資料容器104指明了分離的文件)。其後，將計算得到的偏移寫入相關元資料軌道124的stco或co64箱330。
對於控制分組114、115及其相關元資料軌道128的儲存同樣如此。
為了概括以上所述，應對為了創建接收提示軌道或關聯接收提示軌道而執行的操作進行概述，例如下面將要進一步更詳細地描述的RTP/RTCP接收提示軌道或密鑰流接收提示軌道。對於下面也將要解釋的虛擬媒體軌道同樣如此。當要向基於ISO基礎媒體文件格式的文件102加入軌道時，典型地，在根據本發明的實施例的設備100中實現以下操作。
˙向moov箱添加新的trak箱
˙向新創建的trak箱添加新的tkhd箱。該tkhd箱包含軌道的特性，例如創建時間、軌道ID、“媒體”軌道的尺寸以及持續時間。
˙向新創建的trak箱添加新的tref箱。該tref箱指示了軌道的聯接，即一個軌道是否可以自己獨立或只能與另一個軌道結合使用。應注意，可以通過使用tref箱的軌道引用或隱式鏈結來鏈結接收提示軌道，所述隱式鏈結例如是通過包含可以用於鏈結兩個或更多軌道的資料的樣本描述。因此，該tref箱是可選的，但建議採用軌道鏈結機制。
˙向新創建的trak箱添加新的mdia箱。
˙向新創建的mdia箱添加新的mdhd箱。該mdhd箱包含軌道中的媒體的特性，例如媒體的持續時間和語言。
˙向新創建的mdia箱添加新的hdlr箱。該hdlr箱包含對典型地能夠消耗這樣的媒體的過程的識別。在高級接收提示軌道的情況下，例如RTCP接收提示軌道的情況下，該識別是“提示”。
˙向新創建的mdia箱添加新的minf箱。
˙向新創建的minf箱添加新的hmhd箱。該hmhd箱包含針對提示軌道的資訊報頭。
˙向新創建的mdia箱添加新的dinf箱。
˙向新創建的dinf箱添加新的dref箱，指示軌道的原始資料或在文件自身內或駐留於文件外部，例如在另一個文件中或可以通過URI(統一資源識別字)提供。
˙向新創建的minf箱添加新的stbl箱。該stbl箱是箱的容器，所述箱包含軌道中的樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的定時和資料索引。
˙向新創建的stbl箱添加新的stsd箱。該stsd箱包含媒體的識別(通常被稱為4CC)以及樣本的帶外配置。
˙向新創建的stbl箱添加新的stts箱。該stts箱包含關於軌道中的媒體的每一單個樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的持續時間的資訊。
˙向新創建的stbl箱添加新的stsc箱。該stsc箱包含關於被組合為組塊的樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的數目的資訊。
˙向新創建的stbl箱添加新的stsz箱。該stsz箱包含關於軌道中的媒體的每一單個樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)的大小的資訊。
˙向新創建的stbl箱添加新的stco或co64箱。該stco或co64箱包含關於每個組塊中的第一位元組的文件偏移的資訊。
˙在樣本表中加入其他允許的箱，例如stss箱，該stss箱將可用於隨機偏移的樣本(例如RTP/RTCP或密鑰流分組、虛擬媒體樣本)編索引。
將樣本組合為組塊，組塊是不帶間隔的連續樣本塊(block)。在要向文件添加樣本時，或者將該樣本追加(append)至已有的組塊，或者開始新的組塊。對於每個新的樣本，向stts和stsz箱添加新的條目，並改變stsc箱 以反映當前組塊中的樣本數目。如果該樣本被寫入新的組塊，則向stco(或co64)箱追加新的條目，並改變stsc箱以反映新組塊中的樣本數目。將組塊(即原始樣本資料本身)寫入文件中，所述文件或者在mdat箱內，或者是外部文件(可以從文件內引用)。
根據設備的操作，並行地(針對RTCP和密鑰流接收提示軌道)向文件寫入高級接收提示軌道，即當新資料在以後的時間點以離線操作(針對虛擬媒體軌道)到達或被添加時，向文件添加樣本。
在記錄和/或時間偏移應用中，將接收到的資料分組110、112和關聯控制消息114、115並行儲存在接收提示軌道和關聯接收提示軌道中是一種理想的解決方案。然而，如果想要長期儲存記錄文件並最終將重播多次，則可能希望避免在每次重播過程中分析儲存資料，而是無需進一步計算，媒體定時就直接可用。通常，這暗示著根據(RTP)接收提示軌道對資料分組的有效載荷進行解分組，並以每軌道一個基本流將其儲存至另外的媒體軌道。這並不總是可能的或有利的，例如，如果對流的分組應用了傳輸加密或如果儲存容量有限。除了對媒體資料容器104中儲存的傳輸分組的精確定時之外，還希望關於接收提示軌道的擴展資訊可用，尤其是關於內部媒體流的資訊，例如，幀精度的SMPTE時間戳或視頻軌道的字幕。
希望提供不同的記錄媒體流之間的即時精確的定時同步，而無需所述記錄媒體流的每次重播過程中的複雜處 理。即，希望不需要在每次要重播記錄媒體流時都對所述記錄媒體流去抖動，以及對於記錄文件的重播，不需要所有包括的流的時鐘恢復。
現在參照第六圖，示出了根據本發明的實施例的用於對儲存的資料分組和儲存的關聯元資訊進行處理的設備600。
設備600與第一圖所示的設備100的不同之處在於處理器602，處理器602基於儲存的資料分組和儲存的關聯元資訊，確定針對儲存的資料分組的有效載荷的解碼資訊，其中，所述解碼資訊指示了在哪個時刻重放儲存的資料分組中的哪個有效載荷。設備600可以是設備100的擴展，然而，也可以分離地看待設備600，尤其是當它用於對儲存的非RTP/RTCP分組(例如MPEG-2 TS分組)進行處理時。
在第六圖所示的實施例中，將資料分組儲存在與文件102相關的媒體資料容器104中。如上所述，將元資訊儲存在文件102的元資料容器106中。可以將儲存的資料分組作為樣本儲存在媒體資料容器104的組塊118、122中。該樣本和/或組塊由元資料容器106中的關聯元資料軌道124、128引用。
根據本發明的實施例，如上所述，儲存的資料分組可以包括第一和第二RTP分組110、112以及關聯的第一和第二RTCP分組114、115，第一和第二RTP分組110、112包括第一和第二分組化的媒體資料。
根據本發明的另一實施例，儲存的資料可以包括 MPEG-2傳輸流資料分組，MPEG-2傳輸流資料分組包括一個或更多個節目的流複用，一個或更多個節目典型是音頻和視頻。典型地，MPEG-2傳輸流資料分組具有188個位元組的長度。
根據本發明的實施例，將所確定的解碼資訊以解碼資訊樣本的形式儲存在媒體資料容器104中的解碼資訊組塊604中。因此，每個解碼資訊樣本與訪問單元相關，訪問單元是例如可以根據接收提示軌道的媒體資料部分中儲存的資料分組重構的視頻或音頻幀。
處理器602適於基於媒體幀來解碼資訊樣本，使得解碼資訊樣本指示媒體訪問單元的起始位址和終止位址，其中，起始位址表示指示所述媒體訪問單元的起始的媒體資料樣本的位置，而其中終止位址表示指示所述媒體訪問單元的終止的媒體資料樣本的位置，其中，所述媒體資料樣本為媒體資料容器104中的資料分組所包括。
處理器602可以訪問媒體資料容器104，以將解碼資訊樣本作為虛擬媒體樣本儲存在媒體資料容器104的組塊604中。此外，處理器602可以訪問媒體資料容器106，以將與解碼資訊樣本(虛擬媒體樣本)相關的、並指示解碼資訊樣本的解碼時間和位置的解碼元資訊儲存在媒體資料容器104的元資料軌道606中。如之前所述，可以將解碼資訊樣本看作為虛擬媒體樣本，每個虛擬媒體樣本涉及相關視頻或音頻流的訪問單元。虛擬媒體樣本包括關於如何根據媒體資料容器104中儲存的資料分組來重構相關音頻/ 視頻幀的資訊。
現在轉到第七圖，第七圖示出了包括媒體資料容器104中的虛擬媒體樣本704以及元資料容器106中的關聯虛擬元資料軌道706的文件702。
文件702也在媒體資料容器104所包括的組塊708中儲存RTP分組，並儲存了組塊710所包括的RTCP分組。存在與所儲存的RTP分組相關聯的RTP元資料軌道712。在元資料容器106中，存在與所儲存的RTCP分組相關聯的RTCP元資料軌道714。
如箭頭所示，虛擬媒體組塊704中的虛擬媒體樣本與組塊708中所儲存的RTP分組相關。該虛擬媒體樣本可以包含用於根據組塊708中儲存的傳輸單元(即資料分組)來重構訪問單元(即例如媒體幀)的構造器。虛擬媒體樣本可以包含至一個或更多重要傳輸單元的鏈結，所述重要傳輸單元與特定訪問單元的重構(不完整重構器)相關。同樣，虛擬媒體樣本可以為空，例如在接收過程中分組丟失的情況下。另一備選是虛擬媒體樣本包含完整的已拆包的描述媒體幀的媒體樣本，如在經典的媒體軌道中的情況一樣。
虛擬媒體樣本的一般有效載荷配置資料包括相同類型的非虛擬媒體軌道的一般有效載荷配置資料，例如，H.264編碼視頻的虛擬媒體軌道也包含樣本描述內的avcC箱中的AVCConfigurationRecord。此外，它可以包括關於接收提示軌道的去提示過程的資訊，例如通過使用虛擬媒體軌道的 樣本有效載荷中所提供的資訊來從接收提示軌道重新集合的媒體樣本的最大尺寸。
虛擬媒體軌道的樣本的有效載荷由描述從接收提示軌道提取媒體樣本資料的過程的“命令”組成。這些命令是從針對提示軌道的分組構造器推導出的，包括“立即構造器”、“樣本構造器”和“樣本描述構造器”。立即構造器由“長度”、“資料”和“填充”欄位組成。“長度”指示了“數據”欄位的長度。“填充”可以用於填充過剩提供的空間。
樣本構造器由欄位trackrefindex、length、samplenumber和sampleoffset組成。trackrefindex指示了從其中提取資料的那個接收提示軌道，samplenumber指示了該接收提示軌道的樣本數目。欄位sampleoffset指定了要提取的長度"length"的資料塊的起始。
通過使用樣本構造器，在不複製資料的情況下，可以實現媒體樣本的緊湊表示。
樣本描述構造器由欄位trackrefindex、sampledescriptionindex、sampledescriptionoffset和length組成。與樣本構造器等效，使用來自接收提示軌道的樣本描述的資料來包括在虛擬媒體樣本中。
虛擬媒體軌道使用媒體定時，即傳輸延遲或時鐘頻率的不精確不影響解碼時間戳。該定時相當於可以根據虛擬媒體軌道中可用的資訊產生的媒體軌道的定時。
第八圖示出了流記錄和離線文件優化的流程圖。
在第一步驟802，如上所述，將接收提示軌道以及可選地將關聯接收提示軌道(例如RTP和RTCP)保存到文件102中。在記錄完成之後，即當以接收提示軌道的形式將資料分組保存到文件102中，並最終將關聯控制分組保存到該文件的關聯接收提示軌道中時，在步驟804，在記錄的接收提示軌道內確定不同的媒體流。這意味著，步驟804包括分別在記錄的接收提示軌道內確定例如音頻和視頻流或與音頻和視頻流相關的資料分組。如以上所解釋的，這是通過從會話描述協議(SDP)中提取適當的資訊來完成的。
因此，處理器602適於確定哪個儲存的資料分組與第一或第二媒體資料樣本相關，以及確定與媒體資料容器104中的第二媒體資料樣本相關的第二解碼資訊樣本(第二虛擬媒體樣本)。
在另一步驟806，針對每個識別的媒體流，創建虛擬媒體軌道(包括媒體和元資料)，該虛擬媒體軌道引用相關的接收提示軌道。
即，處理器602適於將與第一媒體資料樣本相關的第一解碼資訊樣本(第一虛擬媒體樣本)儲存在媒體資料容器104中，並將第一解碼元資訊儲存在元資料容器106中，所述第一解碼元資訊指示第一解碼資訊樣本在媒體容器104中的位置(例如，組塊偏移、樣本號等)。處理器602適於將第二解碼元資訊儲存在元資料容器106中，所述第二解碼元資訊指示第二解碼資訊樣本在媒體容器104中的位置(例如，組塊偏移、樣本號等)。
也就是說，所創建的虛擬媒體軌道引用包括具有根據各個媒體流的有效載荷的資料分組的接收提示軌道。在創建了虛擬媒體軌道之後，將虛擬媒體樣本(解碼資訊樣本)添加至虛擬媒體軌道，其中，所述虛擬媒體樣本指向接收提示軌道的媒體資料部分中的樣本或分組，並從控制傳輸單元(例如RTCP發送方報告)恢復精確的定時。
RTCP發送方報告包含RTP時間戳和以NTP時間戳格式的在流中的對應的公共時間戳。RTP時間戳和NTP時間戳允許確定轉換值。利用該RTP/NTP時間戳轉換值和RTP時間戳的時鐘頻率，可以計算接收的RTP分組的以NTP時間戳格式的在流中的時間戳。按照這種方式，可以在對資料分組的記錄的後處理中獲得針對每個RTP接收提示軌道(即每個儲存的資料分組)的媒體定時。
在另一步驟810中，(例如，通過該軌道內的表或通過添加引用該軌道的其他軌道)向處擬媒體軌道添加描述性資訊。因此，添加的描述性資訊可以指示與虛擬媒體樣本相關聯的媒體幀的起始位址和終止位址，其中，所述起始位址表示指示所述媒體幀的起始的媒體資料樣本的位置，而其中所述終止位址表示指示所述媒體幀的終止的媒體資料樣本的位置，其中，所述媒體資料樣本為媒體資料容器104中的資料分組所包括。
在另一可選重播步驟812中，使用虛擬媒體樣本的描述性資訊，通過虛擬媒體軌道在接收提示軌道中尋找對應的樣本。例如，步驟810可以用於重放儲存的資料分組所 包括的媒體流。
第九圖示出了如何獲得引用接收提示軌道中的儲存的資料分組的有效載荷所包括的媒體幀的虛擬媒體樣本的描述性資訊的示例。
第九圖示出了一系列儲存的RTP分組RTP1、RTP2、RTP3。RTP分組RTP1、RTP2、RTP3被儲存在虛擬媒體容器104中作為樣本。每個RTP分組RTP1、RTP2、RTP3包括報頭H1、H2、H3以及有效載荷PL1、PL2、PL3，有效載荷PL1、PL2、PL3包括媒體資料樣本。作為示例，報頭大小分別是A位元，有效載荷大小是(B-A)位元。在第一RTP分組RTP1和第二RTP分組RTP2的有效載荷之中，對可以是視頻或音頻幀的第一媒體幀的資料進行分割。作為示例，第一媒體幀的媒體資料從RTP分組RTP1的位元組A到資料分組RTP2的位元組A+Y。在資料分組RTP2和資料分組RTP3之中，對第二媒體幀的媒體資料進行分割，資料分組RTP2在位元組位址A+Y開始，資料分組RTP3在位元組位址A+Z終止。
虛擬媒體樣本VMS1和VMS2分別與第一媒體幀和第二媒體幀相關。根據本發明的實施例，虛擬媒體樣本VMS1、VMS2包括關於在儲存的資料分組RTP1、RTP2、RTP3中的何處找到第一和第二媒體幀的媒體資料的資訊。也就是說，虛擬媒體分組VMS1包括資訊，所述資訊說明，通過從位元組位址A至位元組位址B地訪問資料分組RTP1，並通過從位元組位址a至位元組位址A+Y地定 址資料分組RTP2，可以獲得幀1的媒體資料。虛擬媒體樣本2包括關於在何處獲得媒體幀2的媒體樣本的資訊。也就是說，它儲存了資訊，所述資訊說明，媒體幀2開始於資料分組RTP2，從位元組位址A+Y至位元組位址B，並且說明可以在資料分組RTP3中從位元組位址A至位元組位址A+Z找到幀2的其他媒體樣本。
在媒體資料容器106中的虛擬媒體軌道的元資料部分引用了形成該虛擬媒體軌道的媒體資料部分的虛擬媒體樣本VMS1和VMS2。針對每個虛擬媒體樣本VMS1、VMS2，可以在stts箱中找到解碼時間對樣本的資訊。因此，如上所述，解碼時間對樣本的資訊反映了已經通過評估與RTP分組RTP1、RTP2、RTP3相關聯的儲存的RTCP分組而確定的媒體定時。
第十圖示意了接收提示軌道的樣本與虛擬媒體軌道的樣本的映射。
與第九圖相反，第十圖示出了MPEG-2傳輸流M2T的儲存的資料分組。傳輸流M2T包括資料分組A1至A7以及資料分組V1至V7，其中，資料分組A1至A7包括音頻樣本，資料分組V1至V7包括視頻樣本。
虛擬媒體樣本VMSA1與在音頻分組A1和A2的有效載荷之中被劃分的第一音頻幀相關。虛擬媒體樣本VMSA1指示A1和A2的有效載荷的哪個部分用於獲得音頻幀1。類似地，虛擬媒體樣本VMSA2與其媒體資料可以在音頻分組A2和A3的有效載荷中找到的第二音頻幀相關。虛擬媒 體樣本VMSA3引用音頻分組A4和部分音頻分組A5，以獲得第三音頻幀。虛擬媒體樣本VMSA4引用音頻分組A5的剩餘部分和音頻分組A6和A7的有效載荷用於音頻幀4。
類似地，與第一視頻幀相關的虛擬媒體樣本VMSV1引用視頻分組V1、V2和V3的有效載荷用於第一視頻幀。虛擬媒體樣本VMSV2引用視頻分組V4、V5和V6的有效載荷用於獲得第二視頻幀的媒體樣本。
為了基於引用儲存的RTP分組的接收提示軌道以及引用儲存的RTCP分組的關聯接收提示軌道來重放媒體內容，本發明的實施例提供了一種用於讀取文件的設備，所述文件在與所述文件相關的媒體資料容器中儲存第一資料分組以及第二資料分組，所述第一資料分組包括基於第一時鐘的分組化的第一媒體資料樣本，所述第二資料分組包括基於不同於第一時鐘的第二時鐘的分組化的第二媒體資料樣本。所述文件也儲存關聯的第一控制分組的至少一部分以及關聯的第二控制分組的至少一部分，所述第一控制分組包括用於指示第一時鐘與參考時鐘的關係的資訊，所述第二控制分組包括用於指示第二時鐘與參考時鐘的關係的資訊。所述文件還在文件的元資料容器中儲存關聯元資料，所述關聯元資料包括接收的第一和第二資料分組和接收的第一和第二控制分組的資訊以及指示所述媒體資料容器中儲存第一和第二資料分組以及儲存第一和第二控制分組的位置的位置資訊。所述設備包括處理器，用於通過訪問元資料容器和通過解釋媒體資料容器中儲存的第一和第 二資料分組以及儲存的第一和第二控制分組的定時資訊來確定儲存的第一和第二資料分組的輸出調度。所述設備還包括輸出控制器，用於根據所確定的輸出調度，通過訪問元資料容器以及通過從媒體資料容器中讀取資料分組來輸出資料分組。
根據本發明的實施例，所述處理器適於在當儲存的關於接收的第一和第二資料分組的定時資訊指示了接收順序的情況下確定輸出調度，使得該輸出調度反映第一和第二資料分組的接收順序。也就是說，根據本實施例，可以執行對原始接收場景的模擬。
根據另一實施例，所述處理器適於基於儲存的關於第一和第二資料分組的定時資訊以及儲存的第一和第二控制分組中所包含的參考時間戳來確定同步資訊，以使得第一資料分組的輸出調度與第二資料分組的輸出調度關於參考時間(NTP)而同步。也就是說，根據本實施例，可以執行接收並儲存的第一和第二資料分組的定時同步。
典型地，讀取接收提示軌道的設備使用以下操作集合來檢測它是否可以解析文件：˙解析ftyp箱，以檢測文件內容和結構是否潛在地可解析。如果不能解析該文件，則放棄文件讀取操作。
˙解析moov箱，檢查其中trak箱的數目。如果沒有軌道，則放棄文件讀取操作。
˙解析每個軌道的minf箱內的hdlr箱，以檢測該hdlr箱中是否定義有對該處理類型可用的處理過程。如果 沒有識別到處理過程，則放棄針對該軌道的文件讀取操作。
˙解析每個軌道的minf箱內的stbl箱和stsd箱。stsd箱包含該軌道的內容的識別，並描述了該內容。如果不能理解該內容，則放棄對該軌道的文件讀取操作。
如果可以解析該文件，則通過解析trak箱內的tref箱來確定軌道鏈結。備選性地，如果該格式內部定義了軌道鏈結，則使用該軌道的stsd箱中的可用資訊。如果不能確定軌道鏈結，則假定該軌道是單個獨立的，並且無需其他軌道所包含的資訊就可以解析。軌道鏈結被內部儲存在讀取設備中，並在理解軌道包含的原始資料的過程中需要的情況下使用。
根據設備的操作，設備可以選擇它理解的、並與文件的表示相關的軌道。缺省地，對所有軌道進行解析，但是，適用以下規則：˙對於虛擬媒體軌道，使用該虛擬媒體軌道來代替RTP或MPEG-2 TS接收提示軌道。該軌道已經包含用於反轉提示操作的資料，即接收提示軌道的哪些資料需要被提取並使用其他資料來擴展以創建基本流資料塊，解碼器可以自然地理解。
˙對於RTCP接收提示軌道，第一操作模式是與RTP接收提示軌道並行地消耗RTCP軌道。讀取設備使用一般RTP/RTCP接收的可用邏輯來同步流。
˙對於RTCP接收提示軌道，第二操作模式是在正常讀 取操作開始之前消耗整個RTCP接收提示軌道，以檢測多個RTP接收提示軌道之間的初始同步和時鐘漂移。在這種模式下，例如，應用線性回歸來對齊多個RTP接收提示軌道的RTP時鐘。接著，在消耗資料時，對流施加該偏差以有利於多個RTP接收提示軌道的連續同步的播放。
˙對於密鑰流接收提示軌道，第一操作模式是與RTP或MPEG-2 TS接收提示軌道並行地消耗密鑰流接收提示軌道。這確保了針對接收提示軌道的特定受保護資料塊的密鑰流以類似於真實廣播的方式可用。
˙第二操作模式將密鑰流資料和接收提示軌道的資料對齊，以使得有效性時間段不再重疊。這允許以後對軌道的編輯，而無需理解密鑰流資料的定時。
為了從軌道中得到所謂的樣本，必須推導出在文件內的位置。針對第k個樣本S的這種操作通過以下來完成
˙使用stsc箱的資料，確定樣本S所在的組塊C
˙解析stco(或co64)箱，以確定組塊C的文件偏移F
˙解析stsz箱，以獲得樣本S的大小L以及該組塊內所 有先前樣本Pi 的大小Ki 。
因此，資料在文件中的位置(F+sum (Ki ))處可用，並具有大小L。
要播放該資料的時刻由stts箱中可用的資訊來確定。該箱包含對每一單個樣本j的運行長度編碼的持續時間Dj 。第k個樣本S的播放時間則是所有持續時間Dj 之和， 其中j<k。
在虛擬媒體軌道可用的情況下，本發明的實施例提供了一種用於讀取文件的設備，所述文件在媒體資料容器中儲存包括有效載荷的資料分組，並在所述媒體資料容器104中儲存針對儲存的資料分組的有效載荷的解碼資訊，其中，所述解碼資訊指示在哪個時刻重放儲存的資料分組中的哪個有效載荷。所述文件在元資料容器106中儲存關聯元資料，所述關聯元資料指示媒體資料容器中解碼資訊的解碼時間和位置。所述設備包括：處理器，用於通過訪問元資料容器106中的關聯元資料，並通過基於該元資料訪問媒體資料容器中的解碼資訊，以及通過基於所述解碼資訊訪問儲存的資料分組的有效載荷，來確定儲存的資料分組的有效載荷的輸出調度；以及輸出控制器，用於根據所確定的輸出調度來輸出所述有效載荷。
如在本說明書的介紹部分所述的，在接收資料分組之外，本發明的另一個方面是儲存密鑰流消息。
可以通過權利管理系統來控制訪問資料或資料分組的權利。通過數位通信網路接收資料內容可能局限於特定的終端用戶，並限制其他用戶。例如，用戶可以通過支付節目費來購買對節目的訪問。如果用戶付費，則該用戶可以被授權在指定的時間段內訪問該節目，而未付費的用戶不能訪問該節目。可以通過對傳送資料進行加密來控制對節目的訪問。通過使用加密密鑰，可以通過任何數目的加密標準來對資料進行加密。在用戶終端的接收機處，可以使 用密鑰來對加密的資料進行解密，以使得在接收機或用戶終端處可以觀看該內容。用於對加密的資料分組進行解密的密鑰也可以通過相同的數位通信網路來傳送，並也可以被加密。也可以使用其他數位通信網路來傳送一個或更多個密鑰。因此，想要訪問或觀看節目或服務的終端用戶可能需要獲得密鑰的權利。
可以通過密鑰流將與加密節目或服務相關聯的傳輸加密密鑰傳送給用戶終端。該密鑰流可以包括密鑰流消息，所述密鑰流消息以預定的頻率傳送，當接收機或用戶終端接收到加密的資料流程時，也接收到該密鑰流消息。
第十二圖示出了流資料分組1302-1、1302-2、1302-3，每個資料分組都具有使用密碼密鑰k0 、k1 、k2 進行加密的有效載荷。與資料分組1302相關聯的是包括密鑰流分組1304-1、1304-2、1304-3和1304-4的密鑰流。在其相關聯的資料分組1302-1之前的時間傳送的密鑰流分組1304-1包括用於對資料分組1302-1的加密有效載荷進行解密的密碼密鑰k0 。由此，加密密鑰k0 具有與其相關聯的生命期d0 ，生命期d0 確保能夠對關聯資料分組進行加密。對於第二密鑰流分組1304-2及其密碼密鑰k1 同樣如此，密碼密鑰k1 可以用於對關聯資料分組1302-2的有效載荷進行解密。這裏，同樣地，在資料分組1302-2之前很靠前的時間，傳送關聯密鑰流分組1304-2，密碼密鑰k1 具有確保對資料分組1302-2的有效載荷進行正確解密的生命期d1 。
根據本發明的實施例，如之前對資料分組和關聯控制 分組的解釋一樣，在接收機終端處，可以在具有媒體資料容器和元資料容器的文件中一起儲存資料分組和關聯密鑰流分組。
第十一圖示出了根據本發明的實施例的用於記錄文件1102的設備1100，所述文件1102具有相關的媒體資料容器1104和元資料容器1106。
所述設備1100包括接收機1108，用於接收資料分組1110，每個資料分組1110包括有效載荷，並用於接收包括多個密碼密鑰的密鑰流分組1112，其中，每個密碼密鑰與接收的資料分組的有效載荷相關聯。此外，所述設備1100包括記錄器1116，用於將接收的資料分組1110和接收的密鑰流分組1112儲存在所述媒體資料容器1104中，並用於將關聯元資料儲存在所述元資料容器1106中，所述關聯元資料包括接收的資料分組1110和接收的密鑰流分組1112的傳輸定時資訊，以及包括指示儲存的資料分組1110和儲存的密鑰流分組1112在媒體資料容器1104中的位置的位置資訊。
應強調，設備1100可以與設備100結合使用，或被包括在設備100中。也就是說，可以組合本發明的一起儲存資料分組和關聯控制分組的概念、一起儲存資料分組和關聯密鑰流分組以及從儲存的資料分組和關聯控制分組和/或關聯密鑰流分組中，以媒體軌道的形式創建解碼資訊的概念。
再次轉到第十一圖，將接收的資料分組1110作為樣本 儲存在媒體資料容器1104的第一組塊1118中。將接收的相關聯密鑰流分組作為樣本儲存在媒體資料容器1104的第二組塊1120中。根據本發明的優選實施例，可以以交錯的方式將第一和第二組塊1118和1120儲存在媒體容器1104中。
如以上所解釋的，文件1102可以是基於ISO基礎媒體文件格式的文件，例如MP4文件。因此，記錄器1116適於將第一組塊1118儲存在元資料容器moov1106的第一元資料軌道1124的第一組塊偏移表stco或co64中，其中，根據媒體資料容器1104是否是文件1102的一部分，第一組塊偏移表指示每個第一組塊1118到文件1102或媒體資料容器1104的索引。利用與對第一組塊的解釋相同的方式，將第二組塊到媒體資料容器1104的索引儲存在元資料容器1106的第二元資料軌道1128的第二組塊偏移表中。
同已經解釋過的資料分組110、112和關聯控制分組114、115並行儲存在接收提示軌道和關聯接收提示軌道中的情況一樣，將資料分組1110的傳輸定時資訊(即接收時間或RTP時間戳)儲存在第一元資料軌道1124所包括的第一stts箱中。類似地，將傳輸定時資訊或差量傳輸定時資訊儲存在與第一組塊1120相關的第二元資料1128軌道的第二stts箱中。
此外，為了便於在完成流的接收之後進行重播，可以執行一次處理，以將密鑰流接收提示軌道轉換為虛擬元資料軌道。為了這個目的，所述設備1100包括處理器(未示 出)，所述處理器基於儲存的資料分組1110和關聯元資訊1124，以及基於儲存的密鑰流分組1112和關聯的密鑰流元資訊1128，將解密資訊分配給儲存的資料分組1110的有效載荷，其中，所述解密資訊指示了在哪個時刻使用哪個密碼密鑰來重放儲存的資料分組1110的有效載荷。
也就是說，可以將具有傳輸定時的密鑰流接收提示軌道中的密鑰消息轉換為具有媒體定時的虛擬元資料軌道中的密鑰樣本。這是基於與上述對虛擬媒體軌道的解釋相同的概念來完成的。也就是說，創建密鑰樣本，並將其儲存在媒體資料容器1104中。因此，每個密鑰樣本與訪問單元或媒體幀相關，並包括關於對相關的媒體幀使用哪個密碼密鑰的資訊。在包括stts箱的關聯元資料軌道1128中，給出了解碼對密鑰樣本的資訊。該解碼對密鑰樣本的資訊指示在哪個時刻訪問各自的密鑰樣本，該密鑰樣本再次涉及儲存的資料分組的有效載荷資料，以產生各自的加密媒體幀。如果需要，虛擬地加倍密鑰樣本，以使得媒體軌道中的每個媒體樣本都具有密鑰軌道中的關聯的密鑰樣本(具有相同的密鑰ID)。
因此，可以創建媒體訪問單元(例如媒體幀)與密鑰消息之間的精確的定時關係，尤其是在內容加密的情況下可以根據傳輸單元(資料分組)重構加密的訪問單元時。
為了讀取文件1102，所述文件在媒體資料容器1104中儲存資料分組110並儲存關聯的密鑰流分組1112，並在元資料容器1106中儲存了關聯元資料，本發明的實施例提供 了一種設備，所述設備包括處理器，所述處理器基於儲存的資料分組1110，基於關聯分組元資訊1124，以及基於儲存的密鑰流分組1112和關聯的密鑰流元資訊1128，將加密資訊分配給儲存的資料分組的有效載荷，其中，解密資訊指示了在何時使用哪個密碼密鑰來重放儲存的資料分組的有效載荷。
用於分配解密資訊的處理器可以用於加密資料分組1110的有效載荷的播放器。出於這個原因，可以基於所分配的解密資訊將解密後的資料分組輸出至解碼器。用於分配解密資訊的處理器也可以用於產生虛擬解密資訊，所述虛擬解密資訊將被部分儲存在媒體資料容器1104中作為虛擬密鑰樣本。關聯元資訊被儲存在元資料軌道1128中。這與上述虛擬媒體軌道的概念相對應。
密鑰樣本的有效載荷可以包括接收的密鑰流消息的原始有效載荷。這意味著直接儲存密鑰流的UDP分組的內容。一些系統可能將該資料分組裝在另一種結構內，以允許儲存多個接收的密鑰流消息。
密鑰流樣本的定時取決於其基本RTP接收提示軌道的定時方法。如果該RTP接收提示軌道從RTP時間戳中推導出其解碼時間，則密鑰流接收提示軌道也將從RTP時間戳中推導出其解碼時間，然而，它可能需要對RTP時間戳進行外插。如果RTP接收提示軌道使用接收時間，則接收時間也將被用於儲存密鑰流消息。一般地，RTP接收提示軌道和密鑰流接收提示軌道被同步並使用相同的時間基礎。
作為概括，本發明涉及一種媒體儲存系統，所述媒體儲存系統將接收到的“傳輸單元”(TU)-所述傳輸單元典型地包含分組化的媒體資料，例如視頻資料-記錄為接收提示軌道中的預計算的分組或構造器，以及將“控制傳輸單元”(CTU)記錄在文件的樣本中。所述控制傳輸單元被儲存在與所述接收提示軌道相關聯的分離的平行軌道中。
CTU包含在從文件重播過程中用於處理接收提示軌道的媒體分組所必需或有用的附加資料。CTU的示例是RTCP報告或在加密流的情況下的密鑰消息。
為了優化記錄的流的本地重播，“虛擬媒體軌道”使用反提示過程，將接收到的TU映射至“虛擬媒體樣本”。所述虛擬媒體樣本具有媒體樣本的定時，該定時可以使用CTU和接收提示軌道從軌道中恢復，而無需是完整的媒體樣本。如果合適，可以應用虛擬媒體軌道的索引。該索引也適用於接收提示軌道的鏈結的樣本。虛擬媒體軌道可以用作文件內的其他軌道(例如“定時的元資料軌道”)的參考。應用可以通過虛擬媒體軌道來查找接收提示軌道的對應樣本。
將密鑰流消息儲存為關聯的接收提示軌道。可以應用虛擬媒體軌道來精確地對齊媒體樣本和解密密鑰。
近來，被稱為電源片斷的增加補充了上述ISO基礎媒體文件格式，其已經在例如美國專利申請US 2007/0130498 A1中描述。應當提到，本發明的實施例也可適用於所述電影片斷。
根據環境，可以以硬體或軟體來實現本發明的方法。所述實現可以在數位儲存介質(尤其是具有電子可讀控制信號的光碟或CD)上完成，所述數位儲存介質可以與可編程電腦系統協作，以執行所述方法。一般地，本發明也在於一種具有程式碼的電腦程式產品，所述程式碼儲存在機器可讀載體上，用於在電腦程式產品在電腦上運行時執行本發明的方法。換言之，因此，本發明可以被實現為具有程式碼的電腦程式，所述程式碼用於在電腦程式在電腦上運行時執行所述方法。
儘管根據多個優選實施例對本發明進行了描述，然而存在落入本發明的範圍內的改變、置換及等效物。也應注意，存在許多備選方式來實現本發明的方法和構造。因此，所附申請專利範圍應被解釋為包括所有這樣的落入本發明的真實精神和範圍內的改變、置換及等效物。
設備‧‧‧100
文件‧‧‧102
媒體資料容器‧‧‧104
元資料容器‧‧‧106
接收機‧‧‧108
第一資料分組‧‧‧110
第二資料分組‧‧‧112
第一控制分組‧‧‧114
第二控制分組‧‧‧115
記錄器‧‧‧116
組塊‧‧‧118、122
第一元資料軌道‧‧‧124
第二元資料軌道‧‧‧128
箱‧‧‧302
trak箱‧‧‧304
軌道報頭箱(tkhd)‧‧‧306
媒體箱(mdia)‧‧‧308
媒體報頭箱(mdhd)‧‧‧310
處理引用箱(hdlr)‧‧‧312
媒體資訊箱(minf)‧‧‧314
提示媒體箱(hmhd)‧‧‧316
資料資訊箱(dinf)‧‧‧318
樣本表箱(stbl)‧‧‧320
stts箱‧‧‧322
stsd箱‧‧‧324
stsz箱‧‧‧326
stsc箱‧‧‧328
stco箱‧‧‧330
設備‧‧‧600
處理器‧‧‧602
解碼資訊組塊‧‧‧604
元資料軌道‧‧‧606
文件‧‧‧702
處擬媒體樣本‧‧‧704
虛擬元資料軌道‧‧‧706
組塊‧‧‧708、710
RTP元資料軌道‧‧‧712
RTCP元資料軌道‧‧‧714
流資料分組‧‧‧1302-1、1302-2、1302-3
密鑰流分組‧‧‧1304-1、1304-2、1304-3、1304-4
設備‧‧‧1100
文件‧‧‧1102
媒體資料容器‧‧‧1104
元資料容器‧‧‧1106
接收機‧‧‧1108
資料分組‧‧‧1110
密鑰流分組‧‧‧1112
記錄器‧‧‧1116
第一組塊‧‧‧1118
第二組塊‧‧‧1120
第一元資料軌道‧‧‧1124
第二元資料軌道‧‧‧1128
第一圖是根據本發明的實施例的用於記錄文件的設備的示意框圖；第二圖示出了根據本發明的實施例的具有相關媒體資料容器和元資料容器的記錄文件的示意文件結構；第三圖示出了基於ISO基礎媒體文件格式的文件的示意結構；第四圖示出了根據本發明的實施例的用於記錄文件的方法的流程圖；第五圖示出了根據本發明的另一實施例的用於記錄文件的另一方法的流程圖；第六圖示出了根據本發明的實施例的用於記錄和處理文件以獲得虛擬媒體軌道的設備的示意框圖；第七圖示出了根據本發明的實施例的具有虛擬視頻軌道的記錄文件的示意結構；第八圖示出了根據本發明的實施例的用於記錄資料分組、創建虛擬媒體樣本以及重放通過虛擬媒體樣本來儲存的資料分組所包括的媒體樣本的方法的流程圖；第九圖示出了根據本發明的實施例的如何獲得引用儲存資料的有效載荷所包括的媒體幀的虛擬媒體樣本的描述資訊的示例；第十圖示出了根據本發明的實施例的接收提示軌道的樣本與虛擬媒體軌道的映射；第十一圖示出了根據本發明的另一實施例的用於記錄 文件的設備的示意框圖；第十二圖示出了移動TV環境下的密鑰流和媒體同步的原理。
設備‧‧‧100
文件‧‧‧102
媒體資料容器‧‧‧104
元資料容器‧‧‧106
接收機‧‧‧108
第一資料分組‧‧‧110
第二資料分組‧‧‧112
第一控制分組‧‧‧114
第二控制分組‧‧‧115
記錄器‧‧‧116
組塊‧‧‧118、122
第一元資料軌道‧‧‧124
第二元資料軌道‧‧‧128

Claims (28)

  1. 一種用於記錄文件(102)的設備(100)，所述文件(102)具有相關媒體資料容器(104)和元資料容器(106)，所述設備包括：接收機(108)，用於接收第一資料分組(110)和第二資料分組(112)，所述第一資料分組(110)包括基於第一時鐘的分組化的第一媒體資料樣本，所述第二資料分組(112)包括基於不同於第一時鐘的第二時鐘的第二媒體資料樣本，其中，所述第二媒體資料樣本與第一媒體資料樣本相關聯，所述接收機(108)還用於接收第一控制分組(114)和第二控制分組(115)，所述第一控制分組(114)包括用於指示第一時鐘與參考時鐘的關係的資訊，所述第二控制分組(115)包括用於指示第二時鐘與參考時鐘的關係的資訊；以及記錄器(116)，用於將接收到的第一和第二資料分組(110；112)以及接收到的第一和第二控制分組(114；115)的至少部分儲存在媒體資料容器(104)中，並用於將關聯元資料(124；128)儲存在元資料容器(106)中，所述關聯元資料包括接收到的第一和第二資料分組以及接收到的第一和第二控制分組的定時資訊，以及指示儲存的第一和第二資料分組以及第一和第二控制分組在媒體資料容器中的位置的位置資訊。
  2. 依據申請專利範圍第1項所述的設備，其中，所述記錄器(116)適於將第一和第二接收資料分組(116)作為樣本儲存在所述媒體資料容器(104)的第一組塊(118) 中，並適於將接收到的第一和第二控制分組(114；115)作為樣本儲存在媒體資料容器(104)的第二組塊(122)中。
  3. 依據申請專利範圍第2項所述的設備，其中，所述記錄器(116)適於以交錯方式將第一和第二組塊(118；122)儲存在所述媒體資料容器(104)中。
  4. 依據申請專利範圍第1、2或3項所述的設備，其中，所述第一和第二控制分組(114；115)是第一和第二RTCP分組，其中，所述記錄器(116)適於將第一和第二RTCP發送方報告作為接收到的關聯第一和第二控制分組的部分進行儲存。
  5. 依據申請專利範圍第1項所述的設備，其中，所述記錄器(116)適於將第一和第二資料分組(110；112)的定時資訊和位置資訊儲存在所述元資料容器(106)的第一軌道(124)中，並將第一和第二控制分組(114；115)的定時資訊和位置資訊儲存在所述元資料容器(106)的第二軌道(128)中。
  6. 依據申請專利範圍第1項所述的設備，其中，所述記錄器(116)適於將所述第一和第二資料分組(110；112)的定時資訊儲存在第一樣本表箱(stts)中，所述第一樣本表箱(stts)能夠將所述第一和/或第二資料分組的定時索引到所述第一組塊(118)中的與其相關聯的樣本號，並適於將所述第一和第二控制分組(114；115)的定時資訊儲存在第二樣本表箱(stts)中，所述第二樣本表箱(stts)能夠 將所述第一和/或第二控制分組的定時索引到所述第二組塊(122)中的與其相關聯的樣本號。
  7. 依據申請專利範圍第6項所述的設備，其中，所述記錄器(116)適於分別將資料/控制分組的接收時間和/或傳輸協議時間戳作為所述定時資訊進行儲存。
  8. 依據申請專利範圍第6項所述的設備，其中，所述記錄器(116)適於儲存指示每個第一組塊(118)到所述文件(102)的索引的第一組塊偏移表(stco；co64)，並適於儲存指示每個第二組塊(122)到所述文件(102)的索引的第二組塊偏移表(stco；co64)。
  9. 依據申請專利範圍第1項所述的設備，其中，所述設備(100)包括處理器(602)，所述處理器(602)基於第一和第二資料分組(110；112)的儲存的傳輸定時資訊以及與所述第一和第二資料分組相關聯的儲存的第一和第二控制分組(114；115)中所包含的NTP時間戳，來確定用於同步第一和第二媒體資料樣本的同步資訊。
  10. 依據申請專利範圍第9項所述的設備，其中，所述處理器(602)被配置為基於儲存的第一和第二資料分組(110；112)、基於儲存的第一和第二控制分組、以及基於儲存的關聯元資訊(124；128)來確定儲存的資料分組(110；112)的有效載荷的解碼資訊(604；606；704；706)，其中，所述解碼資訊指示了在哪個時刻重放儲存的資料分組的哪個有效載荷。
  11. .依據申請專利範圍第10項所述的設備，其中，所 述處理器適於確定儲存的資料分組(110；112)中的哪個與第一或第二媒體資料樣本相關，並適於將與所述第一媒體資料樣本相關的第一解碼資訊樣本(602；702)儲存在媒體資料容器(104)中，以及適於將第一解碼元資訊(604；704)儲存在元資料容器(106)中，所述第一解碼元資訊(604；704)指示了所述第一解碼資訊樣本(602；702)在媒體資料容器(104)中的位置，並適於將與所述第二媒體資料樣本相關的第二解碼資訊樣本(602；702)儲存在元資料容器(106)中，並適於將第二解碼元資訊(604；704)儲存在元資料容器(106)中，所述第二解碼元資訊(604；704)指示了所述第二解碼資訊樣本(602；702)在媒體資料容器(104)中的位置。
  12. 依據申請專利範圍第1項所述的設備，其中，所述接收機(108；1108)還適於接收包括多個密碼密鑰(kn )的密鑰流分組(1112)，其中，每個密碼密鑰與第一和/或第二資料分組(110；112；1110)中的至少一個的有效載荷相關聯；其中，所述記錄器適於將接收到的密鑰流分組儲存在所述媒體資料容器(104；1104)中，並適於將關聯傳輸定時資訊儲存在所述元資料容器(106；1106)中。
  13. 依據申請專利範圍第12項所述的設備，其中，所述記錄器(116；1116)適於將密鑰流分組(1112)作為樣本儲存在所述媒體資料容器(104；1104)的密鑰組塊(1120)中，並適於將所述關聯傳輸定時資訊以及指示所述密鑰流分組在所述媒體資料容器中的位置的位置資訊儲存在所述 元資料容器(106；1106)的密鑰軌道(1128)中。
  14. 依據申請專利範圍第12項所述的設備，其中，所述記錄器(116；1116)適於將所述傳輸定時資訊儲存在密鑰樣本表箱(stts)中，所述樣本表箱能夠將所述密鑰流分組的傳輸定時索引到所述密鑰組塊(1120)中與其相關聯的樣本號。
  15. 依據申請專利範圍第12項所述的設備，其中，所述記錄器(116；1116)適於將密鑰流分組的接收時間索引作為所述關聯傳輸定時資訊進行儲存，或將在所述密鑰流分組的接收時間附近的預定時間間隔內接收的資料分組的分組時間戳作為所述密鑰流分組的關聯定時資訊進行儲存。
  16. 依據申請專利範圍第12項所述的設備，其中，所述處理器(602)適於基於儲存的第一和第二資料分組(110；112)，基於儲存的第一和第二控制分組(114；115)，基於關聯元資訊(124；128)，並基於儲存的密鑰流分組(1112)和關聯的密鑰流元資訊(1128)，將解密資訊分配給儲存的第一和/或第二資料分組(110；112)的有效載荷，其中，所述解密資訊指示了在哪個時刻使用哪個密碼密鑰來重放儲存的第一和/或第二資料分組(110；112)的有效載荷。
  17. 依據申請專利範圍第16項所述的設備，其中，所述處理器(602)適於將所述解密資訊儲存在所述媒體資料容器(104)中的解密資訊樣本中，並適於將關聯解密指令 元資訊儲存在所述元資料容器(106)中。
  18. 依據申請專利範圍第1項所述的設備，其中，所述文件(102)基於ISO基礎媒體文件格式。
  19. 依據申請專利範圍第1項所述的設備，其中，所述第一資料分組(110)是包括分組化的第一媒體資料樣本的第一流RTP分組，所述第二資料分組(112)是包括分組化的第一媒體資料樣本的第二流RTP分組，所述第一控制分組(114)是與所述第一流RTP分組(110)相關的第一RTCP分組，所述第二控制分組是與所述第二流RTP分組相關的第二RTCP分組。
  20. 一種用於記錄文件(102)的方法，所述文件(102)具有相關媒體資料容器(104)和元資料容器(106)，所述方法包括：接收第一資料分組(110)和第二資料分組(112)，所述第一資料分組(110)包括基於第一時鐘的分組化的第一媒體資料樣本，所述第二資料分組(112)包括基於不同於第一時鐘的第二時鐘的第二媒體資料樣本，其中，所述第二媒體資料樣本與第一媒體資料樣本相關聯，以及接收第一控制分組(114)和第二控制分組(115)，所述第一控制分組(114)包括用於指示第一時鐘與參考時鐘的關係的資訊，所述第二控制分組(115)包括用於指示第二時鐘與參考時鐘的關係的資訊；以及將接收到的第一和第二資料分組(110；112)以及接收到的第一和第二控制分組(114；115)的至少部分儲存 在媒體資料容器(104)中，並將關聯元資料(124；128)儲存在元資料容器(106)中，所述關聯元資料包括接收到的第一和第二資料分組以及接收到的第一和第二控制分組的定時資訊，以及指示儲存的第一和第二資料分組以及第一和第二控制分組在媒體資料容器中的位置的位置資訊。
  21. 一種電腦程式，當所述電腦程式在電腦和/或微控制器上運行時，執行根據申請專利範圍第20項所述的方法。
  22. 一種用於讀取文件(102)的設備，所述文件在與所述文件相關的媒體資料容器(104)中儲存第一資料分組(110)以及第二資料分組(112)，所述第一資料分組(110)包括基於第一時鐘的分組化的第一媒體資料樣本，所述第二資料分組(112)包括基於不同於第一時鐘的第二時鐘的分組化的第二媒體資料樣本，所述文件儲存關聯的第一控制分組(114)的至少部分以及關聯的第二控制分組(115)的至少部分，所述第一控制分組(114)包括用於指示第一時鐘與參考時鐘的關係的資訊，所述第二控制分組(115)包括用於指示第二時鐘與參考時鐘的關係的資訊，所述文件將關聯元資料(124；128)儲存在文件的元資料容器(106)中，所述關聯的元資料包括接收的第一和第二資料分組(110；112)以及接收的第一和第二控制分組(114；115)的定時資訊，以及指示儲存的第一和第二資料分組以及儲存的第一和第二控制分組在所述媒體資料容器中的位置的位置資訊，所述設備包括：處理器，用於通過訪問元資料容器(106)和通過解釋 媒體資料容器(104)中儲存的第一和第二資料分組以及儲存的第一和第二控制分組(114；115)的定時資訊來確定儲存的第一和第二資料分組(110；112)的輸出調度；以及輸出控制器，用於根據所確定的輸出調度，通過訪問元資料容器(106)並通過從媒體資料容器(104)中讀取資料分組來輸出第一和第二資料分組(110；112)。
  23. 依據申請專利範圍第22項所述的設備，其中，所述處理器適於確定輸出調度，以使得所述輸出調度反映第一和第二資料分組(110；112)的接收順序，其中，所述接收順序由接收的第一和第二資料分組的儲存的傳輸定時資訊來指示。
  24. 依據申請專利範圍第22項所述的設備，其中，所述處理器適於基於儲存的第一和第二資料分組(110；112)的定時資訊以及儲存的第一和第二控制分組(114；115)中所包含的參考時間戳來確定同步資訊，以使得第一資料分組的輸出調度與第二資料分組的輸出調度關於第一和第二媒體資料樣本的媒體定時同步，其中，所述媒體定時基於參考時間資訊。
  25. 依據申請專利範圍第22至24項中任一項所述的設備，其中，所述文件(102)基於ISO基礎媒體文件格式。
  26. 依據申請專利範圍第22項所述的設備，其中，所述第一資料分組(110)是包括分組化的第一媒體資料樣本的第一流RTP分組，所述第二資料分組(112)是包括分組 化的第一媒體資料樣本的第二流RTP分組，其中，所述第一控制分組(114)是與所述第一流RTP分組(110)相關的第一RTCP分組，所述第二控制分組是與所述第二流RTP分組相關的第二RTCP分組。
  27. .一種用於讀取文件(102)的方法，所述文件在與所述文件相關的媒體資料容器(104)中儲存第一資料分組(110)以及第二資料分組(112)，所述第一資料分組(110)包括基於第一時鐘的分組化的第一媒體資料樣本，所述第二資料分組(112)包括基於不同於第一時鐘的第二時鐘的分組化的第二媒體資料樣本，所述文件儲存關聯的第一控制分組(114)的至少部分以及關聯的第二控制分組(115)的至少部分，所述第一控制分組(114)包括用於指示第一時鐘與參考時鐘的關係的資訊，所述第二控制分組(115)包括用於指示第二時鐘與參考時鐘的關係的資訊，所述文件將關聯元資料(124；128)儲存在文件的元資料容器(106)中，所述關聯的元資料包括接收的第一和第二資料分組(110；112)以及接收的第一和第二控制分組(114；115)的定時資訊，以及指示儲存的第一和第二資料分組以及儲存的第一和第二控制分組在所述媒體資料容器中的位置的位置資訊，所述方法包括：通過訪問元資料容器(106)和通過解釋媒體資料容器(104)中儲存的第一和第二資料分組以及儲存的第一和第二控制分組(114；115)的定時資訊來確定儲存的第一和第二資料分組(110；112)的輸出調度；以及 根據所確定的輸出調度，通過訪問元資料容器(106)並通過從媒體資料容器(104)中讀取資料分組來輸出第一和第二資料分組(110；112)。
  28. 一種電腦程式，當所述電腦程式在電腦和/或微控制器上運行時，執行申請專利範圍第27項所述的方法。
TW097124990A 2007-07-02 2008-07-02 儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法 TWI430665B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US94753907P 2007-07-02 2007-07-02
PCT/EP2008/005374 WO2009003684A1 (en) 2007-07-02 2008-07-01 Apparatus and method for storing and reading a file having a media data container and a metadata container

Publications (2)

Publication Number Publication Date
TW200910970A TW200910970A (en) 2009-03-01
TWI430665B true TWI430665B (zh) 2014-03-11

Family

ID=39865600

Family Applications (3)

Application Number Title Priority Date Filing Date
TW097124990A TWI430665B (zh) 2007-07-02 2008-07-02 儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法
TW097124992A TWI371204B (en) 2007-07-02 2008-07-02 Apparatus and method for processing and reading a file having a media data container and a metadata container
TW097124989A TWI446773B (zh) 2007-07-02 2008-07-02 儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW097124992A TWI371204B (en) 2007-07-02 2008-07-02 Apparatus and method for processing and reading a file having a media data container and a metadata container
TW097124989A TWI446773B (zh) 2007-07-02 2008-07-02 儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法

Country Status (12)

Country Link
US (2) US9236091B2 (zh)
EP (2) EP2149264B1 (zh)
JP (2) JP4766473B2 (zh)
KR (2) KR101074585B1 (zh)
CN (2) CN101790886B (zh)
AT (1) ATE495631T1 (zh)
BR (2) BRPI0811833B1 (zh)
DE (1) DE602008004502D1 (zh)
HK (1) HK1136726A1 (zh)
RU (2) RU2459378C2 (zh)
TW (3) TWI430665B (zh)
WO (3) WO2009003683A1 (zh)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7617278B1 (en) 2003-01-29 2009-11-10 Adobe Systems Incorporated Client controllable server-side playlists
DE102007004951A1 (de) * 2007-01-26 2008-07-31 Deutsche Thomson Ohg Verfahren zum paketvermittelten Übertragen von Mediendaten sowie Vorrichtung zum Bearbeiten von Mediendaten
EP2149264B1 (en) * 2007-07-02 2011-01-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing and reading a file having a media data container and a metadata container
US7941399B2 (en) 2007-11-09 2011-05-10 Microsoft Corporation Collaborative authoring
US8825758B2 (en) 2007-12-14 2014-09-02 Microsoft Corporation Collaborative authoring modes
US8300823B2 (en) * 2008-01-28 2012-10-30 Netapp, Inc. Encryption and compression of data for storage
FR2927208B1 (fr) * 2008-01-31 2010-02-12 Airbus France Procede et dispositif de mesure de la derive temporelle d'un equipement electronique relie a un reseau
US8077736B2 (en) * 2008-02-25 2011-12-13 Newport Media, Inc. Fast audio/visual reception in DVB-H systems
US8352870B2 (en) 2008-04-28 2013-01-08 Microsoft Corporation Conflict resolution
EP2114027A1 (en) * 2008-04-30 2009-11-04 Gemplus Method of detecting TV off event on a mobile terminal
US8825594B2 (en) 2008-05-08 2014-09-02 Microsoft Corporation Caching infrastructure
US8261312B2 (en) * 2008-06-27 2012-09-04 Cisco Technology, Inc. Linear hint video streaming
US8776144B2 (en) * 2008-10-16 2014-07-08 Industrial Technology Research Institute Mobile TV system and method for synchronizing the rendering of streaming services thereof
JP2010181800A (ja) * 2009-02-09 2010-08-19 Mitsubishi Electric Corp 暗号化メディアファイルのデータ構造、暗号化メディア作成方法、暗号化メディア復号方法、暗号化メディア分割方法及び暗号化メディア結合方法並びに装置
JP5169947B2 (ja) * 2009-03-31 2013-03-27 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US8346768B2 (en) * 2009-04-30 2013-01-01 Microsoft Corporation Fast merge support for legacy documents
US8166191B1 (en) * 2009-08-17 2012-04-24 Adobe Systems Incorporated Hint based media content streaming
EP2497269A1 (en) * 2009-11-06 2012-09-12 Telefonaktiebolaget LM Ericsson (publ) File format for synchronized media
NZ600198A (en) * 2009-12-14 2014-02-28 Sumitomo Electric Networks Inc Content receiving device, content reproducing device, content receiving and reproducing device, content receiving method, and program
GB2479455B (en) * 2010-04-07 2014-03-05 Apple Inc Real-time or near real-time streaming
KR101842201B1 (ko) 2010-04-19 2018-03-26 엘지전자 주식회사 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
US8638818B2 (en) 2010-04-20 2014-01-28 Samsung Electronics Co., Ltd Interface apparatus and method for transmitting and receiving media data
KR101294542B1 (ko) * 2010-12-09 2013-08-07 한국전자통신연구원 데이터 변경 장치 및 방법
KR101920439B1 (ko) * 2011-04-28 2019-02-14 삼성전자주식회사 공용 인터페이스를 통해 수신 제한 모듈로 암호화된 데이터를 전송하기 위한 데이터 전송 장치 및 그에 적용되는 방법, 수신 제한 모듈 그리고 시스템.
US8731597B1 (en) * 2011-05-26 2014-05-20 Sprint Spectrum L.P. Method and system of transmitting power control commands
US9451313B2 (en) 2011-06-29 2016-09-20 Harman International Industries, Incorporated Network media adapter
US20130004142A1 (en) * 2011-06-29 2013-01-03 Rovi Corp. Systems and methods for device authentication including timestamp validation
US8938625B2 (en) 2011-06-29 2015-01-20 Sonic Ip, Inc. Systems and methods for securing cryptographic data using timestamps
RU2618373C2 (ru) * 2011-07-29 2017-05-03 Сони Корпорейшн Устройство и способ распределения потоковой передачи данных, устройство и способ приема потоковой передачи данных, система потоковой передачи данных, программа и носитель записи
KR101885852B1 (ko) * 2011-09-29 2018-08-08 삼성전자주식회사 컨텐트 전송 및 수신 방법 및 장치
JP5848594B2 (ja) * 2011-12-14 2016-01-27 キヤノン株式会社 記録装置
JP5917123B2 (ja) * 2011-12-14 2016-05-11 キヤノン株式会社 記録装置
US8824680B2 (en) * 2012-08-08 2014-09-02 Verizon Patent And Licensing Inc. Centralized key generation
US9319878B2 (en) * 2012-09-14 2016-04-19 Qualcomm Incorporated Streaming alignment of key stream to unaligned data stream
DE102012022064A1 (de) 2012-11-09 2014-05-15 Thomas Klimpel System und Verfahren zur Wiedergabe von Musikstücken und/oder Multimediadaten
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
KR102179384B1 (ko) * 2012-11-30 2020-11-16 삼성전자주식회사 컨텐트를 저장한 정보저장매체, 컨텐트 제공 방법, 컨테트 재생 방법 및 그 장치
WO2014084666A1 (en) * 2012-11-30 2014-06-05 Samsung Electronics Co., Ltd. Information storage medium storing content, content providing method, content reproducing method and apparatus therefor
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
JP6968516B2 (ja) 2013-01-18 2021-11-17 キヤノン株式会社 生成装置、生成方法、提供装置、提供方法、及び、プログラム
IL287218B (en) * 2013-01-21 2022-07-01 Dolby Laboratories Licensing Corp Audio encoder and decoder with program loudness and boundary metada
JP5641090B2 (ja) * 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
JP2014230154A (ja) * 2013-05-23 2014-12-08 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9674569B2 (en) * 2013-05-29 2017-06-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Clock recovery in transponder-bonded systems using BCRs and marker packets at a set-top box
KR102145742B1 (ko) 2013-06-12 2020-08-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP2015012580A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 受信装置、受信方法及びプログラム
CA2917290C (en) * 2013-07-05 2018-10-30 Lg Electronics Inc. Method and apparatus for transmitting/receiving media broadcasting signal in real time transport protocol-based broadcasting system
EP3050304A4 (en) * 2013-09-27 2017-05-31 LG Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US10911800B2 (en) 2014-01-13 2021-02-02 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
US10326816B2 (en) 2014-01-13 2019-06-18 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
WO2015108309A1 (en) * 2014-01-14 2015-07-23 Lg Electronics Inc. Broadcast transmission device and operating method thereof, broadcast reception device and operating method thereof
EP3160144B1 (en) * 2014-06-20 2022-02-02 Sony Group Corporation Image encoding apparatus and method
JP2016027512A (ja) * 2014-06-30 2016-02-18 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
KR102271811B1 (ko) 2014-10-22 2021-07-01 삼성전자주식회사 전자장치 및 전자장치의 컨텐트 제어 방법
KR101555792B1 (ko) 2014-11-28 2015-09-25 주식회사 엘지유플러스 멀티미디어 청크(chunk)를 수신하는 통신 단말기의 제어방법과, 그 제어방법을 실행하기 위한 프로그램을 기록한 기록 매체
EP3274889A4 (en) * 2015-03-26 2019-01-02 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
US9916458B2 (en) * 2015-03-31 2018-03-13 EMC IP Holding Company LLC Secure cloud-based storage of data shared across file system objects and clients
US10191914B2 (en) 2015-03-31 2019-01-29 EMC IP Holding Company LLC De-duplicating distributed file system using cloud-based object store
US11212333B1 (en) * 2015-05-29 2021-12-28 Ribbon Communications Operating Company, Inc. Methods and apparatus for synchronizing transcoded and/or transrated RTP packets
EP4216556A1 (en) * 2016-05-20 2023-07-26 Lg Electronics, Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
KR101853441B1 (ko) * 2016-09-23 2018-05-02 재단법인 실감교류인체감응솔루션연구단 클라이언트 장치 및 그 로컬 클럭 스큐 보정 방법
RU172157U1 (ru) * 2017-03-22 2017-06-29 Акционерное общество "МЦСТ" Контроллер межпроцессорного канала обмена данными второго поколения (IPCC2)
EP3759922A1 (en) * 2018-04-03 2021-01-06 Huawei Technologies Co. Ltd. Error mitigation in sub-picture bitstream based viewport dependent video coding
US11036807B2 (en) * 2018-07-31 2021-06-15 Marvell Asia Pte Ltd Metadata generation at the storage edge
CN110866127A (zh) * 2018-08-27 2020-03-06 华为技术有限公司 建立索引的方法以及相关装置
US11743003B2 (en) 2018-09-24 2023-08-29 Telefonaktiebolaget Lm Ericsson (Publ) Transmitting and receiving packets wirelessly with time based packet data portion positioning
US11457231B2 (en) 2019-03-15 2022-09-27 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling spatial relationships for point cloud multimedia data tracks
US11245926B2 (en) * 2019-03-19 2022-02-08 Mediatek Singapore Pte. Ltd. Methods and apparatus for track derivation for immersive media data tracks
CN111756818B (zh) * 2020-06-05 2022-01-14 腾讯科技（深圳）有限公司 一种文件传送方法、装置、设备及存储介质
CN111966473B (zh) * 2020-07-24 2024-02-06 支付宝(杭州)信息技术有限公司 一种线性回归任务的运行方法及装置、电子设备

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169843B1 (en) * 1995-12-01 2001-01-02 Harmonic, Inc. Recording and playback of audio-video transport streams
US5765164A (en) * 1995-12-21 1998-06-09 Intel Corporation Apparatus and method for management of discontinuous segments of multiple audio, video, and data streams
US6377966B1 (en) 1997-10-22 2002-04-23 Flashpoint Technology, Inc. Graphical interface to select characters representing phonetic articulation and no articulation groups
US6396874B1 (en) * 1997-11-12 2002-05-28 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
US6311221B1 (en) 1998-07-22 2001-10-30 Appstream Inc. Streaming modules
JP2000078197A (ja) * 1998-09-03 2000-03-14 Toshiba Corp 通信ノード及びパケット転送方法
US6549922B1 (en) 1999-10-01 2003-04-15 Alok Srivastava System for collecting, transforming and managing media metadata
AU2001237978A1 (en) 2000-01-28 2001-08-07 Diva Systems Corporation A system for preprocessing content for streaming server
WO2001078346A2 (en) * 2000-04-08 2001-10-18 Sun Microsystems, Inc. Resynchronizing media during streaming
GB2366926A (en) 2000-09-06 2002-03-20 Sony Uk Ltd Combining material and data
GB0103381D0 (en) * 2001-02-12 2001-03-28 Eyretel Ltd Packet data recording method and system
JP3946965B2 (ja) 2001-04-09 2007-07-18 ソニー株式会社 無体財産権を保護する情報を記録する記録装置、記録方法、記録媒体、およびプログラム
US7162479B2 (en) * 2001-08-15 2007-01-09 Bentley Systens, Incorporated Method and system for storing large data files
JP3925218B2 (ja) * 2002-01-30 2007-06-06 ソニー株式会社 ストリーミングシステム及びストリーミング方法、ストリーミングサーバ及びデータ配信方法、クライアント端末及びデータ復号方法、並びにプログラム及び記録媒体
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
US7143132B2 (en) * 2002-05-31 2006-11-28 Microsoft Corporation Distributing files from a single server to multiple clients via cyclical multicasting
US7313236B2 (en) * 2003-04-09 2007-12-25 International Business Machines Corporation Methods and apparatus for secure and adaptive delivery of multimedia content
US7586938B2 (en) 2003-10-24 2009-09-08 Microsoft Corporation Methods and systems for self-describing multicasting of multimedia presentations
US7483532B2 (en) 2003-07-03 2009-01-27 Microsoft Corporation RTP payload format
RU2331936C2 (ru) 2003-09-25 2008-08-20 Самсунг Электроникс Ко., Лтд. Устройство и способ для воспроизведения аудио- и видеоданных
US7480382B2 (en) 2003-09-30 2009-01-20 Microsoft Corporation Image file container
JP4603551B2 (ja) * 2003-10-24 2010-12-22 マイクロソフト コーポレーション リアルタイム制御プロトコル（ｒｔｃｐ）のメッセージへのセッション記述のメッセージの埋め込み
KR101244308B1 (ko) * 2003-12-08 2013-03-18 삼성전자주식회사 동영상 파일의 암호화 방법 및 그를 이용한 디지털 저작권관리방법
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
EP1542488A1 (en) 2003-12-12 2005-06-15 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for allocating a pilot signal adapted to the channel characteristics
JP2006164378A (ja) 2004-12-06 2006-06-22 Toshiba Corp 情報記録媒体、情報記録方法、情報再生方法、情報記録装置、情報再生装置
US20060227813A1 (en) 2005-04-11 2006-10-12 Mavrogeanes Richard A Method and system for synchronized video recording/delivery
EP1869891A4 (en) * 2005-04-13 2014-06-11 CODING, STORAGE AND SIGNALING OF SCALABILITY INFORMATION
US20060293077A1 (en) * 2005-06-27 2006-12-28 Nokia Corporation System, terminal, method, and computer program product for allocating memory for storage of content
US7843974B2 (en) 2005-06-30 2010-11-30 Nokia Corporation Audio and video synchronization
US20070022215A1 (en) 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US20070186005A1 (en) * 2005-09-01 2007-08-09 Nokia Corporation Method to embedding SVG content into ISO base media file format for progressive downloading and streaming of rich media content
DE102005062468A1 (de) 2005-12-27 2007-07-05 Robert Bosch Gmbh Verfahren zur Synchronisation von Datenströmen
US7995143B2 (en) * 2006-02-10 2011-08-09 Qualcomm Incorporated Wireless video link synchronization
JP2008061010A (ja) * 2006-08-31 2008-03-13 Toshiba Corp 映像音声送信装置
US8065672B2 (en) * 2007-01-23 2011-11-22 Oracle International Corporation Simplifying rollback to prior versions of patches used to fix errors in pre-installed software
EP2149264B1 (en) * 2007-07-02 2011-01-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing and reading a file having a media data container and a metadata container
US20090169001A1 (en) * 2007-12-28 2009-07-02 Cisco Technology, Inc. System and Method for Encryption and Secure Transmission of Compressed Media

Also Published As

Publication number Publication date
CN101790886B (zh) 2012-12-05
TW200910880A (en) 2009-03-01
BRPI0811833B1 (pt) 2020-12-29
HK1136726A1 (en) 2010-07-02
RU2492587C2 (ru) 2013-09-10
JP2010532605A (ja) 2010-10-07
KR101199732B1 (ko) 2012-11-08
TWI371204B (en) 2012-08-21
EP2160899B1 (en) 2019-05-08
DE602008004502D1 (de) 2011-02-24
ATE495631T1 (de) 2011-01-15
RU2009148647A (ru) 2011-08-10
CN101731013B (zh) 2013-06-12
TW200908652A (en) 2009-02-16
KR20100029137A (ko) 2010-03-15
EP2149264A1 (en) 2010-02-03
RU2459378C2 (ru) 2012-08-20
US9236091B2 (en) 2016-01-12
CN101790886A (zh) 2010-07-28
EP2149264B1 (en) 2011-01-12
WO2009003683A1 (en) 2009-01-08
WO2009003684A1 (en) 2009-01-08
CN101731013A (zh) 2010-06-09
KR101074585B1 (ko) 2011-10-17
TWI446773B (zh) 2014-07-21
WO2009003685A1 (en) 2009-01-08
EP2160899A1 (en) 2010-03-10
BRPI0811833A2 (pt) 2014-11-18
JP2010531590A (ja) 2010-09-24
BRPI0811821B1 (pt) 2019-11-12
JP5334335B2 (ja) 2013-11-06
US20100189424A1 (en) 2010-07-29
JP4766473B2 (ja) 2011-09-07
US20100189256A1 (en) 2010-07-29
RU2009147728A (ru) 2011-08-10
TW200910970A (en) 2009-03-01
BRPI0811821A2 (pt) 2014-11-04
US8462946B2 (en) 2013-06-11
KR20100025018A (ko) 2010-03-08

Similar Documents

Publication Publication Date Title
TWI430665B (zh) 儲存和讀取具有媒體資料容器和元資料容器的文件的設備和方法
KR101254385B1 (ko) 미디어 데이터 및 멀티미디어 데이터 중 적어도 하나를 적어도 하나의 파일 내에서 구성화하는 방법 및 장치, 액세스 방법, 컴퓨터 판독가능 저장 매체
KR101107815B1 (ko) 멀티미디어 컨테이너 파일의 수신 힌트 트랙으로의 미디어 스트림 기록 방법 및 장치, 컴퓨터 판독가능 매체
CA2695645C (en) Segmented metadata and indexes for streamed multimedia data
US11445000B2 (en) Multicast to unicast conversion
US20220131921A1 (en) Multicast to unicast conversion