TWI388215B - 實現在豐富媒體流中搜尋的方法、實現豐富媒體流中的同步化之編碼器的方法、執行豐富媒體流中的同步化之解碼器的方法、多媒體伺服器及多媒體用戶端 - Google Patents

實現在豐富媒體流中搜尋的方法、實現豐富媒體流中的同步化之編碼器的方法、執行豐富媒體流中的同步化之解碼器的方法、多媒體伺服器及多媒體用戶端 Download PDF

Info

Publication number
TWI388215B
TWI388215B TW097102392A TW97102392A TWI388215B TW I388215 B TWI388215 B TW I388215B TW 097102392 A TW097102392 A TW 097102392A TW 97102392 A TW97102392 A TW 97102392A TW I388215 B TWI388215 B TW I388215B
Authority
TW
Taiwan
Prior art keywords
rich media
media stream
timeline
search
attribute
Prior art date
Application number
TW097102392A
Other languages
English (en)
Other versions
TW200847785A (en
Inventor
Clinton Priddle
Per Frojdh
Original Assignee
Ericsson Telefon Ab L M
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ericsson Telefon Ab L M filed Critical Ericsson Telefon Ab L M
Publication of TW200847785A publication Critical patent/TW200847785A/zh
Application granted granted Critical
Publication of TWI388215B publication Critical patent/TWI388215B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

實現在豐富媒體流中搜尋的方法、實現豐富媒體流中的同步化之編碼器的方法、執行豐富媒體流中的同步化之解碼器的方法、多媒體伺服器及多媒體用戶端
本發明一般係關於一種用於實現在一豐富媒體流之該全域時間線流中搜尋，並用於實現基於一豐富媒體流中的傳輸層級時戳之同步化的方法及配置。
可縮放向量圖形(SVG)係用於表示靜態及動態向量圖形之以XML為基礎的語言。SVG係以向量為基礎，此意指內容並非最適宜某些螢幕解析度形成而可加以輕易地縮放。SVG係藉由全域資訊網組織(W3C)所正規化。SVG 1.1版本之行動設定檔係由3GPP第5版採用且如今得到約100百萬行動手機的支持。
SVG Tiny 1.2係明確設計用於行動裝置的SVG之更有力版本，其係在"可縮放向量圖形(SVG)Tiny 1.2規格"中更全面地說明，參見W3C候選推薦，2006年8月10日。此規格當前係W3C候選推薦，其已由3GPP第6版所採用。對各種新多媒體特徵的支援(包括音訊及視訊之完全控制)係連同微DOM(uDOM)及指令碼<uDOM>一起包含在其中。
除為向量圖形之媒體類型以外，SVG亦可用作場景說明語言，其中可臨時以及在空間上組成場景。事實上，SVG Tiny 1.2係用於動態及互動多媒體場景(DIMS)中的3GPP工作項目以及用於豐富媒體環境(RME)中的OMA工作項目之基礎場景說明格式。關於DIMS之目前標準的更多資訊可見諸於3GPP TS 26.142 V7.1.0 (2007-09)：第三代合作夥伴 計畫；技術規格群組服務及系統態樣；動態及互動多媒體場景。
圖1a參考定義為大文件的一平面SVG，其承載本文中藉由依據先前技術之若干(0至k)SVG元件E所表示的SVG場景。整個場景通常必須在呈遞之前加以完全下載。在純SVG中，因此僅有一個單一時間線在0處開始，從而使全域及局域搜尋相同。
可將與平面SVG內容相對的DIMS(RME)內容分成基礎場景以及此等場景之更新。此等更新之格式係LASeR命令。
採用圖1b說明依據先前技術的DIMS內容之一範例。一序列基礎場景及更新可使用即時傳輸協定(RTP)而串流化，或儲存在3GP檔案的磁軌中。一呈遞的SVG文件由以基礎場景S開始的若干單元組成，該基本場景通常採用較小場景更新U加以更新。
DIMS流中的各單元具有一媒體時間。通常使用與第一單元的偏移且使用傳輸層級時戳來計算該媒體時間。此亦可在此文件中稱為全域時間100，因為其對於整個DIMS流係連續的。SVG亦具有內部文件時間101。該內部文件時間係針對該流中的各新SVG文件102、103而重設為零，且因此亦在個別文件中稱為局域時間。該全域時間線將最可能沒有與通常可具有1 Hz之速率的局域時間線相同之速率。
冗餘場景係與非冗餘場景相比得到不同處理的冗餘隨機存取點(RAP)，因為其係用於在調諧時替代一場景以及若 干更新。該文件時間以與尚未在冗餘場景中調諧之其他使用者相同的數值開始。因此必需將場景時間從最初時間0向前移動至調諧時間。
當前，尚未定義何時在DIMS中向前移動場景時間。LASeR之建議在場景已完全載入之後向前移動場景時間。MORE之建議在此領域係非特定的，但是在MORE旗標下建議的替代方案在最初載入文件之後向前移動場景時間。
先前技術解決辦法並不實現從標示搜尋一DIMS流之全域時間，即不可能像僅具有一個單一時間線的純SVG一樣建立"搜尋"按鈕或搜尋指令。
當使用SVG uDOM中定義的設定當前時間方法以調整一SVG文件之時間時出現的一個問題係，該SVG文件時間會改變，而媒體時間或全域時間層級保持不變，從而建立此新文件時間與媒體時間之間的失配。採用與任何其他同步化相同的方式(例如從媒體傳輸中的中斷)執行此情況下的重新同步化。未定義是否應暫停該等元件之一者，或在另一元件中向前搜尋。重新同步化因此產生可在搜尋之前簡單地返回至其數值的場景時間，從而重新獲得同步化但取消時間改變。
先前技術解決辦法的另一問題係，沒有在文件邊界上搜尋的方式。一DIMS流可且很可能包含若干非冗餘場景，即SVG文件。此類文件之每一者具有一分離時間線，其以時間點零開始。
已知技術的又另一問題係，不可能選擇全域時間作為同 步化的同步化基礎，即，迫使其他時間線與全域時間同步化。此亦可稱為將全域時間定義為SyncMaster。此舉使得不可能建立定義為使其播放完全基於傳輸層級時戳的媒體流。
本發明之一目的係至少解決以上概述的問題。更明確而言，本發明之一目的係提供一機制，其實現一豐富媒體流中的搜尋根據一全域時間線而執行。本發明之一目的亦係提供一機制，其實現一豐富媒體流中基於一全域時間線的同步化。
依據一態樣，本發明談論一種用於執行從一多媒體伺服器提供給至少一個多媒體用戶端之一豐富媒體流中的一搜尋之方法，其中在一多媒體伺服器之一編碼器中執行該搜尋。在時間點X將一搜尋指令插入至該媒體流中，其中該搜尋指令包括一偏移時間點Y，其中X及Y係依一全域時間線速率測量的任意時間值。接著編碼該媒體並將其發送至一或多個多媒體用戶端。
依據一項具體實施例，該搜尋指令可以係一伺服器起始指令，其可藉由該多媒體伺服器直接插入至該媒體流中。
依據另一項具體實施例，該搜尋指令可改為係一使用者起始指令，其係插入至該媒體流之一場景中。可透過與一事件連結的次要流而插入一使用者起始指令。
依據另一態樣，說明一種實現一豐富媒體流中的搜尋在一多媒體用戶端之一解碼器中執行的方法。依據此態樣， 在時間點X接收一搜尋指令，其中該搜尋指令包括一偏移時間點Y。接著在該解碼器中執行依據接收的搜尋指令之一搜尋。
搜尋步驟可包括在該媒體流之該全域時間線中的整個媒體流中搜尋，其中藉由將偏移Y加至當前時間點X，並採用同步化方式移動該全域時間線以及一或多個內部文件時間線朝向時間點X+Y來達到該搜尋。
搜尋步驟可進一步包括定位該媒體流之最後隨機存取點(RAP)以使其出現在所需搜尋時間點X+Y之前的步驟，以及解碼該RAP並採用一文件時間建立一場景的步驟。隨此等步驟之後，可從移動該文件時間朝向所需搜尋時間點的該RAP解碼該媒體流。
可從該豐富媒體流之傳輸層級時戳計算時間點X及Y。
可藉由使傳輸層級時戳穿正規化為該全域時間線之速率來執行從一內部文件時間線至該全域時間線的轉譯。
該全域時間線之速率可與為該媒體流所選擇的傳輸無關。或者，可預定義該全域時間線之速率。
此外，可將該全域時間線之速率明確地傳送至多媒體用戶端。
該豐富媒體流可包含兩或更多文件，而且在此類情況下，所建議的搜尋步驟將實現在不同文件邊界上搜尋。
該豐富媒體流可以係一DIMS/RME流或一LASeR流之任一者。
該搜尋指令可以係一命令、一DOM方法或一屬性之任一 者。
依據另一態樣，說明一種用於實現一豐富媒體流中的同步化之一編碼器的方法，其中在將連續全域時間線用作同步化主要時間線情況下設定一syncMasterGlobal屬性，而在將一或多個文件時間線用作同步化主要時間線情況下設定一syncMaster屬性。接著將已設定的屬性發送至一或多個接收實體。
可將該屬性發送至插入至該豐富媒體流之一SVG元件中的一或多個接收實體。或者可改為經由該豐富媒體流外部的發信將該屬性提供給一或多個接收實體。
依據又另一態樣，說明用於執行一豐富媒體流中的同步化之一解碼器，其中在該解碼器中接收具有發信一目前同步化主要時間線之目的之一屬性。
該屬性係因此在接收的屬性係一syncMasterGlobal屬性情況下且在設定該syncMasterGlobal屬性情況下用於使用一全域時間線作為一同步化主要時間線而在該豐富媒體流中同步化，而一或多個文件時間線係在接收的屬性係一syncMaster屬性情況下且在設定該syncMaster屬性情況下或在不設定接收的屬性情況下用作一同步化主要時間線。
該全域時間線可基於傳輸層級時戳。
依據一項具體實施例，在設定兩種屬性情況下，該syncMasterGlobal屬性之優先權具有優於syncMaster屬性之優先權。
本發明亦指經調適用以執行以上說明的方法之一多媒體 用戶端及一多媒體伺服器。
簡要地說明，本發明實現在一豐富媒體流(例如DIMS流)之全域時間線中搜尋，尤其當該豐富媒體流包含一全域時間線及局域時間線二者時。本發明實現在包含分別具有分離時間線之多個文件之豐富媒體流中的文件邊界上搜尋。
依據一項具體實施例，在一豐富媒體流之全域時間線或傳輸時間線中(即，在跨越所有文件時間線之一時間線中)執行搜尋，從而實現文件邊界上及以內的搜尋。此舉亦實現同時在文件及傳輸時間線二者中搜尋，從而消除依賴於一同步化模組的需求，該模組可能並未得到適當定義來移動另一時間線。
依據建議的具體實施例，命令/搜尋指令採取一偏移並在該豐富媒體流中搜尋該數量，而且並非僅在該豐富媒體流內的個別文件中從起始點搜尋。該豐富媒體流中的此搜尋，或該豐富媒體之全域時間中的搜尋，可產生一不同豐富媒體文件。
此外，本發明實現使用該全域時間線作為同步化基礎來同步化，實現一內容建立者在根據該內部文件時間線或該全域時間線而同步化之間進行選擇。此舉可藉由在該豐富媒體檔中引入新屬性(稱為syncMasterGlobal)來完成。
藉由設定屬性(例如SVG元件)，內容建立者可選擇根據內部文件時間來同步化，而同步化可藉由改為設定syncMasterGlobal屬性而基於全域時間。
圖2一般說明一局域時間線及全域時間線之概念。如上所述，目前不可能使用文件時間線200在一媒體流中搜尋，因為同一文件時間可在該流中再出現若干次。此可在縮放區域201及202中看出，在該等區域中(例如)文件時間0出現在文件2(Doc.2)及文件3(Doc.3)中。實際上，所有文件均以DIMS/RME及LASeR中的文件時間0開始。在圖2中，Doc.3中的文件時間2係表示為全域時間線203上的全域時間95。
依據一項具體實施例，定義一命令，其在一豐富媒體流(例如DIMS流)之全域時間中搜尋。對整個媒體流，而非僅對當前文件之文件時間線執行搜尋。此類搜尋將產生該豐富媒體流中的媒體時間線(即該全域時間線)以及該內部文件時間線二者之同步化搜尋。依據說明的具體實施例，該命令採取一偏移並在該豐富媒體流中搜尋該數量，而非僅在一媒體流內的個別文件中從一起始點搜尋並且可產生不同的豐富媒體文件。
從傳輸層級時戳(例如自3GPP檔案的時戳、(簡單集合格式)SAF或RTP時戳，或LASeR刻點)計算DIMS/RME或LASeR中的全域時間線。該全域時間線具有與選擇的傳輸無關之速率。通常而言，將該全域時間線之速率設定為1 Hz，但可使用任何預定義速率。
簡單地藉由將該傳輸層級時戳正規化為該全域時間線速率來執行從媒體時間線至全域時間線的轉譯。僅至於RTP時戳，該全域時間線不必在0情況下開始，因為其係重要 的相對時序。
欲在需要在豐富媒體中搜尋時使用的命令"GlobalSeek"可能具有下列語法：<GlobalSeek seekOffset="seekOffset">
其中"seekOffset"係採用該全域時間線速率測量的一任意帶符號的時間值。
Globalseek在全域時間線中藉由數量"seekOffset"而產生一搜尋。藉由將"seekOffset"添加至當前全域時間來獲得搜尋的全域時間。因為一豐富媒體流可包含多個文件，所以此搜尋可產生豐富媒體文件之變化。亦搜尋該文件至對應於搜尋的全域時間之局域時間。
搜尋可在概念上視為一功能，其中該全域時間線及文件時間線係採用同步化方式向前移動，就如在正常播放中一樣，但更迅速，且不呈遞媒體流。因此，在時間上向後的一搜尋(即負seekOffset)可採用相似方式加以執行，但是藉由再次從零開始並向前移動。
該全域時間線中的搜尋會產生相關文件之文件時間線中的同步化搜尋。然而，全域搜尋之實際結果係取決於底層文件搜尋語義。SVG(例如)出現為具有鬆弛搜尋定義，其中某些事件不必在搜尋間隔期間發起。
現在參考圖3說明在依據一項具體實施例之一解碼器中的全域搜尋之一例證實施方案。在圖3中，一解碼器(例如，DIMS解碼器)在時間點X接收一豐富媒體流(例如包含在3GP檔案中的DIMS流)中的一命令，其中可將seekOffset 設定為下列時間點Y: <GlobalSeek seekOffset="Y">
其中X及Y係任意時間值。該解碼器尋找時間點X+Y之前的最近隨機存取點(RAP)，即最近或最新基礎場景元件300。解碼該隨機存取點並採用一文件時間建立一場景。接著解碼該豐富媒體流，即隨著儘可能迅速地向前移動文件時間至時間點X+Y，解碼媒體流單元。同時，按需要執行指令檔。如上所述，同步化搜尋同時在全域時間線301以及文件時間線302中搜尋。接著可顯示該場景並且解碼可照常繼續。
考量所建議的全域搜尋方法而非從編碼器的觀點看，當希望在一豐富媒體流(例如DIMS流)中搜尋時，可簡單地插入GlobalSeek命令/指令(其可以係伺服器起始或使用者起始的命令/指令)。在一伺服器起始命令情況下，該命令可直接插入至該媒體流，而一使用者起始命令可改為插入至相關場景，例如透過與一事件連結的次要媒體流。
取代預定義，可明確傳送該全域時間線之速率至該用戶端。或者，全域搜尋可使用一絕對時間，其可加以傳送至該用戶端。
作為定義XML中的全域搜尋之一替代方案，全域搜尋可在LASeR中加以定義為一豐富媒體場景、更新或命令之二進位或任何其他文字或非文字表示。此外，除為一命令以外，搜尋可加以定義為(例如)一DOM方法。將搜尋實施為一命令的另一替代性解決辦法係將其實施為一屬性。搜尋 因此具有暗示的執行時間，其指示(例如)一文件之開始或結束。
本發明亦實現使用該全域時間線作為同步化基礎或synchMaster而同步化。
如圖4a中所說明，底層內部文件時間線302藉由下列方式與全域時間線301同步：將該全域時間線設定為同步化主要時間線300a，作為將內部文件時間線302用作一同步化主要時間線300b的一替代方案，即藉由設定如圖4b中所指示的syncMaster屬性。
可藉由在該豐富媒體檔中引入新屬性(稱為syncMasterGlobal)而完成此等替代性同步化選項。引入此類變數實現一內容建立者在根據內部文件時間並藉由設定一媒體流之一元件(通常為SVG元件)上的syncMaster屬性，或根據該全域時間線或傳輸時間線並藉由設定一媒體流元件上的新syncMasterGlobal屬性而同步化之間進行選擇。
可在(例如)DIMS/RME或LASeR中實施syncMasterGlobal屬性。此新變數通常係布林(Boolean)屬性，其係添加至具有預設值"錯誤"的一媒體流(例如SVG元件)。在"屬實"情況下，該全域時間線(即該媒體流之傳輸層級時戳)將用作一同步化主要時間線(即時間容器中的其他元件)，在此情況下該內部文件時間線將被迫與該全域時間線同步化。若將兩者設定為"屬實"，則syncMasterGlobal屬性之優先權通常優於syncMaster屬性之優先權。否則，同一規則應該 像適用於syncMaster一樣適用於syncMasterGlobal。
或者，可指定一屬性，其發信關於兩個個別全域或局域時間線中欲視為synchMaster之時間線。採用此類方式，DIMS流外部的某一來源可用於發信欲為syncMaster之流。
現在參考圖5說明經調適用以依據一項具體實施例實現一豐富媒體流中的搜尋之多媒體伺服器。
圖5顯示包括一編碼器501的一多媒體伺服器500，其經調適用以提供一媒體流給通常為多媒體用戶端之一或多個用戶端。從一媒體來源502接收媒體流的編碼器包括一編碼單元503，其用於在一插入單元504已將一搜尋指令插入至該媒體流中之後編碼該媒體流。在一時間點X插入的搜尋指令包括一偏移時間點Y，如以上所說明。該編碼器亦包括一發射器505，其用於發送該媒體流至一或多個終端多媒體用戶端600。
依據一替代性具體實施例，一編碼器經調適用以實現根據該全域時間線在一豐富媒體流中同步化，作為根據一或多個文件時間線而同步化之一替代方案。若圖5之插入單元504經調適用以引入如較早在此文件中說明的一新屬性syncMasterGlobal，則可提供此類編碼器。藉由調適插入單元504以設定syncMasterGlobal或syncMaster，可將該豐富流之該全域時間線或者一或多個文件時間線選擇為syncMaster。
圖6說明依據一項具體實施例，經調適用以實現一豐富媒體流中的搜尋之多媒體用戶端，其中一多媒體用戶端 500提供一媒體流給多媒體用戶端600。多媒體用戶端600包括一解碼器601，其在一接收器602中接收包括一搜尋指令的媒體流。在一時間點X接收的搜尋指令包括一偏移時間點Y，如先前所說明。一搜尋單元603經調適用以依該據搜尋指令在解碼器601之解碼單元604中執行一搜尋。一旦已執行該搜導，解碼該豐富媒體流並將其提供給多媒體用戶端600之一媒體播放器605。
依據一替代性具體實施例，該解碼器可包括一同步化單元606，其可經調適用以在經由接收器602所接收的一豐富媒體流中同步化。同步化單元606經調適用以識別是否設定syncMasterGlobal屬性，從而指示該全域時間線欲用作一同步化主要時間線，或者是否設定syncMaster，即一或多個文件時間線是否欲用作一同步化主要時間線。
依據另一替代性具體實施例，一搜尋命令可與同步化組合。在將該全域時間線設定為syncMasterGlobal的情況下，其他一切將與其同步化。藉由將該全域時間線設定為syncMaster，可以僅在該全域時間線中搜尋，從而允許同步化模組固定其餘者。同步化模組將簡單地通報該局域時間線並非同步化，而且將其移動至右邊位置。
可依據圖7之方塊圖說明欲在依據以上說明的具體實施例之一編碼器中執行之一豐富媒體流中的搜尋之方法。
在步驟700中，將一搜尋指令插入至一豐富媒體流中。在下一步驟701中編碼包括該指令的該豐富媒體流，而且在最後步驟702中將該豐富媒體流發送至一或多個媒體用 戶端。
可參考圖8之方塊圖說明在一豐富媒體流中搜尋的方法，其中該方法係改為在依據以上說明的具體實施例之一解碼器中執行。
在圖8之第一步驟800中，藉由該解碼器接收一搜尋指令，依據步驟801中的接收搜尋指令來執行該搜尋。
採用圖9之方塊圖說明用於使用如以上說明的該等屬性之任一者實現在一豐富媒體流中的同步化之一編碼器的方法。
在圖9之第一步驟900中，藉由設定一同步化屬性(即syncMasterGlobal或syncMaster)來決定何時間線欲用作同步化主要時間線。在下一步驟901中，將該同步化屬性發送至一或多個接收實體。
採用方塊圖10說明用於執行在如以上說明之一豐富媒體流中的同步化之一解碼器的方法，其中在一第一步驟1000中接收一同步化屬性，而且其中在最後步驟1001中在該豐富媒體流中執行依據接收的屬性之一同步化。
概括而言，在全域傳輸層級時間線中建議使用搜尋可實現直接從一豐富媒體流之內容搜尋。可在文件邊界上或以內進行搜尋。此外，建議的搜尋機制實現同時在文件及傳輸時間線二者中搜尋，從而消除依賴於一同步化模組的需求，該模組可能並未得到適當定義來移動另一時間線。
雖然已參考特定示範性具體實施例說明本發明，但是該說明一般僅旨在說明發明概念且不應視為限制本發明之範 疇。儘管已在說明以上具體實施例時使用諸如SVG、DIMS、RME、SAF、LASeR、uDOM及MORE之概念，但是基本上可使用任何其他相似的適當標準、協定及網路元件，如本文中所說明。一般藉由下列所附申請專利範圍來定義本發明。
95‧‧‧全域時間
100‧‧‧全域時間
101‧‧‧內部文件時間
102‧‧‧文件
103‧‧‧文件
200‧‧‧時間線
203‧‧‧全域時間線
300‧‧‧場景元件
300a‧‧‧同步化主要時間線
300b‧‧‧同步化主要時間線
301‧‧‧全域時間線
302‧‧‧內部文件時間線
500‧‧‧多媒體伺服器
501‧‧‧編碼器
502‧‧‧媒體來源
503‧‧‧編碼單元
504‧‧‧插入單元
505‧‧‧發射器
600‧‧‧多媒體用戶端
601‧‧‧解碼器
602‧‧‧接收器
603‧‧‧搜尋單元
604‧‧‧解碼單元
605‧‧‧媒體播放器
606‧‧‧同步化單元
E‧‧‧元件
現在藉由示範性具體實施例並參考附圖說明本發明，在該等附圖中：圖1a係依據先前技術的純SVG流之基本概覽。
圖1b係依據先前技術的DIMS流之基本概覽。
圖2係說明全域時間線相對於局域文件時間線之時序的基本概覽。
圖3說明在依據一項具體實施例之一解碼器中執行的全域搜尋。
圖4a說明依據一項具體實施例內部文件時間線如何與全域時間線同步化。
圖4b說明全域時間線如何可改為與內部文件時間線同步。
圖5說明依據一項具體實施例之一例證的多媒體伺服器。
圖6說明依據一項具體實施例之一例證的多媒體用戶端。
圖7係說明於在一編碼器中執行之豐富媒體流中搜尋的方法之方塊圖。
圖8係說明於在一解碼器中執行之豐富媒體流中搜尋的方法之方塊圖。
圖9係說明用於實現在一豐富媒體流中同步化之一編碼器的方法之方塊圖。
圖10係說明用於實現一豐富媒體流中的同步化之一解碼器的方法之方塊圖。
300‧‧‧場景元件
301‧‧‧全域時間線
302‧‧‧內部文件時間線

Claims (24)

  1. 一種在實現一豐富媒體流中搜尋的方法，其係從一多媒體伺服器提供給至少一個多媒體用戶端，其中該多媒體伺服器包括一編碼器，該方法包括在該編碼器中執行的下列步驟：- 將一搜尋指令插入至該豐富媒體流中，該豐富媒體流包含一全域時間線及至少二文件，每一文件具有一分開的局部時間線，該搜尋指令係一指令以在該全域時間線中加入一當前時間點X的一偏移時間點Y搜尋，其中X及Y係任意時間值，- 編碼該豐富媒體流，以及- 發送該豐富媒體流至該至少一個多媒體用戶端，實現在該至少一多媒體用戶端在文件邊界內及文件邊界上的搜尋。
  2. 如請求項1之方法，其中該搜尋指令係一伺服器起始指令，該指令係由該多媒體伺服器直接插入至該豐富媒體流中。
  3. 如請求項1之方法，其中該搜尋指令係一使用者起始指令，該指令係插入至該豐富媒體流之一場景中。
  4. 如請求項3之方法，其中該搜尋指令係透過一次要豐富媒體流予以插入，該次要豐富媒體流係與一事件連結。
  5. 如請求項1之方法，其中從該豐富媒體流之傳輸層級時戳計算時間點X及Y。
  6. 如請求項1之方法，其中藉由將傳輸層級時戳正規化為 該全域時間線之一速率來執行從一局部時間線至該全域時間線的轉譯。
  7. 如請求項1之方法，其中該全域時間線之一速率係與為該豐富媒體流所選擇的一傳輸無關。
  8. 如請求項1之方法，其中該全域時間線之一速率係一預定義速率。
  9. 如請求項1之方法，其中該全域時間線之一速率係明確地傳送至該多媒體用戶端。
  10. 如請求項1之方法，其中該豐富媒體流係一DIMS/RME流或一LASeR流之任一者。
  11. 如請求項1之方法，其中該搜尋指令係一命令、一DOM方法或一屬性之任一者。
  12. 一種實現一豐富媒體流中搜尋的方法，其係從一多媒體伺服器提供至一個多媒體用戶端，其中該多媒體用戶端包括一解碼器，該方法包括在該解碼器中執行的下列步驟：- 在該豐富媒體流中接收一搜尋指令，該豐富媒體流包含一全域時間線及至少二文件，每一文件具有一分開的局部時間線，該搜尋指令指示該解碼器在該全域時間線中之加入一當前時間點X的一偏移時間點Y搜尋，其中X及Y係任意時間值，以及- 依據接收的該搜尋指令執行一搜尋，實現在文件邊界內及文件邊界上的搜尋。
  13. 如請求項12之方法，其中該搜尋步驟包括藉由將偏移時 間點Y添加至該當前時間點X在該全域時間線中的該整個豐富媒體流中搜尋，其係移動該全域時間線以及一或多個局部時間線朝向時間點X+Y，藉此實現該全域時間線與該一或多個局部時間線的同步化。
  14. 如請求項12之方法，其中該搜尋步驟進一步包括下列步驟：- 定位該豐富媒體流之一最後隨機存取點(RAP)以使其出現在該所需搜尋時間點X+Y之前，- 解碼該RAP並採用一文件時間建立一場景，以及- 從移動該文件時間朝向該搜尋的時間點的該RAP解碼該豐富媒體流。
  15. 一種用於實現一豐富媒體流中的同步化之一編碼器的方法，該方法包括下列步驟：- 在將一連續全域時間線用作同步化主要時間線(synchronization master)情況下在該豐富媒體流的一元件上設定一第一同步化主要時間線屬性，或在將一或多個文件時間線用作同步化主要時間線情況下在該豐富媒體流的一元件上設定一第二同步化主要時間線屬性，以及- 發送該屬性給至少一個接收實體，藉由將該接收的屬性用作該豐富媒體流的一同步化基礎，使該接收實體同步化。
  16. 如請求項15之方法，其中該元件係該豐富媒體流之一SVG元件。
  17. 如請求項15之方法，其中經由該豐富媒體流外部的發送 信號將該屬性提供給該至少一個接收實體。
  18. 如請求項15之方法，其中該全域時間線係基於傳輸層級時戳。
  19. 如請求項15之方法，其中若設定兩種屬性，則該第二同步化主要時間線屬性之優先權優於該第一同步化主要時間線屬性之優先權。
  20. 一種用於執行一豐富媒體流中的同步化之一解碼器的方法，該方法包括下列步驟：- 在該豐富媒體流的一元件中接收一同步化主要時間線屬性，該屬性表示該豐富媒體流的一目前同步化主要時間線，及- 在接收的該屬性係一第一同步化主要時間線屬性情況下且在該第一同步化主要時間線屬性被設定之情況下，使用一全域時間線作為一同步化主要時間線而在該豐富媒體流中同步化；或在接收的該屬性係一第二同步化主要時間線屬性情況下且在設定該第二同步化主要時間線屬性被設定之情況下或在不設定該接收的屬性情況下，使用一或多個文件時間線作為一同步化主要時間線，而在該豐富媒體流中同步化。
  21. 一種多媒體伺服器，其包含：一編碼器，其用於實現提供給至少一個多媒體用戶端之一豐富媒體流中的搜尋，該編碼器包括：- 一插入單元，其用於將一搜尋指令插入至該豐富媒體流中，該豐富媒體流包含一全域時間線及至少二文件， 每一文件具有一分開的局部時間線，該搜尋指令係一指令以在該全域時間線中加入一當前時間點X的一偏移時間點Y搜尋，其中X及Y係任意時間值，- 一編碼單元，其用於編碼該豐富媒體流，以及- 一發射器，其用於將該豐富媒體流發送至該至少一個多媒體用戶端，實現在該至少一多媒體用戶端的文件邊界內及文件邊界上的搜尋。
  22. 一種多媒體用戶端，其包含：一解碼器，其用於實現從一多媒體伺服器提供之一豐富媒體流中的搜尋，該解碼器包括：- 一接收器，其用於在該豐富媒體流中接收一搜尋指令，該豐富媒體流包含一全域時間線及至少二文件，每一文件具有一分開的局部時間線，該搜尋指令係一指令以在該全域時間線中加入一當前時間點X的一偏移時間點Y搜尋，其中X及Y係任意時間值，- 一搜尋單元，其用於依據接收的該搜尋指令來執行一搜尋，以及- 一解碼單元，其用於解碼該豐富媒體流，實現在文件邊界內及文件邊界上的搜尋。
  23. 一種多媒體伺服器，其包含：一編碼器，其用於實現一豐富媒體流中的一同步化基礎的選擇，該編碼器包括：- 一插入單元，其用於在同步化係基於一全域時間線情況下將一第一屬性插入該豐富媒體流的一元件中，或用 於在同步化係基於一或多個文件時間線情況下將一第二屬性插入該豐富媒體流的一元件中，以及- 一發射器，其用於將該屬性發送給至少一個接收實體，實現該至少一接收實體根據該設定屬性來選擇該豐富媒體流的同步化基礎。
  24. 一種多媒體伺服器，其包含：一解碼器，其用於在一豐富媒體流中選擇同步化基礎，該解碼器包括：- 一接收器，其用於接收該豐富媒體流的一元件中的一屬性，並提供該豐富媒體流給一解碼單元，該屬性具有表示該豐富媒體流的一目前同步化主要時間線之目的，- 一同步化單元，其係在該豐富媒體流中，其中該同步化單元經調適用以在接收的該屬性係一第一屬性情況下且在該第一屬性被設定之情況下使用一全域時間線作為一同步化主要時間線，或在該屬性係一第二屬性情況下且在該第二屬性被設定之情況下或在不設定該接收的屬性情況下使用一或多個文件時間線作為一同步化主要時間線。
TW097102392A 2007-03-08 2008-01-22 實現在豐富媒體流中搜尋的方法、實現豐富媒體流中的同步化之編碼器的方法、執行豐富媒體流中的同步化之解碼器的方法、多媒體伺服器及多媒體用戶端 TWI388215B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US90562707P 2007-03-08 2007-03-08
PCT/SE2007/001176 WO2008108694A1 (en) 2007-03-08 2007-12-28 Seeking and synchronization using global scene time

Publications (2)

Publication Number Publication Date
TW200847785A TW200847785A (en) 2008-12-01
TWI388215B true TWI388215B (zh) 2013-03-01

Family

ID=39738483

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097102392A TWI388215B (zh) 2007-03-08 2008-01-22 實現在豐富媒體流中搜尋的方法、實現豐富媒體流中的同步化之編碼器的方法、執行豐富媒體流中的同步化之解碼器的方法、多媒體伺服器及多媒體用戶端

Country Status (14)

Country Link
US (1) US8190761B2 (zh)
EP (2) EP2930907A1 (zh)
JP (2) JP5137975B2 (zh)
CN (1) CN101622848B (zh)
CA (1) CA2680049C (zh)
CL (2) CL2008000677A1 (zh)
DK (1) DK2119185T3 (zh)
ES (1) ES2547228T3 (zh)
HK (1) HK1140329A1 (zh)
IL (1) IL200743A (zh)
MX (1) MX2009006990A (zh)
MY (1) MY157150A (zh)
TW (1) TWI388215B (zh)
WO (1) WO2008108694A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185489A1 (en) * 2009-01-21 2010-07-22 Satyavolu Ramakrishna V Method for determining a personalized true cost of service offerings
US8909661B2 (en) 2012-09-19 2014-12-09 Nokia Corporation Methods and apparatuses for time-stamping media for multi-user content rendering
CN104991993A (zh) * 2015-06-09 2015-10-21 北京红马传媒文化发展有限公司 一种场地信息图形的处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659539A (en) * 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information
US5751280A (en) * 1995-12-11 1998-05-12 Silicon Graphics, Inc. System and method for media stream synchronization with a base atom index file and an auxiliary atom index file
US5784527A (en) * 1996-03-22 1998-07-21 Cirrus Logic, Inc. System and method for error handling during playback of an audio/video data stream
ES2194801T3 (es) * 1996-07-05 2003-12-01 Matsushita Electric Ind Co Ltd Procedimiento de presentacion de la fecha y sincronizacion de multiples planos objeto de videos.
ID24586A (id) 1998-12-21 2000-07-27 Matsushita Electric Ind Co Ltd Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu
US6535920B1 (en) * 1999-04-06 2003-03-18 Microsoft Corporation Analyzing, indexing and seeking of streaming information
JP4355988B2 (ja) * 2000-04-21 2009-11-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム記録媒体、プログラム、および情報記録媒体
US6671732B1 (en) * 2000-07-24 2003-12-30 Comverse Ltd. Method and apparatus for control of content based rich media streaming
US6985934B1 (en) * 2000-10-23 2006-01-10 Binham Communications Corporation Method and system for providing rich media content over a computer network
TWI220480B (en) 2001-04-11 2004-08-21 Cyberlink Corp System and method for generating synchronous playback of the slides and the corresponding audio/video information during the presentation
TW548974B (en) 2002-01-03 2003-08-21 Cyberlink Corp Real-time rich-media recording system and method thereof
US7644172B2 (en) * 2002-06-24 2010-01-05 Microsoft Corporation Communicating via a connection between a streaming server and a client without breaking the connection
US7313313B2 (en) * 2002-07-25 2007-12-25 Microsoft Corporation Audio/video synchronization with no clean points
US20040179618A1 (en) * 2002-07-26 2004-09-16 Romriell Joseph N. Smart loader video slicing method and system for using the same
US7290057B2 (en) * 2002-08-20 2007-10-30 Microsoft Corporation Media streaming of web content data
US20050004997A1 (en) 2003-07-01 2005-01-06 Nokia Corporation Progressive downloading of timed multimedia content
US20070016611A1 (en) * 2005-07-13 2007-01-18 Ulead Systems, Inc. Preview method for seeking media content
JP4718275B2 (ja) * 2005-08-26 2011-07-06 三菱電機株式会社 複数メディアの同期再生システム及び同期再生方法
US20070186005A1 (en) * 2005-09-01 2007-08-09 Nokia Corporation Method to embedding SVG content into ISO base media file format for progressive downloading and streaming of rich media content
US20070239820A1 (en) * 2005-11-23 2007-10-11 Nokia Corporation System and method for providing quality feedback metrics for data transmission in rich media services
US8437409B2 (en) * 2006-12-06 2013-05-07 Carnagie Mellon University System and method for capturing, editing, searching, and delivering multi-media content

Also Published As

Publication number Publication date
EP2119185A1 (en) 2009-11-18
ES2547228T3 (es) 2015-10-02
WO2008108694A1 (en) 2008-09-12
CL2010001191A1 (es) 2011-02-25
CL2008000677A1 (es) 2009-09-25
CA2680049A1 (en) 2008-09-12
JP2010524052A (ja) 2010-07-15
EP2930907A1 (en) 2015-10-14
TW200847785A (en) 2008-12-01
DK2119185T3 (en) 2015-09-28
JP5576910B2 (ja) 2014-08-20
HK1140329A1 (en) 2010-10-08
CA2680049C (en) 2017-07-25
IL200743A0 (en) 2010-05-17
EP2119185A4 (en) 2013-09-11
EP2119185B1 (en) 2015-07-01
CN101622848B (zh) 2013-09-18
JP2012256359A (ja) 2012-12-27
US20100042741A1 (en) 2010-02-18
MX2009006990A (es) 2009-08-13
MY157150A (en) 2016-05-13
CN101622848A (zh) 2010-01-06
US8190761B2 (en) 2012-05-29
JP5137975B2 (ja) 2013-02-06
IL200743A (en) 2013-07-31

Similar Documents

Publication Publication Date Title
US11962835B2 (en) Synchronizing internet (over the top) video streams for simultaneous feedback
US11019309B2 (en) Real-time or near real-time streaming
KR101401183B1 (ko) 스트리밍 미디어 파일의 표현을 기술하고 타이밍하기 위한 장치 및 방법
EP2716061B1 (en) Playlists for real-time or near real-time streaming
EP2646936B1 (en) Real-time or near real-time streaming
US8560642B2 (en) Real-time or near real-time streaming
CN111316652A (zh) 使用对齐编码内容片段的个性化内容流
US20110252118A1 (en) Real-time or near real-time streaming
JP5590881B2 (ja) メディア表現からメディアを再構成する方法及び装置
KR20210141598A (ko) Http를 통한 동적 적응 스트리밍을 위한 세션 기반 정보
TWI388215B (zh) 實現在豐富媒體流中搜尋的方法、實現豐富媒體流中的同步化之編碼器的方法、執行豐富媒體流中的同步化之解碼器的方法、多媒體伺服器及多媒體用戶端
US10999621B2 (en) Technique for synchronizing rendering of video frames with rendering of auxiliary media
WO2011123821A1 (en) Real-time or near real-time streaming
JP2023520757A (ja) Ｈｔｔｐを介した動的適応ストリーミングのための方法および装置
CN116112717A (zh) 一种音轨切换方法、装置、设备及存储介质
JP2019106732A (ja) 動画再生装置及びプログラム
KR20010010334A (ko) 인핸스먼트 저작 시스템 및 서버 시스템과 이를 이용한 인핸스먼트 저작 방법
GB2510766A (en) Determining earliest and latest transmission times for playlist files having plural tags and universal resource indicators (URIs)

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees