TW201703537A - 媒體定時的網頁互動 - Google Patents

媒體定時的網頁互動 Download PDF

Info

Publication number
TW201703537A
TW201703537A TW105119328A TW105119328A TW201703537A TW 201703537 A TW201703537 A TW 201703537A TW 105119328 A TW105119328 A TW 105119328A TW 105119328 A TW105119328 A TW 105119328A TW 201703537 A TW201703537 A TW 201703537A
Authority
TW
Taiwan
Prior art keywords
track
dom
media content
events
executed
Prior art date
Application number
TW105119328A
Other languages
English (en)
Inventor
曼德亞姆吉里德哈達帝
羅查爾斯農
渥克高登肯特
史多克漢摩湯瑪仕
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201703537A publication Critical patent/TW201703537A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

一種用於呈現媒體內容的實例方法包括在計算設備上執行的客戶端應用處接收串流媒體內容。該方法亦包括標識與媒體內容相關聯的多個軌。該多個軌包括DOM軌，該DOM軌指定要在一時間區間集合處執行的一或多個使用者介面（UI）事件，並且該時間區間集合對應於根據串流媒體內容的時間軸。該方法進一步包括根據串流媒體內容的時間軸來呈現DOM軌。

Description

媒體定時的網頁互動
本案一般係關於串流媒體內容，並且尤其係關於提供用串流媒體內容定時的使用者互動。
媒體內容供應商或分發商可向串流客戶端串流媒體內容，這些串流客戶端可採取各種使用者終端設備（諸如電視機、筆記型電腦和移動手持機）的形式。媒體內容可基於各種因素（諸如網路狀況、設備能力、和使用者選擇）來自我調整地從串流伺服器被遞送至串流客戶端。在接收到傳輸系統（TS）之際，串流客戶端可解析TS以從其內提取資訊。自我調整串流技術可包括被實現或正被開發的各種技術或標準，諸如動態超文字傳輸協定（HTTP）上的自我調整串流（DASH）、HTTP實況串流（HLS）、自我調整傳輸串流（ATS）、或網際網路資訊服務（IIS）平滑串流。
例如，作為一種類型的自我調整串流，DASH已由國際標準組織（ISO）和國際電子電機委員會（IEC）在國際標準中定義。通常被標識為ISO/IEC 23009-1的該標準的標題名稱為「Information technology— Dynamic adaptive streaming over HTTP (DASH)— Part 1 :Media presentation description and segment formats（資訊技術—HTTP上的動態自我調整串流（DASH）—部分1：媒體呈現描述和分段格式）」。
根據一些實施例，一種用於呈現媒體內容的方法包括：在計算設備上執行的客戶端應用處接收串流媒體內容；標識與該媒體內容相關聯的複數個軌，該複數個軌包括指定要在一時間區間集合處執行的一或多個使用者介面（UI）事件的文件物件模型（DOM）軌，並且該時間區間集合對應於根據串流媒體內容的時間軸；及根據串流媒體內容的時間軸來呈現該DOM軌。
根據一些實施例，一種用於呈現媒體內容的系統包括接收串流媒體內容的網路介面。該系統亦包括耦合至該網路介面的串流媒體播放機。該串流媒體播放機標識與媒體內容相關聯的複數個軌，並且根據串流媒體內容的時間軸來呈現DOM軌。另外，該複數個軌包括該DOM軌。該DOM軌指定要在一時間區間集合處執行的一或多個UI事件，並且該時間區間集合對應於該時間軸。
根據一些實施例，一種電腦可讀取媒體包括複數條機器可讀取指令，該複數條機器可讀取指令在被一或多個處理器執行時被適配成使該一或多個處理器執行方法，該方法包括：在計算設備上執行的客戶端應用處接收串流媒體內容；標識與該媒體內容相關聯的複數個軌，該複數個軌包括指定要在一時間區間集合處執行的一或多個UI事件的DOM軌，並且該時間區間集合對應於根據串流媒體內容的時間軸；及根據串流媒體內容的時間軸來呈現該DOM軌。
根據一些實施例，一種用於呈現媒體內容的設備包括用於接收串流媒體內容的裝置。該設備亦包括用於標識與媒體內容相關聯的複數個軌的裝置。該複數個軌包括指定要在一時間區間集合處執行的一或多個UI事件的DOM軌。該時間區間集合對應於根據串流媒體內容的時間軸。該設備進一步包括用於根據串流媒體內容的時間軸來呈現DOM軌的裝置。
根據一些實施例，一種用於產生與媒體內容相關聯的DOM軌的方法包括接收一時間區間集合。每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間。該方法亦包括決定要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。該方法進一步包括產生DOM軌，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
根據一些實施例，一種用於產生與媒體內容相關聯的DOM軌的系統包括接收一時間區間集合的串流伺服器。每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間。串流伺服器決定要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。串流伺服器產生DOM軌，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
根據一些實施例，一種機器可讀取媒體包括複數條機器可讀取指令，該複數條機器可讀取指令在被一或多個處理器執行時被適配成使該一或多個處理器執行方法，該方法包括：接收一時間區間集合，每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間；決定要為該時間區間集合中的每一個時間區間執行的一或多個UI事件；及產生DOM軌，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
根據一些實施例，一種用於產生與媒體內容相關聯的DOM軌的設備包括用於接收一時間區間集合的裝置。每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間。該設備亦包括用於決定要為該時間區間集合中的每一個時間區間執行的一或多個UI事件的裝置。該設備進一步包括用於產生DOM軌的裝置，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
I.總覽
將理解，以下揭示提供了用於實現本案的不同特徵的許多不同的實施例或者實例。一些實施例可以在沒有這些特定細節中的一些或全部的情況下被實踐。以下描述了諸元件、模組和佈置的特定實例以簡化本案。當然，這些僅僅是實例而並不意欲限制。
在一些實施例中，一種用於呈現媒體內容的方法包括：在計算設備上執行的客戶端應用處接收串流媒體內容；標識與該媒體內容相關聯的複數個軌，該複數個軌包括指定要在一時間區間集合處執行的一或多個使用者介面（UI）事件的DOM軌，該時間區間集合對應於根據串流媒體內容的時間軸；及根據串流媒體內容的時間軸來呈現該DOM軌。 II.實例系統架構
圖1是圖示根據一些實施例的用於呈現媒體內容的系統100的方塊圖。系統100包括在網路108上耦合的串流伺服器102、客戶端104、以及媒體內容編碼器106。儘管圖示了一個串流伺服器、一個客戶端和一個媒體內容編碼器，但是這並非意欲限定，並且系統100可包括一或多個串流伺服器、客戶端、及/或媒體內容編碼器。
網路108可以是專有網路（例如，區域網路（LAN）、廣域網（WAN）、網內網路等）、公共網路（例如，網際網路）、或其組合。網路可包括各種配置並且使用各種協定，包括網際網路、全球資訊網、網內網路、虛擬私人網路、廣域網、區域網路、使用一或多個公司專有的通訊協定的私人網路、蜂巢網路和其他無線網，網際網路中繼聊天通道（IRC）、即時訊息接發、簡單郵件傳輸協定（SMTP）、乙太網路、WiFi和HTTP以及前述的各種組合。
系統100可向客戶端104的使用者提供豐富的Web互動。串流伺服器102、客戶端104和媒體內容編碼器106使用特定協定彼此通訊並且交換特定格式的檔。一些檔包含已使用特定轉碼器編碼的資料，該特定轉碼器被設計成減少檔的大小。內容供應商112可向媒體內容編碼器106提供原始媒體檔110以用於編碼。媒體內容編碼器106將原始媒體檔110（例如，音訊和視訊檔）轉換成可跨網路108串流的格式。內容生產者112可以是人或計算設備。在媒體內容編碼器106編碼原始媒體檔110之後，媒體內容編碼器106可向串流伺服器102發送經編碼媒體檔以供儲存在資料庫116中。媒體內容編碼器106可建立被儲存在資料庫116中並且可由串流伺服器102存取的媒體內容流。
客戶端104包括網路介面130、串流媒體播放機120、和瀏覽器122。儘管串流媒體播放機120被圖示為納入到瀏覽器122中，但是這並非意欲限定，並且應當理解，串流媒體播放機120和瀏覽器122可以是彼此互動的單獨組件。串流媒體播放機120是能夠呈現媒體內容流的客戶端應用。媒體內容可由客戶端104請求並且從串流伺服器102接收，該串流伺服器102可以是被設計成遞送媒體內容流的專用軟體。客戶端104可以是任何客戶端設備，諸如掌上型電話（例如，智慧型電話）、個人數位助理（PDA）、平板設備、桌面型設備、或膝上型設備。其他設備在本案的範疇內。
經編碼媒體檔118可以是原始媒體檔110的經編碼和可串流版本。經編碼媒體檔118具有可向客戶端104發送並且由客戶端104串流的串流格式。在一些實例中，經編碼媒體檔118被封裝成包括複數個軌的媒體檔。該複數個軌可包括具有視訊資料的視訊軌、具有音訊資料的音訊軌等。
在一些實例中，內容生產者112可對經編碼媒體檔118（或原始媒體檔110）執行進一步處理以產生額外軌。例如，內容生產者112可產生具有與視訊及/或音訊軌相關聯的隱藏字幕資料的隱藏字幕軌、具有與視訊及/或音訊軌相關聯的文件物件模型軌資料的DOM軌、或其他軌。DOM軌可代表描述根據串流媒體內容的重播來定時的Web使用者介面（UI）事件的資料集合。在一實例中，內容生產者112可能希望使某些事件在媒體內容正在客戶端104處串流時發生。另外，內容生產者112可能希望使這些事件與串流媒體內容的定時重播同步地發生，並且可經由產生DOM軌來達成此舉。
在一實例中，DOM軌是以國際標準組織（ISO）基媒體檔案格式（BMFF）來儲存的。在此實例中，可在影片頭部中將該DOM軌宣告為單獨軌。ISO BMFF初始化片段可被定義為單個檔案類型盒（ftyp），繼以單個影片頭部盒（moov）。在另一實例中，DOM軌是作為超文字傳輸協定上的動態自我調整串流（DASH）中的表示來分發的。多媒體檔的一或多個表示（亦即，不同解析度或位元元速率的版本）可以是可用的，並且表示選擇可基於各種因素，諸如網路狀況、設備能力和使用者偏好。在此實例中，DOM軌可在媒體呈現描述（MPD）檔中作為客戶端選擇的單獨適配集合來發信號通知。適配集合包含一或多個媒體內容流。表示允許適配集合包含以不同方式編碼的相同內容。在另一實例中，DOM軌是作為運動影像專家組（MPEG）媒體傳輸（MMT）中的資產來分發的。在另一實例中，DOM軌是作為MMT中的資產來分發的。在另一實例中，DOM軌是作為MPEG-2傳輸串流中的基本串流（elementary stream）來分發的。
圖2是圖示根據一些實施例的用於產生DOM軌的程序流200的方塊圖。圖2包括產生一或多個軌的媒體編輯工具202。在一些實例中，由媒體編輯工具202產生的該一或多個軌被包括在經編碼媒體檔118中。媒體編輯工具202包括產生與視訊軌及/或音訊軌相關聯的隱藏字幕軌206的隱藏字幕軌產生器204。媒體編輯工具202亦包括產生與視訊軌及/或音訊軌相關聯的DOM軌210的DOM軌產生器208。隱藏字幕軌206可以是與DOM軌210分開的軌。
內容生產者112可向媒體編輯工具202提供與串流格式的媒體內容的定時重播相對應的時間區間集合連同要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。若UI事件要在一時間區間期間被執行，則該UI事件可對應於該時間區間。在一些實例中，在相應的時間區間處在網頁的上下文中執行UI事件。媒體編輯工具202可接收一時間區間集合，其中每個時間區間具有與將被提供給客戶端的可串流媒體內容的定時重播相對應的開始和結束時間。媒體編輯工具202可決定要為該時間區間集合中的每一個時間區間執行的一或多個UI事件，並且產生指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件的DOM軌210。
UI事件是根據可串流媒體內容的定時重播來執行的。在DOM軌210中指定的時間區間集合對應於與可串流媒體內容相關聯的視訊軌及/或音訊軌的定時重播。對應於UI事件並且在DOM軌210中指定的時間遵循與DOM軌210相關聯的視訊軌及/或音訊軌的時間軸。例如，內容生產者112可能希望UI事件在可串流媒體內容中具有11秒的開始時間和13秒的結束時間的時間區間期間發生（例如，在正呈現視訊軌的相同或不同網頁中的顯示快顯訊窗）。在此實例中，UI事件是在時間11-13秒處呈現視訊軌時被執行的。
在DOM軌210中指定的UI事件可按各種方式來定義。在一些實例中，經由執行根據可串流媒體內容定時的web代碼片段來執行UI事件。在一實例中，使用超文字標記語言（HTML）來定義UI事件。在另一實例中，使用JAVASCRIPT®來定義UI事件。諸商標是其相應所有者的資產。
在一些實例中，在客戶端104處顯示的網頁的上下文中執行UI事件。在一實例中，UI事件限於客戶端104處的視訊「視埠」。在此實例中，可在正在客戶端104處播放的視訊上疊加物件（例如，影像、快顯訊窗、文字等）。UI事件可在顯示視訊軌的視訊視埠內被執行。圖3是根據一些實施例的在DOM軌中指定的UI事件的實例，該DOM軌包括限於視頻視訊視埠的佈局。在圖3中所示的實例中，UI事件302被封閉在＜DOMCueViewportRestricted＞和＜/DOMCueViewportRestricted＞標籤內，並且UI事件302是使用JAVASCRIPT®來定義的。客戶端104處的串流媒體播放機120可能知道要在視訊視埠內執行UI事件302，因為UI事件302被封閉在＜DOMCueViewportRestricted＞和＜/DOMCueViewportRestricted＞標籤內。
在另一實例中，UI事件不限於視訊視埠，並且不在視訊上疊加物件。在一實例中，在客戶端104處顯示包括「若你想要關於此產品的更多資訊，請按下OK」的對話方塊（例如，經由串流媒體播放機120）。若使用者選擇對話方塊中的「OK」選項，則瀏覽器122可打開將使用者帶到產品網頁的新選項卡，其中使用者可獲得關於產品的更多資訊。例如，商品或服務的供應商可能希望提供關於其供應物的更多資訊，以增加傳輸量及/或向使用者提供關於其產品的更多資訊。UI事件可在顯示視訊軌的視訊視埠外部被執行。圖4是根據一些實施例的在DOM軌中指定的UI事件的實例，該DOM軌包括不限於視訊視埠的佈局。在圖4中圖示的實例中，UI事件402和404被封閉在＜DOMCue＞和＜/DOMCue＞標籤內。UI事件402是使用JAVASCRIPT®來定義的，並且UI事件404是使用HTML來定義的。HTML文件被嵌入UI事件404的＜DOMCue＞和＜/DOMCue＞標籤中。客戶端104處的串流媒體播放機120可能知道要在視訊視埠外部執行UI事件402和404，因為UI事件402和404被封閉在＜DOMCue＞和＜/DOMCue＞標籤內。
串流伺服器102可向串流客戶端串流媒體內容，這些串流客戶端可採取各種終端使用者設備（諸如電視機、筆記型電腦、和移動手持機、以及其他設備）的形式。圖5是圖示根據一些實施例的用於串流媒體內容502的程序流500的方塊圖。在圖5中，串流伺服器102向客戶端104發送可包括若干媒體分量的串流媒體內容502。在圖5中，串流媒體內容502包括複數個軌，該複數個軌包括視訊軌118A、音訊軌118B、隱藏字幕軌206、以及DOM軌210。在一些實例中，串流媒體內容502亦包括提供包括在串流媒體內容502中的軌清單的媒體呈現描述（MDP）檔504。MPD檔504可以是描述串流媒體內容502（諸如其各種表示、可從其檢索檔和相關聯的資訊的統一資源定位符（URL）位址、以及其他特性）的可延伸標記語言（XML）檔或文件。包括在串流媒體內容502之每一者軌可具有在MPD檔504中指定的不同特性。
網路介面130在網路108上接收資料，並且在網路108上傳送資料。在一些實例中，網路介面130接收串流媒體內容502並將其傳遞給串流媒體播放機120。串流媒體播放機120處理串流媒體內容502。MDP檔504向串流媒體播放機120提供關於視訊軌118A及其位置、音訊軌118B及其位置、隱藏字幕軌206及其位置、和DOM軌210及其位置的資訊。串流媒體播放機120可串流視訊軌118A、音訊軌118B、隱藏字幕軌206、以及DOM軌210。
串流媒體播放機120包括處理和串流DOM軌210的DOM呈現器520。DOM呈現器520解析並呈現用視訊軌118A、音訊軌118B、及/或隱藏字幕軌206定時的DOM軌210。DOM呈現器520根據DOM軌210中指定的時間區間集合來串流該軌。例如，DOM呈現器520解析並解讀DOM軌210，並且經由特定標籤（例如，＜DOMCue＞和＜/DOMCue＞標籤、＜DOMCueViewportRestricted＞和＜/DOMCueViewportRestricted＞標籤等）來辨識DOM軌210中的命令。
在一些實施例中，DOM呈現器520標識與串流媒體內容502相關聯的複數個軌。在圖5中，該複數個軌包括DOM軌210，該DOM軌210指定要在一時間區間集合處執行的一或多個UI事件，並且該時間區間集合對應於根據串流媒體內容的時間軸。在一些實例中，UI事件是在一或多個網頁中執行的。每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間。DOM呈現器520根據串流媒體內容的時間軸來呈現DOM軌210。
在一些實例中，瀏覽器122包括作為DOM元素的視訊標籤。由瀏覽器122顯示的網頁可將DOM軌210傳遞給視訊標籤以進行處理。在一些實例中，串流媒體播放機120是瀏覽器122的原生媒體播放機。
DOM呈現器520在其相應的時間區間處執行DOM軌210中指定的UI事件。例如，參照圖3，DOM呈現器520可在串流媒體內容502期間的具有11秒的開始時間和13秒的結束時間的時間區間期間執行UI事件302。UI事件302是根據串流媒體內容502的時間軸來定時的。例如，開始和結束時間是音訊軌118A及/或音訊軌118B中的不同時間點。
DOM呈現器520執行web代碼片段（例如，HTML、JAVASCRIPT等）形式的UI事件。UI事件是用視訊軌118A、音訊軌118B及/或隱藏字幕軌206來定時的。在一些實例中，串流媒體播放機120顯示物件（例如，快顯訊窗、對話方塊等），其中這些物件是在網頁的上下文中用串流媒體內容502來定時的。 III. 實例方法
圖6是圖示根據一些實施例的用於呈現媒體內容的方法600的簡化流程圖。方法600並不意欲進行限制並且可以用於其他應用中。
方法600包括方塊602-606。在方塊602，在計算設備上執行的客戶端應用處接收串流媒體內容。在方塊604，標識與媒體內容相關聯的複數個軌，該複數個軌包括DOM軌，該DOM軌指定要在一時間區間集合處執行的一或多個UI事件，並且該時間區間集合對應於根據串流媒體內容的時間軸。在方塊606，根據串流媒體內容的時間軸來呈現DOM軌。
亦要理解，額外的程序可以在以上所論述的方塊602-606之前、期間或之後執行。亦要理解，本文中所描述的方法600的一或多個方塊可以被按期望省略、組合或以不同的次序執行。
圖7是圖示根據一些實施例的用於產生與媒體內容相關聯的DOM軌的方法700的簡化流程圖。方法700並不意欲進行限制並且可以用於其他應用中。
方法700包括方塊702-706。在方塊702，接收一時間區間集合，每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間。在方塊704，決定要為該時間區間集合中的每一個時間區間執行的一或多個使用者介面（UI）事件。在方塊706，產生指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件的DOM軌。
亦要理解，額外的程序可以在以上所論述的方塊702-706之前、期間或之後執行。亦要理解，本文中所描述的方法700的一或多個方塊可以被按期望省略、組合或以不同的次序執行。
如以上所論述並在此進一步強調的，圖1-7僅僅是實例，其不應當不恰當地限制請求項的範疇。 IV. 實例計算系統
圖8是適於實現本文揭示的任何實施例的實例電腦系統800的方塊圖。在各種實現中，電腦系統800可以是客戶端104或者串流伺服器102在其上執行的計算設備。電腦系統800包括耦合至輸入/輸出（I/O）804組件的控制單元801。
控制單元801可包括一或多個CPU 809，並且可額外地包括一或多個存放裝置，該一或多個存放裝置各自選自包括以下各項的組：軟碟、柔性盤、硬碟、磁帶、任何其他磁性媒體、CD-ROM、任何其他光學媒體、隨機存取記憶體（RAM）、可程式設計唯讀記憶體（PROM）、可抹除ROM（EPROM）、快閃EPROM、任何其他記憶體晶片或卡帶、及/或處理器或電腦被適配成從其讀取的任何其他媒體。該一或多個存放裝置可包括對於使用電腦網路（例如，網路108）耦合至電腦系統800的一或多個計算設備及/或電腦程式（例如，客戶端）可用的所儲存資訊。
電腦系統800包括匯流排802或者其他用於傳達資訊、資料、信號以及在電腦系統800的各個組件之間傳達資訊的通訊機制。各組件包括用於處理使用者動作（諸如從按鍵板/鍵盤選擇按鍵或者選擇一或多個按鈕或連結等，以及向匯流排802發送相應信號）的I/O組件804。I/O組件804亦可包括輸出組件（諸如顯示器811）和輸入控制項（諸如游標控制項813（諸如，鍵盤、按鍵板、滑鼠等））。亦可包括音訊I/O組件805以允許使用者使用語音用於經由將音訊信號轉換為資訊信號來輸入資訊。音訊I/O組件805可允許使用者聽見音訊。在一實例中，客戶端104的使用者可使用游標控制項813及/或音訊I/O組件805來請求串流媒體內容502。在一實例中，串流媒體播放機120可使用音訊I/O組件805來呈現音訊軌118B。
收發機或網路介面130經由至網路的通訊鏈路818在電腦系統800與其他設備（例如，串流伺服器102）之間傳送和接收信號。在一實施例中，該傳輸是無線的，儘管其他傳輸機制和方法亦可以是適合的。另外，顯示器811可經由通訊鏈路818耦合至控制單元801。
CPU 109（其可以是微控制器、數位訊號處理器（DSP）、或其他處理組件）處理這些各種信號，諸如以供在電腦系統800的顯示器811上顯示或者經由通訊鏈路818傳送至其他設備。在一實例中，串流媒體播放機120可將視訊軌118A呈現到顯示器811上。
電腦系統800的組件亦包括系統記憶體組件814（例如，RAM）、靜態儲存組件816（例如，ROM）、及/或電腦可讀取媒體817。電腦系統800經由由CPU 109和其他組件執行在系統記憶體組件814中包含的一或多個指令序列來執行特定操作。邏輯可被編碼在電腦可讀取媒體817中，該電腦可讀取媒體817可以代表參與向CPU 109提供指令以供執行的任何媒體。此類媒體可採取許多種形式，包括但並不限定於非揮發性媒體、揮發性媒體、和傳輸媒體。在各種實現中，非揮發性媒體包括光碟或磁碟、或固態驅動器，揮發性媒體包括動態儲存裝置器（諸如系統記憶體組件814），並且傳輸媒體包括同軸電纜、銅線和光纖（包括包含匯流排802的導線）。在一實施例中，邏輯被編碼在非瞬態電腦可讀取媒體中。電腦可讀取媒體817可以是可包含、儲存、傳達、傳播或傳輸由CPU 109使用或與CPU 109結合的任何裝置。電腦可讀取媒體817可以是電子、磁性、光學、電磁、紅外、或半導體裝置或傳播媒體，或任何其他記憶體晶片或卡帶，或電腦被適配成讀取的任何其他媒體。在一實例中，傳輸媒體可以採用聲波或光波的形式，諸如那些在無線電波、光和紅外資料通訊期間產生的波。
在本案的各個實施例中，用於實踐本案的指令序列（例如，方法600和方法700）的執行可以由電腦系統800執行。在本案的各種其他實施例中，由通訊鏈路818耦合至網路（舉例而言，諸如LAN、WLAN、PTSN、及/或各種其他有線或無線網路，包括電信、移動、和蜂巢式電話網路）的複數個電腦系統800可以執行指令序列以彼此協同地實踐本案。
在適用的情況下，由本案提供的各種實施例可使用硬體、軟體、或硬體和軟體的組合來實現。同樣在適用的情況下，本文闡述的各種硬體組件及/或軟體組件可被結合成包括軟體、硬體、及/或兩者的複合組件而不脫離本案的精神。在適用的情況下，本文闡述的各種硬體組件及/或軟體組件可被分成包括軟體、硬體、或兩者的子組件而不脫離本案的精神。另外，在適用的情況下，構想軟體組件可被實現為硬體組件，反之亦然。
根據本案的應用軟體可被儲存在一或多個電腦可讀取媒體上。亦構想了本文所標識的應用軟體可使用一或多個通用或專用電腦及/或電腦系統來實現、聯網及/或其他。在適用的情況下，本文描述的各個方塊的排序可以改變、組合成複合方塊、及/或分成子方塊以提供本文描述的特徵。
前述揭示並不意欲將本案限定為使用揭示的精確形式或特定領域。如下，構想了對本案的各種替換實施例及/或修改，無論是在本文中隱式描述還是暗含，鑒於本案是可能的。可在形式和細節中作出改變而不脫離本案的範疇。因此，本案僅由請求項來限定。
100‧‧‧系統 102‧‧‧串流伺服器 104‧‧‧客戶端 106‧‧‧媒體內容編碼器 108‧‧‧網路 110‧‧‧原始媒體檔 112‧‧‧內容生產者 116‧‧‧資料庫 118‧‧‧經編碼媒體檔 118A‧‧‧視訊軌 118B‧‧‧音訊軌 120‧‧‧串流媒體播放機 122‧‧‧瀏覽器 130‧‧‧網路介面卡 200‧‧‧程序流 202‧‧‧媒體編輯工具 204‧‧‧隱藏字幕軌產生器 206‧‧‧隱藏字幕軌 208‧‧‧DOM軌產生器 210‧‧‧DOM軌 302‧‧‧UI事件 402‧‧‧UI事件 404‧‧‧UI事件 500‧‧‧程序流 502‧‧‧串流媒體內容 504‧‧‧媒體呈現描述（MDP）檔 520‧‧‧DOM呈現器 600‧‧‧方法 602‧‧‧方塊 604‧‧‧方塊 606‧‧‧方塊 700‧‧‧方法 702‧‧‧方塊 704‧‧‧方塊 706‧‧‧方塊 800‧‧‧電腦系統 801‧‧‧控制單元 804‧‧‧I/O組件 805‧‧‧音訊I/O組件 811‧‧‧顯示器 813‧‧‧游標控制項 816‧‧‧靜態儲存組件
形成本說明書一部分的諸附圖圖示了本發明的諸實施例，並且與本描述一起進一步用以解釋諸實施例的原理。在附圖中，類似的元件符號可指示相同元件或功能上類似的元件。元件在其中首次出現的附圖通常由對應參考標記中的最左邊的數位指示。
圖1是圖示根據一些實施例的用於呈現媒體內容的系統的方塊圖。
圖2是圖示根據一些實施例的用於產生DOM軌的程序流的方塊圖。
圖3是根據一些實施例的在DOM軌中指定的UI事件的實例，該DOM軌包括限於視訊視埠的佈局。
圖4是根據一些實施例的在DOM軌中指定的UI事件的實例，該DOM軌包括不限於視訊視埠的佈局。
圖5是圖示根據一些實施例的用於串流媒體內容的程序流的方塊圖。
圖6是圖示根據一些實施例的用於呈現媒體內容的方法的簡化流程圖。
圖7是圖示根據一些實施例的用於產生與媒體內容相關聯的DOM軌的方法的簡化流程圖。
圖8是根據一些實施例的包括數位訊號處理器的無線設備的方塊圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
(請換頁單獨記載) 無
100‧‧‧系統
102‧‧‧串流伺服器
104‧‧‧客戶端
106‧‧‧媒體內容編碼器
108‧‧‧網路
110‧‧‧原始媒體檔
112‧‧‧內容生產者
116‧‧‧資料庫
118‧‧‧經編碼媒體檔
120‧‧‧串流媒體播放機
122‧‧‧瀏覽器
130‧‧‧網路介面卡

Claims (24)

  1. 一種用於呈現媒體內容的方法，包括以下步驟： 在一計算設備上執行的一客戶端應用處接收串流媒體內容； 標識與該媒體內容相關聯的複數個軌，該複數個軌包括一DOM軌，該DOM軌指定要在一時間區間集合處執行的一或多個使用者介面（UI）事件，並且該時間區間集合對應於根據該串流媒體內容的一時間軸；及 根據該串流媒體內容的該時間軸來呈現該DOM軌。
  2. 如請求項1之方法，其中該複數個軌包括一視訊軌，該方法進一步包括以下步驟： 呈現該視訊軌。
  3. 如請求項1之方法，其中一UI事件是在顯示該視訊軌的一視訊視埠內執行的。
  4. 如請求項1之方法，其中一UI事件是在顯示該視訊軌的一視訊視埠外部執行的。
  5. 如請求項1之方法，其中該複數個軌包括一音訊軌，該方法進一步包括以下步驟： 呈現該音訊軌。
  6. 如請求項1之方法，其中該複數個軌包括一隱藏字幕軌，該方法進一步包括以下步驟： 呈現該隱藏字幕軌。
  7. 如請求項1之方法，其中一UI事件是在一網頁中執行的。
  8. 如請求項1之方法，其中一UI事件是在JAVASCRIPT中定義的。
  9. 如請求項1之方法，其中一UI事件是在超本文標記語言（HTML）中定義的。
  10. 如請求項1之方法，其中一UI事件被封閉在一視訊標籤內。
  11. 如請求項1之方法，其中該DOM軌是以一國際標準組織（ISO）基媒體檔案格式來儲存的。
  12. 如請求項11之方法，其中該DOM軌在一影片頭部中被宣告為一單獨軌。
  13. 如請求項1之方法，其中該DOM軌是作為超文字傳輸協定上的動態自我調整串流（DASH）中的一表示來分發的。
  14. 如請求項13之方法，其中該DOM軌是在一媒體呈現描述（MPD）檔中作為客戶端選擇的一單獨適配集合來發信號通知的。
  15. 如請求項1之方法，其中該DOM軌是作為運動影像專家組（MPEG）媒體傳輸（MMT）中的一資產來分發的。
  16. 如請求項1之方法，其中該DOM軌是作為MMT中的一資產來分發的。
  17. 如請求項1之方法，其中該DOM軌是作為MPEG-2傳輸串流中的基本串流來分發的。
  18. 一種用於呈現媒體內容的系統，包括： 接收串流媒體內容的網路介面；及 耦合至該網路介面的串流媒體播放機，其中該串流媒體播放機標識與該媒體內容相關聯的多個軌，並且根據該串流媒體內容的時間軸來呈現文件物件模型（DOM）軌， 其中該多個軌包括該DOM軌，該DOM軌指定要在一時間區間集合處執行的一或多個使用者介面（UI）事件，並且該時間區間集合對應於該時間軸。
  19. 一種包括多條機器可讀取指令的電腦可讀取媒體，該多條機器可讀取指令在被一或多個處理器執行時被適配成使該一或多個處理器執行方法，該方法包括： 在計算設備上執行的客戶端應用處接收串流媒體內容； 標識與該媒體內容相關聯的多個軌，該多個軌包括DOM軌，該DOM軌指定要在一時間區間集合處執行的一或多個使用者介面（UI）事件，並且該時間區間集合對應於根據該串流媒體內容的時間軸；及 根據該串流媒體內容的該時間軸來呈現該DOM軌。
  20. 一種用於呈現媒體內容的設備，包括： 用於接收串流媒體內容的裝置； 用於標識與該媒體內容相關聯的多個軌的裝置，該多個軌包括DOM軌，該DOM軌指定要在一時間區間集合處執行的一或多個使用者介面（UI）事件，並且該時間區間集合對應於根據該串流媒體內容的時間軸；及 用於根據該串流媒體內容的該時間軸來呈現該DOM軌的裝置。
  21. 一種用於產生與媒體內容相關聯的文件物件模型（DOM）軌的方法，包括： 接收一時間區間集合，每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間； 決定要為該時間區間集合中的每一個時間區間執行的一或多個使用者介面（UI）事件；及 產生DOM軌，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
  22. 一種用於產生與媒體內容相關聯的文件物件模型（DOM）軌的系統，包括： 接收一時間區間集合的串流伺服器，其中每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間， 其中該串流伺服器決定要為該時間區間集合中的每一個時間區間執行的一或多個使用者介面（UI）事件，並且 其中該串流伺服器產生DOM軌，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
  23. 一種包括多條機器可讀取指令的電腦可讀取媒體，該多條機器可讀取指令在被一或多個處理器執行時被適配成使該一或多個處理器執行方法，該方法包括： 接收一時間區間集合，每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間； 決定要為該時間區間集合中的每一個時間區間執行的一或多個使用者介面（UI）事件；及 產生DOM軌，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
  24. 一種用於產生與媒體內容相關聯的文件物件模型（DOM）軌的設備，包括： 用於接收一時間區間集合的裝置，每個時間區間具有與可串流媒體內容的定時重播相對應的開始和結束時間； 用於決定要為該時間區間集合中的每一個時間區間執行的一或多個使用者介面（UI）事件的裝置；及 用於產生DOM軌的裝置，該DOM軌指定所決定的要為該時間區間集合中的每一個時間區間執行的一或多個UI事件。
TW105119328A 2015-06-18 2016-06-20 媒體定時的網頁互動 TW201703537A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562181700P 2015-06-18 2015-06-18
US15/185,676 US20160373498A1 (en) 2015-06-18 2016-06-17 Media-timed web interactions

Publications (1)

Publication Number Publication Date
TW201703537A true TW201703537A (zh) 2017-01-16

Family

ID=56404293

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105119328A TW201703537A (zh) 2015-06-18 2016-06-20 媒體定時的網頁互動

Country Status (8)

Country Link
US (1) US20160373498A1 (zh)
EP (1) EP3311584A1 (zh)
JP (1) JP2018524893A (zh)
KR (1) KR20180019575A (zh)
CN (1) CN107710777A (zh)
BR (1) BR112017027380A2 (zh)
TW (1) TW201703537A (zh)
WO (1) WO2016205768A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917477B2 (en) * 2016-05-25 2021-02-09 Samsung Electronics Co., Ltd. Method and apparatus for MMT integration in CDN
US10887645B2 (en) * 2017-07-13 2021-01-05 Qualcomm Incorporated Processing media data using file tracks for web content
US10733225B1 (en) * 2017-09-06 2020-08-04 Snap Inc. Scaled delivery of media content
US11321516B2 (en) * 2018-01-19 2022-05-03 Qualcomm Incorporated Processing dynamic web content of an ISO BMFF web resource track
CN108509189B (zh) * 2018-04-13 2019-09-10 南京新贝金服科技有限公司 一种基于dom的h5时间选择器的组件统一实现方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070006078A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Declaratively responding to state changes in an interactive multimedia environment
US20070006065A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Conditional event timing for interactive multimedia presentations
CN101246491B (zh) * 2008-03-11 2014-11-05 孟智平 一种在网页中使用描述文件的方法和系统
CN101998162B (zh) * 2009-08-28 2013-03-20 中国移动通信集团公司 实现移动终端中多媒体节目互动业务的方法、系统及装置
US9438654B2 (en) * 2013-04-18 2016-09-06 Futurewei Technologies, Inc. Fragment interface into dynamic adaptive streaming over hypertext transfer protocol presentations
CN103384311B (zh) * 2013-07-18 2018-10-16 博大龙 互动视频批量自动生成方法
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
CN104093079B (zh) * 2014-05-29 2015-10-07 腾讯科技（深圳）有限公司 基于多媒体节目的交互方法、终端、服务器和系统
CN103997691B (zh) * 2014-06-02 2016-01-13 合一网络技术(北京)有限公司 视频交互的方法和系统
CN104113786A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置
CN104135671A (zh) * 2014-07-25 2014-11-05 宁波创视信息技术有限公司 电视视频内容互动问答方法

Also Published As

Publication number Publication date
US20160373498A1 (en) 2016-12-22
EP3311584A1 (en) 2018-04-25
CN107710777A (zh) 2018-02-16
JP2018524893A (ja) 2018-08-30
BR112017027380A2 (pt) 2019-12-03
WO2016205768A1 (en) 2016-12-22
KR20180019575A (ko) 2018-02-26

Similar Documents

Publication Publication Date Title
US10560726B2 (en) System and method for delivery and caching of personalized media streaming content
US10643660B2 (en) Video preview creation with audio
JP6570646B2 (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
US11350184B2 (en) Providing advanced playback and control functionality to video client
TW201703537A (zh) 媒體定時的網頁互動
CN108322775A (zh) 媒体流传输期间在适配集合间的切换方法和装置
WO2015008576A1 (ja) 情報処理装置および情報処理方法
WO2017219575A1 (zh) 在线播放电视的方法及装置
JP2009021933A (ja) オーディオビジュアルデータのストリーミング配信のための装置、プログラム、記録媒体および方法
JP6597604B2 (ja) 受信装置、送信装置、データ通信方法、およびデータ処理方法
CN111869225B (zh) 信息处理装置、信息处理方法及非暂时性计算机可读存储介质
JP6624060B2 (ja) 情報処理装置および情報処理方法
WO2005002231A1 (ja) 映像編集装置
JP2024510181A (ja) メディア再生中のプリロールおよびミッドロールコンテンツをサポートするｍｐｅｇ ｄａｓｈのための方法および装置
CN106330667A (zh) 一种微信明信片生成方法及系统