JP5587435B2 - コンテンツ再生の同期方法及び同期装置 - Google Patents

コンテンツ再生の同期方法及び同期装置 Download PDF

Info

Publication number
JP5587435B2
JP5587435B2 JP2012552221A JP2012552221A JP5587435B2 JP 5587435 B2 JP5587435 B2 JP 5587435B2 JP 2012552221 A JP2012552221 A JP 2012552221A JP 2012552221 A JP2012552221 A JP 2012552221A JP 5587435 B2 JP5587435 B2 JP 5587435B2
Authority
JP
Japan
Prior art keywords
content
difference
display
playback
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012552221A
Other languages
English (en)
Other versions
JP2013520038A (ja
Inventor
チェン，ジアンフェン
マ，シャオジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013520038A publication Critical patent/JP2013520038A/ja
Application granted granted Critical
Publication of JP5587435B2 publication Critical patent/JP5587435B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明はデータ通信等に関連し、特にコンテンツ再生の同期方法に関連する。
リッチメディアアプリケーション(rich media application)における能動的な役割をユーザは楽しむことができるので、リッチメディアアプリケーションは益々普及しつつある。TVネットワークやインターネットの収束(convergence)と共にこの傾向はコンピュータからTV画面に移行するであろう。リッチメディアアプリケーションは、ユーザの相互作用における優位性について信用を得ており、視聴者は、ビデオ、オーディオ、静止画、動画、文字等のような様々なタイプの共同メディア(collaborative media)を鑑賞するだけでなく、同時に複数の装置の間でメディアフローを自由に切り替える又は転送することができる。例えば、ユーザは自動車に関する広告ビデオを取得することができ、その自動車は映画に登場しており、ユーザはミュージアム(museum)のビデオと共にミュージアムの仮想世界に入ることができる。将来のTV番組についてのこの見通しにより、単一の表示装置は、同時に複数のメディアレンダリングを行う十分な表示空間を提供できない。一般的な方法は、TV画面を複数のメディアレンダリング空間に分割する、或いは複数のメディアレンダリングの間で単に切り替えを行うことである。従来、リッチメディアアプリケーションは、TVセットトップボックス(STB)/タブレット/又は他のタイプの端末におけるフラッシュプレーヤ等のような単独の装置におけるリッチメディアプレーヤにより実行されている。ユーザが或るメディアコンテンツとインタラクション(やり取り)をする場合、リッチメディアプレーヤはそのインタラクションのイベントを解釈し、リッチメディアフォーマットで規定されている規則に基づいて他のメディアで応答を行う。メディアコンテンツの2つ以上の部分が1つの装置にレンダリングされた場合、それらを同期させることは容易である。1つの装置における別の同期方法は同期マルチメディア統合言語(Synchronized Multimedia Integration Language：SMIL)を利用することであり、これはモバイルマルチメディアメッセージに広く使用されている。SMILは独立した一群のマルチメディアオブジェクトを同期したマルチメディア表現に統合できるようにする。SMILを用いると、作者(author)は、1)表示の一時的又は暫定的な動作を記述することができ、2)画面における表示のレイアウトを記述することができ、3)メディアオブジェクトにハイパーリンクを関連付けることができる。しかしながら、上記の2つの方法は、リッチメディア群の中の複数の共同メディアコンテンツのメディアフローを複数の表示装置の間で同期させる解決手段を提供しない。
従来、複数の装置に対してメディア同期を行うためのいくつかの方法が存在している。
第1の方法はハードウェアクロックシステム又はネットワーク時間プロトコル(NTP)によるグローバルタイミング同期方法である。NTPは協定世界時(Coordinated Universal Time：UTC)を提供する。NTPv4は、通常、一般的なインターネットにおいて10ミリ秒(1/100秒)以内の時間を維持することができ、理想的な状況のローカルエリアネットワークにおいて200ミリ秒(1/5000秒)以上良い精度を達成できる。NTPプロトコルは物理レイヤの正確な同期を保証するが、アプリケーションレイヤにおけるメディア再生の同期条件を反映できない。メディア再生タイムラインを物理タイムラインに対応させるために、端末はシステムクロックを頻繁に検査しなければならず、これは端末に実装するソフトウエアの複雑さ及びオーバーヘッドを増やすことになる。
第2の方法は、例えば帯域幅保証や遅延時間保証等のようなサービス品質(QoS)を保証するために使用される。視聴者が複数の表示装置を同時に鑑賞する場合、或る程度の時間遅延は許容されるが、その遅延は保証されるべきでありかつメディア伝送QoS制御プロトコル(例えば、リアルタイム伝送プロトコル(RTP)に関連するRTP制御プロトコル(RTCP)等)を用いることで予測可能であるべきである。RTPはメディアストリーム(例えば、オーディオ及びビデオ)を伝送し、RTCPは通信統計及びQoS情報を監視するために使用される。RTCPプロトコルの場合、1つの時間インターバルの間に送信される全てのRTPパケットについて、送信及び受信の統計情報を報告するために、レポートパケットが周期的に送信される。このタイプのプロトコルは送信側から複数の受信側へのパケットレベルでの同期を保証するが、パケット処理、バッファ制御、オーディオ/ビデオデコード、及びプレーヤレンダリング等の複数の表示装置における相違に起因して、最終的に視聴者に提供される再生同期を維持することはできない。同期に関するユーザの観点からの最終的な印象は、表示装置の画面に表示されるメディアフレームに全体的に依存する。
従って、複数の表示装置が同期していない印象を視聴者に与えないように、表示装置におけるコンテンツ表示の段階においてコンテンツ再生を同期させる方法が望まれている。
開示される発明の課題は、複数の表示装置が同期していない印象を視聴者に与えないように、表示装置におけるコンテンツ表示の段階においてコンテンツ再生を同期させることである。
開示される発明による方法は、
表示の段階においてコンテンツの再生を同期させる方法であって、第１のコンテンツが第１の装置に与えられ、前記第１のコンテンツと同一又は関連する第２のコンテンツが第２の装置に与えられ、当該方法は、
前記第１の装置及び前記第２の装置の前記表示の段階において現在再生されている前記第１のコンテンツ及び前記第２のコンテンツの再生位置に関する情報を含むステータスメッセージを、前記第１の装置及び前記第２の装置から受信するステップと、
前記ステータスメッセージに含まれている、前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分が閾値を超えていたことに応じて、前記第１の装置及び前記第２の装置の表示の段階において前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分を前記閾値未満に維持するように調整を実行するステップであって、前記調整は、前記第１の装置及び前記第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信すること、及び前記第１の装置及び前記第２の装置の一方の再生速度を調整する指示を送信することの内の少なくとも１つを利用する、ステップと
を有する方法である。
本発明の実施の形態によるコンテンツ配信システムを示す概略図。 本発明の実施の形態によるゲートウェーの観点からのメディアコンテンツの配信方法を示す図。 本発明の実施の形態による図2のステップ204に関する詳細な手順の具体例を示す図。 本発明の実施の形態による同期QoE及び遅延変動の対応関係の一例を示す図。
＜概要＞
本発明の一形態により提供される方法は、
少なくとも1つのコンテンツフローが与えられる少なくとも2つの表示装置による表示の段階においてコンテンツの再生を同期させる方法であって、
前記表示装置による表示の段階において現在再生されているコンテンツフローの位置に関する情報を含むステータスレポートメッセージを、前記少なくとも2つの表示装置から受信するステップと、
受信した前記ステータスレポートメッセージに基づいて、前記少なくとも2つの表示装置において現在再生されている前記少なくとも1つのコンテンツフローが視聴者に同期外れを感じさせている、と判定された場合、前記視聴者が感じる同期外れの印象を解消するように、前記少なくとも1つのコンテンツフローに対する調整を実行するステップと
を有する方法である。
本発明の別の形態により提供される方法は、
2つの装置にコンテンツを提供するための制御方法であって、第1のコンテンツは第1の装置で提供され、前記第1のコンテンツと同一又は関連する第2のコンテンツは第2の装置で提供され、当該制御方法は、
前記第1のコンテンツ及び前記第2のコンテンツを提供する段階において同期外れである印象を視聴者に与えている、と判定された場合、前記第1のコンテンツ及び/又は前記第2のコンテンツについて調整を実行し、前記第1の装置及び前記第2の装置における前記第1のコンテンツ及び前記第2のコンテンツの間における表示の時間差をそれぞれ減らすステップを有する制御方法である。
本発明の実施の形態によれば、表示段階における同期の問題を解決し、同期外れの印象を視聴者に与えてしまう問題を解消し、その結果許容可能なQoEを視聴者に提供できる。
本発明に関する更なる形態及び利点は、以下の本発明に関する詳細な説明を参照することで更に明らかになることが理解される。
＜詳細な説明＞
本発明の原理を明らかにする以下の説明と共に添付図面は本発明の実施の形態を示す。従って本発明は実施の形態に限定されない。
以下、図面と共に本発明の実施の形態を詳細に説明する。いかの説明において、既存の機能及び構成についての詳細な説明は簡明化のため省略されている。
本発明の原理によれば、2つ以上の表示装置においてマルチメディアコンテンツを再生する際に視聴者に同期外れの印象を与えてしまう問題を解決することが意図されている。発明者等が行った研究開発によれば、同期及び同期外れに関する視聴者の主な印象又は感じ方は、2つ以上の表示装置にレンダリングされた複数のメディアコンテンツ間の遅延時間や、メディアコンテンツのビジュアルリズム(visual rhythm)と共に変化する。この場合において、メディアコンテンツのビジュアルリズムの具体例は、フットボールの試合/動画の予告(高速ビジュアルリズム)や、スタジオ内のアナウンサーによるニュース番組(低速ビジュアルリズム)等の場合である。ビジュアルリズムに関する更なる説明については後述する。
従って、本発明の原理は、2つ以上の表示装置で表示されるビデオ同士の間(異なるタイプのマルチメディアでもよい)の表示段階における遅延時間を、最大許容遅延時間未満に維持することで上記の問題を解決する。次の3つの事項に留意を要する。1)実際の遅延時間が、或るビジュアルリズムのビデオに関する最大許容遅延時間を超える場合、視聴者は自信の主観によりそれらのビデオが同期していないと感じ、したがってそれらは鑑賞の際に許容されない。2)最大許容遅延時間は統計的な方法で(例えば、視聴者のグループからフィードバック/問い合わせ回答を収集することで)取得できる。3)最大許容遅延時間はビデオのビジュアルリズムと共に変化し、例えば、変化が速いビデオ(例えば、フットボールの試合)に関する最大許容遅延時間は変化が遅いビデオ(例えば、ニュース番組)に関するものより短い。更に、後述するリレーションシップエクスポネント(relationship exponent)やビュータイプ(view type)等のような他の要因及びビジュアルリズムの組み合わせに基づいて、最大許容遅延時間が更に分類されてもよい。先ず表示装置がビデオの現在のビデオフレーム番号/現在の時間的な位置を報告するように設定/要求し、次に表示装置からの報告メッセージに基づいて実際の遅延時間を算出することで、実際の遅延時間が取得されてもよい。実際の遅延時間がビジュアルリズム又はビジュアルリズムと他の要因との組み合わせに対応する最大許容遅延時間を超えていた場合、表示装置へのデータ転送レート及び表示装置のバッファサイズを調整することで、実際の遅延時間を最大許容遅延時間未満にする調整が実行される。例えば、所定数のビデオフレームをスキップし、提示/表示の段階における実際の遅延時間を減らすような他の調整方法も可能であることに、当業者は留意を要する。更に、ゲートウェーにおいて同期したコンテンツを配信するための全ての制御機能(例えば、レポートメッセージを処理すること、実際の遅延時間を算出すること、データ伝送レートをゲートウェーに指示すること、及び表示装置に各自のバッファサイズを調整するように指示すること等)は、ゲートウェーから、ネットワークに接続している独立した制御装置又はネットワークに接続している任意の既存の装置に移されてもよいことに、当業者は留意を要する。従って、上記の適応方法を利用して、ゲートウェーにおける伝送レート及びバッファサイズ及び/又は表示装置におけるレンダリング速度を動的に調整することで、メディア同期に関する許容可能な体感品質(Quality of Experience：QoE)を達成できる。
＜＜A．平均オプションスコア(Mean Option Score：MOS)、遅延時間及びビジュアルリズムの間の対応関係を示す遅延ルックアップテーブルが事前に準備される。後述するようにビュータイプ及びリレーションシップエクポネント等のような他の要因も対応関係に含められてもよいことに留意を要する。＞＞
ITU-Tにより規定されているように、QoEはアプリケーションサービスの総合的な又は全体的な許容可能性を、エンドユーザの主観の観点から表現する。発明者等の知る限り、共同コンテンツ(correlative content)の2つのスクリーン又は画面に関してメディア同期を行う参照可能なQoE評価システムは存在しない。デュアル画面又は2つの表示装置は、メディアフローが双方の画面に同時に表示される場合に多数のテスト視聴者を検査し、主観的な判断のための静的な基準値(benchmark value)を取得するために使用される。MOSは、格付けするスケール(判断基準)を用いて品質を格付けする参加者及び制限された視聴体験を主観的に用いる際の適切なインデックスである。同期QoE(Sync−QoE)の記述内容は複数の画面に表示されるコンテンツ同士の間の同期判断を表す。この例は2つの画面のみを使用し、一方は10インチ(25.4cm)サイズの近くのテスタであり、他方は30インチ(76.2cm)サイズの遠く離れたTV画面である(この静的な方法は2つより多くの画面の場合にも適用できることに当業者は留意を要する)。コンテンツの同期は心理的な得点における主要な事項であり、他のタイプ又は種類の視覚効果は無視される。以下のスコア定義表は各レベルの基準に関する判断基準を示す。
Figure 0005587435
 表1：スコア定義表
検査視聴者のグループについて検査を行い、彼らからのフィードバックを収集した後で、一群の基準値が判定される。以下の表は或る視聴者のビュータイプに対するビデオの統計結果の具体例を示す。
Figure 0005587435
 表2：統計結果のテーブルの具体例
この表(テーブル)は、2つの表示装置に提示される或るタイプの或る表示に関し、2つのビデオ同士の間の異なる遅延の平均スコアを示す。スコア定義表によれば、ビデオ間の遅延が500msを超えると、この視聴者は高速ビデオについて同期外れを感じる。
以下、ビジュアルリズム及びビュータイプについてのセットを説明する。当業者は自身の実現手段に関し、本発明の範囲から逸脱することなく、自身のビュータイプセット及びビジュアルリズムセットを設計してよいことに留意を要する。
ビュータイプ(view type)はコンテンツを作成する際のカメラの位置を示す。この例の場合、ビュータイプは、ワンビュータイプ(one view type)、デュアルビュータイプ(dual view type)及びマルチビュータイプ(multiple view type)を含む。ワンビュータイプは、コンテンツが同じ撮影位置から取得されていること、或いは同じコンテンツが表示装置で表示するのに使用されることを意味する。デュアルビュータイプは左側及び右側の位置、上側及び下側の位置、又はその他の異なるアングルの位置に2つのカメラが設けられていたことを意味する。マルチビュータイプはコンテンツを取得する際に複数のカメラが導入され、それらの中に固定された角度又はレンズの位置関係はないことを意味する。
ビジュアルリズムセット(visual rhythm set)は、目下の例の場合、高速(ファースト)、通常速度(ノーマル)及び低速(スロー)を含み、ある期間又はインターバルの中で生じるコンテンツの変動又は変化に対する主観を反映するために使用される。ビジュアルリズムを決定する方法の具体例が、本発明の原理を適切に理解するために説明されるが、これは本発明を制限するものではない。連続するビデオフレーム間の画素/マクロブロック変動のような様々なパラメータが、ビデオのビジュアルリズムを指定するために使用できる。目下の例はYUVフォーマットのビデオシーケンスにおける動きベクトル(Motion Vector：MO)の変動を利用している。YUVモデルは、1つの輝度又はルミナンス(Y)及び2つのクロミナンス(UV)成分の観点から色空間を規定する。YUVモデルは、NTSC、PAL及びSECAMカラー合成ビデオ標準に使用される。処理前のビデオファイルはネットワーク伝送又は保存の前に符号化及び圧縮されるので、パッケージカプセル化フォーマットはMPEG、AVI、RM等とすることができる。フレームレート(1秒間にどの程度多くのフレームが表示されるか)及びフレームサイズ(長さ方向及び幅方向にどの程度多くの画素があるか)はファイルヘッダに保存される。以下の計算例において、1マクロブロック＝16画素×16画素であり、ビデオフレームサイズが352×288である場合、各フレームに396MB(マクロブロック)がある。
Figure 0005587435
 メディアコンテンツから算出されたMv_per_Macroblockによれば、目ディコンテンツのビジュアルリズムはMv_per_Macroblock及びビジュアルリズムの間の対応関係のテーブル(表)に基づいて決定されてよい。以下の表は352×288のフレームサイズにおけるYUVフォーマットビデオの対応関係を示す。
Figure 0005587435
 表3：ビジュアルリズムに関する対応関係
しかしながら、他のビデオフォーマット等を利用する様々な実施形態に依存して、Mv_per_Macroblock及びビジュアルリズム間の異なる対応間駅が使用されてもよいことに、当業者は留意を要する。
以下に遅延ルックアップテーブルの具体例が(完全にではないが)示されており、これは本発明の実施の形態によるコンテンツ配信方法の説明に使用される。ここで、リレーションシップエクスポネント(relationship exponent)という或る別の要素が加わっている。リレーションシップエクスポネントのセットはタイトタイプ(tight type)及びルーズタイプ(loose type)を含む。タイトタイプは、2つ以上の表示装置に表示されているビデオが例えば同じビデオのような同じオブジェクトと共に強く統合され(tightly integrated)、或いは同じシーン/場面/オブジェクトが異なるアングルのカメラにより捕捉されている。ルーズタイプは残りの他の状況を表す。
Figure 0005587435
 表4：遅延ルックアップテーブル
＜＜B．提示の段階で同期したコンテンツを配信する方法が説明される＞＞
図1は本発明の実施の形態によるコンテンツ配信システムの概略図を示す。実施の形態はホーム環境に関して説明されている。本発明はこの形態に限定されないことに当業者は留意を要する。ホーム環境におけるシステムは、ホームゲートウェーと端末1ないし端末Nとして示されている2つ以上の端末(すなわち、表示装置)とを有する。ゲートウェーは、メディアコンテンツのデータフローを端末に配信し、端末が送信したステータスレポートに基づいて調整を行い、視聴者が同期外れをできるだけ感じないようにするために使用される。端末は受信したメディアコンテンツを表示し、そのステータスレポートをゲートウェーに送信し、ゲートウェーが送信したQoE(体感品質)コマンドを実行するために使用される。
図2は2つの端末を含むシステムにおけるゲートウェーの観点からの実施の形態によるメディアコンテンツ配信方法を示す。
ステップ201において、ゲートウェーは2つの端末からステータスレポートメッセージを受信する。ステータスレポートメッセージは、未使用バッファ長、コンテンツ再生状態(再生、一時停止、停止等)、パケット受信状態等を含んでよい。当業者は、本発明の原理に従って各自の実施形態に応じて、ステータスレポートメッセージに含める1つ以上の情報要素を追加又は削除してよい。ステータスレポートメッセージのデータ構造の具体例は以下に示されている。上述したように、このステータスレポートメッセージは一例にすぎず、他のデータ構造が当業者により設計されてよい。
Figure 0005587435
 表5：ステータスレポートメッセージ
ここで、2つの端末はステータスレポートメッセージを周期的に同時に送信することが可能であり、例えば、同じ時点から開始し、ステータスレポートメッセージを10秒毎に送信してもよいし、或いはゲートウェーが送信したリクエストメッセージに応じてステータスレポートメッセージを送信してもよい。ステータスレポートメッセージにおけるポジションフィールドは、同じセッションIDのメディアコンテンツに関する遅延変動を算出するのに使用される。端末はその端末で現在表示されている再生位置を検出し、検出した位置をステータスレポートメッセージのポジションフィールドに書き込むことができる。
ステップ202において、ゲートウェーは受信したステータスレポートメッセージに基づいて遅延変動を判定する。この例の場合、関連するビデオは同じセッションIDを使用している。遅延変動は、2つのステータスレポートメッセージのポジションフィールドの値の間の差分である。
ステップ203において、ゲートウェーは、遅延変動が閾値を超えているか否かを判定する。超えていなかった場合、ゲートウェーは何もせず、超えていた場合、フローはステップ204に進む。閾値又は最大許容遅延時間(maximum tolerable time delay)はビジュアルリズムに応じて変動してもよいし、又はビジュアルリズムと他の要因との組み合わせ(上記の例の場合、組み合わせは、ビジュアルリズム、ビュータイプ及びリレーションシップエクスポネントを含む)に応じて変動してもよい。閾値は遅延ルックアップテーブルにおいて許容可能なMOSに対応する遅延時間(すなわち、≧3)でもよく、更に、遅延ルックアップテーブルにおける許容可能なMOSに対応する遅延時間に比例してもよい。ゲートウェーは、遅延ルックアップテーブルを参照することで、受信したビデオに対する閾値を自動的に決定することができる。
ステップ204において、ゲートウェーは、端末の表示段階において視聴者が同期外れを感じなくなるように調整を実行する。例えば、その調整は、ゲートウェーが端末に対する送信データレートを調整し、端末のバッファサイズ及び/又はレンダリング速度を変更するように端末にコマンドを送信することで実行されてもよい。ここで、ビデオに関する送信データレートの調整は、ゲートウェーのバッファを制御することで実現されてもよい。具体的には、このステップは図3に示されている具体例の手順に分かれていてもよい。
ステップ301において、ゲートウェーはメディアコンテンツのビジュアルリズム、ビュータイプ及び/又はリレーションシップエクスポネントを判定又は特定する。上述したように、ゲートウェーが配信するメディアコンテンツは、同じスポーツイベント、又は映画及びその広告に関する2つ以上の表示のビデオであってもよい。メディアコンテンツはビデオ、オーディオ、フラッシュ、テキスト等のような他のタイプの要素の組み合わせを含んでいてもよいことに留意を要する。2つ以上の表示のビデオの場合、ビジュアルリズムは各々のビデオに基づいて判定されてもよい。映画及びその広告の場合、ビジュアルリズムは主要なコンテンツ、すなわちこの場合は映画に基づいて判定される。ビュータイプ及びリレーションシップエクスポネントに関する情報は、メディアコンテンツに含められてもよく、ゲートウェーによって取得できるようになっていてもよいし、或いはゲートウェーがそれらの情報についてコンテンツサーバに問い合わせを行ってもよい。
ステップ302において、ゲートウェーは、ビジュアルリズム、ビュータイプ及びリレーションシップエクスポネントと共に遅延ルックアップテーブルを参照することで、共用可能なQoEの上限及び優良QoE(excellent QoE)の下限を判定する。
ステップ303において、ゲートウェーは、送信データレートを調整し、コマンドを端末に送信することで端末のバッファサイズを調整する。一般に、遅延変動が大きくない場合に、端末のバッファサイズを調整する。遅延変動が開発者により規定された閾値より大きかった場合、再生速度コマンドを用いて、1.5x、2x等によりある端末の高速転送を行うことができる。更に、いくつかのビデオフレームをスキップすることを或る端末に指示することもできる。コマンドのデータ構造及びコンテンツ同期アルゴリズムは以下に示されており、この点については後述される。
Figure 0005587435
 表6：QoEコマンドメッセージ
ステップ301ないし303は実施の形態による可能な一例にすぎず、当業者はこと案ルフィールドと共にテーブル又は表を作成し、それに応じて手順又はステップを変更してもよいことに、留意を要する。例えば、遅延ルックアップテーブルにおいて、ビュータイプ及びリレーションシップのフィールドを除去し、それに応じてゲートウェーがステップ301においてビュータイプ及びリレーションシップエクスポネントを判定しないようにしてもよい。
＜＜C．アルゴリズムの説明＞＞
デュアルスクリーン(2画面)に関するQoE試験に応じて、ファースト/ノーマル/スロー変動ビジュアルリズムコンテンツについての閾値としてθf、θn、θsを定義する。図4は同期QoE及び遅延変動の対応関係(マッピング)の一例を示す。βf、βn、βsが許容可能なQoEの上限であると仮定し、αf、αn、αsが優良QoEの下限であると仮定する。θはβの値に比例し、ここで、θ＝p×β、0＜p＜1であるとする。α及びθの間の区間において、緩慢な調整を行うために軽い重み付けの(light-weighted)レート制御が行われる一方、θ及びβの間の区間においては、遅延変動が上限に近いので、鋭い調整を行うために重い重み付けの(heavy-weighted)レート制御が行われる。Δt＝｜ti-tj｜は2つの端末i及びjの間の現在の遅延変動である。ti＞tjであるとすると、i及びjに対するデータ送信レート(ri，rj)とi及びjに対するバッファ調整(bi，bj)は、以下の数式により規定される。
Figure 0005587435
 ここで、Treqは「ステータスリクエスト」問い合わせサイクルの時間間隔であり、その頻度は遅延変動値Δtによっても決定される。これがα未満であった場合、頻度は何秒間の内に1回として指定され、Δtがα及びβの間に位置していた場合、頻度は1秒間に1回であり、Δtがβより大きかった場合、頻度は再生ステータスを高速に監視するためにマイクロ秒レベルで指定されるべきである。
画面が多すぎると人間の注意力が分散されてしまうので、上記の例では2画面しか考慮されていなかったが、開示される発明は多数の画面の応用例に拡張可能である。1回の問い合わせの後に全てのステータスレポートを取得すると、分類、ソート又は並べ替え手順が実行され、ti max及びtj min並びにΔt＝ti max−tj minを決定する。擬似コードによる詳細なアルゴリズムは以下のとおりである。
Figure 0005587435
 ビデオサーバ及びゲートウェー間の貧弱なネットワーク接続に起因して、表示装置におけるビデオはしばしば同期外れになる。従ってこの問題を解決するために、ゲートウェーのバッファは、バッファがより多くのデータを蓄積するように増やされ、それにより端末に送信する十分なデータを用意することができる。
上記の実施の形態はビデオ同士の間に関連していたが、本発明の原理は視聴者に同期外れを感じさせる他の状況(例えば、ビデオとオーディオとの間、ビデオと字幕との間等)に適用されてもよい。
本発明の変形例によれば、ゲートウェーの代わりに、上記の機能を有するルータ等のような他のコンテンツ配信装置が使用されてもよい。
以上、多くの実施の形態が説明されてきた。しかしながら様々な変形例がなされてもよいことに留意を要する。例えば様々な実施の形態の要素は、他の形態をもたらすように、組み合わせられてもよいし、付加されてもよいし、修正されてもよいし或いは除去されてもよい。更に、他の構造及びプロセス(又は手順)が説明された形態に適用されてもよいこと、及びその結果の実施の形態は少なくとも実質的に同様な機能を少なくとも実質的に同様に発揮し、上述したのと同様な結果緒を少なくとも実質的に達成できることを、当業者は理解するであろう。従ってこれら及びその他の実施の形態は本発明の範囲内に属する。

Claims (10)

  1. 表示の段階においてコンテンツの再生を同期させる方法であって、第１のコンテンツが第１の装置に与えられ、前記第１のコンテンツと同一又は関連する第２のコンテンツが第２の装置に与えられ、当該方法は、
    前記第１の装置及び前記第２の装置の前記表示の段階において現在再生されている前記第１のコンテンツ及び前記第２のコンテンツの再生位置に関する情報を含むステータスメッセージを、前記第１の装置及び前記第２の装置から受信するステップと、
    前記ステータスメッセージに含まれている、前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分が閾値を超えていたことに応じて、前記第１の装置及び前記第２の装置の表示の段階において前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分を前記閾値未満に維持するように調整を実行するステップであって、前記調整は、前記第１の装置及び前記第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信すること、及び前記第１の装置及び前記第２の装置の一方の再生速度を調整する指示を送信することの内の少なくとも１つを利用する、ステップと
    を有する方法。
  2. 前記ステータスメッセージが、前記第１の装置及び前記第２の装置から周期的に受信される、請求項１記載の方法。
  3. 前記ステータスメッセージを受信する前に、当該方法は、前記ステータスメッセージを送信することを指示するリクエストメッセージを送信するステップを有する、請求項１記載の方法。
  4. 前記第１のコンテンツ又は前記第２のコンテンツのビュータイプ、前記第１のコンテンツ又は前記第２のコンテンツのビジュアルリズム、及び前記第１のコンテンツ及び前記第２のコンテンツのリレーションシップエクスポネントの内の少なくとも１つに基づいて前記閾値を決定するステップ
    を更に有する請求項１記載の方法。
  5. 前記調整を実行するステップにおいて、前記差分が別の閾値より大きくなかった場合には、前記第１の装置及び第２の装置の内の少なくとも一方のバッファサイズを調整し、前記差分が前記別の閾値より大きかった場合には、前記第１の装置及び第２の装置の内の一方の再生速度を調整する、或いは前記第１の装置及び第２の装置の内の一方に所定数のコンテンツフレームをスキップさせる、請求項１記載の方法。
  6. 前記コンテンツフローのタイプはビデオ、オーディオ、フラッシュ及びテキストを含む、請求項１−５の何れか１項に記載の方法。
  7. 第１の装置に与えられる第１のコンテンツと、前記第１のコンテンツと同一又は関連する第２の装置に与えられる第２のコンテンツとの表示の段階においてコンテンツの再生を同期させる装置であって、
    前記第１の装置及び前記第２の装置の前記表示の段階において現在再生されている前記第１のコンテンツ及び前記第２のコンテンツの再生位置に関する情報を含むステータスメッセージを、前記第１の装置及び前記第２の装置から受信する手段と、
    前記ステータスメッセージに含まれている、前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分が閾値を超えていたことに応じて、前記第１の装置及び前記第２の装置の表示の段階において前記第１のコンテンツ及び前記第２のコンテンツの再生位置の差分を前記閾値未満に維持するように調整を実行する手段と、
    前記第１の装置及び前記第２の装置の再生速度を調整する指示を送信し、及び/又は前記第１の装置及び前記第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信する手段と
    を有する装置。
  8. 前記第１のコンテンツ又は前記第２のコンテンツのビュータイプ、前記第１のコンテンツ又は前記第２のコンテンツのビジュアルリズム、及び前記第１のコンテンツ及び前記第２のコンテンツのリレーションシップエクスポネントの内の少なくとも１つに基づいて前記閾値を決定する手段
    を更に有する請求項７記載の装置。
  9. 前記調整を実行する手段において前記差分が別の閾値より大きくなかった場合には、送信する手段は、前記第１の装置及び第２の装置の内の少なくとも一方のバッファサイズを調整する指示を送信し、前記差分が前記別の閾値より大きかった場合には、送信する手段は、前記第１の装置及び第２の装置の内の一方の再生速度を調整する指示を送信する、或いは前記第１の装置及び第２の装置の内の一方に所定数のコンテンツフレームをスキップさせる指示を送信する、請求項７記載の装置。
  10. コンテンツフローの送信データレートを調整する手段
    を更に有する請求項７記載の装置。
JP2012552221A 2010-02-12 2010-02-12 コンテンツ再生の同期方法及び同期装置 Expired - Fee Related JP5587435B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/000201 WO2011097762A1 (en) 2010-02-12 2010-02-12 Method for synchronized content playback

Publications (2)

Publication Number Publication Date
JP2013520038A JP2013520038A (ja) 2013-05-30
JP5587435B2 true JP5587435B2 (ja) 2014-09-10

Family

ID=44367120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012552221A Expired - Fee Related JP5587435B2 (ja) 2010-02-12 2010-02-12 コンテンツ再生の同期方法及び同期装置

Country Status (9)

Country Link
US (1) US9686570B2 (ja)
EP (1) EP2534833B1 (ja)
JP (1) JP5587435B2 (ja)
KR (1) KR101687640B1 (ja)
CN (1) CN102714708B (ja)
AU (1) AU2010345675B2 (ja)
BR (1) BR112012017687A2 (ja)
HK (1) HK1180152A1 (ja)
WO (1) WO2011097762A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811366B1 (ko) * 2016-06-08 2017-12-22 에스케이텔레콤 주식회사 미디어 재생 프로그램

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
JP5510000B2 (ja) * 2010-03-31 2014-06-04 ソニー株式会社 コンテンツ送信装置、コンテンツ再生システム、コンテンツ送信方法、およびプログラム
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
JP5664229B2 (ja) * 2010-12-28 2015-02-04 ソニー株式会社 送信装置、送信方法、及びプログラム
US8930577B2 (en) * 2011-09-13 2015-01-06 Microsoft Corporation Synchronizing streaming video between viewers over a network
US20130076980A1 (en) * 2011-09-26 2013-03-28 Amichay Oren Systems and methods for synchronizing the presentation of a combined video program
GB2495929B (en) 2011-10-25 2014-09-03 Skype Jitter buffer
GB2495927B (en) 2011-10-25 2015-07-15 Skype Jitter buffer
GB2495928B (en) 2011-10-25 2016-06-15 Skype Jitter buffer
EP2611051B1 (en) * 2011-12-29 2014-06-04 Thomson Licensing Method for synchronizing media services
CN104040917B (zh) * 2012-01-12 2016-08-24 华为技术有限公司 用于服务质量控制的系统和方法
US20150033277A1 (en) * 2012-03-23 2015-01-29 Thomson Licensing Method of buffer management for synchronization of correlated media presentations
US9167009B2 (en) 2012-05-08 2015-10-20 International Business Machines Corporation Presenting data to electronic meeting participants
US10210480B2 (en) * 2012-05-31 2019-02-19 Apple Inc. Avoiding a redundant display of a notification on multiple user devices
CN103634621B (zh) * 2012-08-27 2019-04-16 中兴通讯股份有限公司 一种视频推荐业务中播放同步控制方法及装置、系统
CN102880888A (zh) * 2012-08-28 2013-01-16 王令徽 商品内外两层包装之间的关联方法
US20140096169A1 (en) * 2012-09-28 2014-04-03 Joseph Dodson Playback synchronization in a group viewing a media title
US8978076B2 (en) * 2012-11-05 2015-03-10 Comcast Cable Communications, Llc Methods and systems for content control
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
CN103079088B (zh) * 2012-12-14 2016-06-29 广东威创视讯科技股份有限公司 多屏视频预处理与同步播放方法和系统
US10616086B2 (en) 2012-12-27 2020-04-07 Navidia Corporation Network adaptive latency reduction through frame rate control
CN105791421B (zh) * 2013-01-30 2019-01-04 恒鸿达科技有限公司 一种多台广告机同步播放的方法以及系统
KR102037413B1 (ko) * 2013-02-22 2019-11-26 삼성전자주식회사 스트리밍 서비스를 제공하기 위한 동적 버퍼링 방법 및 그 장치
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US9838506B1 (en) * 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
WO2014157889A1 (en) * 2013-03-25 2014-10-02 Samsung Electronics Co., Ltd. Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
US9826015B2 (en) * 2013-09-04 2017-11-21 Qualcomm Incorporated Dynamic and automatic control of latency buffering for audio/video streaming
KR20150037372A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 영상표시장치, 컨텐츠 동기화 서버 및 그 동작방법
US9210204B2 (en) * 2013-10-31 2015-12-08 At&T Intellectual Property I, Lp Synchronizing media presentation at multiple devices
WO2015084000A1 (ko) * 2013-12-02 2015-06-11 삼성전자 주식회사 콘텐츠 송수신 장치 및 방법
JP6294062B2 (ja) 2013-12-02 2018-03-14 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． コンテンツ受信装置およびコンテンツ配信システム
US9323865B2 (en) * 2013-12-24 2016-04-26 TCL Research America Inc. Content alignment method and system
US20150189012A1 (en) * 2014-01-02 2015-07-02 Nvidia Corporation Wireless display synchronization for mobile devices using buffer locking
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
CN104243850B (zh) * 2014-09-15 2018-04-17 苏州佳世达电通有限公司 资料同步播放的方法
CN104332166B (zh) * 2014-10-21 2017-06-20 福建歌航电子信息科技有限公司 可快速验证录音内容准确性、同步性的方法
US9270563B1 (en) * 2014-11-24 2016-02-23 Roku, Inc. Apparatus and method for content playback utilizing crowd sourced statistics
CN105656616B (zh) * 2014-12-03 2019-02-05 中国移动通信集团公司 多设备间数据同步的方法、装置、发送端及接收端
CN104796584A (zh) * 2015-04-23 2015-07-22 南京信息工程大学 具有语音识别功能的提词装置
CN104853239B (zh) * 2015-04-27 2018-08-31 浙江生辉照明有限公司 音视频同步播放控制方法和系统
US10015370B2 (en) * 2015-08-27 2018-07-03 Htc Corporation Method for synchronizing video and audio in virtual reality system
US9628839B1 (en) * 2015-10-06 2017-04-18 Arris Enterprises, Inc. Gateway multi-view video stream processing for second-screen content overlay
WO2017119408A1 (ja) * 2016-01-07 2017-07-13 日本電気株式会社 送信データ量制御装置、方法および記録媒体
US20170251235A1 (en) * 2016-02-29 2017-08-31 Rovi Guides, Inc. Systems and methods for synchronizing media asset playback on multiple devices
CN106057222B (zh) * 2016-05-20 2020-10-27 联想(北京)有限公司 一种多媒体文件的播放方法及电子设备
US10510317B2 (en) 2016-06-03 2019-12-17 Apple Inc. Controlling display performance with target presentation times
US10388054B2 (en) 2016-06-03 2019-08-20 Apple Inc. Controlling display performance using animation based refresh rates
CN106454474B (zh) * 2016-10-08 2019-08-06 Oppo广东移动通信有限公司 多媒体同步播放方法、装置及系统
CN106488289B (zh) * 2016-10-08 2019-07-16 Oppo广东移动通信有限公司 音频同步播放方法、装置及系统
KR20180043112A (ko) * 2016-10-19 2018-04-27 차성웅 가상 현실을 실현하는 사용자 장치가 컨텐츠를 제공하는 외부 장치와 연동하도록 하는 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN106507202B (zh) 2016-11-11 2019-12-17 传线网络科技（上海）有限公司 播放控制方法及装置
CN108345436A (zh) * 2017-01-25 2018-07-31 精英电脑股份有限公司 同步控制多个显示器的方法
EP3661219A4 (en) * 2017-09-22 2020-07-15 NTT Docomo, Inc. COMMUNICATION QUALITY ADJUSTMENT SYSTEM
EP3900373A4 (en) * 2018-12-18 2022-08-10 Intel Corporation DISPLAY-BASED AUDIO DIVISION IN MULTIMEDIA ENVIRONMENTS
US10735825B1 (en) * 2019-02-07 2020-08-04 Disney Enterprises, Inc. Coordination of media content delivery to multiple media players
CN109887457A (zh) * 2019-02-28 2019-06-14 佛山星乔电子科技有限公司 一种地铁半透显示装置的信号控制系统及其控制方法
CN109859643A (zh) * 2019-02-28 2019-06-07 佛山星乔电子科技有限公司 一种应用于地铁屏蔽门的透明显示模组
CN110430445B (zh) * 2019-06-26 2021-12-10 深圳拙河科技有限公司 一种视频同步播放方法、装置、设备及介质
CN110446084B (zh) * 2019-07-09 2021-10-12 新华三技术有限公司合肥分公司 延时确定方法、显示设备、系统及计算机存储介质
EP4144097A4 (en) * 2020-05-01 2024-07-03 Arris Entpr Llc METHOD AND SYSTEM FOR SYNCHRONIZED VIEWING OF CONTENT ON MULTIPLE REMOTE MULTIMEDIA CONTENT PLAYBACK DEVICES
CN111970414A (zh) * 2020-07-20 2020-11-20 北京百度网讯科技有限公司 基于实时测温系统的画面同步方法、装置及存储介质
US11741933B1 (en) 2022-03-14 2023-08-29 Dazn Media Israel Ltd. Acoustic signal cancelling
US11943276B2 (en) * 2022-03-23 2024-03-26 International Business Machines Corporation Line-drawing video conferencing

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
JPH10262208A (ja) * 1997-03-19 1998-09-29 Sony Corp 同期ずれ制御装置及び方法
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
EP1510031A4 (en) * 2002-05-06 2009-02-04 Syncronation Inc LOCALIZED AUDIO NETWORKS AND ASSOCIATED DIGITAL TOOLS
JP2005244605A (ja) 2004-02-26 2005-09-08 Nippon Telegr & Teleph Corp <Ntt> ストリーミングコンテンツ配信制御システム、プログラム及び該プログラムを格納した記録媒体
US7657829B2 (en) * 2005-01-20 2010-02-02 Microsoft Corporation Audio and video buffer synchronization based on actual output feedback
JP4441874B2 (ja) 2005-02-24 2010-03-31 ソニー株式会社 情報処理システム、再生端末装置および再生方法、情報処理装置および方法、並びにプログラム
US7668914B2 (en) * 2005-03-28 2010-02-23 Alcatel Lucent Milestone synchronization in broadcast multimedia streams
CN101119461B (zh) * 2006-08-02 2010-05-12 广达电脑股份有限公司 保持视频帧及音频帧同步播放的系统及方法
JP4850041B2 (ja) * 2006-11-28 2012-01-11 アルパイン株式会社 映像再生システム、映像再生の同期方法および映像再生端末
US8054382B2 (en) * 2007-05-21 2011-11-08 International Business Machines Corporation Apparatus, method and system for synchronizing a common broadcast signal among multiple television units
JP4986229B2 (ja) * 2007-06-27 2012-07-25 Ｋｄｄｉ株式会社 同期した異なる種類のストリーミングデータを受信し且つ同時に再生する受信システム、受信装置及びプログラム
JP2009164862A (ja) * 2008-01-07 2009-07-23 Hitachi Ltd コンテンツ受信装置、コンテンツ送信装置、コンテンツ送受信装置
US8190683B2 (en) * 2008-02-29 2012-05-29 Microsoft Corporation Synchronizing multiple user remote content playback
US8549575B2 (en) * 2008-04-30 2013-10-01 At&T Intellectual Property I, L.P. Dynamic synchronization of media streams within a social network
CN101290790B (zh) * 2008-06-16 2011-07-13 北京中星微电子有限公司 一种音视频同步播放的方法和装置
CN101304351A (zh) * 2008-06-30 2008-11-12 湖南创智数码科技股份有限公司 基于点对点传输的流媒体直播系统同步播放方法
KR101535827B1 (ko) * 2008-12-05 2015-07-27 삼성전자주식회사 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811366B1 (ko) * 2016-06-08 2017-12-22 에스케이텔레콤 주식회사 미디어 재생 프로그램

Also Published As

Publication number Publication date
WO2011097762A1 (en) 2011-08-18
EP2534833B1 (en) 2016-04-27
BR112012017687A2 (pt) 2016-04-05
CN102714708A (zh) 2012-10-03
EP2534833A4 (en) 2013-11-20
KR20130008522A (ko) 2013-01-22
CN102714708B (zh) 2016-06-01
JP2013520038A (ja) 2013-05-30
KR101687640B1 (ko) 2016-12-19
AU2010345675A1 (en) 2012-07-26
US9686570B2 (en) 2017-06-20
EP2534833A1 (en) 2012-12-19
HK1180152A1 (zh) 2013-10-11
AU2010345675B2 (en) 2014-09-04
US20120311043A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP5587435B2 (ja) コンテンツ再生の同期方法及び同期装置
US20220345757A1 (en) Bitrate control in a virtual reality (vr) environment
US11109089B2 (en) Bitrate control in virtual reality (VR) environments using time-shifting and unicast delivery
CN105491393A (zh) 多人视频直播业务的实现方法
CN105453580B (zh) 接收方法、发送方法、接收装置及发送装置
EP3113498A1 (en) Synchronized rendering of split multimedia content on network clients
CN106817628B (zh) 一种网络直播平台
CN112351303B (zh) 一种网络会议中的视频共享方法、系统和可读存储介质
CN114546308A (zh) 应用界面投屏方法、装置、设备以及存储介质
Marfil et al. Synchronization mechanisms for multi-user and multi-device hybrid broadcast and broadband distributed scenarios
Marfil et al. IDMS solution for hybrid broadcast broadband delivery within the context of HbbTV standard
KR102271686B1 (ko) 이종 네트워크 기반의 멀티미디어 자원 동기화 푸시 방법
Nunome et al. The effect of contents and available viewpoints on QoE of multi-view video and audio over WebRTC
CN107801103B (zh) 异构网络下基于网络状况的多媒体资源自适应同步方法
CN115314745B (zh) 一种流媒体同步方法
CN112291577B (zh) 直播视频的发送方法和装置、存储介质、电子装置
CN105393533B (zh) 播放多个媒体内容的方法、装置和网络媒体系统
Sarni et al. A novel scheme for a fast channel change in multicast IPTV system
CN117221637A (zh) 视频播放方法以及相关设备
TW202137772A (zh) 穩定網路影音遞送時延之系統及方法
Chen et al. QoE based adaptation mechanism for media distribution in connected home
Rønningen Distributed multimedia plays virtual dinner

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140306

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140723

R150 Certificate of patent or registration of utility model

Ref document number: 5587435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees