JP6732970B2 - 異種ネットワークに基づくマルチメディアリソースを同期に送る方法 - Google Patents

異種ネットワークに基づくマルチメディアリソースを同期に送る方法 Download PDF

Info

Publication number
JP6732970B2
JP6732970B2 JP2018567950A JP2018567950A JP6732970B2 JP 6732970 B2 JP6732970 B2 JP 6732970B2 JP 2018567950 A JP2018567950 A JP 2018567950A JP 2018567950 A JP2018567950 A JP 2018567950A JP 6732970 B2 JP6732970 B2 JP 6732970B2
Authority
JP
Japan
Prior art keywords
time
resource
multimedia
broadband
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018567950A
Other languages
English (en)
Other versions
JP2019527497A (ja
Inventor
異凌 徐
異凌 徐
文軍 張
文軍 張
▲さん▼ 馮
▲さん▼ 馮
浩 陳
浩 陳
延峰 王
延峰 王
軍 孫
軍 孫
雲峰 管
雲峰 管
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201610757375.1A external-priority patent/CN107801103B/zh
Priority claimed from CN201610916013.2A external-priority patent/CN107968950A/zh
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Publication of JP2019527497A publication Critical patent/JP2019527497A/ja
Application granted granted Critical
Publication of JP6732970B2 publication Critical patent/JP6732970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00Modulated-carrier systems
    • H04L27/26Systems using multi-frequency codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64761Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769Control signals issued by the network directed to the server or the client directed to the server for rate control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、情報技術分野の異種ネットワークにおけるメディア伝送方法に関し、特に異種ネットワーク(Heterogeneous Network)に基づくマルチメディアリソースを同期に送る方法に関する。
日進月歩のネットワーク技術にともない、メディアの表示方式は大きく変化され、新しいメディアの表示形式が絶えずに現われている。従来のテレビは既に人々が情報を取得し娯楽する主要なルートになっておらず、より多くの端末設備、例えば、インターネットに接続されるPC、ほぼ一人一台の携帯電話および日々普及されているモバイルタブレット等が我々の目の前に現れ、これらの新製品は既に従来のテレビ業務の市場を侵食している。マルチメディア業務は変革されつつあるモバイル通信および広帯域無線技術の発展にともなって日々成熟しており、大規模なメディア融合は既に必然な趨勢となっている。この過程において、新しい考え方および高品質製品が次々と現れ、ユーザは便利にネットワークに接続し、さらに豊かなメディアコンテンツおよび多様性のサービスを簡単に使用できるようになっている。
同時に、メディアコンテンツの表示は簡単なビデオ、オーディオ、字幕だけでなく、メディアの種類が増々豊富になっている。メディアの出所も特定のコンテンツプロバイダに限らず、より多くの制作者が参入され、多くの個人ユーザはコンテンツの提供者および制作者でもある。これらの異なる提供者からのコンテンツには様々な関連関係が存在し、異なるユーザのカスタマイズ要求を満たすために、これらの関連内容は往々にして同期に表示しなければならない場合が多い。このような環境のもとにおいて、異種ネットワークの融合は次世代ネットワーク発展の必然な趨勢として、未来の通信がこれ以上ある特定のアクセス技術ではなく、様々なアクセス技術が共存し、協同動作することを十分に説明している。
異種メディアネットワークの環境において、端末が表示するメディアコンテンツは同時に複数の伝送チャネル、例えば、ブロードキャストチャネルおよび広帯域チャネルから伝送されてくることができる。ブロードキャストチャネルのメディアリソースは遅延が短く(基本的に無視する)、帯域幅が広くて安定である特徴を有するが、異なる広帯域チャネル(WIFI、3G/4G等)は、帯域幅およびネットワーク遅延において大きな差異性を有する。
このため、ブロードキャストおよび広帯域により構成される異種ネットワークのメディアリソースサービスにおいては、広帯域チャネルのネットワーク状況の差異性により、以下の3つの非同期の事情が存在しうる。
一つ目は、サーバー端がブロードキャストによってユーザにメディアコンテンツを送信する場合において、ユーザが同じメディアコンテンツの広帯域リソースをリクエストすると、広帯域ネットワークの遅延および帯域幅により、クライアント端においてはブロードキャストおよび広帯域から受信したコンテンツが時間的に非同期となる。
二つ目は、サーバー端がブロードキャストおよび広帯域によってユーザに同じメディアコンテンツを送信する場合において、ユーザが広帯域リソースのメディアストリーム(例えば、異なる視角、異なるオーディオ等)の変更をリクエストすると、メディアストリーミングを切り換える際に、異なる広帯域ネットワークの遅延および帯域幅が異なるため、端末においては新しい帯域幅コンテンツとブロードキャストコンテンツとが非同期となる。
三つ目は、サーバー端がブロードキャストおよび広帯域によってユーザに同じメディアコンテンツを送信する場合において、ある時刻に広帯域ネットワークの状況が悪化して広帯域チャネルの放送がスムーズにならず、ビデオが再度スムーズに放送される時まで待つと、異なるユーザ同士においてブロードキャストと広帯域のリソースとが非同期となる。
したがって、次世代異種ネットワークの伝送システムにおいて、どのようにしてサーバー端がネットワーク状況に応じてマルチメディアリソースを同期伝送するようにさせるかは、解決しなければならない問題である。
本発明は上記問題に鑑みてなされたものであって、異種ネットワーク伝送におけるサーバー端のブロードキャストメディアと広帯域メディアコンテンツとが同期するメカニズムを実現し、異種ネットワーク伝送におけるネットワーク状況の違いによりブロードキャストと広帯域ユーザのメディアリソースとが非同期となる問題を解決できる異種ネットワークに基づくマルチメディアリソースを同期に送る方法を提供することを目的とする。
上記目的を達成するための本発明に係る異種ネットワークに基づくマルチメディアリソースを同期に送る方法は、以下の2つの方法のうちいずれか1つを用い、
方法1として、
サーバー端により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得するステップ1と、
サーバー端がユーザ端からのリクエストを受信した後、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、異なるユーザの広帯域コンテンツが全て同期表示できるように、ユーザ端がメディアリソースの開始表示時間に基づいてコンテンツを同期放送するステップ3と、を含み、
方法2として、
サーバー端により、異なるユーザの所在する広帯域ネットワークの遅延および利用可能な広帯域情報を取得するステップ1と、
サーバー端がユーザ端からのリクエストを受信した後、異なるユーザの所在する広帯域ネットワークの遅延および利用可能な広帯域情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、ユーザ端にマルチメディアリソースコンテンツの放送開始時間を通知し、異なるユーザ端が放送開始時間に基づいて広帯域コンテンツを同期表示するステップ3と、を含む。
さらに、前記方法1のステップ2において、ユーザの所在する広帯域ネットワークの遅延△tが異なる状況に対し、同期を保証するために、サーバー端はt時刻でtini時刻のマルチメディアリソースを送信し、ここで、tiniはttmpの後の第一番目の完全な独立復号可能メディアリソースMUの開始時刻であり、ここで、
であり、「数1」において、tは送信時刻であり、MU_durationはメディアユニットの継続時間であり、△tはダウンリンクエンドツーエンドの広帯域ネットワーク遅延であり、ttmpは計算により得られたユーザ端が第一番目の独立復号可能メディアリソースMUを受信した時刻である。
さらに、前記方法1において、前記MU_durationの値の範囲は0〜10sであり、前記△tの値の範囲は0〜∞である。
さらに、前記方法1において、前記MU_durationの値は0.5sであり、前記△tの値は2sである。
さらに、前記方法1のステップ3において、サーバー端の最初に送信したコンテンツはtini時刻以降のマルチメディアリソースであり、広帯域とブロードキャスとが同期するように、ユーザ端は広帯域によって完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻になってからこの時刻のマルチメディアリソースを放送する。
さらに、前記方法1において、前記サーバー端はユーザ端にマルチメディアリソースを送信し、ユーザ端はメディアリソースの開始表示時間に基づいてコンテンツを同期放送する。
さらに、前記方法2のステップ2において、ユーザの所在する広帯域ネットワークの遅延△tおよび利用可能広帯域Bの異なる状況に対し、同期を保証するために、サーバー端はt時刻でtini時刻のマルチメディアリソースを送信し、ここで、tiniはttmpの後の第一番目の完全な独立復号可能メディアリソースMUの開始時刻であり、ここで、
であり、「数2」において、tは送信時刻であり、MU_sizeは送信された平均MUのサイズであり、MU_durationはメディアユニットの継続時間であり、Bはマルチメディアリソースを放送する固定ビットレートであり、Bは広帯域ネットワークの利用可能帯域幅であり、△tはダウンリンクの広帯域ネットワーク遅延であり、ttmpは計算により得られたユーザ端が第一番目の独立復号可能メディアリソースMUを受信した時刻である。
さらに、前記方法2において、前記MU_sizeの値の範囲は0〜100Mbitsであり、前記MU_durationの値の範囲は0〜10sであり、前記Bの値の範囲は0〜50Mbpsであり、前記Bの値の範囲は0〜1Tbpsであり、前記△tの値の範囲は0〜∞である。
さらに、前記方法2において、前記MU_sizeの値は30Mbitsであり、前記MU_durationの値は0.5sであり、前記Bの値は25Mbpsであり、前記Bの値は1Mbpsであり、前記△tの値は2sである。
さらに、前記方法2のステップ3において、サーバー端の最初に送信したコンテンツはtini時刻以降のマルチメディアリソースであり、広帯域とブロードキャスとを同期させるために、ユーザ端は広帯域によって完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻になってからこの時刻のマルチメディアリソースを放送する。
さらに、前記方法2において、前記サーバー端はマルチメディアリソースを送信すると同時に、1つのダウンリンクシグナリングを送信してユーザ端に送信した第一番目の独立復号可能メディアリソースのシリアルナンバーを通知することにより、ユーザに放送時間を通知する。
さらに、前記方法1と方法2とは、異種ネットワークのメディアサービスにおける異なるユーザがある時刻でサーバー端に同じマルチメディアリソースをリクエストし、または異なるマルチメディアリソースを切り換え、またはネットワークの様々な状況の悪化によりマルチメディアリソースを再度リクエストし、該部分のメディアリソースコンテンツを同期表示するための場合に適用する。
本発明によれば、サーバー端は異なるユーザの広帯域ネットワーク状況に対し、メディアリソースを同期に送る方法または同期メディアリソースに自己適応的にアクセスする方法を取るため、異種ネットワーク伝送におけるサーバー端のブロードキャストメディアと広帯域とのメディアコンテンツの放送を同期にするメカニズムを実現し、ネットワーク状況の違いによりメディアリソースが非同期となる問題を解決する。
本発明に係る実施例1におけるタイムチャートである。 本発明に係る実施例2におけるタイムチャートである。
以下、図面を参照しながら、好ましい実施例を介して、本発明の技術的解決手段について詳細に説明する。
現在、異種ネットワークに基づく多様化の端末表示方式は既に発展の趨勢になっている。高品質の放送ビデオプログラムを視聴するとともに、人々の多様化されたネットワークメディアサービスに対する要求も増々高まっている。一般的に、ブロードキャストチャネルからのメディアコンテンツは小さくて固定された遅延があるため、メディアコンテンツの同期に与える影響が小さいが、広帯域からのメディアコンテンツ、例えば、オーディオ・ビデオ、字幕、マルチメディアアプリケーション等はカレントIPネットワークの影響を受けやすく、大きくて変動する遅延が発生し、コンテンツの同期に問題をもたらしてしまう。
本発明は上記技術的課題を解決するためのものであり、いわゆる当業者が理解しやすいようにするため、以下では2つの実施例を介して技術的解決手段の実施の詳細について詳しく説明する。異なるシーンによって以下の2つの実施例のうちいずれか1つの方法を採用できるが、ユーザ端によりエンドツーエンドのネットワーク遅延情報を取得することができる場合、実施例1における方法を採用し、ユーザ端により広帯域ネットワーク遅延のみを取得することができ、メディアリソースがユーザ端に進入する過程の時間を含まない場合、実施例2における方法を採用する。
(実施例1)
本実施例の全体的な技術手段としては、ネットワークにおける該当の方法により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得して、サーバー端が広帯域リソースを伝送し始める開始時間を変更するのに使用し、異種ネットワークにおけるマルチメディアリソースの同期を実現する。
具体的に、本実施例の方法は以下のステップを含む。
まず、サーバー端は、一部の方法、例えば、ユーザ端からフィードバックされたシグナリング情報を概算し測定すること等により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得できる。
続いて、異種ネットワークのメディアサービスにおける異なるユーザがある時刻においてサーバー端に同一のマルチメディアリソースをリクエストし、または異なるマルチメディアリソースを切り換え、またはネットワーク状況の悪化によりマルチメディアリソースを再度リクエストする状況に対し、該部分のマルチメディアリソースのコンテンツを同期表示することを保証するために、サーバー端はユーザのリクエストを受信した後、異なるユーザの所在するネットワークの遅延状況により、マルチメディアリソースが同期表示できる時刻を算出する。
最後に、サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、クライアント端はメディアコンテンツの放送開始時間に基づいてコンテンツを同期放送し、異なるユーザの広帯域部分のコンテンツが全て同期表示できるように保証する。
図1に示すように、具体的な実施例において、以下のように実施する。
(ステップ1)
既知のサーバー端がt時刻でクライアント端からのリクエストを受信し、異なるユーザ群のダウンリンクエンドツーエンドの広帯域ネットワーク遅延は△tであり、独立復号可能メディアユニットMU(media unit)の継続時間はMU_durationである。
(ステップ2)
ユーザの所在するエンドツーエンド広帯域ネットワークの遅延の異なる状況に対し、同期を保証するために、サーバーはt時刻でtini時刻のマルチメディアリソースを送信する。tiniはttmpの後の第一番目の完全なMUの開始時刻であり、「数3」における式(1)、式(2)に示すような関係を有する。
上記の式(1)において、MU_durationはメディアユニットの継続時間であり、上記の式(2)において、tは送信時刻であり、△tはダウンリンクエンドツーエンドの広帯域ネットワーク遅延であり、ttmpは算出により得られたクライアント端が第一番目のMUを受信した時刻である。
好ましい一実施形態において、上記パラメータは以下の数値を選択できる。
MU_duration:0〜10s、好ましくは0.5sである。
△t:0〜∞、好ましくは2sである。
(ステップ3)
最初に送信するコンテンツがtini時刻およびその後のマルチメディアリソースであるため、広帯域とブロードキャスとの同期を保証するために、広帯域が完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻まで待機し、それ以降にこの時刻のメディアコンテンツを送信する。
以下では、マルチメディアリソースが同期する具体的な実施例を挙げる(ユーザ端のリクエストおよびサーバー端のユーザ端に通知する方式は制限されず、以下では何れもシグナリング方式を例とし、シグナリングはMMTプロトコルに基づく)。
ユーザがオリンピックの生放送プログラムを視聴する場合、ハイライトシーンが多く、視聴者の好みも様々であるため、テレビ局は視聴者のために多角度のビデオを撮影し、視聴者に選択できるように供する。
この際、視聴者はメインプログラムを視聴するとともに、小さい画面からある選手のクローズアップ表現を視聴できるが、該選手の試合がもうすぐ終わる場合、視聴者は直ちに角度を変えて他の1人の選手の姿を見たいため、サーバー端にリクエストを送信し、該リクエストシグナリングにはエンドツーエンドのネットワーク遅延fixed_end_to_end_delayが含まれるべきであり、該フィールドはHRBM_messageから取得することができ、下記の「表1」に示されるとおりである。
message_idは、HRBMのメッセージ標識を示し、
versionは、HRBMのメッセージバージョンを示し、
lengthは、HRBMのメッセージ長さを示し、
extension_fields_Byteは、HRBMの拡張フィールドを示し、
max_buffer_sizeは、HRBMの最大キャッシングサイズを示し、
fixed_end_to_end_delayは、エンドツーエンドネットワーク遅延を示し、
max_transmission_delayは、最大伝送遅延を示し、
=18:00:00にサーバー端はリクエストを受信し、ここで、fixed_end_to_end_delay=△t=2sである。独立復号可能メディアユニットの継続時間はビデオリソースから取得することができ、MU_duration=0.5sである。
△t=2s
tmp=t+△t=18:00:02
ini=18:00:022
サーバー端はt=18:00:00時刻にtini=18:00:022のリソースを送信し、クライアント端が第一番目のメディアリソースを受信した時間は18:00:02であり、受信した第一番目のメディアリソースのタイムスタンプ情報timestamp=18:00:022により、カレントメディアユニットをキャッシングし、18:00:022になってから該リソースを放送する。
以上のようにすれば、ユーザはブロードキャストとビデオオンデマンドとが同期する場合において、異なる視角の他の1人の選手の姿を見ることができ、よって異種ネットワーク伝送中におけるネットワーク状況の違いによりブロードキャストと広帯域ユーザメディアリソースとが非同期する問題を解決する。
(実施例2)
本実施例の採用する全体的な技術手段としては、ネットワークにおける該当の方法により、異なるユーザの所在する広帯域ネットワーク遅延および利用可能帯域幅等の情報を取得して、サーバー端が広帯域リソースを伝送し始める開示時間を変更するのに使用し、異種ネットワークにおけるマルチメディアリソースの同期を実現する。
具体的に、本実施例の方法は以下のステップを含む。
まず、サーバー端は、一部の方法、例えば、ユーザ端からフィードバックされたシグナリング情報を概算し測定すること等により、異なるユーザの所在する広帯域ネットワークの遅延および利用可能帯域幅等の情報を取得する。
続いて、異種ネットワークのメディアサービスにおける異なるユーザがある時刻においてサーバー端に同一のマルチメディアリソースをリクエストし、または異なるマルチメディアリソースを切り換え、またはネットワーク状況の悪化によりマルチメディアリソースを再度リクエストする状況に対し、該部分のマルチメディアリソースのコンテンツを同期表示することを保証するために、サーバー端はユーザのリクエストを受信した後、異なるユーザの所在するネットワークの遅延状況により、マルチメディアリソースが同期表示できる時刻を算出する。
最後に、サーバー端により同期表示可能な時刻のリソースを送信し、クライアント端にメディアコンテンツの放送開始時間を通知し、異なるユーザの広帯域部分のコンテンツが全て同期表示できるように保証する。
図2に示すように、具体的な実施例において、以下のように実施する。
(ステップ1)
既知のサーバー端がt時刻でクライアント端からのリクエストを受信し、異なるユーザ群のダウンリンクの広帯域ネットワーク遅延は△tであり、利用可能帯域幅はBであり、ビデオビットレートはBであり、独立復号可能メディアユニットMU(media unit)の継続時間はMU_durationである。
(ステップ2)
ユーザの所在する広帯域ネットワークの遅延および利用可能帯域幅の異なる状況に対し、同期を保証するために、サーバーはt時刻でtini時刻のマルチメディアリソースを送信する。tiniはttmpの後の第一番目の完全なMUの開始時刻であり、「数4」における式(1)、式(2)、式(3)に示すような関係を有する。
上記の式(3)において、tは送信時刻であり、MU_sizeは送信された平均MUのサイズであり、詳細な計算は上記の式(2)を参照し、MU_durationはメディアユニットの継続時間であり、Bはマルチメディアリソースを放送する固定ビットレートであり、Bは広帯域ネットワークの利用可能帯域幅であり、△tはダウンリンクの広帯域ネットワーク遅延であり、ttmpは算出により得られたクライアント端が第一番目のMUを受信した時刻である。
好ましい一実施形態において、上記パラメータは以下の数値を選択できる。
MU_size:0〜100Mbits、好ましくは30Mbitsである。
MU_duration:0〜10s、好ましくは0.5sである。
:0〜50Mbps、好ましくは25Mbpsである。
:0〜1Tbps、好ましくは1Mbpsである。
△t:0〜∞、好ましくは2sである。
(ステップ3)
最初に送信するコンテンツがtini時刻およびその後のマルチメディアリソースであるため、広帯域とブロードキャスとの同期を保証するために、広帯域が完全な第一番目MUを受信した後、直ちに放送せず、tini時刻まで待機し、それ以降にこの時刻のメディアコンテンツを送信する。
以下では、マルチメディアリソースが同期する具体的な実施例を挙げるが、該実施例におけるユーザ端のリクエストおよびサーバー端のユーザ端に通知する方式は制限されず、以下では何れもシグナリング方式を例とし、シグナリングはMMTプロトコルに基づく。当然ながら、その他の実施例において、MMTプロトコルに限定されず、その他のメディアプロトコルに適用されてもよい。
ユーザがオリンピックの生放送プログラムを視聴する場合、ハイライトシーンが多く、視聴者の好みも様々であるため、テレビ局は視聴者のために多角度のビデオを撮影し、視聴者に選択できるように供する。
この際、視聴者はメインプログラムを視聴するとともに、小さい画面からある選手のクローズアップ表現を視聴できるが、該選手の試合がもうすぐ終わる場合、視聴者は直ちに角度を変えて他の1人の選手の姿を見たいため、サーバー端にリクエストを送信し、該リクエストシグナリングにはネットワーク遅延network_delayおよび利用可能広帯域情報network_bandwidthが含まれるべきであり、リクエストメッセージrequest_messageは以下の「表2」に示されるとおりである。
=18:00:00にサーバー端はリクエストを受信し、ここで、△t=2s、B=512Kbit/sである。ビデオビットレートと独立復号可能メディアユニットの継続時間はビデオリソースから取得することができ、B=16482Kbit/s、MU_duration=0.5sである。
MU_size=MU_duration*B=0.5*16482=8241bits
△T=MU_size/B+△t=8241/512+2=16.10s
tmp=t+△T=18:00:1610
ini=18:00:1641
サーバー端はt=18:00:00時刻にtini=18:00:1641のリソースを送信し、リソースを送信すると同時に、サーバー端は1つのダウンリンクシグナリングを送信してクライアント端に送信した第一番目の独立復号可能メディアリソースのシリアルナンバーを通知してユーザに放送時間を通知しなければならず、応答メッセージresponse_messageは下記の「表3」に示されるとおりである。
クライアント端はシグナリングにおける既知の第一番目のメディアリソースの序列によってテーブルをリサーチして時間情報timestamp=18:00:1641とサイズMU_size=33Mbitsを取得し、カレントクライアント端がリソースを受信した時刻は18:00:1610であり、カレントメディアユニットをキャッシングし、18:00:1641になってから該リソースを放送する。
以上のようにすれば、ユーザはブロードキャストとビデオオンデマンドとが同期する状況において、異なる視角の他の1人の選手の姿を見ることができ、よって異種ネットワーク伝送中におけるネットワーク状況の違いによりブロードキャストと広帯域ユーザメディアリソースとが非同期する問題を解決する。
上記具体的な実施例により、本発明が解決しようとする技術的課題、技術的解決手段および好適な効果についてさらに詳しく説明したが、これらは本発明の具体的な実施例に過ぎず、本発明を限定するためのものではなく、本発明の技術的思想と原則から逸脱しない範囲内において、行われた全ての補正、均等な置換、改良等は、何れも本発明の保護範囲内に含まれることはいうまでもない。

Claims (11)

  1. 異種ネットワークに基づくマルチメディアリソースを同期に送る方法であって、
    サーバー端により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得するステップ1と、
    サーバー端がユーザ端からのリクエストを受信した後、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
    サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、異なるユーザの広帯域コンテンツが全て同期表示できるように、ユーザ端がメディアリソースの開始表示時間に基づいてコンテンツを同期放送するステップ3と、
    を含む方法1と、
    サーバー端により、異なるユーザの所在する広帯域ネットワークの遅延および利用可能広帯域情報を取得するステップ1と、
    サーバー端によりユーザ端からのリクエストを受信した後、異なるユーザの所在する広帯域ネットワークの遅延と利用可能広帯域情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
    サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、ユーザ端にマルチメディアリソースコンテンツの放送開始時間を通知し、異なるユーザ端が放送開始時間に基づいて広帯域コンテンツを同期表示するステップ3と、
    を含む方法2と、
    のうちいずれか1つを用い、
    前記方法1と方法2とは、異種ネットワークのメディアサービスにおける異なるユーザがある時刻でサーバー端に同じマルチメディアリソースをリクエストし、または異なるマルチメディアリソースを切り換え、またはネットワークの様々な状況の悪化によりマルチメディアリソースを再度リクエストし、マルチメディアリソースコンテンツを同期表示するための場合に適用する、ことを特徴とする異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  2. 前記方法1のステップ2において、ユーザの所在する広帯域ネットワークの遅延△tが異なる状況に対し、同期を保証するために、サーバー端はt時刻でtini時刻のマルチメディアリソースを送信し、ここで、tiniはttmpの後の第一番目の完全な独立復号可能メディアリソースMUの開始時刻であり、ここで、
    であり、「数1」において、tは送信時刻であり、MU_durationはメディアユニットの継続時間であり、△tはダウンリンクエンドツーエンドの広帯域ネットワーク遅延であり、ttmpは計算により得られたユーザ端が第一番目の独立復号可能メディアリソースMUを受信した時刻である、
    ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  3. 前記MU_durationの値の範囲は0〜10sであり、前記△tの値の範囲は0〜∞である、ことを特徴とする請求項2に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  4. 前記MU_durationの値は0.5sであり、前記△tの値は2sである、ことを特徴とする請求項3に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  5. 前記方法1のステップ3において、サーバー端の最初に送信したコンテンツはtini時刻以降のマルチメディアリソースであり、広帯域とブロードキャスとが同期するように、ユーザ端は広帯域によって完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻になってからこの時刻のマルチメディアリソースを放送する、ことを特徴とする請求項2に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  6. 前記方法1において、前記サーバー端はユーザ端にマルチメディアリソースを送信し、ユーザ端はメディアリソースの開始表示時間に基づいてコンテンツを同期放送する、ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  7. 前記方法2のステップ2において、ユーザの所在する広帯域ネットワークの遅延△tおよび利用可能広帯域Bの異なる状況に対し、同期を保証するために、サーバー端はt時刻でtini時刻のマルチメディアリソースを送信し、ここで、tiniはttmpの後の第一番目の完全な独立復号可能メディアリソースMUの開始時刻であり、ここで、
    であり、「数2」において、tは送信時刻であり、MU_sizeは送信された平均MUのサイズであり、MU_durationはメディアユニットの継続時間であり、Bはマルチメディアリソースを放送する固定ビットレートであり、Bは広帯域ネットワークの利用可能帯域幅であり、△tはダウンリンクの広帯域ネットワーク遅延であり、ttmpは計算により得られたユーザ端が第一番目の独立復号可能メディアリソースMUを受信した時刻である、
    ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  8. 前記MU_sizeの値の範囲は0〜100Mbitsであり、前記MU_durationの値の範囲は0〜10sであり、前記Bの値の範囲は0〜50Mbpsであり、前記Bの値の範囲は0〜1Tbpsであり、前記△tの値の範囲は0〜∞である、ことを特徴とする請求項7に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  9. 前記MU_sizeの値は30Mbitsであり、前記MU_durationの値は0.5sであり、前記Bの値は25Mbpsであり、前記Bの値は1Mbpsであり、前記△tの値は2sである、ことを特徴とする請求項8に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  10. 前記方法2のステップ3において、サーバー端の最初に送信したコンテンツはtini時刻以降のマルチメディアリソースであり、広帯域とブロードキャスとを同期させるために、ユーザ端は広帯域によって完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻になってからこの時刻のマルチメディアリソースを放送する、ことを特徴とする請求項7に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
  11. 前記方法2において、前記サーバー端はマルチメディアリソースを送信すると同時に、1つのダウンリンクシグナリングを送信してユーザ端に送信した第一番目の独立復号可能メディアリソースのシリアルナンバーを通知することにより、ユーザに放送時間を通知する、ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
JP2018567950A 2016-08-29 2017-08-29 異種ネットワークに基づくマルチメディアリソースを同期に送る方法 Active JP6732970B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201610757375.1 2016-08-29
CN201610757375.1A CN107801103B (zh) 2016-08-29 2016-08-29 异构网络下基于网络状况的多媒体资源自适应同步方法
CN201610916013.2 2016-10-20
CN201610916013.2A CN107968950A (zh) 2016-10-20 2016-10-20 一种基于异构网络的多媒体资源同步推送方法
PCT/CN2017/099434 WO2018041092A1 (zh) 2016-08-29 2017-08-29 一种基于异构网络的多媒体资源同步推送方法

Publications (2)

Publication Number Publication Date
JP2019527497A JP2019527497A (ja) 2019-09-26
JP6732970B2 true JP6732970B2 (ja) 2020-07-29

Family

ID=61300029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018567950A Active JP6732970B2 (ja) 2016-08-29 2017-08-29 異種ネットワークに基づくマルチメディアリソースを同期に送る方法

Country Status (4)

Country Link
JP (1) JP6732970B2 (ja)
KR (1) KR102271686B1 (ja)
CA (1) CA3026535C (ja)
WO (1) WO2018041092A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580417B1 (ko) * 2018-05-31 2023-09-20 삼성에스디에스 주식회사 메시지 전송 지연 관리 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6425131B2 (en) * 1998-12-30 2002-07-23 At&T Corp. Method and apparatus for internet co-browsing over cable television and controlled through computer telephony
KR100889836B1 (ko) * 2007-11-15 2009-03-20 한양대학교 산학협력단 데이터 방송의 동기화 기능을 갖는 방송 수신기 및 이를이용한 데이터 방송의 동기화 방법
CN101304351A (zh) * 2008-06-30 2008-11-12 湖南创智数码科技股份有限公司 基于点对点传输的流媒体直播系统同步播放方法
CN101938456B (zh) * 2009-06-30 2014-03-12 华为技术有限公司 一种减小媒体延迟的方法、设备及系统
CN102572611B (zh) * 2010-12-07 2015-05-13 中国电信股份有限公司 不同用户同步收看网络直播流的方法和系统
JP6472892B2 (ja) * 2015-02-06 2019-02-20 上海交通大学Shanghai Jiao Tong University 異種ネットワーク伝送における動的時間窓およびキャッシュメカニズム

Also Published As

Publication number Publication date
KR20190013967A (ko) 2019-02-11
KR102271686B1 (ko) 2021-07-01
CA3026535C (en) 2021-09-21
CA3026535A1 (en) 2018-03-08
WO2018041092A1 (zh) 2018-03-08
JP2019527497A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
US20090293093A1 (en) Content server, information processing apparatus, network device, content distribution method, information processing method, and content distribution system
JP5284534B2 (ja) 変更されたストリーム同期
JP5363473B2 (ja) 改善されたメディア・セッション管理の方法と装置
KR101719998B1 (ko) 미디어 컨텐트를 수신하는 장치 및 방법
US10645447B2 (en) Fast channel change method and server, and IPTV system
EP2232812B1 (en) Method and system for synchronizing the output of terminals
EP2690876A2 (en) Heterogeneous network-based linked broadcast content transmitting/receiving device and method
CN105491393A (zh) 多人视频直播业务的实现方法
JP6472892B2 (ja) 異種ネットワーク伝送における動的時間窓およびキャッシュメカニズム
CN105657579A (zh) 直播音频切换方法、流媒体服务器及客户端
CN104185070B (zh) 电视不同显示窗口的切换方法
CN109565466A (zh) 多设备间唇音同步方法及设备
WO2007079672A1 (fr) Systeme de reception et d'affichage d'emissions tv reseau, et procede associe
EP2312826A2 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
JP6732970B2 (ja) 異種ネットワークに基づくマルチメディアリソースを同期に送る方法
CN108476333A (zh) 媒体流的邻接流送
JP4735666B2 (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
KR20150146116A (ko) 이종망 기반 방송 서비스를 제공하는 방법 및 장치
CN105991469B (zh) 一种异构网络传输下的动态时间窗口及缓存机制
EP2479984A1 (en) Device and method for synchronizing content received from different sources
CN106330751B (zh) 异构网络传输下的资源动态请求时间窗口及终端缓存方法
CN107801103B (zh) 异构网络下基于网络状况的多媒体资源自适应同步方法
CN107968950A (zh) 一种基于异构网络的多媒体资源同步推送方法
EP4383727A1 (en) Method and system for media content playback synchronization in a plurality of display devices
KR100864908B1 (ko) 통신망 기반의 양방향 데이터 방송 서비스 제공 시스템 및방법, 그리고 이에 적용되는 서버

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6732970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250