JPWO2017135181A1 - クライアント、サーバ、受信方法及び送信方法 - Google Patents

クライアント、サーバ、受信方法及び送信方法 Download PDF

Info

Publication number
JPWO2017135181A1
JPWO2017135181A1 JP2017565527A JP2017565527A JPWO2017135181A1 JP WO2017135181 A1 JPWO2017135181 A1 JP WO2017135181A1 JP 2017565527 A JP2017565527 A JP 2017565527A JP 2017565527 A JP2017565527 A JP 2017565527A JP WO2017135181 A1 JPWO2017135181 A1 JP WO2017135181A1
Authority
JP
Japan
Prior art keywords
segment
push
mpd
request
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017565527A
Other languages
English (en)
Other versions
JP7011941B2 (ja
Inventor
ピーター クレナー
ピーター クレナー
フランク ヘルマン
フランク ヘルマン
遠間 正真
正真 遠間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2017135181A1 publication Critical patent/JPWO2017135181A1/ja
Priority to JP2022005367A priority Critical patent/JP7307211B2/ja
Application granted granted Critical
Publication of JP7011941B2 publication Critical patent/JP7011941B2/ja
Priority to JP2023107285A priority patent/JP2023130418A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805Controlling the feeding rate to the network, e.g. by controlling the video pump
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383Accessing a communication channel
    • H04N21/4384Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

MPEG−DASH(Moving Picture Experts Group − Dynamic Adaptive Streaming over HTTP)規格によるストリーミングデータを受信するクライアント(20A)であって、MPD(Media Presentation Description)の要求またはセグメントの要求をサーバに送信する送信部(202)と、MPDで指定されたMPD、および、セグメントの要求で指定されたセグメントを受信する受信部(201)と、を備え、MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、受信部(201)は、プッシュで送信されたイニシャライゼーション・セグメントを受信する。

Description

本開示は、MPEG−DASHフォーマットを使用して、帯域幅の変化するネットワーク上でマルチメディアコンテンツのストリーミングの受信を行うクライアント、及び、当該ストリーミングの送信を行うサーバと、クライアントの受信方法及びサーバの送信方法に関する。
非特許文献1は、HTTP(HyperText Transfer Protocol)によるアダプティブストリーミング技術の標準規格であるMPEG−DASH(Moving Picture Experts Group − Dynamic Adaptive Streaming over HTTP)について開示している。DASHサーバは、画質およびビットレートが異なる複数の表現に対応するコンテンツデータを、時間で分割した単位であるセグメント、またはセグメントを分割したサブセグメントに対応するファイルとして提供する。セグメントまたはサブセグメントは、例えば、数秒単位に分割された単位であり、セグメントまたはサブセグメントに対応するファイルは、映像または音声を含むMP4ファイルである。セグメントまたはサブセグメントに対応するファイルは、例えばURLアドレスを指定してHTTPで取得することができる。DASHクライアントは、コンテンツ全体または一部の構成や開始セグメントの指定が記述されたマニフェストファイル(いわゆるMPD(Media Presentation Description))に基づいて、現在のネットワークの状態とスループットに応じて適切な品質(いわゆる表現)のセグメント、またはサブセグメントに対応するファイルを要求することができる。
Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats, INTERNATIONAL STANDARD, ISO/IEC 23009-1:2014(E)
しかし、非特許文献1に開示されている技術では、クライアントおよびサーバにおいて行われる処理の処理量を低減できていなかった。
本開示の一態様に係るクライアントは、MPEG−DASH(Moving Picture Experts Group − Dynamic Adaptive Streaming over HTTP)規格によるストリーミングデータを受信するクライアントであって、MPD(Media Presentation Description)の要求またはセグメントの要求をサーバに送信する送信部と、前記MPDの要求で指定されたMPD、および、前記セグメントの要求で指定されたセグメントを受信する受信部と、を備え、前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、前記受信部は、プッシュで送信されたイニシャライゼーション・セグメントを受信する。
本開示の一態様に係るサーバは、MPEG−DASH規格によるストリーミングデータを送信するサーバであって、MPDの要求またはセグメントの要求をクライアントから受信する受信部と、前記受信部が受信した前記MPDの要求で指定されたMPDと、前記受信部が受信した前記セグメントの要求で指定されたセグメントとを、前記クライアントにプッシュで送信する送信部と、を備え、前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、前記送信部は、前記イニシャライゼーション・セグメントをプッシュで送信する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
上記態様によれば、クライアントおよびサーバにおいて行われる処理の処理量を低減できる。
図1は、実施の形態2に係る通信システムについて説明するための図である。 図2は、TCPヘッダの構成を示す図である。 図3は、Wireshark(登録商標)のセッションからの抜粋を示す図である。 図4は、100kByte/sのTCP帯域幅で伝送した場合のスループットの推測結果を示すグラフである。 図5は、500KByte/sのTCP帯域幅で伝送した場合のスループットの推測結果を示すグラフである。 図6は、帯域幅を制限せずに伝送した場合のスループットの推測結果を示すグラフである。 図7は、帯域幅を制限せずに伝送した場合のスループットの推測結果を示すグラフである。 図8は、帯域幅を制限せずに伝送した場合のスループットの推測結果を示すグラフである。 図9は、帯域幅を制限せずに伝送した場合のスループットの推測結果を示すグラフである。 図10は、実施の形態2における通信システムの詳細な構成の他の一例を示す図である。 図11は、変形例における通信システムの動作を示すシーケンス図である。 図12は、通信システムの具体的構成の他の一例を示す図である。 図13は、サーバによる送信方法およびクライアントによる受信方法を含む、通信システムの動作を説明するためのシーケンス図である。
本開示の一態様に係るクライアントは、MPEG−DASH(Moving Picture Experts Group − Dynamic Adaptive Streaming over HTTP)規格によるストリーミングデータを受信するクライアントであって、MPD(Media Presentation Description)の要求またはセグメントの要求をサーバに送信する送信部と、前記MPDの要求で指定されたMPD、および、前記セグメントの要求で指定されたセグメントを受信する受信部と、を備え、前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、前記受信部は、プッシュで送信されたイニシャライゼーション・セグメントを受信する。
本開示の一態様に係るサーバは、MPEG−DASH規格によるストリーミングデータを送信するサーバであって、MPDの要求またはセグメントの要求をクライアントから受信する受信部と、前記受信部が受信した前記MPDの要求で指定されたMPDと、前記受信部が受信した前記セグメントの要求で指定されたセグメントとを、前記クライアントにプッシュで送信する送信部と、を備え、前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、前記送信部は、前記イニシャライゼーション・セグメントをプッシュで送信する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係るクライアント、サーバ、受信方法および送信方法について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[1−1.背景技術]
MPEG−DASHは、ISO−BMFFフォーマットされたメディアセグメントのためのURLアドレス指定形式を指定し、マニフェストファイルは、MPD(Media Presentation Description)と呼ばれる。DASHは、元々変数スループットのネットワーク(例えば、管理されていないインターネット接続(OTT))を介してメディアのトランスポートに対処するために考案された。MPEG−DASHのシステムは、クライアント中心の技術思想であり、既に利用可能な技術を活用することだった。よって、既存のHTTP−WEBサーバとDASH対応クライアントとは、ダイナミックストリーミングセッションを実現することができる。
最初のコンセプトは、MPEGによって範囲が拡大され、新しいコンセプトは、SAND(Server−And−Network−Assisted−DASH)、CAPCO(Content−Aggregation−and−Playback Control)およびFDH(Full−Duplex−HTTP)などに導入された。後者のFDHは、最近批准されたHTTP/2標準を活用しており、サーバがクライアント自身によって要求されていないクライアントにプッシュすることができる。定義された関連プッシュ・ディレクティブの利点は、主にオーバヘッドを削減することにある。全てのプッシュセグメントに対して、クライアントからの対応するHTTP要求は、省略することができ、これによって帯域幅を節約することができる。
DASHのFDHパートは、現在、ISO/IEC23009パート6で指定され、これまでにサーバからクライアントにコンテンツをプッシュするための4つのストラテジーが含まれている。これらのストラテジーは、プッシュ・ディレクティブ(push directive)と呼ばれ、プッシュ・タイプ(push type)と付加されるプッシュ・パラメータ(push parameter)とにより構成される。プッシュ・タイプは、例えば、プッシュ・ネクスト(push next)、プッシュ・ナン(push none)、プッシュ・テンプレート(push template)、およびプッシュ・タイム(push time)を含む。
プッシュ・ネクストとプッシュパラメータKとは、次のKセグメントが初期インデックスとして要求されたセグメントを使用してプッシュするために考慮されることを示している。
プッシュ・ナンは、プッシュが発生していないことを示している。この場合、パラメータは使用されていない。
プッシュ・テンプレートは、URIテンプレートによって説明されるいくつかのセグメントがプッシュのために考慮されていることを示している。プッシュパラメータはURIテンプレートと言われる。
プッシュ・タイムは、要求されたセグメントの開始(セグメントが、時間Tを超える指定されたセグメント時間までのプッシュのために考慮されている。時間Tは、プッシュパラメータとしてシグナリングされる。
プッシュ・ネクストおよびプッシュ・タイムは、それらのプッシュパラメータを0とすることで、サーバが無限にプッシュすることを選択することができることを示している。これは、既に本発明の主旨に含まれるが、サーバに、表現の選択を超えた制御をさせるものではなく、ビットレートの変動へ作用させるものでもない。
[1−2.典型的なDASH−FDHセッション]
クライアントは、プッシュ・ディレクティブで、最初にMPDを要求し、次にメディアセグメントを要求する。要求されたMPDを受け取った後、クライアントは、それぞれDASHセグメントURLとプッシュ・ディレクティブとを用いて、サーバからのメディアセグメントの要求を開始する。そして、サーバは、要求されたメディアセグメントで応答する。メディアセグメントは、プッシュ・ストラテジー(push strategy)によって示されるように、プッシュサイクルによって続けられる。クライアントは、最小量のデータを受信した後に、メディアの再生を開始する。上記のプロセスは、メディアストリーミングセッションが終了するまで繰り返される。
なお、サーバは、次のメディアセグメントのためのクライアントを準備するために、MPDを送信するだけでなく、同時に、事前にイニシャライゼーション・セグメント(Initialization Segment)をプッシュで送信してもよい。イニシャライゼーション・セグメントは、セグメントのヘッダ情報を含む情報である。
プッシュ・ディレクティブの利点は、オーバヘッドの削減にある。上記プッシュ・ディレクティブの全ては、まだ要求されたセグメント数のいずれかが提供されているか(プッシュ・ネクスト)、セグメント時間が超える(プッシュ・タイム)場合には、新しいセグメントを要求するためにクライアントを必要とする。以下で説明するのは、本開示一局面である新しいプッシュ・ディレクティブであり、それは、サーバが自動的にセグメントを総メディア期間にわたって選択しプッシュすることを可能にする。これによりセグメントの要求に起因するオーバヘッドは最小限に低減される。また、クライアントへの接続の全部または一部のためのユニキャスト及び/又はマルチキャストモードのアプリケーションについて、サーバ側に決定させることを可能にする。サーバが自動的に決定するのは、セグメントのビットレートや解像度など、サーバと受信端末との間のネットワーク帯域と関連するパラメータのみであってもよい。
[1−3.サーバにおけるクライアント側のスループットの推測]
本開示の一部は、TCP/IP接続の間においてクライアントからサーバに送信された確認応答パケットに含まれる確認応答番号に基づいてクライアントのエクスペリエンスのスループットをサーバにおいて推定する方法である。これらの確認応答パケットは、TCP層の不可欠な部分であるため、この方法を使用するには、追加のオーバヘッドは、生成または必要とされない。このスループット推定方法は、自動プッシュ・ディレクティブと共に、現在のスループットに基づいて表示を切り替えるというDASHの技術思想を維持しつつ、総オーバヘッドを最小限に減少させる。
DASHは、ユビキタスHTTPプロトコルに基づく。そして、この間、HTTPは、リクエスト、レスポンスおよびデータを転送するために基礎となるTCP/IP層に依存する。TCP/IP層は、データ・ストリームをパケットに分割し、その信頼性の高い転送を保証する。このプロセスまで、HTTP層は、完全に気がつかない。パケット化処理および再構築化処理は、TCPヘッダに含まれる2つのフィールドであるシーケンスナンバーと確認応答番号とによって有効である。
シーケンスナンバーおよび確認応答番号は、TCP接続(3ウェイハンドシェイク)の初期段階の間に両方のエンドポイントで生成される。両方の番号は、パケット化およびパケット再構築化処理に使用される。それらは、当初2つのランダムの32ビットの整数であり、サーバとクライアントとの間で交換される。
シーケンスナンバーは、現在送信されたバイト数だけサーバによって増加される。これにより、パケット感の相対的なシーケンスナンバーは、総データバイトストリームにおける現在のパケットの開始位置へのポインタとして機能する。
さらに重要なことは、確認応答番号は、正常に受信したバイト数をサーバに通知するために、クライアントからサーバに送信される。したがって、確認応答パケットの到着時間を計測する外部タイマを持つサーバは、クライアントによる現在のエクスペリエンスのスループットを容易に推測することができる。
[1−4.効果など]
既に述べたように、本開示に係るシステムは、メトリックメッセージおよびセグメント要求が必要とされないため、オーバヘッドを低減することができる。また、本開示に係るシステムは、ユニキャストモードおよびマルチキャストモードの切り替えを集中管理することができる。また、本開示に係るシステムは、そのリソースを中央において管理することができる。つまり、スループットを監視しながら、サーバは、スループットのボトルネックを予測することができ、スムーズに伝送ビットレートを減らすことができ、これにより、表現の意図しないハイダイナミック変化を回避できる。HTTP/2対応のクライアントは、トラフィック診断を追跡する必要がない。トラフィック診断は、省電力化とコスト削減を同時に実現できる。
さらに、典型的には、サーバは、複数のクライアントにデータを提供する。自動プッシュ・ディレクティブとスループット推定とのメカニズムを利用すれば、サーバは、複数のクライアントが同じコンテンツを同時に要求した場合(例えば、ライブTV伝送に関連)、ユニキャストモードからもっと効果的なマルチキャストモードへの切り替えを選択できる。例えばチャネル条件に応じて、ユニキャストモードまたはマルチキャストモードを、全部または一部の上記のクライアントに割り当てることができる。
特に、イベント会場など特定のエリア内での通信の場合には、入場者数、エリア内の通信端末固有の情報など他の情報に基づいて、選ばれる可能性が高いレートやセグメント自体を予め推定できる可能性もある。このような場合には、サーバにおける判断と選択処理とが簡易化され、遅延量が少なく理想的な配信が可能となる。
[1−5.本開示の概略]
・新しいDASHの自動プッシュ・ディレクティブ
・DASHのプッシュパラメータ/機能指標:クライアントは、サーバがメディアセグメントを無期限に提供する前に、クライアントの能力を知らせる必要がある。
・TCPの確認応答番号に基づくスループット推定方法
・既存のDASHプッシュ・ディレクティブ(ネクスト、タイム、テンプレート)と、クレームされた新しい自動DASHプッシュ・ディレクティブとの組合せ
・例:サーバは、自動的に次のKセグメントをプッシュし、その後、自動的に次のLセグメントをプッシュするための新しいプッシュリクエストを受信する。
・同時に同じコンテンツをリクエストしている全部または一部のクライアントのためのユニキャストモードまたはマルチキャストモードの自動および動的選択(上記のスループット測定値に基づく)
[1−5−1.詳細1]
新しいDASHプッシュ・ディレクティブは、サーバによって監視されるように、サーバがデータを選択し、クライアントにプッシュすることを可能にする。以下では、このプッシュ・ディレクティブを、自動プッシュ・ディレクティブと言う。
[1−5−2.詳細2]
DASHは、プッシュ・ディレクティブに伴ってパラメータをプッシュする。また、クライアントの能力は、サーバに通知される。クライアントは、例えば、利用可能なメディアデコーダ、再生可能な画像解像度、およびフレームレートについて処理できる装置である。実施の形態では、プッシュパラメータは、表1−1および表1−2に示すように、受信能力テーブル(RCT:Receiver Capability Table)から取り出したフィールドを持つ複合データタイプによって表現されてもよい。本実施の形態は、限定的に理解されるべきではない。例えば、サーバへのクライアントの能力を通信する同じ目的を果たす受信能力テーブルの任意の形式にまで及ぶことに限定されるべきではない。
Figure 2017135181
Figure 2017135181
“modeIndicator”は、実際のパラメータを選択する際に、サーバをガイドする。適したモードは、例えば、最高品質、最低品質、および表現の切り替えにおける低ダイナミックである。これらは、表2に示される。他のモードも可能であり、本発明は、示されるこれらのモードに限定されるものとして理解されるべきではない。
Figure 2017135181
[1−5−3.詳細3]
他のDASHのプッシ・ディレクティブの組合せは、自動またはプッシュ自動速度のプッシュ・ディレクティブを有する。本開示の一実施形態では、自動プッシュ・ディレクティブと組み合わせるための適切なプッシュ・ディレクティブは、プッシュ・ネクスト、プッシュ・タイムおよびプッシュ・テンプレートであるとしてもよい。なお、これらの組合せに限定されるべきではない。
例えば、プッシュ・ネクストを用いて次のN個のセグメントを受信するように指定し、かつ、プッシュ・オートマティック・レート(push−automatic−rate)を指定することで、N個のセグメントのビットレートはサーバが自動的に選択する。あるいは、プッシュ・オートマティック・レートは、別途規定するプッシュ・ディレクティブであるプッシュ・チャネル・オートマティック・レート(push−cancel−automatic−rate)によって無効化されるまで有効としてもよい。このとき、プッシュ・チャネル・オートマティック・レートが発行されなければ、上記N個のセグメントの送信後に送られるセグメントに対してもプッシュ・オートマティック・レートが有効となる。
プッシュ・フル・オートマティック(push−full−automatic)が指定された後であっても、セグメントの送信中にサーバがプッシュ・ナンを受信した場合には、サーバは直ちに、あるいは、送信中のセグメントの最終データ送信後にセグメントの送信を停止する。
[1−5−4.詳細4]
推定方法および推定装置は、外部タイマで確認応答パケットの到着時間を計測することで、クライアントからサーバにTCPヘッダにおいて送信された確認応答番号に基づいて、クライアントのスループットの推定を行う。
現在の確認応答番号と最初の確認応答番号との間の差としての相対的な確認応答番号が示され、同様に、現在の確認応答パケットの到着時間と最初の確認応答パケットの到着時間との間の差としての相対的な時間が示される。スループット推定のための最初の方法は、相対的な確認応答番号と相対的な時間との商を算出することである。
最後と最後から2番目の確認応答パケットとの間の差としての確認応答番号の差を示す。同様に、最後と最後から2番目の確認応答パケットとの間の到着時間の差としての時間差を示す。スループット推定のための第二の方法は、適切なデジタルフィルタによる確認応答番号の差と時間差との連続的な商の平均を算出することである。
[1−5−5.詳細5]
(セグメント毎の極端なケースにおいて)自動的および動的な選択が行われる。自動的および動的な選択では、上述のスループット計測方法(それぞれの単一のクライアントへの接続の品質を表す)に基づき、同時に同じコンテンツをリクエストしている全部または一部のクライアントのためのユニキャストモードまたはマルチキャストモードの選択を行う。
(実施の形態2)
[2−1.背景技術]
DASHの哲学は、クライアントがスループットを計測し、それらの計測値に基づいてセグメントを要求することに基づいている。最近では、HTTP/2は、サーバが求められていないクライアントにデータを送信することが可能な新しいプッシュ機能を導入した。DASH仕様のパート6では、MPEGは、DASHのために、この新しいHTTP/2機能を活用したいと考えている。パート6は、FDHと呼ばれている。4つのプッシュ・ディレクティブは、すでに(プッシュ・ネクスト、プッシュ・ナン、プッシュ・テンプレート、プッシュ・タイム)が存在するが、それらは依然として大部分はクライアントによって駆動される。
実施の形態1で説明したとおり、クライアントへのスループットは、サーバ側で測定することができる。つまり、サーバでは、新しい自動プッシュ・ディレクティブを用いることでクライアントを管理することができる。
セグメントの選択は、一部または全てにおいて、プッシュ・ディレクティブに基づいてサーバによって制御される。つまり、セグメントを送る数または時間とそのビットレートなどは、サーバによって決定される。
[2−2.計測のセットアップ]
図1は、実施の形態2に係る通信システムについて説明するための図である。図1の(a)は、通信システムの構成の一例を示すブロック図であり、図1の(b)は、通信システムにおける通信状況について説明するための図である。
図1の(a)に示すように、通信システム1は、サーバ10と、サーバ10と通信ネットワーク30を介して通信接続されるクライアント20とを備える。
サーバ10は、HTTP/2サーバである。サーバ10は、カスタムトラフィックシェーピングのためにダミーネットを実行する。サーバ10は、パケットの取得状況やプロトコルを解析するためのソフトウェア(例えば、Wireshark(登録商標))を実行することで、pcapファイル(scapyパッケージを持つPythonで更なる処理)への全てのパケットをキャプチャする。ここで、pcap(packet capture)とは、コンピュータネットワーク管理の分野におけるパケットスニファ(パケットアナライザ)のためのAPI(Application Programming Interface)である。Unix(登録商標)系のシステムではpcapはlibpcapとして実装されている。
サーバ10は、1MBのファイルをPRBS(Pseudo−Random Bit Sequence:擬似ランダム・ビット・シーケンス)と共に送信する。ダミーネットは、トラフィックシェーピングのため、特に送信帯域幅を制御するために利用される。Wireshark(登録商標)は、TCP/IPトラフィックをキャプチャし保存する。Pythonは、Wireshark(登録商標)のキャプチャに基づいて、データ集約と評価のために使用される。
サーバ10は、プロセッサおよび所定のプログラムが格納されたメモリにより実現されてもよいし、専用回路により実現されてもよい。サーバ10は、コンピュータを含む。
クライアント20は、TV、プレーヤ、レコーダ、スマートフォン、タブレット端末、PC等によって実現されてもよい。
図1の(b)に示すように、サーバ10からファイルが送信されたタイミング(タイムスタンプ)と、当該ファイルに対するACKがクライアント20から送信されたタイミングとを取得することができる。
[2−3.ダミーネット]
次に、サーバ10が実行するダミーネットについて説明する。
ダミーネットは、ネットワークエミュレーションツールである。ダミーネットは、キュー、帯域幅制限、遅延、パケットロスをシミュレートし、様々なスケジューリングアルゴリズムを実装している。ダミーネットは、任意のオペレーティングシステム内で実行され、ネットワークスタックを通じて途中で選択されたトラフィックを傍受することにより動作する。それは、キューのセット、スケジューラ、およびリンク、全ての設定可能な機能(帯域幅、遅延、損失率、キューサイズ、スケジューリングポリシー・・・)を実装するパイプにパケットを渡す。トラフィックの選択は、ダミーネットのためのメインユーザインタフェースであるipfwファイアウォールを使用して行われる。「Hello world」、全ての発信TCPトラフィックにパイプを作成し、500kByte/sに帯域幅を設定する。例えば、パケットフィルタ型のファイアウォールであるipfw(ipfirewall)は、proto tcpの外にパイプ1つを追加する。また、例えば、ipfwのパイプ1つは、帯域幅を500kByte/sに設定する。
[2−4.TCPヘッダ]
次に、TCPヘッダについて説明する。
図2は、TCPヘッダの構成を示す図である。
図2に示すように、TCPヘッダは、シーケンスナンバー(Sequence Number)と応答確認番号(Acknowledgement Number)とを含む。
シーケンスナンバーは、全体的な送信データのバイトストリームにおける、現在のペイロードの位置へのポインタである。また、シーケンスナンバーは、受信したパケットが送信されたのと同じ順に当該パケットをソートするために利用される。
応答確認番号は、特定のシーケンス番号を揺するパケットが正しく受信されたことを示す。また、応答確認番号は、次に予想されるシーケンスナンバーを含む。
(クライアントからサーバに送信される)応答確認番号から、サーバ10は、正常に受信したバイト数を導出することができる。ACKパケットのタイミングをさらに用いれば、現在のスループットを推定することができる。
3ウェイハンドシェイクの間、両方のエンドポイント(つまり、サーバ10およびクライアント20)は、それぞれに対応するシーケンスナンバーについてランダムな32ビットの整数を生成し、それらを交換する。Wireshark(登録商標)のセッションからの抜粋(図3)に示すように、四角で囲んだ部分は、シーケンス番号および応答確認番号を示す。送信のエンドポイントは、現在送信されたバイト数によってそのシーケンスナンバーを増加させる。応答確認番号は、正しく受信されたバイト数を示すためにクライアントによって使用される。
図4〜図9は、実際に伝送されたバイト数と、上記の方法で推測したスループットの結果とを示すグラフである。図4は、100kByte/sのTCP帯域幅で伝送した場合のスループットの推測結果を示すグラフである。図5は、500KByte/sのTCP帯域幅で伝送した場合のスループットの推測結果を示すグラフである。図6〜図9は、帯域幅を制限せずに伝送した場合のスループットの推測結果を示すグラフである。
図4〜図9に示すように、推測結果は、実際に伝送されたバイト数と概ね一致するため、推測結果を利用することができる。
上述したように、上記サーバ側スループット測定は、主に実行可能であることを示している。
これにより、サーバ10は、そのリソースを主に管理することができる。サーバ10は、クライアント20側の表現のバラツキを、より回避できる。クライアント20は、賢くなくてもよく、トラフィック診断を追跡する必要がない。メトリック/診断メッセージを保存することでオーバヘッドを低減できる。
例えば、表3に示すように、プッシュ・オートマティック・レートおよびプッシュ・フル・オートマティックを追加したプッシュ・ディレクティブを採用してもよい。
Figure 2017135181
図10は、実施の形態2における通信システムの詳細な構成の他の一例を示す図である。
通信システム1は、サーバ10と、クライアント20とを備える。サーバ10と、クライアント20とは、通信ネットワーク30を介して互いに通信接続されている。
サーバ10およびクライアント20は、プロセッサ、ストレージおよび送受信機を含む通信機を有する。
サーバ10およびクライアント20のそれぞれが備えるプロセッサは、シーケンス図(図11参照)で示す処理を実行する。プロセッサは、サーバ10およびクライアント20または他の装置との連携における他のユニットを使用する。典型的には、フローに示す処理を実行するためのプログラムは、それぞれ、サーバ10およびクライアント20が備えるストレージに記憶されている。
サーバ10は、選択部11および送信部12を備える。
サーバ10およびクライアント20についての詳細な説明は、それぞれ通信システム1における動作の説明において行う。
図11は、通信システムの動作の一例を示すシーケンス図である。
まず、クライアント20は、MPDの要求を示すMPD要求(MPD request)をサーバ10に送信する(S11)。
次に、サーバ10は、クライアント20から送信されたMPD要求を受信し、サーバ10の送信部12は、受信したMPD要求に対応するMPD(対応MPD)をクライアント20に送信する(S12)。なお、実施の形態1で説明したとおり、S12において、サーバ10は、受信したMPD要求に対応するMPDに加えて、一部またはすべてのイニシャライゼーション・セグメントをクライアント20にプッシュで送信してもよい。以下、MPD要求に応じて、MPD要求で指定されたMPDに加えて、イニシャライゼーション・セグメントや更新された新しいMPD等の他のファイルをプッシュで送信することをMPDプッシュ(MPD push)とも言う。
なお、サーバ10がイニシャライゼーション・セグメントをプッシュで送信しない場合のクライアント20の動作は、プッシュ送信に対応しないサーバと通信を行う場合と同様である。すなわち、クライアント20は、受信したMPDに記載されたイニシャライゼーション・セグメントのうちの必要なイニシャライゼーション・セグメントを指定したセグメント要求を送信する。サーバ10は、受信したセグメント要求で指定されたイニシャライゼーション・セグメントをクライアント20に送信する。
クライアント20は、対応MPDを受信し、1以上のプッシュ・ディレクティブと共に、セグメント#nの要求を示すセグメント要求(Segment request)をサーバ10に送信し、Ackを計測する(S13)。
サーバ10は、プッシュ・ディレクティブを指定したセグメント#nのセグメント要求受信し、サーバ10の選択部11は、受信したセグメントのプッシュ・ディレクティブに基づいて固定レートまたは適応レートを決定し、受信したセグメント#nのセグメント要求に基づいて送信するセグメントを選択する(S14)。
サーバ10は、セグメント要求で指定されたセグメントnを送信し、選択部11が選択した、セグメントn+1以降のセグメントをプッシュで順次送信する(S15、S16)。以下、セグメント要求に応じて、セグメント要求で指定されたセグメント以外のセグメントをプッシュで送信することをセグメント・プッシュ(Segment push)とも言う。
なお、セグメントnの送信は、固定レートまたは適応レートを決定する前に行ってもよい。また、選択部11は、セグメントn以降のセグメントの選択を上述したAckを用いた計測で得られたスループットに基づいて行う。なお、セグメント#nのセグメント要求で指定されたプッシュ・ディレクティブが、プッシュ・オートマティック・レートやプッシュ・フル・オートマティック以外のプッシュ送信を要求するプッシュ・ディレクティブの場合は、選択部11は、スループットの計測を行うことなく、セグメント#nのセグメント要求で指定されたプッシュ・ディレクティブに従ってセグメントn+1以降のセグメントを選択する。
なお、図10では、サーバ10が備える構成として、適応レートでセグメントを送信するために必要な、選択部11及び送信部12のみを記載している。しかしながら、サーバ10が、例えば非特許文献1に記載のDASHサーバとしての動作に必要なその他の構成を備えていることは言うまでもない。例えば、サーバ10は、クライアント20が送信したMPD要求やセグメント要求などのメッセージを受信する受信部や、受信したメッセージに含まれるDASHコマンドの解釈や、MPD要求やセグメント要求などのメッセージに対する応答としてクライアント20に送信するメッセージの生成等を行う処理部等を備える。
図10では、MPD配送機能がサーバ10の外部に配置された例を示しているが、これは、MPDをサーバ10とは異なる通信装置からクライアント20に送信されてもよいことを示している。ただし、以下の図11の説明のように、クライアント20から送信されたMPD要求に応じてサーバ10がクライアント20にMPDを送信する場合、サーバ10がMPD送信機能を備える。
図10では、スループット計測モジュールがサーバ10の外部に配置された例を示しているが、サーバ10がスループット計測モジュールを備えていてもよい。
なお、サーバ10が、上述したプッシュ・オートマティック・レートやプッシュ・フル・オートマティックといったサーバ側でビットレートの制御を行うプッシュ・ディレクティブに対応しない場合、図10に示したスループット計測モジュールはなくてもよい。その場合、サーバ10の選択部11はクライアント20から受信したセグメント要求に付加された、サーバ側でビットレートの制御を行うプッシュ・ディレクティブ以外のプッシュ・ディレクティブ(例えば、プッシュ・ネクスト、プッシュ・テンプレート、プッシュ・タイム)に基づいて、プッシュ送信するセグメントを選択する。なお、プッシュ・ナンを指定された場合、クライアント20は、サーバ10に対して再生に必要なセグメントを指定したセグメント要求を送信して、当該セグメントを取得する。
また、図10では、クライアント20について詳細な構成を開示していないが、クライアント20は、例えば非特許文献1に記載のDASHクライアントとしての動作に必要なその他の構成を備えていることは言うまでもない。例えば、クライアント20は、サーバ10またはその他の通信装置に対してMPD要求、セグメント要求及びAck等のメッセージを送信する送信部や、サーバ10またはその他の通信装置からMPD、セグメント、DASHコマンドを含むメッセージ等を受信する受信部を備える。さらに、クライアント20は、受信したメッセージに含まれるDASHコマンドの解釈や、MPD要求やセグメント要求等のサーバ10またはその他の通信装置に送信するDASHコマンドの生成を行うDASHアクセス部を備える。また、クライアント20は、DASHアクセス部で取得されたメディアデータを復号し、復号された音声信号や映像信号をクライアントの内部、またはクライアントと有線、または無線で接続された外部の表示部に表示する復号部を備えていてもよい。なお、上述した表示部は、例えば、ディスプレイやスピーカー等である。また、クライアント20は、DASHアクセス部で取得されたイベントデータを実行するアプリケーション部を備えていてもよい。
[3.変形例]
上述した実施の形態において、以下のような変形が適用可能である。
[3−1.変形例1]
上述した実施の形態においては、プッシュ・オートマティック・レートやプッシュ・フル・オートマティックをプッシュ・ネクストやプッシュ・ナンと並列の“pushType”として指定可能な新しいプッシュ・ストラテジーとして規定する場合を例に挙げて説明したが、他の形式で規定されていてもよい。
例えば、プッシュ・オートマティック・レートやプッシュ・フル・オートマティックは、PushTypeでプッシュ・ネクストを選択した場合に指定するパラメータ(PUSH_PARAMS)である“K:Number”と並列の(併記可能な)パラメータとして定義してもよい。この場合、プッシュ・ディレクティブまたはPushAckのPUSH_PARAMSにおいて、複数のパラメータが併記される。同様に、PushTypeとしてプッシュ・テンプレートやプッシュ・タイプが選択された場合も、PUSH_PARAMSにおいて、“automatic”であるか否か、または“automatic”のモードを指定できる。
また、例えば、プッシュ・オートマティック・レートやプッシュ・フル・オートマティックは、プッシュ・ディレクティブにおいて、PUSH_TYPEと並列の(併記される)パラメータとして定義してもよい。この場合、プッシュ・ディレクティブのフォーマットに、PUSH_TYPEとは別に、“automatic”であるか否か、または“automatic”のモードを指定する領域が設けられる。
[3−2.変形例2]
上述した実施の形態において、以下のような変形が適用可能である。ただし、以下の構成は、上述した実施の形態(例えば、セグメント・プッシュにおける“automatic”指定)と組み合わせずに使用してもよい。このように“automatic”を独立の属性として扱うことで、サーバ10が送出するセグメントの個数、時間長、ビットレートだけでなく、他のパラメータについても、サーバ10が自動的に決定するか否かを指定できる。
例えば、MPD要求において、プッシュ・ディレクティブ(またはその他のData Type)を用いてMPDプッシュを指定する場合、以下のいずれかの構成、または以下の任意の構成の組み合わせを用いてもよい。
(1)
MPD要求において、プッシュ・ディレクティブを用いてMPDプッシュの実施が指定されると、サーバ10は、MPDが更新されると新たなMPDをプッシュで送信してもよい。
(2)
MPD要求において、プッシュ・ディレクティブを用いてMPDプッシュの実施が指定されると、サーバ10は、指定されたMPDに加えて、メディアデータの復号または表示に関連するメタデータをpushで送信してもよい。ここで、メタデータの一例としては、メディアデータがMP4の場合のMP4のヘッダ情報(つまりイニシャライゼーション・セグメント)が挙げられる。メタデータには、例えば、音声や映像の符号化データへのアクセス情報や、PTS/DTSなどが格納される。つまり、サーバ10は、MPDと共にイニシャライゼーション・セグメントをクライアント20に送信してもよい。なお、この場合、MPD要求のプッシュ・ディレクティブによって、メタデータをプッシュで送信するか否かを指定できるようにしてもよい。
(3)
MPD(または、メタデータ)がサーバ10によりプッシュで送信される期間または数は、例えば、push typeにより指定されてもよい。つまり、サーバ10は、push typeにより指定された期間または数のMPD(及びメタデータ)をプッシュで送信してもよい。
(4)
MPDプッシュが指定された場合、サーバ10は、予め規定された動作(デフォルト動作)を行うものとし、MPD要求におけるプッシュ・ディレクティブは、MPDプッシュを実施するか否かを指定するだけとしてもよい。ただし、クライアント20またはサーバ10からMPDプッシュの中止(行わない)を指定できるようにしてもよい。
なお、クライアント20がMPDプッシュを要求するプッシュ・ディレクティブを指定したMPD要求を送信したがサーバ10がMPDプッシュを行わないと指定した場合、クライアント20の以降の動作はMPDプッシュに対応しないクライアントの動作と同様であることはいうまでもない。すなわち、クライアント20は、所望のメディアの再生に必要なイニシャライゼーション・セグメントを、サーバ10にセグメント要求を送信することで取得する。
このように、サーバ10がMPDプッシュを行わないことを指定できるようにすることで、イニシャライゼーション・セグメントのプッシュ送信を要求するクライアント20に対しても、サーバ10がイニシャライゼーション・セグメントのプッシュ送信を行わないことを決定して、クライアントに通知することができるので、サーバ10における制御の自由度が高くなる。
(5)
MPDプッシュにおいては、セグメント・プッシュの場合とは異なり、例えば、全てのイニシャライゼーション・セグメントを送信することも可能なため、サーバ10またはクライアント20が、対応する複数のセグメント(例えば、互いに異なるbit rateを有するセグメント)の中からいずれか一つのセグメントを選択する必要がない可能性がある。このように、MPDプッシュで選択できるプッシュ・ストラテジーと、セグメント・プッシュで選択できるプッシュ・ストラテジーとが異なる場合、MPD要求でプッシュ・ストラテジーを指定するための“MPD push Directive”と、セグメント要求でプッシュ・ストラテジーを指定するための“Segment push Directive”とを別に規定してもよい。また、MPD要求とセグメント要求とにおいて、同じフォーマットのプッシュ・ディレクティブを用いるが、MPD要求において使用可能なパラメータを制限してもよい。例えば、automaticの使用を禁止することでMPD要求において使用可能なパラメータを制限する。
(6)
MPD要求のプッシュ・ディレクティブにおいて、メディア・セグメントのプッシュ・ストラテジーを指定できるようにしてもよい。
例えば、MPD要求においてMPDプッシュのプッシュ・ストラテジーとセグメントのプッシュ・ストラテジーとを個別に指定してもよい。
また、例えば、MPD要求においてメディア・セグメントのプッシュ・ストラテジーが指定されると、指定されたセグメントのプッシュ・ストラテジーに対応するMPDプッシュのプッシュ・ストラテジー(プッシュ・ナンを含む)が自動的に選択・生成されてもよい。
また、例えば、MPD要求においてMPDプッシュのプッシュ・ストラテジーが指定されると、指定されたMPDプッシュのプッシュ・ストラテジーに対応するセグメントのプッシュ・ストラテジー(プッシュ・ナンを含む)が自動的に選択または生成されてもよい。
[4.補足:クライアントおよびサーバ]
図10及び図11を用いた説明では、プッシュ・ディレクティブで、オートマティックを指定可能なクライアント及びサーバについて示した。以下では、上記の変形例の説明で言及したプッシュ・ディレクティブで、オートマティックを用いない場合における、MPEG−DASH規格によるストリーミングデータを受信する受信装置としてのクライアント、及び、当該ストリーミングデータを送信する送信装置としてのサーバの構成の一例について説明する。
図12は、通信システムの構成の他の一例を示す図である。
サーバ10Aおよびクライアント20Aは、図10でも説明したようにプロセッサ、ストレージ、および送受信機を含む通信機を有する。
通信システム1Aは、サーバ10Aおよびクライアント20Aが図示しない通信ネットワークにより互いに通信接続されることにより構成されている。
サーバ10Aは、受信部101と、送信部102とを備える。受信部101および送信部102のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。また、図12には図示されていないが、図10のサーバ10と同様に、サーバ10Aは、選択部や処理部を備えていてもよい。
なお、サーバ10Aが備える
(1)MPDの送信
(2)セグメントの送信
(3)受信したDASHコマンドの解釈とクライアント20AへのDASHコマンドの送信
の機能は、同一のサーバで実施されてもよいし、複数のサーバのそれぞれが少なくともいずれか一つの機能を実施し、当該複数のサーバによって上記の機能が統合された動作としてクライアント20Aに提供されてもよい。
クライアント20Aは、受信部201と、送信部202とを備える。受信部202および送信部202のそれぞれは、例えば、マイクロコンピュータ、プロセッサ、または、専用回路などによって実現される。また、図12には図示されていないが、図10のクライアント20と同様に、クライアント20Aは、DASHアクセス部、復号部、アプリケーション部を備えていてもよい。
サーバ10Aおよびクライアント20Aの各構成要素が実施する動作についての説明は、それぞれ、送信方法および受信方法の説明において行う。
サーバ10Aおよびクライアント20Aが実施する送信方法および受信方法の一例について、図13を用いて説明する。
図13は、サーバによる送信方法およびクライアントによる受信方法を含む、通信システムの動作を説明するためのシーケンス図である。
クライアント20Aの動作(受信方法)について説明する。
クライアント20Aの送信部202は、1以上のプッシュ・ディレクティブと共に必要なMPDを指定したMPD要求をサーバに送信する(S201)。クライアント20Aが送信するMPD要求には、MPD要求で指定されたMPDに加えて、当該MPDにより参照されるイニシャライゼーション・セグメントをプッシュで送信することを要求するプッシュ・ディレクティブが設定されている。
クライアント20Aの受信部201は、MPD要求で指定したMPDとプッシュで送信されたイニシャライゼーション・セグメントとを受信する。
そして、クライアント20Aの送信部202は、1以上のプッシュ・ディレクティブと共にセグメントnを指定したセグメント要求とを送信する(S202)。
サーバ10Aの動作(送信方法)について説明する。
サーバ10Aの受信部101は、ステップS201により送信された、1以上のプッシュ・ディレクティブと共にMPDを指定したMPD要求をクライアント20Aから受信する。
サーバ10Aの送信部102は、受信部101が受信したMPD要求で指定されたMPDに加えてイニシャライゼーション・セグメントを、クライアント20Aに送信する(S101)。
サーバ10Aの受信部101は、ステップS202により送信された、1以上のプッシュ・ディレクティブと、セグメントnを指定したセグメント要求とを受信する。
サーバ10Aの送信部102は、セグメント要求で指定されたセグメントnを、クライアント20Aに送信する(S102)。
同様に、サーバ10Aの送信部102は、セグメントn+1以降のセグメントを、クライアント20Aにプッシュで送信する(S103)。
このように、クライアント20Aは、イニシャライゼーション・セグメントの要求を意味するプッシュ・ディレクティブと共にMPD要求をサーバ10Aに送信するため、従来のMPD要求を送信してMPDを受信した後にイニシャライゼーション・セグメントを指定したセグメント要求を送信してイニシャライゼーション・セグメントを受信するように、MPD要求とイニシャライゼーション・セグメント要求とを分けて送信する場合と比較して、処理を1ステップ削減できる。このため、処理量を効果的に低減できる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の受信方法および送信方法などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、MPEG−DASH規格によるストリーミングデータを受信するクライアントにおける受信方法であって、MPDの要求またはセグメントの要求をサーバに送信し、前記MPDの要求で指定されたMPD、および、前記セグメントの要求で指定されたセグメントを受信し、前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、前記受信では、プッシュで送信されたイニシャライゼーション・セグメントを受信する受信方法を実行させる。
また、このプログラムは、コンピュータに、MPEG−DASH規格によるストリーミングデータを送信するサーバにおける送信方法であって、MPDの要求またはセグメントの要求をクライアントから受信し、受信した前記MPDの要求で指定されたMPDと、受信した前記セグメントの要求で指定されたセグメントとを、前記クライアントにプッシュで送信し、前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、前記送信では、前記イニシャライゼーション・セグメントをプッシュで送信する送信方法を実行させる。
以上、本発明の一つまたは複数の態様に係るクライアント、サーバ、受信方法および送信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、MPEG−DASH規格によるストリーミングデータの送信または受信を行う装置または機器に適用できる。
1 通信システム
10、10A サーバ
11 選択部
12 送信部
20、20A クライアント
30 通信ネットワーク
101 受信部
102 送信部
201 受信部
202 送信部

Claims (4)

  1. MPEG−DASH(Moving Picture Experts Group − Dynamic Adaptive Streaming over HTTP)規格によるストリーミングデータを受信するクライアントであって、
    MPD(Media Presentation Description)の要求またはセグメントの要求をサーバに送信する送信部と、
    前記MPDの要求で指定されたMPD、および、前記セグメントの要求で指定されたセグメントを受信する受信部と、を備え、
    前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、
    前記受信部は、プッシュで送信されたイニシャライゼーション・セグメントを受信する
    クライアント。
  2. MPEG−DASH規格によるストリーミングデータを送信するサーバであって、
    MPDの要求またはセグメントの要求をクライアントから受信する受信部と、
    前記受信部が受信した前記MPDの要求で指定されたMPDと、前記受信部が受信した前記セグメントの要求で指定されたセグメントとを、前記クライアントにプッシュで送信する送信部と、を備え、
    前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、
    前記送信部は、前記イニシャライゼーション・セグメントをプッシュで送信する
    サーバ。
  3. MPEG−DASH規格によるストリーミングデータを受信するクライアントにおける受信方法であって、
    MPDの要求またはセグメントの要求をサーバに送信し、
    前記MPDの要求で指定されたMPD、および、前記セグメントの要求で指定されたセグメントを受信し、
    前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、
    前記受信では、プッシュで送信されたイニシャライゼーション・セグメントを受信する
    受信方法。
  4. MPEG−DASH規格によるストリーミングデータを送信するサーバにおける送信方法であって、
    MPDの要求またはセグメントの要求をクライアントから受信し、
    受信した前記MPDの要求で指定されたMPDと、受信した前記セグメントの要求で指定されたセグメントとを、前記クライアントにプッシュで送信し、
    前記MPDの要求は、イニシャライゼーション・セグメントをプッシュで送信することを要求する情報を含み、
    前記送信では、前記イニシャライゼーション・セグメントをプッシュで送信する
    送信方法。
JP2017565527A 2016-02-01 2017-01-30 クライアント及び受信方法 Active JP7011941B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022005367A JP7307211B2 (ja) 2016-02-01 2022-01-17 クライアント、サーバ、受信方法及び送信方法
JP2023107285A JP2023130418A (ja) 2016-02-01 2023-06-29 クライアント、サーバ、受信方法及び送信方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662289469P 2016-02-01 2016-02-01
US62/289,469 2016-02-01
US201662295790P 2016-02-16 2016-02-16
US62/295,790 2016-02-16
JP2016228396 2016-11-24
JP2016228396 2016-11-24
PCT/JP2017/003094 WO2017135181A1 (ja) 2016-02-01 2017-01-30 クライアント、サーバ、受信方法及び送信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022005367A Division JP7307211B2 (ja) 2016-02-01 2022-01-17 クライアント、サーバ、受信方法及び送信方法

Publications (2)

Publication Number Publication Date
JPWO2017135181A1 true JPWO2017135181A1 (ja) 2018-11-29
JP7011941B2 JP7011941B2 (ja) 2022-01-27

Family

ID=59500455

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017565527A Active JP7011941B2 (ja) 2016-02-01 2017-01-30 クライアント及び受信方法
JP2022005367A Active JP7307211B2 (ja) 2016-02-01 2022-01-17 クライアント、サーバ、受信方法及び送信方法
JP2023107285A Pending JP2023130418A (ja) 2016-02-01 2023-06-29 クライアント、サーバ、受信方法及び送信方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022005367A Active JP7307211B2 (ja) 2016-02-01 2022-01-17 クライアント、サーバ、受信方法及び送信方法
JP2023107285A Pending JP2023130418A (ja) 2016-02-01 2023-06-29 クライアント、サーバ、受信方法及び送信方法

Country Status (5)

Country Link
US (4) US10951944B2 (ja)
EP (2) EP4030769A1 (ja)
JP (3) JP7011941B2 (ja)
CN (2) CN108476332B (ja)
WO (1) WO2017135181A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011941B2 (ja) * 2016-02-01 2022-01-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ クライアント及び受信方法
JP6735644B2 (ja) * 2016-09-20 2020-08-05 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US11659057B2 (en) * 2017-04-19 2023-05-23 Comcast Cable Communications, Llc Methods and systems for content delivery using server push
KR102307447B1 (ko) * 2017-05-02 2021-09-30 삼성전자주식회사 네트워크 환경 모니터링에 기반하는 http 적응적 스트리밍 서버, 방법, 및 클라이언트 단말
US10601886B2 (en) * 2018-02-05 2020-03-24 Telefonaktiebolaget Lm Ericsson (Publ) Method, a user equipment and a computer program product for enabling a dynamic adaptive streaming over HTTP, DASH, player to fetch media segments from a network
CN109339699A (zh) * 2018-10-31 2019-02-15 中国石油集团川庆钻探工程有限公司 一种密闭循环控压钻井设计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004276A2 (en) * 2013-07-12 2015-01-15 Canon Kabushiki Kaisha Adaptive data streaming method with push messages control
JP2015050773A (ja) * 2013-08-30 2015-03-16 トムソン ライセンシングThomson Licensing コンテンツをウォーターマーキングする方法
WO2015071001A1 (en) * 2013-11-15 2015-05-21 Fujitsu Limited Reference signals in wireless communication
JP2015133701A (ja) * 2014-01-10 2015-07-23 トムソン ライセンシングThomson Licensing クライアント端末においてマルチメディアコンテンツのセグメントの来るシーケンスをダウンロードする方法、及び対応する端末

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013163464A1 (en) * 2012-04-25 2013-10-31 Huawei Technologies Co., Ltd. Systems and methods for controlling client behavior in adaptive streaming
EP2696552A1 (en) * 2012-08-07 2014-02-12 NTT DoCoMo, Inc. Method, system and network for transmitting multimedia data to a plurality of clients
GB2506911B (en) * 2012-10-12 2015-12-09 Canon Kk Method and correponding device for streaming video data
US9426196B2 (en) * 2013-01-04 2016-08-23 Qualcomm Incorporated Live timing for dynamic adaptive streaming over HTTP (DASH)
JP6221142B2 (ja) * 2013-01-18 2017-11-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド メディアコンテンツに適応ストリーミングを実行するための方法及び装置
GB2516116B (en) * 2013-07-12 2017-10-25 Canon Kk Adaptive data streaming method with push messages control
GB2516112B (en) * 2013-07-12 2016-10-26 Canon Kk Methods for providing media data, method for receiving media data and corresponding devices
WO2015013687A1 (en) * 2013-07-25 2015-01-29 Futurewei Technologies, Inc. System and method for effectively controlling client behavior in adaptive streaming
US10476930B2 (en) * 2014-01-06 2019-11-12 Intel IP Corporation Client/server signaling commands for dash
KR101924703B1 (ko) 2014-02-13 2019-02-20 코닌클리즈케 케이피엔 엔.브이. 단일 메세지 요청에 기초하여 네트워크 노드로부터 다수의 청크 요청
CN103974147A (zh) * 2014-03-07 2014-08-06 北京邮电大学 一种基于mpeg-dash协议的带有码率切换控制和静态摘要技术的在线视频播控系统
EP3120520B1 (en) * 2014-03-17 2023-05-24 bitmovin GmbH Media streaming
US20150271233A1 (en) * 2014-03-20 2015-09-24 Samsung Electronics Co., Ltd. Method and apparatus for dash streaming using http streaming
US10110657B2 (en) * 2014-07-03 2018-10-23 Telefonaktiebolaget Lm Ericsson (Publ) System and method for pushing live media content in an adaptive streaming environment
GB2528672B (en) * 2014-07-25 2017-02-08 Canon Kk Push-based transmission of resources and correlated network quality estimation
EP2999187B1 (en) * 2014-09-18 2017-11-15 Alcatel Lucent Method, computer program product and server for streaming media content from a server to a client
US10880357B2 (en) * 2014-12-23 2020-12-29 Adobe Inc. Reducing requests for media segments in streaming of multimedia content
JP7011941B2 (ja) * 2016-02-01 2022-01-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ クライアント及び受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004276A2 (en) * 2013-07-12 2015-01-15 Canon Kabushiki Kaisha Adaptive data streaming method with push messages control
JP2015050773A (ja) * 2013-08-30 2015-03-16 トムソン ライセンシングThomson Licensing コンテンツをウォーターマーキングする方法
WO2015071001A1 (en) * 2013-11-15 2015-05-21 Fujitsu Limited Reference signals in wireless communication
JP2015133701A (ja) * 2014-01-10 2015-07-23 トムソン ライセンシングThomson Licensing クライアント端末においてマルチメディアコンテンツのセグメントの来るシーケンスをダウンロードする方法、及び対応する端末

Also Published As

Publication number Publication date
US20210152874A1 (en) 2021-05-20
EP3413573A4 (en) 2018-12-12
JP2022036307A (ja) 2022-03-04
US20190045260A1 (en) 2019-02-07
CN108476332A (zh) 2018-08-31
US11336951B2 (en) 2022-05-17
CN114363667A (zh) 2022-04-15
WO2017135181A1 (ja) 2017-08-10
CN108476332B (zh) 2022-02-08
US10951944B2 (en) 2021-03-16
US20220239974A1 (en) 2022-07-28
EP3413573A1 (en) 2018-12-12
CN114363667B (zh) 2024-01-02
JP7307211B2 (ja) 2023-07-11
US20230269421A1 (en) 2023-08-24
JP2023130418A (ja) 2023-09-20
JP7011941B2 (ja) 2022-01-27
EP4030769A1 (en) 2022-07-20
US11678009B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
JP7307211B2 (ja) クライアント、サーバ、受信方法及び送信方法
US8717890B2 (en) Application, usage and radio link aware transport network scheduler
US9596323B2 (en) Transport accelerator implementing client side transmission functionality
JP5925970B2 (ja) 無線アクセスネットワークを介した伝送用メディアストリームのスロットリング
EP3528469B1 (en) Adaptive restful real-time live media streaming
JP5938015B2 (ja) チャンクダウンロード完了判定装置、チャンクダウンロード完了判定方法、及びプログラム
US11196793B2 (en) Method and apparatus for adaptive streaming based on hybrid TCP and UDP in multiple narrowband wireless communication environment
EP3286967B1 (en) Technique for scheduling transmission of content in an access network
JP2015138990A (ja) 受信装置、送信装置及び通信システム
JP6305738B2 (ja) メディア再生制御装置、メディア再生制御方法、及びプログラム
KR20190048186A (ko) 적응적 스트리밍 서비스를 위한 다중 경로 기반 분할 전송 시스템 및 스트리밍 방법
JP6555853B2 (ja) 送信装置、送信制御方法及びプログラム
KR101996914B1 (ko) Mmtp기반 전송 시 배터리 소비 절감 방법 및 시스템
KR20180038188A (ko) 스트리밍 서비스를 지원하는 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R150 Certificate of patent or registration of utility model

Ref document number: 7011941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150