JP6501265B2 - クライアントデバイスにオーディオビジュアルコンテンツを配信するためのシステム及び方法 - Google Patents

クライアントデバイスにオーディオビジュアルコンテンツを配信するためのシステム及び方法 Download PDF

Info

Publication number
JP6501265B2
JP6501265B2 JP2015528954A JP2015528954A JP6501265B2 JP 6501265 B2 JP6501265 B2 JP 6501265B2 JP 2015528954 A JP2015528954 A JP 2015528954A JP 2015528954 A JP2015528954 A JP 2015528954A JP 6501265 B2 JP6501265 B2 JP 6501265B2
Authority
JP
Japan
Prior art keywords
audiovisual content
client device
multicast
layer
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015528954A
Other languages
English (en)
Other versions
JP2015534311A (ja
Inventor
レミー ブレビオン
レミー ブレビオン
ドミニク コロンベル
ドミニク コロンベル
マンク ジャック ル
マンク ジャック ル
Original Assignee
ブロードピーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブロードピーク filed Critical ブロードピーク
Publication of JP2015534311A publication Critical patent/JP2015534311A/ja
Application granted granted Critical
Publication of JP6501265B2 publication Critical patent/JP6501265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/102Gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、一般に、クライアントデバイスにオーディオビジュアルコンテンツを配信することに関し、相互接続デバイスが、オーディオビジュアルコンテンツを提供するように適合された装置が接続されている第1のネットワークを、クライアントデバイスが接続されている第2のネットワークに相互接続する。
アダプティブビットレートストリーミング(ABS)は、コンピュータネットワークを介してマルチメディアをストリーミングする際に使用される1つの一般的なHTTPストリーミング技術であり、HTTP(規範文書RFC2616に規定される「ハイパーテキスト転送プロトコル」)に基づくメディアストリーミング通信プロトコルである、Apple社によって開発されたHLS(「HTTPライブストリーミング」)が1つの特定の実装である。HLSは、全体的なAVストリームを一連の小さなHTTPベースのファイルダウンロードに分けることによって動作し、これらのファイルダウンロードの各々は、潜在的に無限のトランスポートストリーム全体のうちの1つの短いチャンクを含む。ストリームの再生時には、このAVストリームを復号するクライアントデバイスが、同じ素材を含む様々なビットレートで符号化された複数の異なるストリームから選択を行って、利用可能なネットワークリソース及び/又はクライアントデバイスの処理リソースにストリーミングセッションを適合させることができる。クライアントデバイスは、ストリーミングセッションの開始時に、M3U又はm3u8というファイル拡張子が付いたテキストファイルの形のプレイリストをダウンロードする。このテキストファイルは、関連するAVコンテンツに利用できる様々なストリームのためのメタデータを含む。それぞれのビットレートに対応する様々なストリームは、レイヤとも呼ばれる。
Microsoft社が提供するHTTPベースの統合メディア配信プラットフォームであるインターネットインフォメーションサービス(IIS)メディアサービスの一機能であるスムーズストリーミングによっても同様のABS法が実施される。HLSでは、AVストリームを、プレイリストファイルで補完されたチャンクを含む複数のファイルに区切るが、これに対して、スムーズストリーミングは、関連するレイヤを示す記述子とAVコンテンツ内の参照時間とを各々が含むファイル片に区切られた単一のAVファイルに依拠する。しかしながら、プロトコルの原則及び利点は同等である。
同様に、Adobe Systems社のHTTPダイナミックストリーミング(HDS)、並びにHDS、HLS及びスムーズストリーミングに関連するマルチメディアストリーミング技術である、動画専門グループによって開発されたMPEG DASHと呼ばれるダイナミックアダプティブストリーミングオーバーHTTPを検討することもできる。
HTTPは、TCP(規範文書RFC793によって規定される「伝送制御プロトコル」)に依拠することによってファイアウォールの通過を可能にするとともにデータの完全性を保証するので、HTTPベースのストリーミング技術は非常に便利である。しかしながら、ABSの状況におけるHTTPのユニキャスト性は、コンテンツデリバリネットワーク(CDN)のオペレータに対し、ライブストリーミングにABSを採用することを妨げるという大規模なスケーラビリティ問題を引き起こす。さらに、TCPがレイテンシをもたらす可能性もあり、データ転送中の接続ロスは、ユーザの立場から見た体感品質(QoE)に強い影響を与える。
ライブストリーミングのためにABSをスケーラブルに実行するには、数多くのユーザが同時に同じチャネルを視聴する結果、数多くのユニキャストセッションが同時に生じることによって引き起こされるスケーラビリティ問題をネットワークサービスのオペレータが解決する必要がある。
注目すべきは、オーディオビジュアルコンテンツを搬送するストリームのビットレートが適応的なものであれ又は固定的なものであれ、このような問題が、ユニキャストセッションに基づくオーディオビジュアルコンテンツ配信という一般的な状況で生じる点である。
より一般的に言えば、問題が生じるのは、CDNオペレータがCDNにおいて新たなインフラ又はサービスを提供し、又は提供しようと考えているにも関わらず、クライアントデバイスが既存の機構に依拠している時である。通常、クライアントデバイスは、CDNオペレータ以外の団体によって開発されたものであるため、これらの新たなインフラ及び/又はサービスを採用するようにクライアントデバイスをアップグレードすることは設定が困難となり得る。実際に、ゲートウェイとは異なり、このようなクライアントデバイスは、例えばCDNオペレータとは関係のない企業によって開発された、スマートフォン、タブレット、PC(パーソナルコンピュータ)ゲーム機、コネクテッドTVなどにおいて動作するアプリケーションソフトウェアであり、また市場には多くのアプリケーション又はプレーヤが存在しており、従って全てのアプリケーション又はプレーヤがこれらの新たなインフラ又はサービスに対応できるようにするにはコストのかかる統合及び検証過程が必要になる。
第1の態様によれば、このような新たなインフラ又はサービスは、CDNを背景とした既存のコンテンツ配信機構のユニキャスト性に関連する上述のスケーラビリティ問題をクライアントデバイスにとって透過的な形で克服することを目的とする。
第2の態様によれば、このような新たなインフラ又はサービスは、ユーザの立場から見て改善されたQoEを、クライアントデバイスにとって透過的な形で提供することを目的とする。例えば、このような新たなインフラ又はサービスは、AVコンテンツの配信中における接続ロスによるQoEへの影響を克服することを目的とする。
上述した先行技術の短所を克服することが望ましい。
具体的には、オーディオビジュアルコンテンツ配信の状況において新たなインフラ又はサービスの導入を可能にする解決策をクライアントデバイスにとって透過的な形で提供することが望ましい。
さらに、オーディオビジュアルコンテンツ配信の状況においてネットワーク帯域幅消費の削減を可能にする解決策をクライアントデバイスにとって透過的な形で提供することが望ましい。
アダプティブビットレートストリーミングというさらなる状況においてネットワーク帯域幅消費の削減を可能にする解決策をクライアントデバイスにとって透過的な形で提供することがさらに望ましい。
さらに、ユーザの立場から見たQoEの向上を可能にする解決策をクライアントデバイスにとって透過的な形で提供することが望ましい。
オーディオビジュアルコンテンツの配信において示唆されるデバイスの処理リソース消費の制限を可能にする解決策を提供することがさらに望ましい。
このため、本発明は、クライアントデバイスにオーディオビジュアルコンテンツを配信する方法に関し、相互接続デバイスが、オーディオビジュアルコンテンツを提供するように適合された装置が接続されている第1のネットワークを、クライアントデバイスが接続されている第2のネットワークに相互接続する。この方法では、上記装置が、オーディオビジュアルコンテンツを受け取るための第1の要求をクライアントデバイスから受け取るステップと、相互接続デバイス内に実装されているエージェントに向けてクライアントデバイスをリダイレクトするリダイレクトメッセージをクライアントデバイスに送信するステップとを実行する。さらに、この方法では、エージェントが、オーディオビジュアルコンテンツを受け取るための第2の要求をクライアントデバイスから受け取るステップと、この第2の要求に応答して、上記装置とクライアントデバイスとの間の中継器として動作するステップとを実行する。
相互接続デバイス内のエージェントに向けたリダイレクトを行うことにより、新たなインフラ又はサービスの採用が容易になるとともに、クライアントデバイスにとって透過的に行われる。実際に、例えばホームゲートウェイなどの相互接続デバイスは、クライアントデバイスとは違って一般にオペレータによって管理されているので、一般にCDNオペレータにとっては、必要時にこのような相互接続デバイスのアップグレードを行うことの方がクライアントデバイスをアップグレードするよりも容易である。
特定の特徴によれば、上記第1及び第2の要求は、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求であり、上記装置は、オーディオビジュアルコンテンツをライブストリーミングで提供するように適合され、上記装置は、オーディオビジュアルコンテンツが上記装置によって少なくとも1つのマルチキャストストリームの形で利用可能になっている時にリダイレクトメッセージをクライアントデバイスに送信し、上記エージェントは、中継器として動作する時に、上記少なくとも1つのマルチキャストストリームに参加するステップと、少なくとも1つのマルチキャストストリームの形で受け取ったデータをユニキャストストリームの形のデータに変換するステップとを実行する。
従って、第1のネットワークの帯域幅消費が削減され、相互接続デバイスの処理リソースの消費が制限される。実際に、エージェントは、第1のネットワーク全体にわたるマルチキャスト送信をセットアップする恩恵を確実にクライアントデバイスが受けるようにするために数多くのメッセージ交換をスヌープする必要がないので、処理リソースの消費が制限される。
特定の特徴によれば、リダイレクトメッセージは、少なくとも1つのマルチキャストアドレスと、少なくとも1つの関連ポートとを通知するパラメータを含み、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求は、少なくとも1つのマルチキャストアドレスと、少なくとも1つの関連ポートとを通知する上記パラメータを含む。さらに、この方法では、上記エージェントが、少なくとも1つのマルチキャストアドレス及び少なくとも1つの関連ポートに対応する少なくとも1つのマルチキャストストリームに参加する。
従って、この方法は、上記装置の効果的な場所及び実装に関わらず、フレキシブルかつスケーラブルである。
特定の特徴によれば、リダイレクトメッセージは、少なくとも1つのマルチキャストストリームの形のオーディオビジュアルコンテンツに利用可能になっているレイヤの数量を通知するパラメータを含み、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求は、レイヤの数量を通知する上記パラメータを含む。さらに、上記エージェントは、上記レイヤの数量に応じて、少なくとも1つのマルチキャストアドレス及び/又は少なくとも1つの関連ポートを決定する。
従って、第1のネットワーク全体にわたるマルチキャスト送信と、アダプティブビットレートストリーミングの原理とが、オーディオビジュアルコンテンツの配信のために共存することができる。
特定の特徴によれば、リダイレクトメッセージは、1つのマルチキャストアドレス及び1つの関連ポートを通知するとともに上記レイヤの数量を通知するパラメータを含み、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求は、上記1つのマルチキャストアドレス及び上記1つの関連ポートを通知するとともに上記レイヤの数量を通知する上記パラメータを含む。さらに、上記エージェントは、上記要求に含まれる上記レイヤの数量、並びに上記1つのマルチキャストアドレス及び上記1つの関連ポートに応じて、レイヤ毎に1つのマルチキャストアドレスと、1つの関連ポートとを決定する。
特定の特徴によれば、リダイレクトメッセージは、1つのマルチキャストアドレス及び1つの関連ポートを通知するとともに上記レイヤの数量を通知するパラメータを含み、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求は、上記1つのマルチキャストアドレス及び上記1つの関連ポートを通知するとともに上記レイヤの数量を通知する上記パラメータを含む。さらに、上記エージェントは、上記要求に含まれる上記レイヤの数量、並びに上記1つのマルチキャストアドレス及び上記1つの関連ポートに応じて、全てのレイヤのための1つのマルチキャストアドレスと、レイヤ毎に1つの関連ポートとを決定する。
従って、前述の2つの特定の特徴により、リダイレクトメッセージに含めるデータ量を制限できるようになる。
特定の特徴によれば、少なくとも1つのマルチキャストストリームの形のオーディオビジュアルコンテンツに複数のレイヤが利用可能になっており、上記装置は、ハイパーテキスト転送プロトコルライブストリーミングを用いてオーディオビジュアルコンテンツを提供するように適合され、リダイレクトメッセージは、オーディオビジュアルコンテンツのためのプレイリストに関連するユニフォームリソースロケータを表すパラメータを含み、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求は、ユニフォームリソースロケータを表す上記パラメータを含む。さらに、上記エージェントは、上記ユニフォームリソースロケータに基づいて上記プレイリストを要求するステップと、上記プレイリストを受け取るステップと、上記プレイリストに解析動作を行って、各レイヤに関連する1つのプレイリストを決定するステップと、各参加したマルチキャストストリームから1つのレイヤプレイリストを受け取るステップと、上記受け取った(単複の)プレイリストをクライアントデバイスに送信するステップと、1つのレイヤに関連するプレイリストを指示する要求、又は1つのレイヤに関連するプレイリストのファイルを指示する要求をクライアントデバイスから受け取るステップと、1つのレイヤに関連する上記指示されたプレイリスト又は上記指示されたファイルに応じてマルチキャストストリームを選択するステップとを実行する。
従って、HLSの状況において、第1のネットワークの帯域幅消費が削減され、相互接続デバイスの処理リソース消費が制限される。
特定の特徴によれば、少なくとも1つのマルチキャストストリームの形のオーディオビジュアルコンテンツに複数のレイヤが利用可能になっており、エージェントは、1つのレイヤに対応する1つのマルチキャストストリームに参加しており、上記エージェントは、クライアントデバイスが上記1つのレイヤから別のレイヤへの切り替えを行う必要性を検出するステップと、上記別のレイヤに対応するマルチキャストストリームに参加するステップと、上記1つのレイヤに対応するマルチキャストストリームから離脱するステップとを実行する。
従って、帯域幅消費とシステムの応答性との間のトレードオフが発見され、第1のネットワークに関する帯域幅消費が改善される。
特定の特徴によれば、少なくとも1つのマルチキャストストリームの形のオーディオビジュアルコンテンツに複数のレイヤが利用可能になっており、エージェントは、1つのレイヤ及び別のレイヤにそれぞれ対応する少なくとも2つのマルチキャストストリームに参加しており、上記エージェントは、クライアントデバイスがレイヤ間で切り替えを行う必要性を検出するステップと、上記検出された必要性に応じて、上記少なくとも2つのマルチキャストストリームのうちの一方のマルチキャストストリームからのデータを選択するステップとを実行する。
従って、帯域幅消費とシステムの応答性との間のトレードオフが発見され、応答性が改善される。
特定の特徴によれば、上記第1及び第2の要求は、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求であり、上記装置は、複数のソースによってオーディオビジュアルコンテンツが利用可能になっている時にクライアントデバイスにリダイレクトメッセージを送信し、上記エージェントは、中継器として動作する際に、上記オーディオビジュアルコンテンツを上記複数のソースに要求するステップと、上記複数のソースから受け取ったデータからユニキャストストリームを再現するステップとを実行する。
従って、クライアントデバイスを使用するユーザの立場から見たQoEが向上する一方で、相互接続デバイスの処理リソース消費が制限され、及び/又は第1のネットワークのロードバランシングが改善される。
特定の特徴によれば、リダイレクトメッセージは、オーディオビジュアルコンテンツがどのソースから利用可能になっているかを通知するパラメータを含み、オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求は、上記パラメータを含む。
従って、この方法は、上記複数のソースの効果的な場所及び実装に関わらずフレキシブルかつスケーラブルである。
特定の特徴によれば、上記相互接続デバイスはホームゲートウェイであり、上記複数のソースは、上記装置のサーバ及び/又は他のホームゲートウェイである。
従って、ロードバランシングをさらに改善することができる。
特定の特徴によれば、リダイレクトメッセージは、オーディオビジュアルコンテンツの一時的な再配置を指示する。
従って、クライアントデバイスが、後でオーディオビジュアルコンテンツを取得しようと試みた時に再び確実に上記装置にコンタクトできるようになる。従って、上記装置は、オーディオビジュアルコンテンツが依然として少なくとも1つのマルチキャストストリームの形で利用可能になっているかどうかをチェックすることができる。
本発明は、クライアントデバイスにオーディオビジュアルコンテンツを配信するためのシステムにも関し、このシステムは、上記オーディオビジュアルコンテンツを提供するように適合された装置と、この装置が接続されることを目的とする第1のネットワークを、クライアントデバイスが接続されている第2のネットワークに相互接続することを目的とする相互接続デバイスとを備える。さらに、このシステムでは、上記装置が、オーディオビジュアルコンテンツを受け取るための第1の要求を受け取る手段と、相互接続デバイス内に実装されているエージェントに向けてクライアントデバイスをリダイレクトすることを目的とするリダイレクトメッセージを送信する手段とを有する。さらに、このシステムでは、上記エージェントが、オーディオビジュアルコンテンツを受け取るための第2の要求を受け取る手段と、この第2の要求に応答して、上記装置とクライアントデバイスとの間の中継器として動作する手段とを有する。
本発明は、通信ネットワークからダウンロードすることができ、及び/又は処理装置によって読み取ることができる媒体に記憶することができるコンピュータプログラムにも関する。このコンピュータプログラムは、プロセッサによって実行された時に上述の方法を実施させるための命令を含む。本発明は、このようなコンピュータプログラムを含むコンピュータプログラムを記憶する情報記憶手段にも関する。
上述のシステム及びコンピュータプログラムに関連する特徴及び利点は、対応する上述の方法に関連して説明した特徴及び利点と同じものであり、ここでは説明を繰り返さない。
本発明の特徴は、添付図面を参照しながら行う以下の実施形態例の説明を読むことによってさらに明らかになるであろう。
本発明による第1のシステムを概略的に示す図である。 本発明による第2のシステムを概略的に示す図である。 本発明によるシステムのデバイスアーキテクチャを概略的に示す図である。 本発明によるオーディオビジュアルコンテンツ配信アルゴリズムを概略的に示す図である。 本発明による、マルチキャストの状況におけるオーディオビジュアルコンテンツ配信アルゴリズムを概略的に示す図である。 本発明による、HLSマルチキャストの状況におけるオーディオビジュアルコンテンツ配信アルゴリズムを概略的に示す図である。 本発明による、マルチソースの状況におけるオーディオビジュアルコンテンツ配信アルゴリズムを概略的に示す図である。
オーディオビジュアルコンテンツ配信の状況において、処理リソースの消費を制限しながらクライアントデバイスが新たなCDNインフラ又はサービスから恩恵を受けられるようにするために、オーディオビジュアルコンテンツを提供する装置宛てのリダイレクト要求を、この装置が接続されているネットワークと、クライアントデバイスが接続されているネットワークとを相互接続するネットワーク相互接続デバイス内に存在するエージェントにリダイレクトすることを提案する。このエージェントは、これに応答して、装置と、オーディオビジュアルコンテンツ配信の対象である少なくとも1つのクライアントデバイスとの間の中継器として動作する。要求をリダイレクトすることにより、相互接続デバイスを介して転送されるメッセージをエージェントがスヌープする必要なくこの目的を達成することができ、これにより相互接続デバイスの処理リソース消費が制限される。パフォーマンスの向上以外にも、提案するエージェントの障害がネットワーク相互接続デバイスの他のサービスに影響を及ぼすことはないと考えられ、このことは、相互接続デバイスを介して転送されるメッセージをエージェントがスヌープする必要がある場合には当てはまらない。相互接続デバイスがホームゲートウェイであると考えた場合、このようなスヌーピングを行うエージェントに障害が生じると、ブロードバンド接続がシャットダウンされてしまう。この場合、加入者は、ボイスオーバーIP、データ及びテレビなどの異なる重要サービスの喪失を被る必要性が生じる。さらに、提案するエージェントは、ネットワーク相互接続デバイスを通過する全てのトラフィックを傍受するわけではないので、プライバシー/機密性の問題は生じないと考えられる。
図1Aに、本発明による第1のシステムを概略的に示す。このシステムは、第1のネットワーク110と第2のネットワーク120を相互接続するように適合されたホームゲートウェイなどのネットワーク相互接続デバイス101を含む。システムは、CDNを通じてオーディオビジュアル(AV)コンテンツの記述を入手できるウェブサイトを提供するポータルサーバをさらに含む。システムは、ウェブサイトを介して記述されるAVコンテンツにアクセスしてさらにユーザに表示できるようにするCDNサーバ112をさらに含む。CDNサーバ112は、要求時にAVコンテンツをユニキャストで配信するように適合される。CDNサーバ112は、上述したAVコンテンツの記述において、上記AVコンテンツを提供する装置として参照される。システムは、上記AVコンテンツの一部又は全部をマルチキャストで配信するように適合されたマルチキャストサーバ113などの追加サーバをさらに含むことができる。ポータルサーバ111、CDNサーバ112及び上記追加サーバは、第1のネットワーク110に接続される。
なお、ポータルサーバ111、CDNサーバ112及び上記追加サーバは、単一のハードウェアプラットフォーム上に実装される機能に対応することができる。換言すれば、ポータルサーバ111、CDNサーバ112及びマルチキャストサーバ113は、第1のネットワーク110に接続されてクライアントデバイスにAVコンテンツを提供するように適合された装置を構成する。
好ましい実施形態では、CDNサーバ112が、HLSを用いてAVコンテンツを配信するように適合され、従ってABSの実装を可能にする。しかしながら、CDNサーバ112が、スムーズストリーミング、HDS又はMPEG DASHを用いてAVコンテンツを配信するように適合されている場合にも同じ原理が当てはまる。
1つの実施形態では、マルチキャストサーバ113が、UDP(規範文書RFC768によって規定される「ユーザデータグラムプロトコル」)上のRTP(規範文書RFC3550によって規定される「リアルタイムトランスポートプロトコル」)を用いて、上記AVコンテンツのうちの少なくとも1つのAVコンテンツを配信するように適合される。
ネットワーク相互接続デバイス101が第1のネットワーク110と第2のネットワーク120を相互接続することにより、第2のネットワーク120に接続されたクライアントデバイス121は、このネットワーク相互接続デバイス101を介して、ポータルサーバ111、CDNサーバ112及び上記追加サーバによって提供されるサービスにアクセスできるようになる。ネットワーク相互接続デバイス101は、CDN装置とクライアントデバイス121の間の中継器として動作するエージェント102を含む。エージェント102及びCDN装置の動作については、以下で図3〜図6に関連して詳細に説明する。
図1Bに、本発明による第2のシステムを概略的に示す。図1Bのシステムは、マルチキャストサーバ113が複数のAVサーバ114、115に置き換わっている点を除き、図1Aのシステムと同様のものである。各AVサーバは、潜在的に異なるビットレート、すなわちレイヤでAVコンテンツの少なくとも一部を配信することができる。AVサーバ114、115は、全体として見れば完全なAVコンテンツを提供するように適合されるが、各AVサーバ114、115は、AVコンテンツの一部、又はCDNにおいて利用できるAVコンテンツのためのレイヤのサブセットのみを提供できればよい。第1の例によれば、AVサーバ114がAVコンテンツを低解像度で提供し、AVサーバ115がAVコンテンツを高解像度で提供することができる。第2の例によれば、AVサーバ114が各AVコンテンツの一部を提供し、AVサーバ115が各AVコンテンツの残り部分を提供することができる。第3の例によれば、各AVサーバ114、115が全てのAVコンテンツを低解像度及び高解像度で提供することができる。AVサーバ114、115は、AVコンテンツの配信中におけるユーザの立場から見たQoEを向上させるために、及び/又は第1のネットワーク110におけるロードバランシングを改善するために併用することができる。
図1A及び図1Bには、システムの動作中に行われるデータ交換を表す矢印を実線及び点線で示しているが、これについては以下で図3、図4及び図6に関連して詳細に説明する。
図2に、ネットワーク相互接続デバイス101、及び/又はポータルサーバ111、及び/又はCDNサーバ112、及び/又はマルチキャストサーバ113、及び/又はAVサーバ114、115のアーキテクチャを概略的に示す。図2を、ネットワーク相互接続デバイス101に関して説明しているものとして検討する。
図示のアーキテクチャによれば、ネットワーク相互接続デバイス101は、プロセッサ、マイクロプロセッサ、マイクロコントローラ又はCPU(中央処理装置)200と、RAM(ランダムアクセスメモリ)201と、ROM(リードオンリメモリ)202と、HDD(ハードディスクドライブ)203、又は記憶手段に記憶された情報を読み取るようになっている他のいずれかのデバイスと、第1の通信インターフェイス204と、第2の通信インターフェイス205とを含み、これらは通信バス210によって相互接続される。
第1の通信インターフェイス204は、ネットワーク相互接続デバイス101を第1のネットワーク110に接続できるようにする。第2の通信インターフェイス205は、ネットワーク相互接続デバイス101を第2のネットワーク120に接続できるようにする。なお、ポータルサーバ111、CDNサーバ112又はマルチキャストサーバ113については、関連するサーバを第1のネットワーク110に接続するための通信インターフェイスを1つだけ実装していればよい。
CPU200は、ROM202、又はHDD203などの外部メモリからRAM201にロードされた命令を実行することができる。CPU200は、ネットワーク相互接続デバイス101の電源投入後にRAM201から命令を読み取って実行することができる。これらの命令は、以下で図3及び図4に関連して説明する、ネットワーク相互接続デバイス101によって実行されるステップをCPU200に実行させる1つのコンピュータプログラムを形成する。なお、これらのステップは、PC、DSP(デジタルシグナルプロセッサ)又はマイクロコントローラなどのプログラム可能なコンピュータ機械による命令又はプログラムセットの実行によってソフトウェアの形で実装することも、或いは、機械、又はFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)などの専用コンポーネントによってハードウェアの形で実装することもできる。
図3に、図1A又は図1Bのシステムによって実施されるAVコンテンツ配信のためのアルゴリズムを概略的に示す。
ステップ301において、クライアントデバイス121が、CDNを介して利用可能になっているAVコンテンツの記述をポータルサーバ111がクライアントデバイス121に提供するように要求する。この要求は、上記AVコンテンツの記述を参照するURL(「ユニフォームリソースロケータ」)へのユニキャストHTTP要求の形で行われることが好ましい。この要求は、クライアントデバイス121により、ネットワーク相互接続デバイス101を介してポータルサーバ111に送信される。
次のステップ302において、ポータルサーバ111は、ステップ301で送信された要求に応答して、CDNを介して利用可能になっているAVコンテンツの記述を送信する。この応答は、ポータルサーバ111により、ネットワーク相互接続デバイス101を介してクライアントデバイス121に送信される。この記述は、上記AVコンテンツのリストと、それぞれのAVコンテンツをCDNサーバ112から取得できるそれぞれのURLとを含む。この記述は、それぞれのAVコンテンツから抽出された画像のサムネイル、又は上記それぞれのAVコンテンツを表す画像のサムネイルをさらに含むことができ、これによってクライアントデバイス121は、これらのサムネイルから構築されたタイルをグラフィックユーザインターフェイスに表示できるようになる。
ステップ301及び302の実行に関連するメッセージ交換については、図1Aに矢印131で、図1Bに矢印141で示している。
次のステップ303において、クライアントデバイス121は、利用可能なAVコンテンツのリストのうちの1つのAVコンテンツの選択をユーザからユーザインターフェイスを介して取得する。
なお、より一般的な実施形態では、ステップ301及び302を実行することなくAVコンテンツの選択を自動的に実行することができる。例えば、クライアントデバイス121は、CDNサーバ112によって提供されたAVコンテンツを示すURLを電子メールなどのメッセージで受け取る。
次のステップ304において、クライアントデバイス121は、選択されたAVコンテンツをCDNサーバ112に要求する。この要求は、m3u8の拡張子が付いたプレイリストファイルを参照するHTTP GETメッセージの形であることが好ましい。
次のステップ305において、CDNサーバ112は、そのAVコンテンツが、クライアントデバイス121が対応していないと予想される新たなインフラ又はサービスに関連するものであるかどうかをチェックする。
選択されたAVコンテンツが新たなインフラ又はサービスに関連する場合には、ステップ307を実行する。その他の場合には、ステップ306を実行する。
ステップ306において、CDNサーバ112は、ネットワーク相互接続デバイス101を介して、選択されたAVコンテンツをクライアントデバイス121に提供する。AVコンテンツは、HLS技術を用いて、すなわちこのAVコンテンツを表すトランスポートストリームのチャンクを各々が含む一連の小さなHTTPベースのファイルダウンロードの形でCDNサーバ112によって配信されることが好ましい。このダウンロードは、ユニキャストHTTP要求応答に基づいて行われる。その後、アルゴリズムは終了する。
ステップ307において、CDNサーバ112は、IP(規範文書RFC791によって規定される「インターネットプロトコル」)アドレスとポートのTCP連結によって識別される別の場所にクライアントデバイス121をリダイレクトする旨を示すリダイレクトメッセージをクライアントデバイス121に送信する。このIPアドレスとポートのTCP連結は、相互接続デバイス101のエージェント102によって管理される。
このリダイレクトメッセージは、オーディオビジュアルコンテンツの一時的再配置を示すことが好ましい。要求されたリソースが一時的に別の場所に存在する旨を示すことにより、クライアントデバイス121は、後でこのAVコンテンツを取得しようと試みた時に、再び確実にCDNサーバ112にコンタクトできるようになる。従って、CDNサーバ112は、クライアントデバイス121が対応していないと予想される新たなインフラ又はサービスが依然としてそのAVコンテンツに関連しているかどうかをチェックすることができる。
ステップ304、306及び307の実行に関連するメッセージ交換については、図1Aに矢印132で、図1Bに矢印142で示している。
次のステップ308において、クライアントデバイス121は、リダイレクトメッセージを受け取ると、このリダイレクトメッセージに示されているIPアドレスとポートのTCP連結に向けた接続要求を生成する。この要求は、リダイレクトメッセージ内に提供されるパラメータを含む。
このステップ308の実行に関連するメッセージの送信については、図1Aに矢印133で、図1Bに矢印143で示している。
次のステップ309において、エージェント102は、CDN装置とクライアントデバイス121の間の中継器として機能する。従って、クライアントデバイス121は、あたかもCDNサーバ112とやりとりしているかのようにエージェント102とやりとりし、エージェント102は、新たなインフラ又はサービスの実装を可能にする。
第1の実施形態によれば、この新たなインフラ又は新たなサービスは、CDNネットワーク全体を通じたライブストリーミングの形でAVコンテンツのマルチキャスト送信を実装することに関連する。この実施形態については、以下で図4に関連して詳細に説明する。第2の実施形態によれば、新たなインフラ又は新たなサービスは、エージェント102がAVコンテンツを取り出せる複数のソースを実装することに関連する。この実施形態については、以下で図6に関連して詳細に説明する。
図4に、マルチキャストサーバ113が作動している図1Aのシステムによって実施されるAVコンテンツ配信のためのアルゴリズムを概略的に示す。このアルゴリズムでは、クライアントデバイスが、第1のネットワーク100における帯域幅消費の削減を目的とする新たなCDNインフラ又はサービスから恩恵を受けることができる。
このアルゴリズムは、図3に関連して上述したステップ301〜304とそれぞれ同じものであるステップ401〜404から開始するが、CDNを介して利用可能になっているAVコンテンツの記述が、ライブストリーミングとして利用可能なAVコンテンツのみをリストしている点が異なる。
次のステップ405において、CDNサーバ112は、AVコンテンツがマルチキャストサーバ113からのマルチキャストの形で利用可能であるかどうかをチェックする。第1の例によれば、CDNサーバ112は、マルチキャストサーバ113からのマルチキャストの形でライブストリーミングとして利用可能なAVコンテンツの所定のリストを記憶する。第2の例によれば、マルチキャストストリーミングの形で利用可能な全てのAVコンテンツがそれぞれの一意の識別子に関連付けられており、CDNサーバ112は、選択されたAVコンテンツの一意の識別子をマルチキャストサーバ113に提供し、マルチキャストサーバ113は、識別されたAVコンテンツのためのマルチキャスト送信が既にセットアップされているかどうか、又はマルチキャストサーバ113がこのようなマルチキャスト送信のセットアップ能力を有しているかどうかを示す応答を送信する。
選択されたAVコンテンツがマルチキャストの形で利用可能になっている場合には、ステップ407を実行する。その他の場合には、ステップ406を実行する。
ステップ406において、CDNサーバ112は、ネットワーク相互接続デバイス101を介して、選択されたAVコンテンツをクライアントデバイス121にユニキャストの形で提供する。
ステップ407において、CDNサーバ112は、ステップ307に関連して上述したように、クライアントデバイス121を別の場所にリダイレクトする旨を示すリダイレクトメッセージをクライアントデバイス121に送信する。
リダイレクトメッセージは、以下の形をとることができる。
307 TEMPORARY REDIRECT
location:192.168.0.1:5000?225.10.11.12:1000&NbLayers=3
この場合、
− 307 TEMPORARY REDIRECTは、要求されたリソースが一時的に別の場所に存在し、リダイレクションは時折変更されることがあるので、クライアントデバイス121は将来的な要求に前回のURLを使用し続けるべきである旨を示すHTTPコードに対応し、
− location:192.168.0.1:5000は一時的なリソースの場所を示し、192.168.0.1はエージェント102のIPアドレスであり、5000はクライアントデバイス121が接続を行うべきTCPポートであり、
− ?はパラメータが後続することを示し、
− 225.10.11.12:1000&NbLayers=3は、エージェント102によって必要とされる上記パラメータであり、225.10.11.12は、要求されたAVコンテンツを表すマルチキャストストリームのためのIPマルチキャストアドレスであり、1000は、エージェント102がリスンすべきUDPポートであり、「NbLayers=3」は、要求されたAVコンテンツに利用できるレイヤの数量を示す。
なお、パラメータNbLayersの値を示すことは、ABSの場合にのみ、さらにはレイヤの数量がエージェント102によって事前に知られていない場合にのみ有用である。
次のステップ408において、クライアントデバイス121は、リダイレクトメッセージを受け取ると、このリダイレクトメッセージに示されているIPアドレスとポートのTCP連結に向けた接続要求を生成する。この要求は、リダイレクトメッセージ内に提供されるパラメータを含む。
次のステップ409において、エージェント102は、クライアントデバイス121から受け取った要求内にポート及びアドレスが指定されているマルチキャストストリームに参加する。次に、エージェント102は、マルチキャストサーバ113からマルチキャストストリームを受け取る。マルチキャストストリームへの参加は、専用のIGMP(規範文書RFC3376によって規定される「インターネットグループ管理プロトコル」)メッセージを用いて行われることが好ましい。
選択されたAVコンテンツをマルチキャストの形でデータ送信することについては、図1Aに矢印134で示している。
次のステップ410において、エージェント102は、マルチキャストからユニキャストへの変換を行う。エージェント102は、受け取ったマルチキャストパケットから、クライアントデバイス121によって送信された要求に対するそれぞれのユニキャスト応答を生成する。実際には、クライアントデバイス121は、選択されたAVコンテンツを取得するために、選択されたAVコンテンツを断片毎に取得する要求をエージェント102に対して生成する。エージェント102は、マルチキャストサーバ113から受け取ったマルチキャストストリームのAVデータを用いて上記要求に対する応答を生成する。
選択されたAVコンテンツをユニキャストの形でデータ送信することについては、図1Aに矢印135で示している。
特定の実施形態によれば、マルチキャストサーバ113により、選択されたAVコンテンツの配信に複数のレイヤが利用可能になっており、リダイレクトメッセージは、マルチキャストアドレスと関連ポートの連結をレイヤ毎に含む。この結果、エージェント102は、選択されたAVコンテンツのためのマルチキャストストリームのいずれか又は全てに参加することができる。
別の特定の実施形態によれば、マルチキャストサーバ113により、選択されたAVコンテンツの配信に複数のレイヤが利用可能になっており、リダイレクトメッセージは、マルチキャストアドレス及び関連ポートを含まない。この場合、いずれかのマルチキャストストリームのためのマルチキャストアドレス及び関連ポートがエージェント102によって事前に認知されている。例えば、このようなマルチキャストアドレス及び関連ポートは事前に定められ、或いはCDNサーバ112により、選択されたAVコンテンツの一意の識別子に関連する専用メッセージの形で相互接続デバイス101に送信されて、リダイレクトメッセージがこの一意の識別子を含むようになる。
さらに別の特定の実施形態によれば、マルチキャストサーバ113により、選択されたAVコンテンツの配信に複数のレイヤが利用可能になっており、エージェント102は、選択されたAVコンテンツのためのリダイレクトメッセージに示されているレイヤの数量に応じて、(単複の)マルチキャストストリームに参加するための少なくとも1つのマルチキャストアドレス及び/又は少なくとも1つの関連ポートを決定する。例えば、リダイレクトメッセージに1つのレイヤのためのマルチキャストアドレスが含まれている場合、エージェント102は、この含まれているマルチキャストアドレスを所定の方法で修正することにより、別のレイヤのための別のマルチキャストアドレスを決定することができる。一例として、リダイレクトメッセージが、1つのレイヤに対応する225.10.11.12というマルチキャストアドレスを含む場合、エージェント102は、このアドレスを1単位だけ増分することにより、別のレイヤに対応する225.10.11.13というマルチキャストアドレスが取得されると認識する。パラメータNbLayersの値は、どのアドレスまで増分を行うことができるかを示すことができる。関連ポートにも同じ原理が当てはまる。一例として、リダイレクトメッセージが1つのレイヤに対応するポート1000を含む場合、エージェント102は、このポートを1単位だけ増分することにより、別のレイヤに対応するポート1001が取得されると認識する。これらの例から、全てのレイヤのための1つのマルチキャストアドレスと、レイヤ毎に1つの関連ポートとを使用することも、又はレイヤ毎に1つのマルチキャストアドレスと、レイヤ毎に1つの関連ポートとを使用することも、又はレイヤ毎に1つのマルチキャストアドレスと、全てのレイヤのための1つの関連ポートとを使用することもできるということが分かる。
図5に、マルチキャストHLSの状況においてエージェント102によって実行されるステップ408〜410を概略的に詳述する。
ステップ401において、エージェント102は、選択されたAVコンテンツに利用できる様々なストリームのプレイリストを取得するための要求をクライアントデバイス121から受け取る。この要求は、ステップ408において受け取られるものであり、従って潜在的にリダイレクトメッセージからのパラメータを含んでいる。
次のステップ502において、エージェント102は、CDNサーバ112に上記プレイリストを要求し、これを行うために使用されるURLはエージェント102によって事前に認知されており、又はリダイレクトメッセージ内にパラメータとして提供される。少なくともリダイレクトメッセージは、上記ユニフォームリソースロケータを表すパラメータを含む。次のステップ503において、エージェント102は、「low.m3u8」、「medium.m3u8」及び「high.m3u8」などのレイヤプレイリストを参照するプレイリストをCDNサーバ112からレイヤ毎に1つ受け取る。
次のステップ504において、エージェント102は、CDNサーバ112によって提供されたプレイリストを解析して、各レイヤに適用可能なプレイリスト、従って関連するマルチキャストストリームの決定に適用可能なプレイリストを決定する。
次のステップ505において、エージェント102は、CDNサーバ112から受け取ったプレイリストをクライアントデバイス121に送信する。
次のステップ506において、クライアントデバイス121が、例えば「low.m3u8」などのレイヤプレイリストを要求すると、エージェント102は、ステップ409の参加動作を行う。エージェント102は、CDNサーバ112から受け取ったプレイリスト内の、クライアントデバイス121によって要求されたレイヤプレイリストの位置を用いて、どの(単複の)マルチキャストストリームに参加すべきかを決定することができる。
次のステップ507において、エージェント102は、参加動作に応答して、例えば「low.m3u8」などの関連するレイヤのレイヤプレイリストとAVデータとを含む(単複の)マルチキャストストリームをマルチキャストサーバ113から受け取り始める。
次のステップ508において、エージェント102は、この(単複の)マルチキャストストリームに含まれている(単複の)レイヤプレイリストを解析して、考慮するレイヤのAVストリームを構成する全てのファイルの識別子を決定する。
次のステップ509において、エージェント102は、(単複の)マルチキャストストリームに含まれている(単複の)レイヤプレイリストをクライアントデバイス121に送信する。この時、クライアントデバイス121は、上述したように、選択されたAVコンテンツを断片毎に取得するための要求をエージェント102に対して生成すると予想される。エージェント102は、これに応答して、ステップ410のマルチキャストからユニキャストへの変換を行う。
クライアントデバイス121は、別のレイヤに切り替える必要性を検出した場合、次のステップ510において、例えば「medium.m3u8」などの関連するプレイリストを取得するための要求を送信する。この結果、エージェント102は、クライアントデバイス121によって要求された上記別のプレイリストに応じてマルチキャストストリームを選択するようになる。クライアントデバイス121は、全てのレイヤプレイリストを認知すると、上記ファイルの識別子を用いて、いずれかのレイヤプレイリストからのファイルダウンロードを要求することができる。エージェント102は、これらのレイヤプレイリストに対して事前に行った解析動作の結果、上記ファイルの上記識別子に応じてマルチキャストストリームを選択することができる。
変換されたストリームデータがクライアントデバイス121に送信されると、アルゴリズムはステップ506を繰り返し、クライアントデバイス121は再びプレイリストを要求する。実際に、HLSでのライブストリーミングという状況では、プレイリストが時間とともに進化し、すなわち期限を過ぎたチャンクが除去されて新たなチャンクが追加される。エージェント102は、クライアントデバイス121に最新のプレイリストを提供し、レイヤ間の切り替えを行う必要がある時にのみ別のマルチキャストストリームを選択する。
スムーズストリーミングの状況では、クライアントデバイス121からの要求が、関連するレイヤ及び要求されたAVファイル断片の時間基準を示すので、実装はさらに単純である。
上記の図5に関連する説明から、クライアントデバイス121は、1つのレイヤから別のレイヤに切り替える必要性の検出を担っていると理解することができる。
別の特定の実施形態によれば、マルチキャストサーバ113により、選択されたAVコンテンツの配信に複数のレイヤが利用可能になっており、エージェント102が、1つのレイヤに対応する1つのマルチキャストストリームに参加しており、このエージェント102が、クライアントデバイス121が上記1つのレイヤから別のレイヤへの切り替えを行う必要性を検出する。この時、エージェント102は、上記別のレイヤに対応するマルチキャストストリームに参加して、上記1つのレイヤに対応するマルチキャストストリームから離脱する。マルチキャストストリームからの離脱は、専用のIGMPメッセージを用いて行われることが好ましい。従って、エージェント102は、1つのレイヤから別のレイヤへの切り替えを行うために複数のマルチキャストストリームに同時に、又はほんの短い期間にわたって参加する必要があるという状況にはない。
さらに別の特定の実施形態によれば、マルチキャストサーバ113により、選択されたAVコンテンツの配信に複数のレイヤが利用可能になっており、エージェント102が、1つのレイヤと別のレイヤとにそれぞれ対応する少なくとも2つのマルチキャストストリームに参加しており、このエージェント102が、クライアントデバイス121が上記1つのレイヤから別のレイヤへの切り替えを行う必要性を検出する。この時、エージェント102は、上記検出された必要性に応じて、上記少なくとも2つのマルチキャストストリームのうちの一方のマルチキャストストリームからのデータを選択する。すなわち、エージェント102は、両マルチキャストストリームからのデータを受け取り、クライアントデバイス121にユニキャストの形で提供するのに適したデータを内部的に選択する。
さらに別の特定の実施形態によれば、クライアントデバイス121が1つのレイヤから別のレイヤへの切り替えを行う必要性を検出することが、例えば第1のネットワーク110のトラフィック負荷をモニタすることに基づいて、エージェント102によって単独で行われる。別の方法は、マルチキャストサーバ113が、このような切り替えを行う必要性があることをエージェント102に知らせることである。
図6に、AVサーバ114、115が作動している図1Bのシステムによって実施されるAVコンテンツ配信のためのアルゴリズムを概略的に示す。このアルゴリズムでは、クライアントデバイスが、ユーザの立場から見たQoEを向上させること、及び/又は第1のネットワーク100のロードバランシングを改善することを目的とする新たなCDNインフラ又はサービスから恩恵を受けることができる。
このアルゴリズムは、図3に関連して上述したステップ301〜304とそれぞれ同じものであるステップ601〜604から開始する。CDNを介して利用可能になっているAVコンテンツの記述は、ライブストリーミング及び/又はVOD(ビデオ・オン・デマンド)として利用可能なAVコンテンツをリストする。
次のステップ605において、CDNサーバ112は、AVコンテンツが複数のソースから利用可能であるかどうかをチェックする。第1の例によれば、CDNサーバ112は、AVコンテンツを利用できるソースの所定のリストを記憶する。第2の例によれば、全てのAVコンテンツがそれぞれの一意の識別子に関連付けられており、CDNサーバ112は、選択されたAVコンテンツの一意の識別子をAVサーバ114、115に提供し、AVサーバ114、115は、この識別されたAVコンテンツがAVサーバ114、115によって少なくとも部分的に記憶されているかどうかを示す応答を送信する。
選択されたAVコンテンツが複数のソースから利用可能になっている場合には、ステップ607を実行する。その他の場合には、ステップ606を実行する。
ステップ606において、CDNサーバ112は、ネットワーク相互接続デバイス101を介して、選択されたAVコンテンツをユニキャストの形でクライアントデバイス121に提供する。
ステップ607において、CDNサーバ112は、ステップ307に関連して上述したように、クライアントデバイス121を別の場所にリダイレクトする旨を示すリダイレクトメッセージをクライアントデバイス121に送信する。このリダイレクトメッセージは、選択されたAVコンテンツをエージェント102が要求できる各ソースを表すURLの指示をさらに含むことができる。このリダイレクトメッセージは、選択されたAVコンテンツのどのチャンクを各ソースが記憶しているかについての指示をさらに含むことができる。これらの指示は、エージェント102において事前に定めることもできる。
ステップ608において、クライアントデバイス121は、リダイレクトメッセージを受け取ると、このリダイレクトメッセージに示されているIPアドレスとポートのTCP連結に向けた接続要求を生成する。この要求は、リダイレクトメッセージ内に提供されるパラメータを含む。
次のステップ609において、エージェント102は、選択されたAVコンテンツを複数のソースに要求してこれを受け取る。複数のソースに同じチャンクを要求すると、チャンクを取得するための全体的なレイテンシが減少し、これによってAVデータの不足、従ってAVアーチファクトが回避されるので、QoEを向上させることができる。さらに、AVデータの配信中における、ホストとも呼ばれる1つのソースとの接続ロスによるQoEに対する影響を克服できるようになる。それぞれの異なるソースに異なるチャンクを要求すると、CDNネットワークのロードバランシングを改善することができる。
選択されたAVコンテンツの断片をエージェント102が受け取れるようにするためのやりとりについては、図1Bに矢印144、145で示している。
次のステップ610において、エージェント102は、選択されたAVコンテンツを再現し、これをクライアントデバイス121にユニキャストの形で送信する。
選択されたAVコンテンツをユニキャストの形でデータ送信することについては、図1Bに矢印135で示している。
特定の実施形態によれば、選択されたAVコンテンツに対して複数のレイヤを利用可能にすることができる。HLSの状況では、エージェント102が、関連するプレイリストをCDNサーバ112に要求し、これを行うために使用されるURLはエージェント102によって事前に認知されており、又はリダイレクトメッセージ内にパラメータとして提供される。上記プレイリストの1つ又はそれ以上は、AVサーバ114、115から取得することもできる。
別の特定の実施形態によれば、VODの状況において、相互接続デバイス101がホームゲートウェイであり、エージェント102が、他のホームゲートウェイである複数のソースからAVコンテンツを取得する。上記他のホームゲートウェイは、AVコンテンツの少なくとも一部にアクセスすることができ、このAVコンテンツの少なくとも一部は、上記他のホームゲートウェイ、又は上記他のホームゲートウェイによってインターネットに相互接続されたローカルエリアネットワーク上に存在する別の記憶装置によって記憶することができる。上記AVコンテンツが、上記他のホームゲートウェイによってインターネットに相互接続されているローカルエリアネットワーク上に存在するクライアントデバイスのユーザのために事前にダウンロードされている場合、上記他のホームゲートウェイはこのAVコンテンツにアクセスすることができる。CDNサーバ112は、AVコンテンツをどこで取得できるかについてエージェント102に知らせるために、AVコンテンツをダウンロードする際に経由するホームゲートウェイを追跡することができる。このような特定の実施形態では、CDNのロードバランシングをさらに改善することができる。
101 ネットワーク相互接続デバイス
102 エージェント
110 第1のネットワーク
111 ポータルサーバ
112 CDNサーバ
113 マルチキャストサーバ
114、115 AVサーバ
120 第2のネットワーク
121 クライアントデバイス
131 メッセージ交換
132 メッセージ交換
133 メッセージ送信
134 AVコンテンツのデータ送信(マルチキャスト)
135 AVコンテンツのデータ送信(ユニキャスト)

Claims (9)

  1. クライアントデバイスにオーディオビジュアルコンテンツを配信する方法であって、相互接続デバイスが、前記オーディオビジュアルコンテンツを提供するように適合された装置が接続されている第1のネットワークを、前記クライアントデバイスが接続されている第2のネットワークに相互接続し、前記装置は、
    − 前記クライアントデバイスから、前記オーディオビジュアルコンテンツを受け取るための第1の要求を受け取ることと、
    − 前記オーディオビジュアルコンテンツの一時的な再配置を指示するリダイレクトメッセージであって、前記相互接続デバイス内に実装されているエージェントに向けて前記クライアントデバイスをリダイレクトするリダイレクトメッセージを前記クライアントデバイスに送信することと、
    を実行し、前記エージェントは、
    − 前記クライアントデバイスから、前記オーディオビジュアルコンテンツを受け取るための第2の要求を受け取ることと、
    − 前記第2の要求に応答して、前記装置と前記クライアントデバイスとの間の中継器として動作することと、
    を実行し、
    前記リダイレクトメッセージが前記オーディオビジュアルコンテンツの一時的な再配置を指示することにより、前記クライアントデバイスが後で前記オーディオビジュアルコンテンツを取得しようと試みたとき、前記クライアントデバイスが再び前記装置にコンタクト
    前記第1及び第2の要求は、前記オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求であり、前記装置は、前記オーディオビジュアルコンテンツをライブストリーミングで提供するように適合され、前記装置は、前記オーディオビジュアルコンテンツが前記装置によって少なくとも1つのマルチキャストストリームの形で利用可能になっている時に前記リダイレクトメッセージを前記クライアントデバイスに送信し、前記エージェントは、中継器として動作する際に、
    − 前記少なくとも1つのマルチキャストストリームに参加することと、
    − 前記少なくとも1つのマルチキャストストリームの形で受け取ったデータを、前記ユニキャストストリームの形のデータに変換することと、
    を実行する、
    ことを特徴とする方法。
  2. − 前記リダイレクトメッセージは、少なくとも1つのマルチキャストアドレスと、少なくとも1つの関連ポートとを通知するパラメータを含み、
    − 前記オーディオビジュアルコンテンツを前記ユニキャストストリームの形で受け取るための前記要求は、前記少なくとも1つのマルチキャストアドレスと、前記少なくとも1つの関連ポートとを通知する前記パラメータを含み、
    − 前記エージェントは、前記少なくとも1つのマルチキャストアドレス及び前記少なくとも1つの関連ポートに対応する少なくとも1つのマルチキャストストリームに参加する、
    ことを特徴とする請求項に記載の方法。
  3. − 前記リダイレクトメッセージは、前記少なくとも1つのマルチキャストストリームの形の前記オーディオビジュアルコンテンツに利用可能になっているレイヤの数量を通知するパラメータを含み、
    − 前記オーディオビジュアルコンテンツを前記ユニキャストストリームの形で受け取るための前記要求は、前記レイヤの数量を通知する前記パラメータを含み、
    − 前記エージェントは、前記レイヤの数量に応じて、少なくとも1つのマルチキャストアドレス及び/又は少なくとも1つの関連ポートを決定する、
    ことを特徴とする請求項又はに記載の方法。
  4. − 前記リダイレクトメッセージは、1つのマルチキャストアドレス及び1つの関連ポートを通知するとともに前記レイヤの数量を通知するパラメータを含み、
    − 前記オーディオビジュアルコンテンツを前記ユニキャストストリームの形で受け取るための前記要求は、前記1つのマルチキャストアドレス及び前記1つの関連ポートを通知するとともに前記レイヤの数量を通知する前記パラメータを含み、
    − 前記エージェントは、前記要求に含まれる前記レイヤの数量、並びに前記1つのマルチキャストアドレス及び前記1つの関連ポートに応じて、レイヤ毎に1つのマルチキャストアドレスと、1つの関連ポートとを決定する、
    ことを特徴とする請求項に記載の方法。
  5. − 前記リダイレクトメッセージは、1つのマルチキャストアドレス及び1つの関連ポートを通知するとともに前記レイヤの数量を通知するパラメータを含み、
    − 前記オーディオビジュアルコンテンツを前記ユニキャストストリームの形で受け取るための前記要求は、前記1つのマルチキャストアドレス及び前記1つの関連ポートを通知するとともに前記レイヤの数量を通知する前記パラメータを含み、
    − 前記エージェントは、前記要求に含まれる前記レイヤの数量、並びに前記1つのマルチキャストアドレス及び前記1つの関連ポートに応じて、全てのレイヤのための1つのマルチキャストアドレスと、レイヤ毎に1つの関連ポートとを決定する、
    ことを特徴とする請求項に記載の方法。
  6. 前記少なくとも1つのマルチキャストストリームの形の前記オーディオビジュアルコンテンツに複数のレイヤが利用可能になっており、前記装置は、ハイパーテキスト転送プロトコルライブストリーミングを用いて前記オーディオビジュアルコンテンツを提供するように適合され、
    − 前記リダイレクトメッセージは、前記オーディオビジュアルコンテンツのためのプレイリストに関連するユニフォームリソースロケータを表すパラメータを含み、
    − 前記オーディオビジュアルコンテンツを前記ユニキャストストリームの形で受け取るための前記要求は、前記ユニフォームリソースロケータを表す前記パラメータを含み、 前記エージェントは、
    − 前記ユニフォームリソースロケータに基づいて前記プレイリストを要求することと、
    − 前記プレイリストを受け取ることと、
    − 前記プレイリストに解析動作を行って、各レイヤに関連する1つのプレイリストを決定することと、
    − 各参加したマルチキャストストリームから1つのレイヤプレイリストを受け取ることと、
    − 前記受け取った(単複の)プレイリストを前記クライアントデバイスに送信することと、
    − 前記クライアントデバイスから、1つのレイヤに関連するプレイリストを指示する要求、又は1つのレイヤに関連するプレイリストのファイルを指示する要求を受け取ることと、
    − 前記1つのレイヤに関連する前記指示されたプレイリスト又は前記指示されたファイルに応じてマルチキャストストリームを選択することと、
    を実行する、
    ことを特徴とする請求項からのいずれかに記載の方法。
  7. 前記少なくとも1つのマルチキャストストリームの形の前記オーディオビジュアルコンテンツに複数のレイヤが利用可能になっており、前記エージェントは、1つのレイヤに対応する1つのマルチキャストストリームに参加しており、前記エージェントは、
    − 前記クライアントデバイスが前記1つのレイヤから別のレイヤへの切り替えを行う必要性を検出することと、
    − 前記別のレイヤに対応するマルチキャストストリームに参加することと、
    − 前記1つのレイヤに対応する前記マルチキャストストリームから離脱することと、を実行する、
    ことを特徴とする請求項からのいずれかに記載の方法。
  8. 前記少なくとも1つのマルチキャストストリームの形の前記オーディオビジュアルコンテンツに複数のレイヤが利用可能になっており、前記エージェントは、1つのレイヤ及び別のレイヤにそれぞれ対応する少なくとも2つのマルチキャストストリームに参加しており、前記エージェントは、
    − 前記クライアントデバイスがレイヤ間で切り替えを行う必要性を検出することと、 − 前記検出された必要性に応じて、前記少なくとも2つのマルチキャストストリームのうちの一方のマルチキャストストリームからのデータを選択することと、
    を実行する、
    ことを特徴とする請求項からのいずれかに記載の方法。
  9. クライアントデバイスにオーディオビジュアルコンテンツを配信するためのシステムであって、前記オーディオビジュアルコンテンツを提供するように適合された装置と、該装置が接続されることを目的とする第1のネットワークを、前記クライアントデバイスが接続されている第2のネットワークに相互接続することを目的とする相互接続デバイスとを備え、前記装置は、
    − 前記オーディオビジュアルコンテンツを受け取るための第1の要求を受け取る手段と、
    − 前記オーディオビジュアルコンテンツの一時的な再配置を指示するリダイレクトメッセージであって、前記相互接続デバイス内に実装されているエージェントに向けて前記クライアントデバイスをリダイレクトすることを目的とするリダイレクトメッセージを送信する手段と、
    を有し、前記エージェントは、
    − 前記オーディオビジュアルコンテンツを受け取るための第2の要求を受け取る手段と、
    − 前記第2の要求に応答して、前記装置と前記クライアントデバイスとの間の中継器として動作する手段と、
    を有し、
    前記リダイレクトメッセージが前記オーディオビジュアルコンテンツの一時的な再配置を指示することにより、前記クライアントデバイスが後で前記オーディオビジュアルコンテンツを取得しようと試みたとき、前記クライアントデバイスが再び前記装置にコンタクト
    前記第1及び第2の要求は、前記オーディオビジュアルコンテンツをユニキャストストリームの形で受け取るための要求であり、前記装置は、前記オーディオビジュアルコンテンツをライブストリーミングで提供するように適合され、前記装置は、前記オーディオビジュアルコンテンツが前記装置によって少なくとも1つのマルチキャストストリームの形で利用可能になっている時に前記リダイレクトメッセージを前記クライアントデバイスに送信し、前記エージェントは、中継器として動作する際に、
    − 前記少なくとも1つのマルチキャストストリームに参加することと、
    − 前記少なくとも1つのマルチキャストストリームの形で受け取ったデータを、前記ユニキャストストリームの形のデータに変換することと、
    を実行する、
    ことを特徴とするシステム。
JP2015528954A 2012-08-27 2013-08-19 クライアントデバイスにオーディオビジュアルコンテンツを配信するためのシステム及び方法 Active JP6501265B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12306026.1 2012-08-27
EP12306026.1A EP2704391B1 (en) 2012-08-27 2012-08-27 System and method for delivering an audio-visual content to a client device
PCT/EP2013/067250 WO2014033003A1 (en) 2012-08-27 2013-08-19 System and method for delivering an audio-visual content to a client device

Publications (2)

Publication Number Publication Date
JP2015534311A JP2015534311A (ja) 2015-11-26
JP6501265B2 true JP6501265B2 (ja) 2019-04-17

Family

ID=46875711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015528954A Active JP6501265B2 (ja) 2012-08-27 2013-08-19 クライアントデバイスにオーディオビジュアルコンテンツを配信するためのシステム及び方法

Country Status (15)

Country Link
US (1) US11277456B2 (ja)
EP (1) EP2704391B1 (ja)
JP (1) JP6501265B2 (ja)
KR (1) KR102110421B1 (ja)
CN (1) CN104854838B (ja)
BR (1) BR112015004266B1 (ja)
CA (1) CA2883195C (ja)
ES (1) ES2736955T3 (ja)
IN (1) IN2015DN01654A (ja)
MX (1) MX347356B (ja)
PL (1) PL2704391T3 (ja)
PT (1) PT2704391T (ja)
RU (1) RU2647654C2 (ja)
SG (1) SG11201501473TA (ja)
WO (1) WO2014033003A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133546B2 (en) 2013-03-14 2018-11-20 Amazon Technologies, Inc. Providing content on multiple devices
US9842584B1 (en) 2013-03-14 2017-12-12 Amazon Technologies, Inc. Providing content on multiple devices
US9578077B2 (en) * 2013-10-25 2017-02-21 Hive Streaming Ab Aggressive prefetching
GB2521845B (en) * 2014-01-03 2021-07-07 British Broadcasting Corp Content delivery
US9961004B2 (en) * 2015-02-18 2018-05-01 Viasat, Inc. Popularity-aware bitrate adaptation of linear programming for mobile communications
US9270724B1 (en) * 2015-06-25 2016-02-23 Amarone Partners, Llc System and method for content streaming with feature detection
US10567461B2 (en) 2016-08-04 2020-02-18 Twitter, Inc. Low-latency HTTP live streaming
CN109936527A (zh) * 2017-12-15 2019-06-25 中兴通讯股份有限公司 直播数据的传输方法及网络节点
BR112021010392A2 (pt) 2018-11-28 2021-08-24 Broadpeak Método e sistema para entrega de conteúdo audiovisual ao vivo
US11627049B2 (en) * 2019-01-31 2023-04-11 Hewlett Packard Enterprise Development Lp Failsafe firmware upgrade for cloud-managed devices
CN113475084B (zh) * 2019-02-27 2024-02-02 英国电讯有限公司 多播辅助传送
RU2759595C1 (ru) * 2020-09-28 2021-11-15 Общество С Ограниченной Ответственностью "Джи-Кор Рус" Система отказоустойчивого транскодирования и выдачи прямых потоков в формате hls
EP4002793B1 (en) * 2020-11-13 2024-01-03 Broadpeak Method and controller for audio and/or video content delivery

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10242962A (ja) * 1997-02-25 1998-09-11 Nippon Telegr & Teleph Corp <Ntt> インターネット上のマルチキャストゲートウェイ通信方法及びシステム
US6259701B1 (en) * 1997-09-11 2001-07-10 At&T Corp. Method and system for a unicast endpoint client to access a multicast internet protocol (IP) session
CA2368556C (en) * 1999-04-05 2010-12-21 Neomedia Technologies, Inc. System and method of using machine-readable or human-readable linkage codes for accessing networked data resources
US6865605B1 (en) * 2000-10-04 2005-03-08 Microsoft Corporation System and method for transparently redirecting client requests for content using a front-end indicator to preserve the validity of local caching at the client system
US20020143951A1 (en) * 2001-03-30 2002-10-03 Eyeball.Com Network Inc. Method and system for multicast to unicast bridging
JP4309629B2 (ja) * 2002-09-13 2009-08-05 株式会社日立製作所 ネットワークシステム
JP2004129159A (ja) * 2002-10-07 2004-04-22 Ntt Docomo Inc パケット変換方法、パケット通信システム、パケット変換装置、パケット変換プログラムおよび記録媒体
KR101117874B1 (ko) * 2003-10-24 2012-03-08 마이크로소프트 코포레이션 실시간 제어 프로토콜(rtcp) 메시지 내로의 세션 설명메시지의 임베딩
US20050235047A1 (en) * 2004-04-16 2005-10-20 Qiang Li Method and apparatus for a large scale distributed multimedia streaming system and its media content distribution
US20050235036A1 (en) * 2004-04-19 2005-10-20 Nielsen Jim R Intelligent URL redirector
JP2006246242A (ja) * 2005-03-04 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 階層符号化データ転送制御システム及びプログラム
EP2036283B1 (en) * 2006-06-27 2015-10-21 Thomson Licensing Method and apparatus for reliably delivering multicast data
US8756333B2 (en) * 2006-11-22 2014-06-17 Myspace Music Llc Interactive multicast media service
US8613072B2 (en) * 2009-02-26 2013-12-17 Microsoft Corporation Redirection of secure data connection requests
US8018934B2 (en) * 2009-03-20 2011-09-13 Cisco Technology, Inc. Switched unicast in an internet protocol television environment
US8867539B2 (en) 2009-09-18 2014-10-21 At&T Intellectual Property I, L.P. Multicast-unicast protocol converter
CN102598691B (zh) * 2009-11-03 2015-02-18 瑞典爱立信有限公司 利用数据分段的可选广播传送的流传输
EP2586170A4 (en) * 2010-06-28 2013-07-03 Huawei Tech Co Ltd NETWORK UNIT AND METHOD FOR PROVISION OF DATA TO AT LEAST ONE USER DEVICE IN A COMMUNICATION NETWORK

Also Published As

Publication number Publication date
CN104854838B (zh) 2017-09-08
WO2014033003A1 (en) 2014-03-06
SG11201501473TA (en) 2015-05-28
MX347356B (es) 2017-04-24
JP2015534311A (ja) 2015-11-26
BR112015004266A2 (pt) 2017-07-04
BR112015004266B1 (pt) 2022-08-30
MX2015002628A (es) 2015-06-24
RU2015107014A (ru) 2016-10-20
CA2883195A1 (en) 2014-03-06
RU2647654C2 (ru) 2018-03-16
CN104854838A (zh) 2015-08-19
US11277456B2 (en) 2022-03-15
PL2704391T3 (pl) 2019-10-31
KR20150079557A (ko) 2015-07-08
ES2736955T3 (es) 2020-01-09
CA2883195C (en) 2019-09-24
KR102110421B1 (ko) 2020-05-13
EP2704391A1 (en) 2014-03-05
PT2704391T (pt) 2019-08-07
US20150229685A1 (en) 2015-08-13
EP2704391B1 (en) 2019-05-01
IN2015DN01654A (ja) 2015-07-03

Similar Documents

Publication Publication Date Title
JP6501265B2 (ja) クライアントデバイスにオーディオビジュアルコンテンツを配信するためのシステム及び方法
Kesavan et al. An investigation on adaptive HTTP media streaming Quality-of-Experience (QoE) and agility using cloud media services
US9038116B1 (en) Method and system for recording streams
US11178200B2 (en) Systems and methods for playing adaptive bitrate streaming content by multicast
US9609629B2 (en) Method and apparatus for efficient transmission of unmanaged over-the-top streams over cellular communication networks
US20120300015A1 (en) Two-way audio and video communication utilizing segment-based adaptive streaming techniques
WO2014188886A1 (ja) コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
EP3017605A1 (en) Streaming of segmented content
CN105656910B (zh) 媒体传输服务器、媒体传输系统、用户终端和媒体传输方法
KR20210119957A (ko) 오디오-비주얼 라이브 콘텐츠 전달을 위한 방법 및 시스템
US12088653B2 (en) Method and apparatus for processing multicast signal
US20150188963A1 (en) Systems and Methods for Distributing Adaptive Bitrate Streaming Content by Multicast
Kaur et al. A survey of streaming protocols for video transmission
Koren et al. Peer-to-peer video streaming in html5 with webtorrent
Peltotalo et al. RTSP‐based Mobile Peer‐to‐Peer Streaming System
KR20110000593A (ko) 멀티캐스트 스트림을 이용하여 주문형 스트리밍 콘텐츠의 제공을 촉진하기 위한 방법 및 장치
JP2009118361A (ja) 通信制御装置ならびに通信制御方法
EP2579542A1 (en) A method for dissemination of multimedia information through deployment of a decentralized peer-to-peer network and a decentralized network for implementation of the method
Koren et al. OakStreaming: A Peer-to-Peer Video Streaming Library
JP2024073386A (ja) ライブコンテンツをマルチキャストするためのシステムおよび方法
KR100643705B1 (ko) 인터넷 방송 시스템의 멀티캐스트 재방송 서비스 방법 및장치
Joldzic et al. Video streaming protocol extension for session control and authorization
Nafaa et al. Analysing Joost peer to peer IPTV protocol
O'Neill et al. Re-evaluating multicast streaming using large-scale network simulation
O’Neill Peer Assisted Multicast Streaming for On-Demand Applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171024

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180523

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180823

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190313

R150 Certificate of patent or registration of utility model

Ref document number: 6501265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250