JP5143957B2 - トポロジを意識したキャッシュ協働 - Google Patents

トポロジを意識したキャッシュ協働 Download PDF

Info

Publication number
JP5143957B2
JP5143957B2 JP2011551106A JP2011551106A JP5143957B2 JP 5143957 B2 JP5143957 B2 JP 5143957B2 JP 2011551106 A JP2011551106 A JP 2011551106A JP 2011551106 A JP2011551106 A JP 2011551106A JP 5143957 B2 JP5143957 B2 JP 5143957B2
Authority
JP
Japan
Prior art keywords
content
content object
space
csn
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011551106A
Other languages
English (en)
Other versions
JP2012518841A (ja
Inventor
エステバン,ジャイロ,オー.
ベック,アンドレ
ヒルト,ヴォルカー
リマック,イヴィツァ
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42631869&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5143957(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2012518841A publication Critical patent/JP2012518841A/ja
Application granted granted Critical
Publication of JP5143957B2 publication Critical patent/JP5143957B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/185Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Description

関連出願の相互参照
本出願は、参照により本明細書に組み込まれている、2009年2月20日に出願した仮特許出願第61/208,176号の利益を主張するものである。
本発明は、コンテンツ配信ネットワークの分野に関し、より詳細には、コンテンツ配信および記憶を管理することに関する。
コンテンツ配信ネットワーク(CDN)は、ネットワーク・インフラストラクチャ中にわたって分散するキャッシュからなる。これらのキャッシュは通常、基礎をなすネットワーク・トポロジに従う階層に構成される。各キャッシュは通常、コンテンツを記憶するための大容量記憶デバイスが関連付けられたネットワーク要素またはノードを含む。各キャッシュは、そのキャッシュに直接に所属するユーザ、すなわち、配信階層中でそのキャッシュの直下に位置するユーザのみにサービスする。キャッシュ間の協働は、主として、親および兄弟キャッシュ間でのトラフィックの交換に限定される。このアーキテクチャでは、階層中の同じレベルにある全てのキャッシュは、主として、同じコンテンツを有する。これらのキャッシュは、要求を受け取ると、要求されたコンテンツがキャッシュに記憶されていれば(すなわちキャッシュ・ヒット)そのコンテンツを直接に供給することができ、あるいは、そのコンテンツがキャッシュに記憶されていなければ(すなわちキャッシュ・ミス)要求を親キャッシュに転送することができる。
基礎をなすネットワーク・インフラストラクチャの平坦化と、IPアドレッシングを介してコンテンツ配信階層に到達する能力とにより、あるキャッシュが、コンテンツ配信ネットワーク中の他のキャッシュからコンテンツを取り出すことが可能である。すなわち、子キャッシュは、要求されたコンテンツ・オブジェクトまたはタイトルのコピーがローカルに記憶されていない場合に、その親キャッシュ以外のキャッシュにアイテムを要求することができる。平坦化されたコンテンツ配信ネットワーク中では、どのコンテンツ・オブジェクトまたはタイトルがどのキャッシュに記憶されるべきか、およびCDN全体においてどれくらい頻繁にコンテンツ・オブジェクトが記憶されるべきかが、最初に決定される。コンテンツ要求は、その要求に最もうまく応答できるキャッシュにルーティングされる。コンテンツ・オブジェクトが最初に配信されて以後は、キャッシュ間における記憶済みコンテンツの連携はそれ以上ない。
従来技術のこれらおよび様々な他の欠陥は、コンテンツ配信ネットワーク(CDN)のコンテキスト内で連携グローバルおよびローカル・キャッシュ管理機能を提供するシステム、方法、および装置によって対処される。ローカル・キャッシュまたはコンテンツ記憶ノード(CSN)が、ローカル空間と連合空間との間で区分されたまたは割り振られたローカル大容量記憶デバイスを備え、ローカル空間は主に、より人気のあるコンテンツに充てられ、連合空間は主に、より人気のないコンテンツに充てられる。各コンテンツ・オブジェクトに関連する有用性パラメータが監視され、有用性パラメータは、CDNを形成する様々なキャッシュ内のローカル空間と連合空間との間でコンテンツを移行するのに使用される。連合空間は、複数のCSNの連合空間を結合することによって形成されるずっと大きい仮想連合空間の一部として管理される。
任意選択で、親と子のコンテンツ記憶ノード間の逆方向チャネル容量を使用して、同じまたは異なる階層レベルのキャッシュ間の効率的なコンテンツ移行を容易にする。この逆方向チャネル容量を使用する決定は、利用可能なタイプの通信チャネルのコスト、大容量記憶装置のコスト、オブジェクトのファイル・サイズ、および/または他の要因の影響を受ける。
したがって、様々な実施形態は、ネットワーク内のキャッシュ・ノードの分散集合の協働を、任意選択で基礎的なネットワーク・トポロジに関する知識と共に利用して、ディスク空間および未使用アップリンク容量の使用を活用することによって通過帯域幅のコストを削減する。
本発明の教示は、添付の図面と共に以下の詳細な説明を考察することによって容易に理解することができる。
一実施形態によるコンテンツ配信システム(CDS)の高レベルのブロック図である。 本明細書に述べる機能を実施する際に使用するのに適した汎用コンピュータの高レベルのブロック図である。 様々な実施形態によるキャッシュ・メモリ使用を図式的に示す図である。 様々な実施形態によるキャッシュ・メモリ使用を図式的に示す図である。 様々な実施形態によるキャッシュ・メモリ使用を図式的に示す図である。 一実施形態による記憶装置割振り方法の流れ図である。 図6の記憶装置割振り方法において使用するのに適したコンテンツ昇格/降格方法の流れ図である。
理解を容易にするため、各図に共通の同一要素を示すのに、可能な場合は同一の参照番号を使用している。
本発明は、親/子(アップストリーム/ダウンストリーム)通信経路を使用して同じまたは異なる階層レベルのキャッシュ間でコンテンツが移行される、コンテンツ記憶ノードまたはキャッシュの階層を含むコンテンツ配信ネットワーク(CDN)のコンテキスト内で述べる。
様々な実施形態は、個別のキャッシュ記憶装置をローカル空間と連合空間との間で割り振り、ローカル空間は主に、より人気のあるコンテンツに充てられ、連合空間は主に、より人気のないコンテンツに充てられる。コンテンツの人気を示すパラメータが監視され、これらのパラメータは、CDNを形成する様々なキャッシュ内のローカル空間と連合空間との間でコンテンツを移行するのに使用される。キャッシュ内のローカル空間と連合空間の相対的な量は、コンテンツの人気、キャッシュ間の異なるレベルのコンテンツ要求、局所的/地域的コンテンツ嗜好などの、大域的または局所的な変化に応答して、時の経過に伴って変化する場合がある。
様々な実施形態は、親と子のコンテンツ記憶ノード間の既存の逆方向チャネル容量を利用して、キャッシュ間の効率的なコンテンツ移行を容易にする。このようにすれば、より安価な(かつ、すでに存在する)、親ノードに関連する順方向および逆方向のデータ・チャネルを使用して、共通の親ノードに関連する子ノード間でコンテンツを移行することができる。
本発明の一部は、コンテンツ配信ネットワーク内のネットワーク・トラフィックがしばしば非対称であってアップストリーム方向よりもダウンストリーム方向での需要が高く、今日のネットワークのほとんどの部分が対称容量を有することを、発明者らが認識したことにある。このように、アップストリーム帯域幅が利用可能であって十分に活用されていないことが多く、したがって、既存の(遊休)リソースを利用できるので、ネットワークのトランスポート・リソースを増加させることなくコンテンツのピアツーピア(例えば子から子へ)移行を実施することができる。
様々な実施形態は、通常なら遊休状態にあるこれらのネットワーク・リソースを利用してキャッシュ間のコンテンツ移行の量を増加させ、連合キャッシュのコンテキスト内でよりインテリジェントにキャッシュ・リソースをプールする。結合または連合キャッシュCDNは、階層コンテンツ配信システム中で従来利用可能であったよりも著しく大きいコンテンツ記憶域を提供するが、これは一部には、各キャッシュにおいて記憶する必要のあるコンテンツ・オブジェクトまたはオブジェクトの数が削減されることによる。コンテンツ要求がピアツーピアで満たされることが増加することによってもまた、非常に高価な通信リソースに関連するコンテンツ・ソースまたは他のネットワーク要素にアップストリーム送信しなければならない要求の数が削減される。
図1に、一実施形態によるコンテンツ配信システム(CDS)の高レベルのブロック図を示す。図1のCDS100は、映画、テレビジョン番組、音楽などのコンテンツを配信するように動作する。概して言えば、コンテンツ・オブジェクトもしくはオブジェクトは最初、コンテンツ保管庫に記憶されているか、または、CDS内のリモート・サーバもしくはキャッシュなど何らかの他のコンテンツ・ソースによって提供される。
具体的には、図1のコンテンツ配信システム100は、コンテンツ保管庫150と他のコンテンツ・ソース160とのいずれかからコンテンツを受け取る中央または最上レベル・コンテンツ集約ノード110を含む。コンテンツ集約ノード110は、ネットワーク要素120−1〜120−N(まとめて第2レベル・ネットワーク要素120)として示される、コンテンツ記憶ノードとして動作する複数の第2レベル・ネットワーク要素のそれぞれにコンテンツを配信する。各第2レベル・ネットワーク要素120は、ネットワーク要素130−1〜130−N(まとめて第3レベル・ネットワーク要素130)として示される、コンテンツ記憶ノードとして動作するそれぞれの複数の第3レベル・ネットワーク要素にコンテンツを配信する。各第3レベル・ネットワーク要素130は、140−1〜140−N(まとめてクライアント・デバイス140)として示されるそれぞれの複数のクライアント・デバイスにコンテンツを配信する。
コンテンツ集約ノード110、第2レベル・ネットワーク要素120、および第3レベル・ネットワーク要素130は、クライアント・デバイス140によるコア・ネットワーク180へのアクセスを必要に応じて可能にするのに適したアクセス・ネットワークを集合的に表す。
コンテンツ保管庫150は、直接におよび/またはコア・ネットワーク180を介してコンテンツ集約ノード110と通信するものとして示し、他のコンテンツ・ソース160は、コア・ネットワーク180を介してコンテンツ集約ノード110と通信するものとして示す。
コア・ネットワーク180と通信するネットワーク・マネージャ170も示す。ネットワーク・マネージャ170は、様々な実施形態で、複数のコンテンツ・キャッシュの大容量記憶デバイス内の連合空間割振りを管理するように適合されたコンテンツ・マネージャとして動作する。
ネットワーク・マネージャ170はコア・ネットワーク180のみと通信するように示されているが、ネットワーク・マネージャ170は、コンテンツ集約ノード110など、管理されているネットワーク内の任意の適したネットワーク要素と通信してもよいことは、当業者には理解されるであろう。さらに、ネットワーク・マネージャ170は、別個の要素として示されているが、コンテンツ集約ノード110、第2レベル・ネットワーク要素120、および第3レベル・ネットワーク要素130のいずれかの内に含まれてもよい。
図1に示すコンテンツ配信システム100は、一実施形態の単純化した表現である。発明者らは、このシステム100に様々な修正を加えてよいことを企図する。例えば、考察を簡単にするために単一のコンテンツ集約ノード110が示されているが、複数のコンテンツ集約ノードを使用してもよく、そのような使用が発明者らによって企図されることは、当業者には理解されるであろう。同様に、2つの階層レベルのみのコンテンツ記憶ノードが示されているが(120/130)、様々な実施形態のコンテキスト内で、より多いかまたは少ない階層レベルのコンテンツ記憶ノードを使用してもよい。加えて、コンテンツ記憶ノードやクライアント・デバイスなどの数に関係するものとして用語「複数」を使用する場合、これは具体的な数を示すものと解釈すべきではない。例えば、第2レベル・ネットワーク要素120の複数Nは、第3レベル・ネットワーク要素130の複数Nおよび/またはクライアント・デバイス140の複数Nと同じである必要はない。
コンテンツ集約ノード110は、各第2レベル・コンテンツ記憶ノード120に、それぞれの高帯域幅(かつ高コスト)通信チャネルHBCを介してコンテンツを搬送する。第2レベル・コンテンツ記憶ノード120は、対応する第3レベル・コンテンツ記憶ノード130と、それぞれの順方向チャネルFCおよび逆方向チャネルRCを介して通信する。第3レベル・コンテンツ記憶ノード130は、例示的には標準ラストマイル通信チャネル(LM)を介して、それぞれの近傍のクライアント・デバイス140と通信する。遠隔通信ネットワークに関係する一実施形態では、コンテンツ集約ノード110はオフィス間通信センタを含み、各第2レベル・コンテンツ記憶ノード120は中央オフィス(CO)を含み、各第3レベル・コンテンツ記憶ノード130はディジタル加入者線アクセス・マルチプレクサ(DSLAM)を含む。ケーブル・テレビジョン・ネットワークに関係する他の実施形態では、コンテンツ集約ノードはケーブル・テレビジョン・ヘッドエンド・デバイスを含む。
各コンテンツ記憶ノード120/130は、コンテンツ・オブジェクトを記憶するための1つまたは複数の大容量記憶デバイスに関連する。コンテンツ記憶ノードの例示的な構成については、後で図2に関してより詳細に論じる。
通常の動作においては、クライアント・デバイス140が、クライアント・デバイスにサービスするコンテンツ記憶ノード130にコンテンツを要求する。コンテンツ記憶ノード130に関連する大容量記憶デバイスが、要求されたコンテンツを含む場合は、コンテンツはクライアント・デバイスに直接に供給される。そうでない場合は、別のコンテンツ記憶ノード、コンテンツ集約ノード110、コンテンツ保管庫150、または何らかの他のコンテンツ・ソース160からコンテンツを取り出さなければならない。後者の場合、要求されたコンテンツを取り出して供給するのに必要な時間量によって、ユーザ体験はいくらか劣化する。
各コンテンツ記憶ノード120/130は、その大容量記憶デバイス(複数可)に、CDNを介して利用可能な総コンテンツのうちの一部しか記憶することができない。コンテンツ記憶ノード120/130に関連する大容量記憶装置は、後でより詳細に論じるように、ローカル空間と連合空間との間で割り振られる。
コンテンツ配信システム内の各コンテンツ・オブジェクトには、有用性パラメータが関連する。有用性パラメータは、コンテンツ・オブジェクトの人気、コンテンツ・オブジェクトのファイル・サイズ、コンテンツ・オブジェクトの場所、コンテンツ・オブジェクトを取り出すコスト、および他の要因のうちの1つまたは複数に基づく。これらの要因は、任意選択で、相互に対して重み付けされる。コンテンツ・オブジェクトの有用性パラメータに関連する要因は、コンテンツの相対的な人気、記憶空間のコスト、ピアツーピア帯域幅使用、親から子への帯域幅使用などに応答して選択される。
コンテンツ・オブジェクトの有用性レベルは、任意選択で、局所有用性レベルおよび/または連合有用性レベルのコンテキスト内で構築される。局所有用性レベルは、CSNに関連するクライアント・デバイスのサブネットワークに関係するものとしてのコンテンツ・オブジェクトの有用性レベルを含み、連合有用性レベルは、CSN全体に関係するものとしてのコンテンツ・オブジェクトの有用性レベルを含む。
様々な実施形態は、利用可能なコンテンツ・オブジェクトに関連する有用性パラメータの変化に応答して、ローカル空間および連合空間に記憶された特定のコンテンツ・オブジェクトを適合させる。例えば、一実施形態では、最も人気のあるコンテンツ・オブジェクトが、各コンテンツ記憶ノードにおけるローカル空間に記憶され、より人気のないコンテンツ・オブジェクトが、全てのコンテンツ記憶ノード中の連合空間にわたって分散される。コンテンツ記憶ノードにおけるローカル空間は有限であり、したがって、相対的な有用性に基づくコンテンツ・オブジェクトのランク順序付きリストを利用して、どのコンテンツ・オブジェクトがローカル空間に記憶されるかが決定される。より人気のあるオブジェクト、より小さいファイル・サイズのコンテンツ・オブジェクトなどを優先することができる。あるコンテンツ・オブジェクトが時の経過に伴って人気が下がってきた(例えば相対的な有用性が低下した)場合、このコンテンツ・オブジェクトは、ローカル空間から「降格」して連合空間に入れることができる。同様に、あるコンテンツ・オブジェクトが時の経過に伴って人気が上がってきた(例えば相対的な有用性が上昇した)場合、このコンテンツ・オブジェクトは連合空間、コンテンツ保管庫、または他のコンテンツ・ソースからローカル空間に「昇格」させることができる。
概して言えば、より人気があり、したがってより頻繁に要求されるコンテンツ・オブジェクトまたはタイトルは、有用性パラメータの値がより高い傾向があることになり、そのためこれらのコンテンツ・オブジェクトまたはタイトルは、ローカル空間に記憶される傾向があることになる。このようにして、新しい映画、テレビジョン番組、スポーツ・イベント、音楽など、非常に人気のあるコンテンツ・オブジェクトは、より素早く要求元ユーザにストリーミングされるように、ローカルに記憶される傾向があることになる。
様々な他の実施形態は、コンテンツ・オブジェクト要求を満たすことに関連するコストの変化に応答して、コンテンツ記憶ノードのローカル空間と連合空間との比率を適合させる。例えば、大容量記憶装置が比較的安価であり、帯域幅コスト(例えばコンテンツ・アグリゲータ110と第2レベル・コンテンツ宛先ノード120との間の)が比較的高価である場合は、より多くのコンテンツ・オブジェクト、より大きいファイル・サイズのコンテンツ・オブジェクトなどをローカルに記憶することが望ましくなる。この場合、大容量記憶デバイスのサイズの増大、および/または、大容量記憶デバイスのローカル空間への割振りの増大が望まれる。同様に、大容量記憶装置が比較的高価であり、帯域幅コストが比較的安価であるシナリオでは、より少ないコンテンツ・オブジェクト、より小さいファイル・サイズのコンテンツ・オブジェクトなどをローカルに記憶することが望ましくなる。この場合、大容量記憶デバイスのサイズの縮小、および/または、大容量記憶デバイスのローカル空間への割振りの縮小が望まれる。
様々な他の実施形態は、コンテンツを、そのコンテンツを必要とする可能性が最も高いコンテンツ記憶ノードに向けて移動するように動作する。民族特有のコンテンツを、対応する民族グループにサービスするコンテンツ記憶ノードに移動するなどである。これは、民族特有のコンテンツを求める要求が増加したことで、そのようなコンテンツの相対的な有用性レベルが上昇した場合に生じることがある。
様々な実施形態で、ネットワーク・マネージャ170は、キャッシュまたはコンテンツ記憶ノードに関連する1つまたは複数の大容量記憶デバイス内のローカル空間と連合空間の割振りを適合させる。様々な実施形態で、ネットワーク・マネージャ170は、例示的には、各コンテンツ・オブジェクトに関連する有用性パラメータを定義するのに使用される要因の相対的な重み付けを適合させることによって、コンテンツ記憶ノードの動作を適合させる。このようにして、ネットワーク性能および/またはコスト基準の変化に応答して記憶装置割振り方法を適合させることができる。
様々な実施形態で、ネットワーク・マネージャ170は、コンテンツ記憶ノードに関連する大容量記憶デバイス内における連合空間割振りを論理的に結合または集約することによって生み出された仮想連合空間内で、比較的人気のないコンテンツを分散させることを、コンテンツ配信システムに行わせる。様々な分散方法が企図されるが、それらの方法には、コンテンツ・オブジェクトの有用性に関して後で論じる要因のうちの1つまたは複数に基づく分散方法が含まれる。
図2に、本明細書に述べる機能を実施する際に使用するのに適した汎用コンピュータの高レベルのブロック図を示す。具体的には、システム200は、1つまたは複数の処理要素220(例えば中央処理装置(CPU))、メモリ230、例えばランダム・アクセス・メモリ(RAM)および/または読取専用メモリ(ROM)、ならびに、様々な入出力デバイス210(例えば、限定されないがテープ・ドライブ、フロッピー・ドライブ、ハードディスク・ドライブ、またはコンパクトディスク・ドライブを含めた記憶デバイス、受信機、送信機、スピーカ、表示装置、出力ポート、通信ネットワーク・インタフェース、およびユーザ入力デバイス(キーボード、キーパッド、マウスなど))を備える。加えて、ハードディスク・ドライブやディスク・ドライブ・アレイ等、1つまたは複数の大容量記憶デバイスなどのローカル記憶デバイス240が示されている。
システム200は、図1に関して先に示したコンテンツ、コンテンツ記憶ノード120/130、および/またはクライアント・デバイス140について本明細書に述べる様々な機能を実施する際に有用な基本的なコンピューティング要素の、単純化した表現である。メモリ230は、記憶装置割振り232、ならびにコンテンツ供給および監視エンジン234を含むものとして示されている。様々な実施形態で、記憶装置割振りエンジン232は、各コンテンツ記憶ノード120/130によって実行されるソフトウェア命令を含む。様々な実施形態で、コンテンツ供給および監視エンジン234は、コンテンツ集約ノード110、ネットワーク・マネージャ170、および/または配信ノード120/130によって実行されるソフトウェア命令を含む。
本明細書でソフトウェア方法として論じるステップのいくつかは、ハードウェア内で、例えばプロセッサと協働して様々な方法ステップを実施する回路として、実現できることが企図される。本発明の一部は、コンピュータ・プログラム製品として実現することができ、その場合、コンピュータ命令は、コンピュータによって処理されたとき、本発明の方法および/または技法が呼び出されるかまたは他の形で提供されるようにコンピュータの動作を適合させる。本発明の方法を呼び出すための命令は、固定もしくは取外し可能な媒体に記憶することができ、放送もしくは他の信号担持媒体中でデータ・ストリームを介して送信することができ、かつ/または、これらの命令に従って動作するコンピューティング・デバイス内のワーキング・メモリ内に記憶することができる。したがって、一実施形態は、ソフトウェア命令を記憶するためのメモリと、ソフトウェア命令を実行するためのプロセッサとを備える装置を含み、ソフトウェア命令は、プロセッサによって実行されたとき、本明細書で論じる様々な実施形態に従って1つまたは複数の方法を装置に実施させる。
様々な実施形態による方法は、様々なコンテンツ・キャッシュまたはコンテンツ記憶ノードの動作を連携させ、それによりキャッシュ連合(すなわち、相互と協働する複数のキャッシュ)を提供する。このようにして、クライアント・デバイスによって要求される可能性が最も高いコンテンツはまた、クライアント・デバイスにとって容易に利用可能である可能性が最も高いコンテンツでもある。
様々な実施形態で、コンテンツ記憶ノードにおける利用可能メモリの可変の一部分が、キャッシュ連合に割り振られる。キャッシュ連合に割り振られていないメモリはローカルに管理され、キャッシュ連合に割り振られたメモリは、他のコンテンツ記憶ノードのキャッシュ連合割振りされたメモリに対して連携方式で管理される。
一実施形態では、キャッシュ連合に割り振られていないメモリを使用して、最も人気があると見なされるコンテンツ・オブジェクトが記憶される。コンテンツ・オブジェクトの人気は、ユーザの総計(例えば、特定のノード、ノード・グループ、またはネットワーク全体に関連する、コンテンツ・オブジェクト要求の数)、特定のコンテンツ記憶ノードに関連する地域人口統計などに関して決定することができる。したがって、人気のあるコンテンツ・オブジェクトまたはタイトルを、多くの(または全ての)コンテンツ記憶ノードのローカル管理されるメモリに、複数回記憶することができる。
一実施形態では、キャッシュ連合に割り振られたメモリを使用して、キャッシュ連合に割り振られていないメモリに記憶されるコンテンツ・オブジェクトよりも人気のないコンテンツ・オブジェクトが記憶される。様々な実施形態で、キャッシュ連合内には、より人気のないコンテンツ・オブジェクトの単一コピーのみが記憶される。例えば、10個のコンテンツ記憶ノードのキャッシュ連合が、総数10000個のより人気のないコンテンツ・オブジェクトを記憶すると仮定すると、キャッシュ連合内の10個のコンテンツ記憶ノードの各々が、それぞれの1000個(およそ)のより人気のないコンテンツ・オブジェクトを記憶する。他の実施形態では、より人気のないコンテンツ・オブジェクトのいくつかまたは全てが、複数のコンテンツ記憶ノードにおいて(全てのコンテンツ記憶ノードにおいてではないが)記憶される。キャッシュ連合の効果は、複数のコンテンツ記憶ノードまたはキャッシュの利用可能メモリを引き寄せて単一の大きいキャッシュを形成することである。
図3に、単一キャッシュから見たローカルおよび連合メモリ空間を図式的に示す。具体的には、図3には、親コンテンツ記憶ノード120が2つの子コンテンツ記憶ノード130−1および130−2と通信しているのを示す。コンテンツ記憶ノード130−2は、いくつかのクライアント・デバイス140と、それぞれのサブネットワーク内で通信するものとして示す。コンテンツ記憶ノード130−2に関連する大容量記憶デバイス240が、連合空間とローカル空間との間で割り振られた記憶空間を有するものとして示す。
図3にはまた、大域人気グラフ(GP)およびサブネットワーク人気グラフ(SP)も示す。大域人気グラフは、CDN(またはCDNの地理領域)中の全てのコンテンツ記憶ノードに関連するユーザのコンテキスト内でのコンテンツ人気を示す。サブネットワーク人気グラフは、特定のコンテンツ記憶ノードに関連するユーザのコンテキスト内でのコンテンツ人気を示す。これらのグラフの各垂直スライスは、特定の人気評定(または人気評定範囲)を有する1つまたは複数のコンテンツ・オブジェクトに関連し、垂直スライスの長さは、コンテンツ・オブジェクト(複数可)の相対的な人気を示す。すなわち、比較的長い垂直スライスは、比較的より人気のあるコンテンツを示す。
ローカル空間は、サブネットのユーザまたはクライアント・デバイスによって定義される最も人気のあるファイルおよびコンテンツ・オブジェクトを含む。すなわち、サブネットワークに関連するコンテンツ記憶ノードのローカル空間内には、1つまたは複数の上位人気セグメントが記憶される。他のコンテンツ記憶ノードに関連するサブネットワーク中のユーザまたはクライアント・デバイスも、これら他のサブネットワーク中で同様の選好または人気を示す場合があるので、その結果、コンテンツ配信ネットワーク内のどこかでファイルおよび/またはコンテンツ・オブジェクトが複製される可能性がある。特定のサブネットワークについてのコンテンツ・オブジェクトのサブネットワーク人気の図式的表現を、サブネットワーク人気グラフSP中に示す。
連合空間は、コンテンツ配信システム内で利用可能な残りのファイルおよびコンテンツ・オブジェクトの一部を含む。すなわち、サブネットワークに関連するコンテンツ記憶ノードの連合空間内には、残りの人気のセグメントのうちの1つまたは複数が記憶されることになる。人気のあるコンテンツ・オブジェクトまたはタイトルの他のセグメントは、1つまたは複数の他のコンテンツ記憶ノードに関連する大容量記憶デバイス上で割り振られた連合空間に記憶される。
連合空間に関連する人気曲線は、連合記憶空間または仮想連合記憶空間の総体を形成する複数のキャッシュにわたって記憶されるセグメントを含むことに留意されたい。様々な実施形態による方法は、コンテンツ配信ネットワーク中にわたるより効率的なコンテンツ・オブジェクト配信への漸進的な発展が達成されるように、ローカルと連合の記憶空間の比率、ならびに、ローカルと連合の記憶空間に記憶されるコンテンツ・オブジェクトの比率を適合させることになる。この効率は、後で本明細書において詳細に論じるように、コンテンツ移行/サーバ効率と、階層トポロジ内のピアツーピア通信における逆方向チャネルなどの帯域幅利用効率との両方を反映する。
一実施形態では、連合空間は、コンテンツ配信ネットワーク内のどこかで利用可能なコンテンツ・オブジェクトを複製することなく、コンテンツ配信ネットワーク全体の内で人気のあるファイルおよびコンテンツ・オブジェクトを含む。
別の実施形態では、連合空間は、複数のコンテンツ記憶ノードにおいて記憶されるファイルおよびコンテンツ・オブジェクトを含む。このように連合空間内でコンテンツ・オブジェクトの複数コピーを記憶することは、コンテンツ配信システム内でのコンテンツ・オブジェクトの地理的分散および/または階層分散のコンテキスト内で、特に有用である。この実施形態では、任意選択で、連合空間内に記憶されたコンテンツ・オブジェクトのコピーの数が、しきい値数またはカウントに制限される。
図4に、ネットワークから見たローカルおよび連合メモリ空間を図式的に示す。具体的には、図4には、親コンテンツ記憶ノード120が2つの子コンテンツ記憶ノード130−1および130−2と通信しているのを示す。各コンテンツ記憶ノード130は、クライアント・デバイス140のそれぞれのサブネットワークと通信するものとして示す。各コンテンツ記憶ノード130は、それぞれの大容量記憶デバイス240に関連する。大容量記憶デバイス240−1は、その容量の75%を連合空間に割り振り、その容量の25%をローカル空間に割り振るものとして示す。大容量記憶デバイス240−2は、その容量の50%を連合空間とローカル空間のそれぞれに割り振るものとして示す。
ネットワークから見ると、2つの大容量記憶デバイスの連合空間割振りによって、仮想連合空間410が定義される。CDNがさらに多くのコンテンツ記憶ノードを追加するコンテキスト内では、連合空間の割振り量が増加するにつれて、仮想連合空間410はますます大きくなる。
前述のキャッシュ連合は、非常に多くのコンテンツ・オブジェクトを記憶することができ、したがって非常に多くのコンテンツ・トンネル要求を満たす。しかし、キャッシュ連合内のコンテンツ記憶ノード間でコンテンツ・オブジェクトを分散記憶させると、ユーザ要求を満たすためにコンテンツ・オブジェクトまたはタイトルがキャッシュ間で移動されるのに伴って、様々なコンテンツ記憶ノード間のトラフィックが増加する。
概して言えば、キャッシュ連合中の各キャッシュは、最も人気のあるアイテムのコピーをそのローカルメモリに記憶する。各キャッシュは、ローカル・アイテムよりは人気がないが、その連合メモリに記憶されていないアイテムよりは人気のあるアイテムが、別のキャッシュの連合メモリに記憶されていない場合に、そのアイテムのコピーを記憶する。各キャッシュは、自身は持っていないが、自身と連合している別のキャッシュに記憶されているコンテンツを求める要求を、ルーティングする。
ローカルメモリと連合メモリとの間の分離は、動的であり、変更することができる。連合キャッシングに充てられるメモリの量は、i)ピアリング・リンク、およびii)キャッシュ間のリンクにかかる負荷を制御する。すなわち、メモリ・リソースの割振りは、任意選択で、キャッシュ間のリンク使用に従って調整される。キャッシュ間の帯域幅が利用可能な場合、連合とローカルとの間のリソース割振りを用いて、連合メモリの部分を増大させることによって元サーバに向けられる負荷を低くすることができる。
ある特別なケースは、複数の連合キャッシュがトポロジを介して接続され、キャッシュ間で交換されるトラフィックが、ソース・キャッシュから次のホップ・ルータへのアップリンク、次いでターゲット・キャッシュへのダウンストリームを横断する場合である。ほとんどのネットワークでは、アップリンクは、インターネット・トラフィックの非対称性のせいで十分に活用されず、キャッシュ協働に使用することができる。ダウンリンクにかかる負荷はわずかに変化するだけであり、そのような変化は不可避であろう。というのは、コンテンツは依然としてターゲット・キャッシュに送達する必要があるからである。この構成では、キャッシュ間で交換されるトラフィックは、他のトラフィックと競合しない。このシナリオでは、図5に関して以下に示すような多くのトポロジにわたってうまく機能するロバスト設定となるためには、例示的にメモリの95%を連合キャッシングに充て、5%をローカル・キャッシングに充てることが、発明者らによって決定されている。
図5に、いくつかのコンテンツ配信ネットワーク・トポロジを図式的に示す。具体的には、図5には、階層トポロジ510、キャッシュ連合レベル内接続性トポロジ520、およびキャッシュ連合レベル間接続性トポロジ530のブロック図を図式的に示す。各トポロジ510〜530は、例示的に、図1のシステム100に関して先に示したようなL1、L2、L3として示すコンテンツ記憶ノードまたはキャッシュの3つの階層レベルを含む。最も低い階層レベル(L3)は、コンテンツを、そのようなコンテンツを要求するクライアント・デバイスCに配信する。L1−L2通信リソースのコストは、L2−L3通信リソースのコストよりも大きい。L2−L3通信リソースのコストは、L3−L2クライアント通信リソースのコストよりも大きい。
本明細書に述べるように、様々な実施形態は、コンテンツ配信ネットワーク内の十分に活用されていないリソースを利用することによって、そのネットワークの効率を改善する。具体的には、様々な実施形態は、本明細書に述べるキャッシュ連合アルゴリズムを適合させて、CDN内のアップリンクとダウンリンクとの間で負荷を動的に移し、それにより、階層レベル間のアップストリームとダウンストリームのトラフィックがより対称になるようにする。すなわち、可能な限りL2−L3トラフィックのバランスをとることにより、L1−L2トラフィックのかなりの低減を達成することができる。L1−L2トラフィックの低減は、きわめて大きいコスト節約をネットワーク・オペレータにもたらす。一般に、連合空間に割り振られるメモリの量を増加させると、L3−L2アップストリーム・トラフィックの量が増加し、L1−L2ダウンストリーム・トラフィックのイベントが減少する。
図5では、トポロジ・モデル510、520−530の下にそれぞれ、対応する棒グラフ515、525、535を示す。各棒グラフは、左から右に、L1−L2通信レベル/コスト、L2−L2通信レベル/コスト、およびL2−L3通信レベル/コストを示す。
階層トポロジ510中では、各階層L1、L2、L3内のノードまたはキャッシュは、親または子ノードのみと通信する。キャッシュ連合レベル内接続性トポロジ520は、L2−L2通信を追加することによって階層トポロジ510に改良を加えている。追加されたL2−L2通信は、L1−L2通信を低減するように、したがってL1−L2通信コストを低くするように作用する。同様に、キャッシュ連合レベル間接続性トポロジ530は、追加のL2−L3通信チャネルを加えることによって階層トポロジ510に改良を加えている。追加されたL2−L3通信チャネルもまた、L1−L2通信を低減するように、したがってL1−L2通信コストを低くするように作用する。
このように、実施形態は、図5に示す具体的なトポロジ510〜530のいずれかに従ったトポロジを使用して設計されたコンテンツ配信ネットワークを構想する。代替実施形態は、追加のL2−L3リンクまたは通信チャネルと共に、L2−L2リンクまたは通信チャネルを追加するなど、これらのトポロジに対する修正を用いて設計されたコンテンツ配信ネットワークを構想する。
図1および5に関して上述したコンテンツ配信ネットワーク(CDN)トポロジは、最低階層レベルのコンテンツ記憶ノード(CSN)がそれぞれのクライアント・グループに関連し、より高い階層レベルのCSNがそれぞれのより低いCSNグループに関連し、以下同様であるような、CSNの階層構成を提供する。複数の最上階層レベルのCSNのそれぞれが、コンテンツ集約ノード110と通信するのが示されている。コンテンツ集約ノード110に関連する機能は、例示的に、1つまたは複数の最上階層レベルのCSNによって実施されてもよいことに留意されたい。
ネットワーク・マネージャは、様々な記憶装置割振り方法を利用して、これらのトポロジのいずれかのコンテンツ・キャッシュまたはCSN内の連合およびローカル空間割振りを、効率改善およびコスト低下に資するような方式で適合させる。先に論じたように、ピアツーピア・リンクの追加や削除などのネットワーク・トポロジ変更、レベル間接続性、レベル内接続性、通信チャネルのオーバーローディング(すなわち所望の特別なレベルを超える帯域幅利用)などを、ネットワーク・マネージャが使用して、1つまたは複数のCSN内の連合/ローカル空間割振りを確実に適合させる。
図6に、一実施形態による記憶装置割振り方法の流れ図を示す。記憶装置割振り方法600は、例えば、図1に関して上述したようなコンテンツ記憶ノード内での使用に適する。
ステップ610で方法600に入り、コンテンツ・オブジェクトを求める要求がクライアント140などから受け取られる。
ステップ620で、要求されたコンテンツ・オブジェクトの有用性が決定される。すなわち、枠625を参照すると、コンテンツ・オブジェクトの人気、コンテンツ・オブジェクトのファイル・サイズ、コンテンツ・オブジェクトの場所、コンテンツ・オブジェクトを取り出すコスト、および/または他の要因のうちの1つまたは複数を使用して、コンテンツ・オブジェクトに関連する有用性パラメータが決定される。
ステップ630で、要求されたコンテンツ・オブジェクトの場所が決定される。すなわち、枠635を参照すると、要求されたコンテンツ・オブジェクトがローカル記憶デバイス内のローカル空間に記憶されているのか、ローカル記憶デバイス内の連合空間に記憶されているのか、リモート記憶デバイス内の連合空間に記憶されているのか、コンテンツ保管庫に記憶されているのか、他のコンテンツ・ソースに記憶されているのかが決定される。
ステップ640で、要求元ユーザへのコンテンツ・オブジェクトの供給が開始される。すなわち、様々な実施形態で、要求元ユーザと、要求されたコンテンツ・オブジェクトに関連するサーバとの間でセッションが確立され、要求されたコンテンツがコンテンツ・ストリームまたはファイルとしてユーザに送信される。
ステップ650で、要求されたコンテンツ・オブジェクトに関連する有用性パラメータによって示されるように、コンテンツ昇格/降格方法が実施される。枠645を参照すると、要求されたコンテンツ・オブジェクトは、その有用性レベルに応じて、(優先順位の高い方から)ローカル記憶デバイスのローカル空間、ローカル記憶デバイスの連合空間、およびリモート記憶デバイスの連合空間に優先的に記憶される。ローカル記憶デバイスのローカル空間が一杯まで利用されていると仮定すると、要求されたコンテンツ・オブジェクトをローカル空間に記憶するには、ローカル空間から既存の記憶済みコンテンツ・オブジェクトを削除(すなわち降格)する必要がある。次いで、ローカル空間から降格されたコンテンツ・オブジェクト(または、要求されたコンテンツ・アイテムの有用性レベルが低すぎる場合は、要求されたコンテンツ・アイテム)は、ローカル記憶デバイスの連合空間に優先的に記憶されるが、これはまた、この連合空間から既存の記憶済みアイテムを削除(降格)することを必要とする場合がある。次いで、最も有用性レベルの低い、要求されたまたは降格されたコンテンツ・オブジェクトは、別のコンテンツ記憶ノードの連合空間に優先的に記憶される。コンテンツ昇格/降格方法の一実施形態については、後で図7に関して論じる。
任意選択で、要求されたコンテンツに関連する昇格/降格方法は、上方および下方しきい値コピー・カウントのうちの一方または両方に応答して適合される。一実施形態では、上方しきい値コピー・カウントは、連合空間に記憶できるコンテンツ・オブジェクトのコピーの最大数である。一実施形態では、下方しきい値コピー・カウントは、連合空間に記憶できるコンテンツ・オブジェクトのコピーの最大数であり、追加のコピーを記憶すると別のコンテンツ・オブジェクトが削除/降格されることになる。他の実施形態では、各コンテンツ・オブジェクトには単一のしきい値コピー・カウントのみが関連し、この単一のしきい値コピー・カウントは、コンテンツ・オブジェクトを連合空間に記憶できる回数を表す。
様々な実施形態で、記憶決定の頻度が、コンテンツ送達システム中で交換される情報よりも高い場合があり、それにより実際のコピー数が変動する場合があることは理解されるであろう。したがって、いずれかの所与の時点で、コピー・カウントは、ターゲット値/しきい値よりも小さいかまたは大きい場合がある。
ステップ660で、ローカル記憶装置割振りが適宜実施される。すなわち、ステップ660では、大容量記憶デバイスのローカル空間割振りと連合空間割振りとの比率が、適宜、適合される。枠665を参照すると、このような割振りは、帯域幅コストの変化(すなわち、L1−L2またはL2−L2帯域幅のコストの減少または増加)、記憶装置コストの変化(すなわち、大容量記憶装置またはキャッシュ・メモリのコストの減少または増加)、トポロジの変化(図5に関して先に示したものなど)、および/または他の要因に応答して適合される。
図6の方法600は、特定の順序で各ステップを実施するものとして示されているが、本発明を実践しながらもこの特定の順序を修正できることは、当業者には理解されるであろう。例えば、コンテンツ・オブジェクトを要求元ユーザに供給するステップ(640)は、要求されたコンテンツ・オブジェクトの有用性の決定(620)、要求されたコンテンツ・オブジェクトに関連する任意の昇格/降格の実施(650)、または任意のローカル記憶装置再割振りの実施(660)の前または後に開始してもよい。同様に、ローカル記憶装置再割振り(660)は、いつ実施してもよい。
図7に、コンテンツ昇格/降格方法の流れ図を示す。図7のコンテンツ昇格/降格方法は、例えば図6の記憶装置割振り方法600内で使用するのに適する。
ステップ710で方法700に入り、要求されたコンテンツ・オブジェクトの有用性が、ローカル空間に記憶されたコンテンツ・オブジェクトの有用性と比較される。要求されたコンテンツ・オブジェクトの有用性が、既存のローカル空間コンテンツ・オブジェクトの有用性以下である場合は、方法はステップ740に進む。そうでない場合は、ステップ720および730で、要求されたコンテンツ・オブジェクトは、ローカル空間で、有用性のより低い既存のローカル空間コンテンツ・オブジェクトに取って代わる。具体的には、ステップ720で、要求されたコンテンツ・オブジェクトはローカル空間に記憶(すなわち昇格)され、ステップ730で、既存のローカル空間コンテンツ・オブジェクトはローカル空間から除去(すなわち降格)される。
ステップ740で、降格されたローカル空間コンテンツ・オブジェクト(または、ステップ710での問合せに対する回答が否定的であった場合は、要求されたコンテンツ・オブジェクト)の有用性が、連合空間に記憶されたコンテンツ・オブジェクトの有用性と比較される。降格されたローカル空間コンテンツ・オブジェクト(または昇格されなかった要求されたコンテンツ・オブジェクト)の有用性が、既存の連合空間コンテンツ・オブジェクトの有用性よりも高い場合は、方法はステップ750に進む。そうでない場合は、方法は終了する。
ステップ750で、連合空間に記憶されている、降格されたローカル空間コンテンツ・オブジェクト(または昇格されなかった要求されたコンテンツ・オブジェクト)のコピーの数が、しきい値数を超えるかどうか判定される。超える場合は、方法は終了する。そうでない場合は、ステップ760および770で、降格されたローカル空間コンテンツ・オブジェクト(または昇格されなかった要求されたコンテンツ・オブジェクト)は、連合空間で、有用性のより低い既存の連合空間コンテンツ・オブジェクトに取って代わる。具体的には、ステップ760で、降格されたローカル空間コンテンツ・オブジェクト(または昇格されなかった要求されたコンテンツ・オブジェクト)は連合空間に記憶され、ステップ770で、有用性のより低い既存の連合空間コンテンツ・オブジェクトは連合空間から除去(すなわち降格)される。
図7の方法700は、特定の順序で各ステップを実施するものとして示されているが、本発明を実践しながらもこの特定の順序を修正できることは、当業者には理解されるであろう。加えて、各図に関して本明細書で論じる様々な実施形態は、種々のコンテンツ・オブジェクトに関連する異なるファイル・サイズに応答して修正されることも理解されるであろう。例えば、ファイル・サイズの比較的小さい複数のコンテンツ・オブジェクトをそれぞれ昇格および/または降格し、ファイル・サイズの比較的大きい1つのコンテンツ・オブジェクトを降格および/または昇格することができる。例えば、ファイル・サイズの大きい、有用性の高いコンテンツ・オブジェクトが、ローカル空間内の2つ以上のコンテンツ・オブジェクトに取って代わってもよい。これらの置換または降格されたコンテンツ・オブジェクトは、それら自体が連合空間中の複数のコンテンツ・オブジェクトに取って代わってもよい。一実施形態では、置換または降格されたコンテンツ・オブジェクトのうちの1つだけを連合空間に挿入することができる場合、最も有用性の高いコンテンツ・オブジェクトを優先的に挿入する決定がなされる。十分な空きが存在しない場合は、可能ならファイル・サイズのより小さいコンテンツ・オブジェクトが挿入される。
本明細書に述べる方法は、コンテンツの人気の変化に応答して、大容量記憶デバイス内のローカル空間と連合空間の割振りの比率をインクリメンタルに、かつ/または徐々に適合させるように動作する。非常に人気がある傾向のあるコンテンツ・オブジェクトは、時の経過に伴って、コンテンツ記憶ノードのローカル空間に記憶されることになる。非常に人気がない傾向のあるコンテンツ・オブジェクトは、時の経過に伴って、コンテンツ記憶ノードのローカル空間から除去されて連合空間のみに記憶されることになり、あるいは、十分に不人気な場合は、コンテンツ保管庫、または他のキャッシュされない場所のみに記憶されることになる。コンテンツ・オブジェクトの人気に関する通常の分布曲線(例えば図3に関して言及したもの)を仮定すると、様々な実施形態は、様々なコンテンツ記憶ノードまたはキャッシュそれぞれの中のローカル空間と連合空間との間で、人気に基づいてコンテンツ・オブジェクトの記憶のバランスをとるように動作する。
一実施形態は、改善型キャッシュ管理方式を提供するが、この場合、コンテンツ配信ネットワーク(CDN)内でコンテンツの個別キャッシングから協働キャッシングへと徐々に移行するように、複数のコンテンツ記憶ノードにおけるコンテンツ・キャッシュの動作が適合される。このようにして、コンテンツの複製を減少させることからくるキャッシング効率改善は、局所的に人気のあるコンテンツの複製を増加させることからくる効率改善に対して、バランスがとられる。すなわち、完全なキャッシュ協働は、元のサーバに向けた帯域幅を大幅に低減する(これはインターネット・サービス・プロバイダのピアリング・リンク上の帯域幅節約に直接つながる)が、完全なキャッシュ協働は、実際、キャッシュ間で交換されるトラフィックの量を増加させる。キャッシュ協働のしきい値レベルをインテリジェントに選択することにより、様々な実施形態によるCDNは、その利用可能なリソースを活用してピアリング・リンクを低減する。様々な実施形態で、Uターン構成が提供されるが、この構成では、コンテンツ記憶ノードは、通常は使用されない帯域幅を利用してコンテンツを再配信する。
本発明は、記憶デバイスをネットワーク内に配置することができるとともに基礎的なネットワーク・トポロジに関する知識を有する、コンテンツ配布および/または配信をサポートするネットワーク・オペレータにとって、大きな利点をもたらす。これらの利益には、帯域幅のコストの節約、使用されないリソースの使用の増加、およびネットワーク・オペレータの顧客に対するサービスの改善が含まれる。
提案する解決法は、ネットワーク内のキャッシュ・ノードの分散集合の協働を、基礎をなすネットワーク・トポロジに関する知識と共に利用して、ディスク空間および未使用アップリンク容量の使用を活用することによって通過帯域幅のコストを削減する。
一実施形態では、著しい人口統計上の偏りのある地理エリアにサービスしているコンテンツ記憶ノードは、他の場所では一般により関心を持たれないコンテンツ・オブジェクトを求める要求を受け取る傾向があることになり、特に、ネットワーク中の同レベルの他のノードに対してはそうである。本解決法により、このノードは、その利用可能な記憶域の多くの部分をそのローカル・セグメントに充てる結果となり、この部分に、それがサービスしている人々のために最も人気のあるオブジェクトを保持することになる。記憶域の少しの部分が連合空間として使用されることになり、この部分が、ネットワーク全体にわたって中程度の人気のあるコンテンツ・オブジェクトを保持することになる。ローカル空間と連合空間の比率は、民族コンテンツと一般に関心を持たれるコンテンツとの割合に基づいて調整される。この結果、ネットワークのこの部分のトラフィックのかなりの部分がローカルにサービスされることになり、その後、応答時間が改善され、またこのノードについてのアップストリーム・リンクの使用が減少する。
別の実施形態では、所与のオブジェクトの大域的な人気が急上昇すると、その結果、ネットワーク中にわたってこのオブジェクトの複数のコピーが保持されることになる。各コピーがノードのローカル・キャッシュ・セグメントに記憶されることになり、これにより、短い応答時間および向上した応答性を維持しながら、ソース・ノードからのトラフィックが緩和されることになり、ネットワークがこのような突然のトラフィック・パターンの変化に適応できるようにすることになる。
別の実施形態では、人気が高かったが人気が衰え始めたオブジェクトが、ネットワーク中の全てのキャッシュのローカル・セグメントから徐々に除去され始めることになり、単一のノードの連合セグメントに記憶されることになる。このオブジェクトは、その人気レベルが低下し続けるのに伴って、最終的には全ての記憶空間から除去されることになる。このようにして、オブジェクトは、その大域的な人気レベルが記憶を許す限り、ネットワーク内から供給されることになり、コンテンツ・ソースから取り出す必要はない。
本発明の別の実施形態では、ネットワークに追加された新しいキャッシュ対応ノードが、その連合セグメント記憶域をグローバル・プールに加え始めることになり、それにより、全体的な容量を増加させ、ネットワークのアップリンクおよびダウンリンク帯域幅の使用を低減させることになる。ネットワーク中の全てのノードは、最終的に、新しいプール・サイズおよび現在のコンテンツ人気に従って、それら自体のセグメント・サイズを再分散させる場合がある。
本発明の教示を組み込む様々な実施形態について本明細書に詳細に図示および記述したが、当業者なら、これらの教示を依然として組み込む多くの他の多様な実施形態を容易に考案することができる。

Claims (10)

  1. 複数の利用可能なコンテンツ・オブジェクトを配信するコンテンツ配信システム(CDS)であって、
    複数のコンテンツ記憶ノード(CSN)を備え、各CSNが、少なくとも1つの他のネットワーク・ノードとの通信に適合されたネットワーク・ノードと、ローカル空間に割り振られた第1のメモリ部分および連合空間に割り振られた第2のメモリ部分を有する記憶デバイスとを備え、
    各CSNの前記ローカル空間が、有用性レベルの比較的高い利用可能なコンテンツ・オブジェクトを記憶するように適合され、
    各CSNの前記連合空間が、他のCSNの前記連合空間と協働して、有用性レベルの比較的低い利用可能なコンテンツ・オブジェクトの少なくとも一部を記憶するように適合され、
    コンテンツ・オブジェクトが、コンテンツ・オブジェクト有用性レベルの差に応答してローカル空間と連合空間との間で移行される、CDS。
  2. 複数の最低階層レベルCSNのそれぞれが、クライアント・デバイスと通信するように適合されたサブネットワークに関連し、
    各最低階層レベルCSNが、それぞれのサブネットワークを介して最もよく要求されるコンテンツ・オブジェクトをそのローカル空間に優先的に記憶する、請求項1に記載のCDS。
  3. 各最低階層レベルCSNが、そのローカル空間から降格されたコンテンツ・オブジェクトを仮想連合空間に優先的に記憶し、前記仮想連合空間が、各CSNの前記連合空間を論理的に結合することによって形成される、請求項2に記載のCDS。
  4. 最低階層レベルCSNのグループが、共通の親CSNとのそれぞれの通信経路を介してコンテンツ・オブジェクトを受け取り、コンテンツ・オブジェクトが、前記共通の親CSNを介して前記最低階層レベルCSNのグループのメンバ間で移動される、請求項2に記載のCDS。
  5. 複数の親CSNのそれぞれが、上位階層レベルCSNとのそれぞれの通信経路を介してコンテンツ・オブジェクトを受け取り、コンテンツ・オブジェクトが、前記上位階層レベルCSNを介して前記複数の親CSN間で移動される、請求項4に記載のCDS。
  6. ピアツーピア通信チャネルを介して相互に通信する少なくとも2つの最上階層レベルCSNを備え、各最上階層レベルCSNにそれぞれの下位階層レベルCSNグループが関連し、コンテンツ・オブジェクトが、前記ピアツーピア通信チャネルを介して前記それぞれの下位階層レベルCSNグループ間で移動される、請求項1に記載のCDS。
  7. 第1の上位階層レベルCSNが第1の下位階層レベルCSNグループに関連し、
    第2の上位階層レベルCSNが第2の下位階層レベルCSNグループに関連し、
    コンテンツ・オブジェクトが、レベル間通信チャネルを介して前記第1の上位階層レベルCSNと前記第2の下位階層レベルCSNグループとの間で移動される、請求項1に記載のCDS。
  8. CSN記憶デバイス内の連合空間割振りを管理するように適合されたコンテンツ・マネージャをさらに備え、前記コンテンツ・マネージャが、ネットワーク帯域幅コストと記憶デバイス・コストとの少なくとも一方の変化に応答してローカル空間と連合空間の割振りを適合させる、請求項1に記載のCDS。
  9. ローカル空間と連合空間との間で割り振られた記憶デバイスをそれぞれが備える複数のコンテンツ記憶ノード(CSN)を備えるコンテンツ配信システム(CDS)中で、コンテンツの記憶を適合させる方法であって、
    CSNにおいてコンテンツ・オブジェクト要求を受け取るステップと、
    前記CSNのローカル空間に記憶されたコンテンツ・オブジェクトの有用性レベルが、前記要求されたコンテンツ・オブジェクトの有用性レベルよりも低い場合に、ローカル空間に記憶された前記コンテンツ・オブジェクトを前記要求されたコンテンツ・オブジェクトで置き換えるステップと、
    連合空間に記憶されたコンテンツ・オブジェクトの有用性レベルが、前記要求されたコンテンツ・オブジェクトの前記有用性レベルよりも低く、前記要求されたコンテンツ・オブジェクトが、ローカル空間に記憶されたコンテンツ・オブジェクトに取って代わらない場合に、連合空間に記憶された前記コンテンツ・オブジェクトを前記要求されたコンテンツ・オブジェクトで置き換えるステップと、
    連合空間に記憶されたコンテンツ・オブジェクトの前記有用性レベルが、前記置き換えられたローカル空間コンテンツ・オブジェクトの前記有用性レベルよりも低い場合に、連合空間に記憶された前記コンテンツ・オブジェクトを前記置き換えられたローカル空間コンテンツ・オブジェクトで置き換えるステップとを含む、方法。
  10. ソフトウェア・プログラムを記憶したコンピュータ可読媒体であって、前記ソフトウェア・プログラムが、コンピュータによって実行されたとき、コンテンツの記憶を適合させる方法を前記コンピュータに実施させ、前記方法が、
    ローカル空間と連合空間との間で割り振られた記憶デバイスをそれぞれが備える複数のコンテンツ記憶ノード(CSN)を備えるコンテンツ配信システム(CDS)内で、CSNにおいてコンテンツ・オブジェクト要求を受け取るステップと、
    前記CSNのローカル空間に記憶されたコンテンツ・オブジェクトの有用性レベルが、前記要求されたコンテンツ・オブジェクトの有用性レベルよりも低い場合に、ローカル空間に記憶された前記コンテンツ・オブジェクトを前記要求されたコンテンツ・オブジェクトで置き換えるステップと、
    連合空間に記憶されたコンテンツ・オブジェクトの有用性レベルが、前記要求されたコンテンツ・オブジェクトの前記有用性レベルよりも低く、前記要求されたコンテンツ・オブジェクトが、ローカル空間に記憶されたコンテンツ・オブジェクトに取って代わらない場合に、連合空間に記憶された前記コンテンツ・オブジェクトを前記要求されたコンテンツ・オブジェクトで置き換えるステップと、
    連合空間に記憶されたコンテンツ・オブジェクトの前記有用性レベルが、前記置き換えられたローカル空間コンテンツ・オブジェクトの前記有用性レベルよりも低い場合に、連合空間に記憶された前記コンテンツ・オブジェクトを前記置き換えられたローカル空間コンテンツ・オブジェクトで置き換えるステップとを含む、コンピュータ可読媒体。
JP2011551106A 2009-02-20 2010-02-04 トポロジを意識したキャッシュ協働 Expired - Fee Related JP5143957B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US20817609P 2009-02-20 2009-02-20
US61/208,176 2009-02-20
US12/551,257 2009-08-31
US12/551,257 US8417816B2 (en) 2009-02-20 2009-08-31 Topology aware cache cooperation
PCT/US2010/023146 WO2010096276A1 (en) 2009-02-20 2010-02-04 Topology aware cache cooperation

Publications (2)

Publication Number Publication Date
JP2012518841A JP2012518841A (ja) 2012-08-16
JP5143957B2 true JP5143957B2 (ja) 2013-02-13

Family

ID=42631869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011551106A Expired - Fee Related JP5143957B2 (ja) 2009-02-20 2010-02-04 トポロジを意識したキャッシュ協働

Country Status (6)

Country Link
US (2) US8417816B2 (ja)
EP (1) EP2399207B1 (ja)
JP (1) JP5143957B2 (ja)
KR (1) KR101286903B1 (ja)
CN (1) CN102326161B (ja)
WO (1) WO2010096276A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8543667B2 (en) 2008-01-14 2013-09-24 Akamai Technologies, Inc. Policy-based content insertion
US10924573B2 (en) * 2008-04-04 2021-02-16 Level 3 Communications, Llc Handling long-tail content in a content delivery network (CDN)
CN101668046B (zh) * 2009-10-13 2012-12-19 成都市华为赛门铁克科技有限公司 资源缓存方法及其装置、系统
US8683205B2 (en) * 2010-05-19 2014-03-25 Cleversafe, Inc. Accessing data utilizing entity registration in multiple dispersed storage networks
AU2011268104B2 (en) 2010-06-18 2016-12-15 Akamai Technologies, Inc. Extending a content delivery network (CDN) into a mobile or wireline network
US8676920B2 (en) * 2010-12-08 2014-03-18 GM Global Technology Operations LLC Intelligent cache management protocol for vehicular networks
CN102098310B (zh) * 2011-02-22 2013-06-19 中国联合网络通信集团有限公司 流媒体内容服务方法及系统
US8332488B1 (en) * 2011-03-04 2012-12-11 Zynga Inc. Multi-level cache with synch
US9311462B1 (en) 2011-03-04 2016-04-12 Zynga Inc. Cross platform social networking authentication system
US10135776B1 (en) 2011-03-31 2018-11-20 Zynga Inc. Cross platform social networking messaging system
US8347322B1 (en) 2011-03-31 2013-01-01 Zynga Inc. Social network application programming interface
US8340690B2 (en) 2011-04-08 2012-12-25 International Business Machines Corporation Mechanism for content management in wireless mobile networks
JP5817828B2 (ja) * 2011-04-22 2015-11-18 日本電気株式会社 コンテンツ配信システム、制御装置およびコンテンツ配信方法
WO2012144588A1 (ja) * 2011-04-22 2012-10-26 日本電気株式会社 コンテンツ配信システム、制御装置およびコンテンツ配信方法
US8700756B2 (en) * 2011-05-03 2014-04-15 Xerox Corporation Systems, methods and devices for extracting and visualizing user-centric communities from emails
EP2722765B1 (en) * 2011-06-14 2016-02-03 NEC Corporation Content delivery system, controller and content delivery method
US8522137B1 (en) 2011-06-30 2013-08-27 Zynga Inc. Systems, methods, and machine readable media for social network application development using a custom markup language
JP5874253B2 (ja) * 2011-09-08 2016-03-02 富士通株式会社 配信システム、配信方法、及び配信プログラム
EP3249546B1 (en) 2011-12-14 2022-02-09 Level 3 Communications, LLC Content delivery network
US9167049B2 (en) 2012-02-02 2015-10-20 Comcast Cable Communications, Llc Content distribution network supporting popularity-based caching
JP5798523B2 (ja) * 2012-06-20 2015-10-21 日本電信電話株式会社 通信制御システム、集約サーバおよび通信制御方法
KR101959970B1 (ko) * 2012-09-05 2019-07-04 에스케이텔레콤 주식회사 컨텐츠 전송 서비스 방법, 이를 위한 캐시 장치
US20140082128A1 (en) * 2012-09-18 2014-03-20 Netapp, Inc. Dynamic detection and selection of file servers in a caching application or system
US9355036B2 (en) 2012-09-18 2016-05-31 Netapp, Inc. System and method for operating a system to cache a networked file system utilizing tiered storage and customizable eviction policies based on priority and tiers
US8612450B1 (en) 2012-11-20 2013-12-17 Limelight Networks, Inc. Content tagging using multi-node hierarchical content assignments
CN103024001B (zh) * 2012-11-30 2018-07-31 中兴通讯股份有限公司 一种业务调度方法与装置及融合设备
KR101978177B1 (ko) 2012-12-07 2019-08-28 삼성전자주식회사 컨텐츠 중심 네트워크에서 노드가 컨텐츠를 저장하는 방법 및 컨텐츠 제공자가 컨텐츠를 전송하는 방법
US10701149B2 (en) 2012-12-13 2020-06-30 Level 3 Communications, Llc Content delivery framework having origin services
US10791050B2 (en) 2012-12-13 2020-09-29 Level 3 Communications, Llc Geographic location determination in a content delivery framework
US20140337472A1 (en) 2012-12-13 2014-11-13 Level 3 Communications, Llc Beacon Services in a Content Delivery Framework
US10931541B2 (en) 2012-12-13 2021-02-23 Level 3 Communications, Llc Devices and methods supporting content delivery with dynamically configurable log information
US9634918B2 (en) 2012-12-13 2017-04-25 Level 3 Communications, Llc Invalidation sequencing in a content delivery framework
US10701148B2 (en) 2012-12-13 2020-06-30 Level 3 Communications, Llc Content delivery framework having storage services
US10652087B2 (en) 2012-12-13 2020-05-12 Level 3 Communications, Llc Content delivery framework having fill services
US9369541B2 (en) * 2013-03-14 2016-06-14 Massachusetts Institute Of Technology Method and apparatus for implementing distributed content caching in a content delivery network
US9420057B2 (en) * 2013-05-30 2016-08-16 Badu Networks, Inc. Federated cache network
US20160041996A1 (en) 2014-08-11 2016-02-11 Netapp, Inc. System and method for developing and implementing a migration plan for migrating a file system
US9311331B2 (en) 2013-08-27 2016-04-12 Netapp, Inc. Detecting out-of-band (OOB) changes when replicating a source file system using an in-line system
US9300692B2 (en) 2013-08-27 2016-03-29 Netapp, Inc. System and method for implementing data migration while preserving security policies of a source filer
US9304997B2 (en) 2013-08-27 2016-04-05 Netapp, Inc. Asynchronously migrating a file system
US9311314B2 (en) 2013-08-27 2016-04-12 Netapp, Inc. System and method for migrating data from a source file system to a destination file system with use of attribute manipulation
US10860529B2 (en) 2014-08-11 2020-12-08 Netapp Inc. System and method for planning and configuring a file system migration
WO2015127086A2 (en) 2014-02-19 2015-08-27 Level 3 Communications, Llc Proxy server failover and load clustering
US20170201596A1 (en) * 2014-06-27 2017-07-13 Convida Wireless, Llc Achieving balanced in-network content caching freshness
US9591094B2 (en) * 2014-09-10 2017-03-07 Amazon Technologies, Inc. Caching of machine images
WO2016066199A1 (en) 2014-10-30 2016-05-06 Hewlett-Packard Development Company L.P. Virtual content delivery network
US20160156733A1 (en) * 2014-12-01 2016-06-02 Fujitsu Limited Content placement in hierarchical networks of caches
FR3029729A1 (fr) * 2014-12-04 2016-06-10 Orange Procede de gestion de contenus dans un reseau de distribution de contenus
US10567538B2 (en) * 2016-03-08 2020-02-18 Huawei Technologies Co., Ltd Distributed hierarchical cache management system and method
US10452273B2 (en) 2016-09-24 2019-10-22 International Business Machines Corporation Preemptive event-based data migration
CN106686399B (zh) * 2016-12-22 2019-07-02 陕西尚品信息科技有限公司 一种基于联合缓存架构的网络内视频缓存方法
CN107493346A (zh) * 2017-09-07 2017-12-19 广州南翼信息科技有限公司 基于多媒体信息发布系统的资源文件缓存分发系统及方法
US10531130B2 (en) 2018-01-23 2020-01-07 Charter Communications Operating, Llc Protocol and architecture for the decentralization of content delivery
US11044588B2 (en) * 2018-07-23 2021-06-22 International Business Machines Corporation System and method for collaborative caching
US10929176B2 (en) * 2018-10-24 2021-02-23 EMC IP Holding Company LLC Method of efficiently migrating data from one tier to another with suspend and resume capability
US10931778B2 (en) * 2019-01-09 2021-02-23 Margo Networks Pvt. Ltd. Content delivery network system and method
JPWO2022014296A1 (ja) * 2020-07-15 2022-01-20
CN115695560A (zh) * 2021-07-23 2023-02-03 伊姆西Ip控股有限责任公司 内容分发方法、电子设备和计算机程序产品
CN114390099B (zh) * 2022-01-12 2023-06-02 中国联合网络通信集团有限公司 内容分发方法及边缘服务器
CN115022177B (zh) * 2022-06-08 2023-10-24 阿里巴巴(中国)有限公司 Cdn系统、回源方法、cdn节点及存储介质
EP4329266A1 (de) * 2022-08-25 2024-02-28 DGC Switzerland AG Verfahren und systemanordnung zur geolokation von datensätzen

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047309A (en) * 1995-10-02 2000-04-04 International Business Machines Corporation Recording observed and reported response characteristics at server and/or client nodes in a replicated data environment, and selecting a server to provide data based on the observed and/or reported response characteristics
US6266742B1 (en) * 1997-10-27 2001-07-24 International Business Machines Corporation Algorithm for cache replacement
US6463508B1 (en) * 1999-07-19 2002-10-08 International Business Machines Corporation Method and apparatus for caching a media stream
US6442565B1 (en) * 1999-08-13 2002-08-27 Hiddenmind Technology, Inc. System and method for transmitting data content in a computer network
US6970939B2 (en) * 2000-10-26 2005-11-29 Intel Corporation Method and apparatus for large payload distribution in a network
JP4017065B2 (ja) * 2002-03-25 2007-12-05 学校法人金沢工業大学 キャッシュ制御方法およびキャッシュシステム
JP4019817B2 (ja) * 2002-06-28 2007-12-12 株式会社日立製作所 分散オブジェクト制御方法およびその実施システム
JP2004302564A (ja) * 2003-03-28 2004-10-28 Hitachi Ltd ネームサービス提供方法及びその実施装置並びにその処理プログラム
US7143170B2 (en) * 2003-04-30 2006-11-28 Akamai Technologies, Inc. Automatic migration of data via a distributed computer network
US8763062B2 (en) * 2006-10-30 2014-06-24 Alcatel Lucent Method and apparatus for controlling information available from content distribution points
US8112747B2 (en) * 2006-11-27 2012-02-07 Sap Ag Integrated software support for a distributed business application with seamless backend communications
CN101262489B (zh) * 2007-03-09 2011-03-16 中兴通讯股份有限公司 一种内容分发网络系统及方法
CN100461740C (zh) * 2007-06-05 2009-02-11 华为技术有限公司 一种客户端节点网络拓扑构造方法及流媒体分发系统
EP2073503A1 (en) * 2007-12-17 2009-06-24 Alcatel Lucent Method for distributing content data packages originated by users of a super peer-to-peer network
US7697557B2 (en) * 2007-12-26 2010-04-13 Alcatel Lucent Predictive caching content distribution network
US20110107030A1 (en) * 2009-10-29 2011-05-05 Simon Borst Self-organizing methodology for cache cooperation in video distribution networks

Also Published As

Publication number Publication date
US8443052B2 (en) 2013-05-14
CN102326161A (zh) 2012-01-18
US20130007187A1 (en) 2013-01-03
US8417816B2 (en) 2013-04-09
WO2010096276A1 (en) 2010-08-26
EP2399207B1 (en) 2013-11-06
CN102326161B (zh) 2013-09-18
KR101286903B1 (ko) 2013-07-16
KR20110107860A (ko) 2011-10-04
US20100217869A1 (en) 2010-08-26
JP2012518841A (ja) 2012-08-16
EP2399207A1 (en) 2011-12-28

Similar Documents

Publication Publication Date Title
JP5143957B2 (ja) トポロジを意識したキャッシュ協働
US11431791B2 (en) Content delivery method, virtual server management method, cloud platform, and system
US20210144423A1 (en) Dynamic binding for use in content distribution
US10356201B2 (en) Content delivery network with deep caching infrastructure
US9407494B1 (en) Reassigning source peers
US20110107030A1 (en) Self-organizing methodology for cache cooperation in video distribution networks
JP2014522518A (ja) コンテンツ処理方法、コンテンツ処理デバイス、およびコンテンツ処理システム
EP1368948A2 (en) Method and apparatus for large payload distribution in a network
CN102439934A (zh) 一种cdn中边缘服务器的多级缓存管理方法与系统
Tuncer et al. Scalable cache management for ISP-operated content delivery services
CN102780710A (zh) 基于内容分发网络的节点调度方法
Claeys et al. Hybrid multi-tenant cache management for virtualized ISP networks
JP2013105227A (ja) P2P型Webプロキシネットワークシステム
CN116633921A (zh) 基于边缘缓存的cdn-p2p网络及缓存方法、缓存放置方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5143957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees