JPH10320337A - 分散データ管理方法 - Google Patents

分散データ管理方法

Info

Publication number
JPH10320337A
JPH10320337A JP9125247A JP12524797A JPH10320337A JP H10320337 A JPH10320337 A JP H10320337A JP 9125247 A JP9125247 A JP 9125247A JP 12524797 A JP12524797 A JP 12524797A JP H10320337 A JPH10320337 A JP H10320337A
Authority
JP
Japan
Prior art keywords
server
servers
data
url
management method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9125247A
Other languages
English (en)
Other versions
JP4134357B2 (ja
Inventor
Shigekazu Inohara
茂和 猪原
Toyohiko Kagimasa
豊彦 鍵政
Yoshimasa Masuoka
義政 増岡
Fumio Noda
文雄 野田
Kiyouka Bin
京華 閔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP12524797A priority Critical patent/JP4134357B2/ja
Priority to US09/079,151 priority patent/US6182111B1/en
Publication of JPH10320337A publication Critical patent/JPH10320337A/ja
Application granted granted Critical
Publication of JP4134357B2 publication Critical patent/JP4134357B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers

Abstract

(57)【要約】 【課題】 インターネット使用人口の増加によるインタ
ーネットの不均一性と不安定性を低減し、ユーザに対し
てより快適な情報システムのサービスを行なうために、
ユーザがクライアントに要求を発してから、その要求が
満たされるまでの時間を短縮することが本発明の目的で
ある。 【解決手段】 複数のサーバ(205’、205”)が
全体で1つのサービスを提供する際、各サーバは過去の
通信回線の状況(スループットやレイテンシ)を蓄積
し、この蓄積情報をもとに任意のサーバ間で、通信回線
の状況に応じたキャッシュ参照およびプリフェッチを行
なう。 【効果】 インターネットの通信回線の不均一性と不安
定性がある状況下でも、ユーザがクライアントに要求を
発してから、その要求が満たされるまでの時間を短縮
し、また特定の通信回線が不通でも、できる限りクライ
アントの依頼を処理することによりユーザにより快適な
情報システムのサービスを行なう。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、計算機システムに
関し、例えばネットワークによって接続された複数の計
算機が、情報を流通・共有・変更するシステム(情報シ
ステム)内の情報を管理する分散データ管理方法に関
し、特にWorld―Wide Web(WWW)に好
適な分散データ管理方法に関する。
【0002】
【従来の技術】以下の記述に用いるいくつかの用語をま
ず説明する。
【0003】インターネット上のWWW、匿名FTPを
はじめとする情報システムは、通常分散コンピュータ・
システムの一形態である「クライアント・サーバ・シス
テム」の形態で構築されている。クライアント・サーバ
・システムでは、システム全体の処理は2種類に分割さ
れ、第1の部分を「サーバ」と呼ばれる実行中のプログ
ラム(以下、プロセスという)で処理し、第2の部分を
複数の「クライアント」と呼ばれるプロセスで処理す
る。情報システムのクライアントは通常、個人または企
業内のユーザが操作するコンピュータで動作する。情報
システムのサーバは、クライアントに提供する情報を格
納する。情報システムのクライアントは、サーバに新た
な情報を格納したり、サーバに要請して情報を取得す
る。
【0004】コンピュータ・システムでは、1つの情報
を複数の場所に一時的にコピーしておくことにより、当
該情報へのアクセスを高速にしたり、アクセスできる可
能性を高めることが広く行なわれる。このようなコピー
はヒント、キャッシュ、レプリカ、スタッシュ等と呼び
分けられる(Sape Mullender編の文献”
Distributed Systems(1st e
d.)”pp.13―15,ACM press,198
9参照)。以下ではこれらのコピーを総称して「キャッ
シュ」と呼ぶ。またキャッシュを作ることを「キャッシ
ュする」と記す。
【0005】WWWでは、WWWサーバが、発信する情
報を「ホームページ」と呼ばれる単位で保持している。
ホームページは、それぞれURL(Uniform R
esource Locatorの略)と呼ばれる名前
を持っている。URLはWWWで用いられるプロトコル
と、情報源であるコンピュータのホスト名、および情報
源において特定のデータを指定することが可能な文字列
である。”http://www.hitachi.c
o.jp/index.html”は URLの一例であ
る。
【0006】なお、一般にURLは(ホームページのデ
ータや画像データ等の)ひとかたまりのデータに対応づ
けられるが、以後このひとかたまりのデータのことを
「URLに対応する情報」または「URL内容」と記
す。また、第1のURLに対応する情報中に含まれる第
2のURLは「ハイパー・テキスト・リンク(または簡
単にリンク)」とよばれる。第1のURLに対応する情
報中に第2のURLが含まれることを、以下「第1のU
RLから第2のURLにリンクがある」と記す。
【0007】WWWで用いられている技術(公知例1)
を説明する。
【0008】WWWクライアントのユーザは、アクセス
したいホームページのURLをWWWクライアントに指
定する。WWWのサーバとクライアントの第1の処理形
態では、WWWクライアントは当該URLの第2要素で
指定されるWWWサーバに対して、当該URLに対応す
るホームページの送信を依頼する。当該WWWサーバ
は、この要求に応えて、当該ホームページを当該WWW
クライアントに与える。
【0009】また第2の処理形態では、WWWクライア
ントが、ユーザが与えたURLの第2要素で指定される
WWWサーバに依頼を行なうかわりに、「プロキシ・サ
ーバ」と呼ばれる第2のサーバに依頼を行なう場合もあ
る。当該第2のサーバは、当該WWWサーバから当該U
RLに対応するホームページを得るか、さらに別のプロ
キシ・サーバに当該URLに対応する情報取得を依頼す
る。このプロキシ・サーバの依頼が複数段階である場
合、プロキシ・サーバは親子関係を持つ。親子関係を持
つプロキシ・サーバに関しては、例えばA.Chank
hunthod他の文献”A Hierarchica
l Internet Object Cache”
(1996 USENIX Technical Co
nference,pp.153―163,1996)
に記載されている。
【0010】なお、WWWのクライアントやプロキシ・
サーバは、キャッシュを持つことができる。クライアン
トが持つキャッシュは、以前に当該クライアントが取得
したホームページを保持しており、当該クライアントの
みが利用する。プロキシ・サーバがもつキャッシュは、
当該プロキシ・サーバが1つ以上のクライアントまたは
他の1つ以上のプロキシ・サーバまたはその両方の依頼
によって取得したホームページを保持しており、当該プ
ロシキ・サーバを利用するクライアントおよびプロキシ
・サーバによって共用される。
【0011】ネットワーク・ニュース・システム(以後
公知例2と呼ぶ。B.Kantor他著の文献”Net
work News Transfer Protoc
ol:A Proposed Standard fo
r the Stream―Based Transm
ission of News”Network Wo
rking Group RFC―977等に記載され
ている)は、1つ以上のサーバによって構成される。ユ
ーザは通常、クライアントを用いて当該複数のサーバの
うち1つを選択して利用する。ネットワーク・ニュース
・システムにおける情報の単位は「ニュース記事」と呼
ばれる。ユーザは通常、クライアントを用いてニュース
記事をサーバに提供する操作と、ニュース記事をサーバ
から取り出す操作を行なう。ユーザがニュース記事が第
1のサーバに提供すると、第1のサーバは1つ以上の第
2のサーバに当該ニュース記事のコピーを送り、さらに
第2のサーバが別のサーバに当該ニュース記事のコピー
を送る、という具合で、最終的には上記複数のサーバす
べてに当該ニュース記事がコピーされる。
【0012】公知例3として、広域名前サービスDom
ain Name Systemを説明する。(以下D
NSと略す。例えばP.Mockapetris著の文
献”Domain Names―Implementa
tion and Specification”Ne
twork Working Group RFC―1
035の特に第2節に記載されている)DNSは主にシ
ンボリックなホスト名と、そのホスト名の付随情報(I
Pアドレスやメールサーバ)とを対応づける。複数のD
NSサーバは木構造を構成する。クライアントの依頼は
当該木構造をたどって、複数のサーバの間を転送され、
処理される。DNSのクライアントであるresolv
erは、あるホスト名に対応するホスト関連情報をサー
バの1つに依頼する。この際当該サーバは、当該ホスト
名に対応するホスト関連情報をクライアントに返すか、
当該DNSサーバの親サーバ(DNSサーバの木構造に
おいて根に一段近いDNSサーバ)に当該依頼を転送す
る。なお親サーバは、直接の子サーバ群がどのホスト関
連情報を持つかを把握している。このため、木構造の根
まで依頼が転送されると、今度は木構造を下って依頼を
処理できるDNSサーバの方に依頼を転送する。依頼は
最終的に、ホスト関連情報を保持するDNSサーバに到
達して、クライアントにホスト関連情報が返されるか、
木構造を下っていく段階で、当該依頼のホスト名に対応
するホスト関連情報がどのDNSサーバからも提供され
ていないことが判明して、クライアントに失敗が返され
る。
【0013】ローカル・エリア・ネットワーク(LA
N)内の分散ファイルシステムにおいて、キャッシュの
ための空間を複数のコンピュータで共有する方法も知ら
れている(公知例4)。Michael Dahlin
他著の文献”Cooperative Cachin
g:Using Remote Client Mem
ory to Improve File Syste
m Performance”(First USEN
IX Symposium on Operating
Systems Design and Imple
mentation,pp.267―280,199
4)では、クライアントはまず「マネージャ」と呼ばれ
るサーバに、ファイルブロックを依頼する。マネージャ
は、どのファイル・ブロックがどのコンピュータに格納
されているかを保持しており、クライアントにファイル
・ブロックが格納されているコンピュータを返答する
か、当該コンピュータにクライアントの要求を転送す
る。同様の方法としては、M.J.Feeley他著の文
献”Implementing Global Mem
oryManagement in an Works
tation Cluster”(ACM 15th
Symposium on Operating Sy
stems Principles,pp.201―2
12,1995)や P.Sarkar他著の文献”E
fficient Cooperative Cach
ing Using Hints”(Second U
SENIX Symposium on Operat
ing Systems Design and Im
plementation,pp.35―46,199
6)が知られている。マネージャは複数存在することが
できるが、ファイル・ブロックとマネージャとの対応関
係はあらかじめ定められており、全クライアントおよび
サーバがその対応関係を知っている。この対応関係はシ
ステム動作中に変化しない。
【0014】公知例5および公知例6として、cach
e―coherent non―uniform me
mory access(CC―NUMA)やcach
e only memory access(COM
A)と呼ばれる種類の計算機で用いられている技術を説
明する。CC―NUMA計算機やCOMA計算機では、
メモリの断片(キャッシュライン)を多数のプロセッサ
の近くにキャッシュし、それらキャッシュの間の一貫性
を保つ機構が含まれている。特に以下の2つの方法が知
られている。
【0015】第1の方法(公知例5)は、上記マネージ
ャに相当する「ホーム」と呼ばれる処理装置またはデー
タが、メモリの断片がどのプロセッサによってキャッシ
ュされているかを把握しておく方法である。Jeffr
ey Kuskin他著の文献”The Stanfo
rd FLASH Multiprocessor”
(Proceedings of the 21st
Annual International Symp
osium on Computer Archite
cture,pp.302―314,ACM,199
4)に記載のシステム等で第1の方法が用いられてい
る。
【0016】第2の方法(公知例6)は、キャッシュの
作成と削除と通信方法に一定の制約を課すことによっ
て、一定回数の通信(通常マルチキャストまたはブロー
ドキャストを含む)でキャッシュの特定と一貫性の保持
ができることを保証する方法である。Henk L.M
uller他の文献”The Data Diffus
ion Machine with a Scalab
le Point―to―Point Networ
k”(Technical Report CSTR―
93―17,Department of Compu
ter Science,University of
Bristol,October 1993)に記載
のシステム等で第2の方法が用いられている。
【0017】
【発明が解決しようとする課題】現在のインターネット
全体の通信性能はユーザの要求する速度に遠く及んでお
らず、多くの不安定要因を抱えている。WWWの爆発的
な普及により、多くのワイド・エリア・ネットワーク
(WAN)で混雑が起こっている。高速なバックボーン
通信回線が日々増強されている一方で、家庭からのイン
ターネット利用者は、一般的なLANよりも非常に遅い
通信回線を用いてインターネットに接続している。現在
でもWWWサーバとインターネットのユーザ数は増加の
一途をたどっており、1996年1月のある統計では、
全世界のインターネット利用のコンピュータは900万
台、6ヶ月弱で2倍の速度で増加している。
【0018】このため、インターネットの通信回線には
不均一性と不安定性がある。ここでの不均一性とは、様
々な通信回線が混在していることを指す。例えば、通信
回線によってスループット(単位時間当りの通信データ
量)とレイテンシ(通信が受ける遅延時間)が異なるこ
とがあげられる。ここでの不安定性とは、通信回線のス
ループットとレイテンシが刻一刻と変化し、場合によっ
ては通信不能になったりすることを指す。例えば、時間
帯や曜日によって通信回線の混雑が変化したり、ある通
信回線の増強によってルーティングのパターンが変更さ
れ、別の通信回線が混雑したり混雑が解消されたりする
ことを指す。
【0019】このような状況を鑑み、ユーザにより快適
な情報システムのサービスを行なうために、ユーザがク
ライアントに要求を発してから、その要求が満たされる
まで時間を短縮することが本発明の目的である。以下こ
の目的を実現する上での課題と、公知の技術との隔たり
を説明する。
【0020】第1に、公知の技術では、ある通信回線が
不安定な状況下では、たとえ別の通信回線が正常に動作
していてもクライアントの依頼を高速に処理できない場
合があった。
【0021】公知例1のWWWのクライアントやWWW
のプロキシ・サーバは、URLによって指定された特定
のWWWサーバまたは特定のプロキシ・サーバと通信す
る。このため、当該サーバ(またはプロキシ・サーバ)
への通信回線が混雑していたり、不通である場合には、
たとえ別の通信回線が正常に動作していても、クライア
ント(またはプロキシ・サーバ)がホームページの入手
に長時間を要したり、ホームページの入手ができない。
また同じ理由で、ある時点で低速だった通信回線が増強
等により高速になったとしても、その利益を享受するこ
とが困難だった。公知例2から公知例5でも、クライア
ントとサーバ、またはサーバと別のサーバの通信が、あ
らかじめ定められた相手とのみ行なわれる点は公知例1
と共通しており、上記の問題がある。一方公知例6は、
1つの計算機または物理的に密接に結び付いた複数の計
算機で使用する技術であり、マルチキャストまたはブロ
ードキャストが不具合なく動作することを前提としてい
る。このためLAN環境やWAN環境にひろく適用する
ことは困難である。また同じ理由で、特定の通信回線が
混雑していたり、不通である場合には(たとえ別の通信
回線が正常に動作していても)、キャッシュラインの入
手に長時間を要したり、キャッシュラインの入手ができ
ない。
【0022】第2に、公知の技術では通信回線が不安定
な状況下でキャッシュの利用率をあげることが達成され
ていなかった。
【0023】公知例1、2、3、5では、複数のサーバ
(またはクライアントとサーバ)がキャッシュを持つ場
合、これら複数のキャッシュは階層構造をなす。クライ
アントが発する依頼には、当該依頼を処理する責任を持
つ特定の第1のサーバが存在している。当該依頼は、当
該第1のサーバに直接送信されるか、当該第1のサーバ
とクライアントの間の1つ以上の第2のサーバの間を順
に転送される(この場合、当該1つ以上の第2のサーバ
は依頼の内容によって一意に決定される)。前者の場
合、当該依頼は当該第1のサーバのキャッシュしか利用
できない。また後者の場合には、当該1つ以上の第2の
サーバのキャッシュしか利用できない。すなわち第1、
第2のサーバの他のサーバのキャッシュは利用されず、
キャッシュの利用率が低い。例えば公知例1のWWWの
プロキシ・サーバは親子関係を持つので、プロキシ・サ
ーバA、B、Cが存在してAが親、BとCがAの子とし
て動作している場合、BはAに依頼を転送することによ
ってAのキャッシュを利用することができるが、BがC
のキャッシュを利用することはできない。また公知例2
では、各ニュース記事は、当該ニュース記事を必要とす
るすべてのサーバにコピーされる。このため、各サーバ
は他のサーバのキャッシュを全く利用せず、したがって
各サーバが大規模な二次記憶を用意する必要がある。一
方、公知例4はLAN環境を仮定しており、キャッシュ
の利用率をあげる目的で、1つのデータのコピーが複数
のキャッシュ中でできるだけ少数になるような制御が行
なう。しかし、通信回線が不安定な場合には、クライア
ントの依頼が少数のキャッシュに到達できない場合があ
り、逆にキャッシュの利用率が低くなる恐れがある。公
知例6は、複数のキャッシュのうち最も短時間で利用で
きるキャッシュを選択するが、この際にマルチキャスト
またはブロードキャストが用いられる。このため、公知
例6の方法を通信回線が不安定になる可能性があるLA
N環境やWAN環境にひろく適用することは困難であ
る。
【0024】第3に、公知の技術ではデータとデータの
間の参照関係の使用頻度を複数のサーバが交換する方法
を持たなかった。
【0025】WWWのホームページとハイパー・テキス
ト・リンクに代表されるように、情報システムが提供す
るデータには参照関係があり、参照関係のなかでも頻繁
にたどられる参照関係(使用頻度の高い参照関係)があ
ることが多い。参照関係の使用頻度情報は、プリフェッ
チなどに利用できる。頻繁にたどられる参照関係で結ば
れた一連の情報をクライアントからの依頼以前にプリフ
ェッチしておけば、クライアントからの依頼があった時
に通信回線が不安定でも、当該一連の情報の依頼は高速
に処理することができるためである。特に複数のサーバ
が存在する場合、参照関係の使用頻度情報は、個々のサ
ーバがそれぞれ収集するより、複数のサーバが収集した
情報を交換して集計する方がより確からしい情報とな
る。しかし公知例1から6では、参照関係の使用頻度情
報を複数のサーバが交換する方法を持たなかった。この
ため、参照関係の使用頻度情報の確からしさに限界があ
り、プリフェッチの効果も限られていた。
【0026】第4に、公知の技術ではキャッシュの入れ
替えに通信回線の不均一性と不安定性が考慮されていな
かったため、重要なキャッシュを破棄する恐れがあっ
た。
【0027】公知例1、2、3では、各サーバ(または
クライアント)が、利用履歴等に基づいてそれぞれのキ
ャッシュの入れ替えを行なう。公知例4はLAN環境で
の使用を想定しているため、キャッシュの入れ替えの際
のキャッシュの優先度づけに、通信回線の状態は考慮さ
れない。また、公知例5と6も、1つの計算機または物
理的に密接に結び付いた複数の計算機で使用することを
想定しているため、キャッシュの入れ替えの際のキャッ
シュの優先度づけに、通信回線の状態は考慮されない。
この結果、公知例1から6のいずれでも、現在の通信状
態では再び入手することができない、または入手に長時
間を要するキャッシュを破棄する場合がある。
【0028】第5に、公知の技術ではいずれも、第1の
サーバが1つ以上の第2のサーバからの依頼を受ける場
合に、第2のサーバが第1のサーバを無制限に利用し、
結果として第1のサーバを過負荷におとしいれることに
対する対策がなかった。このため、複数のサーバが複数
のユーザの組織を越えて依頼を行ないあうことが困難だ
った。公知例1、2、3は、クライアント・サーバ・シ
ステムであるため、サーバが依頼を拒否すると、クライ
アントの依頼が処理されない。一方、公知例4、5、6
は限られた範囲の複数のサーバが依頼を行ないあうた
め、第1のサーバの過負荷を問題にする必要がなかっ
た。
【0029】
【課題を解決するための手段】本発明では、複数のサー
バを用い、複数のキャッシュを複数のサーバが保持する
ことによって、1つの情報システムのサービスを提供す
る。
【0030】第1の課題を解決するため、以下の3つの
手段を講じる。
【0031】(1)第1のサーバが必要とするデータ
(以後必要データと呼ぶ)を入手しようとする際、当該
必要データは本発明の方法で用いる複数のサーバのう
ち、2つ以上の第2のサーバにキャッシュされている可
能性がある。この際第1のサーバは、第1のサーバと第
2のサーバが過去に行なった通信履歴を保持し、当該通
信履歴を用いて第2のサーバから1つ以上の第3のサー
バを選択して、第3のサーバに必要データの送信を依頼
する。この通信履歴から第1のサーバは、現時点で高速
に必要データの入手が可能と予測される第3のサーバを
選択できる。このため、高速に通信できる通信回線を選
択的に用いてクライアントの依頼を処理可能となる。
【0032】(2)第1のサーバは、必要データを入手
するための第3のサーバを2つ以上選択し、これら複数
のサーバに対して同時に依頼を送信することにより、ク
ライアントの依頼を高速に処理することを試みる。これ
だけでは当該複数のサーバからほぼ同時に依頼の返答が
開始されて、却って通信の速度を下げる恐れがある。そ
こで、当該2つ以上の第2のサーバのうち、1つ以上の
第3のサーバには必要データを直ちに送信することを依
頼し、別の1つ以上の第4のサーバには、必要データの
送信を待機することを依頼する。第3のサーバからの必
要データの送信が長時間を要するか、不可能であること
が判明した時点で、すでに待機している第4のサーバか
ら直ちに必要データの送信を受けられる。このため、通
信回線の状況が変化した場合にもクライアントの依頼を
高速に処理可能となる。
【0033】(3)第1のサーバは、当該第1のサーバ
と1つ以上の他のサーバとの過去の通信に関する、第1
の時間にわたる、第2の時間間隔毎の通信の履歴(時間
毎通信履歴)を持つ。当該時間毎通信履歴は、通信回線
の状況が周期的に変化する場合(例えば昼間は混雑して
いるが夜間は混雑していない通信回線を用いる場合等)
に、第1のサーバが通信を行なう時刻の選択を可能にす
る。これら3つの手段によって本発明は、高速に通信で
きる通信回線を選択的に利用し、若しくは高速に通信で
きる時間帯に選択的に利用して、通信回線が不安定また
は不均一な状況下で、クライアントの依頼を高速に処理
する。
【0034】第2の課題を解決するために、第1のサー
バは、当該第1のサーバが持つキャッシュの一覧の一部
または全部を、1つ以上の第2のサーバに通信する。こ
の際当該1つ以上の他のサーバは前記通信回線の状況の
履歴を用いて選択する。これにより、第1のサーバのキ
ャッシュの一覧を、その時点で高速に通信できる第2の
サーバに通信することができる。このため、第1のサー
バと第2のサーバの間の通信回線が正常な場合には、他
の通信回線が不安定でも、第2のサーバが第1のサーバ
のキャッシュを利用可能となる。
【0035】第3の課題を解決するために、クライアン
トが第1のデータを依頼した後に、1つ以上の第2のデ
ータを依頼する可能性が高い場合に、第1のサーバは第
1のデータと第2のデータの対応関係(参照関係情報)
を持ち、かつ当該参照関係情報を1つ以上の第2のサー
バに送信する。この手段を用いて本発明の複数のサーバ
は、参照関係情報を他のサーバと交換し、頻繁にたどら
れる参照関係の使用頻度の確からしさを向上させる。こ
れにより頻繁に依頼される一連のデータをクライアント
に高速に提供する。
【0036】また参照関係情報をプリフェッチに用いる
ことによって、多数のデータを同時に依頼することが可
能になる。この際本発明ではサーバが複数あることを利
用して、複数のサーバが階層的なパイプライン状にプリ
フェッチを行ない、特定のサーバにボトルネックを生じ
たり、特定のネットワークが過負荷になってプリフェッ
チが効果的に行なわれない等の問題を避ける。
【0037】第4の課題を解決するために、第1のサー
バは前記通信回線の状況の履歴を用いて情報の単位のア
クセス頻度および最終アクセス時間、平均スループッ
ト、平均レイテンシ、他のサーバのキャッシュの内容か
ら、キャッシュの優先度づけを行ない、この優先度に基
づいてキャッシュの入れ替えを行なう。これにより、現
在の通信状態では再び入手ことができない、または入手
に長時間を要するキャッシュを破棄することを避けるこ
とが可能となる。
【0038】第5の課題を解決するために、第1のサー
バが、1つ以上の第2のサーバの必要データの送信の全
体を一定時間内に一定量以下、または一定時間内に一定
回数以下に制限する手段を持ち、一方で第2のサーバの
各々は、第1のサーバを含む2つ以上の第3のサーバ
に、必要データの送信を依頼する。これにより、第1の
サーバが第2のサーバからの依頼によって過負荷になる
ことを防ぎつつ、第2のサーバの処理を妨げないことが
可能となる。本発明が複数のサーバからなっており、ひ
とつのサーバが依頼を拒否しても、他のサーバが依頼を
処理することが可能なため、この手段が有効となる。
【0039】これらの手段によって、本発明は、インタ
ーネットの通信回線の不均一性と不安定性がある状況下
でも、ユーザがクライアントに要求を発してから、その
要求が満たされるまで時間を短縮する。また特定の通信
回線が不通でも、できる限りクライアントの依頼を処理
する。これによりユーザにより快適な情報システムのサ
ービスを行なう。
【0040】
【発明の実施の形態】以下、本発明の実施の一形態を、
図面を参照しながら説明する。なお、簡単のため、本明
細書中では「発明の実施の形態」を、単に「実施例」と
呼ぶことにする。
【0041】全体構成 本実施例は、他の情報システムから入手する情報とユー
ザが入力する情報を、分散した1つ以上のキャッシュに
保持する分散データ管理方法を搭載した計算機システム
である。図2に本実施例の全体を示す。本実施例の全体
201は分散コンピュータ・システムであり、ネットワ
ーク202と、ネットワーク202によって相互接続さ
れた1つ以上の計算機203、203’、203’’、
…からなる。
【0042】ネットワーク202は、ある団体(企業や
学校や類似の団体)の全体や位置部門でよく使用される
LANでもよく、また地理的に分散した複数の地点を結
合するWANの一部または全部でもよい。またネットワ
ーク202は、計算機間結合網や並列計算機内部のプロ
セッサ要素間の結合網でもよい。
【0043】計算機203、203’、203’’、…
は、それぞれ1個以上のクライアントまたは1個以上の
サーバまたはその両方を動作させる。本実施例の全体2
01で、少なくとも1つのサーバ205と少なくとも1
つのクライアント204が存在する。なお以下で、本実
施例の全体に含まれるサーバ群を「本システム」と呼ぶ
ことがある。計算機203、203’、203’’、…
は、いわゆるパーソナル・コンピュータ、ワークステー
ション、並列計算機、大型計算機等、任意のコンピュー
タでよい。また、クライアント204、204’、20
4’’、…を動作させる計算機203、203’、20
3’’、…は、サーバ205、205’、205’’、
…と通信する機能をもっていればよい。すなわち各種コ
ンピュータ端末装置、携帯通信端末(いわゆるパーソナ
ル・デジタル・アシスタンスPDAやハンドヘルド・パ
ーソナル・コンピュータHPC)、ネットワーク・コン
ピュータなどでも差し支えない。なお、図2に示した計
算機203、203’、203’’、…、クライアント
204、204’、204’’、…、およびサーバ20
5、205’、205’’、…の数と構成は、例として
示したもので、本発明の範囲を限定するものではない。
【0044】クライアント204は、WWWで使われる
各種プロトコル、すなわちHTTP(Hypertex
t Transfer Protocolの略)プロト
コル、FTP(File Transfer Prot
ocolの略)プロトコル等を用いてサーバ205と通
信を行なう。クライアント204は、グラフィック・ユ
ーザ・インターフェースを備えたWWWブラウザ、テキ
スト表示のみを行なうWWWブラウザ、ワード・プロセ
ッサや表計算ソフトウェアに内蔵されたWWWのクライ
アント、WWWのプロキシ・サーバ等でよい。なお、ク
ライアント204が用いるプロトコル、およびクライア
ント204の種類は例として示したもので、本発明の範
囲を限定するものではない。
【0045】サーバ205、205’、205’’、…
は、WWWサーバ、WWWプロキシ・サーバ、匿名FT
Pサーバ、ユーザの入力等の「情報源」から、クライア
ントに提供する情報を入手して、URLと組にして保持
する。サーバ205、205’、205’’、…は上記
情報の入手を、上記情報源のそれぞれに定期的に(例え
ば1時間に一度)接続して新規情報を得る、上記情報源
から新規情報の発生を通知して貰う、等の方法で行な
う。なお、サーバ205、205’、205’’、…が
クライアントに提供する情報を入手する情報源および方
法は、例として示したもので、本発明の範囲を限定する
ものではない。また、本実施例のサーバ205、20
5’、205’’、…が持つ情報にはURLが付与され
ており、かつサーバはURLを用いてURL内容の管理
を行なうが、サーバが持つ情報を何らかの形式で指定す
ることができればよく、URLに限ることはない。この
ため、本発明の範囲を限定するものではない。さらに本
発明の実施は、クライアントまたはサーバのオペレーテ
ィング・システム、サーバ間またはサーバ・クライアン
ト間のネットワークの種類およびネットワークの物理層
プロトコルやトランスポート層プロトコル、もしくはサ
ーバとクライアントが単一のコンピュータ上にあるか異
なるコンピュータ上にあるかには依存しない。
【0046】クライアントとサーバの動作の概略 図1を用いてクライアント204とサーバ205の動作
の概略を説明する。なお、サーバ205とクライアント
204、他のサーバ205’、205’’、…を繋いで
いるネットワーク202はここには図示していない。ま
た、図1中の矢印は主要なデータの流れである。
【0047】サーバ205は依頼処理部101、プリフ
ェッチ部102、サーバ間メッセージ処理部103の各
処理部分と、ホームページキャッシュ104、アクセス
戦略表105、頻度DB106、ホームページグループ
表107の各データ構造を持つ。
【0048】サーバ205のホームページキャッシュ1
04は、サーバ205が動作する計算機203の持つ不
揮発性記憶装置(磁気ハードディスク、光ディスク等。
以下「二次記憶」と記すことがある)または揮発性記憶
装置(メインメモリ、キャッシュメモリ等。以下「主記
憶」と記すことがある)またはその両方に格納される。
なお、ホームページキャッシュ104は不揮発性記憶装
置に格納される場合でも揮発性記憶装置に格納される場
合でも、一個所に格納される必要はない。例えば、サー
バ205が動作する計算機203が3つの磁気ハードデ
ィスクを持っていれば、ホームページキャッシュ104
をこれら3つの磁気ハードディスクの一部または全部に
分割して格納しても差し支えない。むしろ、複数の磁気
ハードディスクを用いることは、磁気ハードディスクへ
のアクセスの並列性を増し、もってホームページキャッ
シュ104の読み書きを高速化するために、必須ではな
いが望ましい。また当該サーバ205は情報のキャッシ
ュをすることが重要な役割であるため、当該サーバ20
5には大容量のホームページキャッシュ104を構成す
るのに十分な記憶装置が付属していることが、必須では
ないが望ましい。
【0049】クライアント204が、本システムから第
1のURLに対応する情報である第1のURL内容を取
得する際には、本システムの任意の第1のサーバ205
に、第1のURLを含む依頼120を送信することによ
って、第1のURL内容の取得を依頼する。
【0050】依頼120は依頼処理部101が受け取
り、ホームページキャッシュ104に依頼されたURL
内容があるかどうかを検索する(130)。もしあれ
ば、当該ホームページキャッシュ104をアクセスし
て、第1のURL内容をクライアント204に返答12
1で送信する。
【0051】アクセス戦略表105は、本システムの他
のサーバ205’、205’’、…がどのURL内容を
保持しているかの記録、及び第1のサーバ205から行
なった過去の通信の速度(例えばスループットやレイテ
ンシ)の記録を保持している。第1のURL内容が第1
のサーバ205のホームページキャッシュ104内にな
ければ、第1のサーバ205はアクセス戦略表105を
参照して依頼を転送すべき第2のサーバ205’、20
5’’、…を決定する(131)。そして第2のサーバ
205’、205’’、…および第1のURL内容の情
報源のうち1つ以上に、依頼122により依頼120を
転送する。第1のサーバ205は、依頼を転送した第2
のサーバ205’、205’’、…または情報源の少な
くとも1つから第1のURL内容が返答123によって
得られると、得られた第1のURL内容をクライアント
204に返答121によって送る。なお、上記依頼12
0、返答121、依頼122、返答123はいずれも、
ネットワーク202を通じて行なわれてもかまわない
し、計算機203、203’、203’’、…の持つ通
信機能を用いて行なわれてもかまわない。
【0052】第1のサーバ205は返答123によって
第1のURL内容が得られると、第1のサーバ205の
ホームページキャッシュ104に第1のURL内容を追
加する(133)。この場合には、当該第1のURL内
容が追加されたことを伝えるホストURLメッセージ1
24が本システムの他のサーバ205’、205’’、
…の一部または全部に送信される。またホームページキ
ャッシュ104に第1のURL内容を追加する際、別の
第2のURL内容がホームページキャッシュ104から
削除される場合があるが、この場合には、当該第2のU
RL内容が削除されたことを伝えるホストURLメッセ
ージ124が本システムの他のサーバ205’、20
5’’、…の一部または全部に送信される。
【0053】頻度DB106は、後に述べるように、ど
のURL内容がいつ参照されたかという頻度情報を記録
している。ホームページグループ表107は、連続して
依頼されたことが多かった複数のURL内容の組を記録
している。第1のサーバ205のプリフェッチ部102
は返答121の後、依頼120による頻度情報の変化を
頻度DB106に反映する(135)。頻度情報の変化
は、頻度DB106の更新内容を伝えるホスト頻度メッ
セージ125によって本システムの他のサーバ20
5’、205’’、…の一部または全部に送信される。
さらに、プリフェッチ部102は頻度DB106の内容
に基づいてホームページグループ表107を更新する
(136)。
【0054】次に、将来依頼されやすいと考えられるU
RL内容を頻度DB106およびホームページグループ
表107を用いて決定する(137および138)。当
該URL内容が1個以上あれば、それらは依頼処理部1
01が上記依頼120と同様に受信する。
【0055】また、サーバ間メッセージ処理部103
は、本システムの他のサーバ205’、205’’、…
からホストURLメッセージ124’を受信するとアク
セス戦略表105を書き換える(140)。また、本シ
ステムの他のサーバ205’、205’’、…からホス
ト頻度メッセージ125’を受信すると頻度DB106
を書き換える(141)。
【0056】以上がクライアント204とサーバ205
の動作の概略である。以下ではこれらをさらに詳しく説
明する。
【0057】サーバの内部動作の詳細 図3に、サーバ205の内部構成を示す。依頼処理部1
01は、依頼入力部301、キャッシュ表参照部30
2、処理戦略部303、受信部304、返答部305、
キャッシュ入れ替え部310からなる。プリフェッチ部
102は、リンク統計更新部306、グループ更新部3
07、プリフェッチ戦略部308、プリフェッチスケジ
ュール部309、タイマー311からなる(サーバ間メ
ッセージ処理部103は図3には示していない)。
【0058】サーバ205のデータ構造は、ホームペー
ジキャッシュ104、アクセス戦略表105、頻度DB
106(アクセス頻度表325、リンク頻度表326、
外部アクセス頻度表327、外部リンク頻度表328か
らなる)、ホームページグループ表107、およびアク
セス戦略表105を構成するためのキャッシュディレク
トリ323と通信コスト表324、およびホスト表の各
データ構造を持つ(ホスト表は図示していない)。これ
らのデータ構造はすべて、主記憶と二次記憶の片方また
は両方に存在してかまわない。なお、図3において、太
い矢印は主要な制御の流れを、また細い矢印は主要なデ
ータの流れを表わす。また、本実施例では請求項におけ
る必要データはURL内容であり、請求項における通信
履歴は、アクセス戦略表105と通信コスト表324
に、データ保持確率はキャッシュディレクトリ323
に、時間毎通信履歴は頻度DB106に、参照関係情報
はホームページグループ表107に、それぞれ格納され
る。また、サーバ間で通信されるデータの一覧はホスト
URLメッセージ124の形式で通信される。
【0059】サーバ205内部の処理の説明に先立っ
て、各データ構造の概略を説明する。各データ構造の詳
細な説明は、サーバ205内部の処理の説明とあわせて
行なう。図4に、ホームページキャッシュ104、アク
セス戦略表105、キャッシュディレクトリ323、通
信コスト表324、アクセス頻度表325、リンク頻度
表326、外部アクセス頻度表327、外部リンク頻度
表328の構成を示す。
【0060】ホームページキャッシュ104は、キャッ
シュの本体である。URL401と、URL401の内
容であるURL内容402を組にして保持する。この組
は通常複数ある。
【0061】アクセス戦略表105は、下に述べるキャ
ッシュディレクトリ323と通信コスト表324とを、
現在の使用のために組み合わせたものである。URL4
11と、ホスト412と、通信コスト413と、URL
存在確率414との組を保持する。この組は通常複数あ
る。URL411はURLである。ホスト412はサー
バ205または情報源が存在するホスト名、通信コスト
413には、通信のスループットとレイテンシを用い
る。URL存在確率414は、ホスト412で指定され
るコンピュータに、URL411で指定されるホームペ
ージが存在する確率である。サイズ415は前回アクセ
ス時のURL411のバイト数である。アクセス戦略表
105は、第1のサーバ205が、依頼を転送する1つ
以上の第2のサーバ205’、205’’、…を選定す
る際に使用する。
【0062】なお、ホスト名には、シンボリックなホス
ト名かIPアドレスを用いる。場合によってはホスト名
に、シンボリックなホスト名かIPアドレスと、TCP
/IPやUDP/IPのポート番号とを組にしたものを
用いる。ただしホスト名は通信相手のサーバまたはクラ
イアントを指定し、通信路を開くことが目的であるた
め、この目的にかなえば、いかなる形態の表現をとって
も差し支えない。特に、ここでIPアドレスやポート番
号は例として出したものであり、本発明の範囲を限定す
るものではない。
【0063】キャッシュディレクトリ323は、URL
421と、ホスト422と、URL存在確率423を含
む組を保持する。この組は通常複数ある。URL421
はURLである。ホスト422はサーバまたは情報源が
存在するホスト名、URL存在確率423は、ホスト4
22で指定されるコンピュータに、URL421で指定
されるホームページが存在する確率である。
【0064】通信コスト表324は、ホスト431と、
時刻432と、通信コスト433と、通信回数434を
含む組を保持する。この組は通常複数ある。ホスト43
1はサーバまたは情報源が存在するホスト名、時刻43
2は何曜日の何時かを格納する。通信コスト433は時
刻432においてホスト431に対して行なわれた過去
一定期間内の通信のスループット(単位時間当りの通信
可能データ量)とレイテンシ(通信が受ける遅延時間)
である。通信回数434は、時刻432においてホスト
431に対して行なわれた過去一定期間内の通信の回数
を格納する。
【0065】アクセス頻度表325は、URL441
と、アクセス頻度442と、サイズ443を含む組を保
持する。この組は通常複数ある。URL441はUR
L、アクセス頻度442はURL441で指定されるホ
ームページを、過去の一定時間C1内に当該サーバ20
5がアクセスした回数である。本実施例のアクセス頻度
442は、過去一週間の何曜日の何時に何回アクセスし
たかを格納するカウンタ群である。サイズ443は前回
アクセス時のURL441のバイト数である。
【0066】リンク頻度表326は、参照元URL45
1と、参照先URL452と、アクセス頻度453を含
む組を保持する。この組は通常複数ある。アクセス頻度
453は参照元URL451から参照先URL452へ
のリンクを、過去の一定時間C2内に当該サーバ205
がアクセスした回数である。本実施例のアクセス頻度4
53は、過去一週間の何曜日の何時に何回アクセスした
かを格納するカウンタ群である。
【0067】外部アクセス頻度表327は、URL46
1と、アクセス頻度462を含む組を保持する。この組
は通常複数ある。URL461はURL、アクセス頻度
462はURL461で指定されるホームページを、過
去の一定時間C1内に本システムの他のサーバ20
5’、205’’、…がアクセスした回数である。本実
施例のアクセス頻度462は、過去一週間の何曜日の何
時に何回アクセスしたかを格納するカウンタ群である。
【0068】外部リンク頻度表328は、参照元URL
471と、参照先URL472と、アクセス頻度473
を含む組を保持する。この組は通常複数ある。アクセス
頻度473は参照元URL471から参照先URL47
2へのリンクを、過去の一定時間C2内に他のサーバ2
05’、205’’、…がアクセスした回数である。本
実施例のアクセス頻度473は、過去一週間の何曜日の
何時に何回アクセスしたかを格納するカウンタ群であ
る。
【0069】ホスト表は、ホスト名の組を保持する。ホ
スト表に現れるホスト名は、本システムに参加している
計算機203、203’、203’’、…上のサーバ2
05、205’、205’’、…の全体である。
【0070】またサーバ205は、プリフェッチフラ
グ、新規URLフラグ、前回アクセスURLの変数を用
いる。プリフェッチフラグは、真偽値の変数であり、現
在サーバ205がプリフェッチ中か、クライアント20
4(または他のサーバ205’、205’’、…)の依
頼を処理中かを表わす。初期値は偽である。新規URL
フラグは、受信したURL内容が新規にホームページキ
ャッシュ104に付け加わったかどうかを示す真偽値の
変数である。初期値は偽である。前回アクセスURL
は、前回クライアントからの依頼に対して返答したUR
Lである。初期値は「空」である。
【0071】図5に、ホームページグループ表107、
ホストURLメッセージ124、ホスト頻度メッセージ
125の構成を示す。
【0072】ホームページグループ表107は、先頭U
RL481とURLグループ482を含む組を保持す
る。この組は通常複数ある。各々の組は、連続してアク
セスされることが多いURLの集合である。先頭URL
481は1つのURL、URLグループ482は1つ以
上のURL483、URL483’、URL48
3’’、…である。
【0073】ホストURLメッセージ124は、ホスト
501、URL502、フラグ503を含む組を内蔵し
たデータである。1つのホストURLメッセージ124
にこの組が2つ以上内蔵されて構わない。ホスト501
はホスト名、URL502は1つのURL、フラグ50
3は真偽値である。ホストURLメッセージ124は、
ホスト501で指定されるサーバがURL502で指定
されるURLを持っていること(フラグ503が真の場
合)、または持っていないこと(フラグ503が偽の場
合)を他のサーバに伝達する目的で用いられる。
【0074】ホスト頻度メッセージ125は、ホスト5
11、参照元URL512、参照先URL513、頻度
514を含む組を内蔵したデータである。ホスト511
はホスト名、参照元URL512は1つのURL、参照
先URL513は1つのURLまたは「空」、頻度51
4はカウンタである。ホスト頻度メッセージ125は、
参照元URL512で指定されるURLまたは参照元U
RL512と参照先URL513の間のリンクを、過去
の一定時間内にホスト511で指定されるサーバ205
がアクセスした回数である頻度514を、他のサーバ2
05’、205’’、…に伝える目的で用いられる。な
お、上記C1、C2の値はいずれも、サーバ205のコ
ンパイル時または起動時または起動中に変更可能であっ
て差し支えない。また、アクセス頻度442、アクセス
頻度453、アクセス頻度462、アクセス頻度47
3、頻度514を過去一週間の何曜日の何時に何回アク
セスしたかを格納するとしたのは、一例として示したも
のに過ぎず、本発明の範囲を限定するものではない。ま
た、アクセス頻度表325、リンク頻度表326、外部
アクセス頻度表327、外部リンク頻度表328の目的
は、どのURLやどのリンクがどのくらいアクセスされ
たかを記録して利用することにあるので、この目的にか
なえば、他の情報を記録することも考えられる。例え
ば、アクセス頻度442、アクセス頻度453、アクセ
ス頻度462、アクセス頻度473、頻度514と併用
して、または代りとして、最終アクセス時刻を記録して
おき、LRU(least recently use
d)法によってどのURLやどのリンクがどのくらいア
クセスされたかを見積もることも考えられる。
【0075】以下、図1、図3、図6、および図7を用
いて、第1のサーバ205がクライアント204または
他のサーバ205’、205’’、…からURL内容の
取得を依頼された際の、第1のサーバ205の処理の流
れを説明する。第1のサーバ205は依頼入力部301
でクライアント204または他のサーバの依頼を待ち、
受け付ける(601、350)。当該クライアント20
4または他のサーバの依頼の中で、取得すべきURL内
容はURLで表現される。なおクライアント204また
は他のサーバからの依頼に含まれていたURLを以後
「処理対象URL」と呼ぶ。第1のサーバ205におい
て、処理対象URLはキャッシュ表参照部302に渡さ
れる(351)。この際、プリフェッチフラグには
「偽」を格納する。
【0076】キャッシュ表参照部302は、ホームペー
ジキャッシュ104内で処理対象URLに等しいURL
401を持つ組を検索する(602、380)。もしそ
のような組が存在すれば(603)、返答部305に制
御を移す(363)。一方そのような組が存在しなけれ
ば(604)、処理戦略部303に処理を移す(35
2)。
【0077】処理戦略部303は、アクセス戦略表10
5を用いて(381)、依頼を転送すべき1つ以上の第
2のサーバ205’、205’’、…または情報源を選
定する。まず、アクセス戦略表105内で処理対象UR
Lに等しいURL411を持つ組を検索し(605)、
そのような組が1つ以上存在するかどうかを調べる(6
06)。存在する場合(607)、後述の手順でこれら
1つ以上の組の順位づけおよび選択を行ない(60
8)、当該順位づけおよび選択の結果選ばれた1つまた
は複数の組のそれぞれに対して、算出した優先度の高い
順にホスト412で指定されるサーバや情報源に依頼を
転送する(610、365)。一方そのような組が1つ
も存在しない場合(609)、処理対象URLの情報源
に依頼を転送する(610、365)。なお、上記どち
らの場合でも、依頼を転送したら受信部304に処理を
移す(353)。依頼を転送したサーバ205’、20
5’’、…や情報源を、以後「依頼転送先」と呼ぶ。
【0078】順位づけおよび選択には、さまざまなアル
ゴリズムを使用しうるが、ネットワーク通信の効率面か
らの主要な指標はレイテンシとスループットと通信サイ
ズである。また、依頼を転送した先に処理対象URLに
対応する情報が存在する確率も重要となる。本実施例で
は具体的には以下に示す順位づけと選択を行なう。な
お、下で用いるD1、D2、D3、D4、D5、D6は
いずれも定数であるが、これらの値はいずれもサーバ2
05のコンパイル時または起動時または起動中に変更可
能であって差し支えない。また、ここで述べる順位づけ
を、サーバ205が保持する他の情報と合わせてもちい
ても何ら差し支えない。例えば、他の情報として、シス
テム管理者がサーバ205に提供する情報、IPアドレ
スの類似性、ルーティングのトポロジーやホップ数、通
信回線の物理構成などを使うことが考えられる。
【0079】順序づけと選択の手順は以下の通りであ
る。上記アクセス戦略表105内で処理対象URLに等
しいURL411を持つ組から、通信コスト413に含
まれるスループットが定数D1以下であるものを除外す
る。通信コスト413に含まれるレイテンシが定数D2
以上であるものを除外する。URL存在確率414が定
数D3以下であるものを除外する。各組の優先度(大き
い方が高い)をレイテンシとスループットと通信サイズ
とURLの存在確率から、(URL存在確率414/
(通信コスト413のレイテンシ+サイズ415/通信
コスト413のスループット))の式を用いて算出し、
上位D4の組を選択する。次に、処理対象URLに含ま
れる情報源のコンピュータがこの時点で選択に含まれて
いなければ、当該情報源を最も優先度が低くして選択に
加える。以上が本実施例における順位づけおよび選択の
手順である。
【0080】なお、上記で複数のホスト412にほぼ同
時に依頼を転送すると、複数の依頼転送先からほぼ同時
に返答が送られて、第1のサーバ205付近のネットワ
ークが混雑する恐れがある。一方、複数のホスト412
に順々に依頼を転送し、その都度返答を待っていると、
結果的に取得すべきURL内容の取得が遅くなる恐れが
ある。これらの問題を軽減するために、以下の通信プロ
トコルを用いることができる。図8を用いて説明する。
この図では、サーバ205と依頼転送先との間の通信の
様子を時間に沿って上から下に描いており、図の(a)
と(b)は、2つの異なる場面を示している。
【0081】図8の(a)で示すように依頼を転送する
際に、上記優先度の上位D5個の依頼転送先(以後優先
依頼転送先(801、801’、…)と呼ぶ)には、依
頼を変更なしで転送する(803)。この依頼をうけた
当該優先依頼転送先のそれぞれは、処理対象URLに対
応するURL内容を保持していればすぐ第1のサーバ2
05への返答を開始する(804)。依頼を変更なしで
転送することは、処理対象URLがあればすぐに返答を
開始せよ、という要求を意味する。
【0082】上記優先依頼転送先はそれぞれ、処理対象
URLに対応するURL内容があれば当該URL内容を
当該第1のサーバ205に返答し、なければ「処理対象
URLは存在しない」という返答を返す(805)。
【0083】一方第1のサーバ205は、上記優先依頼
転送先以外の依頼転送先(以後非優先依頼転送先(80
2、802’、…)と呼ぶ)には、処理対象URLの
「返答待機依頼」(806)を送付する。返答待機依頼
は、処理対象URLが存在して、かつ後述する返答開始
依頼が到着したら、返答を開始せよ、という意味をも
つ。この際、非優先依頼転送先は、処理対象URLに対
応するURL内容があれば待機し、なければ「処理対象
URLは存在しない」という返答を返す。
【0084】第1のサーバ205は図8の(b)で示す
ように、上記優先依頼転送先のすべてから「処理対象U
RLは存在しない」(805’)という返答が返ってき
た場合(807)に、まだ「処理対象URLは存在しな
い」という返答をしていない非優先依頼先の1つ以上に
対して、「返答開始依頼」(808)を送る。当該依頼
が非優先依頼先に届き、かつ当該非優先依頼先に処理対
象URLに対応するURL内容があれば、当該非優先依
頼先は当該第1のサーバ205に対して当該URL内容
の返答を開始する(809)。なお、待機中の非優先依
頼転送先のおのおのは、返答待機依頼から一定時間D6
以内に返答開始依頼が到着しなければ、待機を中止して
次の依頼に備える。
【0085】このプロトコルは、処理対象URLに対応
するURL内容が優先依頼転送先の1つ以上に存在した
場合に上記第1のサーバ205付近のネットワークの混
雑を緩和する。なぜなら、依頼転送先を2つの集団に分
けたことによって、同時に起こる返答の最大数を減らし
ているためである。また、処理対象URLに対応するU
RL内容が優先依頼転送先のどれにも存在しなかった場
合にも、処理対象URLに対応するURL内容の取得が
遅くなるのを防ぐ。なぜなら、第1のサーバ205は返
答待機依頼に対する非優先依頼転送先からの返答を待た
ずに、返答開始依頼を流すことが可能であるからであ
る。
【0086】なお、上述の本実施例における順位づけと
選択の手順によれば、優先依頼転送先または非優先依頼
転送先のいずれかに、処理対象URLの情報源が含まれ
ているので、依頼転送先のどこからも処理対象URLに
対応するURL内容が転送されない場合は非常に稀であ
ることに注意されたい。万一、処理対象URLに対応す
るURL内容が転送されなかった場合には、本実施例で
は処理対象URLに対応するURL内容の受信を断念す
る。なお本実施例の変形例として、この場合にさらに別
の依頼転送先を選択して依頼を転送することが考えられ
る。また、別の変形例として、この場合に処理対象UR
Lに対応するURL内容の受信を一定時間経過後に再度
試みる方法が考えられる。
【0087】また本実施例におけるサーバ205は、当
該サーバ205の設置者が利便性を享受させようとする
クライアント204、204’、204’’、…以外
に、他のサーバへの通信を行なう。他のサーバとの通信
は、サーバ205のキャッシュの能力を発揮するために
必要不可欠であるが、この通信によって元来の目的とし
たクライアント204、204’、204’’、…への
サービスが低下する恐れをはらんでいる。この問題を解
決するためにサーバ205は、他のサーバからの依頼を
一定時間内に一定量に抑える。本実施例のサーバ205
は過去時間T1以内にL1バイト以上のURL内容の転
送が、他のサーバに行なわれた場合、以後当該T1内に
は他のサーバからの依頼を受け付けない。また、本発明
の別の実施例としては、サーバ205が過去時間T1以
内にL2回数以上のURL内容の転送が、他のサーバに
行なわれた場合、以後当該T1内には他のサーバからの
依頼を受け付けない。なおここで、T1、L1、L2は
コンパイル時または起動時または起動中に変更可能であ
って差し支えない。
【0088】受信部304では、処理対象URLに対応
するURL内容が、1つ以上の依頼転送先から返答され
てくるのを待ち、当該URL内容の受信を行ない(36
6)、通信コスト表324の更新を行なう。
【0089】処理対象URLに対応する返答があるか、
一定時間T2が経過するのを待つ。(611)。ここで
返答があったかを調べ(612)、返答があった場合に
は(613)、返答に含まれるURL内容は、ホームペ
ージキャッシュ104内の新規な組として格納される
(614、382)。この際、処理対象URLが当該新
規な組のURL401となり、当該受信されたURL内
容がURL内容402となる。なお、処理対象URLに
対応するURL内容の受信後(受信中でもかまわない)
にホームページキャッシュ104の総量が定数C3を越
えたかを調べる(615)。越えていた場合に限り後述
するキャッシュ入れ替え部310に制御が移り、キャッ
シュ入れ替えの処理が行なわれる(616と617、図
3の355と356)。そして下に述べるように通信コ
スト表324の更新を行ない(618)、返答部305
に制御を移す(354)。一方、処理対象URLに対応
するURL内容が受信されなかった場合(619)、す
なわち、依頼転送先のすべてから「処理対象URLは存
在しない」という返答を得た場合には、ホームページキ
ャッシュ104には何も操作を行なわなず返答部305
に制御を移す(354)。なおここで、T2、C3はサ
ーバ205のコンパイル時または起動時または起動中に
変更可能であって差し支えない。
【0090】通信コスト表324の更新は、図9の手順
で行なう。処理対象URLに対応するURL内容が、第
1の依頼転送先から受信され始めた(910)時点で、
通信コスト表324の第1の依頼転送先に対応する組を
更新する。これは以下の手順で行なう。
【0091】(1)ホスト431が第1の依頼転送先に
等しく、かつ時刻432が現在の時刻にあう組を検索す
る(911)。そして、通信コスト433のレイテンシ
を再計算するとともに、通信回数434を1増加する
(912)。すなわち、911で該当する組が見つから
なかった場合には、通信コスト表324に新たな組を作
り、ホスト431を第1の依頼転送先で、時刻432を
現在の時刻で、通信回数434を1で初期化する。そし
て、通信コスト433のレイテンシを今回のレイテンシ
(すなわち当該第1の依頼転送先が優先依頼転送先なら
ば依頼を転送してから現在までの時間、また非優先依頼
転送先ならば、転送開始依頼を送信してから現在までの
時間)で初期化する。また911で該当する組が見つか
った場合には、当該組の通信コスト433のレイテンシ
を、今回のレイテンシと、通信コスト433および通信
回数434の値を用いて再計算するとともに、通信回数
434に1を加える。
【0092】(2)次に、当該第1の依頼転送先からの
受信の終了時刻ENDTIMEを予測して計算する(9
13)。これは以下の方法で行なう。アクセス戦略表1
05内で処理対象URLに等しいURL411を持ち、
かつホスト412が当該第1の依頼転送先に等しい組を
検索する。そのような組の通信コスト413とサイズ4
15とを用いて、ENDTIMEを(現在の時刻+(サ
イズ415/通信コスト413のスループット))とす
る。
【0093】(3)次に、処理対象URLに対応するU
RL内容が第2の依頼転送先から受信され始めるか、第
1の依頼転送先からの受信が終了するかのいずれかを待
つ(914)。
【0094】(4)第1の依頼転送先からの受信が終了
したかを調べる(915)。受信が終了しないうちに第
2の依頼転送先から受信され始めた場合(916)、上
記第1の依頼転送先の場合と同様の手順で、通信コスト
表324の第2の依頼転送先に対応する組を更新すると
ともに(917)、上記第1の依頼転送先からの受信の
終了時刻ENDTIMEと同様の手順で、第2の依頼転
送先からの受信の終了時刻ENDTIME2を計算する
(918)。そして、もしENDTIMEがENDTI
ME2+定数C4よりも大きいかを調べ(919)、大
きければ(920)、上記第1の依頼転送先からの受信
を中止し(921)、第2の転送依頼先を第1の依頼転
送先に置き換え(922)、ENDTIME2をEND
TIMEとし(923)、914にもどる。なおここ
で、C4はサーバ205のコンパイル時または起動時ま
たは起動中に変更可能であって差し支えない。また、も
しENDTIMEがENDTIME2+定数C4以下で
あれば(924)、第2の依頼転送先からの受信を中止
する(925)。
【0095】一方915において、第1の依頼転送先か
らの受信が終了した場合(926)には、通信コスト表
324の第1の依頼転送先に対応する組の通信コスト4
33のスループットを、今回のスループット(すなわ
ち、今回受信したURL内容のサイズを、(当該第1の
転送依頼先が優先依頼転送先ならば)依頼を転送してか
ら現在までの時間または(非優先転送依頼先ならば)返
答開始依頼を送信してから現在までの時間で割ったも
の)と、通信コスト433および通信回数434の値を
用いて再計算する(927)。そして新規URLフラグ
を真を格納する(928)。以上が、通信コスト表32
4の更新手順である。
【0096】返答部305は以下の手順で動作する。プ
リフェッチフラグが「真」かどうかを調べる(62
0)。真ならば、プリフェッチ戦略部308に制御を移
す(621、364)。プリフェッチフラグが「偽」で
あった場合(622)、処理対象URLに対応するUR
L内容が受信されたかどうか調べる(623)。受信さ
れなかった場合(624)には、上記依頼を受けたクラ
イアント204または他のサーバに「処理対象URLは
存在しない」を返答(367)した後(625)、依頼
入力部301に制御を移して新たなクライアント204
または他のサーバからの依頼を待つ(626)。一方処
理対象URLに対応するURL内容が受信された場合
(627)、そのURL内容を上記依頼を受けたクライ
アント204または他のサーバに返答する(628、3
67)。
【0097】ここで、新規URLフラグが真かどうかを
調べる(629)。新規URLフラグが真なら(63
0)、ホストURLメッセージ124の送信を行なった
あと(631)、リンク統計更新部306に制御を移す
(632、357)。新規URLフラグが偽なら(63
3)、すぐにリンク統計更新部306に制御を移す(3
57)。
【0098】新規URLフラグである場合、ホームペー
ジキャッシュ104に1つ以上の組が追加されたことを
意味するので、ホストURLメッセージ124を行な
う。まず新規URLフラグに偽を格納してから、1つの
組を持つホストURLメッセージ124を新たに作成
し、当該組のホスト501に第1のサーバ205のホス
ト名を、URL502に処理対象URLを、フラグ50
3に真をそれぞれ格納する。そして、当該組を持つホス
トURLメッセージ124をホスト表に含まれる他のサ
ーバ205’、205’’、…のうち1つ以上に送信す
る。例えば、ホスト表中の組のうち、第1のサーバ20
5を含む組を検索する。この組から第1のサーバ205
のホスト名を除いた1つ以上のホスト名のそれぞれに対
して、上記手順で作成したホスト頻度メッセージ125
を送信する方法が考えられる。また別の方法ではホスト
表中の組に格納されているホスト名のそれぞれに対し
て、当該組を持つホストURLメッセージ124を送信
する方法が考えられる。また、1つの組をもつホストU
RLメッセージ124をすぐに他のサーバ205’、2
05’’、…に送るのではなく、いくつかの組をまとめ
てから他のサーバ205’、205’’、…に送ること
も考えられる。最初の方法では、比較的近いサーバ20
5’、205’’、…に通信範囲を限定することがで
き、また最後の方法では通信回数を削減することができ
る。
【0099】リンク統計更新部306では、アクセス頻
度表325とリンク頻度表326を更新することによ
り、処理対象URLのアクセス頻度と、処理対象URL
に至る特定のリンクがアクセスされる頻度を記録する
(386)。以下にこの手順を述べる。
【0100】ステップ701で、アクセス頻度表325
中の組のうち、URL441が処理対象URLに等しい
組を検索する。このような組がなければ、新たな組をア
クセス頻度表325に作り、当該新たな組のURL44
1を処理対象URLで、アクセス頻度442のカウンタ
群をすべて0で初期化する。そして検索で見つかった組
または当該新たな組の、アクセス頻度442のうち現在
時刻に対応するカウンタを1増加させ、サイズ443に
処理対象URLに対応するURL内容のバイト数を格納
する。
【0101】次に、前回アクセスURLから処理対象U
RLへのハイパー・テキスト・リンクがあるかを調べる
(702)。関連があると判定した場合(703)、リ
ンク頻度表326を更新する(704)。リンク頻度表
326の更新は具体的には、リンク頻度表326中の組
のうち、参照元URL451が前回アクセスURLに等
しく、かつ参照先URL452が処理対象URLに等し
い組を検索する。このような組がなければ、新たな組を
リンク頻度表326中に作り、当該新たな組の参照元U
RL451を前回アクセスURLで、参照先URL45
2を処理対象URLで、アクセス頻度453のカウンタ
群をすべて0で初期化する。そして検索で見つかった組
または当該新たな組の、アクセス頻度453のうち現在
時刻に対応するカウンタを1増加させる。そして、前回
アクセスURLに処理対象URLを格納してから、グル
ープ更新部307に制御を移す(705、358)。
【0102】一方、関連がないと判定した場合には(7
06)、前回アクセスURLに処理対象URLを格納し
てから、プリフェッチ戦略部308に制御を移す。
【0103】グループ更新部307では、ホームページ
グループ表107を更新する(707、387)。連続
してアクセスされることが多いURLのひとつの集合を
考えると、この集合をアクセスする際にはじめにアクセ
スされるURLが少数あると考えられる。本実施例では
このような少数のURLを見つけた場合にのみリンク統
計更新部306からグループ更新部307に制御を移す
ことを、すでに述べたリンク統計更新部306の場合わ
けにより行なっている。
【0104】グループ更新部307は以下の手順で行な
う。ホームページグループ表107中で、先頭URL4
81が処理対象URLに等しい組を検索する。もしこの
ような組があれば、この組をホームページグループ表1
07中から削除する。次に、ホームページグループ表1
07中に新たな組を作成し、先頭URL481を処理対
象URLで、URLグループ482を処理対象URLか
ら連続してアクセスされる確率が定数C5以上の1つ以
上のURLで初期化する。処理対象URLから連続して
アクセスされる確率は、アクセス頻度表325と外部ア
クセス頻度表327とリンク頻度表326と外部リンク
頻度表328を用いて計算することができる。なお、C
5はサーバ205のコンパイル時または起動時または起
動中に変更可能であって差し支えない。次に、第1のU
RLから第2のURLにリンクがある場合、第1のUR
Lのアクセス頻度(アクセス頻度表325中URL44
1が第1のURLに等しい組のアクセス頻度442のカ
ウンタ群の合計)が A、第1のURLから第2のUR
Lへのリンクのアクセス頻度(リンク頻度表326中参
照元URL451が第1のURLに等しく、参照先UR
L452が第2のURLに等しい組のアクセス頻度45
3のカウンタ群の合計)が B、第1のURLの外部ア
クセス頻度(外部アクセス頻度表327中URL461
が第1のURLに等しい組のアクセス頻度462のカウ
ンタ)が C、第1のURLから第2のURLへのリン
クの外部アクセス頻度(外部リンク頻度表328中参照
元URL471が第1のURLに等しく、参照先URL
472が第2のURLに等しい組のアクセス頻度473
のカウンタの値)が Dとすると、第1のURLから第
2のURLが連続してアクセスされる確率は(B/A)
×(D/C)と見積もる。もしAとBの値のどちらかが
0の場合、第1のURLから第2のURLが連続してア
クセスされる確率は0とする。またもしCとDの値のど
ちらかが0の場合、(B/A)を第1のURLから第2
のURLが連続してアクセスされる確率とする。
【0105】また、第1のURLから第2のURLにリ
ンクがない場合、第3、第4、…、第NのURLが存在
して、第1のURLから第3のURLへのリンク、第3
のURLから第4のURLへのリンク、…、第NのUR
Lから第2のURLへのリンクがそれぞれある場合があ
る。この場合には、第1のURLから第3のURLが連
続してアクセスされる確率、第3のURLから第4のU
RLが連続してアクセスされる確率、…、第NのURL
から第2のURLが連続してアクセスされる確率をそれ
ぞれp2、p3、…、pNとすると、第1のURLから
第2のURLが連続してアクセスされる確率はp2×p
3×…×pNとする。なお、このような推移閉包にかか
わる計算には、例えばAho他著の文献「データ構造と
アルゴリズム」(1987年、培風館情報処理シリーズ
11)第6.3章に記載のダイクストラのアルゴリズム
等良く知られた方法が利用できる。
【0106】以上の処理の後、プリフェッチ戦略部30
8に制御を移す(359)。
【0107】プリフェッチ戦略部308では、処理対象
URLがアクセスされた直後にアクセスされやすい1つ
以上のプリフェッチURL群に対応するURL内容を決
定し、当該プリフェッチURL群をクライアント204
または他のサーバからの依頼なしでホームページキャッ
シュ104に受信する。具体的には、以下の手順で処理
を行なう。
【0108】まず、この時点でクライアント204また
は他のサーバからの依頼が到着しているかを調べる(7
08)。到着していれば(709)、プリフェッチフラ
グに「偽」を格納し、依頼入力部301に制御を移す。
【0109】一方依頼が到着していなければ(71
0)、プリフェッチフラグの値が真かを調べる(71
1)。
【0110】プリフェッチフラグが「偽」ならば(71
2)、ホームページグループ表107で、処理対象UR
Lを含む組を検索し(388)、このような組に含まれ
る処理対象URL以外の1つ以上のURLをプリフェッ
チURL群とする。(713)。ここでプリフェッチフ
ラグに「真」を格納する。
【0111】一方プリフェッチフラグが「真」ならば
(714)、プリフェッチ中URLをプリフェッチUR
L群から削除する(715)。ここでプリフェッチUR
L群が空になれば、プリフェッチフラグを「偽」にす
る。
【0112】ここでプリフェッチURL群に1つ以上の
URLが含まれるかを調べる(716)。含まれるなら
ば(717)、プリフェッチURL群から1つのプリフ
ェッチ中URLを取り出して(718)、プリフェッチ
中URLを処理対象URLとみなしてキャッシュ表参照
部302に渡して(361)、すでに述べた手順でプリ
フェッチ中URLの受信を開始する。含まれないならば
(719)、プリフェッチスケジュール部309に制御
を移す(360)。なおここまでの手順からも明らかな
ように、このプリフェッチは、クライアントのみならず
他のサーバからの依頼によっても起動される。すなわ
ち、多段に配置された複数のサーバが、一連のプリフェ
ッチを行なうことが可能である。
【0113】プリフェッチスケジュール部309では、
今後アクセスされると考えられるURLで、現在ホーム
ページキャッシュ104にないものを、将来ネットワー
クがすく時を狙って得るための準備を行なう。プリフェ
ッチスケジュール部309は以下の手順で行なう。
【0114】まず、ホームページグループ表107中
で、先頭URL481が前回アクセスURLに等しい組
を検索することによって、前回アクセスURLに対応す
るホームページグループ表107の組を選択する(72
0)。
【0115】もしこのような組が存在すれば、URLグ
ループ482に格納されている1つ以上の第1のURL
の各々について、プリフェッチする時刻をキャッシュデ
ィレクトリ323と通信コスト表324から決定する
(721、384、385)。これは以下の手順で行な
う。
【0116】第1のURLに対応するURL内容がホー
ムページキャッシュ104にあれば何もしない。一方な
ければ、キャッシュディレクトリ323中の組で、UR
L421が第1のURLに等しいものを検索する。この
ような組がなければ何もしない。このような組が1つ以
上存在する場合には、URL存在確率423が最も大き
い組を1つ選択し、その組のホスト422を将来アクセ
スするホストとする。次に通信コスト表324中で、ホ
スト431が当該ホストに等しい第1の組を検索する。
このような組がなければ、なにもしない。もしこのよう
な第1の組が1つ以上あれば、アクセス頻度表325中
で、URL441が当該第1のURLに等しい第2の組
を検索する。もしこのような第2の組があれば、第1の
組のうち、((第2の組のサイズ443/第1の組の通
信コスト433のスループット)+第1の組の通信コス
ト433のレイテンシ)が最小な第3の組を1つ選ぶ。
第2の組がなければ、(第1の組の通信コスト433の
レイテンシ/第1の組の通信コスト433のスループッ
ト)が最小な第3の組を1つ選ぶ。
【0117】この第3の組の時刻432に次に対応する
時刻を「プリフェッチ時刻」と呼ぶ。例えば、時刻43
2が「水曜日23:40」で、現在時刻が1月3日火曜
日の3:00であれば、プリフェッチ時刻は1月4日水
曜日の23:40となる。
【0118】次に、ステップ721で算出した、1つ以
上の第1のURLのプリフェッチ時刻をタイマー311
を設定する(722、389)。これにより、タイマー
311は、すでに述べた手順で第1のURLの受信を行
なうよう、時刻432の時刻に第1のURLの依頼をキ
ャッシュ表参照部302に渡す。このタイマー311設
定処理が終わったあとは、依頼入力部301に制御を移
す(362)。
【0119】以上がプリフェッチスケジュール部309
の処理である。
【0120】キャッシュ入れ替え キャッシュ入れ替え部310では、ホームページキャッ
シュ104の部分的な削除を行なう(383)。ホーム
ページキャッシュ104中の組の一部または全部のそれ
ぞれについて、以下の「キャッシュ価値」を計算する。
【0121】ある第1のURLのキャッシュ価値は、ア
クセス戦略表105とアクセス頻度表325を用いて計
算する。アクセス戦略表105内で当該第1のURLに
等しいURL411を持つ1つ以上の第1の組を検索す
る。もしこのような組が複数あれば、それぞれの組の
(通信コスト413のレイテンシ+(サイズ415/通
信コスト413のスループット))が最小の組を1つ選
択し、第1の組とする。さらに、アクセス頻度表325
中で、URL441が第1のURLに等しい第2の組を
検索する。
【0122】第1の組の((サイズ415/通信コスト
413のスループット)+通信コスト413のレイテン
シ)がA、第1のURLのアクセス頻度(すなわち第2
の組のアクセス頻度442のカウンタ群の合計)が B
である場合、第1のURLのキャッシュ価値を((A×
B)/第1の組のサイズ415)とする。万一第1の組
または第2の組がなければ、第1のURLのキャッシュ
価値は0とする。
【0123】上記ホームページキャッシュ104中の組
の一部または全部のそれぞれについて「キャッシュ価
値」を計算したら、この「キャッシュ価値」が最も小さ
い組から順にホームページキャッシュ104から削除す
る。ホームページキャッシュ104からの削除は、ホー
ムページキャッシュ104の総量が定数C3以下になる
まで行なう。
【0124】ホームページキャッシュ104から1つ以
上の組が削除された場合、次に述べる手順でホストUR
Lメッセージ124を送信する。ホストURLメッセー
ジ124の送信は以下の手順で行なう。ホストURLメ
ッセージ124を新たに作成し、上記ホームページキャ
ッシュ104から削除された組のそれぞれに対して、ホ
ストURLメッセージ124に新たな組を作成する。新
たな組には、ホスト501に第1のサーバ205のホス
ト名、URL502に削除された組のURL401、フ
ラグ503に偽を格納する。そして作成したホストUR
Lメッセージ124をホスト表に含まれる他のサーバ2
05’、205’’、…のうち1つ以上に送信する。送
信相手の決定方法は、既にのべたホームページキャッシ
ュ104に1つ以上の組が追加された場合のホストUR
Lメッセージ124と同じである。
【0125】タイマー処理 サーバ205は上記の一連の処理の他に、タイマー31
1によって一定時間ごとに行なわれる処理を行なう。な
お以下に述べるタイマーによる各処理は、主フローとの
競合を避ける目的で、依頼入力部301でクライアント
204または他のサーバの依頼を待っている場合にのみ
行なう。
【0126】タイマー311は、定期的にアクセス戦略
表105をキャッシュディレクトリ323と通信コスト
表324とアクセス頻度表325から再構成する。これ
は主に、通信コスト表324の時刻432は何曜日の何
時における各ホストへの通信コストを保持するのに対し
て、アクセス戦略表105は現在の各ホストへの通信コ
ストを保持するためである。本実施例では時刻432が
1時間毎の情報を保持するため、アクセス頻度表325
の再構成は1時間に一度行なう。アクセス戦略表10
5、キャッシュディレクトリ323、通信コスト表32
4、アクセス頻度表325の内容から、再構成の手順は
明らかである。
【0127】タイマー311は、定期的にアクセス頻度
表325とリンク頻度表326からホスト頻度メッセー
ジ125を作成し、ホスト表に含まれる他のサーバ20
5’、205’’、…の1つ以上に送信する。これは以
下の手順で行なう。
【0128】まずホスト頻度メッセージ125を1つ作
る。次にアクセス頻度表325中のすべての組に対し
て、当該ホスト頻度メッセージ125に新たな組を追加
していく。追加する組のホスト511は第1のサーバ2
05のホスト名、参照元URL512はアクセス頻度表
325の組のURL441、参照先URL513は
「空」、頻度514はアクセス頻度表325の組のアク
セス頻度442のカウンタ群の合計をそれぞれ格納す
る。次にリンク頻度表326中のすべての組に対して、
当該ホスト頻度メッセージ125に新たな組を追加して
いく。追加する組のホスト511は第1のサーバ205
のホスト名、参照元URL512はリンク頻度表326
の組の参照元URL451、参照先URL513はリン
ク頻度表326の組の参照先URL452、頻度514
はリンク頻度表326の組のアクセス頻度453のカウ
ンタ群の合計をそれぞれ格納する。次に、ホスト表中の
組のうち、第1のサーバ205を含む組を検索する。こ
の組から第1のサーバ205のホスト名を除いた1つ以
上のホスト名のそれぞれに対して、上記手順で作成した
ホスト頻度メッセージ125を送信する。
【0129】また、タイマー311は、上記第1のサー
バ205を含む組へのホスト頻度メッセージ125の送
信よりも粗い頻度(例えば上記送信10回に1回の割
合)で、ホスト表中の組のうち、第1のサーバ205を
含まない組を検索し、この検索の結果である組からに格
納されている1つ以上のホスト名のそれぞれに対して、
上記手順で作成したホスト頻度メッセージ125を送信
する。
【0130】また、タイマー311は、キャッシュディ
レクトリ323の組のすべてについて、定期的にURL
存在確率423の再計算を行なう。これは以下の手順で
行なう。キャッシュディレクトリ323中の組のそれぞ
れに対して、URL存在確率423を定数C6だけ減じ
たものをURL存在確率423に格納する。もし減じた
結果が定数C7以下なら、URL存在確率423にC7
を格納する。なおここで、C6およびC7はサーバ20
5のコンパイル時または起動時または起動中に変更可能
であって差し支えない。
【0131】メッセージ処理 第1のサーバ205のサーバ間メッセージ処理部103
が他のサーバ205’、205’’、…からホストUR
Lメッセージ124を受け取ると、以下の手順でキャッ
シュディレクトリ323を更新する。ホストURLメッ
セージ124が内蔵する組のうちフラグ503が真の第
1の組のそれぞれに対して、キャッシュディレクトリ3
23中の組で、ホスト422が第1の組のホスト501
に等しくURL421が第1の組のURL502に等し
い第2の組を検索する。このような第2の組があれば、
当該第2の組のURL存在確率423を1に設定する。
また、このような第2の組がなければ、キャッシュディ
レクトリ323中に新たな組を作成し、ホスト422を
ホスト501で、URL421をURL502で、UR
L存在確率423を1で初期化する。
【0132】また、ホストURLメッセージ124が内
蔵する組のうちフラグ503が偽の第3の組のそれぞれ
に対して、キャッシュディレクトリ323中の組で、ホ
スト422が第1の組のホスト501に等しくURL4
21が第3の組のURL502に等しい第4の組を検索
する。このような第4の組があれば、当該第4の組を削
除する。
【0133】また、第1のサーバ205のサーバ間メッ
セージ処理部103が他のサーバ205’、20
5’’、…からホスト頻度メッセージ125を受け取る
と、以下の手順で外部アクセス頻度表327と外部リン
ク頻度表328とを更新する。
【0134】受け取ったホスト頻度メッセージ125が
内蔵する組で参照先URL513が「空」の第1の組の
それぞれについて、外部アクセス頻度表327中で、U
RL461が第1の組の参照元URL512に等しい第
2の組を検索する。このような第2の組が存在すれば、
当該第2の組のアクセス頻度462に第1の組の頻度5
14を加え、再び当該第2の組のアクセス頻度462に
格納する。一方このような第2の組が存在しなければ、
外部アクセス頻度表327に新たな組を作成し、当該組
のURL461を第1の組の参照元URL512で、ア
クセス頻度462を第1の組の頻度514で初期化す
る。
【0135】また、ホスト頻度メッセージ125が内蔵
する組で参照先URL513が「空」以外の第3の組の
それぞれについて、外部リンク頻度表328中で、参照
元URL471が第3の組の参照元URL512に等し
く、参照先URL472が第3の組の参照先URL51
3に等しい第4の組を検索する。このような第4の組が
存在すれば、当該第4の組のアクセス頻度473に第3
の組の頻度514を加え、再び当該第4の組のアクセス
頻度473に格納する。一方このような第4の組が存在
しなければ、外部リンク頻度表328に新たな組を作成
し、当該組の参照元URL471を第3の組の参照元U
RL512で、参照先URL472を第3の組の参照先
URL513で、アクセス頻度473を第3の組の頻度
514で初期化する。
【0136】
【発明の効果】本発明によれば以下の効果が得られる。
【0137】ユーザはクライアントを用いて任意の1つ
のサーバに接続して情報を依頼するだけで、複数のサー
バが通信回線の不均一性と不安定性を隠蔽して情報を提
供する。
【0138】サーバ間の通信回線のスループットとレイ
テンシが異なっていても、サーバが相互に交換する情報
により、各サーバは、最も高速に情報の取得が可能であ
ると考えられるサーバを選択する。この結果、最も高速
に情報の取得が可能であると考えられる通信回線を選択
して利用することにより通信回線の不均一性が解決され
る。サーバが相互に交換する情報により、各サーバは例
えば、時間帯や曜日によって回線の混雑が変化したり、
ある通信回線の増強によってルーティングのパターンが
変更され、別の回線が混雑したり混雑が解消されたりす
ることを考慮に入れる。この結果、各サーバは最も高速
に情報の取得が可能であると考えられる他のサーバを、
最も高速に情報の取得が可能であると考えられる通信回
線を選択して利用する。これにより通信回線の不安定性
を回避できる。
【図面の簡単な説明】
【図1】本実施例のサーバの内部構成の概略を示すブロ
ック図。
【図2】本実施例の分散コンピュータ・システムを示す
図。
【図3】サーバ205の内部構成を示すブロック図。
【図4】サーバ205内で用いられるデータ構造を示す
図である。
【図5】サーバ205内で用いられるデータ構造を示す
図(図5の続き)。
【図6】サーバ205内の処理手順を示すフローチャー
ト。
【図7】サーバ205内の処理手順を示すフローチャー
ト(図6の続き)。
【図8】サーバ205、205’、205’’、…が用
いる混雑緩和のためのプロトコルを説明する図。
【図9】通信コスト表324の更新手順を示すフローチ
ャート。
【符号の説明】
205 サーバ 204 クライアント 101 依頼処理部 102 プリフェッチ部 103 サーバ間メッセージ処理部 104 ホームページキャッシュ 105 アクセス戦略表 106 頻度DB 107 ホームページグループ表 124 ホストURLメッセージ 125 ホスト頻度メッセージ 301 依頼入力部 302 キャッシュ表参照部 303 処理戦略部 304 受信部 305 返答部 306 リンク統計更新部 307 グループ更新部 308 プリフェッチ戦略部 309 プリフェッチスケジュール部 310 キャッシュ入れ替え部 323 キャッシュディレクトリ 324 通信コスト表 325 アクセス頻度表 326 リンク頻度表 327 外部アクセス頻度表 328 外部リンク頻度表。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 野田 文雄 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 閔 京華 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内

Claims (28)

    【特許請求の範囲】
  1. 【請求項1】1つ以上のプロセスを動作させる2つ以上
    の計算機がネットワークで接続されたコンピュータ・シ
    ステム上で、1つ以上のデータを利用するクライアント
    対応のプロセスと、1つ以上のデータを保持し、クライ
    アントからの依頼により指定されたデータを提供する2
    つ以上のサーバ対応のプロセスが用いる分散データ管理
    方法であって、 第1のサーバが必要とする必要データを1つ以上の第2
    のサーバが持つ可能性がある場合に、第1のサーバが、
    第1のサーバと第2のサーバが過去に行なった通信履歴
    を用いて第2のサーバから1つ以上の第3のサーバを選
    択して、第3のサーバに必要データの送信を依頼する分
    散データ管理方法。
  2. 【請求項2】前記通信履歴として、前記第1のサーバと
    前記1つ以上の第2のサーバとの通信の、単位時間当り
    の通信可能データ量であるスループットと通信の遅延時
    間であるレイテンシを含む請求項1記載の分散データ管
    理方法。
  3. 【請求項3】前記通信履歴として、前記必要データの大
    きさを含む請求項1記載の分散データ管理方法。
  4. 【請求項4】前記通信履歴として、前記1つ以上の第2
    のサーバが前記必要データを保持しているかどうかを前
    記第1のサーバが予測したデータ保持確率を含む請求項
    1記載のデータ管理方法。
  5. 【請求項5】前記必要データの通信完了時間を前記通信
    履歴から予測して、通信完了時間が短いことを基準とし
    て、前記1つ以上の第2のサーバから前記1つ以上の第
    3のサーバを選択する請求項1記載の分散データ管理方
    法。
  6. 【請求項6】前記通信完了時間の予測を(前記レイテン
    シ+(前記必要データの大きさ/前記スループット))
    の式を用いて行なう請求項5記載の分散データ管理方
    法。
  7. 【請求項7】前記データ保持確率と、前記第1の通信完
    了時間の積が小さいことを基準として、前記1つ以上の
    第2のサーバから前記1つ以上の第3のサーバを選択す
    る請求項4記載の分散データ管理方法。
  8. 【請求項8】2つ以上のサーバから通信が行なわれた際
    に、前記通信履歴中の該2つ以上のサーバの通信履歴の
    両方を更新する請求項1記載の分散データ管理方法。
  9. 【請求項9】1つ以上のプロセスを動作させる2つ以上
    の計算機がネットワークで接続されたコンピュータ・シ
    ステム上で、2つ以上のサーバ対応のプロセスが用いる
    分散データ管理方法であって、第1のサーバの必要デー
    タを2つ以上の第2のサーバが持つ可能性があり、第1
    のサーバが該2つ以上の第2のサーバに対して必要デー
    タの送信を依頼する場合に、第1のサーバが、該2つ以
    上の第2のサーバから1つ以上の第3のサーバを選択
    し、該第3のサーバには前記必要データを直ちに送信す
    ることを依頼し、第3のサーバ以外の第2のサーバには
    前記必要データの送信を待機することを依頼する分散デ
    ータ管理方法。
  10. 【請求項10】第1のサーバが、第1のサーバと第2の
    サーバが過去に行った通信履歴を用いて、前記第2のサ
    ーバから前記第3のサーバを選択する請求項9記載の分
    散データ管理方法。
  11. 【請求項11】前記第3のサーバの一部または全部か
    ら、前記必要データが送信できない旨が前記第1のサー
    バに対して通信された際に、前記第1のサーバが、前記
    第3のサーバに含まれない前記第2のサーバの一部また
    は全部に対して、前記必要データを直ちに送信すること
    を依頼する請求項10記載の分散データ管理方法。
  12. 【請求項12】前記第2のサーバのうち2つ以上のサー
    バから、前記必要データの送信が開始された際に、当該
    2つ以上のサーバのうち1つ以上の第4のサーバからの
    送信のみを継続し、他のサーバからの送信を中止するこ
    とにより、不要な必要データの送信を抑制する請求項1
    1記載の分散データ管理方法。
  13. 【請求項13】前記通信履歴を用いて、前記第3のサー
    バの選択と第4のサーバの選択を行なう請求項12記載
    の分散データ管理方法。
  14. 【請求項14】1つ以上のプロセスを動作させる2つ以
    上の計算機がネットワークで接続されたコンピュータ・
    システム上で、1つ以上のクライアント対応のプロセス
    と2つ以上のサーバ対応のプロセスが用いる分散データ
    管理方法であって、第1のサーバが、該第1のサーバと
    1つ以上の第2のサーバとの過去の通信に関する、第1
    の時間にわたる第2の時間間隔毎の通信の履歴である時
    間毎通信履歴を持つ分散データ管理方法。
  15. 【請求項15】前記時間毎通信履歴として、前記第1の
    サーバと前記第2のサーバの間の、第1の時間にわたる
    第2の時間間隔毎の通信のスループットの履歴と、第1
    の時間にわたる第2の時間間隔毎のレイテンシの履歴を
    含む請求項14記載の分散データ管理方法。
  16. 【請求項16】第1のサーバが、今後クライアントから
    依頼される可能性が高いと判断されるプリフェッチ対象
    データをクライアントからの依頼以前に他のサーバに依
    頼してプリフェッチする際に、プリフェッチ対象データ
    を持つ可能性がある1つ以上の第2のサーバが存在する
    場合、前記時間毎通信履歴を用いて当該第2のサーバか
    らプリフェッチ対象データが高速に入手可能な時刻を予
    測して、当該時刻に第1のサーバが、第2のサーバの一
    部または全部である第3のサーバに対してプリフェッチ
    対象データの送信を依頼する請求項14記載の分散デー
    タ管理方法。
  17. 【請求項17】1つ以上のプロセスを動作させる2つ以
    上の計算機がネットワークで接続されたコンピュータ・
    システム上で、2つ以上のサーバ対応のプロセスが用い
    る分散データ管理方法であって、第1のサーバが、第1
    のサーバと第2のサーバが過去に行った通信履歴を用い
    て第1のサーバが知る第2のサーバから1つ以上の第3
    のサーバを選択し、第1のサーバが持つデータの一覧の
    一部または全部を、第3のサーバに通信する分散データ
    管理方法。
  18. 【請求項18】前記一覧の通信が行なわれた時刻と現在
    時刻の差から、前記データ保持確率を決定する請求項1
    7記載の分散データ管理方法。
  19. 【請求項19】前記一覧の通信が行なわれた時刻に、前
    記データ保持確率を1とし、以後一定時刻毎に、前記デ
    ータ保持確率を減少させる請求項18記載の分散データ
    管理方法。
  20. 【請求項20】1つ以上のプロセスを動作させる2つ以
    上の計算機がネットワークで接続されたコンピュータ・
    システム上で、1つ以上のクライアント対応のプロセス
    と2つ以上のサーバ対応のプロセスが用いる分散データ
    管理方法であって、第1のサーバが、クライアントから
    の依頼の履歴から、第1のデータの依頼に続けて依頼さ
    れる頻度が高かった1つ以上の第2のデータを決定し
    て、該第1のデータの名前と該1つ以上の第2のデータ
    の名前を組にしたデータを参照関係情報として保持する
    とともに、第1のサーバの参照関係情報と、第1のサー
    バと同じく参照関係情報を保持する1つ以上の第2のサ
    ーバの参照関係情報とを交換する分散データ管理方法。
  21. 【請求項21】前記第1のサーバが、クライアントから
    第1のデータの依頼を受けた際に、前記参照関係情報を
    用いて当該第1のデータに続いて依頼される可能性が高
    い1つ以上の第2のデータを決定し、当該第2のサーバ
    を持つ可能性のある1つ以上の第2のサーバに対して第
    2のデータのプリフェッチを行なう請求項20記載の分
    散データ管理方法。
  22. 【請求項22】前記1つ以上の第2のサーバを、前記第
    1のサーバが知る1つ以上の第3のサーバから、第1の
    サーバと第2のサーバが過去に行った通信履歴を用いて
    選択する請求項21記載の分散データ管理方法。
  23. 【請求項23】1つ以上のプロセスを動作させる2つ以
    上の計算機がネットワークで接続されたコンピュータ・
    システム上で、1つ以上のクライアント対応のプロセス
    と2つ以上のサーバ対応のプロセスが用いる分散データ
    管理方法であって、 第1のサーバが、他のサーバから第1のデータの依頼を
    受けた際に、該第1のデータに続いて依頼される可能性
    の高い第2のデータがある場合に、該第2のデータを持
    つ可能性のある1つ以上の第2のサーバに対して、該第
    2のデータの送信を依頼することにより、プリフェッチ
    をあるサーバから1つ以上の他のサーバへ階層的に行な
    う分散データ管理方法。
  24. 【請求項24】前記1つ以上の第2のサーバを、前記第
    1のサーバが知る1つ以上の第3のサーバから、第1の
    サーバと第2のサーバが過去に行った通信履歴を用いて
    選択する請求項23記載の分散データ管理方法。
  25. 【請求項25】1つ以上のプロセスを動作させる2つ以
    上の計算機が、ネットワークで接続されたコンピュータ
    ・システム上で、1つ以上のクライアント対応のプロセ
    スと2つ以上のサーバ対応のプロセスが用いる分散デー
    タ管理方法であって、 第1のサーバの保持している2つ以上のデータの一部を
    破棄する際に、該データを他のサーバから得るのに必要
    とする時間の予測を用いて、該2つ以上のデータを順位
    づけする分散データ管理方法。
  26. 【請求項26】前記第1のサーバの保持している2つ以
    上のデータの一部を破棄する際に、該データを他のサー
    バから得るのに必要とする時間の予測と、該データが過
    去の一定時間内にクライアントから依頼された回数とを
    用いて、該2つ以上のデータを順位づけする請求項25
    記載の分散データ管理方法。
  27. 【請求項27】前記データのそれぞれを他のサーバから
    得るのに必要とする時間の予測を、サーバ間で過去に行
    った通信履歴を用いて行なう請求項25記載の分散デー
    タ管理方法。
  28. 【請求項28】1つ以上のサーバ対応のプロセスを動作
    させる2つ以上の計算機がネットワークで接続されたコ
    ンピュータ・システム上で、第1のサーバの必要データ
    を1つ以上の第2のサーバが持つ可能性がある場合に、
    第1のサーバが、第2のサーバを含む複数のサーバに必
    要データの送信を依頼する分散データ管理方法であっ
    て、 第2のサーバが、他のサーバの依頼を一定時間内に一定
    回数以下のみ受け付けるか、または依頼に対するデータ
    の送信を一定時間内に一定量以下のみ行なうことにより
    第2のサーバが過負荷になることを避ける分散データ管
    理方法。
JP12524797A 1997-05-15 1997-05-15 分散データ管理方法 Expired - Fee Related JP4134357B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP12524797A JP4134357B2 (ja) 1997-05-15 1997-05-15 分散データ管理方法
US09/079,151 US6182111B1 (en) 1997-05-15 1998-05-15 Method and system for managing distributed data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12524797A JP4134357B2 (ja) 1997-05-15 1997-05-15 分散データ管理方法

Publications (2)

Publication Number Publication Date
JPH10320337A true JPH10320337A (ja) 1998-12-04
JP4134357B2 JP4134357B2 (ja) 2008-08-20

Family

ID=14905416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12524797A Expired - Fee Related JP4134357B2 (ja) 1997-05-15 1997-05-15 分散データ管理方法

Country Status (2)

Country Link
US (1) US6182111B1 (ja)
JP (1) JP4134357B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124981A (ja) * 1997-07-03 1999-01-29 Nec Corp 広域分散ファイルシステム
JP2002202927A (ja) * 2000-11-02 2002-07-19 Sony Computer Entertainment Inc エンタテインメントシステム、サーバ装置、コンテンツの配信方法、コンテンツ配信プログラム、及びコンテンツ配信プログラムが記憶された記憶媒体
JP2003516586A (ja) * 1999-12-13 2003-05-13 インクトミ コーポレイション コンテンツ収集
JP2005285036A (ja) * 2004-03-31 2005-10-13 Brother Ind Ltd データ受信装置及びプログラム
US7292359B2 (en) 2000-09-12 2007-11-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2008259215A (ja) * 2008-04-14 2008-10-23 Nikon Corp 画像管理装置
JP2009530705A (ja) * 2006-03-15 2009-08-27 フォーム ユーケー インコーポレイテッド ネットワークのための的を絞ったコンテンツの配信
JP2010218579A (ja) * 1999-01-26 2010-09-30 Xerox Corp ユーザクラスタ視認可能方法
JP2012181745A (ja) * 2011-03-02 2012-09-20 Kddi Corp キャッシュ装置及び方法並びにプログラム
US8797557B2 (en) 2001-10-30 2014-08-05 Nikon Corporation Image storage apparatus, image storage supporting apparatus, image storage system, image management apparatus and image saving apparatus
JP2015072694A (ja) * 2008-03-31 2015-04-16 アマゾン テクノロジーズ インコーポレーテッド コンテンツ管理するための方法とシステム
JP2015170125A (ja) * 2014-03-06 2015-09-28 富士通株式会社 コンテンツ取得プログラム、装置、及び方法
JP2016525256A (ja) * 2013-07-24 2016-08-22 アルカテル−ルーセント 冗長データアクセスを提供するための方法および装置

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424907B2 (ja) * 1998-07-02 2003-07-07 日本電気株式会社 ネットワークコンテンツキャッシュ装置
US8010627B1 (en) * 1998-09-25 2011-08-30 Sprint Communications Company L.P. Virtual content publishing system
US6195696B1 (en) * 1998-10-01 2001-02-27 International Business Machines Corporation Systems, methods and computer program products for assigning, generating and delivering content to intranet users
US6564216B2 (en) * 1998-10-29 2003-05-13 Nortel Networks Limited Server manager
US8225002B2 (en) * 1999-01-22 2012-07-17 Network Disk, Inc. Data storage and data sharing in a network of heterogeneous computers
US20070162420A1 (en) * 2004-01-21 2007-07-12 Oracle International Corporation Techniques for automatically discovering a database device on a network
US6434596B1 (en) * 1999-01-29 2002-08-13 Sony Corporation Method and system for distributed queues in a multimedia network with proxies
JP3942760B2 (ja) * 1999-02-03 2007-07-11 富士通株式会社 情報収集装置
US6496921B1 (en) 1999-06-30 2002-12-17 International Business Machines Corporation Layered speculative request unit with instruction optimized and storage hierarchy optimized partitions
US6393528B1 (en) * 1999-06-30 2002-05-21 International Business Machines Corporation Optimized cache allocation algorithm for multiple speculative requests
US6421762B1 (en) 1999-06-30 2002-07-16 International Business Machines Corporation Cache allocation policy based on speculative request history
US6532521B1 (en) * 1999-06-30 2003-03-11 International Business Machines Corporation Mechanism for high performance transfer of speculative request data between levels of cache hierarchy
US6510494B1 (en) * 1999-06-30 2003-01-21 International Business Machines Corporation Time based mechanism for cached speculative data deallocation
US6360299B1 (en) 1999-06-30 2002-03-19 International Business Machines Corporation Extended cache state with prefetched stream ID information
US6801341B1 (en) * 1999-07-26 2004-10-05 Cisco Technology, Inc. Network distributed fax device
JP3664917B2 (ja) * 1999-08-06 2005-06-29 シャープ株式会社 ネットワーク情報の表示方法およびその方法をプログラムとして格納した記憶媒体ならびにそのプログラムを実行するコンピュータ
US6810411B1 (en) * 1999-09-13 2004-10-26 Intel Corporation Method and system for selecting a host in a communications network
US6427152B1 (en) * 1999-12-08 2002-07-30 International Business Machines Corporation System and method for providing property histories of objects and collections for determining device capacity based thereon
US6848028B1 (en) * 2000-01-05 2005-01-25 Sun Microsystems, Inc. Microprocessor having a page prefetch cache for database applications
US6829680B1 (en) * 2000-01-05 2004-12-07 Sun Microsystems, Inc. Method for employing a page prefetch cache for database applications
US6728716B1 (en) * 2000-05-16 2004-04-27 International Business Machines Corporation Client-server filter computing system supporting relational database records and linked external files operable for distributed file system
JP3674471B2 (ja) * 2000-07-25 2005-07-20 日本電気株式会社 コンテンツ転送方法及びネットワークシステム並びにプログラムを記録した機械読み取り可能な記録媒体
US6678795B1 (en) * 2000-08-15 2004-01-13 International Business Machines Corporation Method and apparatus for memory prefetching based on intra-page usage history
US6795830B1 (en) * 2000-09-08 2004-09-21 Oracle International Corporation Techniques for providing off-host storage for a database application
US6993657B1 (en) 2000-09-08 2006-01-31 Oracle International Corporation Techniques for managing database systems with a community server
US7536686B2 (en) * 2000-09-08 2009-05-19 Oracle International Corporation Techniques for automatically installing and configuring database applications
US7406484B1 (en) * 2000-09-12 2008-07-29 Tbrix, Inc. Storage allocation in a distributed segmented file system
US8935307B1 (en) 2000-09-12 2015-01-13 Hewlett-Packard Development Company, L.P. Independent data access in a segmented file system
US6782389B1 (en) * 2000-09-12 2004-08-24 Ibrix, Inc. Distributing files across multiple, permissibly heterogeneous, storage devices
US6816980B1 (en) 2000-09-15 2004-11-09 Zeronines Technology, Inc. Fault tolerant, state-compatible computer system and method
US6760861B2 (en) * 2000-09-29 2004-07-06 Zeronines Technology, Inc. System, method and apparatus for data processing and storage to provide continuous operations independent of device failure or disaster
US6609126B1 (en) 2000-11-15 2003-08-19 Appfluent Technology, Inc. System and method for routing database requests to a database and a cache
AU2002217985A1 (en) * 2000-11-30 2002-06-11 Infocruiser, Inc. System and method for delivering dynamic content
US7177917B2 (en) * 2000-12-27 2007-02-13 Softwired Ag Scaleable message system
US20020107835A1 (en) * 2001-02-08 2002-08-08 Coram Michael T. System and method for adaptive result set caching
US6920477B2 (en) * 2001-04-06 2005-07-19 President And Fellows Of Harvard College Distributed, compressed Bloom filter Web cache server
US6996674B2 (en) * 2001-05-07 2006-02-07 International Business Machines Corporation Method and apparatus for a global cache directory in a storage cluster
JP2003122818A (ja) * 2001-10-12 2003-04-25 Ricoh Co Ltd 情報共有化システム
US7096249B2 (en) * 2002-03-29 2006-08-22 Intel Corporation Method and system for distributing applications
US7180862B2 (en) 2002-07-18 2007-02-20 Intel Corporation Apparatus and method for virtual output queue feedback
US20040011689A1 (en) * 2002-07-18 2004-01-22 Witold Bauer Sterilization container filter system
US7171469B2 (en) * 2002-09-16 2007-01-30 Network Appliance, Inc. Apparatus and method for storing data in a proxy cache in a network
US7552223B1 (en) 2002-09-16 2009-06-23 Netapp, Inc. Apparatus and method for data consistency in a proxy cache
US7284030B2 (en) * 2002-09-16 2007-10-16 Network Appliance, Inc. Apparatus and method for processing data in a network
US8533401B2 (en) * 2002-12-30 2013-09-10 Intel Corporation Implementing direct access caches in coherent multiprocessors
US7421492B1 (en) * 2003-01-24 2008-09-02 Unisys Corporation Control arrangement for operating multiple computer systems
US20040193754A1 (en) * 2003-03-27 2004-09-30 International Business Machines Corporation DMA prefetch
JP3637910B2 (ja) * 2003-04-04 2005-04-13 ソニー株式会社 データ処理方法およびそのシステム
US7200689B2 (en) * 2003-07-31 2007-04-03 International Business Machines Corporation Cacheable DMA
US7657667B2 (en) * 2004-03-25 2010-02-02 International Business Machines Corporation Method to provide cache management commands for a DMA controller
JP2007317028A (ja) * 2006-05-26 2007-12-06 Ns Solutions Corp 情報処理装置、データベース管理システム、情報処理装置の制御方法及びプログラム
US20080056274A1 (en) * 2006-08-31 2008-03-06 Mastrogiulio Joseph V Method and apparatus for dynamically maintaining a routing database for a SIP server
WO2008041302A1 (en) * 2006-09-29 2008-04-10 Fujitsu Limited Server disposing program and server disposing method
US9203918B2 (en) * 2007-03-15 2015-12-01 Nokia Technologies Oy Pulling information from information sources via refer requests
US7991910B2 (en) 2008-11-17 2011-08-02 Amazon Technologies, Inc. Updating routing information based on client location
US8028090B2 (en) 2008-11-17 2011-09-27 Amazon Technologies, Inc. Request routing utilizing client location information
US8533293B1 (en) 2008-03-31 2013-09-10 Amazon Technologies, Inc. Client side cache management
US7962597B2 (en) 2008-03-31 2011-06-14 Amazon Technologies, Inc. Request routing based on class
US7970820B1 (en) 2008-03-31 2011-06-28 Amazon Technologies, Inc. Locality based content distribution
US8601090B1 (en) 2008-03-31 2013-12-03 Amazon Technologies, Inc. Network resource identification
US8447831B1 (en) 2008-03-31 2013-05-21 Amazon Technologies, Inc. Incentive driven content delivery
US8156243B2 (en) 2008-03-31 2012-04-10 Amazon Technologies, Inc. Request routing
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US7925782B2 (en) 2008-06-30 2011-04-12 Amazon Technologies, Inc. Request routing using network computing components
US9407681B1 (en) 2010-09-28 2016-08-02 Amazon Technologies, Inc. Latency measurement in resource requests
US9912740B2 (en) 2008-06-30 2018-03-06 Amazon Technologies, Inc. Latency measurement in resource requests
US8732309B1 (en) 2008-11-17 2014-05-20 Amazon Technologies, Inc. Request routing utilizing cost information
US8122098B1 (en) 2008-11-17 2012-02-21 Amazon Technologies, Inc. Managing content delivery network service providers by a content broker
US8073940B1 (en) 2008-11-17 2011-12-06 Amazon Technologies, Inc. Managing content delivery network service providers
US8521880B1 (en) 2008-11-17 2013-08-27 Amazon Technologies, Inc. Managing content delivery network service providers
US8065417B1 (en) 2008-11-17 2011-11-22 Amazon Technologies, Inc. Service provider registration by a content broker
US8060616B1 (en) 2008-11-17 2011-11-15 Amazon Technologies, Inc. Managing CDN registration by a storage provider
US8756341B1 (en) 2009-03-27 2014-06-17 Amazon Technologies, Inc. Request routing utilizing popularity information
US8688837B1 (en) 2009-03-27 2014-04-01 Amazon Technologies, Inc. Dynamically translating resource identifiers for request routing using popularity information
US8412823B1 (en) 2009-03-27 2013-04-02 Amazon Technologies, Inc. Managing tracking information entries in resource cache components
US8521851B1 (en) 2009-03-27 2013-08-27 Amazon Technologies, Inc. DNS query processing using resource identifiers specifying an application broker
US8782236B1 (en) 2009-06-16 2014-07-15 Amazon Technologies, Inc. Managing resources using resource expiration data
JP5452602B2 (ja) * 2009-08-12 2014-03-26 三菱電機株式会社 データ転送装置、データ転送方法及びデータ転送システム
US8397073B1 (en) 2009-09-04 2013-03-12 Amazon Technologies, Inc. Managing secure content in a content delivery network
US8433771B1 (en) 2009-10-02 2013-04-30 Amazon Technologies, Inc. Distribution network with forward resource propagation
US9495338B1 (en) 2010-01-28 2016-11-15 Amazon Technologies, Inc. Content distribution network
EP2532137B1 (en) * 2010-02-05 2015-08-12 Telefonaktiebolaget L M Ericsson (PUBL) Method and node entity for enhancing content delivery network
JP5497963B2 (ja) 2010-04-20 2014-05-21 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. 表面増強発光のための自己配列型発光強化装置
US8756272B1 (en) 2010-08-26 2014-06-17 Amazon Technologies, Inc. Processing encoded content
US9003035B1 (en) 2010-09-28 2015-04-07 Amazon Technologies, Inc. Point of presence management in request routing
US8924528B1 (en) 2010-09-28 2014-12-30 Amazon Technologies, Inc. Latency measurement in resource requests
US10097398B1 (en) 2010-09-28 2018-10-09 Amazon Technologies, Inc. Point of presence management in request routing
US9712484B1 (en) 2010-09-28 2017-07-18 Amazon Technologies, Inc. Managing request routing information utilizing client identifiers
US8468247B1 (en) 2010-09-28 2013-06-18 Amazon Technologies, Inc. Point of presence management in request routing
US10958501B1 (en) 2010-09-28 2021-03-23 Amazon Technologies, Inc. Request routing information based on client IP groupings
US8930513B1 (en) 2010-09-28 2015-01-06 Amazon Technologies, Inc. Latency measurement in resource requests
US8819283B2 (en) 2010-09-28 2014-08-26 Amazon Technologies, Inc. Request routing in a networked environment
US8938526B1 (en) 2010-09-28 2015-01-20 Amazon Technologies, Inc. Request routing management based on network components
US8577992B1 (en) 2010-09-28 2013-11-05 Amazon Technologies, Inc. Request routing management based on network components
US9274058B2 (en) 2010-10-20 2016-03-01 Hewlett-Packard Development Company, L.P. Metallic-nanofinger device for chemical sensing
US9279767B2 (en) 2010-10-20 2016-03-08 Hewlett-Packard Development Company, L.P. Chemical-analysis device integrated with metallic-nanofinger device for chemical sensing
US8452874B2 (en) 2010-11-22 2013-05-28 Amazon Technologies, Inc. Request routing processing
US8626950B1 (en) 2010-12-03 2014-01-07 Amazon Technologies, Inc. Request routing processing
US9391949B1 (en) 2010-12-03 2016-07-12 Amazon Technologies, Inc. Request routing processing
US10467042B1 (en) 2011-04-27 2019-11-05 Amazon Technologies, Inc. Optimized deployment based upon customer locality
US8904009B1 (en) 2012-02-10 2014-12-02 Amazon Technologies, Inc. Dynamic content delivery
US10021179B1 (en) 2012-02-21 2018-07-10 Amazon Technologies, Inc. Local resource delivery network
US9172674B1 (en) 2012-03-21 2015-10-27 Amazon Technologies, Inc. Managing request routing information utilizing performance information
US10623408B1 (en) 2012-04-02 2020-04-14 Amazon Technologies, Inc. Context sensitive object management
US9154551B1 (en) 2012-06-11 2015-10-06 Amazon Technologies, Inc. Processing DNS queries to identify pre-processing information
US9525659B1 (en) * 2012-09-04 2016-12-20 Amazon Technologies, Inc. Request routing utilizing point of presence load information
US9135048B2 (en) 2012-09-20 2015-09-15 Amazon Technologies, Inc. Automated profiling of resource usage
US9323577B2 (en) 2012-09-20 2016-04-26 Amazon Technologies, Inc. Automated profiling of resource usage
US10205698B1 (en) 2012-12-19 2019-02-12 Amazon Technologies, Inc. Source-dependent address resolution
US9294391B1 (en) 2013-06-04 2016-03-22 Amazon Technologies, Inc. Managing network computing components utilizing request routing
JP6303300B2 (ja) * 2013-06-25 2018-04-04 富士通株式会社 制御依頼方法、情報処理装置、システム、およびプログラム
US10097448B1 (en) 2014-12-18 2018-10-09 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10033627B1 (en) 2014-12-18 2018-07-24 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10091096B1 (en) 2014-12-18 2018-10-02 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10225326B1 (en) 2015-03-23 2019-03-05 Amazon Technologies, Inc. Point of presence based data uploading
US9887932B1 (en) 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9819567B1 (en) 2015-03-30 2017-11-14 Amazon Technologies, Inc. Traffic surge management for points of presence
US9887931B1 (en) 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9832141B1 (en) 2015-05-13 2017-11-28 Amazon Technologies, Inc. Routing based request correlation
US10616179B1 (en) 2015-06-25 2020-04-07 Amazon Technologies, Inc. Selective routing of domain name system (DNS) requests
US10097566B1 (en) 2015-07-31 2018-10-09 Amazon Technologies, Inc. Identifying targets of network attacks
US9742795B1 (en) 2015-09-24 2017-08-22 Amazon Technologies, Inc. Mitigating network attacks
US9794281B1 (en) 2015-09-24 2017-10-17 Amazon Technologies, Inc. Identifying sources of network attacks
US9774619B1 (en) 2015-09-24 2017-09-26 Amazon Technologies, Inc. Mitigating network attacks
US10270878B1 (en) 2015-11-10 2019-04-23 Amazon Technologies, Inc. Routing for origin-facing points of presence
US10257307B1 (en) 2015-12-11 2019-04-09 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10049051B1 (en) 2015-12-11 2018-08-14 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10348639B2 (en) 2015-12-18 2019-07-09 Amazon Technologies, Inc. Use of virtual endpoints to improve data transmission rates
US10156841B2 (en) 2015-12-31 2018-12-18 General Electric Company Identity management and device enrollment in a cloud service
US10075551B1 (en) 2016-06-06 2018-09-11 Amazon Technologies, Inc. Request management for hierarchical cache
US10110694B1 (en) 2016-06-29 2018-10-23 Amazon Technologies, Inc. Adaptive transfer rate for retrieving content from a server
US9992086B1 (en) 2016-08-23 2018-06-05 Amazon Technologies, Inc. External health checking of virtual private cloud network environments
US10033691B1 (en) 2016-08-24 2018-07-24 Amazon Technologies, Inc. Adaptive resolution of domain name requests in virtual private cloud network environments
US10469513B2 (en) 2016-10-05 2019-11-05 Amazon Technologies, Inc. Encrypted network addresses
US10372499B1 (en) 2016-12-27 2019-08-06 Amazon Technologies, Inc. Efficient region selection system for executing request-driven code
US10831549B1 (en) 2016-12-27 2020-11-10 Amazon Technologies, Inc. Multi-region request-driven code execution system
US10938884B1 (en) 2017-01-30 2021-03-02 Amazon Technologies, Inc. Origin server cloaking using virtual private cloud network environments
US10503613B1 (en) 2017-04-21 2019-12-10 Amazon Technologies, Inc. Efficient serving of resources during server unavailability
US11075987B1 (en) 2017-06-12 2021-07-27 Amazon Technologies, Inc. Load estimating content delivery network
US10447648B2 (en) 2017-06-19 2019-10-15 Amazon Technologies, Inc. Assignment of a POP to a DNS resolver based on volume of communications over a link between client devices and the POP
US10742593B1 (en) 2017-09-25 2020-08-11 Amazon Technologies, Inc. Hybrid content request routing system
US11157631B1 (en) * 2017-12-19 2021-10-26 Robert J. Whelton System and method for securely indexing, storing, and retrieving data within a computer network
US10592578B1 (en) 2018-03-07 2020-03-17 Amazon Technologies, Inc. Predictive content push-enabled content delivery network
US10862852B1 (en) 2018-11-16 2020-12-08 Amazon Technologies, Inc. Resolution of domain name requests in heterogeneous network environments
US11025747B1 (en) 2018-12-12 2021-06-01 Amazon Technologies, Inc. Content request pattern-based routing system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1130847B1 (en) * 1993-03-08 2005-02-16 Hewlett-Packard Company (a Delaware corporation) Network analysis method
US5548724A (en) * 1993-03-22 1996-08-20 Hitachi, Ltd. File server system and file access control method of the same
JP3468868B2 (ja) * 1994-09-26 2003-11-17 株式会社日立製作所 通信ネットワークシステムおよび情報処理端末
US5915095A (en) * 1995-08-08 1999-06-22 Ncr Corporation Method and apparatus for balancing processing requests among a plurality of servers based on measurable characteristics off network node and common application
US5764908A (en) * 1996-07-12 1998-06-09 Sofmap Future Design, Inc. Network system containing program modules residing in different computers and executing commands without return results to calling modules
US5774660A (en) * 1996-08-05 1998-06-30 Resonate, Inc. World-wide-web server with delayed resource-binding for resource-based load balancing on a distributed resource multi-node network
JPH10187525A (ja) * 1996-10-28 1998-07-21 Matsushita Electric Ind Co Ltd 代理情報取得装置および情報転送管理装置
US5913041A (en) * 1996-12-09 1999-06-15 Hewlett-Packard Company System for determining data transfer rates in accordance with log information relates to history of data transfer activities that independently stored in content servers

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124981A (ja) * 1997-07-03 1999-01-29 Nec Corp 広域分散ファイルシステム
JP2010218579A (ja) * 1999-01-26 2010-09-30 Xerox Corp ユーザクラスタ視認可能方法
JP2003516586A (ja) * 1999-12-13 2003-05-13 インクトミ コーポレイション コンテンツ収集
US8390863B2 (en) 2000-09-12 2013-03-05 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7969600B2 (en) 2000-09-12 2011-06-28 Canon Kabushiki Kaisha Printing of linked data in a network
US7292359B2 (en) 2000-09-12 2007-11-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7203760B2 (en) 2000-11-02 2007-04-10 Sony Computer Entertainment Inc. System for distributing content data according to user-set content distribution schedules
JP2002202927A (ja) * 2000-11-02 2002-07-19 Sony Computer Entertainment Inc エンタテインメントシステム、サーバ装置、コンテンツの配信方法、コンテンツ配信プログラム、及びコンテンツ配信プログラムが記憶された記憶媒体
US8797557B2 (en) 2001-10-30 2014-08-05 Nikon Corporation Image storage apparatus, image storage supporting apparatus, image storage system, image management apparatus and image saving apparatus
JP4534555B2 (ja) * 2004-03-31 2010-09-01 ブラザー工業株式会社 データ受信装置及びプログラム
JP2005285036A (ja) * 2004-03-31 2005-10-13 Brother Ind Ltd データ受信装置及びプログラム
JP2009530705A (ja) * 2006-03-15 2009-08-27 フォーム ユーケー インコーポレイテッド ネットワークのための的を絞ったコンテンツの配信
JP2015072694A (ja) * 2008-03-31 2015-04-16 アマゾン テクノロジーズ インコーポレーテッド コンテンツ管理するための方法とシステム
JP2008259215A (ja) * 2008-04-14 2008-10-23 Nikon Corp 画像管理装置
JP2012181745A (ja) * 2011-03-02 2012-09-20 Kddi Corp キャッシュ装置及び方法並びにプログラム
JP2016525256A (ja) * 2013-07-24 2016-08-22 アルカテル−ルーセント 冗長データアクセスを提供するための方法および装置
JP2015170125A (ja) * 2014-03-06 2015-09-28 富士通株式会社 コンテンツ取得プログラム、装置、及び方法

Also Published As

Publication number Publication date
JP4134357B2 (ja) 2008-08-20
US6182111B1 (en) 2001-01-30

Similar Documents

Publication Publication Date Title
JP4134357B2 (ja) 分散データ管理方法
US9602618B2 (en) Method and system for dynamic distributed data caching
US7769823B2 (en) Method and system for distributing requests for content
Tang et al. Coordinated en-route web caching
US8271628B2 (en) Method and system for community data caching
US6757733B2 (en) Apparatus and method for improving performance of proxy server arrays that use persistent connections
US6321265B1 (en) System and method for enforcing politeness while scheduling downloads in a web crawler
US6760756B1 (en) Distributed virtual web cache implemented entirely in software
JP3481054B2 (ja) ゲートウェイ装置、クライアント計算機およびそれらを接続した分散ファイルシステム
TWI243331B (en) N-source in-kernel cache for high performance in computer operating systems
JP2004535631A (ja) 通信ネットワークからユーザへ情報を送る時間を減らすシステムと方法
CZ289563B6 (cs) Server připojitelný k síti a způsob jeho provozu
KR20050001422A (ko) 캐시 엔트리를 무효화시키는 데 사용될 수 있는데이터베이스 테이블 변경 정보의 등록 및 검색
JP2000187609A (ja) 要求されたオブジェクトを検索する方法及び記録デバイス
EP1287449A1 (en) Application caching system and method
JP2005539289A (ja) 区分アプリケーション・サービスのための透過的な要求の経路指定
KR20020062850A (ko) 고성능 클라이언트 서버 통신 시스템
EP1313033A2 (en) File system, control method, and program
JP2007317107A (ja) 情報処理システム、及び情報処理装置、並びに制御プログラム
AU5756000A (en) Distributed virtual web cache implemented entirely in software
JP3485915B1 (ja) ゲートウェイ装置、クライアント計算機およびプロキシサーバ計算機
KR100308705B1 (ko) 프로세서간부하밸런싱을가능하게하는서버컴퓨터및서버컴퓨터동작방법
Chandranmenon Reducing internet latency using precomputed hints
JPH08194639A (ja) リモートファイルシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040330

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040330

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080520

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees