JP3117003B2 - Wide-area distributed file system - Google Patents
Wide-area distributed file systemInfo
- Publication number
- JP3117003B2 JP3117003B2 JP09178534A JP17853497A JP3117003B2 JP 3117003 B2 JP3117003 B2 JP 3117003B2 JP 09178534 A JP09178534 A JP 09178534A JP 17853497 A JP17853497 A JP 17853497A JP 3117003 B2 JP3117003 B2 JP 3117003B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- cache
- area
- server
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、ファイルを保管す
るファイルサーバとファイルを参照するクライアントと
が広域ネットワークで接続された分散ファイルシステム
に関し、特に使用頻度の高いファイルをキャッシングす
る分散ファイルシステムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a distributed file system in which a file server for storing files and a client for referring to the files are connected via a wide area network, and more particularly to a distributed file system for caching frequently used files. It is.
【0002】[0002]
【従来の技術】多くの分散ファイルシステムでは、ファ
イルサーバが保管するファイルをクライアントにキャッ
シングすることで、ファイルアクセスを高速化してい
る。すなわち、ファイルサーバが保管するファイルのコ
ピーをクライアント側で保持しておくことにより、次回
そのファイルに対するアクセス要求が発生した場合に
は、ファイルサーバへアクセスすることなく自クライア
ント内で処理することができる。近年は広域ネットワー
クを利用して分散ファイルシステムを構築する事もあ
り、この場合には構内ネットワークと広域ネットワーク
の間にキャッシュサーバと呼ばれるキャッングを専門と
したサーバが設置され、構内ネットワークに接続してい
るクライアントはキャッシュサーバを通じてファイルサ
ーバからのファイルを取得する。ファイルアクセス性能
に影響を与える要因にはファイルサーバの性能、ネット
ワークのファイル転送速度、キャッシュのヒット率など
がある。2. Description of the Related Art In many distributed file systems, file access is speeded up by caching a file stored in a file server to a client. That is, by holding a copy of the file stored in the file server on the client side, when an access request to the file is generated next time, the file can be processed in the client without accessing the file server. . In recent years, a distributed file system may be built using a wide area network. In this case, a server specialized in caching called a cache server is installed between the local area network and the wide area network, and connected to the local area network. Some clients get files from the file server through the cache server. Factors affecting file access performance include file server performance, network file transfer speed, and cache hit rate.
【0003】キャッシュのヒット率を上げる従来技術と
して、特開平7−93205号公報に開示されている技
術やCoda分散ファイルシステムがある。これらの技
術ではユーザやクライアント毎にファイルの優先度を設
定する。ファイルアクセス統計をもとに頻繁にアクセス
するファイルを選び、高い優先度に設定し高い確率でキ
ャッシュ領域に残すことで、キャッシュのヒット率を向
上させている。As a conventional technique for increasing the cache hit rate, there is a technique disclosed in Japanese Patent Application Laid-Open No. 7-93205 and a Coda distributed file system. In these techniques, file priorities are set for each user or client. The hit rate of the cache is improved by selecting frequently accessed files based on file access statistics, setting them to high priority, and leaving them in the cache area with a high probability.
【0004】[0004]
【発明が解決しようとする課題】しかしながら上記従来
技術では、広域ネットワークは構内ネットワークに比べ
転送速度が遅く、また利用者が多いため時間帯やタイミ
ングによって混雑状況が大きく変わり、また、広域ネッ
トワークの状態によってはファイルサーバに接続できな
いこともあり得る。このため、ファイルがキャッシュ領
域になかったり、ファイルサーバ側で更新されていた場
合にはファイルサーバからファイルを取得するわけだ
が、この時広域ネットワークを介してファイル転送を行
うので、ファイルサーバからキャッシュサーバへの転送
に時間がかかり、場合によっては転送ができないことも
生ずる。However, in the above prior art, the transfer rate of the wide area network is lower than that of the local area network, and since there are many users, the congestion situation greatly changes depending on the time zone and timing. In some cases, it may not be possible to connect to the file server. For this reason, if the file is not in the cache area or updated on the file server side, the file is acquired from the file server. At this time, the file is transferred via the wide area network, It takes time to transfer data to the server, and in some cases, the data cannot be transferred.
【0005】又、ファイルの優先度をユーザやクライア
ント毎に設定しているため、部門が同じユーザは同じフ
ァイルを頻繁に参照すると思われるが、現在のキャッシ
ュ方式では部門全体のキャッシュヒット率を上げること
はできない。Further, since the priority of the file is set for each user or client, it is considered that users of the same department frequently refer to the same file. However, the current cache method increases the cache hit rate of the entire department. It is not possible.
【0006】本発明の目的は、キャッシュのヒット率を
向上し、ファイルアクセスを高速化する広域分散ファイ
ルシステムを提供することである。An object of the present invention is to provide a wide-area distributed file system that improves the cache hit rate and speeds up file access.
【0007】[0007]
【課題を解決するための手段】本発明によれば、複数の
ファイルを保管する複数のファイルサーバと、該ファイ
ルサーバに保管されたファイルにアクセスするクライア
ントと、前記ファイルを保管するキャッシュサーバが広
域ネットワークに接続されている場合において、前記キ
ャッシュサーバは、キャッシュ管理部、先読みを行った
ファイルをキャッシュする先読み領域、クライアントか
らアクセス要求された対象ファイルをキャッシュするの
に使われるキャッシュ領域、及びクライアントからのア
クセス要求の履歴を記録するアクセス履歴データベース
を具備して構成され、前記キャッシュ管理部は、定期的
に前記アクセス履歴データベースより参照回数の多いも
のからアクセス頻度の高いファイルを選出し、選出した
ファイルに関し、前記アクセス履歴データベースから更
新の履歴を割り出し分析してファイルの更新間隔を推測
し、推測した更新間隔を先読み間隔として設定し、該設
定した先読み間隔で、アクセス頻度の高いファイルを定
期的に前記キャッシュサーバへ先読みすることにより、
ファイルアクセスを高速化することを特徴とする広域分
散ファイルシステムが得られる。According to the present invention, a plurality of file servers for storing a plurality of files, a client for accessing the files stored on the file server, and a cache server for storing the files are provided over a wide area. when connected to the network, the cache server, prefetch area for caches file been cache management unit, the read-ahead, the client
Caches target files requested to be accessed by
The cache management unit is configured to include a cache area used for access, and an access history database that records the history of access requests from clients.
More often than the access history database
Selected the most frequently accessed files from
The file is updated from the access history database.
Identify and analyze new history to estimate file update interval
The estimated update interval is set as the prefetch interval, and the
By periodically prefetching frequently accessed files to the cache server at the specified prefetch interval ,
A wide-area distributed file system characterized by accelerating file access is obtained.
【0008】さらに、本発明によれば、前記キャッシュ
管理部は、定期的にアクセス履歴データベースを分析し
先読みするファイルと読み込み間隔を決定する先読み選
出モジュールと、決定したファイル名と間隔を記録する
先読み管理テーブルと、前記キャッシュ領域を管理する
キャッシュ管理テーブルを具備して構成されていること
を特徴とする広域分散ファイルシステムが得られる。Further, according to the present invention, the cache management unit periodically analyzes the access history database, determines a file to be prefetched, and determines a read interval, and a prefetch selection module that records the determined file name and interval. A wide-area distributed file system is provided, comprising a management table and a cache management table for managing the cache area.
【0009】さらに、本発明によれば、前記広域ネット
ワークには、ネットワークの混雑や障害情報を管理し、
前記先読み選出モジュールが最も効率よくファイル転送
が行える時刻を決定するネットワーク監視装置が設置さ
れていることを特徴とする広域分散ファイルシステムが
得られる。Further, according to the present invention, the wide area network manages network congestion and fault information ,
The prefetch selection module is the most efficient file transfer
A wide-area distributed file system is provided in which a network monitoring device that determines a time at which the operation can be performed is installed.
【0010】さらに、本発明によれば、前記複数のファ
イルサーバは、ファイルを格納するファイル領域とそれ
らを管理するファイル管理テーブルを具備していること
を特徴とする広域分散ファイルシステムが得られる。Further, according to the present invention, there is provided a wide-area distributed file system, wherein the plurality of file servers include a file area for storing files and a file management table for managing the file areas.
【0011】[0011]
【作用】キャッシュサーバはクランアントのファイルア
クセスの記録をアクセス履歴データベースに記録してい
る。先読み選出モジュールがアクセス履歴データベース
を分析することで、そのキャッシュサーバを使用してい
る部門が頻繁にアクセスしているファイルと更新間隔を
分析することができる。The cache server records a record of the client's file access in the access history database. By analyzing the access history database by the look-ahead selection module, it is possible to analyze the files frequently accessed by the department using the cache server and the update interval.
【0012】又、キャッシュサーバは、先読み選出モジ
ュールが決定した先読みファイルを、広域ネットワーク
監視装置が指定した時間に、先読み領域に読み込む。キ
ャッシュサーバはクライアントが要求するファイルが先
読み領域かキャッシュ領域のいずれかにあればそこから
ファイルを取得する。通常のキャッシュに加えあらかじ
め参照頻度の高いファイルを先読みすることによりヒッ
ト率が向上し、ファイルアクセスが高速化する。The cache server reads the prefetch file determined by the prefetch selection module into the prefetch area at a time designated by the wide area network monitoring device. If the file requested by the client is in either the prefetch area or the cache area, the cache server acquires the file from there. By pre-reading a frequently referenced file in advance in addition to the normal cache, the hit rate is improved and the file access speed is increased.
【0013】又、部門という業務単位毎にキャッシュサ
ーバを設置することにより、その業務に関連するファイ
ルがキャッシュサーバに先読み、キャッシュされ、ヒッ
ト率が向上する。Further, by setting up a cache server for each business unit called a section, files related to the business are pre-read and cached in the cache server, and the hit rate is improved.
【0014】[0014]
【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面を参照して詳細に説明する。図1に示すよう
に、本発明に係る広域分散ファイルシステムは、複数の
ファイルを保管する複数のファイルサーバ5−1〜5−
nと、構内ネットワーク2に接続され、ファイルをキャ
ッシュするキャッシュサーバ3と、キャッシュサーバ3
に接続されている広域ネットワーク4と、ファイルサー
バに保管されたファイルにキャッシュサーバ3を介して
アクセスするクライアント1−1〜1−nを具備して構
成される。Embodiments of the present invention will be described below in detail with reference to the drawings. As shown in FIG. 1, a wide area distributed file system according to the present invention includes a plurality of file servers 5-1 to 5-5 for storing a plurality of files.
n, a cache server 3 connected to the local network 2 for caching files, and a cache server 3
, And clients 1-1 to 1-n accessing the files stored in the file server via the cache server 3.
【0015】キャッシュサーバ3は、キャッシュ管理部
31、通常のファイルキャッシュに使われるキャッシュ
領域32、先読みを行ったファイルをキャッシュする先
読み領域33、及びクライアントからのアクセス要求の
履歴を記録するアクセス履歴データベース34を具備し
て構成される。The cache server 3 includes a cache management unit 31, a cache area 32 used for a normal file cache, a prefetch area 33 for caching a prefetched file, and an access history database for recording a history of access requests from clients. 34.
【0016】キャッシュ管理部31は、定期的にアクセ
ス履歴データベースを分析し先読みするファイルと読み
込み間隔を決定する先読み選出モジュール311と、決
定したファイル名と間隔を記録する先読み管理テーブル
312、キャッシュ領域を管理するキャッシュ管理テー
ブル313を具備して構成される。The cache management unit 31 periodically analyzes the access history database and determines a file to be prefetched and a prefetch selection module 311 for determining a read interval, a prefetch management table 312 for recording the determined file name and interval, and a cache area. It comprises a cache management table 313 to manage.
【0017】また、広域ネットワーク4には、ネットワ
ークの混雑や障害情報を管理するネットワーク監視装置
4−1が設置されている。ファイルサーバは、ファイル
を格納するファイル領域52−nとそれを管理するファ
イル管理テーブル51−nを持つ。The wide area network 4 is provided with a network monitoring device 4-1 for managing network congestion and fault information. The file server has a file area 52-n for storing files and a file management table 51-n for managing the file area 52-n.
【0018】次に本実施の形態の動作について、図1〜
図4を参照して詳細に説明する。クライアント1−1か
らキャッシュサーバ3へファイルアクセス要求があると
(ステップS6)、キャッシュ管理部31は対象ファイ
ルがキャッシュサーバ内に存在するか否かをまず先読み
管理テーブル312で、次にキャッシュ管理テーブル3
13で確認する(ステップS61,ステップS62)。Next, the operation of this embodiment will be described with reference to FIGS.
This will be described in detail with reference to FIG. When there is a file access request from the client 1-1 to the cache server 3 (step S6), the cache management unit 31 first determines whether or not the target file exists in the cache server by using the look-ahead management table 312 and then the cache management table. 3
The confirmation is made in step 13 (step S61, step S62).
【0019】もしファイルが存在するならば、ファイル
サーバに接続し(ステップS610,ステップS62
1)、その先読み領域のファイル、キャッシュ領域のフ
ァイルが最新のものであるか否かをファイルサーバに問
い合わせる(ステップS611,ステップS622)。
その結果先読み領域またはキャッシュ領域にあるファイ
ルが最新であれば、そのファイルをクライアントに渡す
(ステップS618,ステップS67)。If the file exists, it connects to the file server (steps S610 and S62).
1) Inquire of the file server whether or not the file in the prefetch area and the file in the cache area are the latest one (steps S611 and S622).
As a result, if the file in the prefetch area or the cache area is the latest, the file is passed to the client (step S618, step S67).
【0020】ファイルサーバへの接続が失敗したとき
は、クライアントにワーニングを通知し(ステップS6
17)、無条件に先読み領域またはキャッシュ領域にあ
るファイルをクライアントに渡すファイルとする(ステ
ップS618,ステップS67)。これにより広域ネッ
トワークの状態によってファイルサーバに接続できなか
ったとしても、クライアントにファイルを渡すことがで
きる。When the connection to the file server fails, a warning is notified to the client (step S6).
17) The file in the prefetch area or cache area is unconditionally set as a file to be passed to the client (steps S618 and S67). As a result, even if the connection to the file server cannot be established due to the state of the wide area network, the file can be transferred to the client.
【0021】ファイルが最新のものでないのならば、フ
ァイルサーバから最新のものを取得し、現在あるファイ
ルと置き換える。対象ファイルが先読み領域の場合、新
しいファイルのサイズが今あるファイルよりも大きい場
合には(ステップS613)、サイズを確保するために
優先度の低いファイルから先読み領域から追い出してサ
イズを確保して、ファイルを置き換え、先読み管理テー
ブル312の更新処理を行い(ステップS614,ステ
ップS615)、追い出したファイルをキャッシュ領域
に移す(ステップS616)、そうでないなら現在のフ
ァイルを新しいものに置き換える(ステップS619,
ステップS620)。対象ファイルがキャッシュ領域の
場合、または、先読み領域からキャッシュ領域に追い出
されたファイルが存在する場合、キャッシュ管理部31
はキャッシュ領域のサイズに合わせて、キャッシュ更新
処理を行う(ステップS65,ステップS66)。処理
手順は通常のキャッシュ更新処理と同様なのでここでは
述べない。If the file is not the latest one, the latest one is obtained from the file server and replaced with the current file. If the target file is a pre-read area, and if the size of the new file is larger than the existing file (step S613), the lower priority file is evicted from the pre-read area to secure the size, and the size is reserved. The file is replaced, the prefetch management table 312 is updated (step S614, step S615), and the flushed file is moved to the cache area (step S616). If not, the current file is replaced with a new file (step S619, step S619).
Step S620). If the target file is a cache area, or if there is a file that has been evicted from the prefetch area to the cache area, the cache management unit 31
Performs a cache update process according to the size of the cache area (steps S65 and S66). Since the processing procedure is the same as the normal cache update processing, it will not be described here.
【0022】ファイルが先読み領域またはキャッシュ領
域に存在しない時は、キャッシュサーバはファイルサー
バに接続し(ステップS63)、ファイルを取得する
(ステップS64)。取得したファイルはキャッシュ領
域にキャッシュする(ステップS65,ステップS6
6)。ファイルサーバとの接続に失敗したときは、クラ
イアントに渡すファイルを取得できないため、エラーを
クライアントに通知する(ステップS68)。クライア
ントからのファイル取得要求はすべてアクセス履歴デー
タベース34に記録する(ステップS69)。When the file does not exist in the prefetch area or the cache area, the cache server connects to the file server (step S63) and acquires the file (step S64). The acquired file is cached in the cache area (step S65, step S6
6). If the connection with the file server fails, the file to be passed to the client cannot be obtained, and an error is notified to the client (step S68). All file acquisition requests from the client are recorded in the access history database 34 (step S69).
【0023】キャッシュ管理部31は定期的に先読み選
出モジュール311を読み出し、先読みすべきファイル
を選出し、先読み管理テーブルを作成する(ステップS
7)。先読みすべきファイルは、アクセス履歴データベ
ースより参照回数の多い物から選出する(ステップS7
1)。選出したファイルに関し、アクセス履歴データベ
ース34から更新の履歴を割り出し分析することにより
ファイルの更新間隔を推測する。推測した更新間隔を先
読み間隔として設定する(ステップS72)。The cache management unit 31 periodically reads the prefetch selection module 311 to select a file to be prefetched, and creates a prefetch management table (step S).
7). The file to be pre-read is selected from those having a large number of references from the access history database (step S7).
1). With respect to the selected file, an update history is determined from the access history database 34 and analyzed to estimate a file update interval. The estimated update interval is set as a prefetch interval (step S72).
【0024】選出したファイルに関し、広域ネットワー
ク監視装置4−1からネットワークがあいている時間を
割り出し更新のタイミングとする(ステップS73)。
以上の結果より先読み管理テーブル312を更新する
(ステップS74)。キャッシュ管理部31は定期的に
先読み管理テーブル312を参照し、先読み間隔と最終
読み込み日時から先読みが必要なファイルを割り出し、
先読み処理を行う(ステップS8)。処理手順はクライ
アントが先読み領域内のファイルを読み出すときに行う
処理と同様である(ステップS610からの処理と同
様)。With respect to the selected file, the time during which the network is open from the wide area network monitoring device 4-1 is determined as update timing (step S73).
The prefetch management table 312 is updated based on the above result (step S74). The cache management unit 31 periodically refers to the prefetch management table 312 to determine a file that requires prefetch from the prefetch interval and the last read date and time.
A prefetch process is performed (step S8). The processing procedure is the same as the processing performed when the client reads a file in the pre-read area (similar to the processing from step S610).
【0025】[0025]
【実施例】次に、本発明の実施例について図1〜図4に
加え、図5及び図6を参照して説明する。図5及び図6
は実装した各管理テーブルの項目とその状態の一実施例
を示した図である。Next, an embodiment of the present invention will be described with reference to FIGS. 5 and 6 in addition to FIGS. 5 and 6
FIG. 5 is a diagram showing an embodiment of items of each mounted management table and their states.
【0026】ファイル管理テーブル51−1〜51−n
では、管理するファイルのファイル名とサイズ、更新日
時を管理する。アクセス履歴データベース34は、キャ
ッシュしたファイルの存在するファイルサーバ名とその
ファイル名、ファイルのサイズ、ファイルサーバに記録
されていたそのファイルの更新日時、クライアントのア
クセス日時を記録する。クライアントのアクセス要求が
生じる度に(ファイルがキャッシュ領域、先読み領域、
ファイルサーバのいづれかにあろうとも)アクセス履歴
データベース34に記録される。File management tables 51-1 to 51-n
Then, the file name and size of the file to be managed and the update date and time are managed. The access history database 34 records the file server name where the cached file exists, the file name, the file size, the update date and time of the file recorded on the file server, and the access date and time of the client. Each time a client access request occurs (the file is cached, prefetched,
It is recorded in the access history database 34 (whether at any of the file servers).
【0027】先読み管理テーブル312は、先読み領域
内のファイル名とそのファイルの存在するファイルサー
バ名、ファイルのサイズ、先読みしたときの更新日時、
最終先読み日時、先読みモジュールが決定した先読み間
隔を管理する。先読み管理テーブル312は先読み選出
モジュールがアクセス履歴データベース34を参照し
て、先読みすべきファイルとその先読み間隔を決定する
ことにより作成される。また、更新日時はクライアント
からの要求によるファイルサーバからの読み込み(図3
のステップS615,ステップS620)によっても更
新される。The prefetch management table 312 includes a file name in the prefetch area, a file server name where the file exists, a file size, an update date and time when prefetching,
The last look-ahead date and time and the look-ahead interval determined by the look-ahead module are managed. The prefetch management table 312 is created by the prefetch election module referring to the access history database 34 and determining a file to be prefetched and its prefetch interval. The update date and time are read from the file server upon request from the client (see FIG. 3).
Are updated also in steps S615 and S620).
【0028】キャッシュ管理テーブル313は、キャッ
シュ領域内のファイル名とそのファイルの存在するファ
イルサーバ名、ファイルのサイズ、更新日時を管理す
る。実装例の説明のためにキャッシュ領域と先読み領域
のサイズ、各テーブルの項目に仮の値を設定しておく。The cache management table 313 manages a file name in the cache area, a file server name where the file exists, a file size, and an update date and time. For explanation of the implementation example, provisional values are set for the sizes of the cache area and the prefetch area, and the items of each table.
【0029】次に、クライアントからのファイル要求に
ついて図5を参照して説明する。クライアントからファ
イルf1−1の読み出し要求があると、キャッシュ管理
部31はファイルf1−1が先読み領域にあるかどうか
を先読み管理テーブル312より確認する(ステップS
61)。ファイルf1−1は先読み管理テーブル312
にあるため、このファイルが最新であるかどうかをファ
イルサーバ51のファイル管理テーブル51−1より確
認する(ステップS610,ステップS611)。この
ときファイルサーバ51に接続できないときは(ステッ
プS610で失敗)、クライアントに警告を出し(ステ
ップS617)、先読み領域にあるファイルf1−1を
クライアントに渡す(ステップS67)。ファイルサー
バ51にファイルと同じ更新日時であれば先読み領域に
あるファイルf1−1をクライアントに渡すが、そうで
ないのでファイルサーバ51からファイルf1−1を取
得する(ステップS612)。読み込んだ新しいファイ
ルf1−1はサイズが増えているので先読み領域には入
りきれない。そこで先読み管理テーブル312より、優
先度の低いファイルf2−1を追い出し、キャッシュ領
域に移動する(ステップS616)。キャッシュ領域は
通常のキャッシュ管理手順でファイルf2−1を処理す
る(ステップS65)。もしFIFO式の管理ならばフ
ァイルf1−3を追い出しファイルf2−1を挿入す
る。アクセス履歴デーベース34にはファイルf1−1
の情報とアクセス日時が記録される(ステップS6
9)。各管理テーブルは変更され図6となる。Next, a file request from a client will be described with reference to FIG. When there is a read request for the file f1-1 from the client, the cache management unit 31 checks from the prefetch management table 312 whether the file f1-1 is in the prefetch area (Step S).
61). File f1-1 is a pre-read management table 312
Therefore, whether the file is the latest is confirmed from the file management table 51-1 of the file server 51 (steps S610 and S611). At this time, if the connection to the file server 51 cannot be established (failure in step S610), a warning is issued to the client (step S617), and the file f1-1 in the prefetch area is passed to the client (step S67). If the update date and time are the same as the file, the file f1-1 in the pre-read area is passed to the client, but the file f1-1 is acquired from the file server 51 (step S612). Since the read new file f1-1 has increased in size, it cannot fit in the prefetch area. Therefore, the file f2-1 having the lower priority is expelled from the prefetch management table 312 and moved to the cache area (step S616). The cache area processes the file f2-1 according to a normal cache management procedure (step S65). If the management is of the FIFO type, the file f1-3 is flushed and the file f2-1 is inserted. The access history database 34 contains the file f1-1
And the access date and time are recorded (step S6).
9). Each management table is changed as shown in FIG.
【0030】次に先読みファイル選出処理について図6
を参照して説明する。先読み選出モジュール311はア
クセス履歴データベース34より参照の多いファイルf
1−1,f2−2,f1−2を選び出す(ステップS7
1)。次にそれぞれのファイルについて過去の更新日時
を比較し、ファイルの更新間隔を推測すると、6日,2
日,7日となる(ステップS72)。また広域ネットワ
ーク監視装置4−1のデータより、広域ネットワークは
午前1時にもっとも効率よくファイル転送が行えること
がわかった(ステップS73)。そこでこれらの情報を
元に先読み管理テーブルを更新する(ステップS7
4)。更新は変更されたところのみ行う。この例であれ
ばファイルf1−1は先読み間隔が6日に、最終読み込
み日時の時間が午前1時に更新され、ファイルf1−2
の項目が新たに追加される。新たに追加された項目(こ
こではファイルf1−2)については、最終読み込み日
時のうち日付を空欄にすることで次に午前1時になった
ときかならず先読みするようにする。各管理テーブルは
更新され図7となる。Next, the pre-read file selection process will be described with reference to FIG.
This will be described with reference to FIG. The prefetch selection module 311 is a file f that has more references than the access history database 34.
1-1, f2-2 and f1-2 are selected (step S7).
1). Next, comparing the past update date and time of each file and estimating the file update interval,
Day, 7 days (step S72). Also, from the data of the wide area network monitoring device 4-1, it was found that the wide area network can transfer files most efficiently at 1:00 am (step S73). Therefore, the prefetch management table is updated based on these pieces of information (step S7).
4). Updates are only made where they have changed. In this example, the file f1-1 is updated with a pre-reading interval of 6 days and the time of the last read date and time at 1:00 am, and the file f1-2 is updated.
Item is newly added. For the newly added item (here, file f1-2), the date is left blank in the last read date and time, so that it is always read ahead at 1:00 am. Each management table is updated as shown in FIG.
【0031】キャッシュ管理部31は定期的に先読み管
理テーブル312をチェックしている。もし最終読み込
み日時と先読み間隔を足した日時が過ぎるか、最終読み
込み日時の日付が空欄のもので指定する時間になったも
のがあった場合、先読み処理を行う。ここではファイル
f1−2に関して、午前1時に先読みを行う。手順はク
ライアントが先読み領域内のファイルを読み出すときに
行う処理と同様である(ステップS610からの処理と
同様)。The cache management unit 31 periodically checks the look-ahead management table 312. If the date and time obtained by adding the last read date and time and the prefetch interval have passed, or if the date of the last read date and time is blank and the specified time has been reached, the prefetch process is performed. Here, for the file f1-2, prefetching is performed at 1:00 am The procedure is the same as the processing performed when the client reads a file in the pre-read area (similar to the processing from step S610).
【0032】[0032]
【発明の効果】本発明によれば、参照頻度の高いファイ
ルをあらかじめキャッシュサーバに先読みしているた
め、広域ネットワークの転送速度が遅く、場合によって
ファイルサーバに接続できないとしても、クライアント
に迅速にファイルを転送することができる。According to the present invention, since a frequently referenced file is pre-read in the cache server in advance, even if the transfer speed of the wide area network is low and the file server cannot be connected in some cases, the file can be promptly transmitted to the client. Can be transferred.
【0033】又、本発明によれば、部門ごとにキャッシ
ュサーバを設置するため、部門単位でのキャッシュヒッ
ト率を上げることができる。According to the present invention, since a cache server is provided for each department, the cache hit rate can be increased for each department.
【図1】本発明に係る広域分散ファイルシステムの一実
施の形態を表す構成図である。FIG. 1 is a configuration diagram illustrating an embodiment of a wide-area distributed file system according to the present invention.
【図2】クライアントからのアクセス処理要求のフロー
チャートである。FIG. 2 is a flowchart of an access processing request from a client.
【図3】図2のクライアントからのアクセス処理要求の
フローチャートの続きを示したフローチャートである。FIG. 3 is a flowchart showing a continuation of the flowchart of the access processing request from the client shown in FIG. 2;
【図4】先読みファイル選出処理および先読み処理のフ
ローチャートである。FIG. 4 is a flowchart of a prefetch file selection process and a prefetch process.
【図5】本実施例を説明するために用いた各管理テーブ
ル値である。FIG. 5 shows management table values used for explaining the embodiment.
【図6】本実施例を説明するために用いた各管理テーブ
ル値である。FIG. 6 shows management table values used for explaining the embodiment.
【図7】本実施例を説明するために用いた各管理テーブ
ル値である。FIG. 7 shows management table values used for explaining the embodiment.
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−320337(JP,A) 特開 平11−15714(JP,A) 特開 平10−214217(JP,A) 特開 平10−260889(JP,A) 19960712,情報処理学会研究報告Vo l.96 No.63 IPSJ SIG Notes 96−DPS−77 96 63, WWW先読み代理サーバにおける先読み 対象決定戦略,知念健一,山口英,奈良 先端科学技術大学院大学 (58)調査した分野(Int.Cl.7,DB名) G06F 12/00 545 G06F 12/00 533 G06F 12/00 514 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-10-320337 (JP, A) JP-A-11-15714 (JP, A) JP-A-10-214217 (JP, A) JP-A-10- 260889 (JP, A) 19960712, IPSJ Research Report Vol. 96 No. 63 IPSJ SIG Notes 96-DPS-77 96 63, Look-ahead target decision strategy in WWW look-ahead proxy server, Kenichi Chinen, Ei Yamaguchi, Nara Institute of Science and Technology (58) Fields surveyed (Int. Cl. 7 , DB name) G06F 12/00 545 G06F 12/00 533 G06F 12/00 514
Claims (4)
ルサーバと、該ファイルサーバに保管されたファイルに
アクセスするクライアントと、前記ファイルを保管する
キャッシュサーバが広域ネットワークに接続されている
場合において、前記キャッシュサーバは、キャッシュ管
理部、先読みを行ったファイルをキャッシュする先読み
領域、クライアントからアクセス要求された対象ファイ
ルをキャッシュするのに使われるキャッシュ領域、及び
クライアントからのアクセス要求の履歴を記録するアク
セス履歴データベースを具備して構成され、前記キャッ
シュ管理部は、定期的に前記アクセス履歴データベース
より参照回数の多いものからアクセス頻度の高いファイ
ルを選出し、選出したファイルに関し、前記アクセス履
歴データベースから更新の履歴を割り出し分析してファ
イルの更新間隔を推測し、推測した更新間隔を先読み間
隔として設定し、該設定した先読み間隔で、アクセス頻
度の高いファイルを定期的に前記キャッシュサーバへ先
読みすることにより、ファイルアクセスを高速化するこ
とを特徴とする広域分散ファイルシステム。When a plurality of file servers storing a plurality of files, a client accessing a file stored in the file server, and a cache server storing the file are connected to a wide area network, The cache server includes a cache management unit, a read-ahead area for caching read-ahead files, and a target file requested to be accessed by a client.
Cache area used for caching Le, and is configured by including an access history database that records the history of the access request from the client, the cache
The cache management unit periodically executes the access history database.
Files that are accessed more frequently
File and select the file
The update history is determined from the history database, analyzed, and
Guess the update interval of the file, and
Interval, and set the read-ahead interval to
A wide-area distributed file system characterized by speeding up file access by periodically prefetching a high-degree file to the cache server.
セス履歴データベースを分析し先読みするファイルと読
み込み間隔を決定する先読み選出モジュールと、決定し
たファイル名と間隔を記録する先読み管理テーブルと、
前記キャッシュ領域を管理するキャッシュ管理テーブル
を具備して構成されていることを特徴とする請求項1記
載の広域分散ファイルシステム。2. A cache server according to claim 1, wherein said cache management unit periodically analyzes an access history database to determine a file to be read ahead and a read-ahead interval, and a look-ahead management table to record the determined file name and interval.
2. The wide-area distributed file system according to claim 1, further comprising a cache management table for managing the cache area.
クの混雑や障害情報を管理し、前記先読み選出モジュー
ルが最も効率よくファイル転送が行える時刻を決定する
ネットワーク監視装置が設置されていることを特徴とす
る請求項2記載の広域分散ファイルシステム。3. The wide area network manages network congestion and fault information, and stores the prefetch selection module.
3. The wide area distributed file system according to claim 2, further comprising a network monitoring device for determining a time at which the file transfer can be performed most efficiently .
を格納するファイル領域とそれらを管理するファイル管
理テーブルを具備していることを特徴とする請求項1乃
至3のいずれか一つに記載の広域分散ファイルシステ
ム。4. The wide area according to claim 1, wherein the plurality of file servers have a file area for storing files and a file management table for managing the file areas. Distributed file system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09178534A JP3117003B2 (en) | 1997-07-03 | 1997-07-03 | Wide-area distributed file system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09178534A JP3117003B2 (en) | 1997-07-03 | 1997-07-03 | Wide-area distributed file system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1124981A JPH1124981A (en) | 1999-01-29 |
JP3117003B2 true JP3117003B2 (en) | 2000-12-11 |
Family
ID=16050163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09178534A Expired - Fee Related JP3117003B2 (en) | 1997-07-03 | 1997-07-03 | Wide-area distributed file system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3117003B2 (en) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3764291B2 (en) * | 1999-03-02 | 2006-04-05 | 株式会社東芝 | Information distribution system, mobile computer, information server device, cache server device, and prefetch cache processing method |
US7526481B1 (en) * | 1999-04-19 | 2009-04-28 | Oracle International Corporation | Web servers with queryable dynamic caches |
JP2000305836A (en) * | 1999-04-23 | 2000-11-02 | Nec Corp | Www browser and computer readable recording medium |
US6701316B1 (en) * | 2000-04-07 | 2004-03-02 | Nec Corporation | Method and apparatus for intelligent network bandwidth and system resource utilization for web content fetch and refresh |
JP3596602B2 (en) * | 2000-08-25 | 2004-12-02 | 日本電気株式会社 | WWW server access method |
JP4688312B2 (en) * | 2001-02-23 | 2011-05-25 | 株式会社日立製作所 | Communication proxy device |
JP4209204B2 (en) * | 2003-01-09 | 2009-01-14 | 株式会社日立製作所 | Information distribution method, information distribution system and in-vehicle terminal device to in-vehicle terminal |
JP4257785B2 (en) | 2003-04-22 | 2009-04-22 | 株式会社日立製作所 | Cache storage device |
CN1820236A (en) * | 2003-07-10 | 2006-08-16 | 皇家飞利浦电子股份有限公司 | Method of and system for distributing a content item |
CN100461806C (en) * | 2005-04-07 | 2009-02-11 | 华为技术有限公司 | Voice value-added service data information processing method |
JP4519779B2 (en) * | 2006-01-25 | 2010-08-04 | 株式会社東芝 | Management device, management device cache control method, recording medium, and information transfer system cache control method |
JP5034649B2 (en) * | 2007-04-23 | 2012-09-26 | 富士通株式会社 | Information storage system |
JP5365830B2 (en) * | 2008-01-29 | 2013-12-11 | 日本電気株式会社 | Predictive cache method for caching information that is likely to be used, its system, and its program |
JP5272428B2 (en) * | 2008-02-07 | 2013-08-28 | 日本電気株式会社 | Predictive cache method for caching information with high access frequency in advance, system thereof and program thereof |
JP5187017B2 (en) * | 2008-06-18 | 2013-04-24 | 富士通株式会社 | Distributed disk cache system and distributed disk cache method |
JP5274380B2 (en) | 2009-06-04 | 2013-08-28 | キヤノン株式会社 | Information processing apparatus, data access system, and control method thereof |
JP5387457B2 (en) * | 2010-03-10 | 2014-01-15 | 富士電機株式会社 | Remote monitoring device and data access method in the device |
JP2011215879A (en) * | 2010-03-31 | 2011-10-27 | Sharp Corp | Communication apparatus for operation, communication apparatus for non-operation, control method of communication apparatus for operation, control method of communication apparatus for non-operation, communication system, communication program for operation, communication program for non-operation, and recording medium |
JP5036078B2 (en) * | 2010-04-12 | 2012-09-26 | ルネサスエレクトロニクス株式会社 | Storage device |
WO2014155553A1 (en) | 2013-03-27 | 2014-10-02 | 富士通株式会社 | Information processing method for distributed processing, information processing device and program, and distributed processing system |
JP6199782B2 (en) * | 2014-03-24 | 2017-09-20 | 株式会社日立製作所 | Computer system |
WO2018051429A1 (en) * | 2016-09-14 | 2018-03-22 | 株式会社日立製作所 | File server and information system |
JP6972612B2 (en) * | 2017-03-29 | 2021-11-24 | 日本電気株式会社 | Storage equipment, management equipment, information processing systems, control methods and programs |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4134357B2 (en) * | 1997-05-15 | 2008-08-20 | 株式会社日立製作所 | Distributed data management method |
-
1997
- 1997-07-03 JP JP09178534A patent/JP3117003B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
19960712,情報処理学会研究報告Vol.96 No.63 IPSJ SIG Notes 96−DPS−77 96 63,WWW先読み代理サーバにおける先読み対象決定戦略,知念健一,山口英,奈良先端科学技術大学院大学 |
Also Published As
Publication number | Publication date |
---|---|
JPH1124981A (en) | 1999-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3117003B2 (en) | Wide-area distributed file system | |
US5802292A (en) | Method for predictive prefetching of information over a communications network | |
US6219676B1 (en) | Methodology for cache coherency of web server data | |
US8103746B2 (en) | Method and system for distributing requests for content | |
US6836827B2 (en) | Delay cache method and apparatus | |
US6266742B1 (en) | Algorithm for cache replacement | |
US5935207A (en) | Method and apparatus for providing remote site administrators with user hits on mirrored web sites | |
JP3140621B2 (en) | Distributed file system | |
US5881229A (en) | Method and product for enchancing performance of computer networks including shared storage objects | |
US7269608B2 (en) | Apparatus and methods for caching objects using main memory and persistent memory | |
US7707360B2 (en) | Detecting when to prefetch data and then prefetching data in parallel | |
JP3522527B2 (en) | I / O control device and I / O control method | |
US6901484B2 (en) | Storage-assisted quality of service (QoS) | |
US6385699B1 (en) | Managing an object store based on object replacement penalties and reference probabilities | |
US20080177754A1 (en) | Adaptive vicinity prefetching For filesystem Metadata | |
US6954752B2 (en) | Methods and apparatus for clustering and prefetching data objects | |
EP1074916A3 (en) | Hardware mechanism for managing cache structures in a data storage system | |
US20080140997A1 (en) | Data Processing System and Method | |
EP2352090B1 (en) | System accessing shared data by a plurality of application servers | |
JP3386964B2 (en) | Gateway device | |
JPH11149405A (en) | Www cache system and www data lock-ahead method | |
JP3290801B2 (en) | Resource location detection method | |
CN1908915A (en) | System and method for management of metadata | |
JP5272428B2 (en) | Predictive cache method for caching information with high access frequency in advance, system thereof and program thereof | |
JPH07239808A (en) | Distributed data managing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000906 |
|
LAPS | Cancellation because of no payment of annual fees |