JP7269780B2 - 情報処理装置および情報処理装置のデータ管理方法 - Google Patents

Description

本発明は、データ仮想化技術を用いたＥｄｇｅ／Ｃｏｒｅ連携によるストレージシステムの運用において、クライアントによるデータ要求に対する応答を高速化する技術に関する。

現在、ＩｏＴデータの爆発的な増加により、Ｅｄｇｅコンピューティングの需要が高まっている。一般的にＥｄｇｅ側のデータストアのストレージ容量は、小さいことが多い。このとき、爆発するデータ量に対応するためには、データ仮想化技術を用いたＥｄｇｅ／Ｃｏｒｅ連携によるストレージ運用が必要となる。

近年、アクセス対象ファイルに関連するファイルを先読みし、データの読み取りを高速化する技術が用いられている。Ｅｄｇｅ／Ｃｏｒｅ連携において、Ｅｄｇｅに存在しないデータを読み出すには、ＣｏｒｅからＥｄｇｅに読み出す必要がある。このとき、読み出したデータに関連するデータを先読みすることにより、クライアントからの要求に即座に応答可能となる。しかし、Ｅｄｇｅの容量は有限であり、全てのファイルをＥｄｇｅで管理できないため、Ｅｄｇｅのデータを選定する必要がある。そこで、先読みするデータを選定したり、所定時間でデータを削除する技術を用いている。

例えば、特許文献１では、先読みゲーム・アセットまたはストリーム・ゲーム・アセットとして分類されたゲーム・アセットに先読み命令が関連付けられることから、エッジ・コンピューティング・インフラストラクチャが、インテリジェント・ストリーミングを容易にすることが開示されている。

また、特許文献２では、ストリーム情報に基づいてメモリに先読みされた、データブロックへのアクセスを監視し、データブロックの何れかが最後にアクセスされてからの経過時間に基づいてストリームの停止を判定し、ストリームが停止したと判定した場合、データブロックの少なくとも一部をメモリから削除する技術が開示されている。

特表2017－536143号公報 特開2017－072982号公報

Ｅｄｇｅノードに記憶できるデータの容量は有限であるため、クライアントが必要としないデータは削除して空き容量を確保する必要がある。

Ｅｄｇｅノードに先読みしたデータを削除する場合、例えば特許文献２の技術では、先読みしたページに所定時間アクセスがないと削除される。このため、将来的にクライアントが要求する可能性のあるデータであっても削除される場合がある。このようなデータが削除されると、データ削除後にクライアントがデータを要求したときに、再度Ｃｏｒｅノードからデータを読み出す必要が生じる。

このため、Ｅｄｇｅ／Ｃｏｒｅ間のデータ送受信で効率の良い先読みをすることができない。

本発明の一側面は、記憶装置を備え、クライアントの要求に基づいてクライアント要求データを出力するとともに、クライアントの要求の前に所定の先読みデータを前記記憶装置に記憶する、情報処理装置である。この装置では、データのアクセス履歴に基づいてデータ相互の関連度を計算する、関連度計算モジュールと、クライアント要求データと所定の関連度を有するデータを先読みデータとして記憶装置に記憶し、また、クライアント要求データおよび先読みデータの少なくとも一つを記憶装置に記憶しようとするときに、記憶装置の記憶容量が不足する場合には、関連度を用いて記憶装置から削除するデータを決定する先読み・削除モジュールと、を備える。

本発明の他の一側面は、クライアントの要求に基づいてクライアント要求データをクライアントに提供する情報処理装置のデータ管理方法である。この方法では、データのアクセス履歴に基づいて計算されるデータ相互の関連度を用いる。そして、クライアントの要求を契機に、クライアント要求データが第１の記憶装置に存在するかどうかを確認する第１のステップと、クライアント要求データが第１の記憶装置に存在しない場合、クライアント要求データを第２の記憶装置から第１の記憶装置に取得する第２のステップと、クライアントの要求を契機に、クライアント要求データと所定の関連度を有する先読みデータを抽出する第３のステップと、先読みデータを第２の記憶装置から第１の記憶装置に取得する第４のステップと、クライアント要求データおよび先読みデータの少なくとも一つを第１の記憶装置に取得しようとするときに、第１の記憶装置の記憶容量が不足する場合には、関連度を用いて第１の記憶装置から削除するデータを決定する第５のステップと、を備える。

Ｅｄｇｅ／Ｃｏｒｅ間のデータ送受信で効率の良い先読みをすることができる。本発明のさらに具体的な課題、構成、効果は、実施例の記載において明らかにされるであろう。

実施形態の構成例を示すブロック図である。 実施形態における、ファイル／オブジェクト情報を示す表図である。 実施形態における、先読み設定情報を示す表図である。 実施形態における、関連度情報を示す表図である。 実施形態における、アクセス履歴を示す表図である。 実施形態における、先読みリストを示す表図である。 実施形態における、削除（仮想化）リストを示す表図である。 実施形態における、Edgeノードがクライアントからファイル／オブジェクト読み出し要求を受信した際のファイル／オブジェクト管理モジュールのフローチャート例である。 実施形態における、関連ファイル抽出処理のフローチャート例である。 実施形態における、空き容量確保処理のフローチャート例である。 実施形態における、関連度計算モジュールのフローチャート例である。

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

データをＥｄｇｅノードに先読みしていると、新たなデータ取得時に容量不足と想定される場合、データ取得容量分のデータを削除する必要がある。また、帯域利用による課金などがある場合は、Ｅｄｇｅが保持するデータは、基本的に保持し続け、Ｅｄｇｅ／Ｃｏｒｅ間でデータ送受信による帯域の利用を抑制することが望ましい。

データの削除に関して特許文献２の技術では、アクセス頻度が低いものから削除する。このため、先読み予定または先読み直後のデータもアクセス頻度が低いと判定される場合があり、先読み効果が得られない場合がある。また、削除したデータを再読み込みすると、Ｅｄｇｅ／Ｃｏｒｅ間でデータ送受信が増加する。

以下で説明する関連性を考慮したデータ先読み・削除（仮想化）手法の一例では、データ間の関連性を示す関連情報を用いて先読みするデータを決定する。Ｅｄｇｅノードで取得したデータは、基本的に削除せず、クライアントの要求データまたはその関連するデータをＣｏｒｅノードから取得する際に、容量不足となる場合にデータの削除（仮想化）を行う。このとき、データ間の関連性を示す関連情報を用いて、削除するデータも決定する。削除するデータは、先読みするデータ容量の不足分とする。

これにより，先読みデータが所定のアクセス時間を越えていても削除されない。よって、最低限のＥｄｇｅ／Ｃｏｒｅ間のデータ送受信で最適な先読みを行うことが可能となり、Ｅｄｇｅ／Ｃｏｒｅの負荷低減、帯域利用料の削減、クライアントのデータ取得の高速化が可能となる。また、ネットワークの帯域と、先読みに使用できる時間を考慮して、先読みするデータの容量を定める。

図１～図１０を用いて、本発明の実施形態を説明する。実施形態は、ファイル／オブジェクトを管理するＣｏｒｅノードと、ファイル／オブジェクトを仮想化し、クライアント要求に応じて、Ｃｏｒｅノードからファイル／オブジェクトを取得・削除（仮想化）するＥｄｇｅノードからなるストレージシステムの例である。

本実施例は、（１）Ｅｄｇｅノードがクライアントから要求を受け、ファイル／オブジェクト情報の関連度を用いて、ファイル／オブジェクトを先読みする処理、（２）先読みの時に、容量不足が想定される場合において、不足分の容量を確保するため、ファイル／オブジェクト情報の関連度を用いて削除（仮想化）するファイル／オブジェクトを決定し、実行する処理について示す。

図１は、実施形態において、Ｅｄｇｅノード１００とＣｏｒｅノード２００による関連性を考慮したデータ先読み・削除（仮想化）システムの構成例である。なお、Ｅｄｇｅノード１００に対しては、図示しないクライアントが接続されており、Ｅｄｇｅノード１００からファイルの取得が可能となっている。なお、本明細書等ではデータとファイルの語は、特段の説明がない限り同義で用いることにする。

＜１．Ｅｄｇｅノード＞
Ｅｄｇｅノード１００は、ＣＰＵ１１０、メモリ１２０、ネットワークインターフェース１３０、記憶装置１４０を有する。また、Ｅｄｇｅノードは複数あっても良い。

ＣＰＵ１１０は、メモリ１２０に格納されたプログラムを実行する。
メモリ１２０は、ファイル／オブジェクト管理モジュール１２１、関連度計算モジュール１２２、先読み・削除（仮想化）モジュール１２３を有し、ファイル／オブジェクト情報４００、関連度情報４１０、先読み設定情報５００、アクセス履歴情報６００、先読みリスト７００、削除リスト８００を格納する。

ファイル／オブジェクト管理モジュール１２１は、記憶装置１４０のファイル／オブジェクトを管理し、ファイル／オブジェクト情報４００を更新する。また、他ノードからのデータの取得や、データの容量管理を行う。
関連度計算モジュール１２２は、アクセス履歴情報６００、先読み設定情報５００を用いて、関連度計算アルゴリズムにより、関連度情報４１０の関連度を更新する。
先読み・削除（仮想化）モジュール１２３は、関連度情報４１０の関連度を用いて、クライアントから取得要求があったファイル／オブジェクトに関連するファイル／オブジェクトを決定し、取得する。また、ファイル／オブジェクトを取得する際に、容量不足が想定される場合において、関連度情報４１０の関連度を用いて、削除（仮想化）するファイルを決定する。

ファイル／オブジェクト情報４００は、記憶装置１４０が保持するファイル／オブジェクトの情報、仮想ファイル／仮想オブジェクトの情報、および各種データの関連情報を保持する。
先読み設定情報５００は、関連度計算や先読み・削除（仮想化）時に必要な情報（帯域幅や空き容量など）を保持する。
アクセス履歴情報６００は、クライアントからファイル／オブジェクトの取得要求を受けた際の時刻などのログ情報を保持する。

先読みリスト７００は、先読みファイルを決定する際に生成する、先読みファイルの候補のリストを保持する。
削除リスト８００は、先読みファイルを全て取得すると空き容量不足となる場合に、空き容量不足を解消するために削除（仮想化）する候補のリストを保持する。

ネットワークインターフェース１３０は、外部ネットワークに接続し、他ノードやクライアントとデータを送受信する。

記憶装置１４０は、ファイル／オブジェクトの実体（実データ）１４１とファイル／オブジェクトの仮想情報（仮想データ）１４２を保持する。また、ファイル／オブジェクト情報４００のようなメタデータを記憶装置１４０で管理しても良い。

本実施例では計算や制御等の機能は、メモリ１２０に格納されたプログラムがＣＰＵ１１０によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」等と呼ぶ場合がある。

以上のＥｄｇｅノードの構成は、単体のコンピュータで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。

本実施例中、ソフトウエアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアでも実現できる。

＜２．Ｃｏｒｅノード＞
Ｃｏｒｅノード２００は、ＣＰＵ２１０、メモリ２２０、ネットワークインターフェース２３０、記憶装置２４０を有する。また、Ｃｏｒｅノードは、複数あっても良い。Ｃｏｒｅノードは実データを管理し、Ｅｄｇｅノード１００からの要求により、実データの一部がＥｄｇｅノードに送信・記憶される。

ＣＰＵ２１０は、メモリ２２０に格納されたプログラムを実行する。メモリ２２０は、ファイル／オブジェクト管理モジュール２２１を有する。
ファイル／オブジェクト管理モジュール２２１は、ファイル／オブジェクトのデータの容量や記憶装置２４０上の位置等を記憶し、データの入出力を可能にする。
ネットワークインターフェース２３０は、外部ネットワークに接続し、他ノードとデータを送受信する。
記憶装置２４０は、ファイル／オブジェクトの実態（実データ）２４１を保持する。また、Ｃｏｒｅノードであっても、他Ｃｏｒｅノードの実データを仮想データとして、保持しても良い。このとき、ファイル／オブジェクト管理モジュール２２１は、仮想データも管理する。

＜３．ファイル／オブジェクト情報＞
図２は、ファイル／オブジェクト情報４００の例を示す。ファイル／オブジェクト情報４００は、Ｅｄｇｅノード１００のファイル／オブジェクト管理モジュール１２１、関連度計算モジュール１２２、先読み・削除（仮想化）モジュール１２３が使用する。

ファイル／オブジェクト情報４００は、ファイル名４０１、最終アクセス日時４０２、仮想ファイルフラグ４０３、実ファイルサイズ４０４を格納する。ファイル／オブジェクト情報４００は、ファイル／オブジェクト管理モジュール１２１が作成し、更新する。最終アクセス日時４０２、仮想ファイルフラグ４０３はリアルタイムで更新するのが良い。

ファイル名４０１は、記憶装置１４０に保持するファイル／オブジェクト１４１および仮想ファイル／仮想オブジェクト１４２のファイル名を保持する。最終アクセス日時４０２は、ファイル名４０１に対するクライアントからの要求があった最終アクセス日時を保持する。仮想ファイルフラグ４０３は、記憶装置１４０に実データとして保持しているか、仮想データとしているかを示す。実ファイルサイズ４０４は、記憶装置１４０に保持している実データあるいは仮想データの実データサイズを示す。

＜４．先読み設定情報＞
図３は、先読み設定情報５００の例を示す。先読み設定情報５００は、Ｅｄｇｅノード１００の関連度計算モジュール１２２および先読み・削除（仮想化）モジュール１２３が使用する。先読み設定情報５００は、基本的にユーザ（オペレータ）が設定し、更新するが、動的に変化するパラメータはシステムが自動的に変更しても良い。

先読み設定情報５００は、帯域幅５０１、先読みファイル取得時間５０２、空き容量５０３、関連ファイル閾値５０４を保持する。

帯域幅５０１は、Ｅｄｇｅノード１００とＣｏｒｅノード２００間のノード間の帯域幅を示す。Ｃｏｒｅノード２００が複数ある場合は、各Ｃｏｒｅノードを識別する情報に対応付けて、Ｅｄｇｅノードと各Ｃｏｒｅノード間の帯域幅をそれぞれ保持する。帯域幅は予めユーザが設定するか、公知の測定方法でネットワークインターフェース１３０が測定する。帯域幅が時間的に変動する場合は、任意の時間間隔で更新すればよいが、一定値としてもよい。

先読みファイル取得時間５０２は、任意に決定され、先読みファイルの容量を決定する際に、帯域幅５０１と掛け合わせて用いるための情報を示す。先読みできるファイルの容量は、帯域幅と先読みファイル取得時間５０２によって定まるため、ユーザはシステムの用途や性能に応じて適当なファイル取得時間を設定する。

空き容量５０３は、Ｅｄｇｅノード１００の記憶装置１４０の空き容量情報を示す。空き容量は、記憶装置１４０への先読みファイルの記憶や削除に従って更新される。

関連ファイル閾値５０４は、関連度計算モジュール１２２が関連度を計算する際に、連続してアクセスされたファイルが関連しているかを決めるための閾値を示す。閾値は任意にさだめてよい。図３の例では、１０秒以内に連続してアクセスされた２つのファイルのファイルを関連ファイルと定めている。また、閾値に代えて、関連度を計算するための関数を定義する情報を格納しておいてもよい。

＜５．関連度情報＞
図４は、関連度情報４１０の例を示す。関連度情報４１０は、Ｅｄｇｅノード１００の関連度計算モジュール１２２、先読み・削除（仮想化）モジュール１２３が使用する。関連度情報４１０は、関連度計算モジュール１２２が、先読み設定情報５００とアクセス履歴情報６００を元にして生成、更新する。生成や更新は、例えばファイルへのアクセスを契機として行なうが、定期的にまとめてバッチ処理しても良い。

関連度情報４１０は、関連元のファイル名４１１、関連ファイル１のファイル名４１２、関連ファイル１の関連度４１３、関連ファイル１のアクセス頻度４１４、関連ファイル２のファイル名４１５、関連ファイル２の関連度４１６、関連ファイル３の関連度４１７およびそれ以降の関連ファイル情報４１８を格納する。

なお、ファイル名４１１のファイルに関連するファイルが複数有る場合には、関連ファイル１、関連ファイル２・・・のように情報を格納している。

関連度は、先読み設定情報５００の関連ファイル閾値（あるいは関数）５０４とアクセス履歴情報６００を用い、２つのファイルのアクセスの時間間隔（秒）に基づいて決定する。例えば、ファイル名４１１のファイルと関連ファイル名４１２のファイルのアクセス間隔（秒）と、関連ファイル閾値５０４を比較し、アクセス間隔が閾値を超える場合を関連度０％とし、０秒後に取得されたデータであれば１００％とし、アクセス間隔と関連度が線形の関係として関連度を計算する。あるいは、シグモイド（sigmoid）関数を利用して、閾値を変曲点として、横軸を差分時間（アクセス間隔）として関連度を計算してもよい。例えば、
f(t)=1-(-1)/(1+exp(-g(t/i-1)))
のような関数を用いる。ここで、
f(t)：関連度
t：差分時間
g：関数のグラフの傾斜
i：関数のグラフの変曲点
である。

一般には、関連度を表す関数f(t)として、ｔの増加に伴いf(t)が減少する単調減少関数であって、所定のt（関連ファイル閾値５０４）を超えた場合においてf(t)＝０になるような関数を用いればよい。

アクセス頻度は、アクセス履歴情報６００を用いて決定する。例えば、アクセス履歴内の所定の期間内にＦｉｌｅ１からＦｉｌｅ２の順でアクセスが１００回あったとした場合に、アクセス頻度を１００と設定する。

一例として関連度計算モジュール１２２は、アクセス頻度４１４のそれぞれのアクセス毎に関連度を計算し、平均値を計算して関連度４１３とする。例えば、図４のＦｉｌｅＡとＦｉｌｅＢの関連度７０％は、１０回のアクセスの其々で計算された関連度の平均値である。

アクセス頻度が小さくサンプル数が少ない場合は、関連度の信頼度が低いとして関連度を用いないようにしてもよい。たとえば、アクセス頻度３回を閾値としておき、図４のＦｉｌｅ１とＦｉｌｅ３の関連度２０％は信頼度が低いとして、関連度を計算しないかあるいは無効にするように構成してもよい。

＜６．アクセス履歴情報＞
図５は、Ｅｄｇｅノード１００の関連度計算モジュール１２２が関連度情報４１０の関連度を更新するために使用するアクセス履歴情報６００の例を示す。アクセス履歴情報６００は、一般的なノードが記録しているアクセス履歴情報を用いてよい。アクセス履歴情報６００は、ファイル名６０２、アクセス時間６０３、ユーザ名６０４、ホスト名６０５を保持する。

ファイル名６０２は、クライアントがアクセスしたファイル名を示す。アクセス時間６０３は、クライアントがアクセスした時間を示す。ユーザ名６０４は、クライアントのユーザ名を示す。ホスト名６０５は、アクセス元のホスト名（ＩＰアドレス）を示す。

なお、図４の関連度情報４１０のテーブルは、図５のアクセス履歴情報６００を基にしてＥｄｇｅノード１００毎に１つ作成すればよい。ただし、ユーザ（クライアント）毎、ホスト（ＣｏｒｅノードＩＰアドレス）毎、あるいはユーザとホストの組み合わせ毎に、別々に計算し、個別のテーブルとして作成することもできる。例えば、あるクライアントに対する先読み処理は、当該クライアントのアクセス履歴に基づいて計算した関連度情報に基づいて行なう。このようにすると、ユーザやホストの特性を関連度に反映することが可能である。

＜７．先読みリスト＞
図６は、Ｅｄｇｅノード１００の先読み・削除（仮想化）モジュール１２３が使用する先読みリスト７００を示す。先読みリスト７００は、先読み予定ファイル名７０１、関連段数７０２、関連度７０３、仮想ファイルフラグ７０４、実ファイルサイズ７０５、抽出関連ファイル７０６を保持する。

先読みリスト７００は、先読み・削除（仮想化）モジュール１２３により、例えばＥｄｇｅノード１００に対してクライアントからファイルの要求があった際に生成される。先読み・削除（仮想化）モジュール１２３は、生成した先読みリスト７００に基づいて、ファイルの先読みや削除を行う。当該処理が完了した後は、生成した先読みリスト７００は廃棄してよい。

先読み予定ファイル名７０１は、クライアントが要求したファイルに対して、先読み・削除（仮想化）モジュール１２３が抽出した関連ファイル名を示す。抽出に際しては、先読み・削除（仮想化）モジュール１２３は、関連度情報４１０を参照して、クライアントが要求したファイルに関連するファイルを抽出する。

関連段数７０２は、クライアントが要求したファイルを０段目として、その関連ファイルを１段目、１段目のファイルに関連するファイルを２段目として、クライアントが要求したファイルからの距離を示す。

関連度７０３は、関連元の関連度（クライアントが要求したファイルは１００％とする）と関連度情報４１０の関連度を合成した値を示す。合成方法は、関連度計算のアルゴリズムによって異なる。例えば、１段目の関連ファイルは関連度情報４１０の関連度をそのまま用い、２段目以降の関連ファイルは経由したファイルの関連度と自分の関連度の積を関連度７０３とする。

仮想ファイルフラグ７０４は、先読み予定ファイル名７０１のファイルが記憶装置１４０に仮想データとして保持しているか、実データとして保持しているかを示す。

実ファイルサイズ７０５は、先読み予定ファイル名７０１の実データのサイズを示す。

抽出関連ファイル７０６は、クライアント要求ファイルに関連するファイルにおいて、先読み予定のファイルと先読みしないファイルを区別するフラグ、および先読みする優先順を示す。

図６の例では、クライアントが要求したファイルはＦｉｌｅＡであり、関連度は１００％である。ＦｉｌｅＡが仮想ファイルの場合は、Ｃｏｒｅノード２００から実ファイルとしてＥｄｇｅノード１００の記憶装置１４０のファイル／オブジェクト１４１として取得される。図４の関連度情報４１０に基づいて、ＦｉｌｅＢ，Ｃ，Ｄ，Ｅが先読みリスト７００にリストアップされ、関連度７０３が計算される。ＦｉｌｅＢ，Ｃは関連度が上位である仮想ファイルである。ＦｉｌｅＢ，Ｃの容量は合計１００ＭＢであり、図３の先読み情報５００の帯域幅５０１と先読みファイル取得時間５０２から、先読み可能な容量（（１００ＭＢ／ｓｅｃ）×１ｓｅｃ）である。

ＦｉｌｅＢとＦｉｌｅＣでは、ＦｉｌｅＢのほうが関連度が高く、ＦｉｌｅＣより先読みの優先度が高い。よって、抽出関連ファイル７０６に先読みの優先度（優先順位）を示すフラグが格納される。また、ＦｉｌｅＤ，Ｅは関連度が下位であるファイルであり、先読み可能な容量からあふれているため、これらが仮想ファイルである場合には先読み候補から除外される。また、実ファイルである場合には、削除候補となる。これらを示すフラグを抽出関連ファイル７０６として格納する。

＜８．削除（仮想化）リスト＞
図７は、Ｅｄｇｅノード１００の先読み・削除（仮想化）モジュール１２３が使用する削除（仮想化）リスト８００を示す。削除（仮想化）リスト８００は、削除（仮想化）予定ファイル名８０１、仮想ファイルフラグ８０２、実ファイルサイズ８０３、抽出関連ファイル８０４、削除（仮想化）または先読みキャンセル対象８０５を保持する。削除（仮想化）リスト８００は、先読み予定ファイル名７０１生成後先読み・削除（仮想化）モジュール１２３が生成する。

削除（仮想化）予定ファイル名８０１は、削除（仮想化）を行う候補のファイル名を示す。仮想ファイルフラグ８０２は、削除（仮想化）予定ファイル名８０１が実データか仮想データかを示す。実ファイルサイズ８０３は、削除（仮想化）予定ファイル名８０１の実データのサイズを示す。

抽出関連ファイル８０４は、先読み時に先読みリスト７００の抽出関連ファイル７０６にも挙がっていた場合、抽出関連ファイル７０６と同じ値を示す。先読みリスト７００に先読み対象として挙がっていた場合は、削除する優先度を下げる。削除（仮想化）しないと容量が確保できない場合において、削除（仮想化）リスト８００で優先度が高いものから削除（仮想化）候補とする。

削除（仮想化）または先読みキャンセル対象８０５は、削除（仮想化）予定ファイル名８０１に挙がっているものの中で、容量の確保のために削除する対象ファイルを示すフラグを格納する。

図7の例では、図２のファイル・オブジェクト情報４００に基づいて、クライアント要求ファイル以外で最もアクセスが古い実ファイルであるＦｉｌｅＤが抽出されている。さらに、図４の関連度情報４１０に基づいて、ＦｉｌｅＤの関連ファイルが抽出され、実ファイルであるＦｉｌｅＥが抽出されている。

図６と図７の例では、先読み対象となるのはＦｉｌｅＢとＦｉｌｅＣであり、削除対象となるのはＦｉｌｅＤとＦｉｌｅＥとなる。

＜９．ファイル／オブジェクト読み出し要求の受信時の処理＞
図８は、Ｅｄｇｅノード１００がクライアントからデータ取得要求を受領し、ファイル／オブジェクト情報４００、関連度情報４１０と先読み設定情報５００を元に、Ｃｏｒｅノード２００からデータを取得・先読みし、不足分の容量を確保する処理のフローチャート例を示す。
ファイル／オブジェクト管理モジュール１２１は、クライアントからデータ処理要求を受信し、当該データが仮想であれば実体化し、先読み処理を開始する。

＜９-１．クライアント要求ファイルの取得＞
クライアント要求ファイル（あるいは要求データ）の応答は以下のように行う（Ｓ１０１～Ｓ１０５、Ｓ３００）。

ファイル／オブジェクト管理モジュール１２１は、ファイル／オブジェクト情報４００により、クライアント要求ファイルが仮想であるか（すなわち、記憶装置１４０にないか）確認する（Ｓ１０１）。

クライアント要求ファイルが仮想である場合は、Ｃｏｒｅノード２００から実データを取得する処理を開始する。ファイル／オブジェクト情報４００により、クライアント要求ファイルの実ファイルサイズを確認する。

ファイル／オブジェクト管理モジュール１２１は、クライアント要求ファイルの実データサイズ分の空き容量がＥｄｇｅノード１００の記憶装置１４０にあるか確認する（Ｓ１０２）。

クライアント要求ファイルの実データサイズ分の空き容量がない場合は、容量確保処理を開始する。

目標確保容量をクライアント要求ファイルの実データサイズ分に設定する（Ｓ１０３）。

先読み・削除（仮想化）モジュール１２３に目標確保容量の値を渡し、空き容量を確保する。詳細は、図１０の空き容量確保処理で説明する（Ｓ３００）。

クライアント要求ファイルの実データ分の空き容量の確保後または既にある場合は、Ｃｏｒｅノード２００からクライアント要求ファイルの実データを取得する（Ｓ１０４）。

クライアント要求ファイルが仮想でないまたはＣｏｒｅノード２００から取得後の場合は、記憶装置１４０に格納されているクライアント要求ファイルをクライアントへ送信する（Ｓ１０５）。

＜９-２．先読み処理＞
先読み処理は、上記と並行して以下のように行う（Ｓ１１１～Ｓ１１６、Ｓ２００、Ｓ３００）。

ファイル／オブジェクト管理モジュール１２１は、クライアント要求ファイルを、関連ファイルの抽出対象（関連元ファイル）に設定する（Ｓ１１１）。

ファイル／オブジェクト管理モジュール１２１は、先読み設定情報５００から、帯域幅５０１と先読みファイル取得時間５０２を取得し、掛け合わせた値を先読み総容量に設定する（Ｓ１１２）。

先読み・削除（仮想化）モジュール１２３に先読み総容量と抽出対象（関連元ファイル）の情報を渡し、関連ファイルを抽出する。詳細は、図９の関連ファイル抽出を参照（Ｓ２００）。

抽出した関連ファイルを先読みリストに設定する（Ｓ１１３）。

抽出した先読みファイルの取得に必要な容量の不足分を計算する。先読みファイルが既に実データであればサイズは、０となり、全てが仮想データであれば、最大で先読み総容量分となる（Ｓ１１４）。

目標確保容量に先読みファイルの取得の際に不足する分の容量を設定する（Ｓ１１４）。

先読み・削除（仮想化）モジュール１２３に目標確保容量の値を渡し、空き容量を確保する。詳細は、図１０の空き容量確保処理を参照（Ｓ３００）。

先読みファイルを取得する（Ｓ１１６）。

＜１０．関連ファイル抽出＞
図９は、先読み・削除（仮想化）モジュール１２３が関連ファイルを抽出する処理Ｓ２００のフローチャート例を示す。なお、処理Ｓ２００は、先読み対象となる関連ファイルを抽出する場合、および実ファイルの削除対象（仮想化）となる関連ファイルを抽出する場合の双方に用いられる。

先読み・削除（仮想化）モジュール１２３に抽出対象ファイル（関連元ファイル）と先読みする関連ファイルの総容量が設定された場合に処理を開始する。先読み対象となる関連ファイルを抽出する場合には、初期の抽出対象ファイルはクライアント要求ファイルである。実ファイルの削除対象となる関連ファイルを抽出する場合には、初期の抽出対象ファイルは低アクセスファイルである。

使用するファイル関連度情報４１０の指定がある場合は、設定する（Ｓ２０８）。たとえば、特定ユーザのみの関連度情報を使用するなどである。

関連ファイルを抽出する抽出対象ファイルの関連段数を０、関連度１００％とし、関連ファイルリストに追加する（Ｓ２０１）。

抽出対象ファイルの関連ファイルについて、関連度情報４１０を用いて抽出する（Ｓ２０２）。

Ｓ２０２で抽出した関連ファイルについての関連段数を１段増やす（Ｓ２０３）。

関連ファイルリストの関連元ファイルの関連度と関連ファイルの関連度を合成する。合成の方法は、例えば、掛け合わせたり平均を取ったりすることで合成する（Ｓ２０４）。

関連データの関連段数と合成した関連度を関連ファイルリストに追加する（Ｓ２０５）。

全ての関連ファイルについて調査したか確認する（Ｓ２０６）。

全ての関連ファイルについて調査していない場合は、次の関連段数の処理を開始する。そのため、現在の関連ファイルを抽出対象ファイルに設定して、処理Ｓ２０２以降を継続する（Ｓ２０７）。

全ての関連ファイルについて調査した場合は、関連ファイルリストの作成を終了する。作成された関連ファイルリストを元に、先読みリスト７００あるいは削除リスト８００が設定される（Ｓ１１３）。

図６の先読みリスト７００の例では、クライアント要求ファイルはＦｉｌｅＡであり、関連段数０、関連度は１００％である。ＦｉｌｅＡと関連するＦｉｌｅＢは、関連段数１段である。例えば、図４の関連度情報４１０により、ＦｉｌｅＡとＦｉｌｅＢの関連度が７０％とすると、例えば、合成されたＦｉｌｅＢの関連度は、ＦｉｌｅＡの関連度１００％とＦｉｌｅＢの関連度７０％の積で７０％である（Ｓ２０４）。

ＦｉｌｅＢと関連するＦｉｌｅＣは、関連段数２段である。例えば、図４の関連度情報４１０により、ＦｉｌｅＢとＦｉｌｅＣの関連度が４０％とすると、例えば、合成されたＦｉｌｅＣの関連度は、ＦｉｌｅＡの関連度１００％とＦｉｌｅＢの関連度７０％とＦｉｌｅＣの関連度４０％の積で２８％である（Ｓ２０４）。以降のＦｉｌｅＤ，ＦｉｌｅＥも同様に計算できる。

ＦｉｌｅＡはクライアントの要求ファイルであるため、直ちに読み出される。関連ファイルであるＦｉｌｅＢ～ＦｉｌｅＥのうち、仮想データはＦｉｌｅＢとＦｉｌｅＣであるため、これらが先読みファイルの候補となる。

＜１１．空き容量の確保＞
図１０は、先読み・削除（仮想化）モジュール１２３が空き容量を確保するための処理Ｓ３００のフローチャート例を示す。

先読み・削除（仮想化）モジュール１２３に目標確保容量が設定された場合に処理を開始する。

使用する関連度情報４１０（特定ユーザのみなど）の指定がある場合は、設定する（Ｓ３０９）。

関連ファイルの抽出対象に指定が無ければ低アクセスファイルのファイルを設定する（Ｓ３０１）。低アクセスファイル（低アクセスデータ）とは、クライアントからの要求がないと予想されるファイルであり、例えば一定期間内でのアクセス数が最も低いファイル、あるいはアクセス時間が最古のファイルである。これらはファイル・オブジェクト情報４００やアクセス履歴情報６００を参照することで特定可能である。

低アクセスファイルの関連ファイルを抽出し関連ファイルリストを作成する（Ｓ２００）。関連ファイルリストの作成方法は、図９で説明したとおりであるが、関連ファイルの抽出対象（関連段数０段目のファイル）の設定が異なる。

関連データファイルの抽出順に削除対象に設定する。このとき、削除対象からはクライアント要求ファイルを除く。また、先読みリスト７００中で先読み予定となっている関連ファイルがある場合は、削除対象としての優先度を下げる、あるいは、先読み予定の関連ファイルを除いたファイルを削除対象に設定し、削除リストを作成する（Ｓ３０２）。

またこのとき、既に先読み等がされており記憶装置１４０に記憶されている実ファイルのうち、一定期間内でのアクセス頻度が高いまたはアクセス時間が新しいファイル（高アクセスファイル）に対して関連度の高いファイルは、削除対象から除外しても良い。

目標削除容量分の削除対象が決定したか確認する（Ｓ３０３）。高アクセスファイルの抽出においては、上記のアクセス頻度、アクセス時間、および関連度に適当な閾値を設けておけばよい。

削除対象が決定してない場合は、次の低アクセスデータが存在するか確認する（Ｓ３０４）。

次の低アクセスデータがある場合は、抽出対象ファイルに設定し、再度関連ファイルを抽出し、削除対象を追加する（Ｓ３０５）。

全ての低アクセスデータを調べてなお、削除目標容量に達しなかった場合は、先読みリスト７００の先読み予定データの最も低い優先度のデータの先読みをキャンセルする（Ｓ３０６）。

目標削除容量に達した場合は、先読みリスト７００と削除リスト８００を元に、先読みファイルおよび削除ファイルを決定する（Ｓ３０７）。

削除対象の実データを削除し、仮想データ化する（Ｓ３０８）。

図７の削除リスト８００の例では、例えば図２のファイル・オブジェクト情報４００で最もアクセス日時が古いＦｉｌｅＤが最初の抽出対象ファイルとなる。そして、図４の関連度情報４１０によると、ＦｉｌｅＤに関連するＦｉｌｅＥがあるため、ＦｉｌｅＥが関連ファイルとして抽出される。削除対象ファイルとする場合には、関連元ファイルに関連する関連ファイルは、全て関連元ファイルと一括して削除ができるため、関連度の計算は省略しても良い。ただし、関連ファイルが同時にクライアント要求ファイルであるときや、先読みファイルとされている場合には、削除しないのは既に述べたとおりである。

また、削除対象は実ファイルに限定される。先に述べたように、先読みリストで先読み対象になっているファイルは削除対象から除外される。この例では図６の先読みリスト７００の抽出関連ファイル７０６が参照され、抽出関連ファイル８０４で先読み対象でないことが判別できる。よって、ＦｉｌｅＤとＦｉｌｅＥが削除（仮想化）または先読みキャンセル対象８０５により、削除対象として設定される。

いま、図７の例のように、目標削除容量が１００ＭＢである場合には、ＦｉｌｅＤとＦｉｌｅＥの仮想化により、記憶装置１４０に１００ＭＢの空き容量が確保できる。よって、記憶装置１４０からＦｉｌｅＤとＦｉｌｅＥが削除され、ＦｉｌｅＢとＦｉｌｅＣが記憶される。仮に、ＦｉｌｅＤとＦｉｌｅＥの削除で目標削除容量が達成できない場合には、先読みファイルの下位のファイル（図６の例ではＦｉｌｅＣ）の先読みがキャンセルされる。

＜１２．関連情報の作成＞
図１１は、関連度計算モジュール１２２が関連度情報４１０を生成する処理のフローチャート例を示す。定期または任意で関連度情報４１０を更新する場合に、処理を開始する。

アクセス履歴情報６００を取得する（Ｓ１１０１）。
作成する関連度情報４１０に特定のユーザ・ホストのみなどの指定があるか確認する（Ｓ１１０２）。この指定により、実施例のデータ先読み・削除を適用するユーザ・ホストを指定することが可能である。
特定のユーザやホストのみなどの指定がある場合は、アクセス履歴情報６００を特定のユーザ・ホストでフィルタする（Ｓ１１０３）。
指定が無い、あるいは既にフィルタ済みの場合は、先読み設定情報５００から関連ファイル閾値５０４あるいは関連度を計算するための関数を取得する（Ｓ１１０４）。

以下の処理で、アクセス履歴情報６００のｎ番目のファイル（関連元ファイル）と、ｍ番目のファイルの関連度を順次計算する。ファイル総数をｄとする。
関連元ファイルの番号ｎに１をセットする（Ｓ１１０５）。関連度を計算するファイルの番号にｍに１をセットする（Ｓ１１０６）。

アクセス履歴情報６００のｎ番目とｍ番目の関連度を関連ファイル閾値５０４（あるいは関数）と連続している回数（アクセス頻度）を用いて計算する（Ｓ１１０７）。

例えば、ファイル１からファイル２へのアクセス回数が１００回でファイル１からファイル３へのアクセス回数が１回の場合、ファイル１からファイル２への関連度補正係数１００／１０１、ファイル１からファイル３への関連度補正係数１／１０１を乗算するなどの処理を行う。

ｎ＝ｍの場合は関連度は１００％になるので、ｎ＝ｍの条件の計算は省略してもよい。関連度はアクセスの順序に依存するため、関連元ファイルｎに対するファイルｍの関連度と、関連元ファイルｍに対するファイルｎの関連度は一般に異なる。

次に、ファイル情報のファイルｎにファイルｍの関連度が既に設定されているか確認する（Ｓ１１０８）。既に設定されていれば、計算結果の関連度と現在の関連度を合成（例えば平均をとる）する（Ｓ１１０９）。計算結果の関連度を関連度情報４１０で保持（上書き）する（Ｓ１１１０）。

特定の一つの関連元ファイルｎに対して、全てのファイルｍの関連度を計算したかどうか確認する（Ｓ１１１１）。全てのファイルについて計算していなければ、次のファイルを指定する（Ｓ１１１２）。全てのファイルについて計算していれば、全てのファイルを関連元ファイルｎにしたかどうかを確認する（Ｓ１１１３）。

全てのファイルを関連元ファイルにしていれば、処理を終了する。全てのファイルを関連元ファイルにしていなければ、次のファイルを関連元ファイルに指定する（Ｓ１１１４）。

以上詳細に説明したように、一つの実施例では、Ｅｄｇｅで取得したデータは、基本的に削除せず、クライアントの要求データまたはその関連するデータをＣｏｒｅから取得する際に、容量不足となる場合にデータの削除（仮想化）を行う仕組みを用いる。このとき、先読みで使用する関連情報を用いて、削除するデータも決定する。削除するデータ容量は、容量不足分とする。これにより，先読みデータが所定のアクセス時間を越えていても、容量不足分以上に削除されない。よって、最低限のデータ送受信で最適な先読みを行うことが可能となり、負荷低減、帯域利用料の削減、クライアントのデータ取得の高速化が可能となる。

Ｅｄｇｅノード１００、ＣＰＵ１１０、メモリ１２０、ネットワークインターフェース１３０、記憶装置１４０、ファイル／オブジェクト管理モジュール１２１、関連度計算モジュール１２２、先読み・削除（仮想化）モジュール１２３、ファイル／オブジェクト情報４００、関連度情報４１０、先読み設定情報５００、アクセス履歴情報６００、先読みリスト７００、削除リスト８００

Claims (13)

1. 記憶装置を備え、クライアントの要求に基づいてクライアント要求データを出力するとともに、前記クライアントの要求の前に所定の先読みデータを前記記憶装置に記憶する、情報処理装置であって、
   データのアクセス履歴に基づいてデータ相互の関連度を計算する、関連度計算モジュールと、
   前記クライアント要求データと所定の関連度を有するデータを前記先読みデータとして前記記憶装置に記憶し、また、前記クライアント要求データおよび前記先読みデータの少なくとも一つを前記記憶装置に記憶しようとするときに、前記記憶装置の記憶容量が不足する場合には、前記関連度を用いて前記記憶装置から削除するデータを決定する先読み・削除モジュールと、
   を備え、
   前記先読み・削除モジュールは、
   前記アクセス履歴に基づいて低アクセスデータを抽出し、前記低アクセスデータと所定の関連度を有するデータを低アクセス関連データとして抽出し、前記低アクセスデータおよび前記低アクセス関連データを、前記記憶装置から削除するデータとして決定する、
   情報処理装置。
2. 前記低アクセスデータは、前記アクセス履歴に基づいて一定期間内でのアクセス数が最も低いまたはアクセス時間が最古のデータである、
   請求項１記載の情報処理装置。
3. 前記低アクセスデータあるいは前記低アクセス関連データが同時に前記先読みデータとして前記記憶装置に記憶される予定のデータである場合には、前記記憶装置から削除するデータから除外する、
   請求項１記載の情報処理装置。
4. 前記先読み・削除モジュールは、
   前記先読みデータの少なくとも一つを前記記憶装置に記憶しようとするときには、先読みデータを読み出してくるホストとの間の回線の帯域幅と先読みファイル取得時間を規定した先読み設定情報に基づいて、前記先読みデータの容量を決定する、
   請求項１記載の情報処理装置。
5. 前記関連度は、時間ｔのアクセス間隔を持ってアクセスされる２つのデータの組に対して、単調減少関数f(t)で定義される、
   請求項１記載の情報処理装置。
6. 前記単調減少関数f(t)は、線形関数である、
   請求項５記載の情報処理装置。
7. 特定の第１のデータと特定の第２のデータの組が、一定時間内に複数回アクセスされた場合には、アクセス毎に計算した関連度の平均値を前記第１のデータと前記第２のデータの関連度とする、
   請求項５記載の情報処理装置。
8. 特定の第１のデータと特定の第２のデータの組が、一定時間内に所定回数未満のアクセスしかなかった場合には、前記第１のデータと前記第２のデータの関連度を計算しないか計算しても無効とする、
   請求項７記載の情報処理装置。
9. 前記関連度は、前記クライアント毎、あるいは、前記先読みデータを読み出してくるホスト毎、あるいは、前記クライアントおよび前記ホストの組み合わせ毎に計算される、
   請求項１記載の情報処理装置。
10. クライアントの要求に基づいてクライアント要求データを前記クライアントに提供する情報処理装置のデータ管理方法であって、
    データのアクセス履歴に基づいて計算されるデータ相互の関連度を用い、
    クライアントの要求を契機に、前記クライアント要求データが第１の記憶装置に存在するかどうかを確認する第１のステップと、
    前記クライアント要求データが前記第１の記憶装置に存在しない場合、前記クライアント要求データを第２の記憶装置から前記第１の記憶装置に取得する第２のステップと、
    クライアントの要求を契機に、前記クライアント要求データと所定の関連度を有する先読みデータを抽出する第３のステップと、
    前記先読みデータを前記第２の記憶装置から前記第１の記憶装置に取得する第４のステップと、
    前記クライアント要求データおよび前記先読みデータの少なくとも一つを前記第１の記憶装置に取得しようとするときに、前記第１の記憶装置の記憶容量が不足する場合には、前記関連度を用いて前記第１の記憶装置から削除するデータを決定する第５のステップと、
    を備え、
    前記第５のステップは、
    データのアクセス履歴に基づいて第１の記憶装置に存在する低アクセスデータを特定する第６のステップと、
    前記低アクセスデータと所定の関連度を有する低アクセス関連データを抽出する第７のステップと、
    前記第１の記憶装置から、前記低アクセスデータおよび前記低アクセス関連データを削除する第８のステップと、
    を備える情報処理装置のデータ管理方法。
11. 前記第３のステップでは、先読み可能なデータ容量の制限の下で、前記クライアント要求データと関連度が高いデータを優先的に先読みデータとして抽出し、
    前記第７のステップでは、低アクセスデータと関連度があるデータを全て低アクセス関連データとして抽出し、
    前記低アクセスデータあるいは前記低アクセス関連データが同時に前記第３のステップで前記先読みデータとして抽出されている場合には、先読みデータとしての抽出を優先する、
    請求項１０記載の情報処理装置のデータ管理方法。
12. 前記低アクセスデータは、前記アクセス履歴に基づいて一定期間内でのアクセス数が最も低いまたはアクセス時間が最古のデータである、
    請求項１１記載の情報処理装置のデータ管理方法。
13. 前記関連度は、時間ｔのアクセス間隔を持ってアクセスされる２つのデータの組に対して、単調減少関数f(t)で定義される、
    請求項１０記載の情報処理装置のデータ管理方法。

Images