JP4229626B2 - ファイル管理システム - Google Patents

ファイル管理システム Download PDF

Info

Publication number
JP4229626B2
JP4229626B2 JP2002086607A JP2002086607A JP4229626B2 JP 4229626 B2 JP4229626 B2 JP 4229626B2 JP 2002086607 A JP2002086607 A JP 2002086607A JP 2002086607 A JP2002086607 A JP 2002086607A JP 4229626 B2 JP4229626 B2 JP 4229626B2
Authority
JP
Japan
Prior art keywords
file
data
data storage
access
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002086607A
Other languages
English (en)
Other versions
JP2003280950A (ja
Inventor
泰彦 金政
慶武 新開
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2002086607A priority Critical patent/JP4229626B2/ja
Publication of JP2003280950A publication Critical patent/JP2003280950A/ja
Application granted granted Critical
Publication of JP4229626B2 publication Critical patent/JP4229626B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、コンピュータにおけるファイル管理システムに関するものである。特に、複数のファイルデータ格納装置を有し、それらの格納装置間でファイルデータの動的な再配置を実行することができるファイル管理システムに関する。
【0002】
【従来の技術】
コンピュータに使用されるマルチタスク、マルチユーザー仕様のオペレーティングシステム(OS)は、種々開発されている。これらのOSには、データファイルを管理するファイルシステムが備えられている。このデータファイルは、磁気ディスク、磁気テープ等の格納装置に格納されて管理されている。
【0003】
このデータファイルの一般的な管理形態を図5に示した。図5に示したファイルシステム1は、ホストコンピュータのOSの一部を構成するプログラムであり、ファイルアクセスインタフェース4を通して、ユーザによるデータファイルへのアクセス要求を受け付け、そして、ホストコンピュータにデバイスドライバ2介して接続されている複数の格納装置3にアクセスする。
【0004】
格納装置3には、ユーザデータであるデータファイルの他に、ユーザデータの在り方を管理するメタデータ(iノード)と呼ばれる管理情報が、各格納装置の複数のブロックに離散配置されている。図5では、メタデータとファイルデータの格納状態を格納装置3内に簡単化して示した。複数の格納装置3でディスクプールを構成し、あるいは、RAID構成されている。
【0005】
なお、図5では、ファイルアクセスインタフェース4に、ネットワークファイルシステム(NFS)を採用した場合であり、複数の格納装置3が他のコンピュータとのファイル共有システムに組み込まれている状態を示している。
【0006】
ここで、当該ホストコンピュータのファイルシステム1が、ユーザデータファイルを、複数の格納装置3の内、どの格納装置の何処に格納するかについて全て決定し、その格納状況を認識している。デバイスドライバ2又は格納装置3は、この格納状況を一切認識することができない。そこで、ファイルシステム1がユーザからのアクセス要求を受け付けたときには、ファイルシステム1が要求のあったデータファイルにアクセスし、その結果をユーザに応答する。
【0007】
このようなファイルシステムでは、データファイルを格納する格納装置において、ファイルシステムが認識しているデータファイルの格納場所(論理的格納場所)は、マウントポイント毎に、静的に一意に決まっている。そして、その格納場所では、ファイルのメタデータ(iノード)とファイルデータの両方とも一緒に置かれている。
【0008】
それらが決められた構造で配置されていることによって、格納場所内でのiノードの位置が計算でき、そのiノードに書かれている情報によってファイルデータの位置を知ることができるようになっている。しかし、メタデータの格納場所は、勿論のこと、ファイルデータの格納場所も固定である。
【0009】
【発明が解決しようとする課題】
一方、RAID構成等のディスクアレイ装置では、複数の物理的データ格納装置(物理ディスク)を1つの論理的データ格納装置(論理ディスク)として見せ、それによって論理的なデータ格納場所を変更することなしに、物理的なデータ格納場所を変更することが出来るようになっている。
【0010】
これらの装置をファイルデータ格納場所として用いた場合には、ディスク単位で格納場所を変更することはできるようになる。しかし、格納装置では、格納しているデータをブロック単位でしか認識しておらず、ファイル単位での認識はしていないので、ファイル単位でのデータの移動をすることはできない。
【0011】
上述した従来のファイルシステムでは、ファイルデータの格納場所はマウントポイント毎に静的に決まっており、動的に変更することができない。これよって、以下のような問題点が生じている。
1)ファイルシステムでは、当初使用していた格納場所が一杯になった際に、別の格納場所を利用することができない。
2)ディスクアレイ等、複数の格納場所を利用していて、格納装置間にアクセス頻度の偏りがある場合に、格納場所を再配置してアクセス頻度が均等になるようにすることができない。
3)高速なデータ格納装置と低速なデータ格納装置が混在して使用される場合に、それらのデータ格納装置における性能の差、ファイル毎の重要度やアクセス頻度を考慮して、常に、システム全体としての性能が最高になるように、データを再配置することができない。
【0012】
従来のファイルシステムにRAID構成の格納装置を組み合わせると、RAID構成は、物理的な複数のデータ格納装置を、論理的には1つのデータ格納装置として見せる機能を有するので、ファイルシステムは、複数のデータ格納装置を1つのマウントポイントの為に使用することができる。
【0013】
この組み合わせによると、上記1)で示された問題点は解決される。しかし、2)に示された問題点の原因が、ファイル毎のアクセス頻度の偏りにある場合には、RAID構成による各データ格納装置において、該格納装置のレベルではファイル単位を認識していないので、この方法では対応することができない。また、3)に示した問題点も同様にファイル単位を認識できないと解決することができない。
【0014】
さらに、RAID構成のデータ格納装置では、或るデータ格納装置において、故障が発生した場合に、当該データ格納装置に格納されていたデータを自動復旧させる為には、予め復旧用の予備のデータ格納装置を用意しておくか、予備のデータ格納領域を確保しておく必要がある。これは、データ格納装置の使用効率が悪くなるという問題点を抱えている。
【0015】
そこで、本発明は、複数のデータ格納装置を有するコンピュータにおけるファイル管理システムであって、データファイルに関する管理情報を、データファイルが格納されるデータ格納装置とは別の格納場所に格納して管理するようにして、各データ格納装置間でファイルデータについて動的な再配置を実行することができ、各データ格納装置の使用効率を向上させたファイル管理システムを提供することを目的とする。
【0016】
【課題を解決するための手段】
以上の課題を解決するために、本願発明では、コンピュータにおけるファイル管理システムにおいて、ファイルデータ格納場所の空き情報と、ファイルのメタデータ及びアクセス権情報を管理する管理制御手段と、格納されている前記ファイルデータにアクセスし、該ファイルデータの書換えを行うデータアクセス手段と、複数のデータ格納装置とを備えるようにした。
【0017】
そして、前記ファイルデータと前記メタデータとが異なる前記データ格納装置に格納されるようにし、前記データアクセス手段は、前記データ格納装置に格納された前記ファイルデータへのアクセス要求を受けたとき、当該ファイルデータに係るメタデータの取得を前記管理制御手段に要求し、(1)前記管理制御手段は、前記データアクセス手段から前記メタデータの取得を要求されると、前記データアクセス手段に当該ファイルデータに係るメタデータを送り、(2)前記管理制御手段は、前記データアクセス手段から前記ファイルデータに係るトークンを要求されると、前記データアクセス手段に前記ファイルデータに係るトークンを発行し、(3)ファイルデータの移動時、前記管理制御手段は、前記データアクセス手段から当該ファイルに係るトークンを回収すると、前記データアクセス手段に該ファイルのファイルデータの移動要求を出し、前記データアクセス手段は、前記管理制御手段から取得した前記空き情報に従って、該ファイルのファイルデータを他のデータ格納場所へ移動するようにした。
【0018】
さらに、前記複数のデータ格納装置には、異なるデータアクセス速度のものが含まれ、前記管理制御手段に、ファイル毎に重要度情報が設定されるものである場合に、前記管理制御手段が、前記重要度に応じた前記データアクセス速度の前記データ格納装置を選択して、前記ファイルデータの格納場所を変更することとし、あるいは、前記複数のデータ格納装置には、異なるデータアクセス速度のものが含まれ、前記管理制御手段には、ファイル毎のデータアクセス頻度を計測してアクセス値が保持される場合には、前記管理制御手段が、前記データアクセス頻度に応じた前記データアクセス速度の前記データ格納装置を選択して、前記ファイルデータの格納場所を変更することとした。
【0019】
また、前記複数のデータ格納装置が、RAID構成されているとき、前記データ格納装置の一つに関連した故障が発生した場合、当該データ格納装置に格納されているファイルデータについて、前記管理制御手段は、前記RAID構成によるパリティから復元したファイルデータを、当該他のデータ格納装置内に格納することによりファイル単位にデータ復旧を行うこととした。
【0020】
【発明の実施の形態】
以下に、本発明によるファイル管理システムの実施形態について、図を参照しながら説明する。
【0021】
従来のファイルシステムでは、上述したように、ファイルの管理情報であるメタデータ(iノード)とファイルデータとが同一のデータ格納装置上に置かれていたが、本実施形態のファイル管理システムでは、メタデータ管理機構であるメタデータサーバを設け、格納されているファイルに係るメタデータ(iノード)と、該ファイルデータとを別のデータ格納装置上に配置するようにした。この構成とすることによって、ファイルデータの格納場所が変更されても、当該ファイルに係るメタデータの格納場所は変更されなくなり、他のファイルに係るメタデータの参照に影響を与えないで済むことになる。
【0022】
本実施形態のファイル管理システムでは、さらに、1つのマウントポイントに対して、ファイルデータの格納場所を複数割り当てられるようにした。これは、メタデータの格納場所がファイルデータの格納場所とは別になっており、メタデータの格納場所は1つなので、ファイルデータの格納場所が複数でも、メタデータの参照には影響しない為に実現できる。割り当てられた複数のデータ格納場所の内、どこが使用済みで次にどこを使用すればよいかは、メタデータ管理機構が未使用領域のインデックスを保持するようにして、そのインデックスによって管理する。
【0023】
そして、各ファイルがそれら複数の格納場所の内、どこを使用しているかは、ファイル毎にメタデータ内にその情報を保持している。こうすることによって、複数の格納場所の内、どこを使用しているかをファイル毎に指定できるようになり、その格納場所情報を書き換えることによって、ファイルデータの格納場所を変更できるようになる。
【0024】
ファイルの格納場所の変更について、システムを動作させたままで動的に行う為には、以上の処理を排他的に行わなければならない。ファイルの格納場所を移動している途中で、他のプロセスがそのファイルを参照し、あるいは、更新すると、ファイルの内容の整合性が保てなくなる。
【0025】
そこで、本実施形態のファイル管理システムでは、ファイル毎にトークン(アクセス許可証)を用意し、各データ格納装置にアクセスするデータアクセス機構が、ファイルに対する参照又は更新を行う際には、このトークンを必要とするようにした。このトークンは、メタデータ管理機構で管理されており、データアクセス機構は、必要になったらメタデータ管理機構からこのトークンを獲得する。
【0026】
そして、メタデータ管理機構は、ファイルの格納場所を移動する際には、このトークンを全てデータアクセス機構から回収することによって、データアクセス機構がファイルを参照又は更新しないように、排他的制御を行うことにしている。これによって、ファイルの格納場所の移動を動的に行うことができる。
【0027】
次に、本実施形態のファイル管理システムの実施例について、図1を参照して説明する。図1には、本実施形態のファイル管理システムの概略ブロック構成を示している。
【0028】
図1に示したファイル管理システムでは、図5に示したファイルシステム内に、データアクセス機構としてのアクセスクライアント5と、メタデータ管理機構としてのメタデータサーバ6を配置した。また、ファイルデータとメタデータのデータ格納装置として、ハードディスクを使用している場合を示し、ディスク50乃至54は、アクセスクライアント5によって管理され、ディスク60及び61は、メタデータサーバ6によって管理されている。
【0029】
そして、ディスク50乃至54のそれぞれには、ファイルデータFD01乃至FD43が分散して格納されている。また、ディスク60には、ディスク50乃至54における空き状況を示す空きスペース管理インデックスが、さらに、ディスク61には、ファイルデータFD01乃至FD43に関する管理情報であるメタデータMD1乃至MD4がそれぞれ格納されている。
【0030】
ファイルデータFD01乃至FD43は、ファイル管理システムの都合によって、ディスク内に1つ以上に分割されて格納されている。その分割は、ファイルシステムにおけるブロック単位で行われ、分割された個々をエクステントと呼ぶ。ファイルデータの格納場所情報は、個々のエクステント毎に存在し、そのそれぞれには以下のような情報が記述されている。
・エクステントの先頭ブロックのファイルシステムにおける論理ブロック番号
・エクステントの長さ
・格納ディスクのID
・格納ディスク内での開始位置
このような情報を有するファイルデータは、アクセスクライアント5に接続されたファイルデータ用ディスク50乃至54に格納され、各ファイルのメタデータ(iノード)は、ディスク50乃至54とは別のメタデータ用ディスク61に格納されることを特徴としている。なお、アクセスクライアント5とメタデータサーバ6は、各ディスクとのデータ送受信を、図5のシステムと同様に、デバイスドライバを介して行うが、図1では、簡単化のため、そのディスクドライバを省略した。
【0031】
ここで、メタデータサーバ6とアクセスクライアント5の動作上の役割について整理すると、それぞれ次のようである。
【0032】
〔メタデータサーバの動作〕
1)アクセスクライアント5よりメタデータMD1〜MD4の取得要求がある場合、メタデータ用ディスク61にアクセスして、当該メタデータを読み出し、必要なメタデータをアクセスクライアント5に返す。
2)アクセスクライアント5よりメタデータの更新要求がある場合、メタデータ用ディスク61にアクセスして、当該メタデータを書き換え、その応答をアクセスクライアント5へ返す。
3)アクセスクライアント5より、ファイルデータ用ディスク50乃至54上の新たな領域を使用したいという要求がある場合、メタデータサーバ6自身で管理しているディスク60に格納された空きスペース管理インデックスを参照し、ファイルデータ用ディスクの空きスペースをアクセスクライアント5に通知すると共に、空きスペース管理インデックスを更新し、例えば、当該ディスクの格納スペースに対して「使用中」と記録する。
4)アクセスクライアント5よりトークンの要求がある場合、他のプロセスがトークンを使用していないか確認する。使用していない場合には、トークンを渡す。使用中の場合には、使用しているプロセスにトークンの回収要求を送り、返却された後に、元のトークン要求者に渡す。
【0033】
〔アクセスクライアントの動作〕
1)ユーザよりファイルFD01乃至FD43へのアクセス要求を受け取る。
2)アクセスが必要なファイルに係るメタデータの取得をメタデータサーバ6へ要求する。
3)メタデータサーバ6から受け取った当該メタデータに基づいて、ファイルデータ用ディスク50乃至54にアクセスし、ファイルデータを獲得・更新する。
4)ファイルデータへのアクセスの結果として、当該メタデータの更新が必要な場合には、メタデータサーバ6へ更新要求を送る。
5)ユーザからのアクセス要求に対する応答を返信する。
【0034】
以上のアクセスクライアント5と又データサーバ6の動作については、アクセスクライアント5がオペレーティングシステム組み込みのファイル管理システムにおける場合を説明したが、図5に示したように、NFSサーバとして実現することも可能である。また、アクセスクライアント5とメタデータサーバ6は、別々のコンピュータ上に置かれても構わないし、1台のコンピュータ上に同居されても構わない。さらに、2つのモジュールとして分けないで、1つのモジュールとして一体化したものでも構わない。
【0035】
図1のシステムにおけるデータ格納装置は、磁気ディスクである必要はなく、磁気テープ装置等、他の記憶装置でも構わない。また、図1では、空きスペース管理インデックスが、メタデータMD1乃至MD4とは別のディスク上に格納されているが、メタデータ用ディスク61に一緒に格納されてもよい。
【0036】
次に、図1に示されたファイル管理システムにおいて、所望ファイルデータの格納場所を他の格納場所に移動する場合における処理の流れを、図2を参照して説明する。
【0037】
図2に示したファイル管理システムは、図1に示したシステムと同様であり、同じ部分には、同じ符号が付されている。そして、図中、ファイルデータの移動処理に関わる情報の流れを矢印で示し、その各流れに対して、(a)乃至(h)の符号が付けられている。
【0038】
そこで、情報の流れ(a)乃至(h)に従って、ファイルデータの移動について説明すると、以下のように処理が行われる。
【0039】
(a)メタデータサーバ6が、排他的制御を行うために、アクセスクライアント5から移動するファイルに係るトークンを回収する。図2では、ディスク50に格納されているファイルデータFD01を移動させようとしている。回収されるトークンは、このファイルデータFD01に対するものである。
【0040】
(b)メタデータサーバ6がアクセスクライアント5にファイルデータFD01の移動要求を出す。
【0041】
(c)アクセスクライアント5が、ファイルデータ移動先のディスクの空きスペースを知るために、メタデータサーバ6に空きスペースの獲得を要求する。
【0042】
(d)メタデータサーバ6は、空きスペース獲得要求に基づいて、ディスク60に格納されている空きスペース管理インデックスを参照して、ファイルデータ移動先のディスク内の空きスペースを探す。
【0043】
(e)メタデータサーバ6がアクセスクライアント5に使用されていない空きスペースの格納場所Aを通知する。
【0044】
(f)アクセスクライアント5は、メタデータサーバ6から通知された空きスペースの格納場所AへファイルデータFD01をコピーする。
【0045】
(g)移動先にファイルデータのコピーを完了すると、アクセスクライアント5は、メタデータサーバ6にメタデータの更新を要求する。図2では、ファイルデータFD01に係る管理情報は、ディスク61に格納されているメタデータMD2に記憶されているとした。
【0046】
(h)メタデータサーバ6は、ファイルデータFD01のメタデータMD2の中にある格納場所情報を書き換え、ファイルデータFD01が新しい格納場所Aに格納されたことを記録する。
【0047】
ファイルデータの移動に伴って、前述したような、ファイルデータの格納場所情報を示すメタデータの中で、「格納ディスクのID」と「格納ディスク内での開始位置」が書き換えられる。例えば、ディスク50のIDを0、ディスク52のIDを2とすれば、図2のファイルデータの移動では、「格納ディスクのID」が0から2へ変更される。また、ファイルデータFD01の書込み開始位置が1であり、格納場所Aの位置が2であるとすれば、「格納ディスク内での開始位置」が1から2へと変更される。
【0048】
以上により、ファイル管理システムにおけるファイルデータの移動処理が完了したことになる。
【0049】
図1に示されたファイル管理システムのように構成することにより、ファイル毎にファイルデータ格納場所を動的に自動変更することが可能となる。このシステム構成によると、接続されているデータ格納装置の格納容量が一杯になり、データ格納装置をさらに追加したとき、格納されていたファイルデータを両方のデータ格納装置に均等に分け直す場合等において、データ格納装置の柔軟な運用ができるようになる。
【0050】
また、データ格納装置が古くなった場合に、新しいデータ格納装置を追加して、古いデータ格納装置上のファイルを新しいデータ格納装置上に徐々に移していき、最終的に全てのファイルを新しいデータ格納装置へ移動させてデータ格納装置の交換を行うこともできるようになる。
【0051】
以上では、本実施形態によるファイル管理システムにおいて、複数のデータ格納装置間でのファイルデータが動的に格納場所を変更される基本的な場合を説明してきた。次に、図1に示されたファイル管理システムを利用して、複数のデータ格納装置間でファイルデータについて動的な再配置を実行し、各データ格納装置の使用効率を向上させる場合を説明する。
【0052】
第1の実施例として、複数のデータ格納装置に格納されている各ファイルへのアクセス頻度を考慮し、データ格納装置へのアクセスの偏りが少なくなるように、データ格納装置間でファイルデータを動的に再配置する。
【0053】
そこで、格納されているファイルに対するメタデータ内に、計測された各ファイルのアクセス回数を保持しておく。その他に、マウントポイント毎のアクセス回数と、データ格納装置毎のアクセス回数とをメタデータサーバ6内で保持する。これらアクセス回数を保持しておくと、それらアクセス回数に基づいて、データ格納装置間でアクセス頻度の偏りがどの程度かが求められる。
【0054】
そして、データ格納装置間のアクセス頻度の偏りが判別できるように、予め閾値を設定しておく。例えば、アクセス頻度の高いデータ格納装置を使用しているファイルの中で、平均アクセス頻度との偏りが、設定された閾値以上のファイルを検出する。検出されたファイルをアクセス頻度の低いデータ格納装置へ再配置する。このファイルの再配置に際しては、図2に関連して述べた処理手順(a)乃至(h)に従って、当該ファイルを移動させる。このファイル移動によって、データ格納装置間のアクセス頻度の偏りを、システムの動的状態において均等化することができる。
【0055】
このように、アクセス回数を保持しておくことによって、アクセス頻度の偏りが判別できるので、複数のデータ格納装置間でのアクセス頻度の偏りによる負荷の集中を是正することができ、さらに、負荷の高いシステムにおいて負荷分散によってシステム全体のスループット向上を実現することができる。
【0056】
次に、第2の実施例として、複数のデータ格納装置間で、データアクセス速度が異なり、しかも、各データ格納装置に格納されているファイルの重要度も各々違っている場合について説明する。
【0057】
例えば、磁気ディスク装置のシーク時間等のように、データアクセス速度に違いがある複数のデータ格納装置が混在して使用されている場合がある。そこで、データ格納装置毎のアクセス速度の高低を予めメタデータサーバ6に登録しておく。そして、ファイル毎に、そのファイルの重要度を利用者から登録できるようにしておく。その重要度情報を各ファイルの該当メタデータ内に格納しておく。
【0058】
そして、その重要度に応じて、重要度の高いファイルは、データ配置が決められる際に、優先的にデータアクセス速度の速いデータ格納装置に割り当てられる。重要度の低いファイルには、データアクセス速度の遅いデータ格納装置が割り当てられる。
【0059】
さらに、データ配置後においても、一定期間毎に各ファイルの重要度を見直すようにして、相対的に重要度の高いファイルは、アクセス速度の速いデータ格納装置に、重要度の低いファイルは、アクセス速度の遅いデータ格納装置に再配置される。このファイルの再配置に際しては、図2に関連して述べた処理手順(a)乃至(h)に従って、当該ファイルを移動させる。
【0060】
この移動及び再配置によって、重要度の高いファイルは、アクセス速度の速いデータ格納装置に集中して格納され、重要度の低いファイルは、アクセス速度の遅いデータ格納装置に集められることになる。そのため、低コストのデータ格納装置群を使用しても、重要度の高いファイルに関してはデータアクセス速度を高速にすることができるようになる。
【0061】
同様にして、アクセス速度の速いデータ格納装置と遅いデータ格納装置の混在する環境においても、あまり重要でないファイルほど遅いデータ格納装置に配置し、新しいファイルや重要なファイルを高速なデータ格納装置に配置するようにする。
【0062】
これによって、見かけ上のアクセス性能は、高速なデータ格納装置に近づき、一方、複数のデータ格納装置の全てを高速なデータ格納装置のみで構成するより、コストを安く済ませることができるようになる。また、一般的にアクセス速度が低速なデータ格納装置は消費電力も低いので、省エネも実現できる。
【0063】
また、第2の実施例では、各ファイルの重要度に応じて、ファイルの格納割り当てをデータ格納装置のアクセス速度の高低によって行ったが、第3の実施例として、各ファイルの重要度の変わりに、第1の実施例と同様に、ファイル毎のアクセス回数を考慮した場合を説明する。
【0064】
第2の実施例の場合と同様に、データ格納装置毎のアクセス速度の高低を予めメタデータサーバ6に登録しておく。それと共に、第1の実施例の場合と同様にして、ファイル毎のアクセス回数を記録しておく。そして、一定期間毎に各ファイルのアクセス頻度を調べる。アクセス頻度が予め設定した閾値よりも高い場合には、データアクセス速度の速いデータ格納装置へ移動させ、アクセス頻度が閾値よりも低い場合には、データアクセス速度の遅いデータ格納装置に移動させる。これによって、アクセス頻度の高いファイルはアクセス速度の速いデータ格納装置に集中し、アクセス頻度の低いファイルはアクセス速度の遅いデータ格納装置に集められることになる。
【0065】
この様にして、アクセス速度の速いデータ格納装置と遅いデータ格納装置の混在する環境においても、古くて使われないファイルほど遅いデータ格納装置に配置され、頻繁にアクセスされるファイルは高速なデータ格納装置に配置することができるようになる。
【0066】
各ファイルを、このような配置にすることによって、見かけ上のアクセス性能は高速なデータ格納装置に近づき、一方、データ格納装置全てを高速なデータ格納装置のみで構成するよりも、コストを安くすることができる。また、一般的に、アクセス速度が低速なデータ格納装置ほど消費電力も低くなるので、省エネ効果も向上できる。
【0067】
以上の説明した実施例は、ファイル管理システムに接続された複数のデータ格納装置に、複数のファイルデータがそれぞれ分割して格納されている場合に対してのものであった。そこで、第4の実施例では、ファイル管理システムに接続された複数のデータ格納装置をRAID構成にした場合を示した。
【0068】
図3に、RAID構成にした複数のデータ格納装置を有するファイル管理システムを示した。このファイル管理システムの基本的構成は、図1に示したシステムと同様である。図3において、図1と同様の部分には同じ符号を付した。ファイル管理システムには、5台のデータ格納装置50乃至54が接続されているが、第4の実施例では、データ格納装置であるディスク50乃至54に格納されている複数のファイルデータがRAID5で構成されている。
【0069】
図3に示したファイル管理システムの実施例では、ストライプ数2とパリティ1とによるRAID5で構成されている。各ファイルは、ブロック毎に分割され、各ブロックは、全てのディスクの中のいずれかに格納される。ただし、RAID5の基本概念に基づいて、同一ストライプ内のブロックとパリティは別々のディスクに格納されなければならない。
【0070】
図3の実施例では、例えば、ファイルF0の同一ストライプは、(パリティPF00、ブロックBF00、ブロックBF01)と(パリティPF01、ブロックBF02、ブロックBF03)である。この中のブロック及びパリティが同一ディスク上に置かれると、故障発生時にファイルデータの復旧が不可能となる。これらのブロック配置位置の決定およびパリティ計算およびパリティの更新は、アクセスクライアントが行う。そして、第4の実施例の場合でも、RAID構成されたファイルに対する移動又は再配置には、図2に関連して述べた処理手順(a)乃至(h)を適用できる。
【0071】
そこで、ファイル管理システムに接続されたディスクに装置故障が発生した場合について、図4に示した。図4に示されたファイル管理システムの構成は、図3に示されたシステム構成と同様であり、同じ部分には同じ符号を付してある。そして、ディスク52に関連した部分に装置故障が発生した場合を示している。
【0072】
ここで、図4においては、故障したディスクのブロックの復旧作業を示しており、各ブロックの移動を矢印で示した。ディスク52上に格納されていた各ブロックBF01、BF10、BF03及びBF30は、それぞれ他のディスクの空き領域へ移動される。このときの移動の手順は、上述した処理手順(a)乃至(h)と同様に行われる。
【0073】
各ブロックの移動先のディスクは、同一ストライプ内の他のブロック及びパリティとは異なるディスクであるという条件を満足していれば、どこでも構わない。図4の例では、ブロックBF01とBF10は、ディスク53に、そして、ブロックBF03とBF30は、ディスク54にそれぞれコピーされた状態を示している。これらの結果は、対応するメタデータの管理情報に記録される。
【0074】
この第4の場合では、故障ディスク以外のディスクのどこかに、故障ディスク上に置かれていたファイルデータを格納するだけの空き領域が存在すればよい。また、最大で〔(ディスク数)−(RAIDのストライプ数)−1〕個の装置故障に耐えられることになり、ディスクの使用効率が高まるばかりでなく、対故障性も高くなる。
【0075】
なお、第4の実施例では、RAID5の構成による場合を示したが、本実施形態のファイル管理システムは、RAID5以外のRAID構成の場合にも、同様に適用される。
【0076】
RAID構成によるデータ格納装置が接続されたファイル管理システムにおいては、データ格納装置が故障した際に、RAIDのパリティ情報に基づいてファイルデータを復元でき、その復元したデータをRAIDのストライプに含まれない他のデータ格納装置上の空き領域に格納する。このとき、その新しい格納場所には、上述した処理手順(a)乃至(h)に従って、元の格納場所から復元されたファイルデータを移動し、ファイルの格納場所情報を変更する。これにより、RAIDにおいて格納装置故障が発生した場合に復旧専用のデータ格納装置も復旧専用のデータ格納領域も必要とすることなく、システムの動的状態において、RAIDデータの復旧が実現できる。
(付記1)
ファイルデータ格納場所の空き情報と、ファイルのメタデータ及びアクセス権情報を管理する管理制御手段と、
格納されている前記ファイルデータにアクセスし、該ファイルデータの書換えを行うデータアクセス手段とを有し、
前記管理制御手段は、前記メタデータに含まれるファイルの格納場所情報と前記アクセス権情報に基づいて、前記データアクセス手段のデータアクセスを排他制御して前記ファイルの格納場所の変更を行うことを特徴とするファイル管理システム。
(付記2)
複数のデータ格納装置を有し、
前記ファイルデータと前記メタデータとは異なる前記データ格納装置に格納されていることを特徴とする付記1に記載のファイル管理システム。
(付記3)
前記管理制御手段は、前記データアクセス手段から当該ファイルに係るトークンを回収し、前記データアクセス手段に該ファイルのファイルデータについて、前記空き情報に従って他のデータ格納場所への書換え要求を出すことを特徴とする付記2に記載のファイル管理システム。
(付記4)
前記管理制御手段は、前記データアクセス手段から前記ファイルデータの書換えの完了通知を受けて、前記メタデータを更新することを特徴とする付記3に記載のファイル管理システム。
(付記5)
前記管理制御手段は、前記アクセス情報に含まれるファイルへのアクセス頻度に従って、前記データ格納装置間におけるアクセス頻度を均等化するように、前記ファイルデータの格納場所を変更することを特徴とする付記3に記載のファイル管理システム。
(付記6)
前記複数のデータ格納装置には、異なるデータアクセス速度のものが含まれ、
前記管理制御手段には、ファイル毎に重要度情報が設定されるものであって、
前記管理制御手段は、前記重要度に応じた前記データアクセス速度の前記データ格納装置を選択して、前記ファイルデータの格納場所を変更することを特徴とする付記3に記載のファイル管理システム。
(付記7)
前記管理制御手段は、前記重要度が高いファイルデータを、データアクセス速度が速い前記データ格納装置へ、前記重要度が低いファイルデータを、データアクセス速度が遅い前記格納装置へ格納場所を変更することを特徴とする付記6に記載のファイル管理システム。
(付記7)
前記複数のデータ格納装置には、異なるデータアクセス速度のものが含まれ、
前記管理制御手段には、ファイル毎のデータアクセス頻度を計測してアクセス値を保持するものであって、
前記管理制御手段は、前記データアクセス頻度に応じた前記データアクセス速度の前記データ格納装置を選択して、前記ファイルデータの格納場所を変更することを特徴とする付記3に記載のファイル管理システム。
(付記8)
前記管理制御手段は、前記データアクセス頻度が高いファイルデータを、データアクセス速度が速い前記データ格納装置へ、前記データアクセス頻度が低いファイルデータを、データアクセス速度が遅い前記格納装置へ格納場所を変更することを特徴とする付記7に記載のファイル管理システム。
(付記9)
前記複数のデータ格納装置が、RAID構成されていることを特徴とする付記3に記載のファイル管理システム。
(付記10)
前記データ格納装置の一つに関連した故障が発生した場合、当該データ格納装置に格納されているファイルデータについて、前記管理制御手段は、前記RAID構成によるパリティから復元したファイルデータを、当該他のデータ格納装置内に格納することを特徴とする付記9に記載のファイル管理システム。
(付記11)
前記管理制御手段は、前記データアクセス手段から前記ファイルデータの書換えの完了通知を受けて、前記メタデータを更新することを特徴とする付記10に記載のファイル管理システム。
【0077】
【発明の効果】
以上のように、本発明では、ファイル管理システムが認識しているファイルの格納について、当該ファイルに係る管理情報(メタデータ)とファイルデータとを別々の格納場所とし、管理情報とファイルデータとを分離して管理するようにしたので、ファイル毎にファイルデータ格納場所を動的に自動変更することができ、必要なデータ格納装置の追加あるいは交換等において、複数のデータ格納装置に均等にファイルを分け直すなど、データ格納装置の柔軟な運用ができる。
【0078】
また、複数のデータ格納装置間でのアクセス頻度の偏りによる負荷の集中を簡単に是正することができ、システム全体のスループット向上を実現することができる。
【0079】
さらに、アクセス速度の速いデータ格納装置と遅いデータ格納装置の混在する環境においても、重要度の高いファイルはデータアクセス速度の速いディスクに配置し、重要度の低いファイルはデータアクセス速度の遅いディスクに配置することができるようになり、低コストなデータ格納装置群でも重要度の高いファイルに関してはデータアクセス速度を高速にすることができるようになる。
【0080】
しかも、アクセス速度の速いデータ格納装置と遅いデータ格納装置の混在する環境においても、古くて使われないファイルほど遅いデータ格納装置に配置され、新しいファイルや頻繁にアクセスされるファイルは高速なデータ格納装置に配置することができるようになり、見かけ上のアクセス性能は高速なデータ格納装置に近づき、一方、全てを高速なデータ格納装置のみで構成するよりコストは安く済ますことができ、省エネ化を図ることができる。
【0081】
複数のデータ格納装置を利用したRAID構成においても、装置故障の復旧の為に予備のデータ格納装置や予備のデータ格納領域を用意する必要が無くなり、それによってデータ格納装置の使用効率を向上させることができる。
【図面の簡単な説明】
【図1】本実施形態によるファイル管理システムの構成例を説明する図である。
【図2】ファイルデータの移動に係る処理の手順を説明する図である。
【図3】RAID構成を実現した際のファイルデータの配置を説明する図である。
【図4】RAID構成において、装置故障が発生した場合における復旧処理を説明する図である。
【図5】従来のファイルシステムの構成例を説明する図である。
【符号の説明】
1…ファイルシステム
2…デバイスドライバ
3、50〜54、60、61…データ格納装置
4…ファイルアクセスインタフェース
5…アクセスクライアント
6…メタデータサーバ

Claims (4)

  1. ファイルデータ格納場所の空き情報と、ファイルのメタデータ及びトークンを管理する管理制御手段と、
    格納されている前記ファイルデータにアクセスし、該ファイルデータの書換えを行うデータアクセス手段と、
    複数のデータ格納装置と、を有し、
    前記ファイルデータと前記メタデータは、異なる前記データ格納装置に格納され、
    前記データアクセス手段は、前記データ格納装置に格納された前記ファイルデータへのアクセス要求を受けたとき、当該ファイルデータに係るメタデータの取得を前記管理制御手段に要求し、
    (1)前記管理制御手段は、前記データアクセス手段から前記メタデータの取得を要求されると、前記データアクセス手段に当該ファイルデータに係るメタデータを送り、
    (2)前記管理制御手段は、前記データアクセス手段から前記ファイルデータに係るトークンを要求されると、前記データアクセス手段に前記ファイルデータに係るトークンを発行し、
    (3)ファイルデータの移動時、前記管理制御手段は、前記データアクセス手段から当該ファイルに係るトークンを回収すると、前記データアクセス手段に該ファイルのファイルデータの移動要求を出し、前記データアクセス手段は、前記管理制御手段から取得した前記空き情報に従って、該ファイルのファイルデータを他のデータ格納場所へ移動する
    ことを特徴とするファイル管理システム。
  2. 前記複数のデータ格納装置には、異なるデータアクセス速度のものが含まれ、
    前記管理制御手段には、ファイル毎に重要度情報が設定されるものであって、
    前記管理制御手段は、前記重要度に応じた前記データアクセス速度の前記データ格納装置を選択して、前記ファイルデータの格納場所を変更することを特徴とする請求項1に記載のファイル管理システム。
  3. 前記複数のデータ格納装置には、異なるデータアクセス速度のものが含まれ、
    前記管理制御手段には、ファイル毎のデータアクセス頻度を計測してアクセス値を保持するものであって、
    前記管理制御手段は、前記データアクセス頻度に応じた前記データアクセス速度の前記データ格納装置を選択して、前記ファイルデータの格納場所を変更することを特徴とする請求項1又は2に記載のファイル管理システム。
  4. 前記複数のデータ格納装置が、RAID構成され、
    前記データ格納装置の一つに関連した故障が発生した場合、当該データ格納装置に格納されているファイルデータについて、前記管理制御手段は、前記RAID構成によるパリティから復元したファイルデータを、当該他のデータ格納装置内に格納することによりファイル単位にデータ復旧を行うことを特徴とする請求項1乃至3のいずれか一項に記載のファイル管理システム。
JP2002086607A 2002-03-26 2002-03-26 ファイル管理システム Expired - Fee Related JP4229626B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002086607A JP4229626B2 (ja) 2002-03-26 2002-03-26 ファイル管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002086607A JP4229626B2 (ja) 2002-03-26 2002-03-26 ファイル管理システム

Publications (2)

Publication Number Publication Date
JP2003280950A JP2003280950A (ja) 2003-10-03
JP4229626B2 true JP4229626B2 (ja) 2009-02-25

Family

ID=29233150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002086607A Expired - Fee Related JP4229626B2 (ja) 2002-03-26 2002-03-26 ファイル管理システム

Country Status (1)

Country Link
JP (1) JP4229626B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644239B2 (en) 2004-05-03 2010-01-05 Microsoft Corporation Non-volatile memory cache performance improvement
JP2006079273A (ja) * 2004-09-08 2006-03-23 Sony Corp ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム
US7490197B2 (en) * 2004-10-21 2009-02-10 Microsoft Corporation Using external memory devices to improve system performance
JP4746053B2 (ja) * 2004-12-22 2011-08-10 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 個人データの制御装置及び方法
WO2006131978A1 (ja) * 2005-06-10 2006-12-14 Fujitsu Limited Hsm制御プログラム、装置及び方法
JP4903409B2 (ja) * 2005-09-13 2012-03-28 株式会社日立製作所 管理装置及び管理方法並びにストレージシステム
US20070079086A1 (en) * 2005-09-29 2007-04-05 Copan Systems, Inc. System for archival storage of data
US8914557B2 (en) 2005-12-16 2014-12-16 Microsoft Corporation Optimizing write and wear performance for a memory
JP4699516B2 (ja) * 2006-03-28 2011-06-15 富士通株式会社 名前空間複製プログラム、名前空間複製装置、名前空間複製方法
JP4939152B2 (ja) 2006-09-13 2012-05-23 株式会社日立製作所 データ管理システム及びデータ管理方法
JP5150200B2 (ja) * 2007-10-24 2013-02-20 京セラドキュメントソリューションズ株式会社 情報管理装置
US8631203B2 (en) 2007-12-10 2014-01-14 Microsoft Corporation Management of external memory functioning as virtual cache
JP5782214B2 (ja) * 2008-05-30 2015-09-24 富士通株式会社 情報検索プログラム、情報検索装置および情報検索方法
US7840730B2 (en) * 2008-06-27 2010-11-23 Microsoft Corporation Cluster shared volumes
US9032151B2 (en) 2008-09-15 2015-05-12 Microsoft Technology Licensing, Llc Method and system for ensuring reliability of cache data and metadata subsequent to a reboot
US8032707B2 (en) 2008-09-15 2011-10-04 Microsoft Corporation Managing cache data and metadata
US7953774B2 (en) 2008-09-19 2011-05-31 Microsoft Corporation Aggregation of write traffic to a data store
US8769055B2 (en) 2009-04-24 2014-07-01 Microsoft Corporation Distributed backup and versioning
US8769049B2 (en) 2009-04-24 2014-07-01 Microsoft Corporation Intelligent tiers of backup data
US8935366B2 (en) 2009-04-24 2015-01-13 Microsoft Corporation Hybrid distributed and cloud backup architecture
JP5463899B2 (ja) 2009-12-22 2014-04-09 富士通株式会社 ファイル管理情報記憶装置、ファイル管理情報記憶装置の制御方法、およびファイル管理情報記憶装置の制御プログラム
WO2011121869A1 (ja) * 2010-03-29 2011-10-06 日本電気株式会社 データアクセス場所選択システム、方法およびプログラム
US20120089776A1 (en) * 2010-04-11 2012-04-12 Active Storage, Inc. Systems and methods for raid metadata storage
JP2015069215A (ja) * 2013-09-26 2015-04-13 富士通株式会社 情報処理装置,情報処理システム,制御プログラム及び制御方法

Also Published As

Publication number Publication date
JP2003280950A (ja) 2003-10-03

Similar Documents

Publication Publication Date Title
JP4229626B2 (ja) ファイル管理システム
JP7374939B2 (ja) 分散型ストレージシステム
US9946460B2 (en) Storage subsystem and storage system architecture performing storage virtualization and method thereof
US10825477B2 (en) RAID storage system with logical data group priority
US9069476B2 (en) Method for managing storage system using flash memory, and computer
CN107943867B (zh) 支持异构存储的高性能层次化存储系统
JP5099128B2 (ja) ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法
US8566549B1 (en) Synchronizing performance requirements across multiple storage platforms
JP4115093B2 (ja) 計算機システム
US5881311A (en) Data storage subsystem with block based data management
US6564228B1 (en) Method of enabling heterogeneous platforms to utilize a universal file system in a storage area network
JP3541744B2 (ja) ストレージサブシステム及びその制御方法
JP4862006B2 (ja) 計算機システム
US9323682B1 (en) Non-intrusive automated storage tiering using information of front end storage activities
EP1876519A2 (en) Storage system and write distribution method
EP1653359A2 (en) Data duplication operations in storage networks
JP2007323224A (ja) フラッシュメモリストレージシステム
CN102023813A (zh) 在动态页重新分配存储系统中的应用和层配置管理
JP2009043030A (ja) ストレージシステム
JP2005242690A (ja) ストレージサブシステムおよび性能チューニング方法
CN111857540B (zh) 数据存取方法、装置和计算机程序产品
US8954666B2 (en) Storage subsystem
US20220365692A1 (en) Techniques for storage management
JP2006331458A (ja) ストレージサブシステムおよび性能チューニング方法
US10552342B1 (en) Application level coordination for automated multi-tiering system in a federated environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081202

R150 Certificate of patent or registration of utility model

Ref document number: 4229626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees