JP5514903B2 - ファイルレベル階層ストレージ管理システム、方法、及び装置 - Google Patents

ファイルレベル階層ストレージ管理システム、方法、及び装置 Download PDF

Info

Publication number
JP5514903B2
JP5514903B2 JP2012517939A JP2012517939A JP5514903B2 JP 5514903 B2 JP5514903 B2 JP 5514903B2 JP 2012517939 A JP2012517939 A JP 2012517939A JP 2012517939 A JP2012517939 A JP 2012517939A JP 5514903 B2 JP5514903 B2 JP 5514903B2
Authority
JP
Japan
Prior art keywords
file
storage area
migration
access
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012517939A
Other languages
English (en)
Other versions
JP2013506889A (ja
Inventor
敦之 須藤
昌忠 高田
仁志 亀井
伸光 高岡
隆裕 中野
明男 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2013506889A publication Critical patent/JP2013506889A/ja
Application granted granted Critical
Publication of JP5514903B2 publication Critical patent/JP5514903B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164File meta data generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/185Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、異なる特性を持つストレージ記憶領域を用いてファイルを格納するファイルサービス提供装置、システム、及び方法に関する。
複数のクライアント計算機(以後、単にクライアントと呼ぶ)のファイルを格納するために、NAS(Network Attached Storage)又はファイルサーバと呼ばれる装置が一般化している。ファイルサーバはブロックレベルでアクセス可能なストレージシステムにリードやライトを行うことで、クライアントが生成したファイルを格納する。
さらに近年は、膨大なファイルをファイルサーバに格納することが必要になる一方で、記憶容量あたりの単価を軽減することが望まれている。特許文献1は、ファイルレベルのリード及びライトを処理可能なコントローラ(上記ファイルサーバに該当)に、高速なストレージと低速なストレージが接続され、高速なストレージに格納したファイルで一定時間アクセスが無いファイルについてはクライアントからのアクセス方法を変えずに低速なストレージに移行する技術が開示されている。以後、本技術をファイルレベル階層ストレージ管理技術と呼ぶ。
特許第4409521号
特許文献1に開示の技術では移行対象となるファイルを選択するために、コントローラが管理する全てのファイルについて更新日時又は参照日時の参照が必要であったため、膨大なファイルをファイルサーバが管理する場合は移行対象ファイルの選択時間が長時間化する。
本発明は、移行対象ファイルの決定時間を短縮することを目的とする。
かかる目的を達成するため本発明においては、クライアント計算機と、第一の記憶領域と第二の記憶領域とを提供するストレージシステムと、前記クライアント計算機と前記ストレージシステムとに接続されたファイルサービスシステムと、を有する計算機システムにおいて、前記第一の記憶領域の性能は前記第二の記憶領域の性能より優れ、前記ファイルサービスシステムは、それぞれ対応する異なる期間内に前記クライアント計算機からアクセスされたファイルが記載された複数の部分アクセスファイルリストを含むアクセスファイル情報を管理し、ファイルメタ情報及びファイルデータをそれぞれ含む一又は複数のファイルを前記第一の記憶領域に格納し、前記ファイルメタ情報は、対応する前記ファイルデータに対する前記クライアント計算機からの最終アクセス時間を含み、前記ファイルサービスシステムは、予め定められた移行ポリシー情報を満足する前記部分アクセスファイルリストを少なくとも一つ選択し、前記ファイルメタ情報に含まれる前記最終アクセス時間に基づいて、選択した少なくとも一つの前記部分アクセスファイルリストに記載された前記ファイルの中から移行候補のファイルを選択し、前記ファイルサービスシステムは、前記移行候補のファイルを前記第一の記憶領域から前記第二の記憶領域へ移行するようにした。
また本発明においては、第二の記憶領域と、前記第二の記憶領域の性能よりも優れた性能である第一の記憶領域と、を提供するストレージシステムに接続されたファイルサービスシステムによってファイルサービスを提供する方法において、それぞれ対応する異なる期間内にクライアント計算機からアクセスされたファイルが記載された複数の部分アクセスファイルリストを含むアクセスファイル情報を管理する第一のステップと、ファイルデータと、当該ファイルデータに対する前記クライアント計算機からの最終アクセス時間を含むファイルメタ情報とをそれぞれを含むファイルを前記第一の記憶領域に格納する第二のステップと、予め定められた移行ポリシー情報を満足する部分アクセスファイルリストを少なくとも一つ選択し、前記ファイルメタ情報に含まれる前記最終アクセス時間に基づいて、選択した少なくとも一つの前記部分アクセスファイルリストに記載されたファイルの中から移行候補のファイルを選択する第三のステップと、前記移行候補のファイルを前記第一の記憶領域から前記第二の記憶領域へ移行する第四のステップとを設けるようにした。
さらに本発明においては、ファイルサービスシステムにおいて、クライアント計算機と、第一の記憶領域及び第二の記憶領域を提供するストレージシステムと、接続するインターフェースと、前記インターフェースと接続するプロセッサと、それぞれ対応する異なる期間内に前記クライアント計算機からアクセスされたファイルが記載された複数の部分アクセスファイルリストを含むアクセスファイル情報が格納され、前記プロセッサに接続されたメモリとを設け、前記第一の記憶領域の性能は前記第二の記憶領域の性能より優れ、前記プロセッサは、ファイルメタ情報及びファイルデータをそれぞれ含む一又は複数のファイルを前記第一の記憶領域に格納し、前記ファイルメタ情報は、対応する前記ファイルデータに対する前記クライアント計算機からの最終アクセス時間を含み、前記プロセッサは、移行ポリシー情報を満足する前記部分アクセスファイルリストを少なくとも一つ選択し、前記ファイルメタ情報に含まれる前記最終アクセス時間に基づいて、選択した少なくとも一つの前記部分アクセスファイルリストに記載された前記ファイルの中から移行候補のファイルを選択し、前記プロセッサは、前記移行候補のファイルを前記第一の記憶領域から前記第二の記憶領域へ移行するようにした。
本発明によれば、ファイルレベル階層ストレージ管理技術を適用したファイルサーバまたはファイルサーバに接続された計算機による移行対象ファイルの決定時間を短縮することができる。
図1は、本発明の第一の実施例を実現するシステムのブロック図である。 図2は、本発明の第一の実施例のファイルサーバのハードウェア構成を示すブロック図である。 図3は、本発明の第一の実施例のファイルサーバのメモリに格納されたプログラム及び情報を示すブロック図である。 図4は、本発明の第一の実施例で設定するファイル移行ポリシーの例を示す図である。 図5は、本発明の第一の実施例のファイル更新イベント設定の例を示す図である。 図6は、本発明の第一の実施例のプログラムが出力する部分ファイルリストの例を示す図である。 図7は、本発明の第一の実施例で扱うファイルの概念を示す図である。 図8は、本発明の第一の実施例のファイル移行設定を行う管理プログラムの処理フロー図である。 図9は、本発明の第一の実施例のファイル移行を行うファイル移行プログラムの処理フロー図である。 図10は、本発明の第一の実施例のファイルシステムイベント通知を設定するプログラムの処理フロー図である。 図11は、本発明の第一の実施例のファイルアクセスおよびファイルシステムイベント通知プログラムの処理フロー図である。 図12は、本発明の第一の実施例の部分ファイルリスト作成プログラムの処理フロー図である。 図13は、本発明の第一の実施例のファイルクローリングプログラムの処理フロー図である。 図14は、本発明の第一の実施例のファイル移行設定を行う管理プログラムの設定画面例を示す図である。 図15は、本発明の概要を示す第一の模式図である。 図16は、本発明の概要を示す第二の模式図である。 図17は、本発明の概要を示す第三の模式図である。 図18は、本発明の第二の実施例を示す図である。
以下図面について、本発明の一実施の形態を詳述する。
なお、以後の説明では「aaaテーブル」、「aaaリスト」、「aaaDB」、「aaaキュー」等の表現にて本発明の情報を説明するが、これら情報は必ずしもテーブル、リスト、DB、キュー、等のデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために「aaaテーブル」、「aaaリスト」、「aaaDB」、「aaaキュー」等について「aaa情報」と呼ぶことがある。
さらに、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ID」という表現を用いるが、これらについてはお互いに置換が可能である。
以後の説明では「プログラム」を主語として説明を行う場合があるが、プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポート(通信制御装置)を用いながら行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は管理サーバ等の計算機、情報処理装置が行う処理としてもよい。また、プログラムの一部または全ては専用ハードウェアによって実現されてもよい。
また、各種プログラムはプログラム配布サーバや記憶メディアによって各計算機にインストールされてもよい。
図1は、本発明を実施する計算機システムのハードウェア構成図である。
ファイルサーバ101は、ファイルアクセスサービスをクライアント104に提供する。ファイルアクセスサービスは、NFS(Network File System)やCIFS(Common Internet File Service)などのプロトコルにより、ファイル単位のデータ格納や読み出しを可能にする。ファイルサーバ101とクライアント104は、Ethernet(登録商標)などのネットワークインタフェースを経由して接続する。クライアント104は、PCやサーバなどであり、複数存在してもよい。なお、クライアント104とファイルサーバ101との接続形態は図1では直接接続形態を例示しているが、スイッチやルータ等のネットワーク装置を介した接続形態であってもよい。
ファイルサーバ101は、ストレージサブシステム102およびストレージサブシステム103にデータを格納する。ファイルサーバ101とストレージサブシステム102及びストレージサブシステム103との間は、SCSIやFCなどのブロックアクセス形式のストレージプロトコルにより通信される。なお、図1はファイルサーバ101とストレージサブシステム102及びストレージサブシステム103とは直接接続形態を例示しているが、スイッチやルータ等のネットワーク装置を介した接続形態であってもよい。
ストレージサブシステム102およびストレージサブシステム103は、ファイルサーバ101と接続するインタフェースを持ち、データを格納するためのディスク装置やテープ装置などを持つ。また、ストレージサブシステム102およびストレージサブシステム103がファイルアクセスサービスを提供し、ファイルサーバ101がクライアントとしてアクセスする接続する形態でもよい。なお、本願発明においては必ずしも装置として複数のストレージサブシステムが存在する必要はなく、特性の異なる複数の記憶領域を提供できるのであれば、一つの装置であってもよい。従って、以後の説明では特性の異なる第一の記憶領域と第二の記憶領域を提供する一つ以上の装置をまとめてストレージシステムと呼ぶことがある。
ファイルサーバ101が実現する階層ストレージ管理は、ストレージサブシステム102およびストレージサブシステム103の間でファイルを移行する。なお、ファイルサーバ101は複数の計算機で構成してもよい。
管理コンソール105は、ファイルサーバ101が提供するファイルアクセスサービスの設定やファイルサーバ101が提供する階層ストレージ管理の設定を行う計算機、即ち管理計算機である。ファイルサーバ101と管理コンソール105との間は、クライアント104と同様にネットワークインタフェースを経由して接続し、Webブラウザなどを管理コンソール105で実行して設定を行う。なお、ファイルサーバ101は管理コンソール105を兼ねてもよい。同様にクライアント104が管理コンソール105であってもよい。
以後、クライアント104に対してファイルサービスを提供するための一つ以上の計算機の集合をファイルサービスシステムと呼ぶことがある。ファイルサーバ101が管理コンソール105を兼ねる場合は、ファイルサーバ101自体がファイルサービスシステムである。
図2は、ファイルサーバ101のハードウェア構成を表す図である。
ファイルサーバ101は、プログラムやデータを一時的に格納するメモリ204およびメモリ204上に格納されたプログラムの実行を処理するCPU201を持つ。また、クライアント104や管理コンソール105と接続するネットワークインタフェース202およびストレージサブシステム102,103と接続するストレージインタフェース203を持つ。なお、ネットワークインタフェース202及びストレージインタフェース203はネットワークインタフェース202又はストレージインタフェース203を共用してもよく、またこのような共用インタフェースをファイルサーバ101が複数含んでもよい。
なお、メモリ204は半導体メモリであったり、ディスク装置であってもよく、これらを混在させてもよい。さらに、ストレーサブジシステム102,103が提供する記憶領域をメモリ204のスワップ領域として利用してもよい。
図3は、ファイルサーバ101のメモリ204に格納されるプログラム及び情報を示した図である。
メモリ204は、ファイルアクセスサービスおよびストレージサブシステムへのデータ格納を行うOS(Operating system)230を格納する。OS230は、ファイルアクセスサービスを行うファイル共有サービスプログラム231、ファイルの管理を行うファイルシステムプログラム232、ブロックリードまたはブロックライトリクエストをストレージサブシステム102,103に対して行うためのストレージ管理プログラム233から構成する。
クライアント104からのファイルアクセスリクエストは、ファイル共有サービスプログラム231が受信し、ファイルシステムプログラム232への要求に変換する。その要求を受けたファイルシステムプログラム232は、ストレージ管理プログラム233に対して処理を行い、ファイル共有サービスプログラム231に対して応答を返す。さらに、ファイル共有サービスプログラム231は、クライアント104に対して要求に対するデータの返信や、要求に対する処理完了通知などを行う。このようにファイルアクセスサービスは実現される。
なお、ファイルアクセスリクエストの種別は、ファイルリードリクエスト、ファイルライトリクエスト、ファイル削除リクエスト、ファイル生成リクエスト、ファイル名(正確にはファイルのパス名)の変更リクエスト、ファイルアクセス権限の変更リクエスト、ファイル所有者の変更リクエスト、ディレクトリに対する作成、変更、削除リクエストがある。しかし、ファイルアクセスリクエストとしてこれら全てを必ず処理可能である必要はなく、またこれら以外のリクエストをファイルアクセスリクエストの一種別としてもよい。
なお、ファイルシステムとは、ストレージサブシステム102,103の記憶領域にメタ情報を用いてファイルデータを格納可能とするようデータ構造化された記憶領域を指す。以後の説明では、ファイルをファイルシステムに格納する、作成する、と表現した場合、より具体的には、ファイルデータをファイルシステムの実態である記憶領域に書き込み、メタ情報を更新することを指す。反対にファイルシステムからファイルを参照する場合は、メタ情報を参照することで、ファイルシステムの実態である記憶領域上のファイルデータが格納されたアドレスを特定し、ファイルシステムプログラム232が実態である記憶領域からファイルデータを読み込み、要求元へ当該データを送信する。なお、メタ情報は記憶領域に格納されるほか、処理の高速化のためにファイルサーバ101のメモリ204にキャッシングされる場合がある。なお、キャッシングはファイルデータに対しても行われる場合がある。
なお、以後の説明では説明を容易にするために、クライアント104から指定されるいわゆる外部的なパス名と、ファイルサーバ101が内部的に管理するいわゆる内部的なパス名とは区別せずに説明している。しかし、実際にはファイル共有サービスプログラム231が、クライアント104から指定されるファイルのパス名(いわゆる外部的なパス名)を一定の変換を行うことでいわゆる内部的なパス名に変換し、ファイルシステムプログラム232への要求で指定している。そのため、クライアント104から送信されるリクエストで指定されるパス名は外部的なパス名と読み替えてもよく、ファイルサーバ101の内部で用いているパス名は内部的なパス名と読み替えてもよく、管理コンソール105への表示または入力については外部的なパス名または内部的なパス名のどちらに読み替えてもよい。なお、当然ではあるが、外部的なパス名と内部的なパス名が同じであってもよい。
メモリ204は、ファイルレベル階層ストレージ管理を行うファイル移行プログラム210と、移行するファイルを抽出するファイル抽出プログラム220を保持する。
ファイル移行プログラム210は、複数のサブプログラムを含み、ファイル移行ポリシーテーブル214を参照しつつ処理を行う。
ファイル移行管理サブプログラム211は、ファイルレベル階層ストレージ管理の設定を行う機能を提供する。当該ファイル移行管理サブプログラム211は、ユーザから管理コンソール105を通じて、ファイルの移行を行うディレクトリや、移行するファイルの条件、いつファイルを移行するかのスケジュールを設定すると、その設定をファイル移行ポリシーテーブル214に格納する。さらに、これらの設定に基づいて、ファイル抽出プログラム220やファイル移行サブプログラム212の動作を設定する。ファイル移行ポリシーテーブル214の内容については図4で、ファイル移行管理サブプログラム211の詳細は図8で、ファイル移行管理サブプログラム211で設定する内容は図14で説明する。
ファイル抽出プログラム220は、ファイルシステムから移行対象となるファイルを抽出する。抽出するファイルの条件は、ファイル移行管理サブプログラム211がファイル移行ポリシーテーブル214に格納した情報を元に行う。設定情報は、ファイルシステムプログラム232が参照するイベント通知テーブル234に対して設定する。ファイルシステムプログラム232は、イベント通知テーブル234に設定されたイベントについて、ファイル抽出プログラム220にファイルとイベントを通知する。通知を受けたファイル抽出プログラム220は、部分アクセスファイルリスト301(以後、単に部分ファイルリストと呼ぶことがある)に登録する。部分アクセスファイルリスト301は、ファイル移行ポリシーテーブル214に格納された条件やスケジュールに応じて複数作成することがある。ファイルのメタ情報については図7で、部分アクセスファイルリスト301については図6で説明する。なお、一つ以上の部分アクセスファイルリスト301をグループ化した情報をアクセスファイルリストと呼ぶ場合がある。なお、アクセスファイルリスト及び部分アクセスファイルリストは、ストレージシステムのいずれかの記憶領域に格納してもよく、さらにストレージシステムにクライアント104からアクセス可能なファイルとして格納してもよい。
ファイル移行サブプログラム212は、ファイル抽出プログラム220が出力した部分アクセスファイルリスト301の内容に基づいて、ファイル移行の処理を行う。ファイル移行サブプログラム212は、部分ファイルリスト301に保存されているファイルについて、ファイル移行ポリシーテーブル214の条件に合うかを判定し、条件があえばファイルのストレージサブシステム102,103間の移行を行う。ファイル移行サブプログラム212の動作は、図9で説明する。
ファイルクローリングサブプログラム213は、移行対象候補のファイル全てについて、ファイル移行ポリシーテーブル214の条件に合うファイルを判定して、ファイルの移行を行う。新たにファイル移行ポリシーテーブル214に条件を追加したり、既存のファイル移行ポリシーが変更された場合に動作する。ファイルクローリングサブプログラム213の動作は、図13で説明する。
次に、本発明の概要について述べる。
本発明では移行対象ファイルをファイルサービスシステムが選択するために、クライアント104からのアクセスリクエストを受信するファイルサーバ101にて、アクセス対象となったファイルの識別子(例えばファイル名やパス名)をアクセスファイルリストに記録し、その後の移行対象ファイルを選択する際に用いる。このときの決定方法の一つとしてはアクセスファイルリストに記録されていないファイル、より具体的にはユーザが設定した過去の時間より前のファイルを移行させたいのであれば、前述の過去の時間より新しい時間に識別子が記録されていないファイル、を移行対象とする方法が考えられる。
しかし、当該方法では移行元のストレージサブシステム102の記憶領域の全てのファイルのメタ情報へのアクセスは必要としないが、アクセスされたファイル数が少ない場合はメタ情報へのアクセスが必要なファイル数が多くなる。
図15乃至図17は以後詳細に説明する移行対象ファイルの選択処理の概要を示した図である。なお、本概要では条件例として、閾値時間を10日として、ファイルサーバ101に生成または更新された時間が現在時間から閾値時間だけ遡った時間より前であるファイルを、高性能な記憶領域を提供するストレージサブシステム102から低性能だが大容量の記憶領域を提供するストレージサブシステム103へ移行する例を示している。この条件例は言い方を変えると、現在時間から過去10日以内に作成または更新されたファイルはストレージサブシステム102に残すとも言える。なお、当然ながら、移行対象の条件はこれ以外であってもよく、また記憶領域の特性として性能を例としたが、信頼性等他の特性であってもよい。なお、図中のctimeとは少なくともファイルの最終作成または更新時間を指す(より正確な定義は後ほど示す)。さらに、記憶領域の特性としての性能の一例は単位時間当たりに処理可能なブロックリード要求または、ブロックライト要求の数またはデータ量である。
図15は12月1日の0:00から23:59(より具体的には12月2日の0:00ちょうど未満)までに行われた計算機システムの動作例である。本図では、ファイルサーバ101はクライアント104から以下のライトリクエストを受信し、ストレージサブシステム102の記憶領域へファイルを格納する。
* 12月1日の8:00に受信したファイルAのライトリクエスト。リクエストを処理した結果、ファイルサーバ101は、ストレージサブシステム102の記憶領域にファイルAのファイルデータとctimeが12月1日の8:00であることを示すメタ情報とを格納する。
* 12月1日の20:00に受信したファイルBのライトリクエスト。リクエストを処理した結果、ファイルサーバ101は、ストレージサブシステム102の記憶領域にファイルBのファイルデータとctimeが12月1日の20:00であることを示すメタ情報とを格納する。
そして、ファイルサーバ101はメモリ204またはストレージサブシステム102またはストレージサブシステム103の記憶領域にアクセスされたファイルの識別子を記録する。なお、本例ではファイルの識別子を記録するファイルは各期間ごと(本例では1日単位)に部分アクセスファイルリスト301を作成してそこに記録を行う。なお、各部分アクセスファイルリスト301に対応する期間は同じ期間長である必要は無い。本図の場合は、12月1日を期間とした部分アクセスファイルリスト301にファイルA及びファイルBの識別子を格納する。
図16は12月2日の0:00から12月11日の23:59(より具体的には12月12日の0:00ちょうど未満)までに行われた計算機システムの動作例である。本図でファイルサーバ101が受信したアクセスリクエストは以下の通りでである。
* 12月4日の16:00に受信したファイルCのライトリクエスト。リクエストを処理した結果、ファイルサーバ101は、ストレージサブシステム102の記憶領域にファイルCのファイルデータとctimeが12月4日の16:00であることを示すメタ情報とを格納する。
* 12月8日の12:00に受信したファイルAのライトリクエスト。ファイルAは既に存在するため、リクエストを処理した結果、ファイルサーバ101は、ストレージサブシステム102の記憶領域に格納済みのファイルAのファイルデータをライトデータで更新し、さらにctimeが12月8日の12:00であることを示すようにメタ情報を更新する。
さらに、ファイルサーバ101は図15と同様にアクセスされたファイルの識別子を記録する。本図では12月4日を期間とする部分アクセスファイルリスト301にファイルCの識別子を格納し、12月8日を期間とする部分アクセスファイルリスト301にファイルAの識別子を格納する。
図17は、移行対象ファイルを決定する時間である12月12日の0:00における計算機システムの状態と、移行ファイルの決定処理の概要を示す。
(Step1)ファイルサーバ101は、現在時間から閾値時間だけ遡った時間(本例では12月2日の0:00)より前の期間に対応する部分アクセスファイルリスト301を選択する。本図では12月1日の部分アクセスファイルリスト301が選択された。
(Step2)ファイルサーバ101は、Step1で選択された部分アクセスファイルリスト301が示すファイル識別子を取得する。本図ではファイルAとファイルBの識別子が取得された。
(Step3)ファイルサーバ101は、Step2で取得したファイル識別子が示すファイルのメタ情報を参照し、ctimeが前述の現在時間から閾値時間だけ遡った時間より閾値の時間より前であるファイルを選択する。本図ではファイルAのctimeは12月8日の12:00で、実際には12月1日より後に更新されたことを検知したため選択せず、ファイルBのみを選択する。
(Step4)ファイルサーバ101は、Step3で選択したファイルをストレージサブシステム102からストレージサブシステム103へ移行する。
なお、ファイル移行の条件は閾値時間以外の追加条件も指定することがある。そのため、ファイルサーバ101以外の計算機が移行対象のファイルを選択してもよい。なお、この場合は、閾値時間だけを考慮したファイル選択をファイルサーバ101で行って、当該別な計算機に通知し、さらに当該別な計算機が追加条件に対する各通知されたファイルの適合性を確認し、ファイル移行リクエストをファイルサーバ101へ送信してもよい。また、ファイルサーバ101は部分アクセスファイルリスト301を当該別な計算機に提供することで当該別な計算機に移行対象ファイルの選択を行わせてもよい。
なお、上記移行対象ファイルの選択処理はユーザが定めた繰り返し実行条件に基いて繰り返し行われる。しかし、仮にこの条件が変更されたとしても部分アクセスファイルリスト301を再生成する必要はない。別な言葉で表現すると、最新期間以外の部分アクセスファイルリスト301は上記条件の更新前後で内容が同じであるとも言える(最新期間の部分アクセスファイルリスト301は随時更新されるため上記条件前後で内容が同じとは限らない)。
なお、ファイルサーバ101のメモリ204を用いてメタ情報のキャッシングを行う場合があるため、Step3の処理でメタ情報を参照する場合は最初にメモリ204を参照してもよい。
なお、本概要でいうところの現在時間とは、移行対象ファイルを決定する計算機または処理が閾値時間を評価する上で現在時間とみなした時間であれば、どの計算機のクロックのどの時点で取得した時間でもよい。例えば、移行対象ファイルを決定する処理がオペレーティングシステムのプロセススケジューリングによって一時的に停止することもあり、その場合、Step1の前で計算機クロックから現在時間を取ったとしてもそれはStep2乃至4を処理する時点では厳密には現在時間とはいえない。また、クライアント104、ファイルサーバ101、ストレージサブシステム102及び103はそれぞれ計算機として独自のクロックを持っているため、厳密に考えると同じ瞬間であってもクロックが指し示す時間はずれている。これはNTP(Network Time Protocol)等を用いた場合も発生し得る。
ただし、ファイル移行を高性能な記憶領域から低速な記憶領域を移行する場合、もし現在時間から閾値時間だけ昔の時間(本例では12月2日の0:00)より最近に更新されたファイルを高性能な記憶領域から低性能な記憶領域へファイル移行させてしまうと、ユーザの視点からは予期せぬアクセス性能低下が発生したように見えてしまう。極端な例ではあるが、ファイルサーバ101のクロックが1日程度ずれていて、実際には12月11日の0:00にファイルサーバ101は12月12日の0:00だと勘違いしてStep1乃至Step4を実行してしまうと、ファイルBは本来は12月12日の0:00まで高性能なアクセスが可能であったにも関わらず1日前にアクセス性能が低くなってしまう。
こうした状況を回避するために、Step1乃至Step3の判断を行う閾値時間を定められたマージンを加える又は掛け合わせて実際に評価する閾値時間を長めに設定してもよい。
以上が本発明の概要である。
図4は、ファイル移行ポリシーテーブル214の内容を示す図である。
ファイル移行ポリシーテーブル214には、複数のファイル移行ポリシー(前述の移行条件に該当する)が登録可能である。それぞれのポリシーには、ポリシーを適用するディレクトリと、ファイルを移行する条件、ファイルの移行を行うスケジュールを設定する。
図4の411から414までと、421から424までとはそれぞれがファイル移行ポリシーを構成する。
411、421は、ファイル移行ポリシーの対象となるディレクトリのパス名が設定される。411は、ファイル移行ポリシーの対象ディレクトリが/mnt/fs1であることを、414はファイル移行ポリシーの対象ディレクトリが/mnt/fs2であることが設定されている。
412、413、422、423は、ファイル移行ポリシーの条件が設定されている。
ディレクトリのパス名411については、条件412、413が設定される。条件412はctimeが現在時間から1ヶ月以上前のファイルを移行することが設定されている。条件413は、ファイルの拡張子がpdfであるファイルを移行することが設定されている。このように、複数の条件を設定し、その全ての条件を満たすファイルを移行対象とすることが出来る。複数の条件いずれかを満たすファイルを移行対象とする場合、あるディレクトリのパス名について、複数のマイグレーションポリシーを設定すればよい。
ディレクトリのパス名421については、条件422、423が設定される。条件422は、atime(ファイルの最終アクセス時間)が1週間以上前のファイルを移行することが設定されている。条件423は、ファイルのサイズが10MB以上のファイルを移行対象とすることが設定されている。
なお、ctime(ファイルの最終更新時間)はUnix(登録商標)に於いては、ファイルの作成または更新のほか、(1)ファイル名、(2)ファイルサイズ、(3)ファイルへのアクセス権限、(4)ファイル所有者、のいずれかの変更を行った際も、その際の時間に更新されるため、ctimeによる閾値時間を判断する場合は部分アクセスファイルリストにはこれらの変更を行う時のファイルの識別子も格納してもよい。なお、ファイルが作成または更新された最終時間を示す情報としてUnix(登録商標)ではmtimeという情報をメタ情報に持つが、本願発明がmtimeにも適用可能なことは明らかである。
なお、本明細書ではパス名はファイルシステムプログラム232が管理するファイルシステムにおいて、一意にファイルを特定するために必要な情報としてディレクトリ名及びファイル名を含む情報である。また、ファイル名はファイルが存在する親ディレクトリ内において、一意にファイルを特定可能な情報である。そのため、あるファイルが格納されている親ディレクトリの名前を変更するとパス名は変更されるが、ファイル名は変わらないということが発生する。
移行対象のファイルは、これらファイルの更新時間、ファイルの拡張子(ファイル名に含まれるものとしてもよい)、ファイルの最終アクセス時間、ファイルのサイズ以外にも、ファイルのパス名やファイルのアクセス制御情報など、さまざまな属性を設定することが可能である。
414と424はファイルの移行を実行するスケジュールが設定される。
414は、毎週土曜日にファイルの移行を実行することが設定されている。また、424は、毎月1日にファイルの移行を実行することが設定されている。この条件に従い、ファイル抽出プログラム220は部分アクセスファイルリスト301を作成する。図4の例の場合、ファイル抽出プログラム220は、/mnt/fs1に格納されたファイルの部分アクセスファイルリスト301と、/mnt/fs2に格納されたファイルの部分アクセスファイルリスト301とを作成する。
なお、ファイル移行ポリシーの条件は、ctimeまたはatimeについての評価条件として、上述の閾値時間(以後、マイグレーション閾値時間と呼ぶ場合がある)が設定できればよい。なお、これまで述べたとおり、マイグレーション閾値時間は現在時間から当該時間を差し引いた時間より昔のctimeまたatimeを持つファイルを移行対象とする設定条件であるが、逆説的には、マイグレーション閾値時間は現在時間から当該時間を差し引いた時間より新しいctimeまたatimeを持つファイルの移行を抑止する設定とも言える。ただし抑止の視点は高速な記憶領域の容量不足が発生した場合には成立しない場合は当然ながらある。
図5は、ファイルイベントの例を示す図である。
イベント通知テーブル234は、ファイルパス名501(以後、単にパス名と呼ぶことがある)と、501に合致したときに通知すべきイベントの種別を記した通知イベント502と、のペアを一つ以上含む。これらのペアは、ファイル移行ポリシーの設定に応じて複数設定されることがある。
ファイルイベント503は、ファイルパス名が/mnt/fs1で始まるファイルのctimeが更新された場合にイベント通知を実行することを示す。また、ファイルイベント504は、/mnt/fs1でファイルパス名が始まるファイルのファイルが作成された場合にイベント通知を実行することを示す。ファイルイベント505は、ファイルパス名が/mnt/fs2始まるファイルのファイル拡張子がpdfである場合に、そのファイルが作成されるとイベント通知を実行することを示す。ファイルイベント506は、ファイルパス名が/mnt/fs3で始まるファイルが参照されてatimeが更新された場合にイベント通知を実行することを示す。
ファイルイベントは、これらの条件以外にもファイルのパス名やファイルのアクセス制御情報など、ファイルの属性に応じた様々な設定が可能である。
図6は、部分アクセスファイルリスト301の例を示す図である。
部分アクセスファイルリスト301は、ファイル移行ポリシーのスケジュールに応じて複数作成される。部分アクセスファイルリスト301には、各期間ごと(例えば1日単位)にファイル移行ポリシーに定義されたアクセスの対象となったファイルの識別子(本図ではパス名)601が登録される。別な言い方をすれば、本発明による移行決定対象のファイルについて、アクセスされたファイルの識別子はアクセスされた時間を参考に期間毎に分けられたいずれかの部分アクセスファイルリスト301に格納される。
603から606は、ファイル移行を実行する際に移行すべきファイルのパス名を示す。パス名の示すとおり、ファイル移行ポリシーが複数のディレクトリパス名に対して設定されている場合、部分アクセスファイルリスト301を統合して複数のファイルパス名を登録することも出来る。また、図6の例ではファイルパス名をリストに登録する形式としているが、必ずしもこのようなリストにする必要はない。なお、部分アクセスファイルリスト301には前述の対象期間を含む(または対象期間を一意に特定可能な)ファイル名を持つファイルであってもよいが、そうでなくてもよい。なお、対象期間は部分アクセスファイルリスト301に含まれてもよい。さらに、部分アクセスファイルリスト301の別形式として、ファイル移行スケジュールに応じて、ファイルシステムにディレクトリを作成し、その下に移行すべきファイルへのシンボリックリンクを作成して代用してもよい(ある期間内にアクセスされたファイルを示す情報という点ではデータ構造は異なるものの本質は変わらない)。
図7は、本発明で扱うファイルを概念的に表した図である。
ファイル701は、メタ情報710とそのファイルとして保持するファイルデータ720から構成される。
メタ情報710は、ファイルにアクセスするための情報や、ファイルに関する各種情報からなる。ファイルパス名711は、クライアント104がアクセスするファイルの存在する場所を概念的に現す。クライアント104がファイルにアクセスする際に指定する。ファイル更新時間CTIME712は、ファイルが作成されたり更新された際の時間を保存する。ファイルアクセス時間ATIME7113は、クライアント104がファイルを読み出した最新の時間を保存している。ファイルサイズSIZE714は、ファイルデータ720の総容量を表す。アクセス制御情報ACCESS CONTROL715は、ファイルを作成したユーザや許可されるアクセスなどを保存する。図7では、ユーザNEOは読み込みおよび書き込み(更新)が許可されていることを示している。これらのメタ情報710は、ファイルシステムや設定されたアクセス制御情報ACCESS CONTROL715に応じて容量は可変である。一般的なファイルシステムでは、これらメタ情報710を持つことが出来る。
ファイルデータ720は、ファイルとして格納されたデータの実体を保持する。ファイルシステムがメタ情報710とペアでデータの実体を保持しているため、クライアント104は所望のデータにアクセスすることが出来る。なお、より正確にはメタ情報710がファイルデータ720が格納されている記憶領域上のブロックアドレスを持つことによってファイル名を指定したファイルデータへのアクセスが可能となっている。
図8は、ファイルの移行設定を行う管理プログラムの処理フローを示す図である。以下、図にしたがって、ファイル移行管理サブプログラム211の処理を説明する。なお、本処理は、ファイル移行の設定を行う際に実行される。
(Step801)ファイル移行管理サブプログラム211は、ファイル移行を行う対象となるディレクトリのパス名を取得する。
(Step802)ファイル移行管理サブプログラム211は、さらに、移行するファイルの条件を取得する。
(Step803)ファイル移行管理サブプログラム211は、これらのディレクトリパス名と移行条件についてファイルの移行を行うスケジュールを取得する。
(Step804)ファイル移行管理サブプログラム211は、これらを一つのファイル移行ポリシーとして、ファイル移行ポリシーテーブル214に設定を追加する。
(Step805)ファイル移行管理サブプログラム211は、移行するファイルを抽出する処理を設定するため、ファイルシステムプログラム232にイベント通知を設定する。
(Step806)ファイル移行管理サブプログラム211は、ファイル移行を実行するファイル移行プログラム210の実行スケジュールを設定し、処理を終了する。
これらのファイル移行管理サブプログラム211の処理は、ファイル移行ポリシーの設定に応じて複数回実行することができる。また、Step805にてイベント通知を設定されたファイルシステムプログラム232の処理は、図10で詳細を説明する。
なお、Step801乃至Step803の値の取得は、後ほど説明する図14の画面を介して管理者から管理コンソール105が受信した各種入力値を、ファイル移行管理サブプログラム211が受信することで行われている。
図9は、ファイルの移行を行うファイル移行サブプログラム212の処理フローを示す図である。
ファイル移行サブプログラム212は、ファイル移行ポリシーテーブル214に設定されたスケジュールに従って実行される。以下、図に従って説明する。
(Step901)ファイル移行サブプログラム212は、本処理を開始するとまず、ファイル移行で参照すべき部分アクセスファイルリスト301が存在するかを判定する(図17の(1)に対応)。参照すべき部分ファイルリスト301が存在しなければ(NO)処理を終了する。参照すべき部分ファイルリスト301が存在すれば(YES)、その部分ファイルリスト301に記載されたファイルの移行を実行する。
(Step902)ファイル移行サブプログラム212は、部分ファイルリスト301にデータ移行が未実行なファイルのパス名が記載されているかを判定し、存在すれば(NO)、Step903以降の処理を継続する。ファイルが記載されていなければ(YES)、全てのファイルについて処理を実行したため、Step905を実行する。
(Step903)ファイル移行サブプログラム212は、部分ファイルリスト301にファイルが記載されていれば、そのファイルパス名を一時的にプログラム内部に取得して部分ファイルリスト301からは削除する。
(Step904)ファイル移行サブプログラム212は、Step903で取得したファイルパス名に対して、ファイルシステムに格納されたメタ情報710とファイル移行ポリシーテーブル214の条件とを参照し、移行ポリシーに合致していればファイルデータを現在の記憶領域から別な記憶領域に移動する。そして、処理902に戻ってファイルの移行処理を継続する。
(Step905)ファイル移行サブプログラム212は、部分ファイルリスト301を削除して処理を終了する。
部分ファイルリスト301に記載されたファイルに対して移行ポリシーとの合致判定を行う理由は、例えば以下の理由がある。
* ファイルパス名が部分ファイルリスト301に記載された後にファイルが変更された場合に対応するためである。例えば、ファイルのサイズが10MB以上の場合に移行するポリシーだった場合、ファイルが11MBのサイズで作成された後でサイズ9MBに変更されることもあり得る。本実施例では、ファイルサイズが変更された場合に部分ファイルリスト301から削除する処理を実行しないため、ファイル移行を実行する前に判定する。なお、この場合は、ファイル移行ポリシーテーブル214の条件によってメタ情報710のctime712またはatime713を参照すべきか判断し、参照すべきと判断したctime712またはatime713をファイルシステムに格納された(またはメモリ204にキャッシングされた)メタ情報710から読み込ことを、Step904の合致判断のために行う。また、ファイル抽出プログラム220において動的に部分ファイルリスト301を更新することで、ファイル移行の際のポリシー条件判定を実行しない方法も考えられる。
* ファイルのアクセス時間以外の条件でファイル移行を今回の処理では行わないファイルがあるため。なお、この場合はファイル移行プログラムは、Step904にてアクセス時間以外の条件で合致しなかったファイルのパス名を部分ファイルリスト301に書き戻し、Step905を省略してもよい。
なお、Step904で行うファイルデータの移動の一例としてファイル移行サブプログラム212が以下の処理を行うことが考えられる。
StepA:ファイルデータを現在格納中の記憶領域から読み出す。
StepB:読み出したファイルデータを別な記憶領域へ書き込む。
StepC:メタ情報712のファイルデータのアドレスを示す情報を、書き込み先の別な記憶領域の識別子及び記憶領域内のアドレスに更新する。
しかし、ファイルデータの移動は、移行対象のファイルのファイルデータの一部または全てを現在格納中の記憶領域から別な記憶領域に移動できれば、他の計算機が行ってもよく、他のステップで実現してもよい。また、メタ情報710も併せて移動してもよい。
図10は、図8のStep805での設定によって実行される、ファイルシステムプログラム232のイベント通知設定の処理フローを示す図である。
ファイルシステムプログラム232は、イベント通知設定を行うためのプログラムインタフェースを持つ。ファイル抽出プログラム220は、このプログラムインタフェースを通じてイベント通知設定を行う。以下、図に沿って説明する。
(Step1001)ファイルシステムプログラム232は、設定を行うファイルのパス名と通知条件をファイル抽出プログラム220から取得する。
(Step1002)ファイルシステムプログラム232は、条件をファイルシステムで検出可能なイベント種別に変換する。
(Step1003)ファイルシステムプログラム232は、変換後の条件をファイルシステムプログラム232がもつイベント通知テーブル234にエントリを追加することで処理を終了する。
なお、これらの処理で条件が複数ある場合は、イベント種別への変換や、テーブルへのエントリ追加も複数回実行する必要がある。
図11は、クライアント104からのファイルアクセスリクエストを受信し、ファイルシステムプログラム232が処理するファイルアクセス処理とイベント通知処理のフローを示す図である。以下図に沿って説明する。
(Step1101)ファイルシステムプログラム232は、ファイルアクセスリクエストを受信する。
(Step1102)ファイルシステムプログラム232は、イベント通知テーブルに設定されているイベント通知のタイプを取得する。
(Step1103)ファイルシステムプログラム232は、ファイルアクセスリクエストが、イベント通知する種別と合致するかを判定する。イベント通知をする必要がなければ(NO)、Step1105から処理を継続する。イベント通知する処理と合致した場合(YES)は、Step1104から処理を継続する。イベント通知種別と合致するかの判定は、例えば、CTIMEに関する通知が必要な場合、ファイルアクセスリクエストがファイル作成・更新であれば、合致すると判定することになる。
(Step1104)ファイルシステムプログラム232は、イベントの種類とファイルのパス名をファイル抽出プログラム220に通知する。
(Step1105)ファイルシステムプログラム232は、メタ情報710を参照してファイルアクセスリクエストの処理を実行して終了する。ファイルアクセスリクエストの処理は、ファイルデータの記憶領域への格納や、記憶領域から読み出したファイルデータの返信などを行う。なお、通常はファイルデータの格納先となる記憶領域は高速な記憶領域が考えられるが、低速な記憶領域であってもよい。また、ファイルデータの読み出し元となる記憶領域は高速な記憶領域と低速の記憶領域の両方が考えられるが、低速な記憶領域からの読み出しの代わりとして、ファイルデータの移動を低速な記憶領域から高速な記憶領域に移動してから高速な記憶領域から読み出しを行ってもよい。
なお、ファイルアクセス処理はファイルアクセスリクエスト受信以外の契機で実行してもよい。また、ファイルデータを低速な記憶領域から高速な記憶領域に移動した場合は、そのファイルのパス名を部分アクセスファイルリスト301に追加する必要がある。そのファイルは、再び低速な記憶領域に移行する対象となるためである。なお、追加は、ファイルアクセスリクエストを契機とするのであれば後述する図12と同様な処理を行えばよい。ただし、最終アクセス時間が現在時間に更新されずにファイルデータを低速な記憶領域から高速な記憶領域に移動する場合は、最新の部分ファイルアクセスリスト以外に追加しても良い。
図12は、ファイル抽出プログラム220が実行する部分ファイルリスト作成処理のフローを示す図である。以下図に沿って説明する。
(Step1201)ファイル抽出プログラム220は、ファイルシステムプログラム232からファイル更新イベント通知のエントリを受け取る。
(Step1202)ファイル抽出プログラム220は、また、ファイル移行ポリシーをファイル移行ポリシーテーブル214から取得する。
(Step1203)ファイル抽出プログラム220は、ファイル移行ポリシーに設定されている条件に応じた部分ファイルリスト301が存在するかを判定する。部分ファイルリスト301が存在しなければ(NO)Step1204を実行し、既に存在すれば(YES)、Step1205から処理を継続する。
(Step1204)ファイル抽出プログラム220は、部分ファイルリスト301を作成する。
(Step1205)ファイル抽出プログラム220は、イベント通知されたエントリから、ファイルパス名を取得して部分ファイルリスト301に追加して処理を終了する。
本実施例では、イベント通知されたファイルパス名は全て部分ファイルリスト301に追加する例を示している。部分ファイルリスト301の容量増加を防止するためには、ファイルパス名が既に部分ファイルリスト301に存在するかを判定し、存在しなければ追加する、即ち部分ファイルリスト301内での重複登録を防止するようにすればよい。部分ファイルリスト301にファイルパス名が存在するかの判定は、部分ファイルリスト301を先頭からファイルパス名で検索する方法や、ファイルパス名のハッシュ値の衝突を比較する方法などが考えられる。ハッシュ値を用いる場合、部分ファイルリスト301をハッシュ値を用いた表現で作成する必要がある。ただし、重複登録防止のための処理はファイルアクセスリクエストの処理時の負荷を増大させるため、ファイルシステムプログラム232は現在追加処理を行う対象の部分ファイルリスト301については重複登録防止はせずに、別な部分ファイルリスト301について追加対象となった場合に(つまり、当該部分ファイルリスト301が最新期間に対応しなくなった場合に)、重複したファイルのパス名を除去してもよい。なお、部分アクセスファイルリスト301は決められた期間(1日、1時間、1週間等)が経過したらStep1203及び1204を制御して新しい部分アクセスファイルリスト301を生成するようにする。なお、期間経過の判断及び新しい部分アクセスファイルリストへの記録切り替えは厳密に上記期間で行う必要は無く、多少はずれてもよい。
図13は、ファイルクローリングプログラム213の処理フローである。
ファイルクローリングプログラム213は、ファイル移行ポリシーが新たに設定された場合や、既存のポリシー設定が変更された場合に動作する。ファイル更新イベント通知は、ファイルアクセスリクエストが発生しない限り実行しないためである。例えば、既にファイルが格納されたディレクトリに対して新たにファイル移行ポリシーを設定すると、既存のファイルが移行ポリシーに合致していたとしても移行対象として部分ファイルリスト301に記載されることはない。そのため、ファイルクローリングプログラム213を動作させる必要がある。以下、図に沿って説明する。
(Step1301)ファイルクローリングプログラム213は、ファイル移行ポリシーテーブル214からファイル移行ポリシーを取得する。
(Step1302、Step1305)ファイルクローリングプログラム213は、ファイル移行ポリシーに登録されたディレクトリパス名以下に存在する全てのファイルに対して、Step1303とStep1304の処理を繰り返し実行する。
(Step1303)ファイルクローリングプログラム213は、ファイル移行対象かを判定するファイルについて、移行する条件に合致するかを判定する。ファイルが移行する条件に合致していない場合は、そのファイルに対する処理は終了する(NO)。条件に合致するファイルの場合(YES)、Step1304を実行する。
(Step1304)ファイルクローリングプログラム213は、ファイルの移行処理を実行する。
本実施例では、ファイルクローリングプログラム213を実行するとファイル移行を行う例を示した。ファイル移行スケジュールに応じたファイル移行を行う場合は、ファイルクローリングプログラム213が移行対象ファイルのファイルパス名を部分アクセスファイルリスト301に記載するようにしてもよい。
なお、ファイル移行ポリシーの変更が、マイグレーション閾値時間の変更のみである場合は、上記ファイルクローリングプログラム213の実行は省略してもよい。なぜならば、マイグレーション閾値時間が変更された場合は、図9のStep901乃至903で参照すべき部分ファイルリスト301を現在時間から変更後のマイグレーション閾値時間だけ差し引いた時間より前の期間を含む部分ファイルリスト301をこれまで通り選択すればよいからである。
図14は、ファイル移行設定を行う管理プログラムの設定画面例を示す図である。
ファイル移行設定管理プログラムの管理画面1401は、管理コンソール105からファイルサーバ101に接続して呼び出す。管理画面1401で設定する項目は、ファイル移行ポリシーとして設定するものである。ファイル移行ポリシーを設定する対象となるディレクトリ1411が設定できる。また、そのディレクトリ1411に対して、ファイル移行を行う条件1412を設定できる。ファイル移行の条件は、CTIMEやATIME、ファイルの拡張子、サイズなどから選択して設定できる。さらに、ファイル移行を実行するスケジュール1413を設定できる。
ファイルを移行する条件1412や、スケジュール1413は必ずしも図14の例に限定する必要はない。ファイルシステムが保持するメタ情報にあわせて拡張することや、複数のスケジュールを設定するように拡張することができる。
なお、ファイルリードリクエストやファイルライトリクエストはその他のリクエストと比較して大量に受信する傾向にある。こうした傾向を利用し、部分アクセスファイルリスト301のサイズ及びリストへの追加処理の負荷を軽減するために、以下の処理を行ってもよい。
(改良案1)ファイルリードリクエストやファイルライトリクエストに応じた部分アクセスファイルリスト301へのファイルパス名の追加はしない。その代わりに、ファイルクローズ時にクローズされたファイルのatimeまたはctimeをチェックし、atimeまたはctimeが示す時間に対応する期間の部分アクセスファイルリスト301にクローズされたファイルのパス名を追加する。
(改良案2)ファイルリードリクエストやファイルライトリクエストに応じた部分アクセスファイルリスト301へのファイルパス名の追加はしない。その代わりに、ファイル生成リクエスト時にその時の最新の部分アクセスファイルリスト301にパス名を登録する。その後図9の処理を行う際に、Step904でメタ情報710のctime712及びatime713を参照した結果として部分アクセスファイルリスト301に登録されているものに、ファイルデータの移行をしないものとしたファイルのパス名はその次に新しい期間の部分アクセスファイルリスト301に追加する。または移行を見送ったファイルのctime712及びatime713の時間を含む期間に対応した部分アクセスファイルリスト301にパス名を追加する。
なお、ファイルはパス名が変更される場合があり、その対策として以下のいずれかを行ってもよい。
(対策1)部分アクセスファイルリスト301に登録するパス名の変わりにパス名が変化しても変わらない識別子を記録する。たとえば、メタ情報710に割り当てられた識別子などが該当する。
(対策2)パス名が変化したことでなくなったファイルは削除された扱いとする。なお、本対策を上記改良案2と併用する場合はパス名変更リクエスト受信時に部分アクセスファイルリスト301への変更後のパス名登録が必要となる。
(対策3)部分アクセスファイルリスト301に記録された変更前のパス名を変更後のパス名に更新する。
なお、部分アクセスファイルリスト301はマイグレーション閾値時間に基くファイル移行以外に、現在時間から閾値時間だけ過去の時間より新しい時間以降にctime712及びatime713を更新するリクエストを受信したファイルを特定するために用いてもよい。このような処理はクライアント104またはファイルサーバ101が部分アクセスファイルリスト301が対応する期間と閾値時間とを比較することで実現でき、ファイルデータに基くインデックス作成やウィルスチェックに好適である。
なお、高性能な記憶領域の未使用領域が不足している場合、最も古い期間に対応する部分アクセスファイルリスト(特にctime712に基いて作成されたリストが好適)301からファイルを抽出して高性能な記憶領域から低性能な記憶領域にファイルデータを移動してもよい。
なお、部分アクセスファイルリスト301としてファイルサーバ101の管理者がファイルサーバ101に設定したリストサイズ閾値を超えた場合は以下の処理を行ってもよい。
* ポリシーに関わらず、最も古い期間に対応する部分アクセスファイルリスト301に記録されたパス名のファイルを移行し、削除する。なお、その際はリストサイズ閾値を超えた事と、それによりファイル移行を行ったことを管理コンソール105に表示させるように、ファイルサーバ101から管理コンソール105にエラーメッセージと移動したファイルのパス名を送信してもよい。
* 最も古い期間に対応する部分アクセスファイルリスト301を削除する。その後ファイルクローリングプログラム213を実行する。なお、その際はリストサイズ閾値を超えた事と、それによりファイル移行を行ったことを管理コンソール105に表示させるように、ファイルサーバ101から管理コンソール105にエラーメッセージを送信してもよい。
次に本発明の実施例2について図18を用いて説明する。実施例1と実施例2との相違は、ファイルサーバ101がストレージサブシステム103へのアクセスをファイルサーバ18101を介して行うことである。なお、ファイルサーバ18101はファイルサーバ101と同種のハードウェア構成であり、ファイルサーバ18101のメモリにはオペレーティングシステム230と同種(完全に同じである必要な無い)のオペレーティングシステムが格納されている(ただし、イベント通知は必須ではない)。
このようにファイルサービスシステムを複数のファイルサーバ101で構成する例としては、ファイルサーバ101が高性能なファイルアクセス処理を実現するための処理を実現している一方で、ファイルサーバ18101は高信頼化やWORM等の付加機能を実現している場合に、両方の機能的特長をあわせて提供した場合に採用される場合がある。
なお、ファイルサーバとストレージサブシステムをあわせてファイルストレージシステムと呼ぶことがある。図18の例ではファイルサーバ101とストレージサブシステム102がファイルストレージシステムであり、ファイルサーバ18101とストレージサブシステム103もファイルストレージシステムである。なお、ファイルストレージシステムとして扱う場合、ファイルサーバがストレージサブシステムを内包してもよい。
実施例2のファイルサーバ101の処理はストレージサブシステム103へのアクセスをブロックレベルのリクエストで送信するのではなく、ファイルレベルのリクエストをファイルサーバ18101へ送信することで達成される。これは言い方を変えると、低速な記憶領域に格納したファイルデータはファイルサーバ18101にファイルとして生成し、ストレージサブシステム103の記憶領域に格納されていると言える。なお、ファイルサーバ18101はネットワークファイルシステムプロトコルとしてNFSやCIFSにてファイルサーバ101からリクエストを受信してブロックレベルのアクセスリクエストをストレージサブシステム103へ送信する。ただし、ファイルサーバ101とファイルサーバ18101との間のリクエストはNFSやCIFS以外のネットワークプロトコルで実現してもよい。
なお、実施例2の場合、メタ情報が指し示すファイルデータの記憶領域への情報は、ファイルサーバ18101に生成させたファイルのパス名を直接的または間接的に示す。
以上、本明細書では、クライアント計算機と、第一の記憶領域と第二の記憶領域とを提供するストレージシステムと、前記クライアント計算機と前記ストレージシステムと接続し、ユーザによって設定された移行ポリシー情報を格納する、ファイルサービスシステムと、を有する計算機システムについて以下の項目を説明した。
* 前記第一の記憶領域の性能は前記第二の記憶領域の性能より優れ、
* 前記ファイルサービスシステムは、第一の時点以降に前記クライアント計算機よりアクセスされたファイルを示す情報であるアクセスファイル識別子情報を管理し、複数のファイルの格納として、複数のファイルメタ情報及び複数のファイルデータを前記第一の記憶領域に格納し、
* 前記ファイルメタ情報の各々は、対応する前記格納された複数のファイルの一つについての最終アクセス時間を示し、
* 前記移行ポリシー情報と、前記アクセスファイル識別子情報と、前記ファイルメタ情報によって示される前記最終アクセス時間と、に基いて、前記ファイルサービスシステムは第一の記憶領域に格納された前記複数のファイルから候補のファイルを選択し、
* 前記ファイルサービスシステムは、前記候補のファイルを前記第一の記憶領域から前記第二の記憶領域へ移行する。
さらに、本明細書では、前記アクセスファイル識別子情報は期間分割されたアクセスファイル識別子情報を複数含み、前記期間分割されたアクセスファイル識別子情報は、前記格納された複数のファイル一部で、前記第一の時点以後で当該情報に対応する期間中に前記クライアント計算機よりアクセスされたファイルを示し、前記移行ポリシ情報は、前記格納された複数のファイルの各々が前記第一の記憶領域に残るための、前記最終アクセス時間に関する条件である、移行閾値時間を含み、前記候補のファイルの選択のために、前記ファイルサービスシステムは、(A)前記ファイルサービスシステムが現在時間と認識する時間から前記以降閾値時間より以前の期間に対応する、所定の期間分割されたアクセスファイル識別子情報を選択し、(B)前記選択された所定の期間分割されたアクセスファイル識別子情報が示し、また対応する前記ファイルメタ情報の前記最終アクセス時間が前記ファイルサービスシステムが現在時間と認識する時間から前記以降閾値時間より前である、所定のファイルを選択してもよいことについて説明した。
さらに、前記ファイルサービスシステムは、前記最終アクセス時間を取得する要求に応じて前記最終アクセス時間を送信し、前記ファイルサービスシステムは、前記ファイルデータへアクセスする要求に応じて、前記ファイルメタ情報の前記最終アクセス時間を更新してもよいことについて説明した。また、前記ファイルデータへのアクセスの種別の一つは、前記格納されたファイルについての生成、または前記ファイルデータの更新であってもよいことについて説明した。また、前記前記ファイルデータへのアクセスの種別の一つは、前記ファイルデータのリードであってもよいことについて説明した。
さらに、前記ファイルサービスシステムは、前記選択間のインターバルを示す移行選択インターバル時間についての再設定要求を受信し、最新を除く前記複数の期間分割されたアクセスファイル識別子情報の各々が示すファイルは、前記移行選択インターバル時間の再設定要求では変化しなくてもよいことについて説明した。
さらに、前記ユーザから前記移行ポリシー情報の再設定要求を受信した場合、前記ファイルサービスシステムは前記複数の期間分割されたアクセスファイル識別子情報を再生性するために前記ファイルメタ情報にアクセスしてもよいことについて説明した。しかし、これら以外にも本明細書では説明をしている。
本発明は、異なる特性を有するストレージ記憶領域を用いてファイルを格納するファイルサービスシステムに適用することができる。
101、18101・・・ファイルサーバ
102、103・・・ストレージサブシステム
104・・・クライアント計算機
201・・・CPU
204・・・メモリ

Claims (16)

  1. クライアント計算機と、
    第一の記憶領域と第二の記憶領域とを提供するストレージシステムと、
    前記クライアント計算機と前記ストレージシステムと接続されたファイルサービスシステムと、
    を有する計算機システムであって、
    前記第一の記憶領域の性能は前記第二の記憶領域の性能より優れ、
    前記ファイルサービスシステムは、それぞれ対応する異なる期間内に前記クライアント計算機からアクセスされたファイルが記載された複数の部分アクセスファイルリストを含むアクセスファイル情報を管理し、ファイルメタ情報及びファイルデータをそれぞれ含む一又は複数のファイルを前記第一の記憶領域に格納し、
    前記ファイルメタ情報は対応する前記ファイルデータに対する前記クライアント計算機からの最終アクセス時間を含み
    前記ファイルサービスシステムは、予め定められた移行ポリシー情報を満足する前記部分アクセスファイルリストを少なくとも一つ選択し、前記ファイルメタ情報に含まれる前記最終アクセス時間に基づいて、選択した少なくとも一つの前記部分アクセスファイルリストに記載された前記ファイルの中から移行候補のファイルを選択し、
    前記ファイルサービスシステムは、前記移行候補のファイルを前記第一の記憶領域から前記第二の記憶領域へ移行する、
    ことを特徴とした計算機システム。
  2. 請求項1記載の計算機システムであって、
    記移行ポリシ情報は、前記第一の記憶領域に格納された複数のファイルの各々が当該第一の記憶領域に残るための、前記最終アクセス時間に関する条件である、移行閾値時間を含み、
    記ファイルサービスシステムは、前記移行閾値時間よりも前の期間に対応する少なくとも一つの前記部分アクセスファイルリストを選択し、
    前記ファイルサービスシステムは、選択した少なくとも一つの前記部分アクセスファイルリストに記載されたファイルの中から、前記移行閾値時間よりも前の最終アクセス時間を有するファイルを、前記移行候補のファイルとして選択する
    ことを特徴とした計算機システム。
  3. 請求項2記載の計算機システムであって、
    前記ファイルサービスシステムは、前記最終アクセス時間を取得する要求に応じて前記最終アクセス時間を送信し、
    前記ファイルサービスシステムは、前記ファイルデータへアクセスする要求に応じて、対応する前記ファイルメタ情報の前記最終アクセス時間を更新する、
    ことを特徴とした計算機システム。
  4. 請求項3記載の計算機システムであって、
    前記ファイルデータへのアクセスの種別の一つは、前記ファイルの生成、または前記ファイルデータの更新である、
    ことを特徴とした計算機システム。
  5. 請求項4記載の計算機システムであって、
    前記ファイルデータへのアクセスの種別の一つは、前記ファイルデータのリードである、
    ことを特徴とした計算機システム。
  6. 請求項1記載の計算機システムであって、
    各前記部分アクセスファイルリストにそれぞれ対応付けられた前記期間は、経過時間を分割してなる連続した複数の期間のうちの一つである
    ことを特徴とした計算機システム。
  7. 請求項1記載の計算機システムであって、
    前記移行ポリシー情報は、ファイルの拡張子及びファイルデータのサイズの少なくとも一つを規定した情報をさらに含み、
    前記ファイルサービスシステムは、少なくとも前記ファイルの拡張子又は前記ファイルデータのサイズに基づいて、前記移行候補のファイルを選択する
    ことを特徴とした計算機システム。
  8. 請求項1記載の計算機システムであって、
    前記ファイルサービスシステムは、所定のタイミングで前記移行候補のファイルの移行を開始する
    ことを特徴とした計算機システム。
  9. 第二の記憶領域と、前記第二の記憶領域の性能よりも優れた性能である第一の記憶領域と、を提供するストレージシステムに接続されたファイルサービスシステムによってファイルサービスを提供する方法であって、
    それぞれ対応する異なる期間内にクライアント計算機からアクセスされたファイルが記載された複数の部分アクセスファイルリストを含むアクセスファイル情報を管理する第一のステップと
    ファイルデータと、当該ファイルデータに対する前記クライアント計算機からの最終アクセス時間を含むファイルメタ情報とをそれぞれを含むファイルを前記第一の記憶領域に格納する第二のステップと
    予め定められた移行ポリシー情報を満足する部分アクセスファイルリストを少なくとも一つ選択し、前記ファイルメタ情報に含まれる前記最終アクセス時間に基づいて、選択した少なくとも一つの前記部分アクセスファイルリストに記載されたファイルの中から移行候補のファイルを選択する第三のステップと
    前記移行候補のファイルを前記第一の記憶領域から前記第二の記憶領域へ移行する第四のステップと
    を備えることを特徴としたファイルサービスを提供する方法。
  10. 請求項記載の方法であって、
    記移行ポリシ情報は、前記第一の記憶領域に格納された複数のファイルの各々が当該第一の記憶領域に残るための、前記最終アクセス時間に関する条件である、移行閾値時間を含み、
    前記第三のステップでは、
    記移行閾値時間よりも前の期間に対応する少なくとも一つの前記部分アクセスファイルリストを選択し、
    選択した前記少なくとも一つの部分アクセスファイルリストに示されたファイルの中から、前記移行閾値時間よりも前の最終アクセス時間を有するファイルを、前記移行候補のファイルとして選択する
    ことを特徴とした方法。
  11. 請求項10記載の方法であって、
    前記最終アクセス時間を取得する要求に応じて前記最終アクセス時間を送信し、
    前記ファイルデータへアクセスする要求に応じて、対応する前記ファイルメタ情報の前記最終アクセス時間を更新する、
    ことを特徴とした方法。
  12. 請求項9記載の方法であって、
    各前記部分アクセスファイルリストにそれぞれ対応付けられた前記期間は、経過時間を分割してなる連続した複数の期間のうちの一つである
    ことを特徴とした方法。
  13. 請求項9記載の方法であって、
    前記移行ポリシー情報は、ファイルの拡張子及びファイルデータのサイズの少なくとも一つを規定した情報をさらに含み、
    前記第三のステップでは、少なくとも前記ファイルの拡張子又は前記ファイルデータのサイズに基づいて、前記移行候補のファイルを選択する
    ことを特徴とした方法。
  14. 請求項9記載の方法であって、
    前記第三のステップでは、所定のタイミングで前記移行候補のファイルを移行する
    ことを特徴とした方法。
  15. クライアント計算機と、第一の記憶領域及び第二の記憶領域を提供するストレージシステムと、接続するインターフェースと、
    前記インターフェースと接続するプロセッサと、
    それぞれ対応する異なる期間内に前記クライアント計算機からアクセスされたファイルが記載された複数の部分アクセスファイルリストを含むアクセスファイル情報が格納され、前記プロセッサに接続されたメモリと、
    備え
    前記第一の記憶領域の性能は前記第二の記憶領域の性能より優れ、
    前記プロセッサは、ファイルメタ情報及びファイルデータをそれぞれ含む一又は複数のファイルを前記第一の記憶領域に格納し、
    前記ファイルメタ情報は、対応する前記ファイルデータに対する前記クライアント計算機からの最終アクセス時間を含み
    前記プロセッサは、移行ポリシー情報を満足する前記部分アクセスファイルリストを少なくとも一つ選択し、前記ファイルメタ情報に含まれる前記最終アクセス時間に基づいて、選択した少なくとも一つの前記部分アクセスファイルリストに記載された前記ファイルの中から移行候補のファイルを選択し、
    前記プロセッサは、前記移行候補のファイルを前記第一の記憶領域から前記第二の記憶領域へ移行する、
    ことを特徴としたファイルサービスシステム。
  16. 請求項15記載のファイルサービスシステムであって、
    記移行ポリシ情報は、前記第一の記憶領域に格納された複数のファイルの各々が当該第一の記憶領域に残るための、前記最終アクセス時間に関する条件である、移行閾値時間を含み、
    前記プロセッサは、前記移行閾値時間よりも前の期間に対応する少なくとも一つの前記部分アクセスファイルリストを選択し、
    前記プロセッサは、選択した少なくとも一つの前記部分アクセスファイルリストに記載されたファイルの中から、前記移行閾値時間よりも前の最終アクセス時間を有するファイルを、前記移行候補のファイルとして選択する
    ことを特徴としたファイルサービスシステム。
JP2012517939A 2010-03-01 2010-03-01 ファイルレベル階層ストレージ管理システム、方法、及び装置 Expired - Fee Related JP5514903B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/001365 WO2011108021A1 (en) 2010-03-01 2010-03-01 File level hierarchical storage management system, method, and apparatus

Publications (2)

Publication Number Publication Date
JP2013506889A JP2013506889A (ja) 2013-02-28
JP5514903B2 true JP5514903B2 (ja) 2014-06-04

Family

ID=42790902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012517939A Expired - Fee Related JP5514903B2 (ja) 2010-03-01 2010-03-01 ファイルレベル階層ストレージ管理システム、方法、及び装置

Country Status (5)

Country Link
US (2) US8756199B2 (ja)
EP (1) EP2542985A1 (ja)
JP (1) JP5514903B2 (ja)
CN (1) CN102667772B (ja)
WO (1) WO2011108021A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874628B1 (en) * 2009-10-15 2014-10-28 Symantec Corporation Systems and methods for projecting hierarchical storage management functions
US8954688B2 (en) * 2010-10-06 2015-02-10 International Business Machines Corporation Handling storage pages in a database system
US20120317339A1 (en) * 2011-06-13 2012-12-13 International Business Machines Corporation System and method for caching data in memory and on disk
EP2786254B8 (en) * 2012-03-29 2019-08-21 Hitachi Vantara Corporation Content selection for storage tiering
US9128820B1 (en) * 2012-06-18 2015-09-08 Western Digital Technologies, Inc. File management among different zones of storage media
CN103091707B (zh) * 2012-12-31 2016-06-22 中国石油集团川庆钻探工程有限公司地球物理勘探公司 地震数据分级存储装置及方法
US20160041996A1 (en) * 2014-08-11 2016-02-11 Netapp, Inc. System and method for developing and implementing a migration plan for migrating a file system
JP6025149B2 (ja) * 2013-11-06 2016-11-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データを管理するシステムおよび方法
US9274722B2 (en) 2013-12-06 2016-03-01 Concurrent Ventures, LLP System, method and article of manufacture for monitoring, controlling and improving storage media system performance
US9436404B2 (en) 2013-12-06 2016-09-06 Concurrent Ventures, LLC System and method for dynamically load balancing across storage media devices having fast access rates
US10048895B2 (en) 2013-12-06 2018-08-14 Concurrent Ventures, LLC System and method for dynamically load balancing storage media devices based on a mid-range performance level
CN103631931B (zh) * 2013-12-06 2017-11-03 浪潮(北京)电子信息产业有限公司 一种数据分级存储方法及系统
US10235096B2 (en) 2013-12-06 2019-03-19 Concurrent Ventures, LLC System and method for dynamically load balancing storage media devices based on an average or discounted average sustained performance level
WO2015085313A1 (en) * 2013-12-06 2015-06-11 Concurrent Ventures, LLC System and method for dynamically load balancing storage media devices based on a mid-range performance level
CN103744623A (zh) * 2014-01-10 2014-04-23 浪潮电子信息产业股份有限公司 一种实现存储系统ssd缓存的数据智能降级的方法
CN106489110B (zh) * 2014-07-04 2021-06-01 汪清·昆顿 用于非分层文件系统的图形化用户界面控制方法
JP6005116B2 (ja) 2014-09-30 2016-10-12 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 特定のアプリケーションによってリコールされたファイルの自動化されたマイグレーション
CN105677650B (zh) * 2014-11-18 2019-06-25 中国移动通信集团公司 一种缓存数据存储方法及装置
CN105808620B (zh) * 2014-12-31 2019-11-26 华为技术有限公司 一种管理磁盘文件的方法和装置
CN105260377B (zh) * 2015-09-01 2019-02-12 浪潮(北京)电子信息产业有限公司 一种基于分级存储的升级方法和系统
CN106682040A (zh) * 2015-11-11 2017-05-17 中兴通讯股份有限公司 数据管理方法及装置
US10437791B1 (en) * 2016-02-09 2019-10-08 Code 42 Software, Inc. Network based file storage system monitor
CN106973037B (zh) * 2017-02-16 2018-09-04 咪咕视讯科技有限公司 一种控制数据传输的方法及系统
CN108664499B (zh) * 2017-03-29 2021-04-23 中国移动通信集团河北有限公司 数据存储的方法、装置及设备
CN107045610B (zh) * 2017-05-08 2020-06-12 Oppo广东移动通信有限公司 数据迁移方法、终端设备及计算机可读存储介质
KR102530583B1 (ko) 2017-10-31 2023-05-09 삼성전자주식회사 저장 장치 및 메모리 시스템
CN107704633A (zh) * 2017-11-01 2018-02-16 郑州云海信息技术有限公司 一种文件迁移的方法和系统
US11175845B2 (en) 2018-04-05 2021-11-16 International Business Machines Corporation Adding a migration file group to a hierarchical storage management (HSM) system for data co-location
US11360939B2 (en) * 2018-05-22 2022-06-14 International Business Machines Corporation Testing of file system events triggered by file access
CN108875035B (zh) * 2018-06-25 2022-02-18 郑州云海信息技术有限公司 分布式文件系统的数据存储方法及相关设备
CN110895520B (zh) * 2018-09-12 2022-04-22 华为技术有限公司 一种文件迁移方法、相关装置及设备
CN109492425B (zh) * 2018-09-30 2021-12-28 南京中铁信息工程有限公司 一种在分布式文件系统上的worm一写多读技术应用方法
US11175846B2 (en) 2019-04-11 2021-11-16 International Business Machines Corporation Data co-location in a hierarchical storage management (HSM) system
CN110263060B (zh) * 2019-06-06 2021-04-23 零搜科技(深圳)有限公司 一种erp电子附件管理方法及计算机设备
US11693963B2 (en) * 2019-08-13 2023-07-04 International Business Machines Corporation Automatic ransomware detection with an on-demand file system lock down and automatic repair function
CN110489378B (zh) * 2019-08-25 2023-07-04 山东融兴合智能科技有限公司 一种在互联网中进行文件迁移的方法及系统
CN111741107B (zh) * 2020-06-19 2023-08-04 北京星辰天合科技股份有限公司 基于文件存储系统的分层方法及装置、电子设备
US11301417B1 (en) * 2020-09-28 2022-04-12 EMC IP Holding Company LLC Stub file selection and migration
CN112685454A (zh) * 2021-03-10 2021-04-20 江苏金恒信息科技股份有限公司 工业数据分级存储系统、方法及工业数据分级查询方法
CN113050890A (zh) * 2021-03-26 2021-06-29 北京沃东天骏信息技术有限公司 一种数据迁移方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4322031B2 (ja) * 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
US7441096B2 (en) * 2004-07-07 2008-10-21 Hitachi, Ltd. Hierarchical storage management system
JP2008515120A (ja) * 2004-09-30 2008-05-08 ネオパス ネットワークス,インク. ストレージネットワーク用ストレージポリシーモニタリング
JP2006350599A (ja) * 2005-06-15 2006-12-28 Hitachi Ltd ストレージシステム及びストレージシステムのデータマイグレーション方法
US7707178B2 (en) 2005-11-28 2010-04-27 Commvault Systems, Inc. Systems and methods for classifying and transferring information in a storage network
JP4890048B2 (ja) * 2006-02-24 2012-03-07 株式会社日立製作所 記憶制御装置及び記憶制御装置を用いたデータマイグレーション方法
JP4409521B2 (ja) 2006-03-06 2010-02-03 株式会社日立製作所 記憶装置
US20090177836A1 (en) * 2008-01-09 2009-07-09 Yasuyuki Mimatsu Methods and apparatuses for managing data in a computer storage system
US8170990B2 (en) * 2008-05-30 2012-05-01 Hitachi, Ltd. Integrated remote replication in hierarchical storage systems
JP2010257094A (ja) 2009-04-23 2010-11-11 Hitachi Ltd 階層ストレージ管理システムにおける移動候補ファイルの抽出方法
JP5427533B2 (ja) 2009-09-30 2014-02-26 株式会社日立製作所 階層ストレージ管理システムにおける重複ファイルの転送方法及びシステム
US8442983B2 (en) * 2009-12-31 2013-05-14 Commvault Systems, Inc. Asynchronous methods of data classification using change journals and other data structures

Also Published As

Publication number Publication date
JP2013506889A (ja) 2013-02-28
EP2542985A1 (en) 2013-01-09
US8756199B2 (en) 2014-06-17
US9110909B2 (en) 2015-08-18
CN102667772B (zh) 2015-05-20
US20110231458A1 (en) 2011-09-22
CN102667772A (zh) 2012-09-12
US20140250157A1 (en) 2014-09-04
WO2011108021A1 (en) 2011-09-09

Similar Documents

Publication Publication Date Title
JP5514903B2 (ja) ファイルレベル階層ストレージ管理システム、方法、及び装置
US8135677B2 (en) File management system and method
JP4799936B2 (ja) 条件別スナップショット取得方法及びシステム
EP2754027B1 (en) Method for creating clone file, and file system adopting the same
US8209498B2 (en) Method and system for transferring duplicate files in hierarchical storage management system
JP5020673B2 (ja) 重複したファイルの記憶を防ぐコンピュータシステム
JP5586892B2 (ja) 階層化ストレージシステム及び階層化ストレージシステムにおけるファイルのコピー制御方法
US20100036872A1 (en) Data management method
US20070061540A1 (en) Data storage system using segmentable virtual volumes
US20080195827A1 (en) Storage control device for storage virtualization system
US8583882B2 (en) Storage subsystem and its control method
JP2009116796A (ja) データ読出し方法、データ管理システム及びストレージシステム
JP2010271963A (ja) ファイル変更通知インタフェースを持ったストレージシステム
US20060241912A1 (en) Data management system and method
JP5640151B2 (ja) 計算機及び計算機によるデータ管理方法
JP2016099949A (ja) メタ情報書込方法、メタ情報読出方法、ファイル管理システム、コンピュータ・システム、プログラムおよびデータ構造
CN109947373A (zh) 一种数据处理方法和装置
US8046391B2 (en) Storage apparatus and its file control method and storage system
JP5504936B2 (ja) ストレージ装置およびデータ格納制御方法
JP4300133B2 (ja) クラスタメモリファイルシステム
CN117632890A (zh) 数据处理方法、装置、存储节点、系统及存储介质
JP2006185463A (ja) ゲートウェイ装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140331

R150 Certificate of patent or registration of utility model

Ref document number: 5514903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees