JP5243991B2 - ストレージシステム、容量管理方法、および管理計算機 - Google Patents

ストレージシステム、容量管理方法、および管理計算機 Download PDF

Info

Publication number
JP5243991B2
JP5243991B2 JP2009035236A JP2009035236A JP5243991B2 JP 5243991 B2 JP5243991 B2 JP 5243991B2 JP 2009035236 A JP2009035236 A JP 2009035236A JP 2009035236 A JP2009035236 A JP 2009035236A JP 5243991 B2 JP5243991 B2 JP 5243991B2
Authority
JP
Japan
Prior art keywords
file
capacity
file system
volume
management computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009035236A
Other languages
English (en)
Other versions
JP2010191670A (ja
Inventor
敬一 松沢
敦之 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009035236A priority Critical patent/JP5243991B2/ja
Priority to US12/385,834 priority patent/US8131783B2/en
Publication of JP2010191670A publication Critical patent/JP2010191670A/ja
Application granted granted Critical
Publication of JP5243991B2 publication Critical patent/JP5243991B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0223User address space allocation, e.g. contiguous or non contiguous base addressing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、記憶装置を共有するファイル管理計算機間においてボリューム容量を適正化することができるストレージシステム、容量管理方法、および管理計算機に関する。
記憶装置における基本機能として、ボリュームの自動拡張技術が開示されている。例えば特許文献1によれば、複数の仮想ボリュームを含むボリュームプールにおいて、仮想ボリューム作成時には、仮想ボリュームを構成するブロックに物理ブロックが割り当てられず、実際の使用要求(書き込みI/O要求など)が発行されたときに、その要求の対象のブロックに対して、ボリュームプールから物理ブロックが割り当てられる。ボリュームの自動拡張技術を用いて、仮想ボリュームの容量を十分に大きく確保し、ボリュームプールの容量を適度な大きさとすることによって、管理者は基本的にボリュームプールの空き状況の監視のみを行っていればよく、仮想ボリュームの容量拡張作業から解放される。
また、ファイルの特性に応じ、格納するボリュームを変更させる技術が開示されている。例えば特許文献2によれば、記憶装置はボリュームを構成するディスクの特性に応じて、ボリュームをストレージクラスと呼ぶ記憶階層ごとに分類する。特許文献2の発明では、ボリューム上に構築されたファイルシステムにおいて、ファイルを動的特性や静的属性に応じて異なるストレージクラス間でマイグレーションさせることができる。また、ファイルシステムをネットワーク経由で参照しているホストに対し、マイグレーション後もマイグレーション前と同一のファイルパスでファイルを指定できるようにすることで、マイグレーションによるファイル位置の変更をホストに隠蔽することができる。
特許文献3では、特許文献2と同様にマイグレーションによるファイル位置の変更をホストに隠蔽できる技術が開示されている。特許文献2が異なる特性のボリューム・ファイルシステム間におけるファイル移動を隠蔽するのに対し、特許文献3ではファイルシステムを管理する複数の計算機間におけるファイル移動を隠蔽する点で異なる。
特開2003−15915号公報 特開2006−216070号公報 特開2006−164211号公報
記憶装置を運用管理するうえで、記憶装置の性能や容量は主要な管理対象である。一般に、記憶装置の性能や容量は、記憶装置が備えるHDD(Hard Disk Drive)、テープ、フラッシュメモリなどの記憶媒体を追加することで向上させることができる。しかし、記憶媒体の追加は、機器の導入コストはもちろんのこと、設置面積や消費電力、記憶装置全体のMTTF(Mean Time To Failure)など、管理コストの増加につながる。一方、一般的に記憶装置の全容量や全性能を利用することは少ない。例えば企業における大型の記憶装置の容量使用率は、35%程度と言われている。
これらの要因のため、例えば記憶装置が提供する複数のボリュームのうち一部で空き容量が不足した場合、他のボリュームに空き容量があるにもかかわらず、性能および領域不足のために記憶媒体を追加する必要が発生することがある。
同様の議論は、記憶装置が提供するボリューム上に構築されたファイルシステムについても成り立つ。一般的なファイルシステムでは、ファイルシステムの作成時にボリュームの容量と同じ大きさのファイルシステムを作成し、ボリューム内にファイルのデータおよびファイルの管理情報、記憶装置の使用状況を管理する情報を格納する。よって、ファイルシステムにファイルシステム全体の容量より小さなファイルしか格納していない場合、ファイルシステムとしては空き容量がある状態であるが、ボリュームの容量はすべて使用しており空き容量がない状態になる。よって、あるファイルシステムの性能や容量が不足している場合、他のファイルシステムに空き容量がある場合でも、記憶媒体を追加する必要がある。
ここで、あるファイルシステムに空き容量がある場合、その空き容量を別のファイルシステムから利用できるようにすれば記憶媒体を追加することなく容量不足を解消でき、かつ、記憶装置の使用率を高めることができる。
このためには、1つの解決案として空き容量を持つ運用中のファイルシステムを縮小し、ボリュームの使用量を減らす方法がある。そして、ファイルシステムが利用しなくなったボリューム容量を、空き容量のないファイルシステムに割り当てることで空き容量不足を解決することができる。しかし、ファイルシステムの縮小は一般的にボリューム内のデータの並べ替えを伴うため非常に記憶装置に負荷のかかる処理であり、頻繁に行うべきではない。
本発明は、ファイルシステム縮小の頻度を減らし、性能面のオーバヘッドを減少させながら空き容量の分配による記憶装置の使用率向上を課題とする。なお、オーバヘッドとは、処理を進める際に、間接的および付加的に必要となる処理をいうとともに、それにより発生する負荷の大きさのことをいう。
本発明では、さらに、もう一つの課題を解決する。容量不足以外の状態においても、他のファイルシステムが利用しているボリューム容量が必要となる場合がある。例えば、アクセス速度が高速なボリュームを用いたファイルシステムが2つ、低速なボリュームを用いたファイルシステムが複数ある時、2台の計算機が高速なボリューム上のファイルシステムを1つずつ利用している状況を想定する。
もし、1台の計算機Aが性能上の問題でより多くの高速なボリュームを必要とする場合、もう1台の計算機Bのもつ高速なボリュームの空き容量を分けてもらう必要がある。ファイルシステムに空き容量がない場合、ファイルシステムの縮小は行えないため、もし、計算機Bが高速なボリュームのファイルシステムの全容量を使用していると、計算機Bがそれほど性能を必要としない場合でも、高速なボリュームの容量を計算機Aに分けることができない。このような状況は性能に限らず、信頼性や機能などの特性が異なるボリューム・ファイルシステム間の容量調整を行う際に発生する。
本発明は、このようにすでに特定の特性を持つファイルシステムが全容量使用されている場合においても、そのファイルシステムが用いるボリュームの一部容量を別の同一特性のファイルシステムに分け与えることを課題とする。
前記課題を解決するために、ストレージシステムの管理計算機(例えば、容量管理計算機120)は、記憶装置を共有するファイルシステム群について、ファイルシステムの性能や機能、過去の容量変化履歴を収集する。管理計算機は、収集した情報にもとづいて各ファイルシステムの空き容量がなくなるまでの時間を予測し、空き容量不足が発生する時間が長くなるファイルシステムの容量を計算する。そして、管理計算機は、各ファイルシステムの縮小および拡大を行う。
また、管理計算機は、特性の異なるボリューム・ファイルシステムが複数ある構成において、前記のとおり収集した情報を用いて、各特性におけるファイルシステムの容量を計算し、システム全体としてその特性を活用できるようにファイルシステムの容量を計算し、適正容量を求める。
そして、あるファイルシステムが現在の容量より小さい容量しか必要としない場合、そのファイルシステム中のファイルを異なる特性のファイルに移動させ、ファイルシステムの空き容量を増加させる。そして、前記管理計算機は、空き容量を増加させたファイルシステムの縮小を行い、未使用となったボリューム容量を他のファイルシステムに割り当てることで、システム全体の適正化を行う。
本発明によれば、記憶装置を共有ファイルシステム群において、ファイルシステムの容量変更に伴う負荷を減らした上でシステム全体のファイルシステムの容量構成を適正化することができる。
また、上記環境において記憶装置が異なる特性のボリューム・ファイルシステムを持つ場合、システム全体で良い特性の効果を適正化できるようにボリューム・ファイルシステム間の容量分配を行うことができる。
第1の実施形態におけるストレージシステムを含む計算機システムの構成例を示すブロック図である。 ファイル管理計算機の詳細構成例を示すブロック図である。 記憶装置の詳細構成例を示すブロック図である。 容量管理計算機の詳細構成例を示すブロック図である。 第1の実施形態におけるストレージシステムの一運用形態例を示すブロック図である。 第1の実施形態におけるアクセス情報テーブルの例を示す説明図である。 アクセス情報取得処理を示すフローチャートである。 第1の実施形態における容量最適化処理を示すフローチャートである。 第1の実施形態における容量最適化処理の適用後のストレージシステムの一運用形態例を示すブロック図である。 第2の実施形態におけるストレージシステムの一運用形態例を示すブロック図である。 第2の実施形態におけるアクセス情報テーブルの例を示す説明図である。 第2の実施形態における容量最適化処理を示すフローチャートである。 第2の実施形態における容量最適化処理の適用後のストレージシステムの一運用形態例を示すブロック図である。 第2の実施形態におけるストレージシステムを含む計算機システムの構成例を示すブロック図である。 第2の実施形態におけるファイル位置管理プログラムが格納するテーブル群の例を示す説明図である。 第2の実施形態におけるその他のストレージシステムを含む計算機システムの構成例を示すブロック図である。
以下、本発明を実施するための形態について、図面に基づいて詳細に説明する。なお、これにより本発明が限定されるものではない。
(第1の実施形態)
以下、本発明の第1の実施形態について説明する。
図1は、第1の実施形態におけるストレージシステムを含む計算機システムの構成例を示すブロック図である。図1において、ストレージシステム100a(100)は、ファイル管理計算機110a(110),110b(110)、記憶装置180、容量管理計算機120、配線160、管理用のネットワークである管理ネットワーク130で構成され、データネットワーク140a(140),140b(140)に接続されたホスト計算機150a(150),150b(150)にファイル格納機能を提供する。ファイル管理計算機110a,110bは、本発明の適用対象となるそれぞれファイルシステム520a(520),520b(520)を備える計算機である。記憶装置180は、記憶媒体を持ち、ファイル管理計算機110a,110bに記憶領域を提供する装置である。なお、ファイルシステム520については、図5を参照して後記する。
ファイル管理計算機110a,110bは、記憶装置180と配線160で接続しており、記憶装置180を共有する。配線160は、図1に示すとおりファイル管理計算機110a、110bで別々である必要はなく、共有していてもよい。例えば、FC(Fibre Channel)により接続する場合、間にFC−SW(Switch)を挟むことで、記憶装置180から出る配線160をファイル管理計算機110a,110bで共有できる。他にも、配線160では、iSCSI(internet Small Computer System Interface)やFCoE(Fibre Channel on Ethernet(登録商標))などの通信形式を利用することができる。また、ファイル管理計算機110a,110b、容量管理計算機120、記憶装置180は、管理ネットワーク130に接続しており、管理ネットワーク130を制御情報やファイルのデータの通信路として利用する。
ファイル管理計算機110a,110bは、管理ネットワーク130または配線160を経由して記憶装置180に制御情報を送ることで、記憶装置180の管理を行うことができる。
容量管理計算機120は、管理ネットワーク130を経由して記憶装置180に制御情報を送ることで、記憶装置180の管理を行うことができる。また、容量管理計算機120は管理ネットワーク130を経由してファイル管理計算機110a,110bを制御することで、間接的に記憶装置180の管理を行うことができる。
ファイル管理計算機110a,110bは、記憶装置180から提供されたボリューム540a(540),540b(540)上に、それぞれファイルシステム520a,520bを作成できる。ユーザは、ファイル管理計算機110a,110bに接続する入出力装置を介して、ファイルの作成・削除・読み書きなどの操作を行うことができる。また、ファイル管理計算機110a,110bは、それぞれデータネットワーク140a,140bに接続しており、ホスト計算機150a,150bは、データネットワーク140a,140bを経由してファイルの作成・削除・読み書きなどの操作を行うことができる。
例えば、計算機間の通信には、TCP/IP(Transmission Control Protocol/Internet Protocol)やNetBEUI(NetBIOS Extended User Interface)などのプロトコルを用いることができる。また、これらの通信プロトコル上でファイルアクセス要求を行うプロトコルにはNFS(Network File System)やCIFS(Common Internet File System)などを用いることができる。
容量管理計算機120は、管理ネットワーク130を経由してファイル管理計算機110a,110b、記憶装置180と通信し、統計情報の受信や管理情報の送信など本発明の処理を行う主体となる計算機である。また、容量管理計算機120は、データネットワーク140a,140bに接続し、データネットワーク140a,140bに接続された他の機器からの統計情報を受信してもよい。
図2は、ファイル管理計算機の詳細構成例を示すブロック図である。ファイル管理計算機110は、制御装置230、メモリ250、ネットワークインタフェース210(ネットワークI/F)、ストレージインタフェース240(ストレージI/F)を持つ。さらに、ファイル管理計算機110は、入出力インタフェース220(入出力I/F)を持つこともできる。
ファイル管理計算機110は、ストレージインタフェース240を介して記憶装置180と通信を行ない、記憶装置180の提供するボリュームへの入出力処理や記憶装置180の制御を行う。
また、ファイル管理計算機110は、ネットワークインタフェース210を介して、TCP/IPやNetBEUIなどのプロトコルにより管理ネットワーク130やデータネットワーク140a,140bに接続する計算機と通信することができる。また、NFSやCIFSなどによるファイルアクセス要求を受けることができる。
制御装置230は、メモリ250に格納されたプログラムに従って動作することでファイル管理計算機110を制御する。メモリ250は、ファイルシステムプログラム260、アクセス監視プログラム270、記憶装置管理プログラム280、管理支援プログラム290、ファイルサーバプログラム295、およびアクセス履歴情報テーブル275を持つ。
ファイルシステムプログラム260は、記憶装置180の提供するボリューム上に情報をファイル形式で格納し、ファイル管理計算機110の利用者がファイル形式でボリューム上のデータを操作できる機能を提供するプログラムである。ファイルシステムプログラム260は、各ファイルに数値や文字列、記号列により構成される固有の名前をつけて管理する。ファイル管理計算機110の利用者は、ファイル管理計算機110にファイル名を渡すことで、操作対象のファイルを指定することができる。アクセス監視プログラム270は、ファイルシステムプログラム260の動作や、ストレージインタフェース240、ネットワークインタフェース210が処理する情報を監視し、データ量などの統計情報をアクセス履歴情報テーブル275に格納するプログラムである。
記憶装置管理プログラム280は、記憶装置180に対しボリューム追加・削除・容量変更などの指示を送るプログラムである。管理支援プログラム290は、他の計算機からネットワークインタフェース210を経由して送られてくる管理要求に応じて、アクセス監視プログラム270や記憶装置管理プログラム280を実行したり、アクセス履歴情報テーブル275の内容を返したりするプログラムである。
さらに、メモリ250は、ファイルサーバプログラム295を持つことができる。ファイルサーバプログラム295は、ネットワークインタフェース210を経由してNFS、CIFSなどのプロトコルにより送られてくるファイル操作要求に応じて、ファイルシステムプログラム260を呼び出してファイル操作を行うプログラムである。
入出力インタフェース220には、キーボード、マウス、ディスプレイ、プリンタなどを接続し、ファイル管理計算機110の利用者がファイル管理計算機110の管理を行ったり、ファイル管理計算機110上で管理するファイルシステム上のファイルを操作したりできる。
図3は、記憶装置の詳細構成例を示すブロック図である。記憶装置180は、制御装置320、ストレージインタフェース310(ストレージI/F)、メモリ330、記憶媒体340a(340),340b(340),340c(340)を備える。また、記憶装置180は、ネットワークインタフェース350(ネットワークI/F)を備えていてもよい。
制御装置320は、記憶媒体340を1つまたは複数組み合わせたものから、一部の容量を抜き出し、ボリュームを構成し、ストレージインタフェース310を介して配線160で接続された計算機にボリュームのIDと容量などの情報を通知する。よって、ストレージインタフェース310を介して配線160で接続された計算機は、記憶装置180にデータの入出力を行う場合、ボリュームIDとボリューム内の位置を指定することでデータの格納位置を一意指定することができる。制御装置320は、個々の記憶媒体340a〜340cをそれぞれ1つのボリュームとして扱うこともできる。また、制御装置320はストレージインタフェース310を介して配線160で接続された計算機から制御情報を受け取ると、その内容に応じて記憶装置180内の各要素を制御する。
記憶媒体340には、HDDのような磁気ディスクやDVD(Digital Versatile Disc)などの光ディスク、テープ装置、フラッシュメモリ、SSD(Solid State Drive)、または、複数のHDDや制御装置からなるディスクアレイ装置など、情報を記憶できる装置を利用できる。また、記憶媒体340が有する記憶装置180とは別の記憶装置180を用いることで、複数の記憶装置180が階層構造を構成してもよい。記憶媒体340は、すべて同一の媒体でなくてもよく、速度・容量・特性の異なる媒体を組み合わせることができる。
記憶装置180は、メモリ330の一部をディスクキャッシュ380として利用することができる。メモリ330は、ディスクキャッシュ380を、記憶媒体340が格納する情報を先読みしたり、記憶媒体340への書き込みを遅延させるためのキャッシュ領域として用いることができる。
さらに、記憶装置180は、メモリ330の内部に統計情報テーブル370を持つことができる。統計情報テーブル370は、記憶装置180におけるボリュームの利用情報やキャッシュメモリの使用量、処理した入出力量などの統計情報を格納することができる。
また、記憶装置180がネットワークインタフェース350を備える場合、ネットワークインタフェース350を介して管理ネットワーク130で接続された計算機から、記憶装置180の制御情報や、統計情報テーブル370の内容を送受信できる。
図4は、容量管理計算機の詳細構成例を示すブロック図である。容量管理計算機120は、制御装置430、メモリ450、ネットワークインタフェース410(ネットワークI/F)を持つ。さらに、容量管理計算機120は、入出力インタフェース420(入出力I/F)を持つこともできる。
容量管理計算機120は、ネットワークインタフェース410を経由して管理ネットワーク130に接続している。これを用いて、容量管理計算機120の利用者は、管理ネットワーク130に接続された他の計算機から容量管理計算機120の操作を行うことができる。また、容量管理計算機120の利用者は入出力インタフェース420を経由しても容量管理計算機120を操作することができる。
制御装置430は、メモリ450に格納されたプログラムに従って動作することで容量管理計算機120を制御する。メモリ450は、アクセス情報取得プログラム470(統計情報取得プログラム)、容量最適化プログラム480(割当容量計算プログラム)、アクセス情報テーブル475を持つ。
アクセス情報取得プログラム470は、ネットワークインタフェース410を経由してファイル管理計算機110のもつアクセス履歴情報テーブル275や記憶装置180の持つ統計情報テーブル370を取得し、加工してアクセス情報テーブル475に格納するプログラムである。アクセス情報取得プログラム470は、ファイル管理計算機110や記憶装置180以外においても、管理ネットワーク130に接続する計算機から統計情報を収集し、アクセス情報テーブル475に格納することができる。アクセス情報テーブル475には、具体的には、後記するファイルシステム統計情報テーブル600(図6(a)参照)、記憶装置統計情報テーブル650(図6(b)参照)などがある。
容量最適化プログラム480は、アクセス情報テーブル475を参照し、記憶装置180が各ファイル管理計算機110に割り当てるボリュームにおける最適な容量を計算し、さらに、その計算結果を元に、ファイル管理計算機110や記憶装置180に対し、容量変更の指示を行うプログラムである。
なお、図1および図4において、容量管理計算機120は1台の独立した計算機として記述しているが、容量管理計算機120を構成する各要素を持っているのであれば、ファイル管理計算機110や記憶装置180が容量管理計算機120としても動作することができる。例えば、ファイル管理計算機110は、制御装置230、メモリ250、ネットワークインタフェース210、入出力インタフェース220を持ち、メモリ250が加えてアクセス情報取得プログラム470、アクセス情報テーブル475、容量最適化プログラム480、システム管理プログラム490を持つことで、容量管理計算機120としても動作することができる。
図5は、第1の実施形態におけるストレージシステムの一運用形態例を示すブロック図である。ストレージシステム100a(図1参照)においては、“NAS1”のIDを持つファイル管理計算機110aと“NAS2”のIDを持つファイル管理計算機110bが“STR”のIDを持つ1台の記憶装置180を共有している。記憶装置180は、“RG1”のIDを持つ記憶媒体群550を持ち、そこから“Vol1”,“Vol2”の名前を持つ2つのボリューム540a,540bを作成している。この例においては、記憶媒体群550は、1000GBの容量を持ち、ボリューム540a,540bは半分ずつ500GBの容量を持つ。しかし、ファイルシステム520aは、ファイルシステム520bよりファイルアクセス要求が多く、多くの容量を消費しているとする。
ファイル管理計算機110aは、ボリューム540a上に“FS1”のIDを持つファイルシステム520aを作成している。ファイルシステム520aは、すでに全容量の500GBに対し、すべての容量を使用している。そのため、ファイルシステム520aは、これ以上ファイルを格納できず、継続運用ができない状態にある。なお、500GB/500GBは、消費容量/割当容量を表わし、割当容量500GBに対し、500GBを消費(使用)していることを意味する。
ファイル管理計算機110bは、ボリューム540b上に“FS2”のIDを持つファイルシステム520bを作成している。ファイルシステム520bは、すでに全容量の500GBに対し、200GBを使用している。
図6は、アクセス情報テーブルの例を示す説明図である。適宜図1、図4を参照する。容量管理計算機120がもつアクセス情報テーブル475には、図6(a)に示すファイルシステム統計情報テーブル600、図6(b)に示す記憶装置統計情報テーブル650などがある。
ファイルシステム統計情報テーブル600は、容量管理計算機120のアクセス情報取得プログラム470がファイル管理計算機110a,110bのアクセス履歴情報テーブル275を集計して生成するアクセス情報テーブル475の一種である。ファイルシステム統計情報テーブル600は、ストレージシステム100aにおけるファイルシステム1つにつき1行分のデータ620,621を格納する。ファイルシステム統計情報テーブル600は、ファイルシステムID612(ファイルシステムの識別ID)に加え、そのファイルシステムを持つファイル管理計算機を特定するノードID611、ファイルシステムを作成しているボリュームを示すボリュームID613(ボリュームの識別ID)、ファイルシステムの容量変更が可能かどうかを示す容量変更可能614(フラグ)、ファイルシステムの全容量615(ボリュームの割当容量)、ファイルシステムの未使用領域を示す空き容量616を持つ。また、ファイルシステム統計情報テーブル600は、各ファイルシステムにおける容量消費速度617を格納する。
具体的には、データ620から、ファイルシステム“FS1”(520a)は、ボリューム“Vol1”(540a)を使用し、全容量500GBに対し、空き容量がない(0GB)状態であり、容量消費速度は200MB/dayであることがわかる。また、データ621から、ファイルシステム“FS2”(520b)は、ボリューム“Vol2”(540b)を使用し、全容量500GBに対し、空き容量が300GBある状態であり、容量消費速度は100MB/dayであることがわかる。
ここに挙げたファイルシステム統計情報テーブル600の情報は一例であり、その他の情報を格納することができる。例えば、ファイルのアクセス頻度や、容量消費の日時ごとの詳細情報を格納することができる。
記憶装置統計情報テーブル650は、容量管理計算機120のアクセス情報取得プログラム470が記憶装置180の統計情報テーブル370を集計して生成するアクセス情報テーブル475の一種である。記憶装置統計情報テーブル650は、ストレージシステム100aにおけるボリューム1つにつき1行分のデータ670,671を格納する。記憶装置統計情報テーブル650は、個々のボリュームに関する統計情報として、記憶装置ID661、記憶媒体ID662、記憶媒体の最大性能663、ボリュームID664、ボリューム容量665、ボリュームの割り当て先ノードID666を格納する。
具体的には、データ670から、記憶装置“STR”(180)の記憶媒体群“RG1”(550)は、最大性能は、300MB/sであり、ボリューム“Vol1”(540a)には、ファイル管理計算機“NAS1”(110a)に500GBの容量が割り当てられており、ボリューム“Vol2”(540b)には、ファイル管理計算機“NAS2”(110b)に500GBの容量が割り当てられていることがわかる。
ここに挙げた記憶装置統計情報テーブル650の情報は一例であり、その他の情報を格納することができる。例えば、ボリュームの応答時間や、消費電力、入出力量の日時ごとの詳細情報を格納することができる。
また、アクセス情報テーブル475は、ファイルシステム統計情報テーブル600や記憶装置統計情報テーブル650に限らず、ストレージシステム100aに関する統計情報を格納することができる。例えば、ファイル管理計算機110a,110bにおける制御装置230の使用率や、配線160の帯域使用率、記憶装置180におけるディスクキャッシュ380の使用状況などを格納してもよい。
次に処理について説明する。
(アクセス情報取得処理)
図7は、アクセス情報取得処理を示すフローチャートである。アクセス情報取得プログラム470によるアクセス情報取得処理S700は、ファイル管理計算機110、記憶装置180、外部装置からアクセス情報を取得し、アクセス情報テーブル475に格納する処理である。
容量管理計算機120は、管理者により開始指示が出された場合や、事前に設定された定期的な周期、またはファイルシステムの空き容量不足など、管理ネットワーク130に接続された機器から特定の事象が通知された時点でアクセス情報取得処理S700を実行する。
容量管理計算機120は、ステップS710において、管理ネットワーク130に接続された1または複数のファイル管理計算機110にアクセス履歴情報テーブル275の取得要求を送り、ファイル管理計算機110が応答して返したアクセス履歴情報テーブル275のうち、容量最適化プログラム480が参照する項目だけを抜き出してファイルシステム統計情報テーブル600を生成する。
容量管理計算機120は、ステップS720において、管理ネットワーク130に接続された1または複数の記憶装置180に統計情報テーブル370取得要求を送り、記憶装置180が応答して返した統計情報テーブル370のうち、容量最適化プログラム480が参照する項目だけを抜き出して記憶装置統計情報テーブル650を生成する。
容量管理計算機120は、ステップS730において、ファイル管理計算機110および記憶装置180以外に管理ネットワーク130に接続された機器が存在する場合、容量最適化プログラム480が必要とする情報を持つ機器に統計情報取得要求を行うことができる。例えば、ネットワーク帯域の監視装置からネットワーク帯域の使用率を取得することができる。
ステップS710、ステップS720、ステップS730は、それぞれ独立した処理であり、必ずしも連続的に行う必要はなく同時に並行して行ってもよい。また、ステップS710、ステップS720、ステップS730は必ずしも同じタイミング行う必要はない。例えば、ステップS710は10分ごと、ステップS720は20分ごと、ステップS730は管理者指示時に行う、という手順をとることもできる。
(容量最適化処理)
図8に、第1の実施形態における容量最適化処理を示すフローチャートである。容量最適化処理S800は、容量最適化プログラム480による処理である。容量管理計算機120は、管理者により開始指示が出された場合や、事前に設定された定期的な周期、またはファイルシステムの空き容量不足など、管理ネットワーク130に接続された機器から特定の事象が通知された時点で容量最適化処理S800を実行する。
容量管理計算機120は、まずステップS810において、アクセス情報テーブル475を用いて、各ファイル管理計算機およびファイルシステムに割り当てる各ボリュームの最適容量を計算する。
ここで述べる最適容量(適正容量)とは、性能やストレージ使用率、信頼性、電力使用量など管理者が期待する特定の基準においてストレージシステム全体でその基準を最大源に高めるボリュームごとの容量構成を示す。前記最適容量は、管理者により指示された基準と、図6(a)に示す現在の全容量615、空き容量616、容量消費速度617などの統計情報から求めることができる。
最適容量の計算処理においては、同一の記憶装置、記憶媒体を用いた容量変更が可能なファイルシステムを持つボリューム間で、ボリューム容量の合計を変化させず、かつ、各ファイルシステムの使用量を下回らない範囲で容量を移動することができる。ただし、管理者により記憶媒体の容量追加が可能である場合は、ボリューム容量の合計が増加してもよい。
ステップS810の具体例として、図6における統計情報(ファイルシステム統計情報テーブル600、記憶装置統計情報テーブル650)を基づいて、最適容量計算の一例を示す。ストレージシステムの管理者は、ストレージシステムの使用率が最善となる、すなわち各ボリュームの空き容量不足が発生するまでの時間が最長となる最適容量計算を指示したとする。図6の例では、2つのファイルシステム“FS1”と“FS2”が構築された2つのボリューム“Vol1”(540a),“Vol2”(540b)は、記憶媒体群“RG1”(550)に属しており、容量の移動が可能である。
容量管理計算機120は、同一記憶媒体を用いるファイルシステム群において、空き容量616の合計値を計算し、その合計空き容量を、各ファイルシステムの容量消費速度617の比率と同じ比率で分配する。そして、分配後の空き容量616を確保できるよう、各ファイルシステムの全容量615を、ファイルシステムの使用済み容量、すなわち計算前の全容量500と空き容量616の差に、計算後の空き容量を加えた値に変更する。
図6においては、データ620のファイルシステムID“FS1”とデータ621のファイルシステムID“FS2”の合計空き容量は300GBであるから、容量管理計算機120は、この合計空き容量を容量消費速度の比200MB/day:100MB/dayと同じ割合で割り当て、ファイルシステム“FS1”(520a)の全容量を、空き容量が200GBとなる700GB(使用量500GBと空き容量200GBの合算容量)、ファイルシステム“FS2”(520b)の全容量を、空き容量が100GBとなる300GB(使用量200GBと空き容量100GBの合算容量)を最適容量と計算する。
図8に戻り、容量管理計算機120は、続くステップS820において、ステップS810において現在のボリューム容量より小さいボリューム容量が最適であると計算されたボリュームを持つファイルシステムごとに、該当するファイルシステムを所有するファイル管理計算機110にファイルシステム縮小指示要求を送る。
ファイル管理計算機110は、ファイルシステム縮小指示要求を受け取ると、ファイルシステムプログラム260が動作し、ファイルシステムの縮小処理が行われる。
以下に、第1のファイルシステムの縮小処理の例を示す。ファイル管理計算機110はファイルシステムの縮小のため、縮小後のボリューム容量より後ろのボリューム領域を未使用にする。ボリューム領域を未使用にするために、すでに縮小後のボリューム容量より後ろの領域にファイルのデータや管理データを配置している場合、前記データを縮小後のボリューム容量の範囲内に収まるように移動する。また、ファイルシステムの管理情報であるinodeの管理情報や空き領域の管理情報を縮小し、縮小後のボリューム容量より後ろのボリューム領域を管理しないようにする。これにより縮小後のボリューム容量より後ろのボリューム領域を未使用にできる。
また、第2のファイルシステムの縮小処理として、特許文献1に示す発明により、ファイル管理計算機110に割り当てられたボリュームが記憶装置180内の仮想ボリュームである場合、かつ、ファイル管理計算機110が記憶装置180の物理ブロック割り当て機構を制御できる場合、次のファイルシステムの縮小処理をとることができる。まず、ファイル管理計算機110は指示されたボリューム容量に達するまでに、割り当て解除が必要な物理ブロック数を計算する。ファイルシステムが未使用の物理ブロックがあれば、ファイル管理計算機110は必要な数だけ記憶装置に物理ブロック割り当て解除指示を行う。未使用の物理ブロックをすべて割り当て解除しても、指示されたボリューム容量を超過する場合、ファイル管理計算機110は部分的に使用されている物理ブロックを複数選択し、それらの物理ブロック内でファイルシステムの一貫性を維持したままデータの移動を行い、全領域が使用された物理ブロックと、全く利用されない物理ブロックに分ける。そして、全く利用されない物理ブロックの割り当て解除指示を行う。
前記第2のファイルシステムの縮小処理は、部分的に使用された物理ブロックにおいてのみデータの移動が発生するため、ボリューム内の全領域を均等に消費するファイルシステムにおいては、第1のファイルシステムの縮小処理に比べ短い時間でファイルシステムの縮小を達成することができる。
図8に戻り、容量管理計算機120は、続くステップS830において、ステップS810において現在のボリューム容量と異なるボリューム容量が最適であると計算されたボリュームごとに、ボリュームを所有する記憶装置180にボリューム容量変更指示を送る。
容量管理計算機120は、続くステップS840において、ステップS810において現在のボリューム容量より大きいボリューム容量が最適であると計算されたボリュームを持つファイルシステムごとに、該当するファイルシステムを所有するファイル管理計算機110にファイルシステム拡大指示要求を送る。
ファイル管理計算機110は、ファイルシステム拡大指示要求を受け取ると、ファイルシステムプログラム260が動作しファイルシステムの拡大処理が行われる。
ファイルシステムの拡大処理の例を挙げると、ファイル管理計算機110は、ファイルシステムの拡大のため、ファイルシステムの管理情報であるinodeの管理情報や空き領域の管理情報を拡大し、新しく追加された領域の管理を可能とする。これによりファイル管理計算機110はボリューム拡大により追加された領域を使用できるようになり、ファイルシステムの拡大が完了する。
図8に戻り、容量管理計算機120は、ステップS840までの一連の処理を終えることで、ストレージシステム全体の容量最適化を実現することができる。
図9は、第1の実施形態における容量最適化処理の適用後のストレージシステムの一運用形態例を示すブロック図である。図9には、図5で示したストレージシステム100aに対して容量最適化処理S800を適用した後の状態を示す。記憶装置180が備える記憶媒体群550は、処理の前後で容量は変わらず1000GBである。しかし、記憶媒体群550から生成されたボリューム540a,540bは、容量最適化処理S800の適用前はともに500GBであったが、容量最適化処理S800の適用後は、ボリューム540aが700GB、ボリューム540bが300GBになっている。また、ボリュームの容量変更に伴い、ファイルシステム520a,520bの最大容量も変化している。この結果、記憶媒体群550を追加することなく、容量不足状態にあったファイルシステム520aに空き容量を追加し、継続運用が可能となっている。さらに、容量最適化処理S800の適用後、ファイルシステム統計情報テーブル600によるとファイルシステム520a,520bは現在の容量消費速度617で容量を使用した場合、いずれも1000日後に同時に容量不足が発生する。これは記憶媒体群550の全容量を使い切った状態であり、確かに空き容量不足が発生するまでの時間が最長化されている。
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。
第2の実施形態は、ファイルシステム間のファイル移動時に、名前の変更を外部計算機に隠蔽し、移動前後で同一のファイル名を用いてファイルに入出力が可能な機構を持つストレージシステムにおいて適用できる。名前変更の隠蔽機構については特許文献2を用いた方法、特許文献3を用いた方法がある。第2の実施形態として、それぞれの方法についてを第1の名前変更の隠蔽機構例(図14および図15参照)、第2の名前変更の隠蔽機構例(図16参照)として説明する。
(第1の名前変更の隠蔽機構例)
図14は、第2の実施形態におけるストレージシステムを含む計算機システムの構成例を示すブロック図である。図14には、特許文献2の技術を適用したストレージシステム100b(100)を含む計算機システムを示す。ストレージシステム100bに含まれるファイル管理計算機110c(110),110d(110)のメモリ250は、ファイル位置管理プログラム285を持つものとする。ファイル位置管理プログラム285は、図15に示すファイル名管理テーブル1600を持つ。
図15は、第2の実施形態におけるファイル位置管理プログラムが格納するテーブル群の例を示す説明図である。ファイル名管理テーブル1600は、ファイル管理計算機110が管理する各ファイルについて、ファイル名やファイルハンドラなどの各種メタ情報1610,1611,1612,1613,1614をファイルごとに格納する。また、ファイルのメタ情報は、ファイル格納管理テーブル1650への参照を持つ。
ファイル格納管理テーブル1650は、大きさ1651やブロック数1652などのファイルの格納に関する情報を持つ。さらに、ファイル格納管理テーブル1650は、リンク先ノード名1661、リンク先ファイル名1662、リンク先ファイルハンドラ1663を持つ。
ファイル管理計算機110は、ファイルに対する入出力要求を受けたとき、前記ファイル格納管理テーブル1650を参照し、リンク先ノード名1661、リンク先ファイル名1662、リンク先ファイルハンドラ1663に記述された場所にあるファイルに入出力要求を転送することができる。ファイルシステム間でファイルを移動させる際、ファイル格納管理テーブルのリンク先ファイル情報を書き換えることで、元のファイル名を変更することなくファイルの移動が可能となり、ファイル移動をファイル管理計算機110の外部から隠蔽できる。
(第2の名前変更の隠蔽機構例)
図16は、第2の実施形態におけるその他のストレージシステムを含む計算機システムの構成例を示すブロック図である。図16には、ストレージシステム100aに特許文献3の技術を適用したストレージシステム100cを含む計算機システムを示す。ストレージシステム100cは、ストレージシステム100aに中間装置190(受付装置)を加えた構成となる。
特許文献3の手法においては、図1におけるホスト計算機150a,150bがファイル管理計算機110c(110),110d(110)に格納されたファイルの入出力を行うとき、ホスト計算機150a,150bは、直接的にファイル管理計算機110c,110dと通信を行うのではなく、中間装置190に入出力要求を行う。
中間装置190は、ファイル管理計算機110c,110d内のファイルを参照し、ファイル中身に他ファイルシステムへのリンクを意味するスタブ情報が格納されている場合は、再度リンク先ファイルの格納されているファイル管理計算機110c,110dに入出力要求を送る。ファイルがファイル管理計算機110c,110d間または計算機内で移動する場合は、中間装置190が前記スタブ情報を作成し、元のファイル名で移動先ファイルへのリンクを保持する。これにより、中間装置190は、ファイル管理計算機110c,110d間または計算機内でのファイル移動を隠蔽することができる。
第1の名前変更の隠蔽機構または第2の名前変更の隠蔽機構を用いることで、ファイル管理計算機110c,110dがそれぞれ複数のファイルシステム1020a,1020b、複数のファイルシステム1021a,1021bを持つとき、ホスト計算機150a,150bは、処理要求を出したファイルがどのファイルシステムに格納されているかを知る必要がないことから、ストレージシステム100は、各ファイル管理計算機110c,110dが備えるファイルシステムを、統合ファイルシステム1060,1061としてホスト計算機150a,150bに見せることができる。
前記名前変更の隠蔽機構を用いると、ストレージシステム100は、ホスト計算機150a,150bがファイルを参照するために必要なファイル名を変更させずに、ファイルの格納位置を移動させることが可能となる。このようにファイル名を保持したままファイルをファイルシステム間で移動させる処理をマイグレーションと呼ぶ。
図10は、第2の実施形態におけるストレージシステムの一運用形態例を示すブロック図である。図10に示す運用形態は、概ね図5に示すストレージシステム100aと似た構成であるが、記憶装置ID“STR”の記憶装置180が、複数の記憶媒体群1050,1051を持つ点で異なる。
ストレージシステム100(100bまたは100c)においては、“NAS1”のIDを持つファイル管理計算機110cと“NAS2”のファイル管理計算機IDを持つ110dが“STR”のIDを持つ1台の記憶装置180を共有している。
記憶装置“STR”(180)は、“RG1”のIDを持つ記憶媒体群1050を持ち、そこから“Vol1a”,“Vol1b”の名前を持つ2つのボリューム1040a,1040bを作成している。この例においては、記憶媒体群1050は、1000GBの容量を持ち、ボリューム1040a,1040bは、半分ずつ500GBの容量を持つ。また、記憶装置“STR”(180)は、“RG2”のIDを持つ記憶媒体群1051を持ち、そこから“Vol2a”,“Vol2b”の名前を持つ2つのボリューム1041a,1041bを作成している。この例においては、記憶媒体群1051は、4000GBの容量を持ち、ボリューム1041a,1041bは、半分ずつ2000GBの容量を持つ。
ここで、記憶媒体群1050と記憶媒体群1051は、容量以外に異なる性質を持つものとする。例えば、入出力の帯域、遅延時間、装置の信頼性、価格などが異なる記憶媒体群が考えられる。ここでは、記憶媒体群1050においてSSDなど高速な記憶媒体を用い、記憶媒体群1051においてSSDより性能の低いHDDなどの記憶媒体を用いているとして、記憶媒体群1050が記憶媒体群1051より入出力帯域が高性能である場合を例にとり説明を行う。
ファイル管理計算機110cは、ボリューム1040a上に“FS1a”のIDを持つファイルシステム1020aを、ボリューム1041a上に“FS1b”のIDを持つファイルシステム1020bを作成している。ファイル管理計算機110dは、ボリューム1040b上に“FS2a”のIDを持つファイルシステム1021aを、ボリューム1041b上に“FS2b”のIDを持つファイルシステム1021bを作成している。ファイルシステム1020aおよびファイルシステム1021aは、すでに全容量の500GBに対し、すべての容量を使用している。ファイルシステム1020bは、全容量の2000GBに対し、使用量は500GBであり、まだ空き容量を1500GB残している。ファイルシステム1021bは、全容量の2000GBに対し、使用量は1000GBであり、まだ空き容量を1000GB残している。
ここで、ファイル管理計算機110c,110dは、前記名前隠蔽機構を用いることで各々のファイルシステム容量を統合した統合ファイルシステムを作成している。ファイル管理計算機110cは、ファイルシステム1020a,1020bを統合し、統合ファイルシステム“FS1c”(1060)を作成している。統合ファイルシステム1060は、ファイルシステム1020a,1020bの容量をあわせ、全体容量2500GB、使用済み容量1000GBとなる。
同様に、ファイル管理計算機110dは、ファイルシステム1021a,1021bを統合し、統合ファイルシステム“FS2c”(1061)を作成している。統合ファイルシステム1061は、ファイルシステム1021a,1021bの容量をあわせ、全体容量2500GB、使用済み容量1500GBとなる。
図11は、第2の実施形態におけるアクセス情報テーブルの例を示す説明図である。容量管理計算機120がもつアクセス情報テーブル475には、図11(a)に示すファイルシステム統計情報テーブル600A、図11(b)に示す記憶装置統計情報テーブル650Aなどがある。
ファイルシステム統計情報テーブル600Aは、統合ファイルシステムを構成するボリュームごとに1行分のデータ1120a,1120b,1121a,1121bを格納する。ファイルシステム統計情報テーブル600Aは、ファイルシステム統計情報テーブル600(図6(a)参照)と類似した情報を持ち、ファイルシステムID612に加え、そのファイルシステムを持つファイル管理計算機を特定するノードID611、ファイルシステムを作成しているボリュームを示すボリュームID613、ファイルシステムの容量変更が可能かどうかを示す容量変更可能614(フラグ)、ファイルシステムの全容量615、ファイルシステムの未使用領域を示す空き容量616を持つ。
また、ファイルシステム統計情報テーブル600Aは、各統合ファイルシステムにおける現在性能1117(アクセス速度)や要求性能1118(要求アクセス速度)を格納する。現在性能1117は、ファイル管理計算機110が持つアクセス履歴情報テーブル275を参照し、過去の入出力速度から算出できる。要求性能1118は、記憶装置180に対する入出力待ちのためにホスト計算機150a,150bのファイル要求に応答できなかった割合を、現在性能117から除算することで求めることができる。もしくは、要求性能1118は、ストレージシステムの管理者が入出力インタフェース420やネットワークインタフェース410を通じ、直接、ファイルシステム統計情報テーブル600Aに情報を書き込んでもよい。
ここに挙げたファイルシステム統計情報テーブル600Aの情報は一例であり、その他の情報を格納することができる。例えば、ファイルのアクセス頻度や、容量消費の日時ごとの詳細情報を格納することができる。
記憶装置統計情報テーブル650Aは、容量管理計算機120のアクセス情報取得プログラム470が記憶装置180の統計情報テーブル370を集計して生成するアクセス情報テーブル475の一種である。記憶装置統計情報テーブル650Aは、ストレージシステムにおけるボリューム1つにつき1行分のデータ1170a,1170b,1171a,1171bを格納する。記憶装置統計情報テーブル650Aは、記憶装置統計情報テーブル650(図6(b)参照)と同様に、個々のボリュームに関する統計情報として、記憶装置ID661、記憶媒体ID662、記憶媒体の最大性能663、ボリュームID664、ボリューム容量665、ボリュームの割り当て先ノードID666を格納する。また、記憶装置統計情報テーブル650同様にそれ以外の統計情報を持つこともできる。
例えば、統合ファイルシステムに対する入出力要求は、統合元のファイルシステムの使用容量比に応じて各ファイルシステムに振り分けられているとする。すると、この例では、統合ファイルシステム“FS1c”(1060)に対する入出力要求は、統合元のファイルシステム1020a,1020bの使用容量比から、ボリューム“Vol1a”(1040a)、ボリューム“Vol2a”(1041a)へ、1:1の割合で振り分けられる。また、統合ファイルシステム“FS2c”(1061)に対する入出力要求は、統合元のファイルシステム1021a,1021bの使用容量比から、ボリュームID“Vol1b”(1040b)、ボリュームID“Vol2b”(1041b)へ、1:2の割合で振り分けられる。
記憶媒体群“RG1”(1050)と、記憶媒体群“RG2”(1051)の合計最大性能は、記憶装置統計情報テーブル650Aの最大性能663から600MB/sであり、統合ファイルシステム1060,1061の合計要求性能は、ファイルシステム統計情報テーブル600Aの要求性能1118から450MB/sである。よって、記憶媒体群1050,1051の性能は、要求性能を充分上回っている。しかし、前記入出力要求の振り分けの比率を考慮すると、ファイルシステム統計情報テーブル600Aでは要求性能1118を満たすことはできない。例えば、ファイルシステム統計情報テーブル600Aでは、統合ファイルシステム“FS1c”(1060)において、現在性能1117に示す200MB/sが要求性能1118に示す300MB/s以下となっている。
図12は、第2の実施形態における容量最適化処理を示すフローチャートである。容量最適化処理S1200は、容量最適化プログラム480による処理である。容量管理計算機120は、管理者により開始指示が出された場合や、事前に設定された定期的な周期、またはファイルシステムの空き容量不足など、管理ネットワーク130に接続された機器から特定の事象が通知された時点で容量最適化処理S1200を実行する。
容量管理計算機120は、まずステップS1210において、アクセス情報テーブル475を用いて、各ファイル管理計算機およびファイルシステムに割り当てる各ボリュームの最適容量を計算する。ここで述べる最適容量とは、性能やストレージ使用率、信頼性、電力使用量など管理者が期待する特定の基準においてストレージシステム全体でその基準を最大限に高めるボリュームごとの容量構成を示す。前記最適容量は、管理者により指示された基準と、現在の全容量615、空き容量616、容量消費速度617などの統計情報から求めることができる。
第2の実施形態における最適容量計算ステップS1210においては、第1の実施形態における最適容量計算ステップS810(図8参照)と異なり、個々のファイルシステムの空き容量が不足していてもファイルシステム縮小が可能として最適容量を計算する。ただし、各ファイルシステムを統合した統合ファイルシステムの空き容量が不足しない範囲で最適容量を計算する。また、統合ファイルシステム内の各ファイルシステムでは、使用容量が相互に移動可能であるとして最適容量を計算する。
ステップS1210の具体例として、図11における統計情報(ファイルシステム統計情報テーブル600A、記憶装置統計情報テーブル650A)に基づいた、最適容量計算の一例を示す。ストレージシステム100の管理者は、各統合ファイルシステム“FS1c”,“FS2c”の要求性能1118を満たす最適容量計算を指示したとする。
以下の条件(第1の条件から第5の条件)より各ファイルシステムの容量および性能における方程式を立てることができる。
第1の条件として、各統合ファイルシステムにおけるファイルシステムの合計使用量は変化しない。
第2の条件として、各ファイルシステムの容量は、使用量を下回らない。
第3の条件として、記憶媒体群を共有するボリュームからなるファイルシステムの合計容量は記憶媒体群の容量を超えない。
第4の条件として、記憶媒体群を共有するボリュームからなるファイルシステムに対する合計要求性能は記憶媒体群の性能を超えない。
第5の条件として、統合ファイルシステムに対する要求性能は、各ファイルシステムの使用量比に比例し、各ファイルシステムへの要求性能となる。
ファイルシステム1020a,1020b,1021a,1021bを格納するボリューム1040a,1041a,1040b,1041bにおいて、それぞれ求める容量をT1a,T2a,T1b,T2b、使用量をU1a,U2a,U1b,U2bとする。
第1の条件より、
U1a+U2a=1000GB、
U1b+U2b=1500GB
の式が得られる。
第2の条件より、
T1a≧U1a、
T2a≧U2a、
T1b≧U1b、
T2b≧U2b
の式が得られる。
第3の条件より、
T1a+T1b≦1000GB、
T2a+T2b≦4000GB
の式が得られる。
第4および第5の条件より、
300×U1a/(U1a+U2a)+150×U1b/(U1b+U2b)≦400、
300×U2a/(U1a+U2a)+150×U2b/(U1b+U2b)≦200
の式が得られる。
統合ファイルシステムの全体容量については、計算前後で変化しなくてもよいし変化してもよい。例えばこの例では、要求性能はボリューム1040aとボリューム1040bの容量の変更だけで達成できるが、この場合において、統合ファイルシステム1060,1061の全体容量が変化してしまう。管理者が統合ファイルシステムの容量変化を望まないのであれば、ボリューム1040aが300GB拡大し、ボリューム1040bが300GB縮小した分、ボリューム1041aを300GB縮小し、ボリューム1041bを300GB拡大させて、全体の統合ファイルシステムの容量を変化させないことができる。
これらの拘束条件のもとで線形計画法などの手法により条件を満たす容量および使用量を計算することで、最適容量を得ることができる。この例では、
T1a=U1a=800GB、
T2a=1700GB、U2a=200GB、
T1b=U1b=200GB、
T2b=2300GB、U2b=1300GB
がこれらの条件を満たす。
図12に戻り、容量管理計算機120は、続くステップS1220において、ステップS1210において計算された最適容量に基づき、使用容量が減少し、マイグレーション先に空き容量があるファイルシステムごとに、該当するファイルシステムを所有するファイル管理計算機110にファイルマイグレーション指示要求を送る。
ファイル管理計算機110は、マイグレーション指示を受けたファイルシステム中のファイルを同一の統合ファイルシステム下にあり、空き容量のある別のファイルシステムにマイグレーションする。ファイル管理計算機110は特許文献2や特許文献3の技術を用いることで、ホスト計算機150a,150bからみえるファイルのパスを変更させることなくファイルのマイグレーションを行い、ファイルの移動をホスト計算機150a,150bに意識させない。
例えば、前記最適容量計算の例では、容量管理計算機120は、ファイルシステム“FS2b”(1021b)がすでに空き容量を1000GB持つため、ファイルシステム“FS2a”(1021a)のファイルを300GB分ファイルシステム“FS2b”(1021b)にマイグレーションするよう指示する。
ファイルシステム内のどのファイルをマイグレーションするかは、容量管理計算機120が決定してもよいし、ファイル管理計算機110が決定してもよい。例えば、頻繁に入出力要求が行われるファイルは高速な記憶媒体群を用いたファイルシステムに置くなどの判断基準を用いることができる。
容量管理計算機120は、続くステップS1230において、ステップS1210において現在の使用容量より小さいボリューム容量が最適であると計算されたボリュームを持つファイルシステムごとに、該当するファイルシステムを所有するファイル管理計算機110にファイルシステム縮小指示要求を送る。前記ステップS1230の処理は、第1の実施形態におけるステップS820と同一である。
容量管理計算機120は、続くステップS1240において、ステップS1210において現在のボリューム容量と異なるボリューム容量が最適であると計算されたボリュームごとに、ボリュームを所有する記憶装置180にボリューム容量変更指示を送る。前記ステップS1240の処理は、第1の実施形態におけるステップS830と同一である。
容量管理計算機120は、続くステップS1250において、ステップS1210において現在のボリューム容量より大きいボリューム容量が最適であると計算されたボリュームを持つファイルシステムごとに、該当するファイルシステムを所有するファイル管理計算機110にファイルシステム拡大指示要求を送る。前記ステップS1250の処理は、第1の実施形態におけるステップS840と同一である。
容量管理計算機120は、続くステップS1260において、ステップS1210において計算された最適容量に基づき、使用容量が減少し、ステップS1220でマイグレーション処理が行われなかったファイルシステムごとに、該当するファイルシステムを所有するファイル管理計算機110にファイルマイグレーション指示要求を送る。ファイル管理計算機110はマイグレーション指示を受けると、ステップS1220により指示された場合と同様の処理を行う。
容量管理計算機120は、ステップS1260までの一連の処理を終えることで、ストレージシステム全体の性能改善の容量最適化を実現する。
図13は、第2の実施形態における容量最適化処理の適用後のストレージシステムの一運用形態例を示すブロック図である。図13には、図10で示したストレージシステム100において性能改善のための容量最適化処理S1200を適用した後の状態1300を示す。容量管理計算機120がステップS1210で計算したように、ボリューム1040a上に構築されたファイルシステム1020aは全容量800GB、うち使用量800GBになり、さらに、ボリューム1040b上に構築されたファイルシステム1021aは全容量200GB、うち使用量200GBになり、さらに、ボリューム1041a上に構築されたファイルシステム1020bは全容量1700GB、うち使用量200GBになり、さらに、ボリューム1041b上に構築されたファイルシステム1021bは全容量2300GB、うち使用量1300GBに、容量の最適化を実現できる。
このとき、ボリューム1040aが240MB/s、ボリューム1040bが20MB/s、ボリューム1041aが60MB/s、ボリューム1041bが130MB/sの入出力を行うと、それぞれ記憶媒体群1050,1051の最大性能を超えず、かつ、統合ファイルシステム1060,1061の要求性能をともに満たすことができる。この結果、高速な記憶媒体群1050を追加することなく、要求性能を満たした継続運用を実現できる。
本実施形態のストレージシステム100は、記憶装置180のボリューム上にファイルシステムを構築する、複数のファイル管理計算機110と、前記ファイルシステムごとに割り当てられた割当容量を管理し再配分する容量管理計算機120とを備える。
容量管理計算機120は、ファイルシステムごとの割当容量に関するファイルシステム統計情報テーブル600および記憶装置180のボリューム容量に関する記憶装置統計情報テーブル650とを、ファイル管理計算機110および記憶装置180から収集してメモリ450に記憶しており、ファイルシステムの割当容量の再配分要求を受理すると、ファイルシステム統計情報テーブル600および記憶装置統計情報テーブル650に基づいて、ファイルシステムの合計の空き容量を、所定の性能情報を満たすように前記ファイルシステムごとに割当容量を算出し、複数のファイル管理計算機のうち前記割当容量が縮小するファイルシステムを管理するファイル管理計算機に、ファイルシステムの縮小指示を送信し、前記割当容量に基づき、前記記憶装置にボリューム容量変更指示を送信し、複数のファイル管理計算機のうち前記割当容量が拡大するファイルシステムを管理するファイル管理計算機にファイルシステム拡大指示を送信する。
ここで、第1の実施形態の場合、複数のファイル管理計算機のうち前記割当容量が縮小するファイルシステムを管理するファイル管理計算機は、ファイル管理計算機110bに該当し、複数のファイル管理計算機のうち前記割当容量が拡大するファイルシステムを管理するファイル管理計算機は、ファイル管理計算機110aに該当する。また、第2の実施形態の場合は、図10および図13に示すように、統合ファイルシステム1060,1061が管理するファイルシステム(ファイルシステム1020a,1020b、または、ファイルシステム1021a,1021b)の容量が増減する場合もある。このため、複数のファイル管理計算機のうち前記割当容量が縮小するファイルシステムを管理するファイル管理計算機および複数のファイル管理計算機のうち前記割当容量が拡大するファイルシステムを管理するファイル管理計算機には、ともに、ファイル管理計算機110c、110dが該当する。
100 ストレージシステム
110 ファイル管理計算機
120 容量管理計算機(管理計算機)
130 管理ネットワーク
140 データネットワーク
150 ホスト計算機
160 配線
180 記憶装置
190 中間装置(受付装置)
230,320,430 制御装置
250,330,450 メモリ(記憶部)
260 ファイルシステムプログラム
270 アクセス監視プログラム
275 アクセス履歴情報テーブル
280 記憶装置管理プログラム
285 ファイル位置管理プログラム
290 管理支援プログラム
295 ファイルサーバプログラム
340 記憶媒体
370 統計情報テーブル
380 ディスクキャッシュ
470 アクセス情報取得プログラム(統計情報取得プログラム)
475 アクセス情報テーブル
480 容量最適化プログラム(割当容量計算プログラム)
520a,520b ファイルシステム
540a,540b ボリューム
550 記憶媒体群
600 ファイルシステム統計情報テーブル(ファイルシステム統計情報)
650 記憶装置統計情報テーブル(記憶装置統計情報)
1020a,1020b,1021a,1021b ファイルシステム
1040a,1040b,1041a,1041b ボリューム
1050,1051 記憶媒体群
1060,1061 統合ファイルシステム

Claims (13)

  1. 記憶装置のボリューム上にファイルシステムを構築する、複数のファイル管理計算機と、前記ファイルシステムごとに割り当てられた割当容量を管理し再配分する管理計算機とを備えるストレージシステムであって、
    前記管理計算機は、
    前記ファイルシステムごとの割当容量に関するファイルシステム統計情報および前記記憶装置のボリューム容量に関する記憶装置統計情報とを、前記ファイル管理計算機および前記記憶装置から収集して記憶部に記憶しており、
    前記ファイルシステムの割当容量の再配分要求を受理すると、前記ファイルシステム統計情報および前記記憶装置統計情報に基づいて、前記ファイルシステムの合計の空き容量を、所定の性能情報を満たすように前記ファイルシステムごとに割当容量を算出し、
    前記複数のファイル管理計算機のうち前記割当容量が縮小するファイルシステムを管理するファイル管理計算機に、ファイルシステムの縮小指示を送信し、
    前記割当容量に基づき、前記記憶装置にボリューム容量変更指示を送信し、
    前記複数のファイル管理計算機のうち前記割当容量が拡大するファイルシステムを管理するファイル管理計算機にファイルシステム拡大指示を送信する
    ことを特徴とするストレージシステム。
  2. 前記ファイルシステム統計情報には、前記ファイルシステムの識別IDと、前記ボリュームの識別IDと、前記ボリュームの割当容量と、前記ボリュームの空き容量と、容量が消費される速度である容量消費速度が含まれ、
    前記記憶装置統計情報には、前記ボリュームの識別IDと、前記ボリュームの識別IDごとの割当容量とが含まれ、
    前記所定の性能情報は前記容量消費速度である
    ことを特徴とする請求項1に記載のストレージシステム。
  3. 前記ファイルシステム統計情報には、前記ファイルシステムの識別IDと、前記ボリュームの識別IDと、前記ボリュームの割当容量と、前記ボリュームの空き容量と、過去の入出力速度から決定されるアクセス速度と、要求される要求アクセス速度とが含まれ、
    前記記憶装置統計情報には、前記ボリュームの識別IDと、前記ボリュームの識別IDごとの割当容量とが含まれ、
    前記所定の性能情報は前記要求アクセス速度である
    ことを特徴とする請求項1に記載のストレージシステム。
  4. 前記ファイル管理計算機には、
    複数のファイルシステムを統合する統合ファイルシステムが構築されるとともに、
    記憶されるファイルに対して前記統合ファイルシステムと前記ファイルシステムとを関連付けるファイル位置管理情報が前記記憶部に記憶されており、
    前記ファイル管理計算機は、
    前記統合ファイルシステムのファイルに入出力要求を受理すると、前記ファイル位置管理情報を参照して前記入出力要求のファイルを特定してアクセスし、
    前記ファイルシステム間でファイルがマイグレーションすると、前記ファイル位置管理情報を更新する
    ことを特徴とする請求項1に記載のストレージシステム。
  5. 前記ストレージシステムは、さらに、
    ファイルの入出力要求を受け付ける受付装置を有し、
    前記受付装置は、
    ファイルへの入出力要求を受理すると、前記ファイル管理計算機内のファイルを参照し、前記ファイルに他のファイルシステムへのリンクを意味するスタブ情報が格納されている場合、再度リンク先のファイルの格納されている前記ファイル管理計算機に入出力要求を送信し、
    前記ファイルが前記ファイル管理計算機間または前記ファイル管理計算機内で移動する場合は、前記スタブ情報を作成し、元のファイル名で移動先ファイルへのリンクを保持する
    ことを特徴とする請求項1に記載のストレージシステム。
  6. 記憶装置と、前記記憶装置のボリューム上にファイルシステムを構築する、複数のファイル管理計算機とが、ネットワークを介して管理計算機と通信可能にされたストレージシステムにおいて、前記ファイルシステムごとに割り当てられた割当容量を管理し再配分する容量管理方法であって、
    前記管理計算機には、
    前記ファイルシステムごとの割当容量に関するファイルシステム統計情報および前記記憶装置のボリューム容量に関する記憶装置統計情報とが、前記ファイル管理計算機および前記記憶装置から収集して記憶部に記憶されており、
    前記管理計算機は、
    前記ファイルシステムの割当容量の再配分要求を受理すると、前記ファイルシステム統計情報および前記記憶装置統計情報に基づいて、前記ファイルシステムの合計の空き容量を、所定の性能情報を満たすように前記ファイルシステムごとに割当容量を算出し、
    前記複数のファイル管理計算機のうち前記割当容量が縮小するファイルシステムを管理するファイル管理計算機に、ファイルシステムの縮小指示を送信し、
    前記割当容量に基づき、前記記憶装置にボリューム容量変更指示を送信し、
    前記複数のファイル管理計算機のうち前記割当容量が拡大するファイルシステムを管理するファイル管理計算機にファイルシステム拡大指示を送信する
    ことを特徴とする容量管理方法。
  7. 前記ファイルシステム統計情報には、前記ファイルシステムの識別IDと、前記ボリュームの識別IDと、前記ボリュームの割当容量と、前記ボリュームの空き容量と、容量が消費される速度である容量消費速度が含まれており、
    前記記憶装置統計情報には、前記ボリュームの識別IDと、前記ボリュームの識別IDごとの割当容量とが含まれており、
    前記所定の性能情報は前記容量消費速度である
    ことを特徴とする請求項6に記載の容量管理方法。
  8. 前記ファイルシステム統計情報には、前記ファイルシステムの識別IDと、前記ボリュームの識別IDと、前記ボリュームの割当容量と、前記ボリュームの空き容量と、過去の入出力速度から決定されるアクセス速度と、要求される要求アクセス速度とが含まれており、
    前記記憶装置統計情報には、前記ボリュームの識別IDと、前記ボリュームの識別IDごとの割当容量とが含まれており、
    前記所定の性能情報は前記要求アクセス速度である
    ことを特徴とする請求項6に記載の容量管理方法。
  9. 前記ファイル管理計算機には、
    複数のファイルシステムを統合する統合ファイルシステムが構築されるとともに、
    記憶されるファイルに対して前記統合ファイルシステムと前記ファイルシステムとを関連付けるファイル位置管理情報が前記記憶部に記憶されており、
    前記ファイル管理計算機は、
    前記統合ファイルシステムのファイルに入出力要求を受理すると、前記ファイル位置管理情報を参照して前記入出力要求のファイルを特定してアクセスし、
    前記ファイルシステム間でファイルがマイグレーションすると、前記ファイル位置管理情報を更新する
    ことを特徴とする請求項6に記載の容量管理方法。
  10. 前記ストレージシステムは、さらに、
    ファイルの入出力要求を受け付ける受付装置を有しており、
    前記受付装置は、
    ファイルへの入出力要求を受理すると、前記ファイル管理計算機内のファイルを参照し、前記ファイルに他のファイルシステムへのリンクを意味するスタブ情報が格納されている場合、再度リンク先のファイルの格納されている前記ファイル管理計算機に入出力要求を送信し、
    前記ファイルが前記ファイル管理計算機間または前記ファイル管理計算機内で移動する場合は、前記スタブ情報を作成し、元のファイル名で移動先ファイルへのリンクを保持する
    ことを特徴とする請求項6に記載の容量管理方法。
  11. 記憶装置と、前記記憶装置のボリューム上にファイルシステムを構築する、複数のファイル管理計算機とを備えるストレージシステムにおいて、前記記憶装置および前記ファイル管理計算機とネットワークを介して通信可能にされた管理計算機であって、
    前記管理計算機は、記憶部と、処理部とを備え、
    前記記憶部には、
    前記ファイルシステムごとの割当容量に関するファイルシステム統計情報および前記記憶装置のボリューム容量に関する記憶装置統計情報とを、前記ファイル管理計算機および前記記憶装置から収集する統計情報取得プログラムと、
    前記ファイルシステム統計情報および前記記憶装置統計情報に基づいて、前記ファイルシステムの合計の空き容量を、所定の性能情報を満たすように前記ファイルシステムごとに割当容量を算出する割当容量計算プログラムと、が記憶されており、
    前記処理部は、
    前記ファイルシステムの割当容量の再配分要求を受理すると、前記算出された割当容量に基づき、前記複数のファイル管理計算機のうち割当容量が縮小するファイルシステムを管理するファイル管理計算機に、ファイルシステムの縮小指示を送信し、
    前記算出された割当容量に基づき、前記記憶装置にボリューム容量変更指示を送信し、
    前記算出された割当容量に基づき、前記複数のファイル管理計算機のうち割当容量が拡大するファイルシステムを管理するファイル管理計算機にファイルシステム拡大指示を送信する
    ことを特徴とする管理計算機。
  12. 前記ファイルシステム統計情報には、前記ファイルシステムの識別IDと、前記ボリュームの識別IDと、前記ボリュームの割当容量と、前記ボリュームの空き容量と、容量が消費される速度である容量消費速度が含まれ、
    前記記憶装置統計情報には、前記ボリュームの識別IDと、前記ボリュームの識別IDごとの割当容量とが含まれ、
    前記所定の性能情報は前記容量消費速度である
    ことを特徴とする請求項11に記載の管理計算機。
  13. 前記ファイルシステム統計情報には、前記ファイルシステムの識別IDと、前記ボリュームの識別IDと、前記ボリュームの割当容量と、前記ボリュームの空き容量と、過去の入出力速度から決定されるアクセス速度と、要求される要求アクセス速度とが含まれ、
    前記記憶装置統計情報には、前記ボリュームの識別IDと、前記ボリュームの識別IDごとの割当容量とが含まれ、
    前記所定の性能情報は前記要求アクセス速度である
    ことを特徴とする請求項11に記載の管理計算機。
JP2009035236A 2009-02-18 2009-02-18 ストレージシステム、容量管理方法、および管理計算機 Expired - Fee Related JP5243991B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009035236A JP5243991B2 (ja) 2009-02-18 2009-02-18 ストレージシステム、容量管理方法、および管理計算機
US12/385,834 US8131783B2 (en) 2009-02-18 2009-04-21 Storage system, volume management method, and management computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009035236A JP5243991B2 (ja) 2009-02-18 2009-02-18 ストレージシステム、容量管理方法、および管理計算機

Publications (2)

Publication Number Publication Date
JP2010191670A JP2010191670A (ja) 2010-09-02
JP5243991B2 true JP5243991B2 (ja) 2013-07-24

Family

ID=42560815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009035236A Expired - Fee Related JP5243991B2 (ja) 2009-02-18 2009-02-18 ストレージシステム、容量管理方法、および管理計算機

Country Status (2)

Country Link
US (1) US8131783B2 (ja)
JP (1) JP5243991B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8555022B1 (en) 2010-01-06 2013-10-08 Netapp, Inc. Assimilation of foreign LUNS into a network storage system
JP5527419B2 (ja) * 2010-10-04 2014-06-18 富士通株式会社 ストレージシステム
CA2890516C (en) 2011-11-07 2018-11-27 Nexgen Storage, Inc. Primary data storage system with quality of service
WO2015008375A1 (ja) * 2013-07-19 2015-01-22 株式会社日立製作所 ストレージ装置および記憶制御方法
JP6179321B2 (ja) * 2013-09-27 2017-08-16 富士通株式会社 ストレージ管理装置、制御方法及び制御プログラム
US11010101B1 (en) * 2014-09-19 2021-05-18 EMC IP Holding Company LLC Object storage subsystems
US10365847B1 (en) * 2014-09-19 2019-07-30 EMC IP Holding Company LLC Creating an object in an object storage subsystem for managing paged metadata
US9628350B2 (en) * 2014-11-05 2017-04-18 Amazon Technologies, Inc. Dynamic scaling of storage volumes for storage client file systems
US11656773B2 (en) * 2020-04-28 2023-05-23 EMC IP Holding Company LLC Automatic management of file system capacity using predictive analytics for a storage system
US11740789B2 (en) 2020-05-18 2023-08-29 EMC IP Holding Company LLC Automated storage capacity provisioning using machine learning techniques

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10004518A1 (de) * 2000-02-02 2001-08-09 Continental Teves Ag & Co Ohg Bremsanlage
JP4175788B2 (ja) * 2001-07-05 2008-11-05 株式会社日立製作所 ボリューム制御装置
JP4322031B2 (ja) 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
JP2005011208A (ja) * 2003-06-20 2005-01-13 Hitachi Ltd ボリュームサイズ変更装置および変更方法
DE10328857B3 (de) * 2003-06-26 2005-03-17 OCé PRINTING SYSTEMS GMBH Hülse zum Transport eines Tonergemischs und Verfahren zum Herstellen einer solchen Hülse
JP4335597B2 (ja) * 2003-06-30 2009-09-30 株式会社日立製作所 ストレージ管理システム
JP2005092308A (ja) * 2003-09-12 2005-04-07 Hitachi Ltd ディスク管理方法およびコンピュータシステム
JP4281658B2 (ja) * 2004-09-24 2009-06-17 日本電気株式会社 ファイルアクセスサービスシステムとスイッチ装置及びクオータ管理方法並びにプログラム
JP4349301B2 (ja) 2004-11-12 2009-10-21 日本電気株式会社 ストレージ管理システムと方法並びにプログラム
US20060164211A1 (en) * 2005-01-26 2006-07-27 Brown Dolphus J Deliberate Multiple and Consecutive Data Scanning Process
JP4409521B2 (ja) 2006-03-06 2010-02-03 株式会社日立製作所 記憶装置
JP2008097502A (ja) * 2006-10-16 2008-04-24 Hitachi Ltd 容量監視方法及び計算機システム

Also Published As

Publication number Publication date
US20100211620A1 (en) 2010-08-19
JP2010191670A (ja) 2010-09-02
US8131783B2 (en) 2012-03-06

Similar Documents

Publication Publication Date Title
JP5243991B2 (ja) ストレージシステム、容量管理方法、および管理計算機
Rao et al. Performance issues of heterogeneous hadoop clusters in cloud computing
EP2411918B1 (en) Virtualized data storage system architecture
JP4147198B2 (ja) ストレージシステム
JP5400482B2 (ja) 管理計算機、リソース管理方法、リソース管理プログラム、記録媒体および情報処理システム
CN109857445A (zh) 存储系统和控制软件配置方法
WO2014087518A1 (ja) ネットワークシステム及びその運用方法
JP5830599B2 (ja) 計算機システム及びその管理システム
US20130232215A1 (en) Virtualized data storage system architecture using prefetching agent
CN1723434A (zh) 用于可扩展网络附接存储系统的装置和方法
JP2005285058A (ja) 記憶装置のキャッシュ管理方法
JP2011076286A (ja) ボリューム割り当てを管理する計算機システム及びボリューム割り当て管理方法
WO2014155555A1 (ja) 管理システム及び管理プログラム
JP2005056077A (ja) データベース制御方法
Peng et al. Implementation issues of a cloud computing platform.
WO2004055675A1 (ja) ファイル管理装置、ファイル管理プログラム、ファイル管理方法およびファイルシステム
Xuan et al. Accelerating big data analytics on HPC clusters using two-level storage
CN116034336A (zh) 用于使用动态路径状态修改的工作负荷平衡的技术
JP5193801B2 (ja) ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム
US20140115019A1 (en) Distribution processing unit of shared storage
WO2016174739A1 (ja) 複合計算機システム、管理計算機、およびデータ連携管理方法
KR20120063946A (ko) 대용량 통합 메모리를 위한 메모리 장치 및 이의 메타데이터 관리 방법
JP2005092308A (ja) ディスク管理方法およびコンピュータシステム
JP2006146661A (ja) レプリケーションシステム、方法、レプリカストレージ、およびプログラム
JP5278254B2 (ja) ストレージシステム、データ記憶方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5243991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees