JP7412397B2 - ストレージシステム - Google Patents

Description

本発明は、ストレージシステムに関する。

本発明に関して、下記の特許文献１が知られている。特許文献１には、ストレージデバイスをそれぞれ有する複数のノードのうち、第１のノードは、上位装置からライト要求とともに複数のユーザデータを受信し、受信した複数のユーザデータに基づいて第１の冗長コードを生成し、生成した第１の冗長コードと複数のユーザデータを他のノードに送信するとともに、複数のユーザデータをストレージデバイスに格納し、第２のノードは、複数の他ノードからユーザデータ及び第１の冗長コードを受信し、受信したユーザデータ及び第１の冗長コードに基づいて第２の冗長コードを生成し、第２の冗長コードをストレージデバイスに格納する分散型ストレージシステムが開示されている。

特開２０２０－１４４９１３号公報

近年、オブジェクト単位でデータを取り扱うオブジェクトストレージの利用が進んでいる。ファイルストレージやブロックストレージに加えてオブジェクトストレージを有するストレージシステムでは、ストレージに格納されるデータの種類に応じて各ストレージを階層化して管理する階層型ストレージ管理が一般的に行われる。このような階層型ストレージ管理では、外部のオブジェクトストレージに格納されるデータのように、アクセスレイテンシが大きいデータに対して、リードキャッシュやライトバッファ等のバッファ領域を確保する必要がある。バッファ領域の確保には上位階層のストレージ容量の一部が利用されるため、低コストで高性能なストレージサービスを提供するためには、適切なバッファ領域を設定する必要がある。しかしながら、特許文献１に記載の技術では、こうした点への対処が不十分である。

そこで、本発明では、階層型ストレージ管理を行うストレージシステムにおいて、適切なバッファ領域を設定することを目的とする。

本発明の第１の態様によるストレージシステムは、ストレージ管理部を稼働させるプロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるものであって、前記ストレージ管理部は、前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当て、データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定し、前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層が割り当てられた前記ドライブよりもアクセス性能が高い前記ドライブに割り当て、前記バッファ対象階層のアクセス頻度に基づいて前記バッファ領域のサイズを決定し、割当済みのバッファ領域のサイズが前記決定したサイズを下回るとき、前記ストレージプールに前記ドライブを追加し、前記決定したバッファ領域のサイズまで追加した前記ドライブに前記バッファ領域を割り当てる。
本発明の第２の態様によるストレージシステムは、ストレージ管理部を稼働させるプロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるものであって、前記ストレージ管理部は、前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当て、データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定し、前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層が割り当てられた前記ドライブよりもアクセス性能が高い前記ドライブに割り当て、前記バッファ対象階層のサイズと、前記バッファ対象階層のアクセス頻度と、前記バッファ対象階層の期待アクセス確率とに基づいて、前記バッファ領域のサイズを決定する。
本発明の第３の態様によるストレージシステムの管理方法は、プロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるストレージシステムの管理方法であって、前記プロセッサが、前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当てる処理と、データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定する処理と、前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層に割り当てられた前記ドライブよりも性能が高い前記ドライブに割り当てる処理と、前記バッファ対象階層のアクセス頻度に基づいて前記バッファ領域のサイズを決定する処理と、割当済みのバッファ領域のサイズが前記決定したサイズを下回るとき、前記ストレージプールに前記ドライブを追加し、前記決定したバッファ領域のサイズまで追加した前記ドライブに前記バッファ領域を割り当てる処理と、を実行する。
本発明の第４の態様によるストレージシステムの管理方法は、プロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるストレージシステムの管理方法であって、前記プロセッサが、前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当てる処理と、データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定する処理と、前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層に割り当てられた前記ドライブよりも性能が高い前記ドライブに割り当てる処理と、前記バッファ対象階層のサイズと、前記バッファ対象階層のアクセス頻度と、前記バッファ対象階層の期待アクセス確率とに基づいて、前記バッファ領域のサイズを決定する処理と、を実行する。

本発明によれば、階層型ストレージ管理を行うストレージシステムにおいて、適切なバッファ領域を設定することができる。

本発明の一実施形態に係るストレージシステムのハードウェア構成図である。 本発明の一実施形態に係るストレージシステムを含む計算機システムの構成例を示す図である。 本発明の一実施形態に係るストレージシステムを含む計算機システムの構成例を示す図である。 本発明の一実施形態に係るストレージシステムにおけるリソースの対応関係を示す図である。 ストレージプールの階層構造例を示す図である。 ストレージシステムにおけるページ間の対応関係を示す図である。 各プールページのアクセス頻度の例を示すグラフである。 メモリに記憶されるテーブルとプログラムの例を示す図である。 性能情報テーブルの例を示す図である。 プールページ／ボリュームページ管理テーブルの例を示す図である。 ボリュームページ／階層ページ管理テーブルの例を示す図である。 階層サイズ・バッファサイズ管理テーブルの例を示す図である。 階層ページ／オブジェクト管理テーブルの例を示す図である。 バッファページ／オブジェクト管理テーブルの例を示す図である。 階層移動対象ページ管理テーブルの例を示す図である。 階層サイズ決定処理のフローチャートである。 バッファサイズ決定処理のフローチャートである。 バッファサイズ決定処理のフローチャートである。 ストレージサービス処理のフローチャートである。 オブジェクトストレージアクセス処理のフローチャートである。 バッファページリクレイム処理のフローチャートである。 階層制御処理のフローチャートである。 アクセス頻度監視処理のフローチャートである。 サイズ見直し指示処理のフローチャートである。 サイズ変更処理のフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。本発明が本実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。特に限定しない限り、各構成要素は複数でも単数でも構わない。

以下の説明では、例えば、「ｘｘｘ表」や「ｘｘｘテーブル」の表現にて各種情報を説明することがあるが、各種情報は表やテーブル以外のデータ構造で表現されていてもよい。各種情報がデータ構造に依存しないことを示すために、「ｘｘｘ表」や「ｘｘｘテーブル」を「ｘｘｘ情報」と呼ぶことがある。

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号（又は参照符号における共通部分）を使用し、同種の要素を区別して説明する場合は、要素のＩＤ（又は要素の参照符号）を使用することがある。

また、以下の説明では、「ストレージシステム」、「外部接続機能付きストレージ」は、１以上の計算機を含むシステムである。このため、「ストレージシステム」、「外部接続機能付きストレージ」は、１つの計算機であってもよいし、複数の計算機であってもよいし、計算機の他に計算機以外のデバイスを含んでいてもよい。その１以上の計算機は、典型的には、少なくとも１つの物理計算機を含む。

その１以上の計算機は、少なくとも１つの仮想計算機を含んでもよい。この場合、仮想計算機が内包するリソース（後述するストレージ装置やドライブなど）も同様に仮想的なリソースとして構成される。

また、以下の説明では、「ストレージ利用計算機」や「管理用端末」は、一以上の計算機で構成されてよい。

以下の説明では、「プログラム」あるいはそのプロセスを主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えば、ＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えば、メモリ）及び／又は通信インタフェース装置（例えば、通信ポート）を用いながら行うため、処理の主語がプロセッサであってもよい。プロセッサは、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。プロセッサを含む装置及びシステムは、これらの機能部を含む装置及びシステムである。

また、以下の説明では、「ストレージシステム」、「外部接続機能付きストレージ」は、物理的な記憶デバイスを有する計算機を意味し、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）を有する計算機でよい。補助記憶デバイスは、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）でよい。これらに異なる種類の記憶デバイスが混在していてもよい。

以下、本発明の一実施形態について説明する。

図１は、本発明の一実施形態に係るストレージシステムのハードウェア構成図である。本実施形態のストレージシステム１０は、例えば、ＰＣやサーバ等の計算機によって構成され、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ＨＢＡ（Host Bus Adapter）１３、ＮＩＣ（Network Interface Card）１４、ＵＳＢ（Universal Serial Bus）１５、ＶＧＡ（Video Graphic Array）１６、およびストレージ装置１７を含む。これらの構成要素は、内部バスや外部バスにより互いに接続されている。

ＣＰＵ１１は、メモリ１２に記憶された様々なプログラムを実行することにより、ストレージ装置１７の管理および制御を行う。メモリ１２には各種テーブルが記憶されており、プログラムの実行時には、必要に応じてテーブルに格納されたデータが参照および更新される。なお、メモリ１２に記憶されているテーブルおよびプログラムの詳細については後述する。

ＨＢＡ１３、ＮＩＣ１４、ＵＳＢ１５およびＶＧＡ１６は、それぞれ所定の外部装置との間で入出力されるデータのインタフェース処理を行う。なお、これ以外のものを用いて外部装置とのインタフェース処理を行ってもよい。

ストレージ装置１７は、様々なデータを格納することが可能な不揮発性の記録媒体であり、ＣＰＵ１１の制御に応じてデータの読み書きが行われる。ストレージ装置１７は、例えばＮＶＭｅ（Non-Volatile Memory express）ドライブ、ＳＡＳ（Serial Attached SCSI）ドライブ、ＳＡＴＡ（Serial ATA）ドライブ等を組み合わせて構成される。

図２および図３は、本発明の一実施形態に係るストレージシステムを含む計算機システムの構成例を示す図である。図２の計算機システムは、ストレージシステム１０がオンプレミス環境で利用される場合の構成例であり、サイト２１０とサイト２２０がインターネット２３０を介して接続されている。

図２の計算機システムにおけるサイト２１０では、ストレージ利用計算機２１１、管理用端末２１２、外部接続機能付きストレージ（以下、単に「ストレージ」と称する）２１３およびストレージシステム１０が、スイッチ２１４を介して互いに接続されている。これらはゲートウェイ２１５を介してインターネット２３０と接続される。ストレージ利用計算機２１１は、ストレージシステム１０やストレージ２１３により提供されるストレージサービスを利用する計算機であり、例えばＰＣや各種ＩｏＴ（Internet of Things）機器等で構成される。なお、図２ではサイト２１０に２台のストレージ利用計算機２１１が存在しているが、ストレージ利用計算機２１１の台数はこれに限らない。管理用端末２１２は、ストレージシステム１０の管理者によって操作される端末である。管理者は管理用端末２１２を用いて、ストレージシステム１０の管理を行うことができる。

サイト２２０には、オブジェクトストレージサービス２２１が含まれる。オブジェクトストレージサービス２２１は、ストレージ利用計算機２１１、ストレージシステム１０、ストレージ２１３に対してクラウド環境で提供されるオブジェクトストレージであり、ゲートウェイ２２２を介してインターネット２３０と接続される。オブジェクトストレージサービス２２１は、インターネット２３０を介してサイト２１０と接続されるため、サイト２１０側のストレージに比べてアクセス性能が低くなる。

図２の計算機システムにおいて、ストレージシステム１０は、自身が有するストレージ装置１７（図１参照）や、ストレージ２１３、オブジェクトストレージサービス２２１の制御を行い、ストレージ利用計算機２１１からの要求に応じて、これらの記憶容量を用いたストレージサービスをストレージ利用計算機２１１へ提供する。

図３の計算機システムは、ストレージシステム１０がクラウド環境上でインスタンスとして利用される場合の構成例であり、図２の計算機システムと同様に、サイト２１０とサイト２２０がインターネット２３０を介して接続されている。

図３の計算機システムにおけるサイト２１０では、ストレージ利用計算機２１１とストレージ２１３がスイッチ２１４を介して互いに接続されており、これらはゲートウェイ２１５を介してインターネット２３０と接続される。

サイト２２０には、オブジェクトストレージサービス２２１とインスタンス２２３が含まれる。インスタンス２２３は、仮想計算機やコンテナを用いてそれぞれ実現される仮想的なシステムとして、ストレージ利用計算機２１１、管理用端末２１２およびストレージシステム１０を有する。これらはインスタンス２２３内で仮想的なスイッチ２２４を介して互いに接続されている。オブジェクトストレージサービス２２１とインスタンス２２３は、ゲートウェイ２２２を介してインターネット２３０と接続される。

なお、図３ではサイト２１０とサイト２２０にそれぞれストレージ利用計算機２１１が１台ずつ存在しているが、各サイトでのストレージ利用計算機２１１の台数はこれに限らない。また、サイト２１０とサイト２２０の一方にのみストレージ利用計算機２１１が存在してもよい。

図２の計算機システムと同様に、図３の計算機システムにおいても、ストレージシステム１０は、自身が有するストレージ装置１７（図１参照）や、ストレージ２１３、オブジェクトストレージサービス２２１の制御を行い、ストレージ利用計算機２１１からの要求に応じて、これらの記憶容量を用いたストレージサービスをストレージ利用計算機２１１へ提供する。

なお、図２および図３の計算機システムにおいて、ストレージ利用計算機２１１がストレージシステム１０を介さずにストレージ２１３に直接アクセスし、ストレージ２１３の記憶容量を利用できるようにしてもよい。また、サイト２１０にはストレージ２１３を設けなくてもよい。

図４は、本発明の一実施形態に係るストレージシステムにおけるリソースの対応関係を示す図である。本実施形態のストレージシステム１０は、例えば図４に示すように、複数のドライブ１０１（図１のストレージ装置１７）を組み合わせて実現されるストレージプール１０２を有する。このストレージプール１０２がストレージ利用計算機２１１から直接、またはストレージ２１３を介してアクセスされることで、ストレージシステム１０はストレージ利用計算機２１１に対して仮想ボリューム１０３を提供することができる。

ストレージ２１３も同様に、複数のドライブ３０１ａを組み合わせて実現されるストレージプール３０２を有しており、ストレージ利用計算機２１１に対して仮想ボリューム３０３を提供する。なお、ドライブ３０１ａとともに、ストレージシステム１０が提供する仮想ボリューム１０３を外部ドライブ３０１ｂとして用いることで、ストレージプール３０２を構成してもよい。

なお、図４に示したストレージプール１０２は、図２、図３に示したオブジェクトストレージサービス２２１を含んでいないが、オブジェクトストレージサービス２２１が提供する記憶容量をストレージプール１０２の一部として利用してもよい。

次に、ストレージシステム１０におけるストレージプール１０２の論理構造について説明する。本実施形態のストレージシステム１０は、ストレージプール１０２を階層化して管理する階層型ストレージ管理を採用している。

図５は、ストレージプール１０２の階層構造例を示す図である。図５（ａ）は、ストレージプール１０２にバッファ専用領域を設けた場合の階層構造例を示している。この場合、例えばストレージプール１０２は、第１階層１１１、第２階層１１２、第３階層用バッファ１１３および第３階層１１４を含んで構成される。

第１階層１１１は、高速アクセスが必要なデータを格納するためのストレージ階層であり、この階層に格納されるデータは高速ドライブ１０１ａに物理的に格納される。第２階層１１２は、第１階層１１１に比べて低速なアクセスが許容されるデータを格納するためのストレージ階層であり、この階層に格納されるデータは低速ドライブ１０１ｂに物理的に格納される。第３階層１１４は、第１階層１１１や第２階層１１２と比べてアクセス頻度が低いデータが格納され、この階層に格納されるデータはオブジェクトストレージサービス２２１によって提供されるストレージに物理的に格納される。このように、第１階層１１１、第２階層１１２、第３階層１１４の各階層は、ＣＰＵ１１の制御により、それぞれ異なるアクセス性能を有するストレージに割り当てられる。第３階層用バッファ１１３は、第３階層１１４に格納されるデータを読み書きする際のリードキャッシュやライトバッファに利用されるバッファ領域であり、第２階層１１２と同じく低速ドライブ１０１ｂが割り当てられているが、高速ドライブ１０１ａやメモリなどストレージシステム１０内の他の記憶装置を割り当ててもよい。第３階層１１４にライトされるデータは、一時的に第３階層用バッファ１１３に格納され、その後に第３階層１１４に格納されたり（ライトバッファ）、第３階層１１４からリードされるデータが一時的に第３階層用バッファ１１３に格納されるとともに、リード対象データが第３階層用バッファ１１３に存在するときにリード要求を受けた場合に、第３階層１１４ではなく第３階層用バッファ１１３から読み出しを行う(リードキャッシュ)。このようにして、ＣＰＵ１１は、第３階層用バッファ１１３を、バッファ対象である第３階層１１４が割り当てられたオブジェクトストレージサービス２２１よりもアクセス性能が高いストレージ（低速ドライブ１０１ｂ、高速ドライブ１０１ａ等）に割り当てるように、ストレージシステム１０の制御を行う。

図５（ｂ）は、ストレージプール１０２においてストレージ階層とバッファ領域を兼用した場合の階層構造例を示している。この場合、例えばストレージプール１０２は、第２階層１１２の一部を第３階層用バッファ１１３として利用している。第１階層１１１および第３階層１１４については、図５（ａ）とそれぞれ同様である。

本実施形態のストレージシステム１０では、図５（ａ）または図５（ｂ）いずれかの階層構造を用いて、管理を行うことができる。なお、図５（ａ）、図５（ｂ）では、ストレージプール１０２が第１階層１１１から第３階層１１４までの三段階の階層構造を有する例を説明したが、ストレージプール１０２において設定される階層数はこれに限定されない。

図６は、ストレージシステム１０におけるページ間の対応関係を示す図である。図４および図５で説明したように、ストレージシステム１０では、複数のドライブ１０１（高速ドライブ１０１ａ、低速ドライブ１０１ｂ）とオブジェクトストレージサービス２２１により、階層構造を有するストレージプール１０２を構成し、このストレージプール１０２を仮想ボリューム１０３としてストレージ利用計算機２１１に提供する。したがって、仮想ボリューム１０３の各ページは、ストレージプール１０２のいずれかの階層におけるページと、複数のドライブ１０１のいずれかまたはオブジェクトストレージサービス２２１のオブジェクトにおけるページと、にそれぞれ対応付けされる。

具体的には、例えば図６に示すように、仮想ボリューム１０３におけるページ１２１は、ストレージプール１０２の第１階層１１１におけるページ１２２と、複数の高速ドライブ１０１ａのうちいずれかにおけるページ１２３と、にそれぞれ対応する。また、仮想ボリューム１０３におけるページ１３１は、ストレージプール１０２の第３階層用バッファ１１３におけるページ１３２と、複数の低速ドライブ１０１ｂのうちいずれかにおけるページ１３３と、にそれぞれ対応する。同様に、仮想ボリューム１０３におけるページ１４１は、ストレージプール１０２の第３階層１１４におけるページ１４２と、オブジェクトストレージサービス２２１のオブジェクトにおけるページ１４３と、にそれぞれ対応する。

本実施形態のストレージシステム１０では、メモリ１２に記憶される所定の管理テーブルを用いて、上記のようなページ間の対応関係の管理を行う。なお、この管理テーブルの詳細については後述する。

次に、本実施形態のストレージシステム１０におけるストレージプール１０２の各階層のサイズ決定方法について説明する。本実施形態のストレージシステム１０では、ストレージプール１０２における各ページ（以下、「プールページ」と称する）のアクセス頻度に基づき、ストレージプール１０２内に設定する各階層のサイズ（ページ数）を決定する。例えば、各階層に対して予め定めたアクセス頻度の範囲内にある全てのプールページが含まれるように、各階層のサイズを決定することができる。

図７は、ストレージプール１０２における各プールページのアクセス頻度の例を示すグラフである。図７において、グラフ６０１は各プールページのアクセス頻度を度数分布で示した例であり、横軸はページ番号、縦軸はアクセス頻度（ＩＯＰＨ）を表している。また、グラフ６０２は各プールページのアクセス頻度を累積度数分布で示した例であり、横軸はページ番号、縦軸はストレージプール１０２全体に対するアクセス頻度の累積度数を表している。なお、グラフ６０１，６０２における横軸のページ番号は、各プールページをアクセス頻度が高いものから順に並べてソートしたときの一連の番号を表しており、最小値は１、最大値はＮである。すなわち、ストレージプール１０２の全ページ数はＮであり、各プールページにはアクセス頻度の順に１からＮまでのページ番号が設定されるものとする。

本実施形態のストレージシステム１０は、グラフ６０１に基づき、例えば次のような方法で、ストレージプール１０２における第１階層１１１、第２階層１１２、第３階層１１４のサイズをそれぞれ設定することができる。

まず、所定のアクセス頻度ｘ_１以上のプールページが第１階層１１１に含まれるように、グラフ６０１においてアクセス頻度の値がｘ_１であるプールページ（ページ番号ｎ_１）を選択する。そして、ページ番号１～ｎ_１の各プールページの合計サイズ（合計ページ数）を求めることにより、第１階層１１１のサイズを決定する。次に、所定のアクセス頻度ｘ_２以上かつｘ_１未満（ｘ_１＞ｘ_２）のプールページが第２階層１１２に含まれるように、グラフ６０１においてアクセス頻度の値がｘ_２であるプールページ（ページ番号ｎ_２）を選択する。そして、ページ番号ｎ_１＋１～ｎ_２の各プールページの合計サイズ（合計ページ数）を求めることにより、第２階層１１２のサイズを決定する。最後に、残りの全プールページが第３階層１１４に含まれるように、第３階層１１４のサイズを決定する。

また、本実施形態のストレージシステム１０は、グラフ６０２に基づき、例えば次のような方法で、ストレージプール１０２における第１階層１１１、第２階層１１２、第３階層１１４のサイズをそれぞれ設定することができる。

まず、アクセス頻度が高いものから順に所定の累積度数ｙ_１となるまでのプールページが第１階層１１１に含まれるように、グラフ６０２においてプールページ（ページ番号ｎ_１）を選択する。累積度数ｙ_１は、基本的に管理者が自由に設定可能な値である。ただしリソースに物理的な制約がある場合、累積度数ｙ_１は、第１階層に対応するストレージ装置である高速ドライブ１０１が対応可能なアクセス量や容量を上限として定まる値である。パブリッククラウドのように実質的にリソースに物理的な制約がない場合はこの限りではない。そして、ページ番号１～ｎ_１の各プールページの合計サイズ（合計ページ数）を求めることにより、第１階層１１１のサイズを決定する。次に、所定の累積度数ｙ_２（ｙ_２＞ｙ_１）までのプールページが第２階層１１２に含まれるように、グラフ６０２において累積度数の値がｙ_２となるプールページ（ページ番号ｎ_２）を選択する。そして、ページ番号ｎ_１＋１～ｎ_２の各プールページの合計サイズ（合計ページ数）を求めることにより、第２階層１１２のサイズを決定する。最後に、残りの全プールページが第３階層１１４に含まれるように、第３階層１１４のサイズを決定する。

本実施形態のストレージシステム１０では、以上説明したような方法により、第１階層１１１、第２階層１１２、第３階層１１４のサイズをそれぞれ設定することができる。このとき、グラフ６０１で説明した方法と、グラフ６０２で説明した方法とのうち、いずれの方法を用いてもよい。なお、本説明では全ての階層のサイズは可変である場合での方法を述べたが、一部の階層もしくは全ての階層のサイズは固定であってもよい。また、いずれの方法を用いた場合であっても、第３階層用バッファ１１３のバッファサイズｋは、第３階層１１４のサイズよりも小さくなる。このバッファサイズｋの決定方法については後述する。

次に、本実施形態のストレージシステム１０におけるテーブルとプログラムについて以下に説明する。本実施形態のストレージシステム１０では、前述のようにメモリ１２において様々なテーブルとプログラムが記憶されており、これらを用いてストレージシステム１０の制御を行う。これにより、ストレージシステム１０が提供するストレージプール１０２を図５のように階層化して管理する階層型ストレージ管理を実現している。

図８は、メモリ１２に記憶されるテーブルとプログラムの例を示す図である。図８に示すように、メモリ１２には、性能情報テーブル１２００、プールページ／ボリュームページ管理テーブル１３００、ボリュームページ／階層ページ管理テーブル１４００、階層サイズ・バッファサイズ管理テーブル１５００、階層ページ／オブジェクト管理テーブル１６００、バッファページ／オブジェクト管理テーブル１７００、階層移動対象ページ管理テーブル１８００の各テーブルと、アクセス頻度監視プログラム２１００、サイズ見直し指示プログラム２２００、階層サイズ決定プログラム２３００、バッファサイズ決定プログラム２４００、サイズ変更プログラム２５００、階層制御プログラム２６００、プール管理プログラム２７００、ストレージサービスプログラム２８００、オブジェクトストレージアクセスプログラム２９００、バッファページリクレイムプログラム３０００の各プログラムと、が記憶される。

性能情報テーブル１２００は、ストレージプール１０２の各ページ（プールページ）の性能情報を表すテーブルである。プールページ／ボリュームページ管理テーブル１３００は、各プールページが、どのボリュームのどのページ（ボリュームページ）に対応しているかの関係を表すテーブルである。ボリュームページ／階層ページ管理テーブル１４００は、各ボリュームページが、ストレージプール１０２においてどの階層のどのページ（階層ページ）に対応しているかの関係を表すテーブルである。階層サイズ・バッファサイズ管理テーブル１５００は、ストレージプール１０２において設定される第１階層１１１、第２階層１１２、第３階層１１４の各階層およびオブジェクトストレージサービス２２１向けの第３階層用バッファ１１３のサイズと、これらが格納されるデバイスの種類とを表すテーブルである。階層ページ／オブジェクト管理テーブル１６００は、オブジェクトストレージサービス２２１に対応する第３階層１１４の各階層ページの番号と、そのページに対応するオブジェクトストレージサービス２２１の各オブジェクトに設定されるオブジェクトＩＤとの対応関係を表すテーブルである。バッファページ／オブジェクト管理テーブル１７００は、オブジェクトストレージサービス２２１向けの第３階層用バッファ１１３の各ページ（バッファページ）の番号と、オブジェクトストレージサービス２２１の各オブジェクトページのオブジェクトＩＤとの対応関係を表すテーブルである。階層移動対象ページ管理テーブル１８００は、階層移動の対象とされた各プールページの現在の階層番号と移動先の階層番号を表すテーブルである。

図９は、性能情報テーブル１２００の例を示す図である。性能情報テーブル１２００は、ストレージプール１０２の各プールページに対応してレコードが設定される。各レコードは、ページ番号１２０１、ＩＯＰＨ１２０２、転送レート１２０３、アクセス時間１２０４の情報を有する。

ページ番号１２０１は、各プールページに固有の番号であり、各プールページを一意に識別するために用いられる。ＩＯＰＨ１２０２は、直近値１２２１およびカウンタ１２２２を含んで構成される。直近値１２２１は、直近の一定期間（例えば１時間）における各ページのアクセス回数（アクセス頻度）を表し、カウンタ１２２２は、現在集計中の各ページのアクセス回数を表している。転送レート１２０３は、直近値１２３１およびカウンタ１２３２を含んで構成される。直近値１２３１は、直近の一定期間（例えば１時間）における各ページの転送データ量（転送レート）を表し、カウンタ１２２２は、現在集計中の各ページの転送データ量を表している。アクセス時間１２０４は、各ページが最後にアクセスされた日時を表している。

ＣＰＵ１１は、ストレージプール１０２へのアクセスが行われると、性能情報テーブル１２００のうち該当するプールページのレコードにおいて、カウンタ１２２２，１２３２の値をそれぞれ更新する。また、一定期間が経過すると、それまでに集計されたカウンタ１２２２，１２３２の値を直近値１２２１，１２３１へそれぞれコピーするとともに、カウンタ１２２２，１２３２の値を０にリセットした後、これらの集計を再開する。これにより、ストレージプール１０２の性能をプールページごとに求めることができる。

図１０は、プールページ／ボリュームページ管理テーブル１３００の例を示す図である。プールページ／ボリュームページ管理テーブル１３００は、ストレージプール１０２の各プールページに対応してレコードが設定される。各レコードは、プールページ番号１３０１、ボリューム番号１３０２、ボリュームページ番号１３０３の情報を有する。

プールページ番号１３０１は、各プールページに固有の番号であり、図９に示した性能情報テーブル１２００のページ番号１２０１と対応している。ボリューム番号１３０２は、プール上に作成される仮想ボリューム１０３の番号を表している。ボリュームページ番号１３０３は、各ボリュームにおけるボリュームページの番号を表している。本図面では分かり易さのために、ボリューム番号とページ番号の組み合わせで表現しているが、各ボリューム毎にシーケンシャルな番号であればよい。

ＣＰＵ１１は、ストレージ利用計算機２１１からストレージプール１０２へのアクセス要求が行われると、プールページ／ボリュームページ管理テーブル１３００を参照することで、ストレージ装置１７またはオブジェクトストレージサービス２２１のうち対応するボリュームページにアクセスすることができる。

図１１は、ボリュームページ／階層ページ管理テーブル１４００の例を示す図である。ボリュームページ／階層ページ管理テーブル１４００は、ストレージ装置１７およびオブジェクトストレージサービス２２１の各ボリュームページに対応してレコードが設定される。各レコードは、ボリューム番号１４０１、ボリュームページ番号１４０２、階層番号１４０３、階層ページ番号１４０４の情報を有する。

ボリューム番号１４０１は、プール上に作成される仮想ボリューム１０３の番号を表しており、図１０に示したプールページ／ボリュームページ管理テーブル１３００のボリューム番号１３０２と対応している。ボリュームページ番号１４０２は、ボリューム毎に固有の番号であり、図１０に示したプールページ／ボリュームページ管理テーブル１３００のボリュームページ番号１３０３と対応している。階層番号１４０３は、各ボリュームページが属するボリュームに対応するストレージプール１０２の階層の番号を表している。階層ページ番号１４０４は、各ボリュームページが対応する階層ページの番号を表しており、各階層毎に固有の番号である。

ＣＰＵ１１は、ボリュームページ／階層ページ管理テーブル１４００を参照することで、ボリュームページと階層ページの対応関係を取得することができる。

図１２は、階層サイズ・バッファサイズ管理テーブル１５００の例を示す図である。階層サイズ・バッファサイズ管理テーブル１５００は、ストレージプール１０２に設定される各階層およびバッファに対応してレコードが設定される。各レコードは、階層・バッファ番号１５０１、サイズ１５０２、格納デバイス１５０３の情報を有する。

階層・バッファ番号１５０１は、各階層またはバッファの番号を表しており、例えば前述の第１階層１１１、第２階層１１２、第３階層１１４をそれぞれ表す「Ｔ１」，「Ｔ２」，「Ｔ３」の階層番号や、第３階層用バッファ１１３を表す「Ｂ３」のバッファ番号などで表現される。サイズ１５０２は、各階層またはバッファのデータサイズを表している。格納デバイス１５０３は、各階層またはバッファが格納されるストレージの種類を表しており、ストレージシステム１０のドライブ１０１の種類やオブジェクトストレージサービス２２１を表す文字等で表現される。

ＣＰＵ１１は、階層サイズ・バッファサイズ管理テーブル１５００を参照することで、ストレージプール１０２における各階層およびバッファの設定情報を取得することができる。

図１３は、階層ページ／オブジェクト管理テーブル１６００の例を示す図である。階層ページ／オブジェクト管理テーブル１６００は、ストレージプール１０２の各階層ページに対応してレコードが設定される。各レコードは、階層ページ番号１６０１、オブジェクトＩＤ１６０２の情報を有する。

階層ページ番号１６０１は、階層番号とページ番号の組み合わせで表現された各階層ページの番号を表しており、図１１に示したボリュームページ／階層ページ管理テーブル１４００の階層ページ番号１４０４と対応している。オブジェクトＩＤ１６０２は、各階層ページが対応するオブジェクトのＩＤを表している。

ＣＰＵ１１は、階層ページ／オブジェクト管理テーブル１６００を参照することで、階層ページとオブジェクトの対応関係を取得することができる。

図１４は、バッファページ／オブジェクト管理テーブル１７００の例を示す図である。バッファページ／オブジェクト管理テーブル１７００は、ストレージプール１０２の各バッファページに対応してレコードが設定される。各レコードは、バッファページ番号１７０１、オブジェクトＩＤ１７０２の情報を有する。

バッファページ番号１７０１は、各バッファページの番号を表しており、バッファで固有の番号である。オブジェクトＩＤ１７０２は、各バッファページが対応するオブジェクトページのＩＤを表している。

ＣＰＵ１１は、バッファページ／オブジェクト管理テーブル１７００を参照することで、バッファページとオブジェクトの対応関係を取得することができる。

図１５は、階層移動対象ページ管理テーブル１８００の例を示す図である。階層移動対象ページ管理テーブル１８００は、ストレージプール１０２において階層移動の対象に指定された各プールページに対応してレコードが設定される。各レコードは、プールページ番号１８０１、現在の階層番号１８０２、移動先階層番号１８０３の情報を有する。

プールページ番号１８０１は、階層移動の対象に指定されたプールページを特定するための番号であり、図１０に示したプールページ／ボリュームページ管理テーブル１３００のプールページ番号１３０１と対応している。現在の階層番号１８０２および移動先階層番号１８０３は、各プールページの現在の階層と移動先の階層をそれぞれ表す番号であり、図１１に示したボリュームページ／階層ページ管理テーブル１４００の階層番号１４０３と対応している。

ＣＰＵ１１は、ストレージプール１０２においていずれかのプールページが階層移動の対象に指定されると、そのプールページのレコードを階層移動対象ページ管理テーブル１８００に登録し、プールページ番号１８０１、現在の階層番号１８０２、移動先階層番号１８０３の各情報を設定する。これらの情報を参照することで、当該プールページを元の階層から別の階層へと移動させることができる。

アクセス頻度監視プログラム２１００は、ストレージプール１０２の各プールページのアクセス頻度を監視して性能情報テーブル１２００を更新するためのプログラムである。サイズ見直し指示プログラム２２００は、ストレージプール１０２に設定された各階層およびバッファのサイズを定期的に見直すためのプログラムである。階層サイズ決定プログラム２３００は、ストレージプール１０２を階層化する際の各階層のサイズを決定するためのプログラムである。バッファサイズ決定プログラム２４００は、ストレージプール１０２を階層化する際のバッファサイズを決定するためのプログラムである。サイズ変更プログラム２５００は、サイズ見直し指示プログラム２２００で見直された各階層およびバッファのサイズを反映するためのプログラムである。階層制御プログラム２６００は、ストレージプール１０２において階層移動の対象とするプールページを決定し、当該プールページの階層を移動するためのプログラムである。プール管理プログラム２７００は、ストレージシステム１０におけるボリュームの追加・削除や、これに伴う各テーブルの更新などを行うことで、ストレージプール１０２の管理を行うためのプログラムである。ストレージサービスプログラム２８００は、ストレージ利用計算機２１１からのアクセス要求に応じてストレージ装置１７またはオブジェクトストレージサービス２２１へのアクセスを行い、性能情報テーブル１２００を更新するためのプログラムである。オブジェクトストレージアクセスプログラム２９００は、ストレージ利用計算機２１１からストレージシステム１０が管理するオブジェクトストレージサービス２２１へのアクセス要求があった場合に、そのアクセス要求に応じてオブジェクトストレージサービス２２１の読み書きを行うためのプログラムである。バッファページリクレイムプログラム３０００は、一定期間アクセスがないバッファページを第３階層用バッファ１１３から追い出して開放するためのプログラムである。ＣＰＵ１１は、これらのプログラムを実行することにより、ストレージプール１０２を階層化して管理するストレージ管理部として機能することができる。

図１６は、ＣＰＵ１１が階層サイズ決定プログラム２３００を実行することで行われる階層サイズ決定処理２３０１のフローチャートである。

ステップ２３０２では、各プールページのアクセス頻度の情報を性能情報テーブル１２００より取得する。ここでは、性能情報テーブル１２００において各レコードに設定されているＩＯＰＨ１２０２の値（直近値１２２１の値）を取得することで、各プールページのアクセス頻度を取得することができる。

ステップ２３０３では、ステップ２３０２で取得した各プールページのアクセス頻度を降順で、すなわちアクセス頻度が高いものから順に並べてソートする。これにより、図７のグラフ６０１に例示したような各プールページのアクセス頻度の度数分布が得られる。

ステップ２３０４では、ステップ２３０３でソートした各プールページのアクセス頻度の累積度数分布を計算する。これにより、図７のグラフ６０２に例示したような各プールページのアクセス頻度の累積度数分布が得られる。

ステップ２３０５では、ストレージプール１０２においてサイズ変更が可能な階層ごとに、ステップ２３０６、２３０７の処理を繰り返すループ処理を実施する。以下では、今回のループ処理の実施対象階層をｉ番目の階層として、ステップ２３０６、２３０７の処理を説明する。すなわち、図５に例示した第１階層１１１、第２階層１１２、第３階層１１４に対してループ処理を実施する場合、ｉ＝１～３の各階層に対して、ステップ２３０６、２３０７の処理をそれぞれ行う。

ステップ２３０６では、ステップ２３０３で得られた度数分布においてｉ番目の階層に対するターゲットのアクセス頻度値ｘ_ｉ、または、ステップ２３０４で得られた累積度数分布においてｉ番目の階層に対するターゲットの累積度数値ｙ_ｉを取得し、これらの値に対応するソート後のページ番号ｎ_ｉ，ｎ_ｉ－１を抽出する。これにより、ページ番号ｎ_ｉ－１＋１～ｎ_ｉの各プールページが、ｉ番目の階層に格納するページとして決定される。このとき、アクセス頻度が高いページほど上位の階層に格納されるように、各階層に格納するページが決定される。なお、ｉ＝１の場合はｎ_ｉ－１＝ｎ_０＝０であり、ｉがストレージプール１０２において最下位の階層番号（例えばｉ＝３）である場合はｎ_ｉ＝Ｎである。

ステップ２３０７では、ステップ２３０６で抽出したページ番号ｎ_ｉ，ｎ_ｉ－１とストレージプール１０２の各プールページのサイズから、ｉ番目の階層のサイズを決定する。ここでは前述のように、ｉ番目の階層への格納を決定したページ番号ｎ_ｉ－１＋１～ｎ_ｉの各プールページの合計サイズ（合計ページ数）を求めることにより、ｉ番目の階層のサイズを決定する。

全ての階層に対してステップ２３０６、２３０７の処理を行ったら、ステップ２３０５のループ処理を抜け、図１６のフローチャートに示す階層サイズ決定処理２３０１を終了する。

ＣＰＵ１１は、階層サイズ決定プログラム２３００を実行して上記の階層サイズ決定処理２３０１を行うことにより、ストレージプール１０２のアクセス頻度をページ単位で集計して得られた度数分布または累積度数分布に基づいて、ストレージプール１０２に設定される複数の階層の各々のサイズを決定することができる。

なお、上記の階層サイズ決定処理２３０１では、アクセス種別（リードまたはライト）ごとにアクセス頻度を評価し、各階層のサイズを決定してもよい。

図１７は、ＣＰＵ１１がバッファサイズ決定プログラム２４００を実行することで行われるバッファサイズ決定処理２４０１のフローチャートである。

ステップ２４０２では、各プールページのアクセス頻度の情報を性能情報テーブル１２００より取得する。ここでは、性能情報テーブル１２００において各レコードに設定されているＩＯＰＨ１２０２の値（直近値１２２１の値）を取得することで、各プールページのアクセス頻度を取得することができる。

ステップ２４０３では、ステップ２４０２で取得した各プールページのアクセス頻度に基づいて、バッファ対象の階層、すなわちオブジェクトストレージサービス２２１に対応する階層（以下、「オブジェクトストレージ階層」と称する）のサイズを計算する。ここでは、例えば図１６の階層サイズ決定処理２３０１により決定済みの上位階層のサイズから、オブジェクトストレージ階層のサイズを計算することができる。具体的には、例えば図５の例では、上位階層である第１階層１１１および第２階層１１２のサイズから、オブジェクトストレージ階層である第３階層１１４のサイズが計算される。なお、階層サイズ決定処理２３０１で決定されたオブジェクトストレージ階層のサイズを用いることで、ステップ２４０３の処理を省略してもよい。

ステップ２４０４では、ステップ２４０２で取得した各プールページのアクセス頻度を合計することで、ストレージプール１０２内の全階層に対するアクセス頻度値の合計ａを計算する。

ステップ２４０５では、ステップ２４０２で取得した各プールページのアクセス頻度のうち、オブジェクトストレージ階層（第３階層１１４）に割り当てられる各プールページのアクセス頻度を合計することで、オブジェクトストレージ階層に対するアクセス頻度ｂを計算する。そして、計算したオブジェクトストレージ階層のアクセス頻度ｂをステップ２４０４で求められた全階層のアクセス頻度値の合計ａで割ることにより、ストレージプール１０２全体に対するオブジェクトストレージ階層のアクセス頻度の割合ｂ／ａを計算する。

ステップ２４０６では、予め設定されたオブジェクトストレージサービス２２１の期待アクセス確率ｃと、ステップ２４０５で求められたアクセス頻度割合ｂ／ａとに基づき、オブジェクトストレージ階層に対するバッファ領域のサイズを決定する。ここでは、例えばステップ２４０３で求められたオブジェクトストレージ階層のサイズをｓとすると、以下の式（１）により、バッファ領域（第３階層用バッファ１１３）のサイズを表すバッファサイズｋを計算する。なお、期待アクセス確率ｃとは、ストレージ利用計算機２１１からオブジェクトストレージ階層へのアクセス要求が行われる確率の想定値であり、事前のシミュレーション結果や類似システムの過去の統計値等から定めることができる。
ｋ＝ｓ×ｃ×ｂ／ａ ・・・（１）

ステップ２４０６でバッファサイズｋを決定したら、図１７のフローチャートに示すバッファサイズ決定処理２４０１を終了する。

ＣＰＵ１１は、バッファサイズ決定プログラム２４００を実行して上記のバッファサイズ決定処理２４０１を行うことにより、バッファ対象階層であるオブジェクトストレージ階層の各ページのアクセス頻度の合計ｂと、オブジェクトストレージ階層に対応するオブジェクトストレージサービス２２１の期待アクセス確率ｃとに基づいて、バッファ領域である第３階層用バッファ１１３のサイズｋを決定することができる。

あるいは、上記のバッファサイズ決定処理２４０１とは異なるバッファサイズ決定処理２４１１により、バッファ領域のサイズを決定してもよい。図１８は、ＣＰＵ１１がバッファサイズ決定プログラム２４００を実行することで行われるバッファサイズ決定処理２４１１のフローチャートである。

ステップ２４１２では、図１７のステップ２４０２と同様に、各プールページのアクセス頻度の情報を性能情報テーブル１２００より取得する。

ステップ２４１３では、ストレージプール１０２のコスト関数を選択する。ここで選択されるコスト関数とは、ストレージプール１０２を階層化したときの階層全体でのアクセスコストを表す関数であり、例えば以下の式（２）で表される。

式（２）において、Ｃ_ｉ（ｋ，ｎ_ｉ）はｉ番目の階層に対するコスト関数を表している。なお、Ｔ番目の階層はオブジェクトストレージサービス２２１によって提供されるストレージ階層であり、図５の例では第３階層１１４がこれに相当する（Ｔ＝３）。すなわち、式（２）で計算されるコスト関数は、全ての階層のコスト関数を合計したものである。

ここで、オブジェクトストレージサービス２２１によって提供されるＴ番目の階層のコスト関数は、以下の式（３）で表される。
Ｃ_Ｔ（ｋ，ｎ_Ｔ）＝Ｂ（ｋ，ｎ_Ｔ）＋Ｏ（ｋ，ｎ_Ｔ） ・・・（３）

式（３）において、Ｂ（ｋ，ｎ_Ｔ）はオブジェクトストレージサービス２２１に対するバッファ領域、すなわち第３階層用バッファ１１３のコスト関数を表す。また、Ｏ（ｋ，ｎ_Ｔ）はバッファ領域（第３階層用バッファ１１３）の外にある各ページのコスト関数であり、以下の式（４）により求められる。
Ｏ（ｋ，ｎ_Ｔ）＝Ｕ×Ｐ（ｋ，ｎ_Ｔ）×Ｑ（ｋ，ｎ_Ｔ） ・・・（４）

式（４）において、Ｕはオブジェクトストレージサービス２２１へのアクセスに対するペナルティ値を表す。また、Ｐ（ｋ，ｎ_Ｔ）はオブジェクトストレージ階層へのアクセス確率を表し、Ｑ（ｋ，ｎ_Ｔ）はオブジェクトストレージ階層へのアクセス時にバッファ領域のページが書き換えられる確率を表す。これらは以下の式（５）、（６）によりそれぞれ計算される。

式（５）、（６）において、ｘ_ｉｊは第ｉ階層の第ｊページのアクセス頻度を表している。なお、ｉ＝Ｔの場合、ｘ_Ｔｊは第Ｔ階層、すなわちオブジェクトストレージ階層の第ｊページのアクセス頻度を表している。また、ｎ_Ｔは第Ｔ階層、すなわちオブジェクトストレージ階層の合計ページ数を表し、ｋはバッファサイズ、すなわちバッファ領域の合計ページ数を表している。すなわち、前述の式（２）で表されるストレージプール１０２のコスト関数Ｃ_ａｌｌ（ｋ）は、ストレージプール１０２の各階層のアクセス頻度に基づいて計算される。

ステップ２４１４では、ステップ２４１３で選択したストレージプール１０２のコスト関数を最小化するバッファサイズ値を求める。ここでは、前述の式（２）で表されるコスト関数の値が最小となるｋの値を求めることにより、バッファサイズの値を決定する。

ステップ２４１５では、ステップ２４１４で求めたｋの値、すなわちストレージプール１０２のコスト関数を最小化するバッファサイズを、オブジェクトストレージ階層に対するバッファ領域のサイズとして決定する。

ステップ２４１５でバッファサイズ領域のサイズｋを決定したら、図１８のフローチャートに示すバッファサイズ決定処理２４１１を終了する。

ＣＰＵ１１は、バッファサイズ決定プログラム２４００を実行して上記のバッファサイズ決定処理２４１１を行うことにより、ストレージプール１０２の各階層のアクセス頻度に基づくアクセスコストを表すコスト関数Ｃ_ａｌｌ（ｋ）と、バッファ領域である第３階層用バッファ１１３のサイズを変更した場合のコスト関数Ｃ_ａｌｌ（ｋ）の変化と、に基づいて、第３階層用バッファ１１３のサイズｋを決定することができる。

なお、上記のバッファサイズ決定処理２４０１，２４１１では、アクセス種別（リードまたはライト）ごとにアクセス頻度を評価し、バッファ領域のサイズを決定してもよい。

図１９は、ＣＰＵ１１がストレージサービスプログラム２８００を実行することで行われるストレージサービス処理２８０１のフローチャートである。

ステップ２８０２では、仮想ボリューム１０３に対するアクセス要求としてのＩＯリクエストを、ストレージ利用計算機２１１より受信したか否かを判定する。ＩＯリクエストを受信するまではステップ２８０２において待機し、ＩＯリクエストを受信したらステップ２８０３へ進む。

ステップ２８０３では、ボリュームページ／階層ページ管理テーブル１４００を参照し、ステップ２８０２で受信したＩＯリクエストが、オブジェクトストレージ階層のページに対するものであるか否かを判定する。その結果、オブジェクトストレージ階層のページに対するＩＯリクエストである場合はステップ２９０１へ進み、他の階層のページに対するＩＯリクエストである場合はステップ２８０４へ進む。

ステップ２９０１では、オブジェクトストレージ階層のページに対するアクセス処理として、オブジェクトストレージアクセス処理を実行する。なお、オブジェクトストレージアクセス処理の詳細については、図２０を参照して後述する。

ステップ２８０４では、オブジェクトストレージ階層以外の階層のページに対するアクセス処理として、ドライブアクセス処理を実行する。ここでは、ストレージ装置１７の複数のドライブ１０１が有するボリュームページの中から、受信したＩＯリクエストに対応するボリュームページを指定し、当該ボリュームページに対してデータを読み書きすることにより、ドライブアクセス処理を実行する。

ステップ２９０１またはステップ２８０４の処理を実行した後、ステップ２８０５では、これらの処理結果を反映して性能情報テーブル１２００を更新する。ここでは、例えば図９の性能情報テーブル１２００において、該当ページの該当アクセス種別（リードまたはライト）のカウンタ１２２２，１２３２の値を更新するとともに、アクセス時間１２０４を更新する。

ステップ２８０５で性能情報テーブル１２００を更新したら、ステップ２８０２へ戻り、次のＩＯリクエストを受信するまで待機する。

ＣＰＵ１１は、ストレージサービスプログラム２８００を実行して上記のストレージサービス処理２８０１を行うことにより、ストレージ利用計算機２１１からのアクセス要求に応じて、ストレージ装置１７またはオブジェクトストレージサービス２２１のうち該当するページへのアクセスを行うことができる。

図２０は、ＣＰＵ１１がオブジェクトストレージアクセスプログラム２９００を実行することで行われるオブジェクトストレージアクセス処理２９０１のフローチャートである。このオブジェクトストレージアクセス処理２９０１は、図１９のストレージサービス処理２８０１において、ステップ２９０１で呼び出されて実行される。

ステップ２９０２では、バッファページ／オブジェクト管理テーブル１７００を参照し、図１９のステップ２８０２で受信したＩＯリクエストに対応するページが、バッファ領域（第３階層用バッファ１１３）内にバッファページとして存在するか否かを判定する。その結果、該当するページがバッファページとして存在する場合はステップ２９０３へ進み、存在しない場合はステップ３００１へ進む。

ステップ２９０３では、ＩＯリクエストに対応するバッファページに対するアクセス処理を実行する。ステップ２９０３の処理を実行したら、図２０のフローチャートに示すオブジェクトストレージアクセス処理２９０１を終了する。

ステップ３００１では、一定期間アクセスがないバッファページを第３階層用バッファ１１３から追い出して開放するための処理として、バッファページリクレイム処理を実行する。なお、バッファページリクレイム処理の詳細については、図２１を参照して後述する。

ステップ２９０４では、ＩＯリクエストがリード要求であるかを判定する。その結果、リード要求である場合はステップ２９０５へ進み、リード要求でない場合、すなわちライト要求である場合はステップ２９０７へ進む。

ステップ２９０５では、階層ページ／オブジェクト管理テーブル１６００を参照し、オブジェクトストレージサービス２２１により提供されるオブジェクトストレージから、リード要求されたページに対応するオブジェクトを取得する。続いてステップ２９０６では、ステップ２９０５で取得したオブジェクトのデータを、バッファ領域内の空きバッファページへ書き込む。

ステップ２９０７では、ライト要求されたデータを、バッファ領域内の空きバッファページへ書き込む。なお、ステップ２９０７でバッファ領域（第３階層用バッファ１１３）に格納されたデータは、その後ＣＰＵ１１の処理により、適切なタイミングでオブジェクトストレージ（第３階層１１４）に格納される。

ステップ２９０６またはステップ２９０７の処理を実行した後、ステップ２９０８では、これらの処理結果を反映し、バッファページ／オブジェクト管理テーブル１７００を更新する。

ステップ２９０８の処理を実行したら、図２０のフローチャートに示すオブジェクトストレージアクセス処理２９０１を終了する。

ＣＰＵ１１は、オブジェクトストレージアクセスプログラム２９００を実行して上記のオブジェクトストレージアクセス処理２９０１を行うことにより、ストレージ利用計算機２１１からのアクセス要求に応じて、バッファページを介してオブジェクトストレージサービス２２１へのアクセスを行うことができる。

図２１は、ＣＰＵ１１がバッファページリクレイムプログラム３０００を実行することで行われるバッファページリクレイム処理３００１のフローチャートである。このバッファページリクレイム処理３００１は、図２０のオブジェクトストレージアクセス処理２９０１において、ステップ３００１で呼び出されて実行される。

ステップ３００２では、性能情報テーブル１２００を参照し、バッファ領域（第３階層用バッファ１１３）において、ある一定期間（例えば１時間）以上アクセスがないバッファページを抽出する。

ステップ３００３では、ステップ３００２で抽出したバッファページごとに、ステップ３００４の処理を繰り返すループ処理を実施する。

ステップ３００４では、処理対象のバッファページのランク値を計算する。ここでは、例えば以下の式（７）により、ｊ番目のバッファページのランク値Ｒ_ｊを計算する。
Ｒ_ｊ＝ｗｐ×ｗｉ_ｊ＋ｒｐ×ｒｉ_ｊ ・・・（７）

式（７）において、ｗｐはライト時のペナルティ係数を表し、例えば「ＰＵＴ」および「ＧＥＴ」の命令に対するオブジェクトストレージサービス２２１のレスポンス時間の合計値や、所定の定数などが設定される。また、ｒｐはリード時のペナルティ係数を表し、例えば「ＧＥＴ」の命令に対するオブジェクトストレージサービス２２１のレスポンス時間や、所定の定数などが設定される。ｗｉ_ｊ，ｒｉ_ｊは、ｊ番目のバッファページに対するライトとリードのアクセス頻度をそれぞれ表す。

全てのバッファページに対してステップ３００４の処理を行ったら、ステップ３００３のループ処理を抜け、ステップ３００５へ進む。

ステップ３００５では、ステップ３００４で計算されたランク値の低いものから順に、予め指定されたページ数分だけ、ステップ３００６の処理を繰り返すループ処理を実施する。

ステップ３００６では、バッファ領域のうち処理対象のバッファページに格納されているデータを消去することで、そのバッファページに該当するバッファを開放する。このとき、該当するバッファページにダーティーデータ（オブジェクトストレージへの書き込みが完了していないデータ）がある場合は、そのデータをオブジェクトストレージサービス２２１へ送信した後に、バッファを開放する。

ランク値の低いものから昇順で、予め指定されたページ数の各バッファページに対してステップ３００６の処理を行ったら、ステップ３００５のループ処理を抜け、図２１のフローチャートに示すバッファページリクレイム処理３００１を終了する。

ＣＰＵ１１は、バッファページリクレイムプログラム３０００を実行して上記のバッファページリクレイム処理３００１を行うことにより、バッファ領域である第３階層用バッファ１１３において一定期間以上アクセスされていない複数のページを抽出するとともに、抽出した各ページのアクセス頻度に基づくランク値を算出し、ランク値を昇順に並べたときに上位から所定数までのページを開放することができる。すなわち、抽出した各ページのデータへのアクセス頻度に基づいて、所定数のページを開放することができる。

図２２は、ＣＰＵ１１が階層制御プログラム２６００を実行することで行われる階層制御処理２６０１のフローチャートである。この処理は、例えば図１６の階層サイズ決定処理２３０１が実行されてストレージプール１０２の各階層のサイズが決定された後、各階層に対してサイズに応じたページを割り当てるときや、任意のタイミングで各ページのアクセス頻度に応じた階層の見直しを行うときなどに実行される。

ステップ２６０２では、ストレージプール１０２に設定されている全ての階層について、上位階層より順に、ステップ２６０３～２６０５の処理を繰り返すループ処理をそれぞれ実施する。例えば図５に例示したストレージプール１０２の階層構造の場合、第１階層１１１、第２階層１１２、第３階層１１４の順に、ステップ２６０２のループ処理を実施する。

ステップ２６０３では、ストレージプール１０２内で階層が未割当のプールページおよび階層の見直し対象に指定されたプールページの全てについて、前述の式（７）で求められるランク値の高いものから順に、処理対象の階層のサイズに空きがなくなるまで、ステップ２６０４，２６０５の処理を繰り返すループ処理をそれぞれ実施する。

ステップ２６０４では、処理対象の階層を見直し後の階層として、処理対象のページが現在格納されている階層と、見直し後の階層とが同じであるか否かを判定する。その結果、これらの階層が同一ではない場合はステップ２６０５へ進み、同一である場合はステップ２６０５の処理を実行せずに次のループ処理に移行する。なお、処理対象のページがまだいずれの階層にも割り当てられていない場合は、ステップ２６０４を否定判定してステップ２６０５へ進むようにすればよい。

ステップ２６０５では、階層移動対象ページ管理テーブル１８００にエントリを追加する。ここでは、図１５の例示した階層移動対象ページ管理テーブル１８００において、処理対象のページに対応するレコードを追加し、そのレコードに対してプールページ番号１８０１、現在の階層番号１８０２、移動先階層番号１８０３の各情報を設定することにより、処理対象のページに対応するエントリを追加する。

ストレージプール１０２の全階層について、それぞれ空きページの分だけステップ２６０４，２６０５の処理を行ったら、ステップ２６０２のループ処理を抜け、ステップ２６０６へ進む。

ステップ２６０６では、階層移動対象ページ管理テーブル１８００を参照し、ここに記録されている全ての階層対象移動ページについて、ステップ２６０７～２６０９の処理を繰り返すループ処理をそれぞれ実施する。

ステップ２６０７では、処理対象のページに現在格納されているデータを移動先のページにコピーする。

ステップ２６０８では、ボリュームページ／階層ページ管理テーブル１４００を更新する。ここでは、ボリュームページ／階層ページ管理テーブル１４００のうち、処理対象のページに対応するレコードにおいて、階層番号１４０３、階層ページ番号１４０４の値をそれぞれ更新する。

ステップ２６０９では、移動元のページに格納されていたデータを削除し、当該ページを開放する。

全ての階層対象移動ページに対してステップ２６０７～２６０９の処理を行ったら、ステップ２６０６のループ処理を抜け、図２２のフローチャートに示す階層制御処理２６０１を終了する。

ＣＰＵ１１は、階層制御プログラム２６００を実行して上記の階層制御処理２６０１を行うことにより、ストレージプール１０２の各階層に対して、サイズに応じたページを割り当てることができる。すなわち、ストレージプール１０２の各ページのアクセス頻度に基づいて、各階層に格納するページを決定し、格納を決定したページのサイズの合計に基づいて、各階層のサイズを決定することができる。

図２３は、ＣＰＵ１１がアクセス頻度監視プログラム２１００を実行することで行われるアクセス頻度監視処理２１０１のフローチャートである。

ステップ２１０２では、一定時間（例えば１時間）ごとに、ステップ２１０３～２１０５の処理を繰り返すループ処理をそれぞれ実施する。

ステップ２１０３では、ストレージプール１０２の全ページについて、ステップ２１０４，２１０５の処理を繰り返すループ処理をそれぞれ実施する。

ステップ２１０４では、性能情報テーブル１２００において処理対象のページに対応するカウンタ１２２２，１２３２の値を、対応する直近値１２２１，１２３１の単位に合わせてそれぞれ規格化し、その規格化した値を直近値１２２１，１２３１にそれぞれ保存する。これにより、一定期間内に得られたカウンタ１２２２，１２３２の集計値を、直近値１２２１，１２３１へそれぞれ反映させるようにする。

ステップ２１０５では、ステップ２１０４で直近値１２２１，１２３１に反映したカウンタ１２２２，１２３２の値を、それぞれ０に初期化する。

ストレージプール１０２の全ページについてステップ２１０４，２１０５の処理を行ったら、ステップ２１０３のループ処理を抜け、図２３のフローチャートに示すアクセス頻度監視処理２１０１を終了する。

ＣＰＵ１１は、アクセス頻度監視プログラム２１００を実行して上記のアクセス頻度監視処理２１０１を行うことにより、一定時間ごとに性能情報テーブル１２００をリセットすることができる。

図２４は、ＣＰＵ１１がサイズ見直し指示プログラム２２００を実行することで行われるサイズ見直し指示処理２２０１のフローチャートである。

ステップ２２０２では、一定時間（例えば１時間）ごとにループ処理をそれぞれ実施する。このループ処理では、図１６で説明した階層サイズ決定処理２３０１と、図１７，１８でそれぞれ説明したバッファサイズ決定処理２４０１，２４１１のいずれかと、をそれぞれ実施するとともに、サイズ変更処理２５０１を実施する。なお、サイズ変更処理２５０１の詳細については、図２５を参照して後述する。

ＣＰＵ１１は、サイズ見直し指示プログラム２２００を実行して上記のサイズ見直し指示処理２２０１を行うことにより、一定時間ごとに階層サイズやバッファサイズの見直しを行うことができる。

図２５は、ＣＰＵ１１がサイズ変更プログラム２５００を実行することで行われるサイズ変更処理２５０１のフローチャートである。このサイズ変更処理２５０１は、図２４のサイズ見直し指示処理２２０１において、ステップ２５０１で呼び出されて実行される。

ステップ２５０２では、ストレージプール１０２においてサイズ変更が可能な全ての階層について、ステップ２５０３～２５０７の処理を繰り返すループ処理を実施する。

ステップ２５０３では、処理対象の階層の現在のサイズと、変更後のサイズ、すなわち、図２４のサイズ見直し指示処理２２０１において実行された階層サイズ決定処理２３０１により決定されたサイズと、を比較する。その結果、現在のサイズよりも変更後のサイズの方が大きい場合はステップ２５０４へ進み、そうでない場合、すなわち現在のサイズが変更後のサイズ以上である場合はステップ２５０５へ進む。

ステップ２５０４では、処理対象の階層に対してドライブを追加する。ここでは、ストレージ装置１７またはオブジェクトストレージサービス２２１において、当該階層のデータを格納するためのドライブを追加することで、現在のサイズと変更後のサイズとの差分を埋め合わせるためのストレージ容量を拡充する。

ステップ２５０５では、処理対象の階層におけるページの一部を下位の階層に移動する。ここでは、例えば前述の式（７）で求められるランク値の低いものから順に、現在のサイズと変更後のサイズとの差分に応じたペース数の分だけ、下位の階層にページを移動する。

ステップ２５０６では、ステップ２５０５でページ移動を行うことによって空となったドライブをストレージプール１０２から削除する。

ステップ２５０４または２５０６を実行した後、ステップ２５０７では、これらの処理結果を反映して、階層サイズ・バッファサイズ管理テーブル１５００を更新する。ここでは、階層サイズ・バッファサイズ管理テーブル１５００において、処理対象の階層に対応するレコードのサイズ１５０２の値を更新する。

サイズ変更が可能な全ての階層に対してステップ２５０３～２５０７の処理を行ったら、ステップ２５０２のループ処理を抜け、ステップ２５０８へ進む。

ステップ２５０８では、バッファ領域（第３階層用バッファ１１３）の現在のサイズと、変更後のサイズ、すなわち、図２４のサイズ見直し指示処理２２０１において実行されたバッファサイズ決定処理２４０１または２４１１により決定されたサイズと、を比較する。その結果、現在のサイズよりも変更後のサイズの方が大きい場合はステップ２５０９へ進み、そうでない場合、すなわち現在のサイズが変更後のサイズ以上である場合はステップ３００１へ進む。

ステップ２５０９では、ストレージプール１０２においてバッファ領域が専用の領域として設けられているか否かを判定する。図５（ａ）で示した階層構造例のように、オブジェクトストレージ階層の上位に位置する階層と、オブジェクトストレージ階層のデータの読み書きに使用されるバッファ領域とが別々に設けられている場合は、ステップ２５１０へ進む。そうでない場合、すなわち図５（ｂ）で示した階層構造例のように、オブジェクトストレージ階層の上位に位置する階層の一部がオブジェクトストレージ階層のバッファ領域を兼ねている場合は、ステップ２５１０の処理を実行せずに、図２５のフローチャートに示すサイズ変更処理２５０１を終了する。

ステップ２５１０では、バッファ領域に対してドライブを追加する。ここでは、ストレージ装置１７において、オブジェクトストレージサービス２２１に対するバッファデータを格納するためのドライブを追加することで、現在のバッファサイズと変更後のバッファサイズとの差分を埋め合わせるためのストレージ容量を拡充する。その後、図２５のフローチャートに示すサイズ変更処理２５０１を終了する。

ステップ３００１では、図２１で説明したバッファページリクレイム処理を実施することで、前述のように、一定期間アクセスがないバッファページをバッファ領域から追い出して開放する。

ステップ２５１２では、ステップ２５０９と同様に、ストレージプール１０２においてバッファ領域が専用の領域として設けられているか否かを判定する。ストレージプール１０２がバッファ専用領域を有する場合はステップ２５１３へ進み、そうでない場合はステップ２５１３の処理を実行せずに、図２５のフローチャートに示すサイズ変更処理２５０１を終了する。

ステップ２５１３では、ステップ３００１のバッファページリクレイム処理によって空となったドライブをストレージプール１０２から削除する。その後、図２５のフローチャートに示すサイズ変更処理２５０１を終了する。

ＣＰＵ１１は、図２４のサイズ見直し指示処理２２０１において、サイズ変更プログラム２５００を実行して上記のサイズ変更処理２５０１を行うことにより、ストレージプール１０２の運用中に、ストレージプール１０２に設定されている各階層やバッファ領域のサイズを動的に変更する行うことができる。

以上説明した本発明の一実施形態によれば、以下の作用効果を奏する。

（１）ストレージシステム１０は、ストレージプール１０２を階層化して管理するストレージ管理部を稼働させるＣＰＵ１１と、データを格納するストレージ装置１７とを備え、ストレージ装置１７を少なくとも含む複数種類のストレージによるストレージプール１０２を有する。ストレージ管理部（ＣＰＵ１１）は、ストレージプール１０２の記憶領域を第１階層１１１、第２階層１１２および第３階層１１４に階層化して、各階層をそれぞれ異なるアクセス性能を有するストレージ（高速ドライブ１０１ａ、低速ドライブ１０１ｂ、オブジェクトストレージサービス２２１）に割り当て、データのアクセス頻度に基づいて、第１階層１１１、第２階層１１２および第３階層１１４の中からデータを格納する階層を決定する。そして、このうちバッファ対象階層である第３階層１１４に格納されているデータを一時的に格納するバッファ領域としての第３階層用バッファ１１３をストレージプール１０２に設けて、この第３階層用バッファ１１３を、第３階層１１４が割り当てられたストレージ（オブジェクトストレージサービス２２１）よりもアクセス性能が高いストレージ（低速ドライブ１０１ｂ）に割り当てる。さらに、ストレージ管理部（ＣＰＵ１１）は、バッファサイズ決定処理２４０１，２４１１により、第３階層１１４のアクセス頻度に基づいて第３階層用バッファ１１３のサイズを決定する。このようにしたので、階層型ストレージ管理を行うストレージシステム１０において、適切なバッファ領域を設定することができる。

（２）ストレージプール１０２に設定される階層は、バッファ対象階層である第３階層１１４よりもアクセス性能が高いストレージ（低速ドライブ１０１ｂ）に割り当てられた上位の第２階層１１２を含む。第３階層用バッファ１１３は、この第２階層１１２と同じストレージ（低速ドライブ１０１ｂ）に割り当てられる。このようにしたので、バッファ領域用のストレージを別途用意しなくても、第３階層１１４のバッファ領域としての第３階層用バッファ１１３をストレージプール１０２に設けることができる。

（３）ストレージ管理部（ＣＰＵ１１）は、第３階層１１４のサイズｓと、第３階層１１４のアクセス頻度ｂと、第３階層１１４の期待アクセス確率ｃとに基づいて、第３階層用バッファ１１３のサイズを表すバッファサイズｋを決定する（ステップ２４０６）ことができる。このようにすれば、バッファサイズｋを適切な値に決定することができる。

（４）ストレージ管理部（ＣＰＵ１１）は、ストレージプール１０２の各階層のアクセス頻度に基づくアクセスコストを表すコスト関数Ｃ_ａｌｌ（ｋ）を算出し（ステップ２４１３）、算出したコスト関数Ｃ_ａｌｌ（ｋ）と、第３階層用バッファ１１３のサイズを変更した場合のコスト数Ｃ_ａｌｌ（ｋ）の変化と、に基づいてバッファサイズｋを決定する（ステップ２４１４，２４１５）こともできる。このようにしても、バッファサイズｋを適切な値に決定することができる。

（５）ストレージ管理部（ＣＰＵ１１）は、サイズ変更処理２５０１により、ストレージプール１０２の運用中に第３階層用バッファ１１３のサイズを動的に変更する（ステップ２５０８～２５１３）。このようにしたので、ストレージプール１０２の運用中であっても、第３階層用バッファ１１３のサイズを常に最適な状態に保つことができる。

（６）ストレージ管理部（ＣＰＵ１１）は、階層サイズ決定処理２３０１により、ストレージプール１０２の各ページのアクセス頻度に基づいて、第１階層１１１、第２階層１１２および第３階層１１４の各階層に格納するページを決定する（ステップ２３０６）。すなわち、アクセス頻度の高いページほど上位の階層に格納されるように、各階層に格納するページを決定する。そして、格納を決定したページのサイズの合計に基づいて、各階層のサイズを決定する。具体的には、ストレージプール１０２のアクセス頻度をページ単位で集計して得られた度数分布または累積度数分布に基づいて、第１階層１１１、第２階層１１２および第３階層１１４の各々のサイズを決定する（ステップ２３０６，２３０７）。このようにしたので、各階層のサイズと、各階層に格納するページとを、ページごとのアクセス頻度に応じてそれぞれ適切に決定することができる。

（７）ストレージプール１０２を構築するストレージは、ネットワークを介してストレージシステム１０と接続されるオブジェクトストレージを含む。ストレージ管理部（ＣＰＵ１１）は、バッファ領域である第３階層用バッファ１１３を、ストレージシステム１０が有するストレージ装置１７に割り当て、バッファ対象階層である第３階層１１４を、オブジェクトストレージに割り当てる。さらに、外部より提供されるストレージサービスであるオブジェクトストレージサービス２２１を、第３階層１１４に割り当てるオブジェクトストレージとして利用することができる。このようにしたので、オブジェクトストレージを含むストレージシステム１０において、バッファ領域を有する階層化構造を実現できる。

（８）ＣＰＵ１１は、例えば図５（ｂ）に示すように、第３階層１１４の上位階層である第２階層１１２の一部を、第３階層用バッファ１１３として利用することができる。このようにすれば、ストレージプール１０２の記憶容量を効率的に利用することができる。

（９）ＣＰＵ１１は、サイズ変更処理２５０１により、ストレージプール１０２の運用中に第２階層１１２および第３階層用バッファ１１３のサイズをそれぞれ動的に変更する（ステップ２５０２～２５１３）。このようにしたので、ストレージプール１０２の運用中であっても、第２階層１１２や第３階層用バッファ１１３のサイズを常に最適な状態に保つことができる。

（１０）ＣＰＵ１１は、オブジェクトストレージアクセス処理２９０１により、第３階層１１４のデータでアクセスのあったデータを、第３階層用バッファ１１３および第３階層１１４にそれぞれ格納する（ステップ２９０７）。また、バッファページリクレイム処理３００１により、第３階層用バッファ１１３において一定期間以上アクセスされていないデータのページを開放する。具体的には、第３階層用バッファ１１３において一定期間以上アクセスされていない複数のページを抽出する（ステップ３００２）。そして、抽出した各ページのアクセス頻度に基づくランク値を算出し（ステップ３００４）、ランク値を昇順に並べたときに上位から所定数までのページを開放する（ステップ３００５～３００６）。これにより、抽出した各ページのデータへのアクセス頻度に基づいて所定数のページを開放する。このようにしたので、第３階層用バッファ１１３を効率的に利用することができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。例えば、図１６～図２５で説明した各処理を、ＣＰＵ１１ではなく、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現してもよい。

以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０…ストレージシステム、１１…ＣＰＵ、１２…メモリ、１３…ＨＢＡ、１４…ＮＩＣ、１５…ＵＳＢ、１６…ＶＧＡ、１７…ストレージ装置、１０１…ドライブ、１０２…ストレージプール、１０３…仮想ボリューム、１１１…第１階層、１１２…第２階層、１１３…第３階層用バッファ、１１４…第３階層、２１１…ストレージ利用計算機、２１２…管理用端末、２１３…外部接続機能付きストレージ、２２１…オブジェクトストレージサービス、１２００…性能情報テーブル、１３００…プールページ／ボリュームページ管理テーブル、１４００…ボリュームページ／階層ページ管理テーブル、１５００…階層サイズ・バッファサイズ管理テーブル、１６００…階層ページ／オブジェクト管理テーブル、１７００…バッファページ／オブジェクト管理テーブル、１８００…階層移動対象ページ管理テーブル、２１００…アクセス頻度監視プログラム、２２００…サイズ見直し指示プログラム、２３００…階層サイズ決定プログラム、２４００…バッファサイズ決定プログラム、２５００…サイズ変更プログラム、２６００…階層制御プログラム、２７００…プール管理プログラム、２８００…ストレージサービスプログラム、２９００…オブジェクトストレージアクセスプログラム、３０００…バッファページリクレイムプログラム

Claims (14)

1. ストレージ管理部を稼働させるプロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるストレージシステムにおいて、
   前記ストレージ管理部は、
   前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当て、
   データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定し、
   前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層が割り当てられた前記ドライブよりもアクセス性能が高い前記ドライブに割り当て、
   前記バッファ対象階層のアクセス頻度に基づいて前記バッファ領域のサイズを決定し、割当済みのバッファ領域のサイズが前記決定したサイズを下回るとき、前記ストレージプールに前記ドライブを追加し、前記決定したバッファ領域のサイズまで追加した前記ドライブに前記バッファ領域を割り当てる、
   ストレージシステム。
2. 請求項１に記載のストレージシステムにおいて、
   前記複数の階層は、前記バッファ対象階層よりもアクセス性能が高い前記ドライブに割り当てられた上位の階層を含み、
   前記バッファ領域は、前記上位の階層と同じ前記ドライブに割り当てられる、
   ストレージシステム。
3. 請求項２に記載のストレージシステムにおいて、
   前記ストレージ管理部は、前記バッファ対象階層のサイズと、前記バッファ対象階層のアクセス頻度と、前記バッファ対象階層の期待アクセス確率とに基づいて、前記バッファ領域のサイズを決定する、
   ストレージシステム。
4. 請求項２に記載のストレージシステムにおいて、
   前記ストレージ管理部は、前記ストレージプールの各階層のアクセス頻度に基づくアクセスコストと、前記バッファ領域のサイズを変更した場合の前記アクセスコストの変化と、に基づいて前記バッファ領域のサイズを決定する、
   ストレージシステム。
5. 請求項２に記載のストレージシステムにおいて、
   前記ストレージ管理部は、前記ストレージプールの運用中に前記バッファ領域のサイズを動的に変更する、
   ストレージシステム。
6. 請求項２に記載のストレージシステムにおいて、
   前記ストレージ管理部は、
   前記ストレージプールの各ページのアクセス頻度に基づいて、各階層に格納するページを決定し、格納を決定したページのサイズの合計に基づいて、前記複数の階層の各々のサイズを決定する、
   ストレージシステム。
7. 請求項４に記載のストレージシステムにおいて、
   前記ストレージ管理部は、アクセス頻度の高いページほど、前記複数の階層のうち前記アクセス性能がより高い前記ドライブに割り当てられた階層に格納されるように、各階層に格納するページを決定する、
   ストレージシステム。
8. 請求項１に記載のストレージシステムにおいて、
   前記ストレージシステムには、前記ストレージシステムに対して記憶領域を提供するオブジェクトストレージが、ネットワークを介して接続されており、
   前記ストレージ管理部は、前記バッファ領域を前記ドライブに割り当て、前記バッファ対象階層を前記オブジェクトストレージに割り当てる、
   ストレージシステム。
9. 請求項１に記載のストレージシステムにおいて、
   前記ストレージ管理部は、
   データのアクセス頻度に基づいて、前記データを格納する階層を決定し、
   前記バッファ対象階層でアクセスのあったデータを、前記バッファ領域及び前記バッファ対象階層にそれぞれ格納し、
   前記バッファ領域において一定期間以上アクセスされていないデータのページを開放する、
   ストレージシステム。
10. 請求項９に記載のストレージシステムにおいて、
    前記ストレージ管理部は、前記バッファ領域において一定期間以上アクセスされていない複数のページを抽出するとともに、抽出した各ページのデータへのアクセス頻度に基づいて所定数のページを開放する、
    ストレージシステム。
11. 請求項１に記載のストレージシステムにおいて、
    前記ストレージ管理部は、前記複数の階層のうち前記バッファ領域が割り当てられた前記ドライブに対応する階層のサイズが前記決定したサイズを上回るとき、当該ドライブへの前記バッファ領域の割り当てを解除し、当該ドライブを前記ストレージプールから減設する、
    ストレージシステム。
12. ストレージ管理部を稼働させるプロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるストレージシステムにおいて、
    前記ストレージ管理部は、
    前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当て、
    データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定し、
    前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層が割り当てられた前記ドライブよりもアクセス性能が高い前記ドライブに割り当て、
    前記バッファ対象階層のサイズと、前記バッファ対象階層のアクセス頻度と、前記バッファ対象階層の期待アクセス確率とに基づいて、前記バッファ領域のサイズを決定する、
    ストレージシステム。
13. プロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるストレージシステムの管理方法であって、
    前記プロセッサが、
    前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当てる処理と、
    データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定する処理と、
    前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層に割り当てられた前記ドライブよりも性能が高い前記ドライブに割り当てる処理と、
    前記バッファ対象階層のアクセス頻度に基づいて前記バッファ領域のサイズを決定する処理と、
    割当済みのバッファ領域のサイズが前記決定したサイズを下回るとき、前記ストレージプールに前記ドライブを追加し、前記決定したバッファ領域のサイズまで追加した前記ドライブに前記バッファ領域を割り当てる処理と、を実行する、
    ストレージシステムの管理方法。
14. プロセッサと、データを格納するストレージ装置と、前記ストレージ装置が有する１または複数のドライブを組み合わせたストレージプールと、を備えるストレージシステムの管理方法であって、
    前記プロセッサが、
    前記ストレージプールの記憶領域を複数の階層に階層化して、各階層をそれぞれ異なるアクセス性能を有する前記ドライブに割り当てる処理と、
    データのアクセス頻度に基づいて、前記複数の階層の中から前記データを格納する階層を決定する処理と、
    前記複数の階層のうち少なくとも一つの階層であるバッファ対象階層に格納されているデータを一時的に格納するバッファ領域を前記ストレージプールに設けて、当該バッファ領域を前記バッファ対象階層に割り当てられた前記ドライブよりも性能が高い前記ドライブに割り当てる処理と、
    前記バッファ対象階層のサイズと、前記バッファ対象階層のアクセス頻度と、前記バッファ対象階層の期待アクセス確率とに基づいて、前記バッファ領域のサイズを決定する処理と、を実行する、
    ストレージシステムの管理方法。

Images