JP7313321B2 - ストレージシステムおよびデータ管理方法 - Google Patents

Description

本発明は、概して、コントローラ間の通信に関する。

データへのアクセスに対する処理性能が要求されるストレージシステムでは、複数のコントローラに処理を分散することで性能向上が図られる。かかるストレージシステムでは、特定のコントローラへの負荷集中による性能低下を防ぎ、コントローラ資源を最大限に活用するために、負荷を均等化する必要がある。また、アクセス処理における通信オーバーヘッドの増大を防ぐために、可能な限りコントローラ間の処理の依存関係を排除し、アクセス処理を各コントローラの内部で完結する必要がある。

そのため、複数のコントローラを備えるストレージシステムでは、まず各コントローラに対して、例えば論理ユニット（ＬＵ）のように、アクセス処理が互いに非依存となる単位（以下、総称してＬＵと記述）で、各コントローラの負荷が均等になるようにアクセス処理を割り当てることが必要である。ＬＵは、アクセス元であるホストから独立したデバイス、記憶領域として認識されるので、ＬＵのそれぞれに対して独立してアクセス処理が実行可能となる。つまり、各ＬＵのアクセス処理を実行するコントローラを１つに固定することで、コントローラ間の通信によるオーバーヘッドを回避可能である。

また、ＬＵのアクセス処理に加えて、各コントローラが管理（データの書き込みおよびデータの整列）する記憶領域の分離も併せて必要である。特に、ログ構造のようにデータを動的に配置するストレージシステムでは、複数のコントローラから共有の記憶領域にデータを格納する場合に排他制御に伴うコントローラ間の通信が発生する。そこで、各コントローラが書き込みを行う記憶領域を分離することで、コントローラ間の排他制御を行わずにデータの動的な配置が可能である。

この点、特許文献１では、ストレージを構成する複数のコントローラが共有可能な記憶領域について、各コントローラに対して管理、使用する記憶領域の割当を行い、記憶領域の各部にアクセスを行うコントローラが単一となるように、複数コントローラからの記憶領域の共有を回避することでコントローラ間の通信による性能低下を回避する方法が示されている。加えて、特許文献１では、複数コントローラを持つストレージにおいて、各コントローラに対する管理、使用する記憶領域の割当の変更、およびコントローラ間におけるＬＵのアクセス処理の移動により、増設したストレージのコントローラに処理を割り当てる方法が示されている。

国際公開第２０１４／１４７６５７号

アクセス負荷が変動するストレージシステムでは、コントローラ間の負荷が均等化された状態を維持するために、アクセス負荷の変動に応じたアクセス処理の割当の変更が発生する。ＬＵを単位としてアクセス処理を割り当てる場合、低負荷のコントローラが、高負荷のコントローラからＬＵのアクセス処理を引き継ぐ必要がある。このとき、ＬＵのアクセス処理の移動後も、ＬＵのアクセス処理および記憶領域管理におけるコントローラ間の処理の依存関係を可能な限り排除された状態を維持し、通信オーバーヘッドを最小化することが不可欠である。

一方で、ＬＵのアクセス処理をコントローラ間で移動した場合、ＬＵのアクセス処理を行うコントローラと、記憶領域管理を行うコントローラとの分離に伴う、コントローラ間の処理の依存関係が発生する。この依存関係を解消するためには、ＬＵが使用する記憶領域管理の権限を併せてコントローラ間で移動することが必要である。

しかしながら、移動元のコントローラがアクセス処理を行うＬＵのデータが記憶領域に混在する場合、記憶領域管理の権限の移動は、困難である。例えば、記憶媒体に用いられるＳＳＤ（Solid State Drive）の性能低下、寿命消費の原因となるランダムＷｒｉｔｅの防止を目的とした、ログ構造による記憶領域管理では、各ＬＵに対するＷｒｉｔｅデータを同一の記憶領域に集約して連続的に格納することが必要である。また、ストレージシステムが重複排除機能を備える場合、データ削減の効果を高めて容量効率の向上を図るために、ＬＵ間のデータの重複排除が求められる。このとき、複数のＬＵがデータを共有するために、同一の記憶領域を参照する必要がある。そのため、ＬＵのアクセス処理の移動により必ずコントローラ間の処理の依存関係が発生することになる。

つまり、複数のコントローラが記憶領域を共有するストレージシステムにおいて、共有される記憶領域内の管理、割り当ての単位となる各部分に対して複数ＬＵのデータが混在した状態で格納されることで、ＬＵのアクセス処理の移動に伴ってコントローラ間の処理の依存関係が発生し、通信が多く必要となることが課題である。ログ構造のようにデータを動的に配置する記憶領域管理では、ＬＵのアクセス処理におけるデータ配置の決定、変更のために、コントローラ間の通信および排他制御が発生して性能低下の原因となる。また、記憶領域管理を行うコントローラは、ガベージコレクション、デフラグメント（以下、これらを総称してＧＣと記述）を行い、格納されたデータの整列を行う必要がある。この整列に伴い、記憶領域を管理するコントローラから、ＬＵのアクセス処理を行うコントローラに対する整列後のデータ配置情報の通知、および排他制御が発生して性能低下の原因となる。

この点、特許文献１では、各ＬＵのデータが互いに異なる記憶領域に分離して格納されることを前提としており、記憶領域を共有するＬＵに関するアクセス処理の移動を想定していない。つまり、特許文献１には、ストレージにおいてログ構造による記憶領域管理やデータの重複排除を行った場合にＬＵのアクセス処理をコントローラ間で移動する方法は示されていない。

本発明は、以上の点を考慮してなされたもので、コントローラ間の処理の依存関係を極力排除し得るストレージシステム等を提案しようとするものである。

かかる課題を解決するため本発明においては、１以上の記憶媒体と、ホストに対してストレージ機能を提供する複数のコントローラとを備え、前記複数のコントローラが前記記憶媒体の記憶領域を共有するストレージシステムであって、各コントローラには、データの書き込みとデータの整列とを行う前記記憶領域が割り当てられ、各コントローラは、コントローラに割り当てられている論理領域のデータに対するアクセス処理の権限をコントローラ間で移動し、第１のコントローラから第２のコントローラへ前記アクセス処理の権限を移動させることによって、複数のコントローラの論理領域にかかるデータが存在することとなった第１の記憶領域について、前記第１のコントローラおよび前記第２のコントローラは、Ｗｒｉｔｅ要求にかかる更新後データを自コントローラに割り当てられている記憶領域に書き込むとともに、前記第１の記憶領域の更新前データを削除し、データを整列する整列処理にて、前記第１の記憶領域の自コントローラがアクセス処理の権限を有するデータを、自コントローラに割り当てられている他の記憶領域に移動することを、前記第１の記憶領域の割当を引き継ぎながら行うようにした。

上記構成では、第１の記憶領域の自コントローラがアクセス処理の権限を有するデータを、自コントローラに割り当てられている他の記憶領域に移動することを、第１の記憶領域の割当を引き継ぎながら行われる。よって、コントローラ間のアクセス処理の権限の移動において、各アクセス処理の対象のデータが記憶領域内に混在する場合であってもコントローラ間の処理の依存関係の低減を実現することができる。その結果、ストレージシステムにおけるコントローラの増設による性能の向上、コントローラ資源の利用効率の向上等を図ることができる。

本発明によれば、コントローラ間の通信を適切に行うことができる。上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

第１の実施の形態によるストレージシステムに係る構成の一例を示す図である。 第１の実施の形態によるコントローラに係る構成の一例を示す図である。 第１の実施の形態による格納データの一例を示す図である。 第１の実施の形態によるプログラム領域の一例を示す図である。 第１の実施の形態によるメタデータ領域の一例を示す図である。 第１の実施の形態による管理ノードに係る構成の一例を示す図である。 第１の実施の形態によるフローチャートの一例を示す図である。 第１の実施の形態によるフローチャートの一例を示す図である。 第１の実施の形態によるフローチャートの一例を示す図である。 第１の実施の形態によるフローチャートの一例を示す図である。 第１の実施の形態によるフローチャートの一例を示す図である。 第１の実施の形態によるフローチャートの一例を示す図である。 第１の実施の形態によるフローチャートの一例を示す図である。 第２の実施の形態によるプログラム領域の一例を示す図である。 第２の実施の形態による管理ノードに係る構成の一例を示す図である。 第２の実施の形態によるフローチャートの一例を示す図である。 第２の実施の形態によるフローチャートの一例を示す図である。 第３の実施の形態によるプログラム領域の一例を示す図である。 第３の実施の形態によるメタデータ領域の一例を示す図である。 第３の実施の形態によるフローチャートの一例を示す図である。 第３の実施の形態によるフローチャートの一例を示す図である。 第３の実施の形態によるフローチャートの一例を示す図である。 第３の実施の形態によるフローチャートの一例を示す図である。 第３の実施の形態によるフローチャートの一例を示す図である。

（１）第１の実施の形態
以下、本発明の一実施の形態を詳述する。本実施の形態では、ストレージ機能のアクセス処理および記憶領域管理をコントローラ間で移動し、分散処理を行う方法に関して説明する。なお、本実施の形態は、本発明における請求範囲を限定するものではなく、実施の形態において説明を行う要素の全てが本発明における課題の解決に必要であるとは限らない。

本実施の形態に係るストレージシステムでは、複数のコントローラが記憶領域を共有する環境において、アクセス処理の権限および記憶領域管理の権限をコントローラ間で移動し、分散処理を行う。

より具体的には、本ストレージシステムは、記憶領域を共有する各コントローラに対して、使用可能な記憶領域（管理対象の記憶領域）を事前に配分する。まず、ＬＵのアクセス処理を行うコントローラの移動において、ＬＵに含まれる各データと記憶領域における格納先を示すアドレスとのマッピング情報を移動先のコントローラにコピーして引き継ぐ。ＬＵの移動先のコントローラは、ホストからのＲｅａｄ要求に対して、引き継いだマッピング情報を参照して、移動元のコントローラが管理する記憶領域に格納されたデータを直接読み出す。また、ＬＵの移動先のコントローラは、ホストからＷｒｉｔｅ要求されたデータに対して、アクセス処理を実行している移動先のコントローラ（自コントローラ）が管理する記憶領域から格納先を決定して、データを格納し、ＬＵのマッピング情報を更新する。ＬＵの移動先のコントローラは、新規のデータの格納により不要になった更新前のデータの無効化をＷｒｉｔｅ要求の処理と非同期に行うことで、無効化の対象のデータがＬＵの移動元のコントローラが管理する記憶領域に格納されている場合であっても、通信のオーバーヘッドによる影響を隠蔽できる。

各コントローラは、管理している記憶領域のＧＣ処理を行う場合、ＧＣ処理の対象となった記憶領域に格納されたデータから、ＧＣ処理を行うコントローラ自身がアクセス処理を担当するＬＵに含まれるものを抽出して、コントローラ自身の管理する記憶領域に移動および整列し、ＬＵのマッピング情報を更新する。このとき、更新対象のマッピング情報は、同一コントローラ内に存在するため、コントローラ間の通信も排他制御も発生しない。そして、ＧＣ処理を行ったコントローラは、ＧＣ処理の対象の記憶領域に残るデータが含まれるＬＵのアクセス処理を行うコントローラから１つを選択して、記憶領域管理の権限と共にＧＣ処理を、選択したコントローラに引き継ぐ。当該記憶領域のＧＣ処理を引き継いだコントローラは、元のコントローラと同様に処理を行う。ＧＣ処理の対象のデータがなくなるまで、コントローラ間で、上記引き継ぎが行われる。また、ＧＣ処理の途中の記憶領域の引継ぎにより使用可能な記憶領域が減少したコントローラに対しては、共有の記憶領域から新たに未割当の記憶領域が配分されることで空き容量の不足が回避される。

次に、本発明の実施の形態を図面に基づいて説明する。

なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、コントローラを特に区別しないで説明する場合には、「コントローラ１０１」と記載し、個々のコントローラを区別して説明する場合には、「コントローラ１０１ａ」、「コントローラ１０１ｂ」のように記載することがある。

図１において、１００は、全体として第１の実施の形態によるストレージシステムを示す。

図１は、ストレージシステム１００に係る構成の一例を示す図である。

ストレージシステム１００は、コントローラ１０１ａ、１０１ｂ（コントローラノード）と、記憶媒体ノード１０２と、管理ノード１０３と、ネットワーク１０４とを含んで構成される。ネットワーク１０４は、コントローラ１０１ａ、１０１ｂ、記憶媒体ノード１０２、管理ノード１０３を接続する。また、コントローラ１０１ａ、１０１ｂは、ホスト１０５と接続される。

コントローラ１０１ａ、１０１ｂは、ホスト１０５に対して記憶領域へのアクセスを提供する。記憶領域は、例えば、記憶領域にマッピングされたＬＵ等の形式でホスト１０５に対して提供される。コントローラ１０１ａ、１０１ｂは、ホスト１０５に対して複数のＬＵを提供してもよい。また、各ＬＵに対するアクセスは、単一のコントローラ１０１が提供する。

記憶媒体ノード１０２は、ＬＵの記憶領域のマッピング先である記憶媒体１０６を備え、コントローラ１０１ａ、１０１ｂに対してアクセスを提供する。コントローラ１０１ａ、１０１ｂは、記憶媒体ノード１０２の記憶媒体１０６を共有し、いずれのコントローラ１０１からも他コントローラ１０１を経由せずに、記憶媒体１０６に対して直接アクセスが可能である。

管理ノード１０３は、ストレージシステム１００が提供する各ＬＵのアクセス処理を行うコントローラ１０１と、記憶媒体ノード１０２に接続された記憶媒体１０６によって構成される各記憶領域のコントローラ１０１に対する割り当て状況とを管理する。

ネットワーク１０４は、コントローラ１０１ａ、１０１ｂ、記憶媒体ノード１０２、および管理ノード１０３を互いに接続する。ネットワーク１０４は、コントローラ１０１ａ、１０１ｂの通信を行う。例えば、ネットワーク１０４は、コントローラ１０１ａ、１０１ｂから記憶媒体ノード１０２の記憶媒体１０６に対するアクセス要求および当該アクセス要求に対応するデータ（以下、アクセス要求データと記述）の転送を行う。なお、アクセス要求データは、Ｒｅａｄ要求に対応するＲｅａｄデータまたはＷｒｉｔｅ要求に対応するＷｒｉｔｅデータである。

ホスト１０５は、コントローラ１０１ａ、１０１ｂが提供するＬＵに対するアクセス要求を行う。

なお、コントローラ１０１ａ、１０１ｂ以外に、追加のコントローラ１０１がネットワーク１０４に接続され、各コントローラ１０１が記憶媒体ノード１０２の記憶媒体１０６を共有してもよい。また、記憶媒体ノード１０２は、同時に複数の記憶媒体１０６に対するアクセスを提供してもよい。加えて、ネットワーク１０４は、図１に示す構成に限定されず、例えば、ホスト１０５がネットワーク１０４に接続され、コントローラ１０１ａ、１０１ｂにアクセス要求を行う構成でもよい。さらに、管理ノード１０３は、コントローラ１０１ａ、１０１ｂ、または、記憶媒体ノード１０２のいずれかのノードが兼ねる構成でもよい。

図２は、コントローラ１０１ａに係る構成の一例を示す図である。なお、コントローラ１０１ａ、１０１ｂは、同様（同一または類似）の構成を備えるため、コントローラ１０１ａを図示して説明する。

コントローラ１０１ａは、１つ以上のプロセッサ２０１と、１つ以上のメモリ２０２と、１つ以上の通信Ｉ／Ｆ（interface）２０３と、１つ以上のホストＩ／Ｆ２０４とを備える。

プロセッサ２０１は、メモリ２０２を用いてコントローラ１０１ａの機能を実現するプログラムを実行し、ホスト１０５に対してＬＵへのアクセスを提供する。

通信Ｉ／Ｆ２０３は、ネットワーク１０４に接続されている。通信Ｉ／Ｆ２０３は、コントローラ１０１ａから記憶媒体ノード１０２の記憶媒体１０６に対するアクセス要求の送信、応答の受信、およびアクセス要求の処理に伴うアクセス要求データの転送を行う。

通信Ｉ／Ｆ２０３とネットワーク１０４との接続における通信規格は、アクセス要求、応答の送受信、およびデータ転送が可能である限り、特に限定されない。また、コントローラ１０１ａと記憶媒体ノード１０２との間で行われるアクセス要求、応答、およびデータの送受信で用いられるプロトコルも同様に限定されない。

ホストＩ／Ｆ２０４は、ホスト１０５からのＬＵに対するアクセス要求の受信、応答の送信、およびホスト１０５との間でアクセス要求の処理に伴うアクセス要求データの転送を行う。

ホストＩ／Ｆ２０４を介した、コントローラ１０１ａとホスト１０５との接続における通信規格およびプロトコルは、アクセス要求、応答の送受信、およびデータ転送が可能である限り、特に限定されない。また、ホスト１０５がネットワーク１０４に接続されている場合に、ホストＩ／Ｆ２０４が通信Ｉ／Ｆ２０３と共通の構成を用いてもよい。

図３は、メモリ２０２における格納データの一例を示す図である。メモリ２０２は、プログラム領域３０１と、バッファ領域３０２と、メタデータ領域３０３とを備える。

プログラム領域３０１には、プロセッサ２０１が実行する、ストレージシステム１００のコントローラ１０１の機能を実施するプログラムが格納される。

バッファ領域３０２には、記憶媒体ノード１０２に接続された記憶媒体１０６から読み出されたＲｅａｄデータと、記憶媒体ノード１０２に接続された記憶媒体１０６に対するＷｒｉｔｅデータとが一時的に格納される。

メタデータ領域３０３には、コントローラ１０１がホスト１０５に対してアクセスを提供する各ＬＵの処理に関連した管理情報が格納される。

図４は、プログラム領域３０１の一例を示す図である。

プログラム領域３０１は、プロセッサ２０１が実行するプログラムを格納する。プログラムとしては、コマンド処理プログラム４０１と、Ｉ／Ｏ制御プログラム４０２と、データ配置管理プログラム４０３と、ＧＣ対象選択プログラム４０４と、ＧＣプログラム４０５と、ＧＣ移管プログラム４０６と、ＧＣ引継プログラム４０７と、ＬＵ移管プログラム４０８と、ＬＵ引継プログラム４０９と、無効データ通知プログラム４１０と、領域無効化プログラム４１１とがある。

コマンド処理プログラム４０１は、ホストＩ／Ｆ２０４を介してホスト１０５からのＬＵに対するアクセス要求の受信と、結果の応答とを行う。また、コマンド処理プログラム４０１は、アクセス要求に対応した処理を開始し、ホストＩ／Ｆ２０４を介してホスト１０５との間でアクセス要求データの転送を行う。

Ｉ／Ｏ制御プログラム４０２は、通信Ｉ／Ｆ２０３を介して記憶媒体ノード１０２が備える記憶媒体１０６に対するアクセス要求を実行する。Ｉ／Ｏ制御プログラム４０２から記憶媒体１０６に対するアクセスで使用されるプロトコルは、指定されたアドレスに対するアクセスが可能である限り、特に限定されない。

データ配置管理プログラム４０３は、コントローラ１０１がホスト１０５に対してアクセスを提供するＬＵのアドレス空間の各記憶領域について、記憶媒体ノード１０２に接続された記憶媒体１０６における、上記各記憶領域に対応するマッピング先のアドレスを管理する。また、データ配置管理プログラム４０３は、記憶媒体ノード１０２に接続された記憶媒体１０６から構成される各記憶領域に対応するＬＵと、ＬＵ内の記憶領域のアドレスとを管理する。

ＧＣ対象選択プログラム４０４は、記憶媒体ノード１０２に接続された記憶媒体１０６から構成される一定サイズの各記憶領域（以下、ページと記述）から、自コントローラ１０１に割り当てられたページの１つを、ＧＣ処理の対象として選択する。

ＧＣプログラム４０５は、ＧＣ対象選択プログラム４０４が選択したページに含まれる有効なデータを他のページに移動することでデータの整列を行う。ＧＣプログラム４０５は、選択されたページに含まれる有効な各データについて対応するＬＵを確認し、確認したＬＵのアクセス処理が自コントローラ１０１に割り当てられている場合に、データを他のページにコピーして、元のページのデータを無効化する。

ＧＣ移管プログラム４０６は、ＧＣ処理の対象となったページに含まれる有効なデータに対応するＬＵのアクセス処理が割り当てられたコントローラ１０１を１つ選択して、ページに関するＧＣ処理の引き継ぎを依頼する。ＧＣ処理の引き継ぎの依頼については、アクセス処理とは非同期で実施が可能であり、他のページに対するＧＣ処理とも非同期で実施が可能である。また、同一コントローラ１０１に対して同時に複数のページに関するＧＣ処理の引き継ぎの依頼を行うことで通信回数の削減が可能である。さらに、コントローラ１０１が使用するページ数は、ページサイズに反比例することから、ページサイズを大きくすることで使用するページ数が減少し、ＧＣ処理の引き継ぎの依頼頻度も併せて減少する。よって、ＧＣ移管プログラム４０６による通信回数を削減し、ＧＣ処理の引き継ぎの依頼をアクセス処理とＧＣ処理との各々と非同期に行うことでオーバーヘッドによる影響を回避可能である。

ＧＣ引継プログラム４０７は、他コントローラ１０１からＧＣ処理の引き継ぎを依頼されたページについて、ＧＣ対象選択プログラム４０４によってＧＣ処理の対象として選択されるように、自コントローラ１０１に割り当てられたページに追加する。

ＬＵ移管プログラム４０８は、アクセス処理が自コントローラ１０１に割り当てられているＬＵについて、他コントローラ１０１にアクセス処理の引き継ぎを依頼する。また、ＬＵ移管プログラム４０８は、引き継ぎを依頼するＬＵに関連するメタデータをメタデータ領域３０３から読み出し、引き継ぎを依頼するコントローラ１０１にコピーする。ＬＵのアクセス処理の引き継ぎは、通常コントローラ１０１間の負荷調整が必要な場合にのみ行うことから、ホスト１０５からのアクセス要求に比べて低い頻度で行われる。そのため、ＬＵ移管プログラム４０８によるコントローラ１０１間の通信に伴うオーバーヘッドは軽微である。

ＬＵ引継プログラム４０９は、他コントローラ１０１からアクセス処理の引き継ぎが依頼されたＬＵについて、コピーされたメタデータを用いてＬＵのアクセス処理を開始する。

無効データ通知プログラム４１０は、ホスト１０５からＬＵに対するＷｒｉｔｅ要求に伴い無効化された、更新前のデータの格納先のアドレスの一覧について、各データが含まれるページを管理するコントローラ１０１に対して通知を行う。他コントローラ１０１に対する無効データの通知は、アクセス処理とは非同期に行うことが可能である。また、複数のデータに関する無効化の通知をまとめて一度の通知で行うことが可能である。よって、ＧＣ移管プログラム４０６の通信と同様に、通信オーバーヘッドによる影響を回避可能である。

領域無効化プログラム４１１は、他コントローラ１０１から通知された、無効化されたデータの格納先のアドレスの一覧を参照し、自コントローラ１０１が管理するページにおいて対応する記憶領域のデータを無効化する。

図５は、メタデータ領域３０３の一例を示す図である。

メタデータ領域３０３は、マッピングテーブル５０１と、逆引きテーブル５０２と、使用ページテーブル５０３と、無効領域テーブル５０４と、移管候補ページテーブル５０５とを備える。

マッピングテーブル５０１は、アクセス処理を行うＬＵ毎に設けられている。マッピングテーブル５０１は、コントローラ１０１がアクセス処理を行うＬＵのアドレス空間の各記憶領域について、記憶媒体ノード１０２に接続された記憶媒体１０６における、各領域に対応するマッピング先のアドレスを格納する。

ここで、ストレージシステム１００では、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）により、複数の記憶媒体１０６が１つの仮想的な記憶デバイスとして提供され、仮想的な記憶デバイスにおけるアドレスがマッピングテーブル５０１の記憶領域アドレスとして用いられている。なお、図示は省略するが、仮想的な記憶デバイスにおけるアドレスは、各記憶媒体１０６におけるアドレスと対応付けられている。付言するならば、ストレージシステム１００では、ＲＡＩＤが組まれていなくてもよく、マッピングテーブル５０１の記憶領域アドレスは、記憶媒体１０６のアドレスであってもよい。この場合、マッピングテーブル５０１には、記憶媒体１０６を識別可能な情報が含まれる。

逆引きテーブル５０２は、ページ毎に設けられている。逆引きテーブル５０２は、コントローラ１０１に割り当てられた、記憶媒体ノード１０２に接続された記憶媒体１０６から構成される記憶領域について、当該記憶領域に対応付けられたＬＵおよびＬＵのアドレスを格納する。なお、本実施の形態において、逆引きテーブル５０２は、ページ毎に設けられているが、この形式に限るものではなく、単一の形式であってもよいし、ページ以外の単位で分割された形式であってもよいし、その他の形式であってもよい。

使用ページテーブル５０３は、コントローラ１０１に割り当てられたページのアドレスを格納する。

無効領域テーブル５０４は、他コントローラ１０１が管理するページに格納されている、無効化されたデータのアドレスと、上記ページを管理するコントローラ１０１の情報とを格納する。

移管候補ページテーブル５０５は、他コントローラ１０１に対してＧＣ処理の移管を行う候補となったページのアドレスを格納する。

図６は、管理ノード１０３に係る構成の一例を示す図である。

管理ノード１０３は、１つ以上のプロセッサ６０１と、１つ以上のメモリ６０２と、１つ以上の通信Ｉ／Ｆ６０３を備える。

プロセッサ６０１は、メモリ６０２を用いて、ストレージシステム１００が提供するＬＵのアクセス処理に関する、コントローラ１０１に対する割り当て状況を提供する。また、プロセッサ６０１は、メモリ６０２を用いて、記憶媒体ノード１０２に接続された記憶媒体１０６によって構成される各記憶領域に関する、コントローラ１０１に対する割り当ての管理機能を提供する。

メモリ６０２は、ＬＵ割当プログラム６０４およびＬＵ割当テーブル６０５を格納する。

通信Ｉ／Ｆ６０３は、ネットワーク１０４に接続されている。通信Ｉ／Ｆ６０３は、コントローラ１０１との間でＬＵのアクセス処理、記憶領域の割当、記憶領域の解放に関する通信を行う。

ＬＵ割当プログラム６０４は、ストレージシステム１００のコントローラ１０１に対してＬＵのアクセス処理の割当状態を管理する。また、ＬＵ割当プログラム６０４は、各ＬＵのアクセス処理を行うコントローラ１０１の問い合わせに対する応答を行う。

ＬＵ割当テーブル６０５は、ストレージシステム１００が提供する各ＬＵのアクセス処理を行うコントローラ１０１の情報を格納する。

図７は、ホスト１０５からコントローラ１０１ａに対する、ＬＵのＲｅａｄ要求を処理する一連の流れを示すフローチャートである。図７のフローチャートに基づく動作は、以下の通りである。

Ｓ７０１：コマンド処理プログラム４０１は、ホスト１０５からＬＵのＲｅａｄ要求を受信すると、データ配置管理プログラム４０３に対して、要求されたＬＵのアドレスに対応する記憶媒体１０６の記憶領域のアドレスを問い合わせる。続いてＳ７０２が実施される。

Ｓ７０２：データ配置管理プログラム４０３は、マッピングテーブル５０１を参照して、問い合わせのあったＬＵのアドレスに対応する記憶領域に対応する記憶媒体１０６、および当該記憶媒体１０６のアドレスを特定して応答する。続いてＳ７０３が実施される。

Ｓ７０３：Ｉ／Ｏ制御プログラム４０２は、通信Ｉ／Ｆ２０３を介して指示された記憶媒体１０６のアドレスに対してＲｅａｄアクセスを行い、Ｒｅａｄ結果のデータをメモリ２０２のバッファ領域３０２に格納する。続いてＳ７０４が実施される。

Ｓ７０４：コマンド処理プログラム４０１は、Ｓ７０３でバッファ領域３０２に格納されたデータを、ホストＩ／Ｆ２０４を介してホスト１０５にＲｅａｄ要求の結果として転送し、一連の動作を終了する。

図８は、ホスト１０５からコントローラ１０１ａに対する、ＬＵのＷｒｉｔｅ要求を処理する一連の流れを示すフローチャートである。図８のフローチャートに基づく動作は、以下の通りである。

Ｓ８０１：コマンド処理プログラム４０１は、ホスト１０５からホストＩ／Ｆ２０４を介してＬＵのＷｒｉｔｅ要求を受信すると、ホスト１０５からＷｒｉｔｅデータを受信し、バッファ領域３０２に格納する。続いてＳ８０２が実施される。

Ｓ８０２：コマンド処理プログラム４０１は、データ配置管理プログラム４０３に対して、Ｓ８０１で受信したＷｒｉｔｅデータの記憶媒体ノード１０２に接続された記憶媒体１０６における格納先となるアドレスを問い合わせる。続いてＳ８０３が実施される。

Ｓ８０３：データ配置管理プログラム４０３は、マッピングテーブル５０１を参照して、ホスト１０５からＷｒｉｔｅ要求された記憶領域の更新前のデータを格納する記憶媒体１０６、および当該記憶媒体のアドレスを特定する。また、データ配置管理プログラム４０３は、マッピングテーブル５０１および使用ページテーブル５０３を参照して当該アドレスの記憶領域が含まれるページを管理するコントローラ１０１が自コントローラ１０１であるかを特定する。続いてＳ８０４が実施される。

Ｓ８０４：データ配置管理プログラム４０３は、Ｓ８０３で特定したアドレスの記憶領域が含まれるページを自コントローラ１０１が管理しているか否かを判定する。データ配置管理プログラム４０３は、更新前のデータを含むページを自コントローラ１０１が管理している場合はＳ８０５に処理を移す。データ配置管理プログラム４０３は、更新前のデータを含むページを自コントローラ１０１が管理していない場合はＳ８０６に処理を移す。

Ｓ８０５：データ配置管理プログラム４０３は、Ｓ８０３で特定したアドレスに対応する更新前のデータが無効であり、いずれのＬＵにもマッピングされていない状態となるように、逆引きテーブル５０２の対応するエントリを更新する。例えば、データ配置管理プログラム４０３は、当該エントリのＬＵアドレスに無効を示す情報をセットする。続いてＳ８０７が実施される。

Ｓ８０６：データ配置管理プログラム４０３は、更新前のデータの格納先のアドレスと、コントローラ１０１の情報とを無効領域テーブル５０４に格納する。より具体的には、データ配置管理プログラム４０３は、Ｓ８０３で特定したアドレスを、当該アドレスの記憶領域を含むページを管理するコントローラ１０１に通知する無効なデータが格納されたアドレスとして無効領域テーブル５０４に格納する。続いてＳ８０７が実施される。

Ｓ８０７：データ配置管理プログラム４０３は、逆引きテーブル５０２および使用ページテーブル５０３を参照して、自コントローラ１０１が管理するページからＳ８０１で受信したＷｒｉｔｅデータの格納先となる記憶領域のアドレスを決定してコマンド処理プログラム４０１に応答する。続いてＳ８０８が実施される。

Ｓ８０８：コマンド処理プログラム４０１は、Ｉ／Ｏ制御プログラム４０２に対して、Ｓ８０７で決定された記憶媒体１０６およびアドレスの情報を通知して、Ｗｒｉｔｅアクセスを指示する。Ｉ／Ｏ制御プログラム４０２は、通信Ｉ／Ｆ２０３を介して指示された記憶媒体１０６のアドレスに対してＷｒｉｔｅアクセスを行い、バッファ領域３０２から読み出したＷｒｉｔｅデータを格納する。続いてＳ８０９が実施される。

Ｓ８０９：データ配置管理プログラム４０３は、Ｉ／Ｏ制御プログラム４０２におけるＷｒｉｔｅアクセスが完了すると、ホスト１０５のＷｒｉｔｅ要求先のアドレスが、新しいＷｒｉｔｅデータの格納先の記憶領域に対応するように、Ｓ８０７で決定したアドレスを用いてマッピングテーブル５０１および逆引きテーブル５０２を更新する。続いてＳ８１０が実施される。

Ｓ８１０：コマンド処理プログラム４０１は、ホストＩ／Ｆ２０４を介してホスト１０５にＷｒｉｔｅ要求の完了を通知し、一連の動作を終了する。

Ｓ８０３から８０６までの一連の動作は、Ｓ８０８の後に実施されてもよい。また、Ｓ８０９の動作は、Ｓ８０８の前に実施されてもよい。

図９は、コントローラ１０１ａ（移動元コントローラ）からコントローラ１０１ｂ（移動先コントローラ）にＬＵのアクセス処理の権限を移動する一連の流れを示すフローチャートである。図９のフローチャートに基づく動作は、以下の通りである。

Ｓ９０１：コントローラ１０１ａのＬＵ移管プログラム４０８は、コントローラ１０１ｂに対してＬＵのアクセス処理の引き継ぎを依頼する。続いてＳ９０２が実施される。

Ｓ９０２：コントローラ１０１ａのＬＵ移管プログラム４０８は、アクセス処理の権限を移動するＬＵについて、マッピングテーブル５０１から当該ＬＵのアドレス空間に関するマッピング先のアドレスを読み出して、通信Ｉ／Ｆ２０３を介してコントローラ１０１ｂにコピーする。続いてＳ９０３が実施される。

Ｓ９０３：コントローラ１０１ｂのＬＵ引継プログラム４０９は、コントローラ１０１ａからＬＵのアドレス空間に関するマッピング先のアドレス情報を受信し、メタデータ領域３０３のマッピングテーブル５０１に格納する。続いてＳ９０４が実施される。

Ｓ９０４：コントローラ１０１ａのＬＵ移管プログラム４０８は、コントローラ１０１ａにおける移動対象のＬＵに関するアクセス処理を停止する。続いてＳ９０５が実施される。

Ｓ９０５：コントローラ１０１ｂのＬＵ引継プログラム４０９は、コントローラ１０１ｂにおける移動対象のＬＵに関するアクセス処理を開始する。続いてＳ９０６が実施される。

Ｓ９０６：コントローラ１０１ｂのＬＵ引継プログラム４０９は、管理ノード１０３に対してＳ９０５でアクセス処理を開始したＬＵに関するアクセス処理の割当先を、コントローラ１０１ａからコントローラ１０１ｂに変更するように要求する。続いてＳ９０７が実施される。

Ｓ９０７：管理ノード１０３のＬＵ割当プログラム６０４は、ＬＵ割当テーブル６０５を更新して移動対象のＬＵについてアクセス処理の割当先を、コントローラ１０１ａからコントローラ１０１ｂに変更する。続いてＳ９０８が実施される。

Ｓ９０８：コントローラ１０１ｂのＬＵ引継プログラム４０９は、ホスト１０５に対して移動対象のＬＵに関するアクセス処理がコントローラ１０１ｂに変更されたことを通知し、一連の動作を終了する。

Ｓ９０４からＳ９０５の一連の動作は、Ｓ９０８の後に実施されてもよい。また、管理ノード１０３がホスト１０５と直接通信可能である場合は、Ｓ９０８においてコントローラ１０１ｂのＬＵ引継プログラム４０９に代わり、管理ノード１０３のＬＵ割当プログラム６０４がホスト１０５に対して、ＬＵに関するアクセス処理がコントローラ１０１ｂに変更されたことを通知してもよい。また、Ｓ９０６において、コントローラ１０１ｂのＬＵ引継プログラム４０９の代わりに、コントローラ１０１ａのＬＵ移管プログラム４０８が、管理ノード１０３に対してアクセス処理の割当先の変更を要求してもよい。

図１０は、コントローラ１０１ａからコントローラ１０１ｂに、無効化されたデータを格納する記憶領域を通知する一連の流れを示すフローチャートである。図１０のフローチャートに基づく動作は、以下の通りである。

Ｓ１００１：コントローラ１０１ａの無効データ通知プログラム４１０は、アクセス処理とは非同期の任意の時期に無効データの通知処理を開始する。続いてＳ１００２が実施される。

Ｓ１００２：コントローラ１０１ａの無効データ通知プログラム４１０は、無効データの通知対象のコントローラ１０１（本例では、コントローラ１０１ｂ）を決定する。続いてＳ１００３が実施される。なお、通知対象のコントローラが複数ある場合、コントローラの決定方法については、任意の方法を採用できる。

Ｓ１００３：コントローラ１０１ａの無効データ通知プログラム４１０は、コントローラ１０１ａのメタデータ領域３０３に格納されている無効領域テーブル５０４を参照して、無効データの通知対象であるコントローラ１０１ｂが管理するページに含まれる、無効なデータが格納された記憶領域のアドレスを読み出す。続いてＳ１００４が実施される。

Ｓ１００４：コントローラ１０１ａの無効データ通知プログラム４１０は、Ｓ１００３で読み出したアドレスを、通信Ｉ／Ｆ２０３を介して無効データの通知対象であるコントローラ１０１ｂに通知する。続いてＳ１００５が実施される。

Ｓ１００５：コントローラ１０１ｂの領域無効化プログラム４１１は、コントローラ１０１ａから通知された、無効なデータを格納する各記憶領域のアドレスについて参照して、メタデータ領域３０３に格納された逆引きテーブル５０２について、各記憶領域のデータが無効であり、いずれのＬＵにもマッピングされていない状態となるように対応するエントリを更新し、一連の動作を終了する。

図１０に示すフローチャートでは、Ｓ１００２からＳ１００５までの一連の処理が一度実施されているが、繰り返し実施されることで複数のコントローラ１０１に対して無効化されたデータを格納する記憶領域が通知されてもよい。また、Ｓ１００５の動作は、Ｓ１００４までの一連の動作と連続して行われず、任意の時期に実施されてもよい。

図１１Ａおよび図１１Ｂは、コントローラ１０１ａ、１０１ｂにおいて記憶媒体ノード１０２に接続された記憶媒体１０６から構成されるページに関するＧＣ処理を行う一連の流れを示すフローチャートである。図１１Ａおよび図１１Ｂのフローチャートに基づく動作は、以下の通りである。

Ｓ１１０１：ＧＣ対象選択プログラム４０４は、任意の時期に、メタデータ領域３０３に格納された使用ページテーブル５０３に登録されているページから、ＧＣ処理の対象とするページを選択してＧＣプログラム４０５に処理を指示する。続いてＳ１１０２が実施される。

Ｓ１１０２：ＧＣプログラム４０５は、Ｓ１１０１で選択されたページに対応する、メタデータ領域３０３に格納された逆引きテーブル５０２における、先頭の有効なデータを以降の処理における着目の対象とする。なお、Ｓ１１０２またはＳ１１１２で着目した有効なデータを着目データと記述する。続いてＳ１１０３が実施される。

Ｓ１１０３：ＧＣプログラム４０５は、着目データについて、メタデータ領域３０３に格納された逆引きテーブル５０２の対応するエントリを参照して、着目データが対応しているＬＵを確認する。続いてＳ１１０４が実施される。

Ｓ１１０４：ＧＣプログラム４０５は、Ｓ１１０３で確認したＬＵについて、アクセス処理が自コントローラ１０１に割り当てられているか否かを判定する。ＧＣプログラム４０５は、自コントローラ１０１に割り当てられている場合はＳ１１０５に処理を移す。ＧＣプログラム４０５は、自コントローラ１０１に割り当てられていない場合はＳ１１１１に処理を移す。

Ｓ１１０５：データ配置管理プログラム４０３は、逆引きテーブル５０２および使用ページテーブル５０３を参照して、自コントローラ１０１が管理するＧＣ処理の対象外のページから、着目データの移動先のアドレスを決定する。続いてＳ１１０６が実施される。

Ｓ１１０６：ＧＣプログラム４０５は、Ｉ／Ｏ制御プログラム４０２に対して、着目データのアドレスを指定してＲｅａｄアクセスを指示する。Ｉ／Ｏ制御プログラム４０２は、指示されたアドレスで示される記憶媒体１０６の記憶領域に格納された着目データに対してＲｅａｄアクセスを行い、Ｒｅａｄ結果のデータをメモリ２０２のバッファ領域３０２に格納する。続いてＳ１１０７が実施される。

Ｓ１１０７：ＧＣプログラム４０５は、Ｉ／Ｏ制御プログラム４０２に対して、Ｓ１１０５で決定したアドレスを指定して、Ｓ１１０６でＲｅａｄアクセスを行ったデータのＷｒｉｔｅアクセスを指示する。Ｉ／Ｏ制御プログラム４０２は、通信Ｉ／Ｆ２０３を介して、指示されたアドレスで示される記憶媒体１０６の記憶領域に対してＷｒｉｔｅアクセスを行い、バッファ領域３０２から読み出したデータを格納する。続いてＳ１１０８が実施される。

Ｓ１１０８：データ配置管理プログラム４０３は、メタデータ領域３０３に格納された逆引きテーブル５０２について、着目データに対応するエントリに格納されたＬＵおよびアドレスの情報を、Ｓ１１０５でデータの移動先として決定したアドレスに対応するエントリにコピーする。続いてＳ１１０９が実施される。

Ｓ１１０９：データ配置管理プログラム４０３は、メタデータ領域３０３に格納された逆引きテーブル５０２について、着目データに対応するエントリに格納されたＬＵおよびアドレスの情報を参照する。そして、データ配置管理プログラム４０３は、メタデータ領域３０３に格納されたマッピングテーブル５０１における、当該ＬＵおよびアドレスに対応するエントリが、Ｓ１１０５で決定したアドレスを指し示すように更新する。続いてＳ１１１０が実施される。

Ｓ１１１０：データ配置管理プログラム４０３は、メタデータ領域３０３に格納された逆引きテーブル５０２について、着目データに対応するエントリが、いずれのＬＵにも含まれない無効な状態となるように更新する。続いてＳ１１１１が実施される。

Ｓ１１１１：ＧＣプログラム４０５は、着目データの次の有効なデータが同一のページ内に存在するか否かを判定する。ＧＣプログラム４０５は、同一のページ内に有効なデータが存在する場合はＳ１１１２に処理を移す。ＧＣプログラム４０５は、同一のページ内に有効なデータが存在しない場合はＳ１１１３に処理を移す。

Ｓ１１１２：ＧＣプログラム４０５は、ＧＣ処理の対象のページ内で着目するデータを次の有効なデータに変更する。続いてＳ１１０３が実施される。

Ｓ１１１３：ＧＣプログラム４０５は、ＧＣ処理の対象のページ内に有効なデータが残されているか否かを判定する。ＧＣプログラム４０５は、ＧＣ処理の対象のページ内に有効なデータが残されている場合はＳ１１１４に処理を移す。ＧＣプログラム４０５は、ＧＣ処理の対象のページ内に有効なデータが残されていない場合は一連の動作を終了する。

Ｓ１１１４：ＧＣプログラム４０５は、移管候補ページテーブル５０５にＧＣ処理の対象のページのアドレスを格納し、一連の動作を終了する。

図１２は、コントローラ１０１ａ（移管元コントローラ）において記憶媒体ノード１０２に接続された記憶媒体１０６から構成されるページに関するＧＣ処理をコントローラ１０１ｂ（移管先コントローラ）に移管する一連の流れを示すフローチャートである。図１２のフローチャートに基づく動作は、以下の通りである。

Ｓ１２０１：コントローラ１０１ａのＧＣ移管プログラム４０６は、メモリ２０２のメタデータ領域３０３に格納された移管候補ページテーブル５０５から移管の対象とするページを選択する。続いてＳ１２０２が実施される。なお、コントローラ１０１ａのＧＣ移管プログラム４０６は、ＧＣプログラム４０５のＧＣ処理とは非同期の任意の時期に処理を開始してもよい。

Ｓ１２０２：コントローラ１０１ａのＧＣ移管プログラム４０６は、Ｓ１２０１で選択したページについて、メタデータ領域３０３に格納された逆引きテーブル５０２を参照して、有効なデータが存在するか否かを判定する。当該コントローラ１０１ａのＧＣ移管プログラム４０６は、有効なデータが存在する場合はＳ１２０３に処理を移す。コントローラ１０１ａのＧＣ移管プログラム４０６は、有効なデータが存在しない場合はＳ１２１２に処理を移す。

Ｓ１２０３：コントローラ１０１ａのＧＣ移管プログラム４０６は、Ｓ１２０１で選択したページについて、メタデータ領域３０３に格納された逆引きテーブル５０２のエントリから、格納されているデータに対応するＬＵと、当該ＬＵのアドレスとを参照する。続いてＳ１２０４が実施される。

Ｓ１２０４：コントローラ１０１ａのＧＣ移管プログラム４０６は、通信Ｉ／Ｆ２０３を介して管理ノード１０３に対して、Ｓ１２０３で参照した、有効なデータに対応するＬＵのアクセス処理が割り当てられたコントローラ１０１の問い合わせを行う。続いてＳ１２０５が実施される。

Ｓ１２０５：管理ノード１０３のＬＵ割当プログラム６０４は、Ｓ１２０４でコントローラ１０１ａから問い合わせを受けたＬＵについて、ＬＵ割当テーブル６０５を参照してアクセス処理が割り当てられたコントローラ１０１を確認し、通信Ｉ／Ｆ６０３を介して応答する。続いてＳ１２０６が実施される。

Ｓ１２０６：コントローラ１０１ａのＧＣ移管プログラム４０６は、Ｓ１２０４で問い合わせた、ＬＵのアクセス処理が割り当てられたコントローラ１０１について、管理ノード１０３からの応答結果を確認し、Ｓ１２０１で選択したページのＧＣ処理に関する移管先のコントローラ１０１（本例では、コントローラ１０１ｂ）を決定する。続いてＳ１２０７が実施される。

Ｓ１２０７：コントローラ１０１ａのＧＣ移管プログラム４０６は、コントローラ１０１ｂに対して通信Ｉ／Ｆ２０３を介してページのアドレスを通知することでＧＣ処理の引き継ぎを依頼する。続いてＳ１２０８が実施される。

Ｓ１２０８： コントローラ１０１ｂのＧＣ引継プログラム４０７は、コントローラ１０１ａから通信Ｉ／Ｆ２０３を介してページのアドレスを受信して、コントローラ１０１ｂのメタデータ領域３０３に含まれる使用ページテーブル５０３に格納する。続いてＳ１２０９が実施される。

Ｓ１２０９：コントローラ１０１ａのＧＣ移管プログラム４０６は、ＧＣ処理の引き継ぎを依頼するページについて、メタデータ領域３０３に格納された逆引きテーブル５０２のエントリを読み出して、通信Ｉ／Ｆ２０３を介してコントローラ１０１ｂにコピーする。続いてＳ１２１０が実施される。

Ｓ１２１０：コントローラ１０１ｂのＧＣ引継プログラム４０７は、コントローラ１０１ａから通信Ｉ／Ｆ２０３を介して受信したコントローラ１０１ａの逆引きテーブル５０２のエントリを、コントローラ１０１ｂの逆引きテーブル５０２に格納する。続いてＳ１２１１が実施される。

Ｓ１２１１：コントローラ１０１ａのＧＣ移管プログラム４０６は、メタデータ領域３０３に格納された逆引きテーブル５０２について、ＧＣ処理の引き継ぎを依頼したページに対応するエントリを削除する。続いてＳ１２１２が実施される。

Ｓ１２１２：コントローラ１０１ａのＧＣ移管プログラム４０６は、メタデータ領域３０３に格納された移管候補ページテーブル５０５から、ＧＣ処理の引き継ぎを依頼したページのアドレスを削除し、一連の動作を終了する。

本実施の形態によれば、複数のコントローラ１０１が記憶領域を共有するストレージシステム１００において、アクセス処理および記憶領域管理を移動することでコントローラ１０１間の負荷分散を実現しつつ、コントローラ１０１間の依存関係が低減された状態を維持できる。各コントローラ１０１のアクセス処理におけるデータの格納先を分離し、記憶領域に対するＧＣ処理ではアクセス処理が割り当てられたＬＵに関連するデータの整列を各コントローラ１０１が分担することで、コントローラ１０１間の依存関係を可能な限り排除し、通信によるオーバーヘッドの影響を回避することが可能である。

（２）第２の実施の形態
本実施の形態では、アクセス処理および記憶領域管理のコントローラ１０１間の移動、分散に加えて、シンプロビジョニングによる共有の記憶領域のコントローラ１０１に対するページ単位の動的な割当および解放を行うストレージシステムの例を説明する。

なお、本実施の形態は、本発明における請求範囲を限定するものではなく、本実施の形態において説明を行う要素の全てが本発明における課題の解決に必要であるとは限らない。また、本実施の形態の説明では、第１の実施の形態における構成、動作の差分を説明し、説明を行わない構成要素と符号、動作については第１の実施の形態と同様である。

図１３は、本実施の形態におけるプログラム領域３０１の一例を示す図である。

プログラム領域３０１には、コマンド処理プログラム４０１と、Ｉ／Ｏ制御プログラム４０２と、データ配置管理プログラム４０３と、ＧＣ対象選択プログラム４０４と、ＧＣプログラム４０５と、ＧＣ移管プログラム４０６と、ＧＣ引継プログラム４０７と、ＬＵ移管プログラム４０８と、ＬＵ引継プログラム４０９と、無効データ通知プログラム４１０と、領域無効化プログラム４１１とに加えて、ページ確保プログラム１３１２と、ページ解放プログラム１３１３とが格納される。

ページ確保プログラム１３１２は、記憶媒体ノード１０２に接続された記憶媒体１０６から構成されるページのうち、いずれのコントローラ１０１にも割り当てられていない、空きページの割当を管理ノード１０３に要求して、自コントローラ１０１が管理するページ（使用ページ）として追加する。

ページ解放プログラム１３１３は、自コントローラ１０１が管理するページとして割り当てられた状態のページを解放するように、管理ノード１０３に対して通知する。

図１４は、本実施の形態における管理ノード１０３に係る構成の一例を示す図である。

管理ノード１０３は、１つ以上のプロセッサ６０１と、１つ以上のメモリ６０２と、１つ以上の通信Ｉ／Ｆ６０３を備える。

メモリ６０２は、ＬＵ割当プログラム６０４と、ＬＵ割当テーブル６０５とに加えて、ページ割当プログラム１４０６と、空きページテーブル１４０７とを格納する。

ページ割当プログラム１４０６は、ストレージシステム１００のコントローラ１０１からの要求に応じて、記憶媒体ノード１０２に接続された記憶媒体１０６から構成されるページの割当と解放とを行う。

空きページテーブル１４０７は、いずれのコントローラ１０１に対しても割り当てられていない状態の、記憶媒体ノード１０２に接続された記憶媒体１０６から構成されるページのアドレスを格納する。

図１５は、本実施の形態における、コントローラ１０１ａ、１０１ｂがページを確保する一連の流れを示すフローチャートである。図１５のフローチャートに基づく動作は、以下の通りである。

Ｓ１５０１：データ配置管理プログラム４０３は、任意の時期に逆引きテーブル５０２および使用ページテーブル５０３を参照して、コントローラ１０１が管理するページ全体（使用する記憶領域）の空き容量を確認する。続いてＳ１５０２が実施される。

Ｓ１５０２：データ配置管理プログラム４０３は、Ｓ１５０１で確認した記憶領域の空き容量が事前に決定した閾値を下回るか否かを判定する。データ配置管理プログラム４０３は、空き容量が閾値を下回る場合はＳ１５０３に処理を移す。データ配置管理プログラム４０３は、空き容量が閾値を下回らない場合は一連の動作を終了する。

Ｓ１５０３：ページ確保プログラム１３１２は、通信Ｉ／Ｆ２０３を介して管理ノード１０３に対して、コントローラ１０１に対するページの割当を要求する。続いてＳ１５０４が実施される。

Ｓ１５０４：管理ノード１０３のページ割当プログラム１４０６は、通信Ｉ／Ｆ６０３を介して、Ｓ１５０３のページの割当の要求を受信すると、空きページテーブル１４０７を参照して割り当てるページを選択する。続いてＳ１５０５が実施される。

Ｓ１５０５：管理ノード１０３のページ割当プログラム１４０６は、通信Ｉ／Ｆ６０３を介して、ページの割当の要求を行ったコントローラ１０１に対してＳ１５０４で選択したページのアドレスを通知すると共に、空きページテーブル１４０７から当該ページのアドレスを削除する。続いてＳ１５０６が実施される。

Ｓ１５０６：ページ確保プログラム１３１２は、通信Ｉ／Ｆ２０３を介して管理ノード１０３から割り当てられたアドレスを受信して、使用ページテーブル５０３に受信したアドレスを格納し、一連の動作を終了する。

Ｓ１５０４において、ページ割当プログラム１４０６は、複数のページのアドレスを選択し、コントローラ１０１に対して同時に複数のページを割り当ててもよい。また、Ｓ１５０１において、データ配置管理プログラム４０３は、逆引きテーブル５０２を参照する代わりに、別途管理を行った記憶領域の使用容量を基に空き容量を確認してもよい。

図１６は、本実施の形態における、コントローラ１０１ａ、１０１ｂがページを解放する一連の流れを示すフローチャートである。図１６のフローチャートに基づく動作は、以下の通りである。

Ｓ１６０１：データ配置管理プログラム４０３は、任意の時期に逆引きテーブル５０２および使用ページテーブル５０３を参照して、コントローラ１０１が管理するページ全体（使用する記憶領域）の空き容量を確認する。続いてＳ１６０２が実施される。

Ｓ１６０２：データ配置管理プログラム４０３は、Ｓ１６０１で確認した記憶領域の空き容量が事前に決定した閾値を上回るか否かを判定する。データ配置管理プログラム４０３は、空き容量が閾値を上回る場合はＳ１６０３に処理を移す。データ配置管理プログラム４０３は、空き容量が閾値を上回らない場合は一連の動作を終了する。

Ｓ１６０３：データ配置管理プログラム４０３は、逆引きテーブル５０２および使用ページテーブル５０３を参照してデータが格納されていないページを解放対象のページとして選択する。続いてＳ１６０４が実施される。

Ｓ１６０４：ページ解放プログラム１３１３は、通信Ｉ／Ｆ２０３を介して管理ノード１０３に対して、解放対象のページとしてＳ１６０３で選択されたページのアドレスを通知する。続いてＳ１６０５が実施される。

Ｓ１６０５：管理ノード１０３のページ割当プログラム１４０６は、通信Ｉ／Ｆ６０３を介して、解放対象のページのアドレスを受信すると、空きページテーブル１４０７に当該アドレスを格納する。続いてＳ１６０６が実施される。

Ｓ１６０６：データ配置管理プログラム４０３は、使用ページテーブル５０３からＳ１６０３で選択したページのアドレスを削除し、一連の動作を終了する。

Ｓ１６０３において、データ配置管理プログラム４０３は、複数のページのアドレスを選択し、同時に複数のページを解放してもよい。また、Ｓ１６０１において、データ配置管理プログラム４０３は、逆引きテーブル５０２を参照する代わりに、別途管理を行った記憶領域の使用容量を基に空き容量を確認してもよい。

本実施の形態によれば、複数のコントローラ１０１が記憶領域を共有するストレージシステム１００において、記憶領域に対するＧＣ処理をコントローラ１０１間で引き継いで分担するために記憶領域管理の権限を移動した場合に、各コントローラ１０１が管理する記憶領域の不足および偏りを解消可能である。また、ＧＣ処理の単位と、シンプロビジョニングによるコントローラ１０１に対する記憶領域の割当単位とを一致させることで、ＧＣ処理の引継に伴い管理権限の移動が行われた記憶領域に対しても、解放処理、および再割当を他の記憶領域と同様に行うことが可能である。

（３）第３の実施の形態
本実施の形態では、アクセス処理および記憶領域管理のコントローラ１０１間の移動、分散に加えて、各コントローラ１０１で格納データに対する重複排除を行うストレージシステム１００の例を説明する。

なお、本実施の形態は、本発明における請求範囲を限定するものではなく、本実施の形態において説明を行う要素の全てが本発明における課題の解決に必要であるとは限らない。また、本実施の形態の説明では、第１の実施の形態における構成、動作の差分を説明し、説明を行わない構成要素と符号、動作については第１の実施の形態と同様である。

図１７は、本実施の形態におけるプログラム領域３０１の一例を示す図である。

プログラム領域３０１には、コマンド処理プログラム４０１と、Ｉ／Ｏ制御プログラム４０２と、データ配置管理プログラム４０３と、ＧＣ対象選択プログラム４０４と、ＧＣプログラム４０５と、ＧＣ移管プログラム４０６と、ＧＣ引継プログラム４０７と、ＬＵ移管プログラム４０８と、ＬＵ引継プログラム４０９と、無効データ通知プログラム４１０と、領域無効化プログラム４１１とに加えて、重複判定メタデータ生成プログラム１７１２と、重複判定プログラム１７１３とが格納される。

無効データ通知プログラム４１０は、ホスト１０５からＬＵに対するＷｒｉｔｅ要求に伴い無効化された更新前のデータの格納先のアドレスと、当該アドレスに対応するＬＵおよびＬＵ内のアドレスの組み合わせの一覧とについて、各データが含まれるページを管理するコントローラ１０１に対して通知を行う。無効データ通知プログラム４１０は、他コントローラ１０１に対する無効データの通知を、アクセス処理とは非同期に行うことが可能である。また、無効データ通知プログラム４１０は、複数のデータに関する無効化の通知をまとめて一度の通知で行うことが可能である。よって、ＧＣ移管プログラム４０６の通信と同様に、通信オーバーヘッドによる影響を回避可能である。

領域無効化プログラム４１１は、他コントローラ１０１から通知された、無効化されたデータの格納先のアドレスと、ＬＵおよびＬＵ内のアドレスの組み合わせの一覧とを参照し、自コントローラ１０１が管理するページにおいて対応する記憶領域のデータを無効化する。

重複判定メタデータ生成プログラム１７１２は、記憶媒体ノード１０２に接続された記憶媒体１０６から構成される共有の記憶領域に格納されたデータとの一致を判定するために使用するメタデータを生成する。メタデータは、例えば、データのハッシュ値である。

重複判定プログラム１７１３は、重複判定メタデータ生成プログラム１７１２が生成したメタデータを用いて、記憶領域にＷｒｉｔｅ予定のデータと一致するデータを、格納データから検出する。

図１８は、本実施の形態におけるメタデータ領域３０３の一例を示す図である。

メタデータ領域３０３は、マッピングテーブル５０１と、逆引きテーブル５０２と、使用ページテーブル５０３と、無効領域テーブル５０４と、移管候補ページテーブル５０５とに加えて、重複判定メタデータテーブル１８０６を備える。

逆引きテーブル５０２は、コントローラ１０１ａ、１０１ｂに割り当てられた、記憶媒体ノード１０２に接続された記憶媒体１０６から構成される記憶領域について、記憶領域に対応付けられたＬＵおよびＬＵのアドレスを格納する。各記憶領域のデータが重複して参照される場合、複数のＬＵおよびＬＵのアドレスが対応付けられる。

無効領域テーブル５０４は、ＬＵのデータの更新に伴い他コントローラ１０１が管理するページにおいて、参照されなくなった記憶領域の情報を格納する。各情報は、記憶媒体ノード１０２に接続された記憶媒体１０６から構成される記憶領域において参照されなくなったアドレスと、ページを管理するコントローラ１０１と、当該アドレスに対応するＬＵと、ＬＵ内のアドレスとの組み合わせで構成される。

重複判定メタデータテーブル１８０６は、重複判定メタデータ生成プログラム１７１２が生成した、重複データの判定に用いるメタデータを格納する。

図１９Ａおよび図１９Ｂは、本実施の形態における、ホスト１０５からコントローラ１０１ａに対する、ＬＵのＷｒｉｔｅ要求を処理する一連の流れを示すフローチャートである。図１９Ａおよび図１９Ｂのフローチャートに基づく動作は、以下の通りである。

Ｓ１９０１：コマンド処理プログラム４０１は、ホスト１０５からホストＩ／Ｆ２０４を介してＬＵのＷｒｉｔｅ要求を受信すると、ホスト１０５からＷｒｉｔｅデータを受信し、バッファ領域３０２に格納する。続いてＳ１９０２が実施される。

Ｓ１９０２：重複判定メタデータ生成プログラム１７１２は、バッファ領域３０２からＳ１９０１で受信したＷｒｉｔｅデータを読み出して、重複判定用のメタデータを生成する。続いてＳ１９０３が実施される。

Ｓ１９０３：重複判定プログラム１７１３は、重複判定メタデータテーブル１８０６を参照して、Ｓ１９０２で生成した重複判定用のメタデータと一致するメタデータが存在するか否か（メタデータの重複を検出したか否か）を判定する。重複判定プログラム１７１３は、メタデータの重複を検出した場合はＳ１９０４に処理を移す。重複判定プログラム１７１３は、メタデータの重複を検出していない場合はＳ１９０５に処理を移す。

Ｓ１９０４：重複判定プログラム１７１３は、Ｓ１９０３で一致を検出したデータ（重複データ）について、記憶媒体ノード１０２に接続された記憶媒体１０６における格納先のアドレスを特定する。続いてＳ１９０８が実施される。

Ｓ１９０５：コマンド処理プログラム４０１は、データ配置管理プログラム４０３に対して、Ｓ１９０１で受信したＷｒｉｔｅデータの記憶媒体ノード１０２に接続された記憶媒体１０６における格納先となるアドレスを問い合わせる。続いてＳ１９０６が実施される。

Ｓ１９０６：データ配置管理プログラム４０３は、逆引きテーブル５０２および使用ページテーブル５０３を参照して、自コントローラ１０１が管理するページからＳ１９０１で受信したＷｒｉｔｅデータの格納先となる記憶領域のアドレスを決定してコマンド処理プログラム４０１に応答する。続いてＳ１９０７が実施される。

Ｓ１９０７：コマンド処理プログラム４０１は、Ｉ／Ｏ制御プログラム４０２に対して、Ｓ１９０６で決定された記憶媒体１０６およびアドレスの情報を通知して、Ｗｒｉｔｅアクセスを指示する。Ｉ／Ｏ制御プログラム４０２は、通信Ｉ／Ｆ２０３を介して指示された記憶媒体１０６のアドレスに対してＷｒｉｔｅアクセスを行い、バッファ領域３０２から読み出したＷｒｉｔｅデータを格納する。また、コマンド処理プログラム４０１は、Ｓ１９０２で生成した重複判定用のメタデータを、Ｓ１９０６で決定された記憶媒体１０６のアドレスの情報と共に重複判定メタデータテーブル１８０６に登録する。続いてＳ１９０８が実施される。

Ｓ１９０８：データ配置管理プログラム４０３は、Ｓ１９０３で一致を検出したデータ、またはＳ１９０７で格納したデータが、ホスト１０５のＷｒｉｔｅ要求先のＬＵおよびＬＵ内のアドレスに対応するように、逆引きテーブル５０２の格納データに対応するエントリに、当該ＬＵおよびＬＵ内のアドレスの情報を追加する。続いてＳ１９０９が実施される。

Ｓ１９０９：データ配置管理プログラム４０３は、マッピングテーブル５０１を参照して、ホスト１０５からＷｒｉｔｅ要求された記憶領域の更新前のデータを格納する、記憶媒体ノード１０２に接続された記憶媒体１０６における格納先のアドレスを特定する。また、データ配置管理プログラム４０３は、マッピングテーブル５０１および使用ページテーブル５０３を参照して当該アドレスの記憶領域が含まれるページを管理するコントローラ１０１が自コントローラ１０１であるかを特定する。続いてＳ１９１０が実施される。

Ｓ１９１０：データ配置管理プログラム４０３は、Ｓ１９０９で特定したアドレスの記憶領域が含まれるページを自コントローラ１０１が管理しているか否かを判定する。データ配置管理プログラム４０３は、更新前のデータを含むページを自コントローラ１０１が管理している場合はＳ１９１１に処理を移す。データ配置管理プログラム４０３は、更新前のデータを含むページを自コントローラ１０１が管理していない場合はＳ１９１４に処理を移す。

Ｓ１９１１：データ配置管理プログラム４０３は、Ｓ１９０９で特定したアドレスに対応する逆引きテーブル５０２のエントリから、ホスト１０５のＷｒｉｔｅ要求先のＬＵおよびＬＵ内のアドレスを削除することで対応付けを解除する。続いてＳ１９１２が実施される。

Ｓ１９１２：データ配置管理プログラム４０３は、Ｓ１９１１でＷｒｉｔｅ要求先のＬＵおよびＬＵ内のアドレスを削除したエントリについて、すべてのＬＵおよびＬＵ内のアドレスが削除されており、対応する記憶領域のデータが無効な状態であるか否か判定する。データ配置管理プログラム４０３は、記憶領域のデータが無効な状態である場合はＳ１９１３に処理を移す。データ配置管理プログラム４０３は、記憶領域のデータが無効な状態ではない場合はＳ１９１５に処理を移す。

Ｓ１９１３：データ配置管理プログラム４０３は、重複判定メタデータテーブル１８０６から、Ｓ１９０９で特定したアドレスに対応するエントリを削除する。続いてＳ１９１５が実施される。

Ｓ１９１４：データ配置管理プログラム４０３は、Ｓ１９０９で特定したアドレスと、アドレスに対応するページを管理するコントローラ１０１と、ホスト１０５のＷｒｉｔｅ要求先のＬＵおよびＬＵ内のアドレスの組み合わせとを無効領域テーブル５０４に格納する。続いてＳ１９１５が実施される。

Ｓ１９１５：データ配置管理プログラム４０３は、ホスト１０５のＷｒｉｔｅ要求先のＬＵおよびＬＵ内のアドレスに対応するマッピングテーブル５０１のエントリについて、Ｓ１９０４で特定されたアドレス、またはＳ１９０６で決定したアドレスで更新する。続いてＳ１９１６実施される。

Ｓ１９１６：コマンド処理プログラム４０１は、ホストＩ／Ｆ２０４を介してホスト１０５にＷｒｉｔｅ要求の完了を通知し、一連の動作を終了する。

Ｓ１９０３における重複データの判定については、メタデータではなく直接データ同士が一致するかの比較が行われてもよい。

図２０Ａ、図２０Ｂおよび図２０Ｃは、本実施の形態における、コントローラ１０１ａ、１０１ｂにおいて記憶媒体ノード１０２に接続された記憶媒体１０６から構成されるページに関するＧＣ処理を行う一連の流れを示すフローチャートである。図２０Ａ、図２０Ｂおよび図２０Ｃのフローチャートに基づく動作は、以下の通りである。

Ｓ２００１：ＧＣ対象選択プログラム４０４は、任意の時期に、メタデータ領域３０３に格納された使用ページテーブル５０３に登録されているページから、ＧＣ処理の対象とするページを選択してＧＣプログラム４０５に処理を指示する。続いてＳ２００２が実施される。

Ｓ２００２：ＧＣプログラム４０５は、Ｓ２００１で選択されたページに対応する、メタデータ領域３０３に格納された逆引きテーブル５０２における、１個以上のＬＵのアドレスに対応付けられた有効なデータのうち、先頭のデータを以降の処理における着目の対象とする。なお、Ｓ２００２またはＳ２０１７で着目した有効なデータを着目データと記述する。続いてＳ２００３が実施される。

Ｓ２００３：ＧＣプログラム４０５は、着目データについて、メタデータ領域３０３に格納された逆引きテーブル５０２の対応するエントリを参照して、着目データに対応する各ＬＵを確認する。続いてＳ２００４が実施される。

Ｓ２００４：ＧＣプログラム４０５は、Ｓ２００３で確認した各ＬＵについて、アクセス処理が自コントローラ１０１に割り当てられているものが含まれているか否かを判定する。ＧＣプログラム４０５は、自コントローラ１０１に割り当てられているＬＵが含まれている場合はＳ２００５に処理を移す。ＧＣプログラム４０５は、自コントローラ１０１に割り当てられているＬＵが含まれていない場合はＳ２０１６に処理を移す。

Ｓ２００５：ＧＣプログラム４０５は、Ｉ／Ｏ制御プログラム４０２に対して、着目データのアドレスを指定してＲｅａｄアクセスを指示する。Ｉ／Ｏ制御プログラム４０２は、指示されたアドレスで示される記憶媒体１０６の記憶領域に格納された、着目データに対してＲｅａｄアクセスを行い、Ｒｅａｄ結果のデータをメモリ２０２のバッファ領域３０２に格納する。続いてＳ２００６が実施される。

Ｓ２００６：重複判定メタデータ生成プログラム１７１２は、バッファ領域３０２からＲｅａｄ結果のデータを読み出して、重複判定用のメタデータを生成する。続いてＳ２００７が実施される。

Ｓ２００７：重複判定プログラム１７１３は、重複判定メタデータテーブル１８０６およびＳ２００６で生成した重複判定用のメタデータを用いて、Ｓ２００５で読み出したデータと一致するデータが他に存在するか否か（メタデータの重複を検出したか否か）を判定する。重複判定プログラム１７１３は、メタデータの重複を検出した場合はＳ２００８に処理を移す。重複判定プログラム１７１３は、メタデータの重複を検出していない場合はＳ２００９に処理を移す。

Ｓ２００８：重複判定プログラム１７１３は、Ｓ２００７で一致を検出したデータについて、記憶媒体ノード１０２に接続された記憶媒体１０６における格納先のアドレスを特定する。続いてＳ２０１２が実施される。

Ｓ２００９：データ配置管理プログラム４０３は、逆引きテーブル５０２および使用ページテーブル５０３を参照して、自コントローラ１０１が管理するＧＣ処理の対象外のページから、着目データの移動先となる記憶媒体ノード１０２に接続された記憶媒体１０６から構成される記憶領域上のアドレスを決定する。続いてＳ２０１０が実施される。

Ｓ２０１０：ＧＣプログラム４０５は、Ｉ／Ｏ制御プログラム４０２に対して、Ｓ２００９で決定されたアドレスを指定して、Ｓ２００５でＲｅａｄを行ったデータのＷｒｉｔｅアクセスを指示する。Ｉ／Ｏ制御プログラム４０２は、通信Ｉ／Ｆ２０３を介して、指示されたアドレスで示される記憶媒体１０６の記憶領域に対してＷｒｉｔｅアクセスを行い、バッファ領域３０２から読み出したデータを格納する。続いてＳ２０１１が実施される。

Ｓ２０１１：データ配置管理プログラム４０３は、メタデータ領域３０３に格納された逆引きテーブル５０２について、着目データに対応するエントリに格納されたＬＵおよびＬＵ内のアドレス情報から、アクセス処理が自コントローラ１０１に割り当てられたＬＵに対応する情報のみを選択する。データ配置管理プログラム４０３は、選択した情報を、Ｓ２００９でデータの移動先として決定したアドレスに対応する逆引きテーブル５０２のエントリに追加する。続いてＳ２０１２が実施される。

Ｓ２０１２：データ配置管理プログラム４０３は、メタデータ領域３０３に格納されたマッピングテーブル５０１において、Ｓ２０１１で選択的にコピーを行ったＬＵおよびＬＵ内のアドレスに対応する各エントリについて、Ｓ２００８で一致するデータの格納先として特定されたアドレス、またはＳ２００９でデータの移動先として決定したアドレスを指し示すように更新する。続いてＳ２０１３が実施される。

Ｓ２０１３：データ配置管理プログラム４０３は、メタデータ領域３０３に格納された逆引きテーブル５０２について、着目データに対応するエントリから、Ｓ２０１１で選択的にコピーを行ったＬＵおよびＬＵ内のアドレスを削除する。続いてＳ２０１４が実施される。

Ｓ２０１４：データ配置管理プログラム４０３は、Ｓ２０１３でＬＵおよびＬＵ内のアドレスを削除したエントリについて、すべてのＬＵおよびＬＵ内のアドレスが削除されており、対応する記憶領域のデータが無効な状態であるか否か判定する。データ配置管理プログラム４０３は、記憶領域のデータが無効な状態である場合はＳ２０１５に処理を移す。データ配置管理プログラム４０３は、記憶領域のデータが無効な状態ではない場合はＳ２０１６に処理を移す。

Ｓ２０１５：データ配置管理プログラム４０３は、Ｓ２０１３でＬＵおよびＬＵ内のアドレスを削除したエントリに対応する記憶領域のアドレスについて、重複判定メタデータテーブル１８０６から記憶領域のアドレスに対応するエントリを削除する。続いてＳ２０１６が実施される。

Ｓ２０１６：ＧＣプログラム４０５は、着目データの次の有効なデータが同一のページ内に存在するか否かを判定する。ＧＣプログラム４０５は、同一のページ内に有効なデータが存在する場合はＳ２０１７に処理を移す。ＧＣプログラム４０５は、同一のページ内に有効なデータが存在しない場合はＳ２０１８に処理を移す。

Ｓ２０１７：ＧＣプログラム４０５は、ＧＣ処理の対象のページ内で着目するデータを次の有効なデータに変更する。続いてＳ２００３が実施される。

Ｓ２０１８：ＧＣプログラム４０５は、ＧＣ処理の対象のページ内に有効なデータが残されているか否かを判定する。ＧＣプログラム４０５は、ＧＣ処理の対象のページ内に有効なデータが残されている場合はＳ２０１９に処理を移す。ＧＣプログラム４０５は、ＧＣ処理の対象のページ内に有効なデータが残されていない場合は一連の動作を終了する。

Ｓ２０１９：ＧＣプログラム４０５は、移管候補ページテーブル５０５にＧＣ処理の対象のページのアドレスを格納し、一連の動作を終了する。

また、本実施の形態において、図１０で示されるフローチャートは、Ｓ１００３、Ｓ１００４、Ｓ１００５が以下の動作となる。

Ｓ１００３：コントローラ１０１ａの無効データ通知プログラム４１０は、コントローラ１０１ａのメタデータ領域３０３に格納されている無効領域テーブル５０４（図１８）を参照して、無効データの通知対象であるコントローラ１０１ｂが管理するページに含まれる、無効なデータが格納された記憶領域の記憶媒体ノード１０２に接続された記憶媒体１０６におけるアドレスと、対応付けが解除されたＬＵおよびＬＵ内のアドレスの情報とを読み出す。続いてＳ１００４が実施される。

Ｓ１００４：コントローラ１０１ａの無効データ通知プログラム４１０は、Ｓ１００３で読み出したアドレスと、対応付けが解除されたＬＵおよびＬＵ内のアドレスの情報とを、通信Ｉ／Ｆ２０３を介して無効データの通知対象であるコントローラ１０１ｂに通知する。続いてＳ１００５が実施される。

Ｓ１００５：コントローラ１０１ｂの領域無効化プログラム４１１は、コントローラ１０１ａから通知された、記憶媒体ノード１０２に接続された記憶媒体１０６におけるアドレスに対応する逆引きテーブル５０２のエントリについて、同時に通知されたＬＵおよびＬＵ内のアドレスを削除する。また、コントローラ１０１ｂの領域無効化プログラム４１１は、ＬＵおよびＬＵ内のアドレスを削除したエントリについて、すべてのＬＵおよびＬＵ内のアドレスが削除されており、対応する記憶領域のデータが無効な状態である場合に、エントリに対応する記憶領域のアドレスについて、重複判定メタデータテーブル１８０６から記憶領域のアドレスに対応するエントリを削除し、一連の動作を終了する。

本実施の形態によれば、複数のコントローラ１０１が記憶領域を共有するストレージシステム１００において、各コントローラ１０１で重複排除機能を実現しつつ、アクセス処理および記憶領域管理を移動することでコントローラ１０１間の負荷分散を実現し、かつ、コントローラ１０１間の依存関係が低減された状態を維持できる。

なお、本発明は以上の実施の形態に限定されず、様々な派生形が含まれる。例えば、第１、第２、第３の実施の形態では、コントローラ１０１ａ、１０１ｂの各機能がプロセッサ２０１で動作するソフトウェア、管理ノード１０３の各機能がプロセッサ６０１で動作するソフトウェアとされているが、機能の一部または全てはハードウェアによる実装であってもよい。また、第１、第２、第３の実施の形態において、コントローラ１０１ａ、１０１ｂ、記憶媒体ノード１０２、管理ノード１０３は、ネットワーク１０４で接続されているが、これらは同一筐体、同一ハードウェア内のバス、バックプレーン等による接続であってもよい。

加えて、第１、第２、第３の実施の形態において、コントローラ１０１ａ、１０１ｂのマッピングテーブル５０１は、メモリ２０２のバッファ領域３０２に格納されているが、一部または全てが記憶媒体ノード１０２に接続された記憶媒体１０６から構成される記憶領域に格納されていてもよい。このとき、アクセス処理の権限の移動において、マッピングテーブル５０１の情報に代わり、当該記憶領域の格納先のアドレスをコントローラ１０１間でコピーしてもよい。同様に、第１、第２、第３の実施の形態において、コントローラ１０１ａ、１０１ｂの逆引きテーブル５０２は、一部または全てが記憶媒体ノード１０２に接続された記憶媒体１０６から構成される記憶領域に格納されていてもよい。このとき、コントローラ１０１間のＧＣ処理の移管において、逆引きテーブル５０２の情報に代わり、当該記憶領域の格納先のアドレスをコントローラ１０１間でコピーしてもよい。

（４）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。

上述の実施の形態においては、本発明をストレージシステムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

また、上述の実施の形態において、説明の便宜上、ＸＸテーブルを用いて各種のデータを説明したが、データ構造は限定されるものではなく、ＸＸ情報等と表現してもよい。

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

上述した実施の形態は、例えば、以下の特徴的な構成を備える。

１以上の記憶媒体（例えば、記憶媒体１０６）と、ホスト（例えば、ホスト１０５）に対してストレージ機能を提供する複数のコントローラ（例えば、コントローラ１０１）とを備え、上記複数のコントローラが上記記憶媒体の記憶領域（例えば、仮想的な記憶領域、物理的な記憶領域）を共有するストレージシステム（例えば、ストレージシステム１００）は、各コントローラには、データの書き込みとデータの整列とを行う上記記憶領域（例えば、ページ）が割り当てられ（例えば、使用ページテーブル５０３参照）、各コントローラは、コントローラに割り当てられている論理領域（例えば、ＬＵ）のデータに対するアクセス処理の権限をコントローラ間で移動し（例えば、図９参照）、第１のコントローラ（例えば、コントローラ１０１ａ）から第２のコントローラ（例えば、コントローラ１０１ｂ）へ上記アクセス処理の権限を移動させることによって、複数のコントローラの論理領域にかかるデータが存在することとなった第１の記憶領域について、上記第１のコントローラおよび上記第２のコントローラは、Ｗｒｉｔｅ要求にかかる更新後データを自コントローラに割り当てられている記憶領域に書き込む（例えば、図８参照）とともに、上記第１の記憶領域の更新前データを削除し、データを整列する整列処理（例えば、ＧＣ処理）にて、上記第１の記憶領域の自コントローラがアクセス処理の権限を有するデータを、自コントローラに割り当てられている他の記憶領域に移動することを、上記第１の記憶領域の割当を引き継ぎながら行う（例えば、図１２参照）。

上記構成では、第１の記憶領域の自コントローラがアクセス処理の権限を有するデータを、自コントローラに割り当てられている他の記憶領域に移動することを、第１の記憶領域の割当を引き継ぎながら行われる。よって、コントローラ間のアクセス処理の権限の移動において、各アクセス処理の対象のデータが記憶領域内に混在する場合であってもコントローラ間の処理の依存関係の低減を実現することができる。その結果、ストレージシステムにおけるコントローラの増設による性能の向上、コントローラ資源の利用効率の向上等を図ることができる。

上記第１のコントローラおよび上記第２のコントローラは、上記記憶領域に有効なデータがなくなった場合に、上記記憶領域の割当を解放する（例えば、図１５参照）。

上記整列処理では、上記第１の記憶領域が割り当てられている第１のコントローラが自コントローラがアクセス処理の権限を有するデータを自コントローラに割り当てられている記憶領域に移動した後に、上記第１の記憶領域の割当を上記第２のコントローラに引き継ぎ、上記第２のコントローラが自コントローラがアクセス処理の権限を有するデータを自コントローラに割り当てられている記憶領域に移動させる（例えば、図１２参照）。

上記第１のコントローラおよび第２のコントローラはそれぞれ、記憶領域が割り当てられていない記憶領域のデータをリード可能であり、上記第２のコントローラは、割当を引き継ぐ前に上記第１の記憶領域の自コントローラがアクセス処理の権限を有するデータのＲｅａｄ要求を受けた場合、当該データを上記第１の記憶領域から読み出して送信する（例えば、図７参照）。

上記整列処理は、アクセス処理の権限をコントローラ間で移動する前は、同じ上記記憶領域内でデータを整列することを所定のタイミングで行うものであり、アクセス処理の権限をコントローラ間で移動した後は、他の上記記憶領域へデータを整列する。

各コントローラに割り当てられる記憶領域のサイズは、所定のサイズであり、各コントローラは、データの記憶に伴う容量の増減に応じて、自コントローラがデータの書き込みとデータの整列とを行う領域の割当および解放を上記所定のサイズで行う（例えば、図１５および図１６参照）。

上記構成では、データの記憶に伴う容量の増減に応じて記憶領域の割当および解放が行われるので、各コントローラに割り当てられている記憶領域の不足および偏りを解消可能である。また、整列処理が行われる記憶領域の単位と、割当および解放が行われる記憶領域の単位とが一致しているので、整列処理の引継に伴い権限の移動が行われた記憶領域に対しても、解放および再割当を他の記憶領域と同様に行うことが可能となる。

各コントローラは、上記整列処理において、上記記憶領域から移動を行う移動対象のデータに対して、他のデータとの重複を確認し、重複するデータが存在して無効である場合、上記移動対象のデータの移動を行わずに上記記憶領域から上記移動対象のデータを消去する（例えば、図２０Ａ、図２０Ｂおよび図２０Ｃ参照）。

上記構成では、各コントローラでデータの重複排除が行われると共に、コントローラ間の負荷分散が実現され、かつ、コントローラ間の処理の依存関係が低減された状態が維持される。

上記第１の記憶領域についての書き込みおよび整列の権限が上記第１のコントローラに割り当てられている場合、上記第２のコントローラは、Ｗｒｉｔｅ要求では、上記第１の記憶領域の更新前データを無効化するための無効情報を記憶し、上記Ｗｒｉｔｅ要求と非同期に、上記無効情報を上記第１のコントローラに通知する（例えば、Ｓ１００１参照）。

上記構成では、アクセス処理とは非同期に無効情報が第２のコントローラに通知されるので、例えば、通信のオーバーヘッドによる影響を回避可能となる。

各コントローラは、上記整列処理では、上記データの移動と非同期に上記引き継ぎを行う（例えば、図１２参照）。

上記構成では、整列処理の移動と引継ぎとが非同期に行われるので、例えば、通信のオーバーヘッドによる影響を回避可能となる。

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。

１００……ストレージシステム、１０１……コントローラ。

Claims (2)

1. 複数のコントローラと、所定サイズの複数の記憶領域とを備え、
   ホストに対して論理領域を提供し、
   それぞれの記憶領域に複数の論理領域のデータが混在可能であり、
   それぞれの記憶領域が複数のコントローラのいずれかに割り当て可能であり、
   それぞれの論理領域へのアクセス処理の権限が複数のコントローラのいずれかに割り当てられる、ストレージシステムにおいて、
   アクセス処理の権限が自コントローラに割り当てられている論理領域へのＷｒｉｔｅ要求を受信したコントローラが、
   Ｗｒｉｔｅ要求に係る更新前データを格納する記憶領域が自コントローラに割り当てられているか否かを判定し、
   更新前データを格納する記憶領域が自コントローラに割り当てられている場合に、Ｗｒｉｔｅ要求に係る更新後データを自コントローラに割り当てられているいずれかの記憶領域に書き込むとともに、更新前データを無効にし、
   更新前データを格納する記憶領域が自コントローラに割り当てられていない場合に、Ｗｒｉｔｅ要求に係る更新後データを自コントローラに割り当てられているいずれかの記憶領域に書き込むとともに、更新前データのアドレスを、更新前データを格納する記憶領域が割り当てられているコントローラに通知して更新前データを無効にさせ、
   自コントローラに割り当てられている記憶領域のＧＣ処理を行うコントローラが、
   ＧＣ処理の対象の記憶領域の有効なデータのうち、自コントローラにアクセス処理の権限が割り当てられている論理領域のデータのすべてを自コントローラに割り当てられている他の記憶領域に移動させ、その後、当該記憶領域の割当てを、当該記憶領域の有効なデータに対応する論理領域へのアクセス処理の権限が割り当てられているコントローラに移管する、
   ストレージシステム。
2. 複数のコントローラと、所定サイズの複数の記憶領域とを備え、
   ホストに対して論理領域を提供し、
   それぞれの記憶領域に複数の論理領域のデータが混在可能であり、
   それぞれの記憶領域が複数のコントローラのいずれかに割り当て可能であり、
   それぞれの論理領域へのアクセス処理の権限が複数のコントローラのいずれかに割り当てられる、ストレージシステムが行うデータ管理方法において、
   アクセス処理の権限が自コントローラに割り当てられている論理領域へのＷｒｉｔｅ要求を受信したコントローラが、
   Ｗｒｉｔｅ要求に係る更新前データを格納する記憶領域が自コントローラに割り当てられているか否かを判定し、
   更新前データを格納する記憶領域が自コントローラに割り当てられている場合に、Ｗｒｉｔｅ要求に係る更新後データを自コントローラに割り当てられているいずれかの記憶領域に書き込むとともに、更新前データを無効にし、
   更新前データを格納する記憶領域が自コントローラに割り当てられていない場合に、Ｗｒｉｔｅ要求に係る更新後データを自コントローラに割り当てられているいずれかの記憶領域に書き込むとともに、更新前データのアドレスを、更新前データを格納する記憶領域が割り当てられているコントローラに通知して更新前データを無効にさせ、
   自コントローラに割り当てられている記憶領域のＧＣ処理を行うコントローラが、
   ＧＣ処理の対象の記憶領域の有効なデータのうち、自コントローラにアクセス処理の権限が割り当てられている論理領域のデータのすべてを自コントローラに割り当てられている他の記憶領域に移動させ、その後、当該記憶領域の割当てを、当該記憶領域の有効なデータに対応する論理領域へのアクセス処理の権限が割り当てられているコントローラに移管する、
   データ管理方法。

Images