WO2018055751A1

WO2018055751A1 - 計算機システム及び記憶制御方法

Info

Publication number: WO2018055751A1
Application number: PCT/JP2016/078196
Authority: WO
Inventors: 直之増田; 孝坂口; 松田　健; 蘭緒方; 孝宏鬼頭
Original assignee: 株式会社日立製作所
Priority date: 2016-09-26
Filing date: 2016-09-26
Publication date: 2018-03-29

Abstract

計算機システムが、ＰＶＯＬと、１以上のＳＶＯＬと、スナップショットプールとを管理する。１以上のＳＶＯＬの各々は、ＰＶＯＬとペアを構成しＰＶＯＬのスナップショットでありＰＶＯＬのクローンとしてユーザシステムに提供され得る論理ボリュームである。スナップヨットプールは、１以上のＳＶＯＬから共有される記憶領域である。ＰＶＯＬから１以上のＳＶＯＬへのフルコピー中にＰＶＯＬ内の未コピー領域について更新ライトのためのライト要求を受信した場合、計算機システムは、未コピー領域内の更新前データをスナップショットプールにコピーして、ライト応答を返す。計算機システムは、ライト要求の処理と非同期に、更新前データをスナップショットプールから１以上のＳＶＯＬにコピーすることである非同期コピーを実施する。

Description

計算機システム及び記憶制御方法

　本発明は、概して、計算機システムでの記憶制御に関する。

　計算機システムの一例として、ストレージシステムがある。例えば、特許文献１は、カスケード型スナップショットと、データ更新を非同期に実施することを開示する。

US 8,719,523

　以下、論理ボリュームを「ＶＯＬ」と表記する。また、プライマリの論理ボリュームを「ＰＶＯＬ」と表記し、セカンダリの論理ボリュームを「ＳＶＯＬ」と表記する。

　一般に、ＰＶＯＬからＳＶＯＬへデータのフルコピーが行われる。フルコピーでは、ＰＶＯＬの先頭アドレスから末尾アドレスにかけて、順次、データが、ＰＶＯＬからＳＶＯＬへコピーされる。

　フルコピーの実施中でも、ストレージシステムは、ライト要求を受け付ける。フルコピーの実施中、ＰＶＯＬにおける未コピー領域（未だＳＶＯＬへコピーされていないデータが格納されている領域）に対するライト要求をストレージシステムが受信した場合、ストレージシステムは、未コピー領域内のデータをＳＶＯＬにコピーし、その後で、ライト要求に対する応答を返す。未コピー領域内のデータ（更新前データ）が、受信したライト要求に従うデータによって更新される前に、その更新前データをＳＶＯＬにコピーするためである。

　従って、１つのＰＶＯＬに複数のＳＶＯＬが関連付けられ（複数のＳＶＯＬのペア相手が同一のＰＶＯＬであり）、且つ、１つのＰＶＯＬから複数のＳＶＯＬへそれぞれフルコピーを実施中にＰＶＯＬにおける未コピー領域に対するライト要求をストレージシステムが受信した場合、ストレージシステムは、未コピー領域内の更新前データを、複数のＳＶＯＬの各々にコピーした後でないと、ライト要求に対する応答を返すことができない。このため、１つのＰＶＯＬに１以上のＳＶＯＬを関連付けることができるストレージシステムでは、フルコピー実施中、ＰＶＯＬライト応答性能（ＰＶＯＬに対するライト要求の応答性能）の低下が生じ得る。

　また、上述したように、フルコピーの実施中に更新前データをＳＶＯＬにコピーする必要があるため、ＳＶＯＬをＰＶＯＬの単なるバックアップとして保持しておくのではなく、ＳＶＯＬをＰＶＯＬのクローンとしてユーザシステム（例えば、ホスト又はクライアント）に対して提供する場合、ＳＶＯＬを提供可能になるまで長い時間がかかる。

　同様の課題は、１つのＰＶＯＬに１以上のＳＶＯＬを関連付けることができる計算機システム全般についてあり得る。

　ＰＶＯＬから１以上のＳＶＯＬの各々へフルコピーを実施中におけるＰＶＯＬライト応答性能は、１つのＰＶＯＬに関連付けられるＳＶＯＬの数に依存しない。

実施形態の概要を示す。ストレージ装置の構成を示す。ストレージ装置が管理する記憶領域を示す。ペア管理テーブルの構成を示す。スナップショット管理テーブルの構成を示す。フルコピーの進捗が進んでいることを示す模式図である。フルコピーの実施中に未コピー領域に対する更新ライトが発生したことを示す模式図である。更新前データのスナップショットプールへの同期コピーが完了してライト応答が返ることを示す模式図である。フルコピーの進捗に応じてスナップショットプールからＳＶＯＬへ更新前データが非同期コピーされることを示す模式図である。フルコピーの完了を示す模式図である。コントローラがホスト計算機からＩ／Ｏ要求を受信した場合に行われる処理のフローチャートである。ＰＶＯＬの未コピー領域を指定したライト要求をフルコピーの実施中にコントローラがホスト計算機から受信した場合に行われる処理のラダーチャートである。多段カスケード構成の複数のスナップショットＶＯＬの一例を示す。

　以下、図面を参照して、一実施形態を説明する。

　以下の説明では、「インターフェース部」は、１以上のインターフェースである。１以上のインターフェースは、１以上の同種のインターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。また、以下の説明では、インターフェースデバイスを「Ｉ／Ｆ」と略記することがある。

　また、以下の説明では、「メモリ部」は、１以上のメモリである。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。

　また、以下の説明では、「プロセッサ部」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。

　また、以下の説明では、「ＰＤＥＶ」は、物理的な記憶デバイスを意味し、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよい。ＰＤＥＶは、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive)でよい。ストレージシステムに異なる種類のＰＤＥＶが混在していてもよい。

　また、以下の説明では、「ＲＡＩＤ」は、Redundant Array of Independent (or Inexpensive) Disksの略である。ＲＡＩＤグループは、複数のＰＤＥＶ（典型的には同種のＰＤＥＶ）、又は、複数のＰＤＥＶに基づく複数の記憶領域で構成され、そのＲＡＩＤグループに関連付けられたＲＡＩＤレベルに従いデータを記憶する。ＲＡＩＤグループは、パリティグループと呼ばれてもよい。パリティグループは、例えば、パリティを格納するＲＡＩＤグループのことでよい。

　また、以下の説明では、「ＶＯＬ」は、論理ボリュームの略であり、論理的な記憶デバイスでよい。ＶＯＬは、実体的なＶＯＬ（ＲＶＯＬ）であってもよいし、仮想的なＶＯＬ（ＶＶＯＬ）であってもよい。「ＲＶＯＬ」は、そのＲＶＯＬを提供するストレージシステムが有する物理的な記憶資源（例えば、１以上のＲＡＩＤグループ）に基づくＶＯＬでよい。「ＶＶＯＬ」は、外部接続ＶＯＬ（ＥＶＯＬ）と、容量拡張ＶＯＬ（ＴＰＶＯＬ）と、スナップショットＶＯＬとのうちのいずれでもよい。ＥＶＯＬは、外部のストレージシステムの記憶空間（例えばＶＯＬ）に基づいておりストレージ仮想化技術に従うＶＯＬでよい。ＴＰＶＯＬは、複数の仮想領域（仮想的な記憶領域）で構成されており容量仮想化技術（典型的にはThin Provisioning）に従うＶＯＬでよい。スナップショットＶＯＬは、オリジナルのＶＯＬのスナップショットとして提供されるＶＯＬでよい。スナップショットＶＯＬは、ＲＶＯＬであってもよい。「プール」は、論理的な記憶領域（例えば複数のプールＶＯＬの集合）であり、用途ごとに用意されてよい。例えば、以下の実施形態では、プールとして、ＴＰプールと、スナップショットプールとのうち、少なくともスナップショットプールがある。ＴＰプールは、複数の実領域（実体的な記憶領域）で構成された記憶領域でよい。ストレージシステムが、受信したライト要求が指定するアドレスが属する仮想領域（ＴＰＶＯＬの仮想領域）に実領域が割り当てられていない場合、その仮想領域（ライト先仮想領域）にＴＰプールから実領域を割り当てる（ライト先仮想領域に他の実領域が割り当て済であっても実領域が新たにライト先仮想領域に割り当てられてもよい）。ストレージシステムは、割り当てられた実領域に、そのライト要求に付随するライト対象データを書き込んでよい。スナップショットプールは、オリジナルのＶＯＬから退避されたデータが格納される記憶領域でよい。「プールＶＯＬ」は、プールの構成要素となるＶＯＬでよい。プールＶＯＬは、ＲＶＯＬであってもよいしＥＶＯＬであってもよい。

　また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及びインターフェース部のうちの少なくとも１つを用いながら行うため、処理の主語が、プロセッサ部（或いは、プロセッサ部を有する計算機又は計算機システム）とされてもよい。プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

　また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

　また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号（又は参照符号における共通部分）を使用し、同種の要素を区別して説明する場合は、要素のＩＤ（又は要素の参照符号）を使用することがある。例えば、ＶＯＬを特に区別しないで説明する場合には、「ＶＯＬ５２」と記載し、個々のＶＯＬを区別して説明する場合には、「ＰＶＯＬ５２Ｐ」、「ＳＶＯＬ５２Ｓ１」のように記載することがある。

　また、以下の説明では、「計算機システム」は、サーバシステムとストレージシステムのうちの少なくとも１つでよい。「サーバシステム」は、１以上の物理的なサーバ（例えばサーバのクラスタ）であってもよいし、少なくとも１つの仮想的なサーバ（例えばＶＭ（Virtual Machine））を含んでもよい。また、「ストレージシステム」は、１以上の物理的なストレージ装置であってもよいし、少なくとも１つの仮想的なストレージ装置（例えばＳＤＳ（Software Defined Storage））を含んでもよい。

　図１は、実施形態の概要を示す。

　計算機システムの一例として、ストレージ装置（図示せず）が採用されている。ストレージ装置が、１つのＰＶＯＬ５２Ｐに１つ以上のＳＶＯＬ５２Ｓを関連付けることができる。図示の例では、１つのＰＶＯＬ５２Ｐに複数（例えば３つ）のＳＶＯＬ５２Ｓ１～５２Ｓ３が関連付けられている。

　ＰＶＯＬ５２Ｐは、本実施形態では、ＴＰＶＯＬであるが、ＲＶＯＬであってもＥＶＯＬであってもよい。また、本実施形態では、ＰＶＯＬ５２Ｐは、スナップショットＶＯＬであることと、別のＶＯＬペアのＳＶＯＬ５２Ｓであることとのうちの少なくとも１つでもあり得る。つまり、複数のＶＯＬ５２がカスケード状に関連付けられていることもあり得る。

　各ＳＶＯＬ５２Ｓは、本実施形態では、ＴＰＶＯＬであり、且つ、ＰＶＯＬ５２Ｐのスナップショット（スナップショットイメージ）としてのスナップショットＶＯＬである。以下、説明を分かり易くするため、複数のＳＶＯＬ５２Ｓは、同一世代のスナップショットＶＯＬであるとする。

　各ＳＶＯＬ５２Ｓは、ＰＶＯＬ５２ＰのクローンとしてのＳＶＯＬである。「ＰＶＯＬ５２ＰのクローンとしてのＳＶＯＬ」とは、ユーザマシステムに提供され得るＶＯＬである。そのＶＯＬは、将来ＰＶＯＬ５２Ｐになってもよい。ここで言う「ユーザシステム」とは、ＶＭ又は物理計算機のようなホストシステムでもよいし、ホストシステムをサーバとして使用するクライアントシステムでもよい。

　ＰＶＯＬ５２ＰのクローンとしてのＳＶＯＬとして、上述のスナップショットＶＯＬが採用される。そして、スナップショットプール２２０Ｓが設けられる。スナップショットプール２２０Ｓは、複数のＳＶＯＬ５２Ｓ（スナップショットＶＯＬ）に共有されるプールである。

　以下、ＶＯＬにおける一部領域を「ＶＯＬスロット」と言うことができる。このため、ＰＶＯＬ５２Ｐにおける一部領域を「ＰＶＯＬスロット」と言い、ＳＶＯＬ５２Ｓにおける一部領域を「ＳＶＯＬスロット」と言うことができる。また、スナップショットプール２２０Ｓにおける一部領域を「スナップショットプールスロット」と言うことができる。

　ＰＶＯＬ５２Ｐから複数のＳＶＯＬ５２Ｓへそれぞれフルコピーを実施中にＰＶＯＬ５２Ｐにおける未コピー領域に対する更新ライトのためのライト要求を受信した場合（Ｓ１０１）、ストレージ装置内のＣＰＵ（図示せず）は、未コピー領域内の更新前データをスナップショットプール２２０Ｓにコピーする（つまり１回の同期コピーを実施する）（Ｓ１０２）。結果として、ＣＰＵは、複数のＳＶＯＬ５２Ｓの各々について、対象ＳＶＯＬスロットの参照先を、スナップショットプール２２０Ｓ内の更新前データ格納領域（更新前データを格納しているスナップショットプールスロット）とする。「対象ＳＶＯＬスロット」は、未コピー領域のコピー先としてのＳＶＯＬスロット、具体的には、例えば、ＰＶＯＬ５２Ｐの未コピー領域アドレスに相当したアドレス（ＳＶＯＬ５２Ｓについてのアドレス）が指すＳＶＯＬスロットである。なお、「フルコピー」とは、ＰＶＯＬ５２Ｐの先頭アドレスから末尾アドレスにかけて、順次、データを、ＰＶＯＬ５２Ｐからそれのペア相手のＳＶＯＬ５２Ｓへコピーすることである。

　上記の同期コピー後、ストレージ装置内のＣＰＵは、更新後データ（受信したライト要求に従うデータ）を未コピー領域に格納し（例えば、ストレージ装置内のキャッシュ領域に更新後データを格納し）、その後、ライト要求の応答であるライト応答を返却する（Ｓ１０３）。

　ライト要求の処理とは非同期に（例えばライト応答の返却後）、ストレージ装置内のＣＰＵは、スナップショットプール２２０Ｓから各ＳＶＯＬ５２Ｓに対して更新前データのコピー（非同期コピー）を実施する（Ｓ１１１）。具体的には、例えば、ＣＰＵは、未コピー領域から各ＳＶＯＬ５２Ｓへのコピーが完了したとみなす。つまり、未コピー領域について、更新前データはスナップショットプール２２０Ｓに格納されたままとされ、更新前データのＳＶＯＬ５２Ｓへのコピーは、行われない。なお、このようにコピーがされたとみなす処理に代えて、スナップショットプール２２０Ｓから各ＳＶＯＬ５２Ｓに実際に更新前データをコピーする処理が行われてもよい。具体的には、本実施形態では、各ＳＶＯＬ５２Ｓは、ＴＰＶＯＬであるため、ＣＰＵは、各ＳＶＯＬ５２Ｓ内の上述した対象ＳＶＯＬスロットにＴＰプールから実領域を割り当て、その割り当てた実領域に、スナップショットプール２２０Ｓから更新前データをコピーしてよい。つまり、ＣＰＵは、スナップショットプール２２０ＳからＴＰプールへ更新前データをコピーしてよい。

　フルコピーでは、スナップショットプール２２０Ｓに更新前データがコピーされ更新後データが格納されたＰＶＯＬスロット（旧未コピー領域）については、コピーがスキップされる。更新後データがＳＶＯＬ５２Ｓに格納されることを避けるためである。

　本実施形態では、フルコピーの実施中に、ＰＶＯＬ５２Ｐ内の未コピー領域に対するライト要求を受信しても、更新前データがスナップショットプール２２０Ｓにコピーされさえすれば、ＳＶＯＬ５２Ｓの数に関わらずに、ライト応答を返却することができる。このため、フルコピー実施中でのＰＶＯＬライト応答性能は、ＳＶＯＬ５２Ｓの数に依存しない。

　また、本実施形態では、未コピー領域内の更新前データがスナップショットプール２２０Ｓにコピーされさえすれば、複数のＳＶＯＬ５２Ｓの各々について、対象ＳＶＯＬスロット経由でスナップショットプール２２０Ｓから更新前データを取得可能な状態となる。このため、ＰＶＯＬ５２ＰのクローンとしてのＳＶＯＬ５２Ｓを早くに完成させることが期待できる。これは、例えば次のような環境に好ましいと考えられる。すなわち、本実施形態を適用可能な環境の一例として、図に示すように、移行元ＶＭ６１Ｓ（ＰＶＯＬ５２Ｐを使用するＶＭ（Virtual Machine））のクローンとしての複数（例えば３つ）のＶＭ（移行先ＶＭ）６１Ｄ１～６１Ｄ３に対して、それぞれ、ＰＶＯＬ５２Ｐのクローンとしての複数のＳＶＯＬ５２Ｓ１～５２Ｓ３をそれぞれ関連付け、移行元ＶＭ６１Ｓの業務を複数の移行先ＶＭ６１Ｄ１～６１Ｄ３の各々に引き継ぐ環境が考えられる。本実施形態によれば、上述したように、ＰＶＯＬ５２ＰのクローンとしてのＳＶＯＬ５２Ｓを早くに完成させることが期待できるため、移行先ＶＭ６１Ｄに早くにＳＶＯＬ５２Ｓを提供することが期待できる。

　また、本実施形態によれば、ＰＶＯＬ５２ＰのクローンとしてのＳＶＯＬ５２Ｓとして、スナップショットＶＯＬが採用される。言い換えれば、スナップショットＶＯＬを、ＰＶＯＬ５２Ｐの単なるバックアップとして保持するのではなく、ユーザシステムに提供されるＶＯＬとして採用している。そして、ＰＶＯＬ５２Ｐ及びＳＶＯＬ５２Ｓ以外の記憶領域である第３の記憶領域の一例として、更新前データのコピー先領域が設けられ、そのコピー先領域として、スナップショットプール２２０Ｓが採用される。スナップショットプール２２０Ｓの本来の目的は、複数のスナップショットＶＯＬから共有される同じデータの格納先となることである。つまり、スナップショットプールスロットは複数のＳＶＯＬ５２Ｓから参照され得る。このような特性を有するスナップショットプール２２０Ｓを参照可能なスナップショットＶＯＬをＰＶＯＬ５２ＰのクローンとしてのＳＶＯＬ５２Ｓとして採用することで、ＳＶＯＬ５２Ｓを早くに完成させることが期待できる。

　以下、本実施形態を詳細に説明する。

　図２は、ストレージ装置の構成を示す。

　ストレージ装置１０に、ホスト計算機２０及び管理端末３０が、例えば１以上の通信ネットワークを介して接続されている。ストレージ装置１０は、計算機システムの一例である。ホスト計算機２０は、ホストシステムの一例である。ホストシステムは、１以上のホスト計算機であり、ＶＭを含んでもよい。管理端末３０は、管理システムの一例である。管理システムは、１以上の計算機であり、例えば、制御コンソールとしての計算機と、入出力コンソールとしての計算機とを含んでよい。管理端末３０は、通信ネットワークを介してホスト計算機２０に接続されていてもよい。

　ホスト計算機２０は、ストレージ装置１０へライト要求を送信することで、ストレージ装置１０へデータを書き込む。また、ホスト計算機２０は、ストレージ装置１０へリード要求を送信することで、ストレージ装置１０からデータを読み出す。

　管理端末３０は、ストレージ装置１０を管理するための端末である。管理端末３０は、管理者から入力された設定情報をストレージ装置１０へ送信したり、ストレージ装置１０の状態情報をストレージ装置１０から受信したりする。

　ストレージ装置１０は、記憶デバイス２００と、記憶デバイス２００に対するデータ入出力を制御するコントローラ１００とを含む。

　記憶デバイス２００は、複数のディスク２１０を含む。複数のディスク２１０のうちの少なくとも１つのディスク２１０を基に、１以上のプール２２０が提供される。本実施形態では、プール２２０として、後述するように、スナップショットプール２２０ＳとＴＰプール２２０Ｔ（図３参照）とがある。ディスク２１０は、ＰＤＥＶの一例であり、例えばＨＤＤ又はＳＳＤである。記憶デバイス２００はストレージ装置１０の外にあってもよい。

　コントローラ１００は、ＣＰＵ１２０と、メモリ１１０と、ブリッジ１３０と、Ｈ－Ｉ／Ｆ１４０と、Ｌ－Ｉ／Ｆ１５０と、Ｃ－Ｉ／Ｆ１６０とを含む。ＣＰＵ１２０が、ブリッジ１３０を介して、メモリ１１０、Ｈ－Ｉ／Ｆ１４０、Ｌ－Ｉ／Ｆ１５０及びＣ－Ｉ／Ｆ１６０に接続される。ＣＰＵ１２０は、プロセッサ部の一例である。メモリ１１０が、メモリ部の一例である。Ｈ－Ｉ／Ｆ１４０、Ｌ－Ｉ／Ｆ１５０及びＣ－Ｉ／Ｆ１６０が、インターフェース部の一例である。

　ＣＰＵ１２０は、メモリ１１０内のプログラムを実行することにより処理を行う。例えば、ＣＰＵ１２０は、ディスク２１０を用いてプール２２０を作成する。ブリッジ１３０は、コントローラ１００の各部を接続する。Ｈ－Ｉ／Ｆ１４０は、通信ネットワークを介してホスト計算機２０に接続されている。Ｌ－Ｉ／Ｆ１５０は、ディスク２１０に接続されている。Ｃ－Ｉ／Ｆ１６０は、通信ネットワークを介して管理端末３０に接続されている。

　メモリ１１０は、管理情報１１１と、コピー処理プログラム１１２と、Ｉ／Ｏ処理プログラム１１３とを格納し、キャッシュ領域１１４を含む。

　管理情報１１１は、ディスク２１０に格納されるデータを管理するための情報である。管理情報１１１は、例えば、ＶＯＬ毎にＶＯＬ属性（例えば、ＰＶＯＬ５２Ｐ、ＳＶＯＬ５２Ｓ、スナップショットＶＯＬ，プールＶＯＬ等）を表す情報と、スナップショットプール２２０Ｓを構成するＶＯＬを表す情報と、ＴＰプール２２０Ｔを構成するＶＯＬを表す情報と、ＴＰＶＯＬ（ＰＶＯＬ５２ＰやＳＶＯＬ５２Ｓ等）におけるいずれの仮想領域にＴＰプール２２０Ｔにおけるいずれの実領域が割り当てられているかを表す情報（例えばマッピングテーブル）とを含む。更に、管理情報１１１は、例えば、後述のペア管理テーブル４００（図４参照）及びスナップショット管理テーブル５００（図５参照）を含む。コピー処理プログラム１１２は、データをコピーする。Ｉ／Ｏ処理プログラム１１３は、ホスト計算機２０からの要求に応じてＩ／Ｏ処理を行う。キャッシュ領域１１４は、記憶デバイス２００に入出力されるデータ（例えばホスト計算機２０と送受信されるデータ）を一時的に格納する。

　図３は、ストレージ装置１０が管理する記憶領域を示す。

　ストレージ装置１０は、ＰＶＯＬ５２Ｐと、ＰＶＯＬ５２Ｐとそれぞれペアを構成する複数（例えば３つ）のＳＶＯＬ５２Ｓ１～５２Ｓ３とを管理する。また、ストレージ装置１０は、ＴＰプール２２０Ｔと、スナップショットプール２２０Ｓとを管理する。

　図４は、ペア管理テーブル４００の構成を示す。

　ペア管理テーブル４００は、ＶＯＬペアの構成に関する情報を保持する。ペア管理テーブル４００は、ＶＯＬペア毎に、ペア＃４０１、ペア情報４０２及びコピー情報４０３といった情報を保持する。

　ペア＃４０１は、ＶＯＬペアの識別番号である。ペア情報４０２は、ＰＶＯＬ＃４２１及びＳＶＯＬ＃４２２の組である。ＰＶＯＬ＃４２１は、ＶＯＬペアにおけるＰＶＯＬ５２Ｐの識別番号であり、ＳＶＯＬ＃４２２は、同じＶＯＬペアにおけるＳＶＯＬ５２Ｓの識別番号である。コピー情報４０３は、フルコピー完了済のＰＶＯＬアドレス（ＰＶＯＬ５２Ｐについてのアドレス）、具体的には、ＰＶＯＬ５２Ｐの先頭からどの領域までコピー完了しているかを示す情報である。ＰＶＯＬアドレスは、例えばスロット＃で表現される。スロット＃は、ＶＯＬスロットの識別番号である。例えば、コピー情報４０３が、“0x00000000～0x0000000F”であれば、１ＶＯＬスロット＝２５６ＫＢ（キロバイト）とすると、ＰＶＯＬ５２Ｐの先頭から４０９６ＫＢまでコピーを完了していることを意味する。なお、ＶＯＬスロットに、キャッシュ領域１１４の一部領域としてのキャッシュスロットが関連付けられてもよい。ＶＯＬスロットに対するデータは、そのＶＯＬスロットに関連付けられるキャッシュスロットに格納されてよい。

　図５は、スナップショット管理テーブル５００の構成を示す。

　スナップショット管理テーブル５００は、スナップショットの構成に関する情報を保持する。スナップショット管理テーブル５００は、ＰＶＯＬ５２ＰとＳＶＯＬ５２Ｓ間の差分毎に、スナップショットデータ情報５０１及びスナップショットペア情報５０２を保持する。「スナップショットデータ」とは、少なくとも１つのＳＶＯＬ５２Ｓ（スナップショットＶＯＬ）から参照されるスナップショットスロットに格納されたデータである。

　スナップショットデータ情報５０１は、使用領域５１１と領域属性５１２とを含む。

　使用領域５１１は、ＶＯＬの先頭（0x00000000）起点として、ＰＶＯＬ５２ＰとＳＶＯＬ５２Ｓとの差分がある位置を示す情報である。なお、差分ができるのは、ＰＶＯＬ５２Ｐに対する更新ライト（データを格納しているＰＶＯＬスロットに対するライト）があった場合と、ＳＶＯＬ５２Ｓへの更新ライト（データを格納しているＳＶＯＬスロットに対するライト）があった場合である。例えば、使用領域５１１（スロット＃）が“0x00000000”であれば、ＰＶＯＬ５２ＰとＳＶＯＬ５２Ｓとの差分が先頭ＶＯＬスロットであることを意味する。

　領域属性５１２は、対応する差分領域（スロット）の属性を示す。“共有”は、差分としてのデータが、複数のＳＶＯＬ５２Ｓから参照され（共有され）スナップショットプール２２０Ｓに格納されているデータであることを意味する。“固有”は、差分としてのデータが、ＳＶＯＬ５２Ｓ固有の差分データであることを意味する。例えば、差分領域が未コピー領域であって、更新前データがスナップショットプール２２０Ｓに格納されている場合、領域属性５１２は“共有”である。

　なお、スナップショットデータ情報５０１は、差分データ（スナップショットデータ）が格納されている領域を示すアドレス（例えばスロット＃）を含んでいてもよい。また、そのようなアドレスは、スナップショット管理テーブル５００とは別のテーブルで管理されていてもよい。また、ＳＶＯＬスロットに対する更新ライトが発生した場合、ＳＶＯＬスロット内の更新前データ（例えば、ＳＶＯＬスロットにＴＰプール２２０Ｔから割り当てられている実領域内の更新前データ）が、スナップショットプール２２０Ｓにコピーされてもよいし、そのようなコピーがされることなく更新後データによって上書きされてもよい。

　スナップショットペア情報５０２は、ＰＶＯＬ＃５２１及びＳＶＯＬ＃５２２を含む。ＰＶＯＬ＃５２１は、ＰＶＯＬ５２Ｐの識別番号である。ＳＶＯＬ＃５２２は、ＳＶＯＬ５２Ｓの識別番号である。なお、領域属性５１２“共有”に対応した差分について、ＳＶＯＬ＃５２２は、“－”とされる。ＳＶＯＬ５２Ｓ内に差分データが存在せずスナップショットプール２２０Ｓ内に存在し複数のＳＶＯＬ５２Ｓから共有されているためである。

　以下、図６～図１０を参照して、１つのＰＶＯＬ５２Ｐから複数のＳＶＯＬ５２Ｓの各々へのフルコピーの開始から完了までの流れを説明する。なお、図６～図１０において、テーブル４００及び５００における太字は、更新後の情報を意味する。

　図６に示すように、コピー処理プログラム１１２が、１つのＰＶＯＬ５２Ｐから複数のＳＶＯＬ５２Ｓの各々へのフルコピーを開始する。コピー処理プログラム１１２は、各ＶＯＬペアについて、フルコピーの進捗に応じて、ペア管理テーブル４００内のコピー情報４０３を更新する。

　図７に示すように、Ｉ／Ｏ処理プログラム１１３が、ＰＶＯＬ５２Ｐ内の未コピー領域（スロット＃“0x00000040”）に対する更新ライトのためのライト要求をホスト計算機２０から受信したとする。この場合、コピー処理プログラム１１２は、未コピー領域内の更新前データをスナップショットプール２２０Ｓにコピーする（同期コピー）。また、コピー処理プログラム１１２は、差分に関する情報として、使用領域５１１“0x00000040”、領域属性５１２“共有”、及び、ＰＶＯＬ＃５２１“0x1000”を、スナップショット管理テーブル５００に登録する。

　その後、図８に示すように、Ｉ／Ｏ処理プログラム１１３は、ライト応答を返す。

　その後、図９に示すように、フルコピーのコピー元アドレス（スロット＃）が未コピー領域のアドレスになった場合、コピー処理プログラム１１２は、スナップショットプール２２０Ｓから更新前データをＳＶＯＬ５２Ｓにコピーすることである非同期コピーを実施する。このように、フルコピーの進捗が進みコピー元が未コピー領域になったときに非同期コピーを実施することが、フルコピーの特性（先頭アドレスから末尾アドレスにかけて順次コピーを行うという特性）に適しているため効率的である。また、本実施形態では、非同期コピーは、未コピー領域からのコピーが完了したとみなすこと、具体的には、コピー情報４０３を、未コピー領域からのコピーが完了したことを意味する情報に更新すること（つまり、コピー情報４０３に、未コピー領域のアドレスを追加すること）である。非同期コピーでは、更新前データの実際のコピーは発生しない。このため、短時間で非同期コピーが終了する。

　その後、更にフルコピーが進み、やがて、図１０に示すように、各ＳＶＯＬ５２Ｓに対するフルコピーが完了する。

　図１１は、コントローラ１００がホスト計算機２０からＩ／Ｏ要求を受信した場合に行われる処理のフローチャートである。なお、図１１の説明では、Ｉ／Ｏ要求で指定されるＩ／Ｏ対象情報（Ｉ／Ｏ対象領域を表す情報）が、Ｉ／Ｏ対象ＶＯＬ及びＩ／Ｏ対象ＶＯＬスロットを表しているとする。

　Ｉ／Ｏ処理プログラム１１３は、受信したＩ／Ｏ要求を判定する（Ｓ１１０１）。

　受信したＩ／Ｏ要求がリード要求の場合、Ｉ／Ｏ処理プログラム１１３は、Ｉ／Ｏ対象ＶＯＬスロットからデータを読み出し、読み出したデータをホスト計算機２０に返す（Ｓ１１０２）。

　受信したＩ／Ｏ要求がライト要求の場合、Ｉ／Ｏ処理プログラム１１３は、Ｉ／Ｏ対象ＶＯＬを含んだＶＯＬペアが存在するか否かを、ペア管理テーブル４００を参照することにより判定する（Ｓ１１０３）。例えば、Ｉ／Ｏ対象ＶＯＬの番号と一致するＰＶＯＬ＃４２１があれば、Ｓ１１０３の判定結果は真である。

　Ｓ１１０３の判定結果が偽の場合（Ｓ１１０３：Ｎｏ）、Ｉ／Ｏ処理プログラム１１３は、Ｉ／Ｏ対象ＶＯＬスロットにデータを書き込み、ライト応答をホスト計算機２０に返す（Ｓ１１０６）。なお、ライト応答は、Ｉ／Ｏ対象ＶＯＬスロットに対応したキャッシュスロットにデータが書き込まれたときに返されてもよい。

　Ｓ１１０３の判定結果が真の場合（Ｓ１１０３：Ｙｅｓ）、Ｉ／Ｏ処理プログラム１１３は、Ｉ／Ｏ対象ＶＯＬスロットが未コピー領域であるか否かを、ペア管理テーブル４００を参照することにより判定する（Ｓ１１０４）。例えば、Ｉ／Ｏ対象ＶＯＬスロットのスロット＃が、Ｉ／Ｏ対象ＶＯＬに対応するコピー情報４０３が表すスロット＃範囲に含まれていなければ、Ｓ１１０４の判定結果は真である。

　Ｓ１１０４の判定結果が真の場合（Ｓ１１０４：Ｙｅｓ）、Ｉ／Ｏ処理プログラム１１３は、Ｉ／Ｏ対象情報を指定した同期コピー指示をコピー処理プログラム１１２に出す。コピー処理プログラム１１２は、その同期コピー指示に応答して、未コピー領域（Ｉ／Ｏ対象ＶＯＬスロット）から更新前データをスナップショットプール２２０Ｓにコピーする（Ｓ１１０５）。コピー処理プログラム１１２は、使用領域５１１（Ｉ／Ｏ対象ＶＯＬスロットのスロット＃）、領域属性５１２“共有”、及びＰＶＯＬ＃４２１（Ｉ／Ｏ対象ＶＯＬの番号）を、スナップショット管理テーブル５００に登録する。コピー処理プログラム１１２は、同期コピー完了をＩ／Ｏ処理プログラム１１３に返す。Ｉ／Ｏ処理プログラム１１３が、同期コピー完了を受けて、ライト応答をホスト計算機２０に返す（Ｓ１１０６）。

　Ｓ１１０４の判定結果が偽の場合（Ｓ１１０４：Ｎｏ）、Ｉ／Ｏ処理プログラム１１３は、Ｉ／Ｏ対象ＶＯＬスロットにデータを書き込み、ライト応答をホスト計算機２０に返す（Ｓ１１０６）。

　受信したＩ／Ｏ要求がリード要求でもライト要求でもない場合、Ｉ／Ｏ処理プログラム１１３は、その要求に応じた結果をホスト計算機２０に返す（Ｓ１１０７）。返る結果は、例えば、エラーメッセージでもよいし、ログであってもよい。

　図１２は、ＰＶＯＬ５２Ｐの未コピー領域を指定したライト要求をフルコピーの実施中にコントローラ１００がホスト計算機２０から受信した場合に行われる処理のラダーチャートである。

　Ｉ／Ｏ処理プログラム１１３は、上述したＳ１１０１、Ｓ１１０３及びＳ１１０４を経て、受信したＩ／Ｏ要求がそのようなライト要求であることを特定し、同期コピー指示をコピー処理プログラム１１２に出す。コピー処理プログラム１１２が、更新前データを未コピー領域からスナップショットプール２２０Ｓにコピーし、同期コピー完了をＩ／Ｏ処理プログラム１１３に返す。Ｉ／Ｏ処理プログラムが、同期コピー完了を受けて、ライト応答をホスト計算機２０に返す。

　コピー処理プログラム１１２は、同期コピー完了を送信した後で、同一ＰＶＯＬ５２Ｐを含んだ複数のＶＯＬペアの各々について、スナップショットプール２２０Ｓから更新前データをＳＶＯＬ５２Ｓにコピーする非同期コピーを実施する。この非同期コピーは、上述したように、フルコピーの進捗に応じて行われる。具体的には、コピー元アドレスが未コピー領域アドレスに進んだ場合に、その未コピー領域アドレスについてコピーが完了したとみなされる。

　図に示すように、ホスト計算機２０にとって、ＰＶＯＬライト応答時間１２００は、ライト要求を送信してからライト応答を受信するまでの時間であるが、その時間は、ＰＶＯＬ５２Ｐに関連付けられているＳＶＯＬ５２Ｓの数（別の言い方をすれば、同一のＰＶＯＬ５２Ｐを含んだＶＯＬペアの数）に依存しない。

　以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。

　例えば、複数のＳＶＯＬ５２Ｓは、それぞれ、異なる複数の世代のスナップショットＶＯＬでもよい。第Ｎ世代のＳＶＯＬ５２Ｓ（第Ｎ世代のスナップショットに対応したＳＶＯＬ５２Ｓ）内の領域は、ＰＶＯＬ５２Ｐにおける領域を参照してもよいし、別の世代（例えば１つ前の世代である第（Ｎ－１）世代）のＳＶＯＬ５２Ｓ内の領域を参照してもよい。複数のＳＶＯＬ５２Ｓのうちの少なくとも１つが、別のＶＯＬペアにおけるＰＶＯＬ５２Ｐになり得てもよい。

　また、クローンとして完成したＳＶＯＬ５２Ｓは、Ｉ／Ｏ処理プログラム１１３のようにコントローラ１００により実行されるプログラムによって、ホスト計算機２０のようなユーザシステムに提供されてよい。

　また、例えば、上述の実施形態では、複数のＳＶＯＬ５２Ｓのうちの１つのＳＶＯＬ５２Ｓに対してのみＰＶＯＬ５２Ｐからのフルコピーが実施されている場合も、未コピー領域内の更新前データがスナップショットプール２２０Ｓにコピーされる。しかし、複数のＳＶＯＬ５２Ｓのうちの１つのＳＶＯＬ５２Ｓに対してのみＰＶＯＬ５２Ｐからのフルコピーが実施されている場合であれば、未コピー領域内の更新前データのコピー先は、スナップショットプール２２０Ｓに代えて、その１つのＳＶＯＬ５２Ｓでもよい。言い換えれば、未コピー領域内の更新前データをスナップショットプール２２０Ｓにコピーすることは、フルコピー先が少なくとも２つのＳＶＯＬ５２Ｓである場合に行われてよい。フルコピー先が少なくとも２つのＳＶＯＬ５２Ｓであるか否かは、例えば、図１１のＳ１１０４で判断されてもよい。

　また、例えば、計算機システムとして、サーバシステムが採用されてもよい。この場合、スナップショットプール２２０Ｓは、サーバシステムの外部又は内部に用意されてもよい。サーバシステムは、ライト要求を受け付けるインターフェース部、記憶部、及び、そのインターフェース部及び記憶部に接続されたプロセッサ部を有する。サーバシステムでは、ライト要求の送信元は、サーバシステムで実行されるアプリケーションや仮想サーバであってよい。

　また、例えば、図１３に示すように、本発明は、多段カスケード構成の複数のスナップショットＶＯＬにも適用可能である。すなわち、複数のＳＶＯＬ５２Ｓ（スナップショットＶＯＬ）に対するコピー元であるＰＶＯＬ５２Ｐが、スナップショットＶＯＬであり、そのＰＶＯＬ５２Ｐは、別のＶＯＬペアにおけるＳＶＯＬ５２Ｓであってもよい。

１０…ストレージ装置

Claims

　１以上の記憶デバイスに接続される１以上のインターフェースであるインターフェース部と、
　前記インターフェース部に接続された１以上のプロセッサであり複数の記憶領域を管理するプロセッサ部と
を有し、
　前記複数の記憶領域は、
　　プライマリ論理ボリューム（ＰＶＯＬ）と、
　　それぞれが前記ＰＶＯＬとペアを構成し前記ＰＶＯＬのスナップショットであり前記ＰＶＯＬのクローンとしてユーザシステムに提供され得る論理ボリュームである１以上のセカンダリ論理ボリューム（ＳＶＯＬ）と、
　　前記１以上のＳＶＯＬから共有される記憶領域であるスナップショットプールと
を含み、
　前記プロセッサ部は、前記ＰＶＯＬから前記１以上のＳＶＯＬへのフルコピー中に、前記ＰＶＯＬ内の領域であって、未だ前記１以上のＳＶＯＬへのコピーがされていない領域である未コピー領域について、更新ライトのためのライト要求を受信した場合、
　　前記未コピー領域に格納されているデータである更新前データを前記スナップショットプールにコピーすることである同期コピーを実施し、
　　前記同期コピーが完了したときに、前記ライト要求の応答であるライト応答を返し、
　　前記ライト要求の処理と非同期に、前記更新前データを前記スナップショットプールから前記１以上のＳＶＯＬにコピーすることである非同期コピーを実施する、
計算機システム。
　前記１以上のＳＶＯＬは、複数のＳＶＯＬである、
請求項１記載の計算機システム。
　前記プロセッサ部は、前記複数のＳＶＯＬのうちの少なくとも２つのＳＶＯＬの各々への前記フルコピーの実施中に前記未コピー領域について前記ライト要求を受信した場合に、前記同期コピーを実施する、
請求項２記載の計算機システム。
　前記プロセッサ部は、前記１以上のＳＶＯＬの各々について、前記ＰＶＯＬからの前記フルコピーの進捗に応じて前記非同期コピーを実施する、
請求項１記載の計算機システム。
　前記１以上のＳＶＯＬの各々について、前記非同期コピーは、前記更新前データを前記スナップショットプールからそのＳＶＯＬにコピーしたとみなすことである、
請求項４記載の計算機システム。
　前記ＰＶＯＬは、前記１以上のＳＶＯＬとの間でそれぞれ構成された１以上のペアとは別のペアにおけるセカンダリ論理ボリュームでもある、
請求項１記載の計算機システム。
　プライマリ論理ボリューム（ＰＶＯＬ）から、それぞれが前記ＰＶＯＬとペアを構成し前記ＰＶＯＬのスナップショットであり前記ＰＶＯＬのクローンとしてユーザシステムに提供され得る論理ボリュームである１以上のセカンダリ論理ボリューム（ＳＶＯＬ）へのフルコピー中に、ＰＶＯＬ内の領域であって、未だ前記１以上のＳＶＯＬへのコピーがされていない領域である未コピー領域について、更新ライトのためのライト要求を受信し、
　前記未コピー領域に格納されているデータである更新前データを前記スナップショットプールにコピーすることである同期コピーを実施し、
　前記同期コピーが完了したときに、前記ライト要求の応答であるライト応答を返し、
　前記ライト要求の処理と非同期に、前記更新前データを前記スナップショットプールから前記１以上のＳＶＯＬにコピーすることである非同期コピーを実施する、
記憶制御方法。
　前記１以上のＳＶＯＬは、複数のＳＶＯＬである、
請求項７記載の記憶制御方法。
　前記同期コピーは、前記複数のＳＶＯＬのうちの少なくとも２つのＳＶＯＬの各々への前記フルコピーの実施中に前記未コピー領域について前記ライト要求を受信した場合に、実施される、
請求項８記載の記憶制御方法。
　前記非同期コピーは、前記１以上のＳＶＯＬの各々について、前記ＰＶＯＬからの前記フルコピーの進捗に応じて実施される、
請求項７記載の記憶制御方法。
　前記１以上のＳＶＯＬの各々について、前記非同期コピーは、前記更新前データを前記スナップショットプールからそのＳＶＯＬにコピーしたとみなすことである、
請求項１０記載の記憶制御方法。
　前記ＰＶＯＬは、前記１以上のＳＶＯＬとの間でそれぞれ構成された１以上のペアとは別のペアにおけるセカンダリ論理ボリュームでもある、
請求項７記載の記憶制御方法。