JP6437656B2 - ストレージ装置、ストレージシステム、ストレージシステムの制御方法 - Google Patents

ストレージ装置、ストレージシステム、ストレージシステムの制御方法 Download PDF

Info

Publication number
JP6437656B2
JP6437656B2 JP2017532241A JP2017532241A JP6437656B2 JP 6437656 B2 JP6437656 B2 JP 6437656B2 JP 2017532241 A JP2017532241 A JP 2017532241A JP 2017532241 A JP2017532241 A JP 2017532241A JP 6437656 B2 JP6437656 B2 JP 6437656B2
Authority
JP
Japan
Prior art keywords
storage
storage device
management information
memory
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017532241A
Other languages
English (en)
Other versions
JPWO2017022002A1 (ja
Inventor
尚 長尾
尚 長尾
定広 杉本
定広 杉本
智大 川口
智大 川口
紀夫 下薗
紀夫 下薗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2017022002A1 publication Critical patent/JPWO2017022002A1/ja
Application granted granted Critical
Publication of JP6437656B2 publication Critical patent/JP6437656B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems

Description

本発明は、ストレージ装置、ストレージシステム、ストレージシステムの制御方法に関する。
本技術分野の背景技術として、特開２００６−２２１５２６号公報（特許文献１）に記載の技術がある。この公報には、複数のメモリを有するストレージ装置において、管理情報を異なるメモリ間で冗長化し、管理情報を格納するメモリに障害が発生したとき、他のメモリに管理情報をコピーして冗長性を確保する技術について記載されている。
特開２００６−２２１５２６号公報
企業等がビジネスを遂行するための業務データを保存するストレージシステムについて、ビジネスの変化にあわせてシステム規模を柔軟に変更するため、複数のストレージ装置を連携させてシステムを構築したいという要求がある。例えば、システム導入時は当面必要となるストレージリソースを備えるストレージ装置でシステムを構築し、ビジネスが成長してストレージリソースの利用量が増加してきたら、既存のストレージ装置を活用しつつストレージ装置を増設することで、システム全体のストレージリソースを拡張することができる。
このように、ストレージシステムを複数のストレージ装置で構築する場合、ストレージシステムの稼動に必要な管理情報を、異なるストレージ装置のメモリ間で冗長化することで、可用性を高めることができる。また、ストレージシステムを構築する一部のストレージ装置で障害が発生したとき、または減設するとき等、当該ストレージ装置の使用を停止する場合、当該ストレージ装置が格納する管理情報を他のストレージ装置にコピーすることで、冗長性を維持することができる。
特許文献１では、障害発生時に管理情報をコピーするために、コピー先のメモリに管理情報を格納可能な空き容量を確保する必要がある。しかし、コピー先のストレージ装置において、当該管理情報を格納可能な空き容量を定常的に確保する場合、通常時のメモリの使用率が低下して、コストが高くなる。これに対し、コピー先のストレージ装置に当該管理情報を格納可能な空き容量を動的に確保する場合、通常時のメモリの使用率は向上するが、動的に空き容量を確保した時のシステムへの影響を低減する必要がある。そのため、各ストレージ装置で個別に管理されるメモリの使用状態をふまえて、コピー先のストレージ装置を適切に決めることが重要である。
そこで、ストレージ装置の使用を停止する場合に備えて、当該ストレージ装置の管理情報を格納するための空き容量を、他のストレージ装置のメモリに定常的に確保しなくても、当該ストレージ装置の使用を停止するときに動的に空き容量を確保可能にし、また動的に空き容量を確保したときのシステムへの影響を低減可能なストレージシステムを提供する。
上記課題を解決するために、本発明のストレージシステムは、第１ストレージ装置を含む複数のストレージ装置を備える。複数のストレージ装置の其々は、管理情報を格納する管理情報格納領域とキャッシュ情報を格納するキャッシュ領域とを有するメモリと、キャッシュ領域の状態を管理するプロセッサと、を備える。第１ストレージ装置のメモリの使用を停止するとき、複数のストレージ装置の少なくとも一部のプロセッサは、第１ストレージ装置以外のストレージ装置が其々管理するキャッシュ領域の状態に基づいて、使用を停止するメモリが格納する管理情報であるコピー対象管理情報のコピー先となるコピー先ストレージ装置を決定する。コピー先ストレージ装置のプロセッサは、コピー先ストレージ装置のメモリのキャッシュ領域の少なくとも一部を解放して、解放したキャッシュ領域に、コピー対象管理情報を格納する。
ストレージ装置の使用を停止する場合に備えて、当該ストレージ装置の管理情報を格納するための空き容量を、他のストレージ装置のメモリに定常的に確保しなくても、当該ストレージ装置の使用を停止するときに動的に空き容量を確保でき、メモリの使用効率を向上できる。また、動的に空き容量を確保したときのストレージシステムへの影響を低減できる。上記した以外の課題、構成及び効果は、以下の発明を実施するための形態の説明により明らかにされる。
管理情報の退避処理の概念を示す図である。 ストレージ装置の構成を示す図である。 メモリの構成を示す図である。 管理情報配置テーブルの構成を示す図である。 キャッシュ管理テーブルの構成を示す図である。 論理ボリューム管理テーブルの構成である。 論物変換テーブルの構成を示す図である。 ストレージ装置の減設処理を示すフローチャートである。 ストレージ装置の障害処理を示すフローチャートである。 アクセス性能の低下量予測処理のフローチャートである キャッシュ情報の再配置処理のフローチャートである。 共有管理情報へのアクセス処理を示すフローチャートである。
以下、図面を用いて実施例について説明する。
図１は、本実施例における管理情報の退避処理の概念を示す図である。
本実施例のストレージシステムは、複数のストレージ装置２が、ネットワーク４１を介して接続されている。各ストレージ装置２のメモリ９は、管理情報を格納する管理情報格納領域１１と、キャッシュ情報を格納するキャッシュ領域１２とを有する。また、各ストレージ装置２のプロセッサ８は、当該ストレージ装置２のキャッシュ領域１２のアクセス頻度を管理している。
管理情報は、複数のストレージ装置２が稼動しているとき、複数のストレージ装置２のメモリ９の少なくともいずれかに格納され、複数のストレージ装置２の少なくともいずれかのプロセッサ８が当該メモリ９から参照可能な情報である。特に、各ストレージ装置２が稼動しているとき、当該ストレージ装置２のプロセッサ８は、当該ストレージ装置２のメモリ９に格納された管理情報を参照できる。
キャッシュ情報は、複数のストレージ装置２が稼動しているとき、複数のストレージ装置２の少なくともいずれかが備える記憶デバイス（ドライブ４）に同じデータが格納されている場合、複数のストレージ装置２のいずれのメモリ９からも削除可能な情報である。特に、各ストレージ装置２が稼動しているとき、当該ストレージ装置２が備える記憶デバイス（ドライブ４）に格納されたデータと同じデータであるキャッシュ情報は、メモリ９のキャッシュ領域１２から削除しても良い。ここで、削除とは、他のキャッシュ情報で上書きすること、当該キャッシュ情報を消失すること、当該キャッシュ情報にアクセス不能にすることのいずれであっても良い。
図１では、複数のストレージ装置２の例として、ストレージ装置Ａ、Ｂ、Ｃ、Ｄが示されている。ただし、ストレージシステムを構成するストレージ装置２の数はこの例に限定されず、少なくとも２以上のストレージ装置２であれば良い。
ストレージ装置Ａ及びストレージ装置Ｂそれぞれのメモリ９の管理情報格納領域１１は、同一の共有管理情報Ｘを格納しており、この共有管理情報Ｘを冗長化している。このように、異なるストレージ装置２の間で管理情報の冗長性をもたせることで、一方のストレージ装置２で障害が発生してメモリ９が使用不能になったとしても、他方のストレージ装置２のメモリ９に格納された管理情報を用いて、運用が継続可能となり、可用性を高めることができる。
以下、ストレージ装置Ｂのメモリ９の使用を停止する場合に、ストレージシステムで実行される管理情報の退避処理の例を説明する。ストレージ装置Ｂのメモリ９の使用を停止すると、共有管理情報Ｘの冗長性が失われ、信頼性が低下してしまう。そこで、本処理により、ストレージ装置Ａ、Ｂ以外のストレージ装置Ｃ、Ｄの少なくともいずれかに共有管理情報Ｘをコピーすることで冗長化し、信頼性を回復する。ここで、ストレージ装置２のメモリ９の使用を停止するときとは、典型的にはストレージ装置２の使用を停止するときであり、例えば当該ストレージ装置２で障害が発生したときや、ストレージ装置２を減設するときである。例えば、ストレージシステムを構成する複数のストレージ装置２から一部のストレージ装置２を減設することで、運用管理コストが削減可能となる。この使用を停止するメモリ９に格納された共有管理情報Ｘを、コピー対象管理情報とも呼ぶ。
ストレージ装置Ｂのメモリ９の使用を停止するとき、例えば、当該ストレージ装置Ｂと共有管理情報Ｘを冗長化しているストレージ装置Ａが、ストレージ装置Ｂのメモリ９の使用停止を検知する。これは、ストレージ装置Ａが定期的または不定期にストレージ装置Ｂにアクセスすることで検知しても良いし、ストレージシステムに接続する管理端末からの指示に基づいて検知しても良い。
ストレージ装置Ａ、Ｂ以外のストレージ装置Ｃ、Ｄが、共有管理情報Ｘのコピー先候補となるコピー先候補ストレージ装置である。以下の例では、コピー先候補ストレージ装置のいずれのメモリ９も、管理情報（共有管理情報Ｙ等）とキャッシュ情報（キャッシュ情報Ｃ１、Ｃ２、Ｄ１、Ｄ２等）が格納されており、共有管理情報Ｘを格納するための空き容量がないとする。コピー先候補ストレージ装置に、他のストレージ装置２の管理情報（共有管理情報Ｘ）を格納するための空き容量を定常的に確保せず、例えばその代わりにキャッシュ領域１２を多く確保することで、メモリ９の使用効率を向上できる。
本実施例では、コピー先候補ストレージ装置のいずれかのメモリ９の情報を削除して、共有管理情報Ｘを格納する。管理情報はストレージシステムの動作に必要な情報であり削除できないため、キャッシュ情報を削除する。ストレージ装置２のメモリ９のキャッシュ領域１２は、ホスト計算機１からのデータアクセス要求時の応答性能を高速化するために、キャッシュ情報（キャッシュデータ）が格納されており、コピーが必要な管理情報を格納するための容量が空いていないことが多い。キャッシュ領域１２には、アクセス頻度の高いキャッシュ領域とアクセス頻度の低いキャッシュ領域とが混在している。このため、無作為にキャッシュ情報を削除してキャッシュ領域を解放すると、キャッシュヒット率が低下してアクセス性能が大きく低下する。本実施例では、アクセス性能をキャッシュヒット率とし、アクセス性能の低下量をキャッシュヒット率の低下量として説明する。ただし、アクセス性能及びアクセス性能の低下量は、この例に限定されない。
そこで、キャッシュヒット率の低下量が小さくなるように、キャッシュ領域１２のアクセス頻度に基づいて、少なくとも一部のキャッシュ領域１２を解放する。これにより、あらかじめメモリ容量の空きを確保していなくても、ストレージ装置２の障害時または減設時等に、当該ストレージ装置２の管理情報を他のストレージ装置２のメモリ９に格納可能になる。
以下の説明では、コピー先候補ストレージ装置のいずれか一つに、一つのコピー対象管理情報である共有管理情報Ｘを格納する例を示す。しかし、コピー対象管理情報が複数あって、異なるストレージ装置２に分けて格納可能な場合においては、コピー対象管理情報毎に以下の処理を実行しても良い。その場合、容量の大きいコピー対象管理情報から優先的に、コピー先ストレージ装置を決定しても良い。
まず、ストレージ装置Ａは、コピー先候補ストレージ装置Ｃ、Ｄの其々に、共有管理情報Ｘの容量を通知する。コピー先候補ストレージ装置Ｃ、Ｄは、各々が個別に管理するキャッシュ領域１２のアクセス頻度に基づいて、共有管理情報Ｘをコピーした場合のアクセス性能の低下量を予測して、ストレージ装置Ａに予測した低下量を送信する。ストレージ装置Ａは、コピー先候補ストレージ装置Ｃ、Ｄ其々で予測した低下量に基づき、前記予測したアクセス性能の低下量の低いコピー先候補ストレージ装置を、前記コピー先ストレージ装置に決定する（Ｓ１００）。これにより、キャッシュ領域を解放したときにおけるシステム全体のアクセス頻度への影響を小さくできる。図１の例では、コピー先ストレージ装置は、ストレージ装置Ｃである。各コピー先候補ストレージ装置Ｃ、Ｄにおけるアクセス性能の低下量予測処理の詳細は、図１０を用いて後述する。
ここで、コピー先ストレージ装置は、アクセス性能の低下量の低いコピー先候補ストレージ装置とする例について説明したが、必ずしもアクセス性能の低下量だけで決定しなくても良い。例えば、複数のコピー先候補ストレージ装置のうち、コピー対象管理情報が優先的に配置されるストレージ装置２がある場合は、その優先順位に基づいて、コピー先ストレージ装置を決定しても良い。この場合、各コピー先候補ストレージ装置から、必要な情報を取得しても良い。例えば、プロセッサ８が高負荷のストレージ装置２がコピー処理を実施するとアクセス性能が低下する恐れがあるため、各ストレージ装置２のプロセッサ８の負荷を取得し、プロセッサ８の負荷が低いストレージ装置２をコピー先ストレージ装置に決定しても良い。
コピー先ストレージ装置は、コピー先候補ストレージ装置が其々管理するキャッシュ領域１２の状態に基づいて、決定されて良い。キャッシュ領域１２の状態には、キャッシュ領域１２のアクセス頻度の情報を含んでいても良い。キャッシュ領域１２の状態として、キャッシュ領域１２の最終アクセス時刻１８５や、使用可能か否かの情報、キャッシュ領域１２が使用されているか否かの情報（使用中フラグ１８３）を含んでいても良い。
ストレージ装置Ａは、コピー先ストレージ装置Ｃに共有管理情報Ｘをコピーするための容量を確保するように指示する。コピー先ストレージ装置Ｃのプロセッサは、共有管理情報Ｘを格納するキャッシュ領域が連続した領域となるように、アクセス頻度に基づいて、当該コピー先ストレージ装置Ｃのキャッシュ情報（Ｃ１、Ｃ２等）の再配置を実行する（Ｓ１０１）。このキャッシュ情報の再配置処理（Ｓ１０１）の詳細は、図１１を用いて後述する。
コピー先ストレージ装置Ｃは、当該コピー先ストレージ装置Ｃのメモリ９のキャッシュ領域１２の少なくとも一部を解放することで、共有管理情報Ｘを格納するための空き容量を確保する（Ｓ１０２）。コピー先ストレージ装置Ｃは、ストレージ装置Ａから共有管理情報Ｘをコピーして、解放したキャッシュ領域１２に格納する（Ｓ１０３）。したがって、共有管理情報Ｘは、ストレージ装置Ａとコピー先ストレージ装置Ｃ其々のメモリ９の間で冗長化される。
コピー先ストレージ装置Ｃは、共有管理情報Ｘの格納先を、前記複数のストレージ装置２の少なくとも一部または全部に通知する。例えば、コピー先ストレージ装置Ｃは、共有管理情報Ｘの格納先を、ストレージ装置Ａとストレージ装置Ｄに通知する。このように、共有管理情報Ｘの格納先を、他のストレージ装置２に通知するので、通知されたストレージ装置２はコピー先ストレージ装置Ｃに格納された共有管理情報Ｘにアクセスすることができる。
ストレージ装置２の使用を停止する場合に備えて、当該ストレージ装置２のコピー対象管理情報を格納するための空き容量を、他のストレージ装置２のメモリ９に定常的に確保しなくても、当該ストレージ装置２の使用を停止するときに動的に空き容量を確保でき、メモリ９の使用効率を向上できる。また、動的に空き容量を確保したときのストレージシステムへの影響を低減できる。
図２は、ストレージ装置２の構成を示す図である。
ストレージ装置２は、データの記憶装置であるドライブ４と、コマンドに応じた処理を実行するストレージコントローラ５とを有する。ドライブ４は、不揮発性の記憶デバイスである。ドライブ４は、例えば、磁気ディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）といった半導体メモリ装置であっても良い。ドライブ４とストレージコントローラ５は、それぞれ１または２以上あっても良い。
ストレージコントローラ５は、サーバＩ／Ｆ（インターフェイス）６、ドライブＩ／Ｆ７、装置間結合Ｉ／Ｆ４０、プロセッサ８、メモリ９を有し、これらは内部ネットワークによって相互に接続される。サーバＩ／Ｆ６は、ネットワーク３を介してホスト計算機１と接続し、ホスト計算機１に対してコマンドやデータの送受信処理を実行する。ドライブＩ／Ｆ７は、ドライブ４に対してコマンドやデータの送受信処理を実行する。装置間結合Ｉ／Ｆ４０は、ネットワーク４１を介して他のストレージ装置２と接続し、他のストレージ装置２に対してコマンドやデータの送受信処理を実行する。一つのストレージコントローラ５内にメモリ９は、１または２以上あっても良い。ネットワーク３とネットワーク４１は、それぞれに接続された装置（ホスト計算機１やストレージ装置２）間でコマンドやデータをやり取りするための通信路であり、例えば、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。
ネットワーク３とネットワーク４１は、同じネットワークであっても良いし、互いに独立したネットワークであっても良い。なお、ネットワーク３とネットワーク４１とが互いに独立したネットワークである場合、複数のストレージ装置２間でネットワーク４１を介して行われる通信が、ホスト計算機１とストレージ装置２との間でネットワーク３を介して行われる通信に、影響を及ぼさない利点がある。
プロセッサ８は、メモリ９内のプログラムを実行して、コマンドに応じた各種の処理を実行する。プロセッサ８は、プログラムを実行する演算部または制御部であれば良い。以降では、プロセッサ８がメモリ９上のプログラムを実行して行われる処理を、ストレージ装置２やストレージコントローラ５を処理の主体として記載することがある。
メモリ９は、揮発性の記憶装置である。メモリ９は、データを記憶する記憶部であれば良い。複数のストレージ装置２は結合し、互いにメモリ９を共有する。複数のストレージ装置２の間で共有されるメモリ９は、複数のストレージ装置２の間で一意な識別子である論理メモリＩＤと、当該メモリ９が存在するストレージ装置２内で一意な識別子である物理メモリＩＤが付与される。
論理ボリューム１０は、ストレージコントローラ５によって、複数のドライブ４の物理的な記憶領域から構成される。この構成方法には、例えば、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）があり、複数のドライブ４を用いることで、データ冗長化による信頼性向上やドライブ４の並列動作による性能向上が期待できる。ストレージコントローラ５は、論理ボリューム１０をホスト計算機１に提供する。ストレージ装置２は、１または２以上の論理ボリューム１０を有する。
ホスト計算機１は、プロセッサとメモリとを有する物理計算機、または物理計算機上で稼働する仮想計算機であって良い。ホスト計算機１は、サーバとも呼ばれる。ホスト計算機１は、例えばオンライン通販サービスを提供するワークステーションである。ホスト計算機１は、ホスト計算機１が提供するサービスに必要なデータの少なくとも一部を、ストレージ装置２に格納する。ホスト計算機１は、ストレージ装置２に対して、データアクセス要求を送信することで、ストレージ装置２に格納されたデータを読み書きする。データアクセス要求として、例えば、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）規格のリードコマンド（Ｒｅａｄ ｃｏｍｍａｎｄ）やライトコマンド（Ｗｒｉｔｅ ｃｏｍｍａｎｄ）が用いられる。データアクセス要求は、Ｉ／Ｏ（Ｉｎｐｕｔ／ｏｕｔｐｕｔ）要求とも呼ばれる。
図３は、メモリ９の構成を示す図である。プロセッサ８は、後述する管理情報配置テーブル１３及びキャッシュ管理テーブル１８を用いて、メモリ９の記憶領域を、管理情報格納領域１１とキャッシュ領域１２に分けて管理する。
管理情報格納領域１１には、管理情報が格納される。管理情報には、統合管理情報と、共有管理情報と、個別管理情報がある。管理情報は、その管理情報の内容によっては、構成情報や制御情報とも呼ばれる。
統合管理情報は、ストレージシステムを構成する複数のストレージ装置２が其々有する情報である。統合管理情報の例として、管理情報配置テーブル１３と、論物変換テーブル３５と、がある。
共有管理情報は、自ストレージ装置２だけでなく、他ストレージ装置２から参照可能な管理情報である。以下では、共有管理情報は、ストレージシステムを構成する複数のストレージ装置２のうち、一部の異なるストレージ装置２の間において冗長化される管理情報として、主に説明する。ただし、共有管理情報によっては、同じストレージ装置２内の異なるメモリ９間で、冗長化されていても良い。
共有管理情報の位置（アドレス）は、統合管理情報である管理情報配置テーブル１３によって管理される。このため、あるストレージ装置２内のメモリ９に格納された共有管理情報は、他のストレージ装置２と共有できる。共有管理情報は、複数のストレージ装置２のいずれかのプロセッサで実行されるプログラムと、いずれかのプログラムの実行に用いられる管理情報と、の少なくともいずれか一方を含む。プロセッサ８が実行するべきプログラムの例として、データのバックアップ機能を実現するバックアップ機能プログラムがある。プログラムの実行に用いられる管理情報の例として、バックアップ機能プログラムの実行に用いられるバックアップ機能制御情報、論理ボリューム管理テーブル２６、またセキュリティ設定情報、課金情報等がある。
個別管理情報は、各ストレージ装置２で個別に管理する管理情報である。個別管理情報の例として、当該ストレージ装置２のキャッシュ領域１２のアクセス頻度の情報を含むキャッシュ管理テーブル１８がある。個別管理情報の内容は、異なるストレージ装置２の間では異なっていて良い。例えば、各ストレージ装置２のキャッシュ管理テーブル１８は、自身のストレージ装置２のキャッシュ領域１２のアクセス頻度を管理する管理情報であるので、異なるストレージ装置２間のキャッシュ管理テーブル１８はその内容が異なる。また、キャッシュ管理テーブル１８は、ホスト計算機１のデータアクセス要求によって、その内容が適宜変更される情報である。異なるストレージ装置２間でキャッシュ管理テーブル１８を冗長化すると、その内容が変更される度に同期が必要となるので、ストレージシステムの負荷が向上し、またアクセス応答性能が劣化する可能性がある。キャッシュ管理テーブル１８は、通常、当該ストレージ装置２内で使用される情報であるので、異なるストレージ装置２の間で冗長化しなくても良い。
このように管理情報の用途や内容によって、アクセスするストレージ装置２が異なる。複数のストレージ装置２からアクセスされる管理情報はストレージ装置２間での冗長化が必要であり、コピー対象管理情報をこれらの管理情報に限定することで、コピーする管理情報の量を削減しても良い。例えば、コピー対象管理情報を共有管理情報に限定しても良い。
また、キャッシュ領域１２には、ホスト計算機１からのデータアクセス要求に基づく入出力データが一時的に格納される。キャッシュ領域１２に格納されるデータを、キャッシュ情報と呼ぶ。キャッシュ情報として、ライトデータやリードデータがある。キャッシュ情報は、メモリ９よりも低性能（低速）なドライブ４内のデータへのアクセスを、高性能化（高速化）するための情報である。すなわち、各ストレージ装置２のキャッシュ情報は、ストレージ装置２に接続するホスト計算機１からのライト要求に基づくライトデータと、ホスト計算機１からのリード要求への応答に用いるリードデータと、の少なくともいずれか一方を含む。
例えば、ストレージ装置２がホスト計算機１からライト要求を受信すると、ストレージ装置２はライト要求にかかるライトデータをメモリ９に一旦格納し、ホスト計算機１にライト完了の応答を返す。ストレージ装置２は、メモリ９から低性能なドライブ４へのライトデータのライト処理（以後、デステージ処理とも言う。）を非同期に実行できるので、ホスト計算機１のライト要求に対して、短時間でライト完了の応答ができる。
また、例えば、ストレージ装置２がホスト計算機１からリード要求を受信したときリード要求にかかるデータがメモリ９に格納されている場合、ストレージ装置２はメモリ９から当該データを取得して、ホスト計算機１に応答する。リード要求にかかるデータがメモリ９に格納されていない場合、ストレージ装置２は、ドライブ４から当該データを取得してメモリ９に格納し、ホスト計算機１に応答する。リード要求にかかるデータをリードデータと呼ぶ。ストレージ装置２は、メモリ９のキャッシュ領域１２にリードデータが格納されている場合、メモリ９より低性能なドライブ４からリードデータを読み出さなくても良く、ホスト計算機１のリード要求に対して短時間で応答できる。
各ストレージ装置２は、メモリ９に障害が発生した場合等に個別管理情報やキャッシュ情報の消失を防ぐため、同じストレージ装置２の異なるメモリ９間で個別管理情報及びキャッシュ情報をコピーして多重化し、冗長性を持たせる。ただし、リードデータについては、メモリ９のキャッシュに格納されたリードデータが消失しても、ドライブ４からリードデータを読み出してホスト計算機１へ応答できるため、複数のメモリ９間で多重化しなくても良い。ライトデータについては、後述の通りに冗長化を継続または回復しても良いし、デステージ処理を実行することで、冗長化不要としても良い。また、ストレージ装置２が、メモリ９を有するストレージコントローラ５を複数備える場合、個別管理情報やキャッシュ情報を、当該ストレージ装置２内の異なるストレージコントローラ５のメモリ９に格納することで冗長化しても良い。
また、各ストレージ装置２は、メモリ９に障害が発生した場合等、メモリ９の使用を停止するとき、使用を停止するメモリ９が格納する管理情報を、同じストレージ装置２内の別のメモリ９にコピーすることで、冗長性を回復しても良い。この場合の管理情報（コピー対象管理情報）には、個別管理情報、共有管理情報、統合管理情報の少なくともいずれかが含まれていて良い。
このとき、当該ストレージ装置２は、自ストレージ装置２が有する複数のメモリ９を対象として、アクセス性能の低下量予測処理（図１０）によって、削除するキャッシュ情報を決定する。これにより、キャッシュ領域１２を解放したときにおける当該ストレージ装置２のアクセス頻度への影響を小さくできる。そして、当該ストレージ装置２は、コピー対象管理情報を格納するために、解放するキャッシュ領域１２が連続した領域となるように、アクセス頻度に基づいて、キャッシュ情報の再配置処理（Ｓ１０１、図１１）を実行する。このとき、解放するキャッシュ領域１２を選択する際、所定のポリシや優先度に基づいて選択されても良い。例えば、当該ストレージ装置２内の異なるストレージコントローラ５間のメモリ９で管理情報を冗長化するポリシや、当該ストレージ装置２内の異なるメモリ９の間で管理情報を冗長化するポリシ等によって、解放するキャッシュ領域１２を有するメモリ９が適切に選択されて良い。当該ストレージ装置２は、当該ストレージ装置２のメモリ９のキャッシュ領域１２の少なくとも一部を解放することで、コピー対象管理情報を格納するための空き容量を確保する。当該ストレージ装置２は、コピー対象管理情報を有するメモリ９から、コピー対象管理情報をコピーして、解放したキャッシュ領域１２に格納することで、冗長性を回復する。
図４は、管理情報配置テーブル１３の構成を示す図である。ストレージ装置２は、管理情報配置テーブル１３を用いて、共有管理情報が格納されるメモリ９の管理情報格納領域１１を管理する。管理情報配置テーブル１３は、管理情報名１３０と、論理メモリＩＤ（Ａ）１３１と、論理アドレス（Ａ）１３２と、論理メモリＩＤ（Ｂ）１３３と、論理アドレス（Ｂ）１３４と、サイズ１３５と、を対応づける管理情報である。格納情報名１３０で識別される管理情報を格納するメモリ９の記憶領域として、論理メモリＩＤ（Ａ）１３１で識別されるメモリ９の論理アドレス（Ａ）１３２からサイズ１３５分の領域と、論理メモリＩＤ（Ｂ）１３３で識別されるメモリ９の論理アドレス（Ａ）１３４からサイズ１３５分の領域とが確保されていることを示す。
例えば、図４に示す一例によると、管理情報名１３０が「セキュリティ設定情報」のエントリでは、「セキュリティ設定情報」と呼ばれる管理情報の格納先の記憶領域として、論理メモリＩＤ １の論理アドレス０ｘ１０００と、論理メモリＩＤ ２の論理アドレス０ｘ１０００のそれぞれから、０ｘ１０００のサイズの記憶領域が確保されている。
各管理情報について、格納先のメモリ９のうち一方が使用不能となっても、管理情報が消失しないように、物理的なメモリ９が異なるように、論理メモリＩＤ（Ａ）１３１と論理メモリＩＤ（Ｂ）１３３には異なるＩＤが設定される。
なお、本実施例では、前述のように、論理ボリューム管理テーブル２６が共有管理情報であるので、この管理情報配置テーブル１３で管理されるが、図４には図示していない。各ストレージ装置２で、それぞれ自ストレージ装置２の論理ボリューム１０を対象として、論理ボリューム管理テーブル２６が作成される。したがって、各ストレージ装置２の論理ボリューム管理テーブル２６は、それぞれ管理情報配置テーブル１３で管理されて良い。
図５は、キャッシュ管理テーブル１８の構成を示す図である。ストレージ装置２のプロセッサ８は、キャッシュ管理テーブル１４を用いて、キャッシュ情報を格納するメモリ９のキャッシュ領域１２の状態を管理する。キャッシュ領域１２は、ホスト計算機１のデータアクセスに応じて、格納されるキャッシュ情報が動的に変化する。そのため、物理メモリＩＤ１８１と物理メモリアドレス１８２が示すキャッシュ領域１２の小領域を、所定のサイズごとに管理する。図５の一例では、所定サイズは「０ｘ１０００」として表されている。
キャッシュ管理テーブル１８は、エントリを識別するキャッシュＩＤ１８０と、物理メモリＩＤ１８１と、物理アドレス１８２と、使用中フラグ１８３と、使用開始時刻１８４と、最終アクセス時刻１８５と、ダーティデータフラグ１８６と、キャッシュヒット回数１８７を対応づける管理情報である。キャッシュＩＤ１８０は、各エントリの識別子である。物理メモリＩＤ１８１及び物理アドレス１８２は、物理メモリＩＤ１８１で識別されるメモリ９において、物理アドレス１８２から所定サイズのキャッシュ領域１２が、そのエントリの対象となる記憶領域であることを示している。
使用中フラグ１８３は、当該エントリの対象となるキャッシュ領域１２に格納されたキャッシュ情報の有無を示す。使用開始時刻１８４は、当該キャッシュ領域１２に、現在のキャッシュ情報が格納された時刻を示す。最終アクセス時刻１８５は、ホスト計算機１が当該エントリのキャッシュ領域１２を最後にアクセスした時刻を示す。使用開始時刻１８４と最終アクセス時刻１８５は、時分秒の形式で例示しているものの、年月日があっても良い。
ダーティデータフラグ１８６は、当該エントリのキャッシュ情報がダーティデータであるか否かを示す。ダーティデータフラグ１８６がＯＮの場合、すなわち当該エントリのキャッシュ情報がダーティデータである場合、当該キャッシュ情報が最新のライトデータであり、ドライブ４には更新前の古いデータがあることを示す。ダーティデータフラグがＯＦＦの場合、すなわち当該エントリのキャッシュ情報がダーティデータでない場合、当該キャッシュ情報が最新データであり、またドライブ４にも最新データがあることを示す。
キャッシュヒット回数１８７は、所定の単位時間内において、ホスト計算機１からのリード要求に対して、当該リード要求にかかるデータがキャッシュ領域１２に存在した回数である。このキャッシュヒット回数１８７は、各ストレージ装置２が有するカウンタにより計測しても良い。所定の単位時間におけるキャッシュヒット回数１８７は、カウンタの回数と、カウンタの計測時間から算出しても良い。
本実施例では、アクセス頻度を、所定の単位時間におけるキャッシュヒット回数１８７として説明する。また、本実施例で、アクセス頻度が低いとは、所定の単位時間におけるキャッシュヒット回数１８７が小さいこととして説明する。比較対象は、他ストレージ装置２または自ストレージ装置２の他メモリ９である。ただし、アクセス頻度は、この例に限定されない。例えば、アクセス頻度を、最終アクセス時刻１８５としても良い。この場合、アクセス頻度が低いとは、最終アクセス時刻１８５が古いことである。
図６は、論理ボリューム管理テーブル２６の構成を示す図である。論理ボリューム管理テーブル２６は、各論理ボリューム１０を識別する論理ボリュームＩＤ２６０と、キャッシュ保証量２６１と、論理ボリュームアドレス２６２と、キャッシュＩＤ（Ａ）２６３と、キャッシュＩＤ（Ｂ）２６４と、ドライブＩＤ２６５と、ドライブアドレス２６６と、を対応づける管理情報である。
ストレージ装置２は、論理ボリュームＩＤ２６０と論理ボリュームアドレス２６２が示す論理ボリューム１０の記憶領域を、所定のサイズごとに管理する。図６の一例では、所定サイズは「０ｘ１０００」として表されている。論理ボリュームＩＤ２６０は、論理ボリューム１０の識別子である。キャッシュ保証量２６１は、当該論理ボリューム１０に設定されたキャッシュ保証量を示す。論理ボリュームアドレス２６２は、当該論理ボリューム１０におけるアドレスを示す。
キャッシュＩＤ（Ａ）２６３と、キャッシュＩＤ（Ｂ）２６４とは、当該論理ボリュームアドレス２６２に対応するキャッシュ領域１２である。キャッシュＩＤ（Ａ）２６３と、キャッシュＩＤ（Ｂ）２６４とがいずれも設定されている場合、これらのキャッシュ領域１２にライトデータがあることを示している。キャッシュＩＤ（Ｂ）２６３は、ライトデータの二重化先のキャッシュ領域１２を示しており、リードデータの場合には、設定されない。また、キャッシュＩＤ（Ａ）２６３と、キャッシュＩＤ（Ｂ）２６４とがいずれも設定されている場合、キャッシュ領域１２にデータがないことを示す。
ドライブＩＤ２６５は、ドライブ４を識別する識別子である。ドライブアドレス２６６は、当該ドライブ４における物理アドレスであり、論理ボリュームＩＤ２６０及びアドレス２６２で指定されるデータが格納されるドライブ４上の物理記憶領域を示す。
以下、ホスト計算機１がストレージ装置２へのデータアクセスしたとき、ストレージ装置２が実行するデータアクセス処理について述べる。ストレージ装置２は、ホスト計算機１から、論理ボリューム１０のＩＤとアドレスを指定するデータアクセス要求を受信する。ストレージ装置２は、指定された論理ボリューム１０のアドレスに対応づけられたキャッシュのアドレス、ドライブ４のアドレスを特定する。具体的には、論理ボリューム管理テーブル２６を参照して、データアクセス要求で指定された論理ボリュームＩＤ２６０と論理ボリュームアドレス２６２に対応づけられたキャッシュＩＤ（Ａ）２６３とキャッシュＩＤ（Ｂ）２６４、ドライブＩＤ２６５とドライブアドレス２６６を取得する。取得したキャッシュＩＤ（Ａ）２６３とキャッシュＩＤ（Ｂ）２６４はそれぞれ、キャッシュ管理テーブル１８におけるキャッシュＩＤ１８０に対応する。
ここで、ホスト計算機１からのリード要求に対して、当該リード要求にかかるデータがキャッシュ領域１２に存在する確率（以降、キャッシュヒット率と呼ぶ）が高いほど、リード要求に対する応答は高性能となる。ただし、キャッシュ領域１２は、複数の論理ボリューム１０間の共有資源であり、全てのキャッシュＩＤ１８０のエントリについての使用中フラグ１８３がＯＮ（使用中）の場合には、任意のエントリのキャッシュ情報を削除して、新しいキャッシュ情報を格納する。この結果、ある論理ボリューム１０へのデータアクセスによって、他の論理ボリューム１０のキャッシュヒット率が低下する場合がある。ユーザはサービス毎に異なる論理ボリューム１０を使用する場合があり、サービス間での性能の干渉を抑えたい要求がある。
そこで、ストレージ装置２は、論理ボリューム１０毎に使用可能なキャッシュ領域１２の最低容量を保証する機能を提供する。例えば、図６のように、ユーザによって設定されるキャッシュ保証量２６１を、論理ボリューム１０毎に記憶し、削除するキャッシュ情報を選択する際、削除後もキャッシュ保証量２６１を満たせるか否かを判定する。満たせる場合には当該キャッシュ情報を削除し、満たせない場合には他のキャッシュ情報を削除対象とする。
図７は、論物変換テーブル３５の構成を示す図である。論物変換テーブル３５は、各種プログラムが認識するデータの格納先である論理メモリＩＤ３５０及び論理アドレス３５１と、これらが示すデータが実際に格納されている格納先として、ストレージ装置２を識別するストレージＩＤ３５２と、当該ストレージ装置２における物理メモリＩＤ３５３と物理アドレス３５４とを対応づける管理情報である。各ストレージ装置２のプロセッサ８は、論理メモリＩＤ３５０と論理アドレス３５１と、ストレージＩＤ３５２と物理メモリＩＤ３５３と物理アドレス３５４への変換、または逆変換を、論物変換テーブル３５を用いて、適宜実行する。
前述のＳ１０２及びＳ１０３で、コピー先ストレージ装置２が、当該コピー先ストレージ装置２のメモリ９のキャッシュ領域１２の少なくとも一部を解放し、コピー対象管理情報を格納する処理について述べた。本処理について、以下具体的に説明する。コピー先ストレージ装置２は、論理ボリューム管理テーブル２６において、削除対象のキャッシュ情報が格納されたキャッシュ領域１２のキャッシュＩＤ（Ａ）２６３とキャッシュＩＤ（Ｂ）２６４を「なし」に設定し、当該キャッシュ領域１２の使用を停止する。さらに、コピー先ストレージ装置２は、キャッシュ管理テーブル１８を参照し、削除対象のキャッシュＩＤ１８０について、物理メモリＩＤ１８１と物理アドレス１８２が示す領域を管理情報のコピー先として記憶して、当該エントリを削除する。
そして、コピー先ストレージ装置２は、Ｓ１１のステップで記憶した管理情報のコピー先に、管理情報をコピーする。具体的には、ストレージ装置２は、管理情報配置テーブル１３を参照し、論理メモリＩＤ（Ａ）１３１又は論理メモリＩＤ（Ｂ）１３３の値が使用不能となるメモリＩＤとなっているエントリを検索する。ストレージ装置２は、当該エントリのアクセス可能なメモリアドレスを使用して管理情報をリードし、Ｓ１１のステップで記録した管理情報のコピー先にライトする。その後、ストレージ装置２は、コピー先のメモリＩＤとメモリアドレスを当該エントリの使用不能となる論理メモリＩＤと論理メモリアドレスに上書きする。
以降、ストレージ装置２の減設処理（図８）及び障害処理（図９）について述べる。これらの処理の主体となるストレージ装置２は、ストレージシステムのいずれのストレージ装置２でも良い。ただし、障害が発生したストレージ装置２以外のストレージ装置２で行われるのが望ましい。例えば、減設するストレージ装置２または障害が発生したストレージ装置２が有する管理情報のコピーを有しているストレージ装置２でこれらの処理を実行しても良い。また、各ストレージ装置２と接続し、ストレージシステムを管理する管理計算機がある場合、管理計算機が各ストレージ装置２と連携して、これらの処理を実行しても良い。
また、減設処理または障害処理を開始する契機は、これらの処理を実行するストレージ装置２が、減設するストレージ装置２または障害が発生したストレージ装置２から、減設通知または障害通知を受領した時や、ユーザの管理端末から減設処理または障害処理の実行を指示された時であっても良い。また、各ストレージ装置２間で通信時にあるストレージ装置２が、他のストレージ装置２の障害を検出したときに、障害処理を実行しても良い。
図８は、ストレージ装置２の減設処理を示すフローチャートである。複数のストレージ装置２のうち、１以上のストレージ装置２を減設する場合の処理について述べる。
ストレージ装置２は、各ストレージ装置２における管理情報の容量（以後、管理情報量という。）とキャッシュ保証量の合計、また減設後のメモリ量の合計（以後、減少後のメモリ量という。）を算出する。ストレージ装置２は、減少後のメモリ量が、管理情報量とキャッシュ保証量の合計（以後、必要なメモリ量という。）を上回るか否かを判定する（Ｓ１）。ここで、必要なメモリ量と減少後のメモリ量について、ストレージ装置２は、各ストレージ装置２の管理情報配置テーブル１３とキャッシュ管理テーブル１８と論理ボリューム管理テーブル２６とに基づいて算出しても良い。または、ストレージ装置２は、各ストレージ装置２に対して、メモリ量と管理情報量とキャッシュ保証量を返却するように要求し、各ストレージ装置２から返却されたメモリ量、管理情報量とキャッシュ保証量に基づいて、必要なメモリ量と減少後のメモリ量を算出しても良い。
減少後のメモリ量が必要なメモリ量を上回る場合、減設対象のストレージ装置２のメモリ９に格納された管理情報を、他のストレージ装置２のメモリ９に退避する退避処理を実行する（Ｓ２）。この管理情報の退避処理（Ｓ２）は、図１を用いて前述したとおりである。その後、ユーザの管理端末に対して、ストレージ装置２の減設が可能であることを示す情報を表示しても良い（Ｓ３）。ユーザは、その表示内容を確認した上で、ストレージ装置２を減設可能となる。
Ｓ１の判定で、減少後のメモリ量が必要なメモリ量を上回らない場合、減設すると必要な情報を残りのストレージ装置２のメモリ９に格納できないために減設できない旨を、ユーザの管理端末に表示しても良い（Ｓ４）。このとき、ストレージ装置２は、例えば、ユーザに対して減設後にどの程度メモリ量が不足するかを示す情報を表示しても良い。ユーザは、その表示内容を参照することで、キャッシュ保証量２８の見直しなどを実行して必要なメモリ量を減少させたうえで、ストレージ装置２に再び減設処理を実行させることができる。
図９は、ストレージ装置２の障害処理を示すフローチャートである。複数のストレージ装置２のうち、１以上のストレージ装置２で障害が発生した場合の処理について述べる。
ストレージ装置２は、他ストレージ装置２における障害を検出すると、図８のＳ１のステップと同じ処理を実行する。Ｓ１の判定で、必要なメモリ量を上回る場合、Ｓ２の管理情報の退避処理を実行する。
Ｓ１の判定で、必要なメモリ量を上回らない場合、障害時のポリシを参照する（Ｓ５）。障害時のポリシとは、管理情報の二重化とキャッシュ保証量の両立ができない場合に信頼性と性能のどちらを優先するかを定めた情報であり、ユーザによって設定される。
性能優先のポリシの場合（Ｓ５ Ｎｏ）、管理情報を一重状態のままとし、信頼性を回復させない（Ｓ８）。このステップＳ８では、例えば、ストレージ装置２は、ユーザの管理端末に対して、メモリ量の不足によって信頼性を回復できない旨を表示しても良い。また、ストレージ装置２は、キャッシュ保証量の見直しや、早期に障害部品の交換作業を促す情報を、ユーザの管理端末に表示しても良い。
Ｓ５において信頼性優先のポリシであった場合（Ｓ５ Ｙｅｓ）、キャッシュ保証量のうち、実際に使用しているキャッシュ量のみを必要なメモリ量と見なして、必要なメモリ量を再計算する（Ｓ６）。具体的には、論理ボリューム管理テーブル２６の論理ボリュームＩＤ２６０ごとに、キャッシュＩＤ（Ａ）２６３とキャッシュＩＤ（Ｂ）２６４の有無を集計し、使用中のキャッシュ量を算出する。算出した使用中のキャッシュ量とキャッシュ保証量２６１を比較し、小さい値を当該論理ボリューム１０で保証すべきメモリ量とする。管理情報配置テーブル１３のサイズ１３５の２倍と、論理ボリューム１０ごとの保証すべきメモリ量との合計を必要なメモリ量とし、減少後のメモリ量と比較する。
減少後のメモリ量が再計算した必要なメモリ量を上回る場合（Ｓ６ Ｙｅｓ）、Ｓ２の管理情報の退避処理を実行する。減少後のメモリ量が再計算した必要なメモリ量を上回らない場合（Ｓ６ Ｎｏ）、Ｓ８のステップを実行する。
これにより、サービスの性能よりもサービスの信頼性を優先するユーザの要求を満たせる。また、ホスト計算機１のデータアクセスパタンが変わらない限り、使用するキャッシュ量は増加しないため、性能を低下させることなく、信頼性を維持できる。
Ｓ２のステップ実行後、管理情報の信頼性回復を完了する（Ｓ７）。Ｓ７のステップでは、例えば、ストレージ装置２は、障害の発生と信頼性が回復されたことを示す情報を、ユーザの管理端末に表示しても良い。また、ストレージ装置２は、障害の発生していないストレージ装置２をそのまま動作させても良いことを、ユーザの管理端末に表示しても良い。また、ストレージ装置２は、ユーザの管理端末に、障害部品の交換作業を促す情報を表示しても良い。
図１０は、アクセス性能の低下量予測処理のフローチャートである。以下、アクセス性能の低下量が、キャッシュヒット率の低下量であるときの例を述べる。本処理は、コピー先候補ストレージ装置の其々で実行する。そのため、コピー先候補ストレージ装置の其々のメモリ９のキャッシュ領域１２の使用状態に基づいて、キャッシュヒット率の低下を抑えるように、コピー先ストレージ装置及び解放するキャッシュ領域１２を決定することができる。
まず、コピー先候補ストレージ装置２は、コピー対象管理情報の容量を取得する（Ｓ１４）。図１の例で説明したように、ストレージ装置Ａが、コピー先候補ストレージ装置Ｃ、Ｄの其々に、コピー対象管理情報（共有管理情報Ｘ）の容量を通知することにより実行されても良い。または、コピー先候補ストレージ装置が、管理情報配置テーブル１３を参照して、論理メモリＩＤ（Ａ）１３１又は論理メモリＩＤ（Ｂ）１３３の値が使用不能となるメモリＩＤとなっているエントリを検索する。当該エントリのサイズ１３５の合計値を、コピー対象管理情報の容量としても良い。コピー対象管理情報の容量を、この時点での「削除するキャッシュ情報量」とする。
次に、コピー先候補ストレージ装置２は、個別管理情報であるキャッシュ管理テーブル１８を用いて、自身が有する全メモリ９のキャッシュ領域１２を使用頻度の低い順序に並び替える（Ｓ１５）。これは、キャッシュヒット率を低下させにくい順にキャッシュ情報を並び替えることを目的としており、例えば、キャッシュ管理テーブル１８の最終アクセス時刻１８５の順に並び替える。他にも、最終アクセス時刻１８５が同じ場合には、使用開始時刻１８４の古い方を優先して並び替える方法、キャッシュヒット回数１８７の少ない方を優先して並び替える方法、などがあり、過去のキャッシュの使用状況を使用する限り、その方法はＳ１５のステップに記載に限定されない。
コピー先候補ストレージ装置２は、Ｓ１５のステップで並び替えた使用頻度の低い順にキャッシュ領域１２を特定し（Ｓ１６）、当該キャッシュ領域１２を確保する必要があるか否かを判定する（Ｓ１７）。具体的には、コピー先候補ストレージ装置２は、キャッシュ管理テーブル１８を参照して、取り出したキャッシュ領域１２に合致するエントリを特定し、当該エントリＩＤ１８０を持つ論理ボリューム管理テーブル２６のエントリを特定する。コピー先候補ストレージ装置２は、特定したエントリにおいて、キャッシュＩＤ（Ａ）２６３とキャッシュＩＤ（Ｂ）２６４が示すキャッシュ領域１２の割り当て量とキャッシュ保証量２６１を比較する。コピー先候補ストレージ装置２は、当該キャッシュ領域１２を解放しても、論理ボリューム１０のキャッシュ領域１２の割り当て量がキャッシュ保証量２６１を下回らない場合（Ｓ１７ Ｎｏ）、保証不要と判定してＳ１８のステップを実行する。一方、論理ボリューム１０のキャッシュ領域１２の割り当て量がキャッシュ保証量２６１を下回る場合（Ｓ１７ Ｙｅｓ）、コピー先候補ストレージ装置２は、保証要と判断してＳ１６のステップを実行する。
コピー先候補ストレージ装置２は、Ｓ１７のステップで確保不要と判定した後、当該キャッシュ領域１２を削除対象に設定（Ｓ１８）し、「削除するキャッシュ情報量」から当該キャッシュ領域１２のサイズを減算して、更新する（Ｓ１９）。更新した「削除するキャッシュ情報量」が０より大きい場合、さらにキャッシュ情報を削除する必要があると判定してＳ１６のステップを実行する（Ｓ２０ Ｙｅｓ）。
更新した「削除するキャッシュ情報量」が０以下の場合、（Ｓ２０ Ｎｏ）、コピー先候補ストレージ装置２は、キャッシュ管理テーブル１８を参照して、削除対象キャッシュ領域１２における所定の単位時間あたりのキャッシュヒット回数１８７の合計を、当該ストレージ装置が所定の単位時間あたりに受信したリード回数、すなわちリード要求の数で割ることで、アクセス性能の低下量の予測値を算出する（Ｓ２００）。ただし、アクセス性能の低下量の予測値は、他の方法で算出しても良く、Ｓ２００の記載に限定されない。
図１１は、キャッシュ情報の再配置処理のフローチャートである。本処理は、コピー先ストレージ装置で実行する。本処理により、コピー対象管理情報を格納するために必要な連続したメモリ領域を確保し、またキャッシュ領域１２の解放後のアクセス性能の低下を抑えることができる。
以下の説明では、簡単化のために削除対象のキャッシュ領域１２を一か所に再配置する処理を説明するものの、一か所に限定されるものではない。また、コピー対象管理情報を複数のメモリ領域に分けて管理できるならば、複数のメモリ領域に再配置しても良いし、コピー対象管理情報をキャッシュ領域１２の連続したメモリ領域に配置できるならば再配置そのものを実行しなくても良い。ただし、複数のメモリ領域に細かく分けてコピー対象管理情報を管理するほど、細分化された管理情報の格納先メモリを記憶するためのメモリ消費量が増大する。例えば、管理情報配置テーブル１３のエントリが増加する。このため、ある程度の大きな連続領域で管理情報を格納することで、メモリ９の使用効率を向上できる。
まず、コピー先ストレージ装置２は、使用可能なメモリ９を選択（Ｓ２１）し、削除対象のキャッシュ領域１２を列挙する（Ｓ２２）。
次に、コピー先ストレージ装置２は、削除対象のキャッシュ領域１２の密度が高い領域を再配置先のキャッシュ領域１２に設定する（Ｓ２３）。これは、再配置するキャッシュ情報の数を少なくすることを目的としている。
コピー先ストレージ装置２は、列挙したキャッシュ領域１２の先頭を取り出し（Ｓ２４）、再配置先のメモリ領域外にあるか否かを判定する（Ｓ２５）。コピー先ストレージ装置２は、再配置先のメモリ領域外にある場合（Ｓ２５ Ｙｅｓ）、削除対象でなくかつ領域内にあるキャッシュ情報と取り出したキャッシュ情報とのデータを交換する（Ｓ２６）。具体的には、コピー先ストレージ装置２は、キャッシュ管理テーブル１８のエントリ間で物理アドレス１８２が示す領域のキャッシュ情報を相互に移動した上で、エントリ間で物理アドレス１８２、使用開始時刻１８４、最終アクセス時刻１８５、ダーティデータフラグ１８６、アクセスヒット回数１８７も相互に移動する。なお、この処理はキャッシュ情報の配置変更であり、キャッシュ領域１２へのデータアクセスではないため、使用開始時刻１８４や最終アクセス時刻１８５は変更しない。
コピー先ストレージ装置２は、Ｓ２５のステップにて再配置先のメモリ領域内と判定された場合（Ｓ２５ Ｎｏ）、又はＳ２６のステップを実行した場合、キャッシュ管理テーブル１８を参照して、Ｓ２４のステップで取り出したキャッシュ領域１２に対応するエントリのダーティデータフラグ１８６を参照する（Ｓ２７）。
コピー先ストレージ装置２は、ダーティデータフラグ１８６がＯＮの場合（Ｓ２７ Ｙｅｓ）、ドライブ４のデータは旧データであり、当該キャッシュ領域１２のキャッシュ情報が最新データであるため、キャッシュ情報を削除する前に、キャッシュ情報をドライブ４に格納する（Ｓ２８）。具体的には、コピー先ストレージ装置２は、論理ボリューム管理テーブル２６を参照して、キャッシュＩＤ（Ａ）２６３と（Ｂ）２６４の値が当該キャッシュのＩＤ１８０と合致するエントリを特定する。特定したエントリのドライブＩＤ２６５とドライブアドレス２６６が示す領域に、当該キャッシュ情報を格納する。その後、ダーティデータフラグ１８６をＯＦＦに設定する。これにより、当該キャッシュ領域１２のキャッシュ情報を削除できる。
コピー先ストレージ装置２は、ダーティデータフラグ１８６がＯＦＦの場合（Ｓ２７ Ｎｏ）、ドライブ４のデータに最新データであるため、当該キャッシュ領域１２のキャッシュ情報を削除できる。
そして、列挙したキャッシュ領域１２の残りがあるか否かを確認する（Ｓ２９）。残りがあれば（Ｓ２９ Ｙｅｓ）、Ｓ２４のステップを実行する。残りがなければ（Ｓ２９ Ｎｏ）、処理を終了する。
なお、本実施例では、キャッシュ情報の再配置処理において、再配置先のメモリ領域内外のキャッシュ情報の交換（Ｓ２６）、ドライブへの最新データとなるキャッシュ情報の格納（Ｓ２８）、キャッシュ情報の削除（Ｓ１０２）の順で処理を説明した。しかし、Ｓ２８のステップ、Ｓ１０２のステップを先に実行すると、Ｓ２６のステップでは再配置先のメモリ領域内の削除対象でないキャッシュ情報を領域外の空き領域に移動すれば良く、キャッシュ情報の交換に比べて、データコピー回数を減らすことができる。削除するキャッシュ領域１２をキャッシュヒット率が低下しにくいように選択し、削除した領域にコピー対象管理情報の二重化するという限り、処理の順序は記載のみに限定されるものではない。
図１０で説明したアクセス性能の低下量予測処理と、図１１のキャッシュ情報の再配置処理を実行することにより、コピー先ストレージ装置２は、以下の処理を実行する。コピー先ストレージ装置２のプロセッサ８は、キャッシュ管理テーブル１８を用いて、当該コピー先ストレージ装置のメモリ９のキャッシュ領域１２を複数の小領域に分けて、各小領域のアクセス頻度を管理する。ここで、小領域とは、キャッシュ管理テーブルのキャッシュＩＤ１８０の各エントリで管理されるキャッシュ領域１２である。コピー先ストレージ装置２は、各小領域のアクセス頻度に基づいて、アクセス頻度の低い小領域に格納されたキャッシュ情報の使用を停止することで、キャッシュ領域１２の少なくとも一部を解放する。ここで、コピー先ストレージ装置２のプロセッサ８は、論理ボリューム管理テーブル２６を用いて、論理ボリューム１０に設定されるキャッシュ保証量２６１を管理し、キャッシュ領域１２のアクセス頻度の低い小領域を解放してもキャッシュ保証量を満たす場合に、当該小領域に格納されたキャッシュ情報の使用を停止する。これにより、コピー先ストレージ装置において、キャッシュ領域１２を解放した後のアクセス性能の低下を抑えることができる。
また、コピー先ストレージ装置を決定する処理（Ｓ１００）において、過去にメモリ障害が発生したストレージ装置２をコピー先ストレージ装置としないことで、今後の障害における管理情報の退避処理を省略できる可能性がある。例えば、サービスの成長に合わせて、ストレージ装置２を徐々に増設した場合、新旧のメモリ９が混在するストレージ装置となる。ここで、初期購入した比較的古いストレージ装置２のあるメモリ９に障害が発生した場合に、当該ストレージ装置２の別のメモリ９のキャッシュ領域１２を解放して管理情報をコピーしても、当該メモリ９も故障したメモリ９と同様に比較的古いため、障害が発生する可能性が高い。このため、比較的新しい他のストレージ装置２のメモリ９のキャッシュ領域１２を優先的に解放して管理情報をコピーしても良い。
Ｓ１０３の管理情報のコピー処理では、前述のように、コピー先ストレージ装置は、解放したキャッシュ領域１２にコピー対象管理情報を格納する。このとき、管理情報配置テーブル１３の論理メモリＩＤ１３１と論理アドレス１３２を変更しても良い。しかし、ストレージ装置２で実行される各種プログラムが共有管理情報の格納先である論理メモリＩＤ１３１と論理アドレス１３２を静的に記憶している場合、又はプログラム初期起動時に管理情報配置テーブル１３から過去に読み込んだ値を再利用している場合、Ｓ１０３のステップでコピー対象管理情報の格納先が変わると、当該コピー対象管理情報へのアクセスができなくなる。
そこで、本実施例では、Ｓ１０３のステップでコピー対象管理情報の格納先が変わった場合に、管理情報配置テーブル１３の論理メモリＩＤ１３１と論理アドレス１３２を変更せず、論物変換テーブル３５を更新する。具体的には、コピー先ストレージ装置２は、構成情報配置テーブル１３及び論物変換テーブル３５を用いて、障害が発生したストレージ装置２または減設するストレージ装置２において、コピー対象管理情報が格納されたメモリ９の論理メモリＩＤ１３１と論理アドレス１３２を特定する。コピー先ストレージ装置２は、論物変換テーブル３５において、特定した論理メモリＩＤ１３１と論理アドレス１３２に対するエントリに対し、自身のストレージＩＤ３５２、コピー対象管理情報の格納先である自身のメモリ９の物理メモリＩＤ３５３及び物理アドレス３５４に更新する。
また、論物変換テーブル３５は、全てのストレージ装置２がそれぞれ有する統合管理情報であるため、各ストレージ装置２の論物変換テーブル３５を更新する。例えば、コピー先ストレージ装置２は、コピー対象管理情報の格納先（ストレージＩＤ３５２、物理メモリＩＤ３５３、物理アドレス３５４）を、複数のストレージ装置２の少なくとも一部または全部に通知することで、各ストレージ装置２の論物変換テーブル３５を更新する。例えば、通知先のストレージ装置２は、使用を停止するストレージ装置２と当該通知先のストレージ装置２自身以外のストレージ装置２に、コピー対象管理情報の格納先を通知する。通知されたストレージ装置２は、其々論物変換テーブル３５を更新する。
図１２は、論物変換テーブル３５を用いた共有管理情報へのアクセス処理を示すフローチャートである。本処理は、各ストレージ装置２で実行される。例えば、ストレージ装置２のプロセッサ８で実行されるプログラムが論理メモリＩＤと論理アドレスを指定して共有管理情報にアクセスしようとすると、以下に示す共有管理情報へのアクセス処理を実施する。
まず、ストレージ装置２は、論物変換テーブル３５を参照して、指定された論理メモリＩＤと論理アドレスに合致するエントリを、管理情報配置テーブル１３から検索する（Ｓ３０）。ストレージ装置２は、合致するエントリがあれば（Ｓ３０ Ｙｅｓ）、指定された論理メモリＩＤ１３１と論理アドレス１３２は管理情報格納領域と判定してＳ３１のステップを実施する。ストレージ装置２は、合致するエントリがなければ（Ｓ３０ Ｎｏ）、管理情報格納領域でないと判定してデータアクセス失敗とする（Ｓ３４）。
Ｓ３１のステップでは、ストレージ装置２は、論物変換テーブル３５を参照して、指定された論理メモリＩＤと論理アドレスに合致する論理メモリＩＤ３５０と論理アドレス３５１を持つエントリを検索する。
次に、ストレージ装置２は、Ｓ３１のステップで検索したエントリにおけるストレージＩＤ３５２と、物理メモリＩＤ３５３と物理アドレス３５４が示すメモリ領域のデータにアクセスし（Ｓ３２）、データアクセス成功とする（Ｓ３３）。
以上のように、論物変換テーブル３５を設けることで、ストレージ装置２のプロセッサ８で実行されるプログラムは、Ｓ１０３により共有管理情報の格納場所が変更されても、同じ論理メモリＩＤ１３１と論理アドレス１３２を使って管理情報にアクセスできる。
これまで、ストレージ装置２の減設や障害によって、使用可能なメモリ９が減少する場合に、管理情報の二重化を継続する方法を述べた。ここで、ストレージ装置２の増設や、障害回復によって使用可能なメモリ９が増加する場合には、ストレージ装置２は増加したメモリ９にキャッシュ情報を格納することで性能向上を図る。ただし、メモリ障害時処理のＳ８のステップを実施して管理情報が二重化されていない状態であれば、増加したメモリ９を管理情報の退避先に選択し、Ｓ１０３のステップにより管理情報を二重化して信頼性を回復しても良い。
また、ストレージシステムの管理情報配置テーブル１３及び論物変換テーブル３５の通常時（ストレージ装置障害発生前または減設前等）の状態を記憶しておき、ストレージ装置障害発生後または減設後に、ストレージシステムに１以上のストレージ装置２を増設するとき、通常時の状態に復旧しても良い。例えば、ストレージシステムに１以上のストレージ装置２を増設するとき、増設するストレージ装置２が有するメモリ９に、前記統合管理情報と、コピー対象管理情報を格納し、コピー先ストレージ装置２が有するメモリ９のうち、コピー対象管理情報が格納された領域を解放し、前記キャッシュ情報を格納しても良い。
以上の説明では、ストレージシステムが有する各情報について、テーブルなどの表現で説明する場合があるが、各情報のデータ構造は限定されず、他のデータ構造であってもよい。各情報はデータ構造に依存しないため、例えば、「ｋｋｋテーブル」を「ｋｋｋ情報」と呼ぶことができる。
また、以上の説明において、プロセッサ８は、プログラムを実行し、記憶資源（例えば、メモリ９）及び／又は通信インターフェイスデバイス（例えば、通信ポート）等を用いながら処理を行う。プロセッサ８を主体とする処理は、１以上のプログラムを実行する事によりおこなわれると解釈されてもよい。また、ストレージ装置２を主体とする処理は、当該ストレージ装置２のプロセッサ８を主体として実行されると解釈されてもよい。プロセッサ８は、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなマイクロプロセッサであるが、処理の一部（例えば、暗号化／復号化、圧縮／伸張）を実行するハードウェア回路を含んでもよい。
１ ホスト計算機、２ ストレージ装置、３ ネットワーク、４ ドライブ、５ ストレージコントローラ、６ サーバＩ／Ｆ、７ ドライブＩ／Ｆ、８ プロセッサ、９ メモリ、１０ 論理ボリューム、１１ 管理情報格納領域、１２ キャッシュ領域、４０ 装置間結合Ｉ／Ｆ、４１ ネットワーク

Claims (15)

  1. 第１ストレージ装置を含む複数のストレージ装置を備えるストレージシステムであって、
    前記複数のストレージ装置の其々は、管理情報を格納する管理情報格納領域とキャッシュ情報を格納するキャッシュ領域とを有するメモリと、前記キャッシュ領域の状態を管理するプロセッサと、を備え、
    前記第１ストレージ装置のメモリの使用を停止するとき、前記複数のストレージ装置の少なくとも一部のプロセッサは、前記第１ストレージ装置以外の前記ストレージ装置が其々管理する前記キャッシュ領域の状態に基づいて、前記使用を停止するメモリが格納する管理情報であるコピー対象管理情報のコピー先となるコピー先ストレージ装置を決定し、
    前記コピー先ストレージ装置のプロセッサは、前記コピー先ストレージ装置のメモリのキャッシュ領域の少なくとも一部を解放して、前記解放したキャッシュ領域に、前記コピー対象管理情報を格納する
    ことを特徴とするストレージシステム。
  2. 前記管理情報は、前記複数のストレージ装置が稼動しているとき、前記複数のストレージ装置の前記メモリの少なくともいずれかに格納され、前記複数のストレージ装置の少なくともいずれかのプロセッサが当該メモリから参照可能な情報であり、
    前記キャッシュ情報は、前記複数のストレージ装置の少なくともいずれかが備える記憶デバイスに同じデータが格納されている場合、前記複数のストレージ装置のいずれのメモリからも削除可能な情報であり、
    前記キャッシュ領域の状態は、前記キャッシュ領域のアクセス頻度の情報を少なくとも含み、
    前記複数のストレージ装置に、前記使用を停止するメモリが格納する管理情報のコピー先の候補となるコピー先候補ストレージ装置が複数ある場合、前記少なくとも一部のプロセッサは、
    前記コピー先候補ストレージ装置が其々管理する前記キャッシュ領域のアクセス頻度に基づいて、前記コピー先候補ストレージ装置の其々に前記コピー対象管理情報をコピーした場合のアクセス性能の低下量を予測し、
    前記複数のコピー先候補ストレージ装置のうち、前記予測したアクセス性能の低下量の低いストレージ装置を、前記コピー先ストレージ装置に決定する
    ことを特徴とする請求項１に記載のストレージシステム。
  3. 前記複数のストレージ装置は、前記第１ストレージ装置と第２ストレージ装置と前記コピー先ストレージ装置を少なくとも備え、
    前記第１ストレージ装置のメモリと前記第２ストレージ装置のメモリに、前記コピー対象管理情報を其々格納することで、前記コピー対象管理情報を冗長化しており、
    前記第１ストレージ装置のメモリの使用を停止するとき、前記コピー先ストレージ装置のメモリに前記コピー対象管理情報を格納することで、前記第２ストレージ装置のメモリと前記コピー先ストレージ装置のメモリで前記コピー対象管理情報を冗長化し、
    前記コピー先ストレージ装置は、前記コピー対象管理情報の格納先を、前記複数のストレージ装置の少なくとも一部に通知する
    ことを特徴とする請求項２に記載のストレージシステム。
  4. 前記コピー先候補ストレージ装置は、前記複数のストレージ装置のうち、前記第１ストレージ装置と前記第２ストレージ装置以外の少なくとも２以上のストレージ装置であり、
    前記少なくとも２以上のコピー先候補ストレージ装置は其々、前記アクセス性能の低下量を予測して、前記第２ストレージ装置に前記予測した低下量を送信し、
    前記第２ストレージ装置は、前記少なくとも２以上のコピー先候補ストレージ装置其々で予測した低下量に基づき、前記予測したアクセス性能の低下量の低いコピー先候補ストレージ装置を、前記コピー先ストレージ装置に決定し、
    前記コピー先ストレージ装置は、前記第２ストレージ装置から前記コピー対象管理情報をコピーする
    ことを特徴とする請求項３に記載のストレージシステム。
  5. 前記複数のストレージ装置のそれぞれのメモリに格納する管理情報は、
    前記複数のストレージ装置がそれぞれ有する統合管理情報と、
    他ストレージ装置から参照可能な共有管理情報と、
    各ストレージ装置で個別に管理する管理情報であって、当該ストレージ装置の前記キャッシュ領域のアクセス頻度の情報を含む個別管理情報と、
    を有し、
    前記コピー対象管理情報は、前記第１ストレージ装置及び前記第２ストレージ装置其々のメモリに格納された前記共有管理情報である
    ことを特徴とする請求項４に記載のストレージシステム。
  6. 前記コピー先ストレージ装置のプロセッサは、前記コピー先ストレージ装置のメモリのキャッシュ領域を複数の小領域に分けて、各小領域のアクセス頻度を管理し、
    前記各小領域のアクセス頻度に基づいて、アクセス頻度の低い小領域に格納されたキャッシュ情報の使用を停止することで、前記キャッシュ領域の少なくとも一部を解放する
    ことを特徴とする請求項５に記載のストレージシステム。
  7. 前記コピー先ストレージ装置のプロセッサは、前記コピー対象管理情報を格納するキャッシュ領域が連続した領域となるように、前記アクセス頻度に基づいて、前記コピー先ストレージ装置のキャッシュ情報の再配置を実行する
    ことを特徴とする請求項６に記載のストレージシステム。
  8. 前記コピー先ストレージ装置は、ホスト計算機に提供する論理ボリュームを構成する１以上の記憶デバイスをさらに有し、
    前記コピー先ストレージ装置のプロセッサは、
    前記論理ボリュームに設定されるキャッシュ保証量を管理し、
    前記コピー先ストレージ装置のメモリのキャッシュ領域が有する小領域であって、当該小領域を解放しても前記キャッシュ保証量を満たす場合に、当該小領域に格納されたキャッシュ情報の使用を停止する
    ことを特徴とする請求項６に記載のストレージシステム。
  9. 前記複数のストレージ装置の其々は、メモリを複数有し、
    各ストレージ装置は、当該ストレージ装置で個別に管理する前記個別管理情報を、当該ストレージ装置内の異なるメモリに格納することで冗長化する
    ことを特徴とする請求項５に記載のストレージシステム。
  10. 前記複数のストレージ装置の其々は、メモリを有するコントローラを複数備え、
    各ストレージ装置は、当該ストレージ装置で個別に管理する前記個別管理情報を、当該ストレージ装置内の異なるコントローラのメモリに格納することで冗長化する
    ことを特徴とする請求項９に記載のストレージシステム。
  11. 前記第１ストレージ装置のメモリの使用を停止するときは、前記第１ストレージ装置で障害が発生したとき、または第１ストレージ装置を減設するときである
    ことを特徴とする請求項５に記載のストレージシステム。
  12. 各ストレージ装置の前記管理情報は、いずれかのプロセッサで実行されるプログラムと、前記いずれかのプログラムの実行に用いられる情報と、の少なくともいずれか一方を含み、
    各ストレージ装置の前記キャッシュ情報は、当該ストレージ装置に接続するホスト計算機からのライト要求に基づくライトデータと、当該ホスト計算機からのリード要求への応答に用いるリードデータと、の少なくともいずれか一方を含む
    ことを特徴とする請求項５に記載のストレージシステム。
  13. 前記ストレージシステムに１以上のストレージ装置を増設するとき、
    前記増設するストレージ装置が有するメモリに、前記統合管理情報と、前記コピー対象管理情報を格納し、
    前記コピー先ストレージ装置が有するメモリのうち、前記コピー対象管理情報が格納された領域を解放し、前記キャッシュ情報を格納する
    ことを特徴とする請求項５に記載のストレージシステム。
  14. 管理情報を格納する管理情報格納領域とキャッシュ情報を格納するキャッシュ領域とを有するメモリと、前記キャッシュ領域の状態を管理するプロセッサと、を其々備える複数のストレージ装置に接続する接続部と、
    前記複数のストレージ装置のうちの１つのストレージ装置のメモリの使用を停止するとき、前記１つのストレージ装置以外のストレージ装置であって、当該ストレージ装置のメモリのキャッシュ領域の少なくとも一部を解放して、前記使用を停止するメモリが格納する管理情報をコピーするストレージ装置を、前記１つのストレージ装置以外のストレージ装置が其々管理する前記キャッシュ領域の状態に基づいて決定する制御部と、
    を備えることを特徴とするストレージ装置。
  15. 複数のストレージ装置と、前記複数のストレージ装置間を接続するネットワークと、を備えるストレージシステムの制御方法であって、
    前記複数のストレージ装置は、第１ストレージ装置と第２ストレージ装置を含む４以上のストレージ装置を少なくとも備え、
    前記複数のストレージ装置の其々は、管理情報を格納する管理情報格納領域とキャッシュ情報を格納するキャッシュ領域とを有するメモリと、前記キャッシュ領域のアクセス頻度を管理するプロセッサと、を備え、
    前記第１ストレージ装置のメモリと前記第２ストレージ装置のメモリに、同一の管理情報を其々格納することで、前記同一の管理情報を冗長化しており、
    前記第１ストレージ装置のメモリの使用を停止するとき、前記第１ストレージ装置と前記第２ストレージ装置以外の少なくとも２以上のストレージ装置が、前記同一の管理情報のコピー先の候補となるコピー先候補ストレージ装置であり、
    前記少なくとも２以上のコピー先候補ストレージ装置は其々、当該コピー先候補ストレージ装置が管理する前記キャッシュ領域のアクセス頻度に基づいて、当該コピー先候補ストレージ装置に前記同一の管理情報をコピーした場合のアクセス性能の低下量を予測して、前記第２ストレージ装置に前記予測した低下量を送信し、
    前記第２ストレージ装置は、前記少なくとも２以上のコピー先候補ストレージ装置其々で予測した低下量に基づき、前記予測したアクセス性能の低下量の低いコピー先候補ストレージ装置を、コピー先ストレージ装置に決定し、
    前記コピー先ストレージ装置は、前記コピー先ストレージ装置のメモリのキャッシュ領域の少なくとも一部を解放して、前記第２ストレージ装置から前記同一の管理情報をコピーして、前記解放したキャッシュ領域に格納し、
    前記同一の管理情報は、前記第２ストレージ装置のメモリと前記コピー先ストレージ装置のメモリの間で冗長化される
    ことを特徴とするストレージシステムの制御方法。
JP2017532241A 2015-07-31 2015-07-31 ストレージ装置、ストレージシステム、ストレージシステムの制御方法 Active JP6437656B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/071736 WO2017022002A1 (ja) 2015-07-31 2015-07-31 ストレージ装置、ストレージシステム、ストレージシステムの制御方法

Publications (2)

Publication Number Publication Date
JPWO2017022002A1 JPWO2017022002A1 (ja) 2018-04-26
JP6437656B2 true JP6437656B2 (ja) 2018-12-12

Family

ID=57942542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532241A Active JP6437656B2 (ja) 2015-07-31 2015-07-31 ストレージ装置、ストレージシステム、ストレージシステムの制御方法

Country Status (3)

Country Link
US (1) US10725878B2 (ja)
JP (1) JP6437656B2 (ja)
WO (1) WO2017022002A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076534A (ko) * 2018-12-19 2020-06-29 에스케이하이닉스 주식회사 데이터 저장 장치 및 그 동작 방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3054902B1 (fr) * 2016-08-04 2019-06-21 Thales Procede et dispositif de distribution de partitions sur un processeur multi-coeurs
US11341251B2 (en) 2017-04-19 2022-05-24 Quintessencelabs Pty Ltd. Encryption enabling storage systems
US11379155B2 (en) 2018-05-24 2022-07-05 Alibaba Group Holding Limited System and method for flash storage management using multiple open page stripes
CN111902804B (zh) 2018-06-25 2024-03-01 阿里巴巴集团控股有限公司 用于管理存储设备的资源并量化i/o请求成本的系统和方法
US11327929B2 (en) 2018-09-17 2022-05-10 Alibaba Group Holding Limited Method and system for reduced data movement compression using in-storage computing and a customized file system
US11061735B2 (en) 2019-01-02 2021-07-13 Alibaba Group Holding Limited System and method for offloading computation to storage nodes in distributed system
US10860223B1 (en) 2019-07-18 2020-12-08 Alibaba Group Holding Limited Method and system for enhancing a distributed storage system by decoupling computation and network tasks
JP7226557B2 (ja) * 2019-07-30 2023-02-21 日本電信電話株式会社 キャッシュ使用指標算出装置、キャッシュ使用指標算出方法、および、キャッシュ使用指標算出プログラム
US11617282B2 (en) 2019-10-01 2023-03-28 Alibaba Group Holding Limited System and method for reshaping power budget of cabinet to facilitate improved deployment density of servers
US11055190B1 (en) * 2020-01-03 2021-07-06 Alibaba Group Holding Limited System and method for facilitating storage system operation with global mapping to provide maintenance without a service interrupt
US11449455B2 (en) 2020-01-15 2022-09-20 Alibaba Group Holding Limited Method and system for facilitating a high-capacity object storage system with configuration agility and mixed deployment flexibility
US11379447B2 (en) 2020-02-06 2022-07-05 Alibaba Group Holding Limited Method and system for enhancing IOPS of a hard disk drive system based on storing metadata in host volatile memory and data in non-volatile memory using a shared controller
US11449386B2 (en) 2020-03-20 2022-09-20 Alibaba Group Holding Limited Method and system for optimizing persistent memory on data retention, endurance, and performance for host memory
US11385833B2 (en) 2020-04-20 2022-07-12 Alibaba Group Holding Limited Method and system for facilitating a light-weight garbage collection with a reduced utilization of resources
US11301173B2 (en) 2020-04-20 2022-04-12 Alibaba Group Holding Limited Method and system for facilitating evaluation of data access frequency and allocation of storage device resources
US11281575B2 (en) 2020-05-11 2022-03-22 Alibaba Group Holding Limited Method and system for facilitating data placement and control of physical addresses with multi-queue I/O blocks
US11461262B2 (en) 2020-05-13 2022-10-04 Alibaba Group Holding Limited Method and system for facilitating a converged computation and storage node in a distributed storage system
US11494115B2 (en) 2020-05-13 2022-11-08 Alibaba Group Holding Limited System method for facilitating memory media as file storage device based on real-time hashing by performing integrity check with a cyclical redundancy check (CRC)
US11556277B2 (en) 2020-05-19 2023-01-17 Alibaba Group Holding Limited System and method for facilitating improved performance in ordering key-value storage with input/output stack simplification
US11507499B2 (en) 2020-05-19 2022-11-22 Alibaba Group Holding Limited System and method for facilitating mitigation of read/write amplification in data compression
US11263132B2 (en) 2020-06-11 2022-03-01 Alibaba Group Holding Limited Method and system for facilitating log-structure data organization
US11422931B2 (en) 2020-06-17 2022-08-23 Alibaba Group Holding Limited Method and system for facilitating a physically isolated storage unit for multi-tenancy virtualization
US11354200B2 (en) 2020-06-17 2022-06-07 Alibaba Group Holding Limited Method and system for facilitating data recovery and version rollback in a storage device
US11354233B2 (en) 2020-07-27 2022-06-07 Alibaba Group Holding Limited Method and system for facilitating fast crash recovery in a storage device
US11372774B2 (en) 2020-08-24 2022-06-28 Alibaba Group Holding Limited Method and system for a solid state drive with on-chip memory integration
US11487465B2 (en) 2020-12-11 2022-11-01 Alibaba Group Holding Limited Method and system for a local storage engine collaborating with a solid state drive controller
US11734115B2 (en) 2020-12-28 2023-08-22 Alibaba Group Holding Limited Method and system for facilitating write latency reduction in a queue depth of one scenario
US11416365B2 (en) 2020-12-30 2022-08-16 Alibaba Group Holding Limited Method and system for open NAND block detection and correction in an open-channel SSD
US11726699B2 (en) 2021-03-30 2023-08-15 Alibaba Singapore Holding Private Limited Method and system for facilitating multi-stream sequential read performance improvement with reduced read amplification
US11461173B1 (en) 2021-04-21 2022-10-04 Alibaba Singapore Holding Private Limited Method and system for facilitating efficient data compression based on error correction code and reorganization of data placement
US11476874B1 (en) 2021-05-14 2022-10-18 Alibaba Singapore Holding Private Limited Method and system for facilitating a storage server with hybrid memory for journaling and data storage

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4060552B2 (ja) * 2001-08-06 2008-03-12 株式会社日立製作所 記憶装置システム、および、記憶装置システムの構成方法
US7162587B2 (en) * 2002-05-08 2007-01-09 Hiken Michael S Method and apparatus for recovering redundant cache data of a failed controller and reestablishing redundancy
JP4454299B2 (ja) * 2003-12-15 2010-04-21 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の保守方法
JP4631301B2 (ja) 2004-03-31 2011-02-16 株式会社日立製作所 記憶装置のキャッシュ管理方法
US7441081B2 (en) * 2004-12-29 2008-10-21 Lsi Corporation Write-back caching for disk drives
JP4688514B2 (ja) 2005-02-14 2011-05-25 株式会社日立製作所 ストレージ制御装置
JP2015517697A (ja) * 2012-05-23 2015-06-22 株式会社日立製作所 二次記憶装置に基づく記憶領域をキャッシュ領域として用いるストレージシステム及び記憶制御方法
US20150312337A1 (en) * 2014-04-25 2015-10-29 Netapp Inc. Mirroring log data
US9824041B2 (en) * 2014-12-08 2017-11-21 Datadirect Networks, Inc. Dual access memory mapped data structure memory

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076534A (ko) * 2018-12-19 2020-06-29 에스케이하이닉스 주식회사 데이터 저장 장치 및 그 동작 방법
KR102648790B1 (ko) * 2018-12-19 2024-03-19 에스케이하이닉스 주식회사 데이터 저장 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US10725878B2 (en) 2020-07-28
WO2017022002A1 (ja) 2017-02-09
JPWO2017022002A1 (ja) 2018-04-26
US20180322024A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
JP6437656B2 (ja) ストレージ装置、ストレージシステム、ストレージシステムの制御方法
US8069191B2 (en) Method, an apparatus and a system for managing a snapshot storage pool
JP4890033B2 (ja) 記憶装置システム及び記憶制御方法
US8219777B2 (en) Virtual storage systems, virtual storage methods and methods of over committing a virtual raid storage system
JP4961319B2 (ja) 仮想ボリュームにおける仮想領域に動的に実領域を割り当てるストレージシステム
JP6441171B2 (ja) メモリシステム
US8250284B2 (en) Adaptive memory allocation of a second data storage volume based on an updated history of capacity of a first data volume
US20150081971A1 (en) Storage system and storage control method
JP5317807B2 (ja) ファイル制御システムおよびそれに用いるファイル制御計算機
US20120011326A1 (en) Storage system and method for changing configuration of cache memory for storage system
JP5531091B2 (ja) 計算機システム及びその負荷均等化制御方法
JP2011076286A (ja) ボリューム割り当てを管理する計算機システム及びボリューム割り当て管理方法
JP2020101949A (ja) ストレージシステム及びストレージシステム制御方法
JP2007249573A (ja) 自動拡張可能なボリュームに対して最適なｉ／ｏコマンドを発行するストレージシステム及びその制御方法
JP2009146228A (ja) バックアップ装置、バックアップ方法およびバックアッププログラム
JP2020047215A (ja) ストレージシステム及びストレージ制御方法
JP2008210031A (ja) ストレージシステムの記憶領域管理方法
US9400723B2 (en) Storage system and data management method
JP6142599B2 (ja) ストレージシステム、ストレージ装置および制御プログラム
US20160259571A1 (en) Storage subsystem
JP2005092308A (ja) ディスク管理方法およびコンピュータシステム
JP6163855B2 (ja) ストレージシステム、制御装置、制御プログラムおよび制御方法
JP2021099723A (ja) 分散ストレージシステム、データ制御方法及び記憶媒体
US11789613B2 (en) Storage system and data processing method
JP6675466B2 (ja) メモリシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181114

R150 Certificate of patent or registration of utility model

Ref document number: 6437656

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150