JPWO2015008375A1 - ストレージ装置および記憶制御方法 - Google Patents

ストレージ装置および記憶制御方法 Download PDF

Info

Publication number
JPWO2015008375A1
JPWO2015008375A1 JP2015527122A JP2015527122A JPWO2015008375A1 JP WO2015008375 A1 JPWO2015008375 A1 JP WO2015008375A1 JP 2015527122 A JP2015527122 A JP 2015527122A JP 2015527122 A JP2015527122 A JP 2015527122A JP WO2015008375 A1 JPWO2015008375 A1 JP WO2015008375A1
Authority
JP
Japan
Prior art keywords
data
semiconductor storage
storage
ssd
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015527122A
Other languages
English (en)
Other versions
JP6381529B2 (ja
Inventor
貴記 松下
貴記 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2015008375A1 publication Critical patent/JPWO2015008375A1/ja
Application granted granted Critical
Publication of JP6381529B2 publication Critical patent/JP6381529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0616Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0223User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023Free address space management
    • G06F12/0238Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0679Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0688Non-volatile semiconductor memory arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72Details relating to flash memory management
    • G06F2212/7201Logical to physical mapping or translation of blocks or pages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72Details relating to flash memory management
    • G06F2212/7211Wear leveling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

ストレージ装置が、半導体記憶デバイスと、半導体記憶デバイスに接続され半導体記憶デバイスが提供する論理記憶領域に対してデータを格納するストレージコントローラとを有する。半導体記憶デバイスは、1以上の不揮発性の半導体記憶媒体と半導体記憶媒体に接続された媒体コントローラとを有する。媒体コントローラは、論理記憶領域に格納されるデータを圧縮し圧縮されたデータを半導体記憶媒体に格納する。論理記憶領域の論理アドレス空間の大きさは、半導体記憶媒体の物理アドレス空間の大きさの合計よりも大きい。

Description

本発明は、複数の不揮発性の半導体記憶デバイスを有するストレージ装置の記憶制御に関する。
ストレージ装置は、一般に、データを格納する物理記憶デバイスと、物理記憶デバイスを制御するコントローラとを有する。コントローラは、ストレージ装置に接続された計算機(例えばホスト計算機)にデータ格納空間(一般に論理ボリューム)を提供する。
ストレージ装置は、複数の物理記憶デバイスをRAID(Redundant Array of Independent(or Inexpensive)Disks)構成で使用することにより、I/O処理を高速化したり、物理記憶デバイスの故障に対する高い耐障害性を発揮したりすることができる。
ストレージ装置は、物理記憶デバイスとして一般にHDD(Hard Disk Drive)を搭載しているが、近年、HDDに変わる新しい物理記憶デバイスとして、フラッシュメモリ(以下、FM)を有する物理記憶デバイス、例えば、SSD(Solid State Drive)が注目されている。
SSDは、HDDに比べI/O処理が非常に高速であるというメリットを有しているが、データの書き込み回数には上限があり、HDDに比べ寿命が短いというデメリットも有している。以下、SSDのデメリットについて説明する。
フラッシュメモリ(典型的にはNAND型のフラッシュメモリ)は、データを書き換えようとしたとき、そのデータが格納されている物理領域上に、データを直接上書くことができない。その物理領域上のデータに対してデータの書き換えを行うためには、フラッシュメモリの消去単位であるブロックと呼ばれる単位で、その物理領域上のデータに対して消去処理(以下、ブロック消去)を実行した後、ブロック消去が実行された物理領域上にデータを書く必要がある。
しかしながら、各ブロックについてのブロック消去の回数(以下、消去回数)は、フラッシュメモリの物理的な制約から限界がある。そして、ブロックの消去回数がこの限界を超えると、そのブロックにはデータを格納することができなくなってしまう。つまり、SSDを構成する全ブロックの消去回数が限界を超えると、そのSSDの寿命となる。
そこで、一般のSSDでは、ウエアレベリング(以下、WL)とよばれる手法を用いて、SSDの長寿命化が図られている。WLでは、一般に、消去回数が多いブロックには、低頻度で更新されるデータが格納され、消去回数が少ないブロックには、高頻度で更新されるデータが格納される。これにより、ブロック間の消去回数を平準化し、特定のブロックのみが劣化することを抑えることができる。
ストレージ装置の物理記憶デバイスとしてSSDが採用される場合、複数のSSDがストレージ装置に搭載されることが一般的である。このようなストレージ装置においては、各SSDにおいて特定のブロックのみが劣化することを抑えられても、SSD間の負荷に不均衡が生じ、特定のSSDのみに負荷が集中することがある。そこで、SSD間にもWLを適用し、複数のSSD間の消去回数を平準化することで、ストレージ装置全体の長寿命化を実現する手法が、特許文献1および特許文献2に開示されている。以下では、SSDなどの物理記憶デバイス間で行われるWLを、「寿命平準化」と言う。
寿命平準化では、ストレージ装置のコントローラ(以下、ストレージコントローラ)が、移動対象のSSDと移動対象のデータとを決定する。
特許文献1によれば、ストレージコントローラが、SSDに対して行ったデータ書き込み(以下、WR)の、延べ量を統計情報として記憶し、さらに延べ量をSSDの物理容量で除算することで、平均消去回数を予想し、移動対象データを決定する。
特許文献2によれば、ストレージコントローラが、SSDから消去回数やデータWR量といった内部情報を、ブロックレベルで詳細に取得し、その情報を基に移動対象データを決定する。
次に、データ圧縮について述べる。データ圧縮は、データを圧縮することで物理記憶デバイスに格納するデータ量を削減する技術であり、フットプリントの削減やビットコストの低下を実現する。特許文献3によれば、ストレージコントローラが、ストレージ装置の外部から受け取ったWRデータを圧縮し、圧縮したデータを最終記憶デバイス(例えばHDD又はSSD)に格納する。
特開2007−265265号公報 国際公開第2011/010344号パンフレット 国際公開第2010/086900号パンフレット
今後、SSD自体のビットコスト低下等を目的として、SSDが上述の圧縮機能を有する可能性がある。以下、圧縮機能を有する物理記憶デバイスを圧縮ドライブと呼ぶ。
SSD自体が圧縮機能を搭載する場合、ストレージコントローラは圧縮後のデータを意識する必要がなく、圧縮機能のない記憶デバイスと同様にリード/ライト(以下、R/W)することができる。ストレージコントローラからデータを書き込まれた圧縮ドライブは、内部で圧縮処理を実行し、FMに格納することで、FMの使用量を削減することができる。しかし、ストレージコントローラからは、圧縮ドライブに対して、圧縮ドライブの容量分しかデータを書き込むことができない。つまりストレージコントローラは圧縮ドライブの容量一杯までデータを書き込んだ状態では、圧縮ドライブ内でデータが圧縮されることにより増加した空き容量に対してさらにデータを書き込むことができない。なぜなら、ストレージコントローラが圧縮ドライブに書き込める領域は非圧縮のデータサイズで消費されるためである。
また、特許文献1の手法では、ストレージ装置が記憶するデータWR量と、SSD内部でFMに実際に発生したデータWR量とに乖離が発生し、寿命平準化の効果を十分に発揮できない可能性がある。なぜなら、ストレージ装置が統計情報として把握するデータWR量は非圧縮状態であるのに対し、SSD内部でFMに格納されるデータは圧縮によりサイズが変化している可能性があるためである。
寿命平準化では、ストレージコントローラが、残寿命の短いSSDのなかから延べWR量の多いデータを選択し、残寿命の多いSSDにデータを移動する必要がある。このとき、統計情報で延べWR量が100GBであるデータAと、延べWR量が80GBであるデータBとが、残寿命の短いSSDに格納されていたとすると、従来手法では延べWR量の大きいデータAを移動対象のデータとして選択する。しかし、SSD内部で圧縮され、実際にFMに格納されたデータ量が、データAは圧縮率が良く50GB(圧縮率=50%)、データBは圧縮率が悪く64GB(圧縮率=80%)であったとすると、WLにより残寿命の短いSSDの負荷をさらに増大させる結果を招くことになり、結果としてストレージコントローラは間違ったデータを選択したこととなる。
一方、特許文献2の手法においては、ストレージコントローラがSSDからFMへの実際のWR量を取得するため、圧縮によるデータサイズの変化にも対応することができる。しかし、特許文献2の手法では、ストレージコントローラが、SSDの内部情報を物理ブロック単位で詳細に把握する必要があるため、各SSDの内部情報の量が多くなり、ストレージコントローラに大容量のメモリが必要になる。そして、そのメモリには、各SSDからの膨大な内部情報が格納されるため、ストレージコントローラは消去回数を平準化する際に、メモリに格納された膨大な内部情報を参照する必要がある。このため、ストレージコントローラの負荷が大きくなってしまう。このような問題は、SSD以外の、消去回数に制限のある不揮発性の半導体記憶デバイスを有するストレージ装置についても同様に起こり得る。
ストレージ装置が、半導体記憶デバイスと、半導体記憶デバイスに接続され半導体記憶デバイスが提供する論理記憶領域に対してデータを格納するストレージコントローラとを有する。半導体記憶デバイスは、1以上の不揮発性の半導体記憶媒体と半導体記憶媒体に接続された媒体コントローラとを有する。媒体コントローラは、論理記憶領域に格納されるデータを圧縮し圧縮されたデータを半導体記憶媒体に格納する。論理記憶領域の論理アドレス空間の大きさは、半導体記憶媒体の物理アドレス空間の大きさの合計よりも大きい。
半導体記憶媒体の物理容量より大きな容量の論理記憶領域がストレージコントローラに提供される。これにより、ストレージコントローラは、半導体記憶デバイスの物理容量より大きな容量のデータを半導体記憶デバイスに格納することができる。
図1は、実施形態の概要を示す図である。 図2は、実施例1に係るストレージ装置10を含むストレージシステム10000の構成例を示す図である。 図3は、SSD700の構成例を示す図である。 図4は、フラッシュメモリ780の構成例を示す図である。 図5は、SSD700のアドレス空間の構成例を示す図である。 図6は、容量仮想化技術の概要説明図である。 図7は、データ移動処理によりRG間でデータが移動された場合におけるデータアクセスの概要を説明する図である。 図8は、キャッシュメモリ103の構成例を示す図である。 図9は、Disk管理テーブル13100の構成例を示す図である。 図10は、RG管理テーブル13200の構成例を示す図である。 図11は、Pool管理テーブル13300の構成例を示す図である。 図12は、エントリ管理テーブル13800の構成例を示す図である。 図13は、エクステント管理テーブル13400の構成例を示す図である。 図14は、仮想ボリューム管理テーブル13500の構成例を示す図である。 図15は、統計情報管理テーブル13600の構成例を示す図である。 図16は、実施例1に係るFM WR量予想テーブル13700の構成例を示す図である。 図17は、キャッシュメモリ716の構成例を示す図である。 図18は、論物変換テーブル23100の構成例を示す図である。 図19は、SSD内の統計情報管理テーブル23200の構成例を示す図である。 図20は、SSD内部情報取得コマンド25000と、その応答である実行結果通知コマンド25100の構成例を示す図である。 図21は、ホスト計算機30のライト処理に関わる処理の流れの一例を示すシーケンス図である。 図22は、ホスト計算機30のリード処理に関わる処理の流れの一例を示すシーケンス図である。 図23は、SSD向け非同期処理の一例を示すフローチャートである。 図24は、SSDの寿命予想の概要説明図である。 図25は、実施例1に係る枯渇回避処理の一例を示すフローチャートである。 図26は、実施例1に係る寿命平準化処理の一例を示すフローチャートである。 図27は、実施例1に係るFM WR量予想処理の一例を示すフローチャートである。 図28は、実施例1に係る寿命平準化処理におけるデータ移動処理の一例を示すフローチャートである。 図29は、実施例1に係るI/O性能リバランス処理の一例を示すフローチャートである。 図30は、実施例2に係る統計情報管理テーブル13600の構成例を示す図である。 図31は、実施例2に係るFM WR量予想テーブル13700の構成例を示す図である。 図32は、実施例2に係るWR要求コマンド25200と、応答コマンド25300との構成例を示す図である。 図33は、実施例2に係るFM WR量予想処理の一例を示すフローチャートである。 図34は、実施例3に係るDisk管理テーブル13100の構成例を示す図である。 図35は、実施例3に係るFM WR量予想テーブル13700の構成例を示す図である。 図36は、実施例3に係るFM WR量予想処理の一例を示すフローチャートである。 図37は、実施例1に係る枯渇回避処理におけるデータ移動処理の一例を示すフローチャートである。
以下、幾つかの実施例を説明する。
以下の説明では、「AAAテーブル」の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「AAAテーブル」を「AAA情報」と呼ぶことができる。
また、以下の説明では、要素(例えばエクステント)の識別情報として番号が使用されるが、他種の識別情報(例えば名前、識別子)が使用されてよい。
また、以下、「プログラム」を主語として処理を説明する場合があるが、プログラムは、コントローラ(ストレージコントローラ、又はSSDコントローラ)に含まれるプロセッサ(例えばCPU(Central Processing Unit))によって実行されることで、定められた処理を、適宜に記憶資源(例えばメモリ)及び/又は通信インタフェース装置(例えば通信ポート)を用いながら行うため、処理の主語がコントローラ或いはプロセッサとされてもよい。また、コントローラは、処理の一部又は全部を行うハードウェア回路を含んでもよい。コンピュータプログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ、又は、コンピュータで読取可能な記憶メディアであってもよい。
また、以下の説明では、物理記憶デバイスを「Disk」と便宜上表記することがあるが、この表記は、物理記憶デバイスが有する記憶媒体が必ずしも円盤状の記憶媒体であることを意味しない。物理記憶デバイスは、例えば、SSDでもよい。
また、以下の説明では、期間或いは時間を用いるが、期間或いは時間の単位は、以下の例に限定されない。例えば、期間或いは時間の単位は、年、月、日、時、分、秒のうちのいずれか1つ或いはいずれか2以上の組合せであってもよい。
また、以下の説明では、SSDに含まれる不揮発半導体記憶媒体は、フラッシュメモリ(FM)であるとする。そのフラッシュメモリは、ブロック単位で消去が行われ、ページ単位でR/Wが行われる種類のフラッシュメモリ、典型的にはNAND型のフラッシュメモリであるとする。しかし、フラッシュメモリは、NAND型に代えて他種のフラッシュメモリ(例えばNOR型)でもよい。また、フラッシュメモリに代えて、他種の不揮発半導体記憶媒体、例えば相変化メモリが採用されてもよい。
また、NAND型のフラッシュメモリは、一般に、複数のブロック(物理ブロック)で構成されている。各ブロックは、複数のページ(物理ページ)で構成されている。1以上のSSD(例えば後述のRAIDグループ)に基づく論理ページ群(論理的な記憶空間)が提供されてよい。何のデータも書き込まれていない物理ページを、「空きページ」と言うことができる。各論理ページについて、最近書き込まれたデータを「有効データ」と言い、有効データが書き込まれたことにより旧いデータとなったデータを「無効データ」と言うことができる。また、有効データが格納されている物理ページを「有効ページ」と言うことができ、無効データが格納されている物理ページを「無効ページ」と言うことができる。
まず、実施形態の概要を説明する。
図1は、実施形態の概要を示す図である。
ストレージ装置10は、ストレージコントローラ100と、複数の物理記憶デバイス(Disk)11を備える。各物理記憶デバイス11は、2以上の論理記憶領域の基になっている。論理記憶領域は、後述のエクステント70でもよいし、ストレージ装置10に接続されている上位装置(例えばホスト計算機)に提供される論理ボリューム(LU:Logical Unit)の全部或いは一部でもよい。複数の物理記憶デバイス11は、RAIDグループ(RG)50を構成する。ストレージコントローラ100は、上位装置からのI/O要求に伴う処理とは別に、RAIDグループ50間でエクステント70を移動することで、RAIDグループ50の枯渇回避処理、寿命平準化処理、及びI/O性能平準化(リバランス)処理(入出力平準化処理)を行う。ここで、RAIDグループが半導体記憶ユニットの一例である。なお、半導体記憶ユニットを1つの物理記憶デバイス11としてもよい。
まず、ストレージコントローラ100は、各物理記憶デバイス11から各物理記憶デバイスに関する内部情報を取得する。例えば、物理記憶デバイス11がSSD(フラッシュメモリを有する記憶デバイス)であれば、内部情報は、各種容量情報(全体容量、実使用量、データ圧縮後にフラッシュメモリに書き込まれたデータの総量など)と寿命に関する情報などである。
ストレージコントローラ100は、これらの内部情報とI/O量に関する統計情報に基づいて、RGの枯渇リスクを算出し、枯渇回避処理の実行要否を判断する。枯渇リスクは、例えばRGのWRI/O量÷RG実空き容量で算出する。枯渇回避処理では、まず、ストレージコントローラ100は、枯渇リスクが高く近い将来RG枯渇が発生しWRを受け付けられなくなってしまうRG50と、枯渇リスクが低くRG枯渇までの時間が長いと予想されるRG50とを特定する。
次に、ストレージコントローラ100は、枯渇リスクが高いRG50から枯渇リスクが低いRG50へ移動するデータ量(移動データ量)を決定する。移動データ量はユーザが設定する枯渇リスクに関する閾値(たとえばRG使用量90%など)を下回るだけの移動量でもよいし、RG50間で枯渇リスクを平準化することのできる移動量でもよい。
次に、ストレージコントローラ100は、決定した移動データ量だけデータを移動する。ここで、データを移動させる際の記憶領域の範囲を「エクステント」と呼ぶ。エクステントは、参照符号70に示すように、複数の物理記憶デバイス11(例えば、SSD)にまたがったアドレス範囲(論理領域)である。フラッシュメモリのブロック単位や、ページ単位という小さい単位では、データ移動のための負荷が大きくなる。これに対して、ブロック及びページよりも大きい単位であって、複数のRG50にまたがったエクステントという単位でデータ移動を行うことでストレージコントローラ100のデータ移動のための負荷を抑えることができる。
ストレージコントローラ100は枯渇回避処理実行後、または枯渇回避処理が不要だと判断した場合、RG50の残寿命を算出し、寿命平準化処理の実行要否を判断する。RG50の残寿命としては、例えば、RG50を構成する物理記憶デバイス11(ここでは、SSD)の残寿命情報の最小値をRG50の残寿命とする。または、RG50の残寿命としては、RG50を構成する物理記憶デバイス11(SSD)の残寿命の平均値としてもよい。寿命平準化処理では、まず、ストレージコントローラ100は、残寿命が短く、近い将来寿命を迎え、使用不可となってしまうSSDで構成されたRGと、残寿命が長いSSDで構成されたRGとを特定する。
次に、ストレージコントローラ100は、残寿命の短いRGの中でWR負荷が高いエクステントと、残寿命の長いRGの中でWR負荷が低いエクステントとを決定し、それらエクステントのデータを交換する。
具体的には、WR負荷を判断するために、ストレージコントローラ100は、エクステント毎にWRデータ量を計測する。例えば、SSDへのWRデータ量が多いと、ブロックの書き換えが頻繁に発生し、それに伴ってブロックの消去回数が増加する。ブロックの消去回数が増加すると、そのブロックの消去回数が限界(上限値)に達して、そのブロックへのリード(以下RD)はできるが、WRが不可能となる。そして、このようなブロックが増加したSSDは、使用不可能となる。このため、ストレージコントローラ100が、WRデータ量が多いエクステントを見つけ、そのエクステントに含まれるデータを、短寿命のSSDのRGから、長寿命のSSDのRGへ移動する。
これにより、ストレージコントローラ100の負荷を高くすることなく、SSD間で消去回数を平準化することができる。また、短寿命のSSDのRGにおけるWR I/O量が多いエクステントと、長寿命のSSDのRGにおけるWR I/O量が少ないエクステントとのデータを交換することで、最小の移動データ量で寿命平準化を実現することができる。
ストレージコントローラ100は寿命平準化処理実行後、または寿命平準化処理が不要だと判断された場合、RG50のI/O量を算出し、I/O性能リバランス処理の実行要否を判断する。I/O性能リバランス処理では、まず、ストレージコントローラ100は、I/O量が多く、且つI/O負荷が高いRGと、I/O量が少なく、且つI/O負荷が低いRGを特定する。
次にストレージコントローラ100は、I/O負荷が高いRGの中でI/O負荷が高いエクステントと、I/O負荷が低いRGの中でI/O負荷が低いエクステントとを決定し、それらのエクステントのデータを交換する。
以下、本実施形態の具体例について詳細に説明する。
図2は、実施例1に係るストレージ装置10を含むストレージシステム10000の構成例を示す図である。
ストレージシステム10000は、ストレージ装置10、及びホスト計算機30を備える。ホスト計算機30は、ストレージ装置10を利用する上位装置の一例である。ホスト計算機30は、例えばアプリケーションサーバである。ホスト計算機30と、ストレージ装置10とは、例えば、SAN(Storage Area Network)20を経由して通信可能に接続されている。SAN20としては、例えば、ファイバチャネル、SCSI(Small Computer System Interface)、iSCSI(internet Small Computer System Interface)、USB(Universal Serial Bus)、IEEE1394バス、SAS(Serial Attached SCSI)等を用いることが可能である。また、SAN20に代えて、他種の通信ネットワーク(例えばLAN(Local Area Network))が採用されてもよい。なお、図2の例では、ストレージシステム10000は、ホスト計算機30及びストレージ装置10をそれぞれ1つ備えているが、それらのうちの少なくとも一方を複数備えてもよい。
ホスト計算機30は、ストレージ装置10に対して制御コマンド等を発行する制御ソフトウェア(図示省略)を実行することにより、制御コマンド等をストレージ装置10に発行してストレージ装置10の保守管理をする。この制御コマンドに基づく処理がストレージ装置10で実行されることにより、ストレージ装置10が有するRGのRAIDレベルの変更や、枯渇回避処理、寿命平準化処理、及びI/O性能リバランス処理の各種起動閾値の調整、及び、Pool単位又はRG単位での圧縮機能のON/OFF設定等の種々の作業を行うことができる。なお、RG50は、複数のSSD(又はHDD)で構成され所定のRAIDレベルに従いデータを記憶する物理記憶デバイスグループである。ストレージ装置10に対して制御コマンドを発行する計算機として、ホスト計算機30とは別の計算機が使用されもよい。
ストレージ装置10は、ストレージコントローラ(Storage CTL)100と、ストレージコントローラ100に接続されたDisk Box110とを有する。
ストレージコントローラ100は、ストレージ装置10の動作を制御する。ストレージコントローラ100は、通信インタフェースデバイスと、メモリと、それらに接続された制御デバイスとを有する。通信インタフェースデバイスとして、フロントエンドの通信インタフェースデバイスであるHost I/F101と、バックエンドの通信インタフェースデバイスであるDisk I/F107とがある。メモリとして、キャッシュメモリ103がある。制御デバイスとして、プロセッサ(例えばCPU(Central Processing Unit))104がある。Host I/F101と、キャッシュメモリ103と、プロセッサ104と、Disk I/F107とは、例えばPCI(Peripheral Component Interconnect)のような専用の接続バスで、内部ネットワーク102に接続されており、内部ネットワーク102を介して通信可能である。
キャッシュメモリ103は、例えばDDR3(Double Data Rate3)のようなDRAMである。Host I/F101は、ストレージ装置10をSAN20と接続するためのインタフェースである。内部ネットワーク102は、ストレージ装置10の内部に存在するデバイス同士を接続するためのネットワークである。内部ネットワーク102は、スイッチを含む。内部ネットワーク102に代えて、スイッチ機能やDMA転送、RAID演算等のアシスト機能を有するASIC(Application Specific Integrated Circuit)を用いてもよい。プロセッサ104は、ストレージ装置10の全体を制御する。プロセッサ104は、複数存在してもよい。この場合、複数のプロセッサ104が協調または分担してストレージ装置10を制御するようにしてもよい。キャッシュメモリ103は、プロセッサ104がストレージ装置10を制御するために必要なコンピュータプログラムやデータを記憶する領域を有する。Disk I/F107は、ストレージコントローラ100とDisk Box110とを接続するためのインタフェースである。Disk Box110は、種類の異なるDisk11(例えば、HDD111、SSD700といった不揮発物理記憶デバイス)を複数台備える。Disk Box110において、同じ種類の複数のDiskでRGが構成される。各RGから、ユーザデータの格納空間としての論理ボリュームが提供される。なお、図2では、Disk Box110を構成するDisk11として、HDD111及びSSD700としているが、SSD700のみとしてもよい。
図3は、SSD700の構成例を示す図である。
SSD700は、複数のフラッシュメモリ780と、それらに接続されたSSDコントローラ710とを有する。SSDコントローラ710は、SSD700の動作を制御する。SSDコントローラ710は、通信インタフェースデバイスと、メモリと、それらに接続された制御デバイス、およびデータの圧縮・伸長を実行するハードウェアデバイスとを有する。通信インタフェースデバイスとしては、フロントエンドの通信インタフェースデバイスであるDisk I/F711と、バックエンドの通信インタフェースデバイスであるFlash I/F717とがある。メモリとしては、キャッシュメモリ716がある。制御デバイスとしては、プロセッサ713がある。データの圧縮・伸長を実行するハードウェアデバイスとして、圧縮・伸長回路718がある。なお、データの圧縮・伸長を実行する機能を、プロセッサ713が専用のプログラムを実行することで、ソフトウェア的に実現してもよい。Disk I/F711と、プロセッサ713と、キャッシュメモリ716と、Flash I/F717と、圧縮・伸長回路718とは、内部ネットワーク712を介してそれぞれ接続されている。
Disk I/F711は、ストレージコントローラ100のDisk I/F107と専用の接続バスで接続されている。内部ネットワーク712は、デバイス同士を接続するためのネットワークである。内部ネットワーク712は、スイッチを含んでもよい。また、内部ネットワーク712をスイッチ機能を有したASICで代用してもよい。プロセッサ713は、SSD700全体を制御する。キャッシュメモリ716は、プロセッサ713がSSD700を制御するために必要なコンピュータプログラムやデータを記憶する領域を有する。Flash I/F717は、SSDコントローラ710とフラッシュメモリ780とを接続するためのインタフェースである。
本実施例において、SSD700は、複数のフラッシュメモリ780と、それらを制御するコントローラ710とを備える半導体記憶デバイスであり、外観形状等がフォームファクタに限定されるものではない。また、フラッシュメモリ780には、NORやNANDといった不揮発性の半導体メモリが使用されてよい。また、フラッシュメモリ780に代えて、磁気抵抗メモリであるMRAM(Magnetoresistive random access memory)や、抵抗変化型メモリであるReRAM(resistance random access memory)、強誘電体メモリであるFeRAM(Ferroelectric random access memory)等の各種半導体メモリが使用されてもよい。
図4は、フラッシュメモリ780の構成例を示す図である。
フラッシュメモリ780は、複数のブロック782と、それらに接続されたフラッシュメモリコントローラ(以下、フラッシュコントローラ)781とを有する。フラッシュコントローラ781は、フラッシュメモリ780を制御する。各ブロック782は、複数のページ783により構成される。フラッシュメモリ780からのデータのRD、及びフラッシュメモリ780へのデータのWRは、ページ単位で実行される。データ消去は、ブロック単位で実行される。ページ783は、複数のCode word784により構成されており、Code word784には、ホスト計算機30により格納されたデータと、そのデータを保護するためのエラー訂正符号であるECCとが格納されている。
フラッシュメモリ780は、例えば、NAND型のフラッシュメモリである。NAND型のフラッシュメモリでは、データを上書きすることができない。そのため、フラッシュメモリ780では、データがWRされているページ783に新たなデータをWRする際は、データを消去し、データが消去された消去済みのページ783に対してWRする。
SSDコントローラ710は、SSD700内の複数のブロック782に対して、消去回数の平準化処理を行う。SSDコントローラ710は、更新頻度が小さいデータを消去回数の多いブロック782に格納し、更新頻度が大きいデータを消去回数の少ないブロック782に格納することで、SSD700内のブロック782の消去回数を平準化する。なお、SSDコントローラ710は、WRの際に、消去回数の少ない空きブロック782を選択してデータを格納することで、消去回数の平準化を行ってもよい。この際、複数のブロック782を消去回数に応じて複数のグループに分けて、消去回数が少ないグループからデータを格納するブロック782を選択するようにしてもよい。このように、SSD700内の複数のブロック782の消去回数が平準化されることで、SSD700の長寿命化が達成される。
図5は、SSDのアドレス空間の構成例を示す図である。
SSD700に関して、物理アドレス空間800と、物理アドレス空間800より大きい論理アドレス空間900とが存在する。物理アドレス空間800は、実際のデータが格納される物理記憶領域のアドレス空間である。一方、論理アドレス空間900は、SSD700がストレージコントローラ100に対して提供する一意なアドレス空間である。
SSDコントローラ710は、論理アドレス空間900を、例えば物理ページサイズと同じ大きさを持つ複数個の領域(以下、論理ページ)901、902、903、904等に分割する。ここで、本実施例ではSSD700は、データ圧縮機能を有しているため、論理ページ901のデータは圧縮データ911に、論理ページ902のデータは圧縮データ912に、論理ページ903のデータは圧縮データ913に、論理ページ904のデータは圧縮データ914にそれぞれ変換(圧縮)される。データパターン等によって、圧縮率が変化するため、論理ページを変換した各圧縮データのサイズは一定とは限らず、任意のサイズとなる。各圧縮データは、それぞれCode word(CW)単位で物理ページに格納される。図5では、圧縮データ911はCW7841に、圧縮データ912はCW7842に、圧縮データ913はCW7843とCW7844とに、圧縮データ914はCW7900に格納される。
このように、データ圧縮機能を有しているSSD700では、論理ページと物理ページとは一対一の関係ではなく、実際にFM780に格納される圧縮後の圧縮データに対して物理ページが動的に割り当てられる。また、このSSD700では、論理アドレス空間900を物理アドレス空間800より大きくすることで、ストレージコントローラ100はSSD700が搭載する物理記憶容量以上のデータを書き込むことができる。
ここで、論理アドレス空間900をどの程度の大きさとするかを考える。本実施例では全書き込みデータが圧縮・伸長回路718で圧縮できる最良の圧縮率(たとえば8分の1)で圧縮されることを想定して、論理アドレス空間900の大きさを決定する。この場合には、SSD700は自身が搭載する物理容量の8倍の大きさを持つ論理容量の論理アドレス空間900をストレージコントローラ100に提供する。例えば、物理的に1TBの容量を搭載するSSD700は、例えば最良の圧縮率8分の1だとすると、8TBの論理容量をストレージコントローラ100に提供する。これにより、ストレージコントローラ100は圧縮機能を持たないHDDやSSDと同様に単にデータをライトするだけで、SSD700の実際の物理容量以上のデータを格納することができる。この場合、書き込まれたデータの圧縮率は、データパターン等によって変化するため、実際には8分の1より圧縮率が悪くなることがあり、ストレージコントローラ100からSSD700に対して必ずしも8TBのデータを格納することができない。このように、SSD700の論理容量が満杯になる前に、物理容量が満杯になる状態を枯渇状態と呼ぶ。
ストレージコントローラ100は枯渇状態になったSSD700に対しては、一切データをWRすることができない。枯渇状態のSSD700に対するWRコマンドはエラー応答となる。なぜなら、前述のとおり、NAND型のFM780では、単純にデータを上書きすることができず、データが格納されているページに新たなデータをWRする際は、データを消去し、データが消去された消去済みのページに対してWRする必要があり、枯渇状態のSSD700では、消去済みのページを用意することができないためである。
逆に、非枯渇状態のSSD700に対しては、WRの制限はなく、論理アドレス空間900全面に対してWRすることができる。
そこで、ストレージコントローラ100は、SSD700を枯渇状態にしないよう、後述の枯渇回避処理を実行し、SSD700を常に非枯渇状態に保つようにする。
SSDコントローラ710は、論理アドレス空間900を構成するアドレス範囲(論理記憶領域)と物理アドレス空間800を構成するアドレス範囲(物理記憶領域)とのマッピングを動的に変更することで、SSD700内のWL等を実現することができる。なお、論理アドレス空間900と物理アドレス空間800との対応は、プロセッサ713が後述の論物変換テーブル23100を用いて管理している。本実施例では、ストレージコントローラ100は、SSD700内の論物変換テーブルを直接管理していない。ゆえに、SSD700のプロセッサ713がストレージコントローラ100に対して、SSD内部情報等で通知を行わない限り、ストレージコントローラ100は、論理アドレス空間900と物理アドレス空間800との対応関係を把握することはできない。
次に、容量仮想化技術について説明する。
容量仮想化技術(例えば、Thin Provisioning)とは、ストレージ装置10が有している物理的な容量より大きな仮想的な容量をホスト計算機30側に提供する技術である。ホスト計算機30は、仮想的な論理ボリューム(仮想ボリューム)に対してアクセスする。容量仮想化技術では、ストレージ装置10がWR要求を受けた場合に、WR要求のデータのWR先の仮想的な記憶領域(仮想エクステント)に、物理的な記憶領域が割り当てられる。本実施例では、容量仮想化技術において割り当てられる物理的な記憶領域の単位をエクステント単位とする。また、エクステントのサイズは、数MBから数GBと多様性に富んでいてよい。
図6は、容量仮想化技術の概要説明図である。
同一種類のDisk11(例えばSSD700)でRG(200、300、400)が構成される。1以上のRGを基にPool500が構成される。
エクステント(240、241、241、340、440等)は、Pool500を分割することにより得られた記憶領域(部分記憶領域)、つまり、Pool500の一部である。図6では、Pool500は、RG200、RG300、及びRG400の3つのRGに基づいて構成されている。以下、RG200を例に説明する。
RG200は、Disk210、Disk220、及びDisk230により構成されている。RG200は、RAID5を構築しており、Data(図6のD)及びParity(図6のP)がDisk(210〜230)に格納される。
RG200に基づく記憶領域が複数のエクステント(240、241、242)に分割される。RG200に基づく記憶領域は、複数のSSD700によって提供される論理アドレス空間900に対応する。
エクステントは、SSD700のブロック782よりも大きいサイズの記憶領域である。エクステントのサイズは、例えば、ブロックのN倍(Nは2以上の整数)である。エクステントは、各Diskに存在する論理アドレス空間であるエントリ(例えば、エントリ251、252、253、254、255、256)により構成される。エントリには、複数個のData及びParityが格納される。図6では、例えばエントリ251には、データ211、データ212、パリティ213等が格納され、エントリ252には、データ221、データ223、パリティ222等が格納され、エントリ253には、データ232、データ233、パリティ231等が格納されている。エントリ254、255、及び256も同様に複数個のDataとParityとが格納されている。また、エントリ251及び254は、Disk210内に、エントリ252及び255は、Disk220内に、エントリ253及び256は、Disk230内にそれぞれ構築されている。
図6では、RG200の記憶領域から、エクステント240、エクステント241、及びエクステント242が作成されている。RG300の記憶領域から、エクステント340、エクステント341、及びエクステント342が作成されている。RG400の記憶領域から、エクステント440、エクステント441、及びエクステント442が作成されている。
仮想ボリューム600は、ホスト計算機30がユーザデータを格納するための仮想的な論理ボリュームである。仮想ボリューム600の容量として定義される容量は、ストレージ装置10が有する物理記憶デバイスの容量の合計よりも大きな記憶容量とすることができる。なお、仮想ボリューム600は、任意の数の仮想エクステント(601〜607等)によって構成されている。仮想ボリューム600の記憶領域は、仮想アドレス(仮想ボリュームを構成する論理アドレス)で管理されており、所定の範囲に区切られた仮想アドレスの記憶領域により、仮想エクステントが構成される。図6では、1つの仮想エクステントに対して1つのエクステントが対応付けられているが、1つの仮想エクステントに対して複数のエクステントが対応付けられてもよい。
図6において、実線で示されている仮想エクステント601〜604は、RG200、300、及び400からエクステントが割当てられている仮想エクステントである。すなわち、仮想エクステント601に対してはエクステント341が、仮想エクステント602に対してはエクステント242が、仮想エクステント603に対してはエクステント442が、仮想エクステント604に対してはエクステント240がそれぞれ割当てられている。また、図6において、破線で示されている仮想エクステント605〜607は、データのWR先として指定されたアドレスが属している仮想エクステントではなく、このため、これら仮想エクステント605〜607にはエクステントが未割当てとなっている。
図7は、データ移動処理によりRG間でデータが移動された場合におけるデータアクセスの概要を説明する図である。データ移動処理は、SSD向け非同期処理(図23参照)において実行される。
RG間でデータが移動されると、ホスト計算機30は、データへのアクセス先を移動先のRGへ変更しなければならない。しかし、仮想ボリューム600を用いてアドレスが変換されることで、ホスト計算機30は、アクセス先を変更することなく、移動先のデータへアクセスできる。つまり、ストレージコントローラ100によって、仮想エクステント610の仮想アドレスに対する関連付けが、移動元のエクステント70の論理アドレスから、移動先のエクステント80の論理アドレスへ変更される。従って、SSD向け非同期処理を実行しても、ホスト計算機30は、仮想ボリューム600にアクセスすることで、アクセス先のアドレスを変更する必要はない。なお、本実施例では、アドレス変換に仮想ボリュームを用いているが、これに限られず、仮想ボリュームを用いずにアドレス変換を行うようにしてもよい。
図8は、キャッシュメモリ103の構成例を示す図である。
ストレージコントローラ100のキャッシュメモリ103は、プログラムエリア12000、テーブルエリア13000、及びデータキャッシュエリア14000を有する。プログラムエリア12000及びテーブルエリア13000は、ストレージ装置10を制御するためのプログラムや各種テーブルが格納される領域である。データキャッシュエリア14000は、ユーザデータを一時的に格納するために使用される領域である。
プログラムエリア12000は、Write I/O プログラム12100、Read I/O プログラム12200、寿命管理プログラム12300、SSD情報取得プログラム12400、寿命平準化プログラム12500、枯渇回避プログラム12600、及びI/O性能リバランスプログラム12700を記憶する。
Write I/O プログラム12100は、ホスト計算機30からのWR要求を処理するプログラムである。Read I/O プログラム12200は、ホスト計算機30からのRD要求を処理するプログラムである。寿命管理プログラム12300は、プロセッサ104がSSD700などの各種Diskの寿命を管理するためのプログラムである。SSD情報取得プログラム12400は、SSD700の内部情報を取得するためのプログラムである。寿命平準化プログラム12500は、SSD700の寿命をRG単位に換算し、RGの寿命平準化を実行するためのプログラムである。枯渇回避プログラム12600は、SSD700の容量情報から、RGの枯渇リスクを計算し、枯渇の可能性が高いRGの枯渇回避を実行するプログラムである。I/O性能リバランスプログラム12700は、RGのI/O統計情報から、特定RGが性能ボトルネックとなっていることを検出し、性能平準化を実行するプログラムである。
テーブルエリア13000は、Disk管理テーブル(テーブルをTBLと表記することもある)13100、RG管理テーブル13200、Pool管理テーブル13300、エクステント管理テーブル13400、仮想ボリューム管理テーブル13500、統計情報管理テーブル13600、及びFMライト量予想テーブル13700を有する。
Disk管理TBL13100は、Disk Box110に格納されているDiskに関する情報を格納するテーブルである。RG管理TBL13200は、RAIDグループに関する情報を格納するテーブルである。Pool管理TBL13300は、Pool の情報を格納するテーブルである。エクステント管理TBL13400は、エクステントに関する情報を格納するテーブルである。仮想ボリューム管理TBL13500は、仮想ボリュームに関する情報を格納するテーブルである。統計情報管理TBL13600は、ストレージ装置10のI/O性能に関する各種情報を格納するテーブルである。FMライト量予想TBL13700は、プロセッサ104が寿命平準化処理を実行する際の移動対象データを決定するために、SSD内部のデータ書き込み量を予想する際に使用するテーブルである。
データキャッシュエリア14000には、WR要求及びRD要求に従うユーザデータ14100が一時記憶される。ユーザデータ14100は、ホスト計算機30が使用するデータである。
図9は、Disk管理テーブル13100の構成例を示す図である。
Disk管理TBL13100は、主にストレージコントローラ100が管理する各Diskの枯渇管理および寿命管理を行うための情報(枯渇関連情報、残寿命情報)を管理する。Disk管理TBL13100は、Disk毎に、Disk#13101、Disk Type13102、情報更新日13103、残保証期間13104、予想残寿命13105、圧縮設定13106、FMリード合計量13107、FMライト合計量13108、平均圧縮率13109、残消去回数13110、FM使用量13111、物理容量13112、及び論理容量13113を有する。
Disk#13101は、Diskの識別子であり、ユニークな番号である。Disk Type13102は、Diskの種別を表す。Diskの種別としては、例えば、SSD(SLC)、SSD(MLC)、HDDなどがある。ここで、SSDは、使用するNANDフラッシュメモリの種類により、SLC(Single Level Cell)タイプ、MLC(Multi Level Cell)タイプ、及びTLC(Triple Level Cell)タイプの3種類が存在する。SLCは、高速、長寿命、低容量なフラッシュメモリであり、数十万から数万回オーダーのブロック消去が可能である。MLCは、低速、短寿命、及び大容量なフラッシュメモリであり、数万から数千回オーダーのブロック消去が可能である。TLCはMLCに比べ、さらに、低速、短寿命であるが、大容量なフラッシュメモリであり数千から数百回オーダーのブロック消去が可能である。
情報更新日13103は、Diskに関する情報が更新された最近の日付(例えば、寿命情報等を更新した日付)を表す。残保証期間13104は、ベンダが定めるDiskの保証期間があとどれだけ残っているかを示す。図9の例では、残保証期間13104は、日数として示されている。ここで、Diskの保証期間とは、Diskが正常に動作することが保証された期間(例えば、5年)である。フラッシュメモリは、データの書き込みによる消去回数の増加により劣化し、寿命に到達すると、データのR/Wが不可能、または、データ保持特性が著しく悪化する。よって、Diskを正常に使用可能な期間として、予め消去回数や総WR量等に基づいて閾値が設定される。Diskの使用期間が保証期間を超えた場合は、そのDiskを交換することとなる。
予想残寿命13105は、SSDの残消去回数13110がゼロに到達すると予想される残りの期間を示す。予想残寿命13105は、プロセッサ104(寿命管理プログラム12300)が予想した数値である。ここでは、予想残寿命13105は、日数として示されている。ここで、予想残寿命13105が残保証期間13104を下回るということは、例えばI/Oのばらつきなどにより、特定のSSDに負荷が集中することで、このSSDがベンダの想定よりも高負荷な状態となってしまい、ベンダが保証する使用期限よりも前に、SSDが寿命に到達するということを意味している。寿命平準化処理を実行することで、特定のSSDを含むRGへのWRの集中を回避することができ、SSDの長寿命化を図ることができる。予想残寿命13105は、情報更新日時13103、FMリード合計量13107、FMライト合計量13108、及び残消去回数13110等を基に算出することができる。残寿命期間の算出方法については後述する。
圧縮設定13106は、対象Diskがデータ圧縮機能を有効にしているか否かを示す。圧縮設定13106は、有効(使用)中の場合はON(又はONに相当する数値(例えば「1」))となり、無効(未使用)中の場合はOFF(又はOFFに相当する数値(例えば「0」))となっている。なお、データ圧縮機能のON/OFFの設定については、ストレージ装置10の管理者がホスト計算機30にインストールされた制御ソフトウェア等を介して設定できるようにしてもよい。
FMリード合計量13107は、SSD内に発生したリード量(SSD内のフラッシュメモリから読み出されたデータの量)の積算値であり、SSD内部情報を基に更新される。FMライト合計量13108は、SSD内に発生したWR量(SSD内のフラッシュメモリに書き込まれたデータの量)の積算値であり、SSD内部情報を基に更新される。平均圧縮率13109は、SSD内部でデータが圧縮されることにより、元のサイズに比べて何パーセントのサイズになったかを示す数値である。なお平均圧縮率13109は、各SSDの圧縮率の平均値であり、SSD内部情報を基に更新される。
残消去回数13110は、SSDにおいて実行可能なブロック消去の回数に従う値を示す。本実施例では、残消去回数13110は、予め決まっている消去可能回数に対する残消去回数についての割合(パーセンテージ)となっており、SSD内部情報を基に更新される。残消去回数13110の値がゼロになったとき、フラッシュメモリ内の全てのブロックの消去回数が上限に達したことを示す。
FMリード合計量13107、FMライト合計量13108、平均圧縮率13109及び残消去回数13110は、ストレージコントローラ100が各SSDから取得した情報に基づいて更新される。ストレージコントローラ100は、例えば、S.M.A.R.T.(Self−Monitoring Analysis and Reporting Technology)等の汎用インタフェースを用いて各SSDから情報を取得する。
FM使用量13111は、SSD内に格納されているデータ量を表し、SSD内部情報を基に更新される。物理容量13112は、SSDが搭載する物理容量を表す。論理容量13113は、SSDに対する論理容量を示す。この論理容量は、圧縮・伸長回路718で可能な最良の圧縮率を前提とした容量であって、物理容量より大きな容量である。ストレージコントローラ100は圧縮設定13106がONの場合は、論理容量13113をSSDの容量と認識し、圧縮設定13106がOFFの場合は、物理容量13112をSSDの容量と認識する。
なお、Disk管理TBL13100において、枯渇管理が必要ないDisk(たとえば圧縮設定13106がOFFのSSD)については、平均圧縮率13109、FM使用量13111、及び論理容量13113を、プロセッサ104による取得対象としなくてもよい。また、Disk管理TBL13100において、寿命管理が必要ないDisk(例えば、HDD)については、残保証期間13104、予想残寿命13105、残消去回数13110、及びFM使用量13111を、プロセッサ104による取得対象としなくてもよい。
図10は、RG管理テーブル13200の構成例を示す図である。
RG管理TBL13200は、RG毎に、RG#13201、Disk Type13202、RAID Level13203、RAID構成13204、圧縮設定13205、及びDisk#13206を有する。
RG#13201は、RGの識別子であり、ユニークな番号である。Disk Type13202は、RGを構成するDiskの種別を表す。RGは、同一種類のDiskから構成される。
RAID Level13203は、RGのRAIDレベルを表す。RAIDレベルは、例えば、RAID 1+0、1、3、4、5、6といった種々の値である。RAID構成13204は、RAIDを構成するデータDisk(データを格納するDisk)の数、及びパリティDisk(パリティを格納するDisk)の数を表す。圧縮設定13205は、RGを構成するDiskに対する圧縮機能の設定状況を示す。圧縮設定13205がONである場合には、このRGを構成する全Diskの圧縮設定がONであることを表す。また、圧縮設定13205がOFFである場合には、このRGを構成する全Diskの圧縮設定がOFFであることを表す。Disk#13206は、RGを構成するDiskの番号(Disk#)を表す。Disk#13206は、RAID構成13204が示すDiskの数と同数の有効なDisk#を含む。
図11は、Pool管理テーブル13300の構成例を示す図である。
Pool管理TBL13300は、Pool毎に、Pool#13301、RG#13302、RG残容量13303、及びPool残容量13304を有する。
Pool#13301は、Poolの識別子であり、ユニークな番号である。RG#13302は、Poolを構成する全てのRGのRG番号を表す。RG残容量13303は、RG毎の残容量を表す。Pool残容量13304は、Poolの残容量を表し、Poolを構成するRGのRG残容量13303の合計値に等しい。RG残容量13303及びPool残容量13304は、仮想ボリュームのエクステント未割当領域にデータの書き込みが発生した際に、プロセッサ104(Write I/O プログラム12100)によりデータの書き込みにより減少した値に更新される。
図12は、エントリ管理テーブル13800の構成例を示す図である。
エントリ管理TBL13800は、Disk毎に、Disk#13801、エントリ#13802、サイズ13803、Start―LBA13804、Last―LBA13805、及び割当先エクステント#13806を有する。
Disk#13801は、Diskの識別子(Disk#)であり、ユニークな番号である。エントリ#13802はDisk内に作成されたエントリの識別子(エントリ#)であり、Disk毎にユニークな識別子である。サイズ13803は、エントリの容量(例えばByte単位)を示す。
Start―LBA13804及びLast―LBA13805は、エントリが、何番のLBAから何番のLBAまでのアドレス空間を使用して作成されているかを示す。具体的には、Start―LBA13804は、エントリのアドレス空間の先頭のLBAの番号であり、Last―LBA13805は、エントリのアドレス空間の最後尾のLBAの番号である。
割当先エクステント#13807は、このエントリがエクステントに割当済みであるか否かを示す。具体的には、割当先エクステント#13807は、エクステントに割当済みのエントリである場合に、その割当先のエクステント#であり、エクステントに未割当てのエントリである場合には、未割当てであることを示す「N/A」となる。
図13は、エクステント管理テーブル13400の構成例を示す図である。
エクステント管理TBL13400は、エクステント毎に、エクステント#13401、サイズ13402、Disk#13403、及び割当てエントリ#13404を有する。
エクステント#13401は、エクステントの識別子であり、ユニークな番号である。サイズ13402は、エクステントの容量(例えばByte単位)を表す。Disk#13403、及び割当てエントリ#13404は、エクステントを構築するDiskのDisk#と、エントリのエントリ#とを表す。
図14は、仮想ボリューム管理テーブル13500の構成例を示す図である。
仮想ボリューム管理TBL13500は、仮想ボリューム毎に、LU#13501、仮想容量13502、実使用容量13503、仮想エクステント#13504、及び割当てエクステント#13505を有する。
LU#13501は、仮想ボリュームの識別子(LU#)であり、ユニークな番号である。仮想容量13502は、仮想ボリュームの仮想的な容量である。仮想容量13502に対応する仮想的な容量がホスト計算機30に提供される。実使用容量13503は、仮想ボリュームに実際に割当てられているエクステントの容量の合計値である。
仮想エクステント#13504は、仮想ボリュームに含まれる仮想エクステントの識別子である。図14の例では、LU#0の仮想ボリュームには、仮想エクステント#0〜nが含まれることを示している。仮想エクステント#13504は昇順に並んでおり、ホスト計算機30から発行されるR/Wコマンドで指定されるLBA(Logical Block Address)がどの仮想エクステント#に対応するかを計算によって求めることができる。割当てエクステント#13505は、仮想ボリュームに割り当てられているエクステントの識別子(番号)である。ストレージコントローラ100は、仮想エクステント毎に、エクステントの割当て状態を管理する。図14の例では、仮想エクステント#0には、エクステント#0が割当てられ、仮想エクステント#1には、エクステント#100が割当てられて管理されている。なお、物理的な記憶領域であるエクステントが未割当ての仮想エクステントの仮想エクステント#13504に対応するエクステント#13505は、エクステントが割当てられていないことを示す「―」となる。図14の例では、仮想エクステント#nの仮想エクステントには、エクステントが割当てられていないことを示している。
図15は、統計情報管理テーブル13600の構成例を示す図である。
統計情報管理TBL13600は、各エントリ及び/又はエクステントへのR/W等のアクセス状況に関する情報(入出力量情報)である。ストレージコントローラ100は、エントリ単位でR/W状況を監視しており、統計情報管理TBL13600を構成する。なお、エクステントへのR/Wのアクセス状況は、統計情報管理TBL13600の内容を基に、ストレージコントローラ100が各エクステントに属するエントリの各情報の値を加算することにより、取得することができる。
統計情報管理TBL13600は、Disk毎に、Disk#13601、エントリ#13602、平均WR I/O Size13603、平均RD I/O Size13604、WR比率13605、WR量13606、及びRD量13607を有する。なお、情報項目13601〜13607の少なくとも1つを統計情報と呼ぶ場合がある。
Disk#13601は、Diskの識別子であり、ユニークな番号である。エクステント#13602は、Diskに基づくエクステントの識別子であり、ユニークな番号である。
平均WR I/O Size13603及び平均RD I/O Size13604は、このエントリに発生したWR I/O、及びRD I/OのI/Oサイズの平均値である。WR比率13605は、このエントリに発生したI/O要求のうち、その要求がWRコマンドであった比率である。WR量13606及びRD量13607は、このエントリに発生したWRデータの総量及びRDデータの総量を示す。なお、WR量13606及びRD量13607は、ストレージコントローラ100がSSDに対して依頼したI/O内容を記録した数値であるため、これら数値は圧縮前の値である。本実施例では、統計情報の監視を、エントリ及び/又はエクステント単位とすることで、フラッシュメモリのブロックやページ単位で監視するよりも、監視負荷を低減することができる。
ストレージコントローラ100は、仮想ボリューム管理TBL13500に基づいて、割当て中のエクステントについて、アクセス状況を監視する。統計情報は、仮想ボリュームにエクステントが割当てられた後からの累積値、及びR/Wの傾向である。なお、統計情報は、単位時間当たりの累積値としてもよい。
また、枯渇回避処理、寿命平準化処理、又はI/O性能リバランス処理の実行後、各処理の対象のエクステントの統計情報を、リセットするようにしてもよい。例えば、ストレージコントローラ100は、寿命平準化処理において、移動されたエクステントに関する統計情報のみをリセットしてもよい。
図16は、本実施例におけるFM WR量予想テーブル13700の構成例を示す図である。
FM WR量予想TBL13700は、Disk管理TBL13100及び統計情報管理TBL13600を基に構成される。FM WR量予想TBL13700は、Disk毎に、Disk#13701、エントリ#13702、WR量13703、圧縮率13704、及びFM WR予想量13705を有している。
Disk#13701は、Diskの識別子であり、ユニークな番号である。エントリ#13702は、エントリの識別子であり、ユニークな番号である。
WR量13703は、エントリを書込み先としたWRデータの総量を示す。WR量13703は、FM WR量の予想の際に、統計情報管理TBL13600のWR量13606の値を基に更新される。圧縮率13704は、このDiskにおける圧縮率の平均値であり、SSDから取得した内部情報を基に設定される。圧縮率13704は、FM WR量の予想の際に、Disk管理TBL13100の平均圧縮率13109の値がコピーされて設定される。なお、本実施例では、Disk単位の圧縮率の平均値を使用するため、全エントリの数値はすべて同じ値としている。
FM WR予想量13705は、フラッシュメモリに実際に書き込まれるデータの予想量(FM WR予想量)を示す。本実施例では、或るエントリのWR量13703と、そのエントリが属するDisk全体の平均圧縮率13704とを乗算した値を、このエントリに発生したFM WR予想量とみなす。また、エクステント単位のFM WR予想量は、そのエクステントを構成する1以上のエントリのFM WR予想量の合計をとることで取得することができる。
例えば、或るエクステントへのWR予想量が多いと、そのエクステントの基になっているSSDにおいてブロックに対するデータの書き換えが頻繁に発生し、ブロックの消去回数が増加する。ブロックの消去回数が増加すると、そのブロックを有するSSDの寿命が短くなる。寿命平準化を行う際に、エクステントのWR予想量を基に、移動対象のエクステントを決めることで、精度高くSSD寿命を平準化することができる。なお、移動対象のデータはエントリとしてもよい。
図17は、SSD700におけるキャッシュメモリ716の構成例を示す図である。
キャッシュメモリ716は、プログラムエリア22000、テーブルエリア23000、及びデータキャッシュエリア24000を有する。
プログラムエリア22000及びテーブルエリア23000は、SSD700を制御するためのプログラムや各種テーブルが格納される領域である。データキャッシュエリア24000は、ユーザデータを一時的に格納するための領域である。
プログラムエリア22000は、Write I/O プログラム22100、Read I/O プログラム22200、SSD内WL プログラム22300、空き容量生成プログラム22400、SSD内部情報通信プログラム22500、及び、圧縮・伸長プログラム22600を有する。
Write I/O プログラム22100は、ストレージコントローラ100からのWR要求を処理するプログラムである。Read I/O プログラム22200は、ストレージコントローラ100からのRD要求を処理するプログラムである。SSD内WL プログラム22300は、SSD内部でのWLを実行するためのプログラムである。空き容量生成プログラム22400は、SSD700の空き容量の枯渇を回避するために行われるリクラメーション処理を実行するプログラムである。
SSD内部情報通信プログラム22500は、ストレージコントローラ100の要求に従ってSSDの内部情報を作成し、そのSSD内部情報をストレージコントローラ100に通知するためのプログラムである。圧縮・伸長プログラム22600は、SSDコントローラ710が、プロセッサ713を用いてデータの圧縮・伸長を実行するためのプログラムである。なお、圧縮・伸長プログラム22600を、圧縮・伸長回路718を制御することによってデータの圧縮・伸長を実行するようにしてもよい。
テーブルエリア23000は、論物変換テーブル23100、統計情報管理テーブル23200、及び圧縮設定フラグ23300を有する。
論物変換TBL23100は、SSD700の論理アドレス空間と物理アドレス空間との対応を管理するためのテーブルである。統計情報管理TBL23200は、SSDの統計情報を管理するためのテーブルである。圧縮設定フラグ23300は、SSD700の圧縮設定がONであるか、OFFであるかを示すフラグである。
データキャッシュエリア24000は、ユーザデータ24100を格納する領域である。ここで、ユーザデータ24100は、ブロックに書き込まれるデータ及びブロックから読み出されたデータである。
図18は、論物変換テーブル23100の構成例を示す図である。
論物変換テーブル23100は、Start−LBA23101、Block#23102、Page#23103、及びCord Word(CW)#23104を有する。
Start−LBA23101は、ストレージコントローラ100に提供するLBAの開始位置を示す。なお、フラッシュメモリのI/O単位はページであるため、Start−LBA23101の数値は、ページサイズの倍数で管理されている。Block#23102、Page#23103、及びCW#23104は、Start−LBA23101に対応する物理アドレス空間の情報(ブロック#、ページ#、CW#)を示している。なお、本実施例では、SSDがデータ圧縮機能を有するため、2ページ以上にわたる論理アドレス空間が、1ページの物理ページにマッピングされることがあり得る。図18では、LBA0からLBA8191に対応する論理アドレス空間と、LBA8192からLBA16383に対応する論理アドレス空間が同一の物理ページ(Block#0のPage#0)に格納されていることを示している。また、Start−LBA23101は、論理アドレス空間900に対応しているため、ストレージコントローラ100からのWRが無く実際に物理ページが割り当てられていないものも存在する。この場合には、Start−LBAに対応する物理空間アドレス空間を示すBlock#23102、Page#23103、及びCW#23104は無効な情報である。
図19は、SSD内の統計情報管理テーブル23200の構成例を示す図である。
統計情報管理TBL23200には、ストレージコントローラ100からの要求に応じてプロセッサ713が通知した情報が格納される。統計情報管理TBL23200は、ライト要求合計量23211、リード要求合計量23212、FMライト合計量23213、平均圧縮率23214、FMリード合計量23215、及び残消去回数23216を有する。
ライト要求合計量23211とリード要求合計量23212とは、ストレージコントローラ100がSSD700に対してWR要求したデータと、リード要求したデータとのそれぞれの総量であり、それぞれが、統計情報管理TBL13600内のWR量13606の合計と、RD量13607の合計と同じ値となる。FMライト合計量23213及びFMリード合計量23215は、FM780に実際にWRされたデータの総量及びFM780から実際にRDされたデータの総量である。なお、これらの値には、リクラメーション等、ストレージコントローラ100からのR/W要求以外の処理においてSSD内部で発生するR/W量を含んでいる。FMライト合計量23213は、Disk管理TBL13100のFM使用量13111と同じ値となる。
平均圧縮率23213は、SSD内部でのデータ圧縮処理により得られた圧縮データの、圧縮率の平均値である。残消去回数23216は、FMにデータがWRされることにより発生したFMの消去回数の合計値をベンダがサポートする最大消去回数から引いた値である。統計情報管理TBL23200の数値は、データのR/W、又は消去が発生した際に更新される。
図20は、SSD内部情報取得コマンド25000と、その応答である実行結果通知コマンド25100の構成例を示す図である。
SSD内部情報取得コマンド25000は、ストレージコントローラ100がSSD700に対して送信するコマンドである。
SSD内部情報取得コマンド25000は、例えば、コマンド#25001及び取得対象25002を有している。コマンド#25001はコマンドの識別子(コマンド#)である。取得対象25002は、ストレージコントローラ100がSSDからの取得を希望する対象である項目である。具体的には、取得対象25002は、SSD780の統計情報管理TBL23200に含まれる項目のうち、どの項目の値を必要としているのかを示す。
実行結果通知コマンド25100は、SSD700がストレージコントローラ100に対して送付するコマンドであり、SSD内部情報取得コマンド25000に対する応答内容を含んでいる。実行結果通知コマンド25100は、例えば、コマンド#25101及びDisk内部情報25102を含む。コマンド#25101は、どの要求コマンドに対する応答なのかを示し、要求コマンドに対応するコマンド#25001となっている。Disk内部情報25102は、取得対象25002で指定された内容に対する回答値であり、この値は、SSDの統計情報管理TBL23200から計算、もしくはコピーされた値となっている。
図21は、ホスト計算機30のライト処理に関わる処理の流れの一例を示すシーケンス図である。なお、図21における、ストレージコントローラ100の処理は、Write I/O プログラム12100が実行されることにより実現され、SSDコントローラ710の処理は、Write I/O プログラム22100が実行されることにより実現される。
ホスト計算機30は、WR要求をストレージコントローラ100に送信する(S100)。ストレージコントローラ100は、WR要求を受信し、WR要求が表すWR先範囲(仮想ボリュームのアドレス範囲)にエクステントが割当済みか否かを、仮想ボリューム管理テーブル13500を基に判断する(S101)。なお、ストレージコントローラ100は、WR要求を受信したことを契機として、WR要求が表すWR先範囲にエクステントを割当てることもできる。
この判断の結果、エクステントが既に割当済みである場合(S101:Yes)は、ストレージコントローラ100は、ホスト計算機30へWRデータ送付を促す。一方、エクステントが未割当である場合(S101:No)は、ストレージコントローラ100は、未割当てのエクステントを見つけて、そのエクステントをWR先範囲の仮想エクステントに割り当て(S102)、ホスト計算機30へWRデータ送付を促す。
次に、ホスト計算機30はWRデータを送付し(S103)、ストレージコントローラ100は、受信したデータをキャッシュメモリ103に格納する(S104)。なお、ストレージコントローラ100は、キャッシュメモリ103からSSD700にデータを転送する際に、エクステントを割当ててもよい。
次に、ストレージコントローラ100は、データの格納先となるSSD700のSSDコントローラ710に、キャッシュメモリ103に記憶されたデータと、そのデータについてのWR要求とを送信する(S105)。
SSDコントローラ710は、ストレージコントローラ100からデータ及びWR要求を受信し、自身の圧縮設定フラグ23100を参照して、データ圧縮が有効になっているか否かを判断する(S106)。この結果、データ圧縮が有効となっている場合(S106
:Yes)は、SSDコントローラ710は、データを圧縮し(S107)、論物変換TBL23100を参照し、データの格納先のFM位置(Block#、Page#、及びCW#)を決定し、決定したFM位置にそのデータを格納する(S108)。
一方、データ圧縮設定が無効である場合(S106:No)は、SSDコントローラ710は、データ圧縮は行わず、論物変換TBL23100を基に、データの格納先のFM位置を決定し、決定したFM位置にそのデータを格納する(S108)。
S108を実行した後、SSDコントローラ710は、受信したデータに関する統計情報管理TBL23200のライト要求合計量23211、FMライト合計量23213、平均圧縮率23214、及び残消去回数23216を更新する(S109)。次に、SSDコントローラ710は、ストレージコントローラ100に対して、S106で受信したWR要求の応答として、転送完了応答を送信する(S110)。
ストレージコントローラ100は、SSDコントローラ710から転送完了応答を受信すると、統計情報管理TBL13600の平均WR I/O Size13603、WR比率13605、及びWR量13606を更新する(S111)。その後、ストレージコントローラ100は、ホスト計算機30に対して、S101で受信したWR要求の応答として、転送完了応答を送信する(S112)。
ホスト計算機30は、ストレージコントローラ100から転送完了応答を受信すると、一連の処理を終了する(S113)。
なお、ストレージコントローラ100は、データをキャッシュメモリ103に格納した時点で、ホスト計算機30に転送完了応答を送信し、その後、任意のタイミングで、キャッシュメモリ103からSSD700に対してデータの転送を行ってもよい。このような処理は、ポストWR処理と呼ばれ、ストレージコントローラ100のWR処理性能を向上させる1つの方法として知られている。
図22は、ホスト計算機30のリード処理に関わる処理の流れの一例を示すシーケンス図である。なお、図22における、ストレージコントローラ100の処理は、Read I/O プログラム12200が実行されることにより実現され、SSDコントローラ710の処理は、Read I/O プログラム22200が実行されることにより実現される。
ホスト計算機30は、ストレージコントローラ100に対して、データのRD要求を送信する(S200)。
ストレージコントローラ100は、データのRD要求を受信し、そのRD要求に従うRD範囲(仮想ボリュームのアドレス範囲)に割り当てられているエクステントの基となるSSD710を特定し、特定したSSD710のSSDコントローラ710に対して、データのRD要求(ステージング要求)を送信する(S201)。
SSDコントローラ710は、データのRD要求を受信し、論物変換TBL23100を基に、RD要求に従う論理アドレス範囲に対応する物理アドレス範囲を特定し、この物理アドレス範囲(1以上のページ)からデータを読み出す処理を行う。この処理では、SSDコントローラ710は、データ圧縮が有効となっているか否かを確認し(S202)、データ圧縮が有効である場合(S202:Yes)は、読み出したデータに対して伸長を行い(S203)、伸長したデータをストレージコントローラ100に送信する(S204)。一方、データ圧縮が有効でない場合(S202:No)は、SSDコントローラ710は、読み出したデータを伸張することなくストレージコントローラ100に送信する(S204)。
S204の次に、SSDコントローラ710は、統計情報管理TBL23200のリード要求合計量23212、及びFMリード合計量23215を更新する(S205)。
ストレージコントローラ100は、S201で送信したRD要求の応答として、SSDコントローラ710からデータを受信すると、受信したデータをキャッシュメモリ103に格納し(S206)、統計情報管理TBL13600の平均RD I/O Size13604、WR比率13605、及びRD量13607を更新する(S207)。その後、ストレージコントローラ100は、S206でキャッシュメモリ103に格納したデータをホスト計算機30に送信する(S208)。
ホスト計算機30は、S200で送信したRD要求の応答として、ストレージコントローラ100からデータを受信すると、リード処理を終了する(S209)。
図23は、SSD向け非同期処理の流れの一例を示すシーケンス図である。
ストレージコントローラ100は、SSDコントローラ710に対して、SSD内部情報取得コマンド25000(図20参照)を用いて、内部情報の送付を要求する。その要求の応答として、ストレージコントローラ100は、実行結果通知コマンド25100をSSDコントローラ710から受信する(S300)。S300の処理で取得する情報は、統計情報管理TBL23200に保存されているデータ(FMライト合計量23213、平均圧縮率23214、FMリード合計量23215、及び残消去回数23216)である。
ストレージコントローラ100は、取得した内部情報を基に、Disk管理TBL13100を更新する(S301)。具体的には、ストレージコントローラ100は、FMライト合計量23213に基づいて、FMライト合計量13108及びFM使用量13111を更新し、FMリード合計量23215に基づいて、FMリード合計量13107を更新し、平均圧縮率23214に基づいて、平均圧縮率13109を更新し、残消去回数23216に基づいて、残消去回数13110を更新する。
次に、ストレージコントローラ100はDisk管理TBL13100の情報を基に、このDiskの枯渇リスクを計算する(S302)。ここで、枯渇リスクとは、Diskの枯渇しやすさを判断するための指標であり、本実施例では、数値が高いほうが枯渇し易いことを示す。枯渇リスクは、例えば、DiskへのWR量×平均圧縮率÷空き容量で算出される。つまり、WR頻度が高く、圧縮率が悪く、空き容量が少ないほど枯渇リスクが高くなる。DiskへのWR量は、統計情報管理TBL13600のWR量13606のDisk単位の合計であり、平均圧縮率は、Disk管理TBL13100の平均圧縮率13109であり、空き容量は、Disk管理TBL13100の物理容量13112からFM使用量13111を引くことにより算出できる。
次に、ストレージコントローラ100は、枯渇リスクが閾値以上か否かを判断し、枯渇回避処理を実行するか否かを判断する(S303)。なお、閾値は、ストレージ装置10の管理者により、ホスト計算機30にインストールされた制御ソフトウェア等を介して設定されるようにしてもよい。枯渇リスクが閾値以上であって、枯渇回避処理が必要であると判断された場合(S303:Yes)は、ストレージコントローラ100は、枯渇回避処理(図25参照)を実行し(S304)、枯渇回避処理の終了後に、処理をS305に進める。一方、枯渇リスクが閾値以上でなくて、枯渇回避処理が不要であると判断された場合(S303:No)は、ストレージコントローラ100は、処理をS305に進める。
S305では、ストレージコントローラ100は、寿命平準化処理の要否判断を行うため、RG単位の残寿命を計算する(S305)。ここで、RG単位の残寿命は、RGを構成する各SSDの残寿命のうち最悪値としてもよいし、各SSDの残寿命の平均値としてもよい。各SSDの残寿命を計算する方法については、図24を用いて後述する。ストレージコントローラ100は、計算された各SSDの残寿命を、Disk管理TBLの予想残寿命13105に格納する。
次に、ストレージコントローラ100は、RG間での残寿命の差分を求め、差分が閾値以上か否かを判断し、寿命平準化処理を実行するか否かを判断する(S306)。なお、閾値は、ストレージ装置10の管理者により、ホスト計算機30にインストールされた制御ソフトウェア等を介して設定されるようにしてもよい。なお、寿命平準化処理を実行するか否かについては、例えば、保証期間よりも先に寿命に到達するSSDがあるか否か(残保証期間13104よりも予想残寿命13105の方が少ないSSDがあるか否か)により判断するようにしてもよい。
この結果、差分が閾値以上であり、寿命平準化処理が必要であると判断された場合(S306:Yes)は、ストレージコントローラ100は、寿命平準化処理(図26参照)を実行する(S307)。この寿命平準化処理が終了すると、再度S305に進む。これにより、寿命平準化処理後の状態についての再びSSD RGの残寿命が算出され、S306で残寿命の差分が閾値以上であるか否かの判断が行われることとなる。
一方、差分が閾値以上でなく、寿命平準化処理が不要であると判断された場合(S306:No)は、ストレージコントローラ100は、I/O性能リバランス処理の要否判断を行うため、RG物理容量当たりのI/O量を算出する(S308)。ここで、RG物理容量当たりのI/O量は、例えば、RGのI/O量×平均圧縮率÷RG物理容量で計算される。RGのI/O量は、統計情報管理TBL13600のWR量13600及びRD量13607から各SSDのI/O量を算出し、RGを構成しているSSD分のI/O量を加算することにより算出することができる。平均圧縮率は、例えば、Disk管理TBL13100の平均圧縮率13109からRGの中で最も圧縮率の悪い数値とする。RG物理容量は、Disk管理TBL13100の物理容量13112からRGを構成しているSSD分の物理容量を加算することにより算出することができる。
次に、ストレージコントローラ100は、RG間で物理容量当たりのI/O量の差分を求め、この差分が閾値以上であるか否かを判断して、I/O性能リバランス処理を実行するか否かを判断する(S309)。この結果、差分が閾値以上の場合(S309:Yes)は、ストレージコントローラ100は、I/O性能リバランス処理(図29参照)を実行し(S310)、I/O性能リバランス処理終了後に、SSD向け非同期処理を終了する。一方、差分が閾値未満の場合(S309:No)は、ストレージコントローラ100は、SSD向け非同期処理を終了する。
なお、SSD向け非同期処理は、任意のタイミングで実行されても良く、一定の間隔(例えば一日おき)で実行されても良く、また、特定のコマンドを受け取ったタイミングで実行されてもよい。更に、SSD向け非同期処理は、ホスト計算機30の制御ソフトウェアからユーザが本処理の実行契機を指示することで実行されてもよい。
また、図23によれば、枯渇回避処理の優先度が最も高く、寿命平準化処理の優先度が2番目に高く、IO性能理バランス処理の優先度が最も低く、このような優先度が高い順に処理が行われるが、これらの処理のそれぞれの優先度は、図23の優先度と違っていてもよい。例えば、IO性能理バランス処理の優先度が寿命平準化処理の優先度より高くてもよい。
また、枯渇回避処理、寿命平準化処理及びIO性能理バランス処理のような複数のデータ配置制御処理(記憶デバイス間でのデータ移動が生じる処理)がある。ストレージコントローラ100は、いずれかのデータ配置制御処理(対象のデータ配置制御処理)を行う前に、対象のデータ配置制御処理を行っても対象のデータ配置制御処理より優先度が高いデータ配置制御処理(先に行われたデータ配置制御処理)がスキップされるための条件が満たされたままとなるか否かを判断してもよい。「より優先度が高いデータ配置制御処理がスキップされるための条件が満たされたまま」とは、より優先度が高いデータ配置制御処理によって満たされるべき条件が満たされたままとなることであり、例えば、枯渇リスクがそれの閾値未満のままである、RG間残寿命差がそれの閾値未満のままである、又は、RG間IO量差がそれの閾値未満のままである、ということである。この判断の結果が肯定的の場合に、ストレージコントローラ100は、対象のデータ配置制御処理を行ってよい。また、この判断の結果が否定的の場合には、ストレージコントローラ100は、対象のデータ配置制御処理をスキップしてよい(行わないでよい)。
図24は、SSDの寿命予想の概要説明図である。SSDの寿命予想は、図23のS305に実行される処理である。図24の図は、横軸に時間を取り、縦軸にSSDの残消去回数を取っている。
SSDの寿命予想の方法の一例として、残消去回数の減少速度から、SSDの寿命の終期への到達時刻を予想する方法について説明する。ここで、SSDの寿命とは、SSDを実際に使用可能な期間とする。或るSSDにWRが集中している場合、このSSDの寿命が短くなる。従って、寿命の長い他のSSDが積極的に使用されるように、寿命平準化処理(具体的には、エクステントやエントリに格納されているデータをSSD間で交換する処理)を行う必要がある。なお、寿命平準化処理では、残りの寿命が短い(残寿命が閾値以下の)SSDを検出する。
図24において、t(前回)30000は、前回に寿命予想を行った時点(前回寿命予想時)を示し、Disk管理TBL13100の情報更新日時13103の値に対応する時点である。EZ(前回)30003は、前回寿命予想時における残消去回数であり、残消去回数13106の回数である。また、t(現在)30001は、今回の寿命予想を行う時点であり、EZ(現在)30002は現在の残消去回数であり、今回取得しているSSD内部情報から取得できる値である。
まず、以下の数式(1)により、傾き(I)を算出する。
傾き(I)=(EZ(現在)− EZ(前回))÷ (t(現在)− t(前回)) ・・・(1)
ここで、傾き(I)30004が大きいほど、残消去回数の減少速度が速いことを示す。
次に、傾き(I)30004と、現時点の残消去回数であるEZ(現在)30001とを用いて、以下の数式(2)により、t(寿命到達)を算出する。
t(寿命到達)=−(EZ(現在)÷傾き(I)) ・・・(2)
t(寿命到達)30005は、残消去回数がゼロとなる時間、すなわち、寿命到達時間である。このようにして、残消去回数と、残消去回数の減少速度とから、残寿命期間を算出することができる。残寿命期間は、Disk管理TBL13100の予想残寿命13105に格納される。
記憶デバイスやストレージ装置は、所定の期間(保証期間、例えば5年)は使用し続けられ、データが保証されることが重要である。よって、保証期間を一つの指標として寿命平準化処理を実行することで、複数の記憶デバイス(例えばSSD)を保証期間以上使用することができるようになる。なお、SSDが寿命に到達するまでに書き込めるデータの全Write総量が分かっている場合は、図24の縦軸を残Write量(全Write総量からFMライト合計量13108を引いた値)として、t(寿命到達)を算出するようにしてもよい。
図25は、実施例1に係る枯渇回避処理の一例を示すフローチャートである。枯渇回避処理は、図23のS304の処理に対応する。
ストレージコントローラ100は、プール500内の全RGにおけるRG単位の枯渇リスクを算出する(S500)。RG単位の枯渇リスクは、RGを構成するSSD700の中で、図23のS302で算出したSSD単位の枯渇リスクの最悪値としてもよいし、RGを構成するSSDの枯渇リスクの平均値としてもよい。
次に、ストレージコントローラ100は、枯渇リスクが最も高いRGと、枯渇リスクが最も低いRGとを特定する(S501)。次に、ストレージコントローラ100は、統計情報管理TBL13600と、SSD700の統計情報管理TBL23200とを基に、エントリやエクステント毎のFM WR量を予想するFM WR量予想処理(図27参照)を行う(S505)。
次に、ストレージコントローラ100は、移動するデータ量を算出する(S502)。移動データ量は、閾値を下回る分を移動量としてもよいし、対象RG間(枯渇リスクが最大のRGと最小のRGとの間)で枯渇リスクを平準化する分を移動量としてもよい。閾値はストレージ装置10の管理者により、ホスト計算機30にインストールされた制御ソフトウェア等を介して設定されるようにしてもよい。
次に、ストレージコントローラ100は、決定した量だけデータを移動するデータ移動処理(図37参照)を実行する(S503)。最後に、ストレージコントローラ100は、各種TBLの情報を更新して(S504)、枯渇回避処理を終了する。
この枯渇回避処理によると、枯渇リスクの高いRGから低いRGへFM WR量が大きいデータをエクステント単位で移動させることによって、最小のエクステント移動回数でSSD枯渇の危険性を低減させることができる。
図27は、実施例1に係るFM WR量予想処理の一例を示すフローチャートである。FM WR量予想処理は、図25のS505の処理に対応する。FM WR量予想処理は、ストレージコントローラ100がFM WR量予想TBL13700のFM WR予想量13705を算出する処理である。
ストレージコントローラ100は、FMライト量の予想の計算対象となるエントリを選択する(S3031)。次に、ストレージコントローラ100は、選択したエントリの圧縮率13704に、Disk管理TBL13100の平均圧縮率13109から取得した値を格納(コピー)する(S3032)。続いて、ストレージコントローラ100は、このエントリのWR量13703に、統計情報管理TBL13600からこのエントリに対応するWR量13606を取得し、その値を格納(コピー)する(S3033)。
続いて、ストレージコントローラ100は、WR量13703と圧縮率13704とを乗算することで、このエントリのFM WR予想量13705を算出する(S3034)。次に、ストレージコントローラ100は、計算対象のエントリが残っているか否かを判断し(S3035)、計算対象エントリが残っている場合(S3035:No)は、次のエントリを選択し、S3032からS3035の処理を繰り返す。一方、S3035で、計算対象エントリが残っていないと判断した場合(S3035:Yes)には、ストレージコントローラ100は、エクステント毎のFM WR予想量を算出する(S3036)。具体的には、ストレージコントローラ100は、エクステント管理TBL13400を参照することで、各エクステントに属するエントリを特定し、特定したエントリのFM WR予想量13705の合計値を算出する。この後、ストレージコントローラ100は、FM WR量予想処理を終了する。
図37は、実施例1に係る枯渇回避処理におけるデータ移動処理の一例を示すフローチャートである。枯渇回避処理は、図25のS503の処理に対応する。
ストレージコントローラ100は、図25のS501で特定した枯渇リスク最大のRGの中で、S505のFM WR量予想処理で算出したFM WR予想量が大きいエクステントを選択する(S5031)。FM WR予想量が大きいエクステントとは、複数のエクステントの中で最もFM WR予想量が大きいエクステントとする。
次に、ストレージコントローラ100は、選択したエクステントを、図25のS501で特定した枯渇リスク最小のRGへマイグレーションする(S5032)。次に、ストレージコントローラ100は、枯渇リスク最大のRGから枯渇リスク最小のRGへ移動したデータ量が、図25のS502で算出した移動データ量に達したか否かを判断する(S5033)。
この結果、否定的(S5033:No)であれば、ストレージコントローラ100は、S5031の処理から繰り返す。一方、結果が肯定的(S5033:Yes)であれば、ストレージコントローラ100は、データ移動処理を終了する。
この処理によると、枯渇リスクの高いRGのFM WR予想量が多いエクステントを枯渇リスクの低いRGへ移動することにより、最小のエクステント移動回数でSSD枯渇の危険性を低減させることができる。
図26は、実施例1に係る寿命平準化処理の一例を示すフローチャートである。寿命平準化処理は、図23のS307の処理に対応する。
ストレージコントローラ100は、残寿命が最大のRGと残寿命が最小のRGとを特定し(S601)、統計情報管理TBL13600と、SSD700の統計情報管理TBL23200とに基づいて、エントリやエクステント毎のFM WR量を予想するFM WR量予想処理(図27参照)を実行する(S602)。
その後、ストレージコントローラ100は、データ移動を実行するデータ移動処理(図28参照)を実行し(S603)、各種テーブルを更新し(S604)、寿命平準化処理を終了する。
図28は、実施例1に係る寿命平準化処理におけるデータ移動処理の一例を示すフローチャートである。データ移動処理は、図26のS603に対応する処理である。
ストレージコントローラ100は、図26のS601で特定した、寿命平準化処理のデータの移動元となる短寿命のRGの中で、FM WR予想量が大きいエクステント(A1)を選択する(S30410)。ここで、FM WR予想量が大きいエクステントとは、複数のエクステントの中で最もFM WR予想量が大きいエクステントとする。
次に、ストレージコントローラ100は、図26のS601で特定した、寿命平準化処理の移動先となる長寿命のRGの中で、FM WR予想量が小さいエクステント(B1)を選択する(S30411)。FM WR予想量が小さいエクステントとは、複数のエクステントの中で最もFM WR予想量が小さいエクステントとする。なお、FM WR予想量が閾値以下のエクステントをグループ化し、その中から一つのエクステントを選択するようにしてもよい。
そして、ストレージコントローラ100は、エクステント(A1)のFM WR予想量がエクステント(B1)のFM WR予想量よりも大きいか否かを判断する(S30412)。エクステント(B1)のFM WR予想量がエクステント(A1)のFM WR予想量より大きい場合、エクステント(B1)のデータを残寿命が短いRGに移動すると、そのRGへのWRデータ量がさらに増加し、デバイス間で消去回数を平準化することにならない。よって、この判断を行って、データ交換を中止することにより、不要なデータ移動をすることなく、適切にデバイス間で消去回数の平準化を行うことができる。
この判断の結果が肯定的(S30412:Yes)であれば、プロセッサ104は、エクステント(A1)内のデータとエクステント(B1)内のデータとを交換し(S30413)、データ移動処理を終了する。一方、この判断の結果が否定的(S30412:No)であれば、プロセッサ104は、データ交換を中止し(S30414)、本処理を終了する。
残寿命の短いRGのFM WR予想量が多いエクステントと、残寿命が長いRGのFM WR予想量が少ないエクステントとを交換することにより、残寿命が短いRGを構成するSSDへのWRデータ量が減少する。従って、残寿命の減少を抑えることができる。一方、残寿命の長いRGはWRデータ量が増大する。よって、このデータ交換により、RG間の残寿命の乖離を小さくすることができる。つまり、SSD寿命を平準化することができる。
図29は、実施例1に係るI/O性能リバランス処理の一例を示すフローチャートである。I/O性能リバランス処理は、図23のS310の処理に対応する。
ストレージコントローラ100は、RG物理容量あたりのI/O量が最大のRGと、最小のRGとを特定し(S901)、統計情報管理TBL13600と、SSD700の統計情報管理TBL23200とに基づいて、エントリやエクステント毎のFM RD/WR予想量(FM RD予想量及びFM WR予想量)を予想する(S902)。具体的には、図27に示すFM WR量予想処理と同様な処理により、FM RD予想量に関しても予想する処理である。
その後、ストレージコントローラ100は、データ移動を実行し(S903)、各種テーブルを更新し(S904)、性能I/Oリバランス処理を終了する。S903では、ストレージコントローラ100は、図28に示すデータ移動処理と同様な処理により、RG物理容量あたりのI/O量(FM RD/WR予想量)が大きいRGのI/O量が大きいエクステントと、RG物理容量あたりのI/O量が小さいRGのI/O量が小さいエクステントとのデータを交換することによって、I/O量が大きいRGへのI/O量を減少させる一方、I/O量が小さいRGのI/O量を増加させる。このデータ交換により、RG間のI/O量の乖離を小さくすることができる。つまり、I/O性能を平準化することができる。このI/O性能リバランス処理により、I/O量が多いRGからI/O量が少ないRGへ格納データをエクステント単位で移動させることによって、性能ボトルネックを回避することができる。
次に、実施例2について説明する。実施例2においては、実施例1と異なる部分を中心に説明する。
実施例1では、SSD単位の平均値として圧縮率を取得していたのに対して、実施例2ではエントリ単位で圧縮率を取得する。具体的には、SSDコントローラ710がWR完了時に、ストレージコントローラ100へ送付する応答コマンドに、エントリ単位のデータ圧縮率を付与する。応答コマンドに含まれるデータ圧縮率を参照することで、ストレージコントローラ100は、エントリ毎に圧縮率を管理することが可能となる。
これにより、エントリ毎のFM WR予想量の予想精度を、実施例1に比べて高めることができ、結果として寿命平準化処理の実行精度を向上させることができる。
図30は、実施例2に係る統計情報管理テーブル13600の構成例を示す図である。
実施例2に係る統計情報管理テーブル13600は、実施例1に係る統計情報管理テーブル13600に対して、エントリ毎に圧縮率を取得・管理するために、各エントリの圧縮率を示す圧縮率13608を更に備える。なお、圧縮率13608の取得・更新方法については図32を用いて詳細を説明する。
図31は、実施例2に係るFM WR量予想テーブル13700の構成例を示す図である。
実施例2に係るFM WR量予想TBL13700は、実施例1に係るFM WR量予想TBL13700とは、圧縮率13704をエントリ#13702毎に管理している点が異なる。このように圧縮率13704をエントリ#13702毎に管理することにより、同一のDisk11であっても、データパターン等の違いにより、圧縮率が変化する場合において、その圧縮率の違いを適切に管理することができる。
図32は、実施例2に係るWR要求コマンド25200と応答コマンド25300の構成例を示す図である。
実施例2に係るライト要求コマンド25200は、ストレージコントローラ100がSSDコントローラ710に対して送付するWR要求であり、コマンド#25201、データ格納先25202、及びデータ25203を有する。コマンド#25201は、複数のWR要求コマンドを管理するための識別子であり、ユニークな数値である。データ格納先25202は、WR要求データの格納先であるDisk#やLBA等を示す。データ25203は実際にWRするデータである。
応答コマンド25300は、SSDコントローラ710がストレージコントローラ100に対して送付するコマンドであり、受領したWR要求に対する実行結果が格納されている。応答コマンド25300は、コマンド#25301、処理結果25302、及び圧縮率25303を有する。
コマンド#25301は、どのライト要求コマンド25200に対する応答であるかを管理するためのものであり、コマンド#25201に対応した値を示す。処理結果25302は、WR要求が成功したか否かを示す値である。ストレージコントローラ100は、処理結果25302の値を参照することで、SSDに対して発行したWR要求の成否を確認することができる。圧縮率25303は、エントリにおけるデータの圧縮率が格納されている。
実施例2に係るライト処理に関わる処理を、図21に示す実施例1に係るライト処理に関わる処理のシーケンス図を用いて説明する。なお、実施例1と異なる点について説明する。
ライト要求コマンド25200は、図21のライト処理に関わる処理における、ストレージコントローラ100がSSDコントローラ710に対してデータのWRを依頼する処理(S105)において用いられる。また、応答コマンド25300は、SSDコントローラ710が、ストレージコントローラ100に対して、WR処理結果を通知する処理(S110)において用いられる。
S111では、ストレージコントローラ100は応答コマンド25200に記載された圧縮率を取得し、統計情報管理TBL13600を更新する際に、取得した圧縮率に基づいて圧縮率13608を更新する。
図33は、実施例2に係るFM WR量予想処理の一例を示すフローチャートである。実施例2に係るFM WR量予想処理は、図26のS602に対応する処理である。
実施例2に係るFM WR量予想処理と、実施例1に係るFM WR量予想処理(図27参照)との違いは、S3132において、エントリの圧縮率13704に対してDisk管理TBL13100の平均圧縮率13109を格納するのではなく、統計情報管理TBL13600の圧縮率13608を格納する点である。
次に、実施例3について説明する。なお、実施例3については、実施例1及び実施例2との違いのみを説明する。
実施例3では、FM WR量の予想材料に、圧縮率に加えてWA(Write Amplification)を追加する。
一般的に、SSD700内部では、WLやリクラメーションなどの、SSD独自の処理が発生するため、SSD700がストレージコントローラ100から受信したデータの量に比べ、実際にフラッシュメモリに書き込まれるデータの量は大きい。受信したデータの量に対する、実際にフラッシュメモリに書き込まれるデータの量の比率は、WAと呼ばれる。SSD内部の処理によるWRデータ量の増加は、アクセスパターンや、WRデータのサイズ等にも依存する。
SSD700内の独自処理によってWRデータ量が増加すると、それに伴って消去回数も増加する。そこで、実施例3では、ストレージコントローラ100がSSDコントローラ710からWAを追加で取得し、その値をFM WR予想量の予想材料に加えることで寿命平準化処理の精度をより向上させる。
まず、WAについて説明する。
WAは、以下の(b)を(a)で割ることにより得られる比率((b)/(a))である。ここで、(a)は、SSD700がストレージコントローラ100から受信したデータの量であり、(b)は、フラッシュメモリに実際に書き込むデータの量である。
例えば、SSD700に何もデータがWRされていない状態で、SSD700がストレージコントローラ100からWRデータを受信した場合、そのデータは、空きページにそのままWRされることになるので、WAは「1.0」となる確率が高い。また、例えば、SSD700のページに有効データがWRされており、且つ、空きページが無くリクラメーション処理の必要がある場合、有効データの移動先となるページ、及びストレージコントローラ100からのデータを書き込むためのページが必要となるため、WAは「1.0」を超えることになる。なお、リクラメーション処理とは、例えば、空きブロックが枯渇し始めた際に、有効なデータを格納するページを集約し、別のブロックへWRすることで、無効なデータのみを有するブロックを生成し、そのブロック内のデータを消去することで、空きブロックを生成する処理である。
したがって、FMへのデータWR量を正確に予想するためには、内部コピー量を示すパラメータであるWAを考慮に入れる必要がある。そこで、実施例3では、ストレージコントローラ100はSSD内部情報取得コマンドを通じて、SSD700から新たにWAを取得するようにし、そのWAをFM WR予想量の予想材料に加えることを特長とする。
図34は、実施例3に係るDisk管理TBL13100の構成例を示す図である。実施例3に係るDisk管理テーブル13100は、Disk毎のWAを示すWA13114を新たに備えている。WA13114は、ストレージコントローラ100がSSD内部情報取得コマンドを通じて、SSDから取得した数値を格納する。
図35は、実施例3に係るFM WR量予想テーブル13700の構成例を示す図である。
実施例3に係るFM WR量予想テーブル13700は、Disk毎のWAを表すWA13706を新たに備える。WA13706は、FMライト量を予想する際に、Disk管理TBL13100のWA13114の値がコピーされる。実施例3では、FMライト予想量13705を、このエントリのライト量13703、圧縮率13704、及びWA13706の積をとることで算出する。
図36は、実施例3に係るFM WR量予想処理の一例を示すフローチャートである。実施例3に係るFM WR量予想処理は、図26のS602に対応する処理である。
実施例3に係るFM WR量予想処理と、実施例1に係るFM WR量予想処理(図27)及び実施例2に係るFM WR量予想処理(図33)との違いは、エントリのWA13706をDisk管理TBL13100のWA13114より取得して格納する処理(S3234)を行うようにしたことと、FM WR予想量の算出方法(S3235)が、WR量13703、圧縮率13704、及びWA13703の積を取るようにしたことである。
このFM WR量予想処理によると、SSD700の内部情報を詳細に把握することが困難な場合においても、SSD内部の状態(例えば、FM WR予想量13705)をストレージコントローラ100が統計情報25200を基に予想することで、寿命平準化処理を高精度に実現することができる。
以上、一実施形態及び幾つかの実施例を説明したが、本発明は、これらの実施形態及び実施例に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
例えば、実施例2では、エントリ単位の圧縮率がSSD700からストレージコントローラ100に通知され、実施例3では、エントリ単位のWAがSSD700からストレージコントローラ100に通知されるが、SSD700からストレージコントローラ100に、エントリ単位のFM使用量が通知されてもよい。これにより、ストレージコントローラ100は、FM WR量を予想する必要がなく、SSD700から通知されるFM使用量をそのまま使用して、寿命平準化処理を実行することができる。このため、ストレージコントローラ100の負荷(計算量)を抑えることができる。さらに、SSD700がデータ圧縮機能を有し、ストレージコントローラ100が管理するデータWR量と、SSD内部での実際のFM WR量とが異なる場合であっても、ストレージコントローラ100は、寿命平準化処理及びI/O性能リバランス処理を高精度に実現することができる。
フラッシュメモリはページから繰り返しデータをRDした場合においても、データの破壊が生じやすいという特性を有している。そこで、一般的なSSDは、データのエラー訂正コードであるECCをデータとともにページに格納し、データ読み出し時に、部分的に生じたエラーをECCにより回復させる機能を有している。更に、このようなSSDは、データエラーの発生数が或る閾値を超過すると、データを別ページに移動させる機能を有している。したがって、データのRDしか発生しない環境下においても、フラッシュメモリの消去が発生しうる。そこで、寿命平準化処理の判断材料として、エクステントやエントリ毎のRDに関する情報(RDI/O数、及び/又はデータRD量)が用いられてもよい。
また、実施例1乃至実施例3では、ストレージコントローラ100が残消去回数を残日数に換算する処理を行っていたが、SSD700が残日数をストレージコントローラ100に通知するようにしてもよい。これは、例えば、SSD700が、図24に示すような、残消去回数を残日数に換算する機能を備えることで実現することができる。
実施例1乃至実施例3では、枯渇回避処理、寿命平準化処理、及びI/O性能リバランス処理がエクステント単位で実行されるが、これらの処理は、別の単位(例えば、エントリ単位、又はLU単位)で行われてもよい。
ストレージ装置10内に、圧縮設定のRG(圧縮RG)と、非圧縮設定のRG(非圧縮RG)とが混在する場合に、圧縮RGと非圧縮RGとの間で枯渇回避処理、寿命平準化処理、及びI/O性能リバランス処理が実施されてもよい。さらに、(1)圧縮RG間でのみ枯渇回避処理、寿命平準化処理、及びI/O性能リバランス処理を許可する、(2)非圧縮RG間でのみ寿命平準化処理、I/O性能リバランス処理を許可する、(3)圧縮RG間と非圧縮RG間での枯渇回避処理、寿命平準化処理、及びI/O性能リバランス処理を許可する、といったような各処理の移動ポリシーを、ストレージ装置10に複数パターン用意しておき、ユーザ又は管理者が、ホスト計算機30又は管理計算機等を介して、所定の記憶領域単位(例えばRGもしくはLU)毎に、使用用途に応じた移動ポリシーが選択され、選択された移動ポリシーに従う処理がストレージ装置10によって行われてもよい。
また、ホスト計算機30のアプリケーションによって圧縮されたデータは、ストレージ装置10のSSD700内で再度圧縮されても、データサイズは変わらない。そこで、ホスト計算機30からストレージコントローラ100に対してデータを既に圧縮しているか否かを通知するインタフェースを用意し、その情報を基にストレージコントローラ100が、圧縮の要否を決定したり、圧縮RGまたは非圧縮RGのどちらのRGにデータを格納するかを決定したり、寿命平準化処理の移動ポリシーを決定したりしてもよい。ここで、用意するインタフェースとしては、例えばホスト計算機30がストレージコントローラ100に対して送付するライト要求コマンド内に、データが圧縮されているか否かを示すフィールドを含むようにしてもよい。
10:ストレージ装置、11:Disk、30:ホスト計算機、100:ストレージコントローラ、700:SSD、710:SSDコントローラ、780:フラッシュメモリ、781:フラッシュコントローラ、10000:ストレージシステム。

Claims (15)

  1. 1以上の不揮発性の半導体記憶媒体と前記半導体記憶媒体に接続された媒体コントローラとを有する半導体記憶デバイスと、
    前記半導体記憶デバイスに接続され前記半導体記憶デバイスが提供する論理記憶領域に対してデータを格納するストレージコントローラと
    を有し、
    前記媒体コントローラは、前記論理記憶領域に格納されるデータを圧縮し圧縮されたデータを前記半導体記憶媒体に格納し、
    前記論理記憶領域の論理アドレス空間の大きさは、前記半導体記憶媒体の物理アドレス空間の大きさの合計よりも大きい
    ストレージ装置。
  2. それぞれが1以上の半導体記憶デバイスで構成された複数の半導体記憶ユニットを有し、
    前記ストレージコントローラは、
    半導体記憶ユニットが枯渇するリスクを算出するための枯渇関連情報を前記複数の半導体記憶デバイス各々から取得し、
    前記複数の半導体記憶ユニットの各々について、前記取得された枯渇関連情報に基づいて、半導体記憶ユニットの容量が枯渇するリスクである容量枯渇リスクを算出し、
    前記複数の半導体記憶ユニットの各々の容量枯渇リスクに基づいて、前記複数の半導体記憶ユニットのうちのいずれかの容量枯渇リスクを軽減するように半導体記憶ユニット間でデータを移動する枯渇回避処理を実行する、
    請求項1に記載のストレージ装置。
  3. 前記ストレージコントローラは、
    半導体記憶ユニットの残寿命を算出するための残寿命情報を前記複数の半導体記憶デバイスの各々から取得し、
    前記複数の半導体記憶ユニットの各々について、前記取得された前記残寿命情報に基づいて、半導体記憶ユニットの残寿命を算出し、
    前記枯渇回避処理が終了した後に、前記複数の半導体記憶ユニットの各々について、前記取得された残寿命に基づいて、前記複数の半導体記憶ユニットにおける残寿命が平準化するように半導体記憶ユニット間でデータを移動する寿命平準化処理を実行する、
    請求項2に記載のストレージ装置。
  4. 前記ストレージコントローラは、
    半導体記憶ユニットにおいて入出力されるデータ量に関する入出力量情報を前記複数の半導体記憶デバイスの各々から取得し、
    前記寿命平準化処理が終了した後に、前記複数の半導体記憶ユニットの各々について、前記取得された入出力量情報に基づいて、前記複数の半導体記憶ユニットについての入出力データ量が平準化するように半導体記憶ユニット間でデータを移動する入出力平準化処理を実行する、
    請求項3に記載のストレージ装置。
  5. 前記ストレージコントローラは、前記複数の半導体記憶ユニットのいずれかの容量枯渇リスクが所定の閾値以上である場合に、前記枯渇回避処理を実行する、
    請求項2に記載のストレージ装置。
  6. 前記枯渇関連情報は、その枯渇関連情報の取得元の半導体記憶デバイスについてのライト量、圧縮率、及び空き物理容量を含み、
    前記ストレージコントローラは、前記枯渇関連情報が含むライト量、圧縮率、及び空き物理容量に基づいて、その枯渇関連情報の取得元の半導体記憶デバイスおよび半導体記憶ユニットについての容量枯渇リスクを算出する、
    請求項2に記載のストレージ装置。
  7. 各半導体記憶媒体は、複数のブロックで構成されており、
    前記枯渇回避処理では、ブロックよりも大きい記憶領域単位でデータが移動される、
    請求項2に記載のストレージ装置。
  8. 前記ストレージコントローラは、前記複数の半導体記憶ユニットのうち、残寿命の差が所定の閾値以上となる2つの半導体記憶ユニットがある場合に、前記寿命平準化処理を実行する、
    請求項3に記載のストレージ装置。
  9. 前記残寿命情報は、その残寿命情報の取得元の半導体記憶デバイスについてデータの消去が可能な回数である残消去回数の履歴を含み、
    前記ストレージコントローラは、前記複数の半導体記憶ユニットの各々について、残消去回数の履歴に基づいて、半導体記憶ユニットの残寿命を算出する、
    請求項3に記載のストレージ装置。
  10. 前記ストレージコントローラは、前記寿命平準化処理において、残寿命が短い半導体記憶ユニットの中でライト予想量が多い第1の部分記憶領域における第1のライト予想量が、残寿命が長い半導体記憶ユニットの中でライト予想量が少ない第2の部分記憶領域の第2のライト予想量よりも多い場合には、前記第1の部分記憶領域のデータと、前記第2の部分記憶領域のデータとを交換し、第1のライト予想量が、第2のライト予想量よりも多くない場合には、前記第1の部分記憶領域のデータと、前記第2の部分記憶領域のデータとの交換を行わないように制御する、
    請求項3に記載のストレージ装置。
  11. 前記ストレージコントローラは、前記複数の半導体記憶ユニットのうち、所定時間に入出力されるデータ量の差が所定の閾値以上となる2つの半導体記憶ユニットがある場合に、前記入出力平準化処理を実行する、
    請求項4に記載のストレージ装置。
  12. それぞれが1以上の半導体記憶デバイスで構成された複数の半導体記憶ユニットを有し、
    前記ストレージコントローラは、
    複数のデータ配置制御処理のうちのいずれか対象のデータ配置制御処理を行う前に、対象のデータ配置制御処理を行っても対象のデータ配置制御処理より優先度が高いデータ配置制御処理によって満たされるべき条件が満たされたままとなるか否かを判断し、
    その判断の結果が肯定的の場合に、前記対象のデータ配置制御処理を行い、
    前記複数のデータ配置制御処理の各々は、半導体記憶ユニット間でデータの移動が行われる処理である、
    請求項1に記載のストレージ装置。
  13. 前記複数のデータ配置制御処理は、前記複数の半導体記憶ユニットのうちのいずれかの容量枯渇リスクを軽減するように半導体記憶ユニット間でデータを移動する枯渇回避処理、前記複数の半導体記憶ユニットにおける残寿命が平準化するように半導体記憶ユニット間でデータを移動する寿命平準化処理、前記複数の半導体記憶ユニットについての入出力データ量が平準化するように半導体記憶ユニット間でデータを移動する入出力平準化処理のうちの少なくとも2つを含み、
    前記複数の半導体記憶ユニットの各々について、容量枯渇リスクは、半導体記憶ユニットの容量が枯渇するリスクである、
    請求項12に記載のストレージ装置。
  14. 1以上の不揮発性の半導体記憶媒体と前記半導体記憶媒体に接続された媒体コントローラとを有する半導体記憶デバイスを基に、前記半導体記憶媒体の物理アドレス空間の大きさの合計よりも大きい論理アドレス空間の大きさを持つ論理記憶領域を提供し、
    ストレージコントローラが、前記論理記憶領域の格納先に基づく半導体記憶デバイスに、格納対象のデータを送信し、
    前記媒体コントローラが、前記格納対象のデータを受信し、受信したデータを圧縮し、圧縮されたデータを前記半導体記憶媒体に格納する、
    記憶制御方法。
  15. 前記ストレージコントローラが、半導体記憶ユニットが枯渇するリスクを算出するための枯渇関連情報を、半導体記憶デバイスから取得し、
    前記ストレージコントローラが、前記複数の半導体記憶ユニットの各々について、前記取得された枯渇関連情報に基づいて、半導体記憶ユニットの容量が枯渇するリスクである容量枯渇リスクを算出し、
    前記ストレージコントローラが、前記複数の半導体記憶ユニットの各々の容量枯渇リスクに基づいて、前記複数の半導体記憶ユニットのうちのいずれかの容量枯渇リスクを軽減するように半導体記憶ユニット間でデータを移動する枯渇回避処理を実行する、
    請求項14に記載の記憶制御方法。
JP2015527122A 2013-07-19 2013-07-19 ストレージ装置および記憶制御方法 Active JP6381529B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/069613 WO2015008375A1 (ja) 2013-07-19 2013-07-19 ストレージ装置および記憶制御方法

Publications (2)

Publication Number Publication Date
JPWO2015008375A1 true JPWO2015008375A1 (ja) 2017-03-02
JP6381529B2 JP6381529B2 (ja) 2018-08-29

Family

ID=52345867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015527122A Active JP6381529B2 (ja) 2013-07-19 2013-07-19 ストレージ装置および記憶制御方法

Country Status (3)

Country Link
US (2) US9727255B2 (ja)
JP (1) JP6381529B2 (ja)
WO (1) WO2015008375A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649675B2 (en) 2016-02-10 2020-05-12 Toshiba Memory Corporation Storage controller, storage device, data processing method, and computer program product

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6299622B2 (ja) * 2015-02-04 2018-03-28 京セラドキュメントソリューションズ株式会社 データ管理装置、画像処理装置及びデータ管理方法
JP6517549B2 (ja) * 2015-03-13 2019-05-22 東芝メモリ株式会社 メモリコントローラ、記憶装置、データ転送システム、データ転送方法、及びデータ転送プログラム
US10191841B2 (en) 2015-07-06 2019-01-29 Shannon Systems Ltd. Host device, access system, and access method
CN106339179B (zh) * 2015-07-06 2020-11-17 上海宝存信息科技有限公司 主机装置、存取系统、以及存取方法
US9990304B2 (en) * 2015-11-13 2018-06-05 Samsung Electronics Co., Ltd Multimode storage management system
US10846231B2 (en) 2015-11-13 2020-11-24 Hitachi, Ltd. Storage apparatus, recording medium, and storage control method
US10140034B2 (en) * 2015-11-24 2018-11-27 International Business Machines Corporation Solid-state drive assignment based on solid-state drive write endurance
JP6253752B1 (ja) * 2016-11-29 2017-12-27 株式会社東芝 階層化ストレージシステム
JP6612995B2 (ja) * 2016-12-13 2019-11-27 株式会社日立製作所 データリバランスを制御するシステムおよび方法
WO2018131127A1 (ja) 2017-01-12 2018-07-19 株式会社日立製作所 ストレージ装置及び分散ストレージシステム
US11402998B2 (en) * 2017-04-27 2022-08-02 EMC IP Holding Company LLC Re-placing data within a mapped-RAID environment comprising slices, storage stripes, RAID extents, device extents and storage devices
US11755224B2 (en) * 2017-07-27 2023-09-12 EMC IP Holding Company LLC Storing data in slices of different sizes within different storage tiers
US10866741B2 (en) * 2017-08-02 2020-12-15 Toshiba Memory Corporation Extending SSD longevity
US10521302B1 (en) * 2017-08-04 2019-12-31 EMC IP Holding Company LLC Managing mapped raid extents in data storage systems
US11366790B2 (en) 2017-10-30 2022-06-21 AtomBeam Technologies Inc. System and method for random-access manipulation of compacted data files
KR20200006379A (ko) * 2018-07-10 2020-01-20 에스케이하이닉스 주식회사 컨트롤러 및 그것의 동작방법
CN111857553A (zh) * 2019-04-30 2020-10-30 伊姆西Ip控股有限责任公司 管理盘阵列的方法、装置和计算机程序产品
JP7248495B2 (ja) * 2019-05-15 2023-03-29 ファナック株式会社 数値制御測装置、数値制御システム、及びプログラム
JP2022550983A (ja) 2019-10-09 2022-12-06 マイクロン テクノロジー,インク. データ保護スキームを備えるメモリデバイス
CN111124304B (zh) * 2019-12-19 2022-04-22 北京浪潮数据技术有限公司 一种数据迁移方法、装置及电子设备和存储介质
CN113467699B (zh) * 2020-03-30 2023-08-22 华为技术有限公司 一种提升可用存储容量方法及装置
US11474900B2 (en) * 2020-08-04 2022-10-18 International Business Machines Corporation Dynamic rebuild capability in redundant array of independent disks (RAID) arrays using compressing drives
JP2020198128A (ja) * 2020-08-31 2020-12-10 キオクシア株式会社 メモリシステム
CN112079214B (zh) * 2020-09-01 2022-09-06 日立楼宇技术(广州)有限公司 一种电梯候梯管理系统及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112276A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 再配置システムおよび再配置方法
JP2010033261A (ja) * 2008-07-28 2010-02-12 Hitachi Ltd ストレージ装置及びその制御方法
JP2010191670A (ja) * 2009-02-18 2010-09-02 Hitachi Ltd ストレージシステム、容量管理方法、および管理計算機
JP2012118587A (ja) * 2010-11-29 2012-06-21 Canon Inc 管理装置及びその制御方法、並びにプログラム
WO2012124100A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 情報処理装置、ストレージシステムおよび書き込み制御方法
WO2013084267A1 (en) * 2011-12-08 2013-06-13 Hitachi, Ltd. Remote copy system and remote copy control method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235695A (en) * 1989-06-28 1993-08-10 International Business Machines Corporation Apparatus for efficient utilization of removable data recording media
US5305295A (en) * 1992-06-29 1994-04-19 Apple Computer, Inc. Efficient method and apparatus for access and storage of compressed data
US7103731B2 (en) * 2002-08-29 2006-09-05 International Business Machines Corporation Method, system, and program for moving data among storage units
US7437492B2 (en) * 2003-05-14 2008-10-14 Netapp, Inc Method and system for data compression and compression estimation in a virtual tape library environment
US20070150690A1 (en) * 2005-12-23 2007-06-28 International Business Machines Corporation Method and apparatus for increasing virtual storage capacity in on-demand storage systems
JP4863749B2 (ja) 2006-03-29 2012-01-25 株式会社日立製作所 フラッシュメモリを用いた記憶装置、その消去回数平準化方法、及び消去回数平準化プログラム
JP5221756B2 (ja) 2009-01-30 2013-06-26 株式会社日立製作所 データ要素を圧縮して格納するストレージシステム及び記憶制御方法
WO2011010344A1 (ja) 2009-07-22 2011-01-27 株式会社日立製作所 複数のフラッシュパッケージを有するストレージシステム
WO2012039002A1 (en) * 2010-09-21 2012-03-29 Hitachi, Ltd. Semiconductor storage device and data control method thereof
US20140172325A1 (en) * 2012-12-14 2014-06-19 Virtium Technology, Inc. Life monitoring in solid-state drive
US9122588B1 (en) * 2013-03-15 2015-09-01 Virident Systems Inc. Managing asymmetric memory system as a cache device
US9110599B1 (en) * 2013-05-10 2015-08-18 Emc Corporation Thin provisioning of VTL tape pools with MTree logical quotas

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112276A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 再配置システムおよび再配置方法
JP2010033261A (ja) * 2008-07-28 2010-02-12 Hitachi Ltd ストレージ装置及びその制御方法
JP2010191670A (ja) * 2009-02-18 2010-09-02 Hitachi Ltd ストレージシステム、容量管理方法、および管理計算機
JP2012118587A (ja) * 2010-11-29 2012-06-21 Canon Inc 管理装置及びその制御方法、並びにプログラム
WO2012124100A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 情報処理装置、ストレージシステムおよび書き込み制御方法
WO2013084267A1 (en) * 2011-12-08 2013-06-13 Hitachi, Ltd. Remote copy system and remote copy control method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
末安 泰三: "次世代ファイル・システムの本命 「Btrfs」完全活用", 日経LINUX, vol. 第11巻 第6号, JPN6017002514, 8 June 2009 (2009-06-08), JP, pages 63 - 76, ISSN: 0003488677 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649675B2 (en) 2016-02-10 2020-05-12 Toshiba Memory Corporation Storage controller, storage device, data processing method, and computer program product

Also Published As

Publication number Publication date
JP6381529B2 (ja) 2018-08-29
WO2015008375A1 (ja) 2015-01-22
US20160196075A1 (en) 2016-07-07
US10162536B2 (en) 2018-12-25
US9727255B2 (en) 2017-08-08
US20170300242A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6381529B2 (ja) ストレージ装置および記憶制御方法
JP5844473B2 (ja) 複数の不揮発性の半導体記憶媒体を有し、ホットデータを長寿命記憶媒体に配置しコールドデータを短寿命記憶媒体に配置するストレージ装置、及び、記憶制御方法
JP6073471B2 (ja) ストレージ装置
WO2014141411A1 (ja) ストレージシステムおよびストレージシステム制御方法
JP6507261B2 (ja) ストレージ装置、記録媒体、および記憶制御方法
JP6000376B2 (ja) 特性の異なる複数種類のキャッシュメモリを有する情報処理装置
US9298534B2 (en) Memory system and constructing method of logical block
US10459639B2 (en) Storage unit and storage system that suppress performance degradation of the storage unit
JP6286622B2 (ja) ストレージシステム
JP2019169141A (ja) ソリッドステートストレージドライブアレイにおけるワークロード適応型オーバープロビジョニング
JP6216897B2 (ja) ストレージシステム
US10545684B2 (en) Storage device
WO2016067328A1 (ja) 不揮発メモリデバイスを有するストレージ装置、及び、不揮発メモリデバイス
JP2016506585A (ja) データストレージのための方法及びシステム
JP2012505441A (ja) ストレージ装置およびそのデータ制御方法
CN113924546A (zh) 非易失性存储器中的磨损感知块模式转换
JP2017199043A (ja) ストレージ装置とシステム及び方法とプログラム
JP6817340B2 (ja) 計算機
WO2018167890A1 (ja) 計算機システム及び管理方法
WO2019038859A1 (ja) 不揮発メモリデバイスを有するストレージシステム
WO2018002999A1 (ja) 記憶デバイス及びストレージ装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170724

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170731

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180731

R150 Certificate of patent or registration of utility model

Ref document number: 6381529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150