JP5254725B2 - 協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法 - Google Patents

協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法 Download PDF

Info

Publication number
JP5254725B2
JP5254725B2 JP2008250313A JP2008250313A JP5254725B2 JP 5254725 B2 JP5254725 B2 JP 5254725B2 JP 2008250313 A JP2008250313 A JP 2008250313A JP 2008250313 A JP2008250313 A JP 2008250313A JP 5254725 B2 JP5254725 B2 JP 5254725B2
Authority
JP
Japan
Prior art keywords
data
storage device
storage
parity
given row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008250313A
Other languages
English (en)
Other versions
JP2009087348A (ja
Inventor
ジョージ・マシュー
クレイグ・ケイ・ハーマー
オレグ・キセレブ
ロナルド・エス・カー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NortonLifeLock Inc
Original Assignee
Symantec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Symantec Corp filed Critical Symantec Corp
Publication of JP2009087348A publication Critical patent/JP2009087348A/ja
Application granted granted Critical
Publication of JP5254725B2 publication Critical patent/JP5254725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/10Indexing scheme relating to G06F11/10
    • G06F2211/1002Indexing scheme relating to G06F11/1076
    • G06F2211/1038LFS, i.e. Log Structured File System used in RAID systems with parity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/10Indexing scheme relating to G06F11/10
    • G06F2211/1002Indexing scheme relating to G06F11/1076
    • G06F2211/1054Parity-fast hardware, i.e. dedicated fast hardware for RAID systems with parity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Description

本発明は、コンピュータシステムに関し、さらに具体的に言えば、コンピュータシステム内のデータ記憶サブシステムに関する。
(関連出願)
本出願の原出願は、2007年9月28日に出願された「System And Method Of Redundantly Storing And Retrieving Data With Cooperating Storage Devices(協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法)」と称する米国仮特許出願第60/976,302号(参照によって、その全体が本明細書中に組み入れられている)に優先益を主張している。
コンピュータシステムは、データを格納するデータ記憶サブシステムを含むことが多い。特に、ネットワークにより相互接続された複数のクライアントを含むコンピュータシステムは、ネットワークを介して、1つ又は複数のデータ記憶サブシステムを共用することがますます増えている。これらのデータ記憶サブシステムは、1つ又は複数のディスクストレージデバイス、テープ・ドライブ、又は他の記憶媒体からなるストレージを含むか、あるいは、そのようなストレージに結合される。コンピュータシステムはまた、組み込まれたストレージデバイスの内容を表すメタデータが維持されている1つ又は複数のサーバーも含む。
データ記憶サブシステムは、ストレージのエラーから回復させるため、何らかの冗長性を持たせてデータを格納する。RAID−1、RAID−5、又はRAID−6などの様々なレイアウトを用いるRAID(Redundant Array of Independent Disks)や、リード・ソロモン符号化などの消去符号化技法(erasure coding techniques)を含む、データを冗長的に格納する様々な技法がある。これらのRAIDレイアウトは、それぞれの独立したストレージデバイスをディスクと見なすオブジェクトベースのファイルシステム内で実現される。それぞれのクライアントデバイスは、ネットワークを介して、これらのストレージデバイスにデータを伝える。あいにく、冗長データに矛盾が持ち込まれないようにするために、複数のクライアントからの書込みアクセス要求を調停する何らかの方法を必要とする。1つの調停手法は、ストレージ位置にアクセスする前にロックを得るように、それぞれのクライアントに求めることである。しかしながら、このような手法では、それぞれのクライアントは、ロック機構を用いる書込みの順序づけに関わる役割のすべてに責任を負い、かつ、それらの役割をすべて果たすものと確信されることが必要である。例えば、RAID−5又はRAID−6の場合には、これらの役割は、旧データと旧パリティを読み取ること、新パリティを計算すること、新データと新パリティのログを取ること、及び、RAIDレイアウトにおいて、行の一部又は全部をいっしょに構成するそれぞれのストレージ位置に新データと新パリティを書き込むことを含む。さらに、クライアントは、RAIDレイアウトにおいて個々のストレージ位置に書き込むたびに、「メタデータ・サーバー(MDS)」から情報を取り出すように求められる。これらの役割を果たすことから、ライト・レイテンシ(書込み遅延時間)が増し、しかも、複雑さと、計算及び格納の著しいオーバーヘッドがそれぞれのクライアントに加えられる。
上記の考慮すべき点に加えて、データ記憶サブシステムは、1つ又は複数のデバイスが故障したときに発生するかもしれないデータ紛失を最小限に抑えるように設計されている。RAIDレイアウトは、高い可用性とフォールト・トレランスを実現しようとしているが、クライアントがその冗長性の維持に対して責任がある場合には、複雑な書込み操作中に、デバイス故障に対して脆弱性を増す期間がある。上記にかんがみて、これらの問題を考慮に入れていて、かつデータ記憶サブシステムへの書込みを管理するさらに効果的なシステム及び方法が要望される。
コンピュータシステム及び方法の様々な実施態様が開示されている。一実施態様では、コンピュータシステムは、記憶サブシステムに結合されたクライアントを含む。この記憶サブシステムは、アレイ内で行及び列としてアドレス指定可能な複数のデータのストレージ位置を含む。アレイの各列は、個別のストレージデバイスを含む。アレイの各行に格納されたデータは、少なくとも一部の冗長データを含む。アレイ内の所与の行では、これらの複数のストレージデバイスの所定の1つが、総合調整ストレージデバイス(coordinating storage device)に指定される。1つ又は複数の行からなる別々の組では、上記複数のストレージデバイスの少なくとも2つが、総合調整ストレージデバイスに指定される。アレイ内の所与の行では、総合調整ストレージデバイスは、上記クライアントからデータを受け取って、所与の行に格納し、また、受け取ったデータの1つ又は複数の部分を、上記複数のストレージデバイスの他の1つ又は複数に転送し、さらに、上記少なくとも一部の冗長データの計算と、所与の行への上記少なくとも一部の冗長データの格納を総合調整するように構成されている。所与のストレージ位置への格納を目標とするデータの一部の受取りに応答して、所与のストレージ位置を含む個別のストレージデバイスに関連する不揮発性の一時ストレージデバイスは、そのデータの受け取った部分をバッファするように構成されている。
さらに他の実施態様では、上記総合調整ストレージデバイスは、データの1つ又は複数の部分を不揮発性の一時ストレージデバイスにバッファされていることの検出に応答して、書込み完了メッセージをクライアントに伝えるように構成されている。システムはさらに、上記複数のストレージデバイスの少なくとも1つの故障を検出するように構成されている。書込み完了メッセージが伝えられた後で、しかも、バッファされたデータの少なくとも一部が上記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送される前に、故障が発生した場合には、システムはさらに、上記少なくとも一部の冗長データを含む所与の行に格納されたデータを、不揮発性の一時ストレージデバイスに格納されたデータから再構築するように構成されている。バッファされたデータが、上記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送された後で故障が発生した場合には、システムはさらに、上記少なくとも一部の冗長データを含む所与の行に格納されたデータを、所与の行に格納されたデータから再構築するように構成されている。上記総合調整ストレージデバイスはさらに、所与の行に格納されたデータの複数部分のパリティ値又は消去符号化値を計算するように構成されている。一実施態様では、所与の行に対してパリティ値又は消去符号化値が計算されていることを示す信号に応答して、それぞれの不揮発性の一時ストレージデバイスはさらに、データのバッファされた部分を、関連する個別のストレージデバイスの所与の行中のストレージ位置に転送するように構成されている。代替実施態様では、所与の行に対して、パリティ値又は消去符号化値を計算するデータが、総合調整ストレージデバイスで受け取られていることを示す信号に応答して、それぞれの不揮発性の一時ストレージデバイスはさらに、データのバッファされた部分を、関連する個別のストレージデバイスの所与の行中のストレージ位置に転送するように構成されている。さらに他の実施態様では、冗長アレイは、RAID−5レイアウト、RAID−6レイアウト、RAID−1レイアウト、あるいは、他の冗長レイアウト又は消去符号化レイアウトを含む。
上記及び他の実施態様は、以下の説明及び添付図面を考慮に入れると、明らかであろう。
本発明は、様々な変更例及び代替形態の影響を受けやすいが、特定の実施形態が、例示として図面に示され、かつ、本明細書に詳述されている。しかしながら、本明細書に記載される図面及び詳細な説明は、本発明を、開示された特定の形態に限定するつもりはなく、それどころか、併記の特許請求の範囲により定義される本発明の精神及び範囲に属するすべての変更例、均等例、代替例をカバーするものとする。
図1は、コンピュータシステム100の一実施形態を示している。図示されるように、システム100は、ネットワーク180を通じて相互接続されたクライアント(110、120,130)、記憶サブシステム150、メタデータ・サーバー(MDS)160を含む。クライアント(110、120,130)は、デスクトップPC、ワークステーション、ラップトップ、ハンドヘルド・コンピュータ、ブレード・サーバーなどのような定置式コンピュータ又はモバイル・コンピュータの任意の数を表している。システム100は、クライアントとサーバーを含むものとして描かれているが、代替実施形態では、クライアントとサーバーで果たされる役割は、ピアツーピア構成におけるピアにより、あるいは、クライアント、サーバー、ピアを組み合わせたものにより、遂行される。
代替実施形態では、クライアント、サーバー、ストレージデバイスの数とタイプは、図1に示されるものには限定されない。サーバー、デスクトップ、モバイル・クライアントやそれらの組み合わせの任意の数が、モデム・バンク、直接LAN接続、無線接続、WANリンクなどの様々な組合せを介して、システム100内で相互接続されている。また、様々な時間に、1つ又は複数のクライアントがオフラインで動作することもある。さらに、動作中に、モバイル・ユーザがあちこちに移動して、システム100に対して接続、切り離し、再接続を行うときに、個々のクライアントの接続タイプが変わることもある。
システム100内では、記憶サブシステム150内のあらゆるクライアント(110、120,130)に関連するデータを格納することが望ましい。記憶サブシステム150は、個々のストレージデバイス(151〜155)を含む。ストレージデバイス(151〜155)は、ハードディスク、サーバーブレード、又は専用デバイスなどの様々な任意のデバイスであり、また、RAM、フラッシュRAM、MEMS(Micro Electro Mechanical Systems)ストレージ、バッテリ・バックアップRAM、及び/又は、不揮発性RAM(NVRAM)などのような様々なメモリ素子を含む。クライアント・データは、ストレージの信頼性が冗長性及び/又は誤り訂正機能により高められるRAID−1、RAID−DP、RAID−5、RAID−6などの公知の様々なレイアウト、消去符号化データ表現方式などの1つで、記憶サブシステム150内に格納される。記憶サブシステム150に格納されたデータのレイアウトを表すメタデータは、MDS160に格納される。クライアントは、メタデータをMDS160から取り出して、記憶サブシステム150内の所望のデータのストレージ位置を特定する。代替実施形態では、記憶サブシステム150内のストレージデバイスのタイプやレイアウトに応じて、ボリューム構成デーモン(volume configuration daemon)あるいは他の記憶管理プロセス又はサーバーなどの様々な任意の構成要素により、MDS160の役割を果たさせることができる。
以下の説明では、データは、個々のストレージデバイス位置の容量によって決まる所与のサイズのストライプ・ユニットに格納される。これらのストライプ・ユニットは、個々のストレージデバイスに適したデータ・オブジェクト、データ部分、チャンク、又は他の任意のデータ・セグメントである。しかしながら、クライアントの視点から、データ・ストライプ・ユニットは、サイズが異なってもよい。例えば、クライアントは、アレイ内に配置されたいくつかのストレージデバイスを横切る行を満たすのに充分なサイズのストライプ・ユニットで、データを記憶サブシステムに伝える。クライアントはまた、ストライプ・ユニットよりも小さいサイズでデータを伝えてもよい。様々なストライプ・レイアウトが可能であって、検討されているが、それらのストライプ・レイアウトの一部が、以下でさらに詳しく説明される。記憶サブシステム150内の所与の行では、それらのストレージデバイスの1つが総合調整ストレージデバイスに指定されてもよい。いくつかの実施形態では、データは、パリティを持たずに格納され、また、各行中の総合調整ストレージデバイスは、この行中の他のストレージデバイスへの個々のストライプ・ユニットの格納を総合調整する。冗長レイアウトを含む他の実施形態では、総合調整ストレージデバイスは、パリティ計算を総合調整することだけでなく、データの格納も総合調整することがある。多数のこのような別法も可能であり、検討されている。
ここで、図2に行くと、記憶サブシステム150の一実施形態の一般化したブロック図が示されている。図2に示される実施形態では、記憶サブシステム150は、RAID−5レイアウトで配置されたストレージデバイス(210、220、230、240、250)を含む。ストレージデバイス(210、220、230、240、250)のそれぞれは、ランダムアクセスメモリ(RAM)などの一組の一時ストレージデバイス(215、225、235、245、255)の対応する1つを含む。一実施形態では、一時ストレージデバイス(215、225、235、245、255)は、不揮発性RAM(NVRAM)を含んでもよい。データは、これらの一時ストレージデバイスを横切る行にストライプ化されているストライプ・ユニットに格納される。様々なRAID−5の実施形態では、レイアウトでのストレージデバイスの数に応じて、各行中に、パリティ・ストレージデバイスと少なくとも2つのデータ・ストレージデバイスがある。例えば、図2に示される実施形態では、行は、ストレージデバイス(210、220、230、240、250)の1つ1つにそれぞれが格納されている5つのストライプ・ユニットとして定義される。データは、行の一部、全行、又は、2つ以上の行を横切ってストライプ化される。各行は、4つのデータ・ストライプ・ユニットと1つのパリティ・ストライプ・ユニットとを含む。さらに具体的に言えば、図2に示される実施形態における第1の行は、それぞれストレージデバイス(210、220、230、240、250)に格納されたデータ・ストライプ・ユニット(A1、A2、A3、A4)と、パリティ・ストライプ・ユニットApとを含む。第2の行は、データ・ストライプ・ユニット(B1、B2、B3、B4)と、パリティ・ストライプ・ユニットBpとを含む。パリティ・ストライプ・ユニットApがストレージデバイス250に格納された第1の行とは違って、パリティ・ストライプ・ユニットBpはストレージデバイス240に格納されるが、一方、データ・ストライプ・ユニット(B1、B2、B3、B4)は、それぞれストレージデバイス(210、220、230、250)に格納される。パリティ・ストライプ・ユニットの位置は、行Cや行Dなどのようなそれぞれの連続する行上のストレージデバイスの間で回される。
動作中、クライアントは、RAID−0レイアウトに書き込もうとするかのように、データを所与の行に書き込む。さらに具体的に言えば、RAID−5の行ごとに、その行全体を、その行に指定されているパリティ・ストライプ・ユニットを収めるストレージデバイスに格納し、かつ、ストライプ・サイズが、その行中の他のパリティ無しストライプ・ユニットの総合サイズに等しくなるように、データがストライプ化されることをクライアントに知らせる。次に、クライアントは、その行全体に関するデータを、パリティ・ストレージデバイスに送る。次に、パリティ・ストレージデバイスは、以下でさらに詳しく説明されるプロセスにより、データの1つ又は複数の部分を、所与の行中の構成データ・ストレージデバイスに転送する。それぞれのストレージデバイスは、新パリティを計算するまで、パリティ又はデータを、その関連RAMに格納し、また、新パリティの計算時に、その書込み操作がコミットされ、また、データとパリティがRAMから、関連するストライプ・ユニットの位置に転送される。記憶サブシステムは、データ・ストライプ・ユニットとパリティ・ストライプ・ユニットをRAMに格納した後で、ただし、データとパリティをRAMから、関連するストライプ・ユニットの位置に転送する前に、書込み完了メッセージをクライアントに戻して、ライト・レイテンシを最小限に抑える。それぞれ幅が1行以下であり、かつそれぞれの行中の対応するパリティ・ストレージデバイスにそれぞれがアドレス指定される一連の書込み操作を通じて、単一行の容量よりも大きいデータセットを書き込む。
読取り操作は、同様なやり方で行われる。例えば、読取り要求は、クライアントから、所与の行中のパリティ・ストレージデバイスに送られる。要求されるデータが、パリティ・ストレージデバイスに関連するRAMに格納されている場合には、要求に応じて、そのデータを検索して、直接にクライアントに送る。要求されたデータが、その行を構成する他の1つ又は複数のストレージデバイス上にある場合には、パリティ・ストレージデバイスは、対応する読取り要求を、このレイアウトでのそれぞれのストレージデバイスに伝え、代わりに、要求されたデータの一部を受け取る。次に、パリティ・ストレージデバイスは、データを集めて、それを、要求するクライアントに戻す。データの1つ又は複数の部分が、故障しているストレージデバイス上にある場合には、パリティ・ストレージデバイスは、この行を構成する充分な数の残りのストレージデバイスからデータを取り出し、次に、利用可能なデータとパリティを用いて、消失を再構築する。
図3は、記憶サブシステム150の代替実施形態の詳細なブロック図である。図3に示される実施形態では、データは、ストライプ・ユニットとして記憶サブシステム150に格納される。記憶サブシステム150は、RAID−6レイアウトで配置されたストレージデバイス(310、320、330、340、350、360)を含む。ストレージデバイス(310、320、330、340、350、360)のそれぞれは、ランダムアクセスメモリ(RAM)などの一組の一時ストレージデバイス(315、325、335、345、355、365)の対応する1つを含む。一実施形態では、一時ストレージデバイス(315、325、335、345、355、365)は、フラッシュRAM、MEMSストレージ、バッテリ・バックアップRAM、不揮発性RAM(NVRAM)、又は他の永続性ストレージデバイスを含む。データは、これらのストレージデバイス上で、行中のストライプ・ユニットを横切ってストライプ化される。
様々なRAID−6の実施形態では、レイアウトでのストレージデバイスの数に応じて、各行中に、2つのパリティ・ストライプ・ユニットと、少なくとも2つのデータ・ストライプ・ユニットがある。例えば、図3に示される実施形態では、行は、ストレージデバイス(310、320、330、340、350、360)の1つ1つにそれぞれが格納されている6つのストライプ・ユニットと定義される。データは、行の一部、全行、又は、2つ以上の行を横切ってストライプ化される。各行は、4つのデータ・ストライプ・ユニットと2つのパリティ・ストライプ・ユニットとを含む。さらに具体的に言えば、図3に示される実施形態における第1の行は、それぞれストレージデバイス(310、320、330、340、350、360)に格納されたデータ・ストライプ・ユニット(A1、A2、A3、A4)と、パリティ・ストライプ・ユニット(ApとAq)とを含む。第2の行は、データ・ストライプ・ユニット(B1、B2、B3、B4)と、パリティ・ストライプ・ユニット(BpとBq)とを含む。パリティ・ストライプ・ユニットApがストレージデバイス350に格納され、またパリティ・ストライプ・ユニットAqがストレージデバイス360に格納される第1の行とは違って、パリティ・ストライプ・ユニットBpはストレージデバイス340に格納され、またBqはストレージデバイス350に格納されるが、一方、データ・ストライプ・ユニット(B1、B2、B3、B4)は、それぞれストレージデバイス(310、320、330、360)に格納される。これらのパリティ・ストレージデバイスの位置は、行Cや行Dなどのようなそれぞれの連続する行上のストレージデバイスの間で回される。
書込み操作中、クライアントは、RAID−0レイアウトに書き込もうとするかのように、データを所与の行に書き込む。さらに具体的に言えば、RAID−6の行ごとに、その行全体を、その行に指定されている一次パリティ・ストレージデバイス(上記の通り、添え字「p」で示される)に格納し、かつ、クライアント・ストライプ・ユニットが、その行中の他のパリティ無しストライプ・ユニットの総合サイズに等しくなるように、データがストライプ化されることをクライアントに知らせる。次に、クライアントは、その行全体に関するデータを、一次パリティ・ストレージデバイスに送る。次に、一次パリティ・ストレージデバイスは、以下でさらに詳しく説明されるプロセスにより、データを、所与の行中の構成データ・ストレージデバイス及び二次パリティ・ストレージデバイス(上記の通り、添え字「q」で示される)に転送する。それぞれのストレージデバイスは、新パリティを計算するまで、パリティ及び/又はデータを、関連RAMに格納し、また、新パリティの計算時に、その書込み操作がコミットされ、また、データとパリティがRAMから、関連するストレージデバイスに転送される。記憶サブシステムは、データ・ストライプ・ユニットとパリティ・ストライプ・ユニットをRAMに格納した後で、ただし、データとパリティをRAMから、関連するストレージデバイスに転送する前に、書込み完了メッセージをクライアントに戻して、ライト・レイテンシを最小限に抑える。それぞれ幅が1行以下であり、かつそれぞれの行中の対応するパリティ・ストレージデバイスにそれぞれがアドレス指定される一連の書込み操作を通じて、単一行の容量よりも大きいデータセットを書き込む。
読取り操作は、同様なやり方で行われる。例えば、読取り要求は、クライアントから、所与の行中の一次パリティ・ストレージデバイスに送られる。要求されるデータが、一次パリティ・ストレージデバイスに関連するRAMに格納されている場合には、要求に応じて、そのデータを検索して、直接にクライアントに送る。要求されたデータが、その行を構成する他の1つ又は複数のストレージデバイス上にある場合には、パリティ・ストレージデバイスは、対応する読取り要求を、レイアウトでのそれぞれのストレージデバイスに伝え、代わりに、要求されたデータの一部を受け取る。次に、一次パリティ・ストレージデバイスは、そのデータを集めて、それを、要求するクライアントに戻す。そのデータの1つ又は複数の部分が、故障しているストレージデバイス上にある場合には、一次パリティ・ストレージデバイスは、この行を構成する充分な数の残りのストレージデバイスからデータを取り出し、次に、利用可能なデータとパリティを用いて、消失を再構築する。RAID−6、及び多大な冗長量を持つ他のレイアウトの場合には、それらのデータ・ストレージデバイスとパリティ・ストレージデバイスのすべてからデータを取り出す必要はなく、それらのデータ部分のサブセット(一部)が、その消失を再構築するのに充分であることに留意されたい。
図4は、記憶サブシステム150のさらに他の代替実施形態の詳細なブロック図である。図4に示される実施形態では、データは、ストライプ・ユニットとして記憶サブシステム150に格納される。記憶サブシステム150は、RAID−1レイアウトで配置されたストレージデバイス(410と420)を含む。図4に示される実施形態では、2つのストレージデバイスが示されているが、ただし、代替RAID−1レイアウトでは、冗長度を高めるために、2つを超えるストレージデバイスを使用することがある。ストレージデバイス(410と420)のそれぞれは、ランダムアクセスメモリ(RAM)などの一組の一時ストレージデバイス(415と425)の対応する1つを含む。一実施形態では、一時ストレージデバイス(415と425)は、フラッシュRAM、MEMSストレージ、バッテリ・バックアップRAM、不揮発性RAM(NVRAM)、又は他の永続性ストレージデバイスを含む。データは、ストレージデバイス410とストレージデバイス420との間でミラー化される。データは、行の一部、全行、又は、2つ以上の行に格納される。各行は、一次データ・ストライプ・ユニットと二次ストライプ・ユニットとを含む。例えば、図4に示される実施形態における第1の行は、ストレージデバイス410に格納されたデータ・ストライプ・ユニットA1と、ストレージデバイス420に格納されたデータ・ストライプ・ユニットA2とを含む。第2の行は、ストレージデバイス410に格納されたデータ・ストライプ・ユニットB1と、ストレージデバイス420に格納されたデータ・ストライプ・ユニットB2とを含むといった具合である。一次データ・ストレージデバイスの位置は、上記一次データ・ストライプ・ユニットを格納する責任をストレージデバイス410とストレージデバイス420に分担させるそれぞれの連続する行又は他の任意のパターンに対して交互するといった具合に、これらのストレージデバイスの間で変えられる。
動作中、データの行ごとに、データを、その行用の一次データ・ストレージデバイスに格納するように、データがストライプ化されることをクライアントに知らせる。クライアントは、データを一次データ・ストレージデバイスに送る。次に、一次データ・ストレージデバイスは、データを、所与の行中の二次データ・ストレージデバイスに転送する。それぞれのストレージデバイスは、ストライプ・ユニットをいつでもコミットできる状態になるまで、データを、その関連RAMに格納して、これらのストレージデバイスの中で複数の書込み要求を順序づける機会を与える。記憶サブシステムは、データ・ストライプ・ユニットをRAMに格納した後で、ただし、データをRAMから、関連するストレージデバイスに転送する前に、書込み完了メッセージをクライアントに戻して、ライト・レイテンシを最小限に抑える。それぞれ幅が1行以下であり、かつそれぞれの行中の対応する一次データ・ストレージデバイスにそれぞれがアドレス指定される一連の書込み操作を通じて、単一行の容量よりも大きいデータセットを書き込む。通常の当業者であれば、読取り操作が、同様に一次データ・ストレージデバイスを通じて総合調整されることが明らかであろう。
記憶サブシステム150のさらに他の実施形態では、消去符号化法が使用される。例えば、リード・ソロモン方式では、総合調整ストレージデバイスは、受け取ったデータのK個のブロックに計算を行ってM個の消去符号化ブロックを生成し、元のデータの復元に、M個のブロックのうちN個だけを必要とするようにする。ここで、N<Mであり、また通常、K<Nである。通常の当業者には、他の多数の適切な冗長記憶方式又は消去符号化記憶方式が明らかであろう。
図5は、クライアントと、RAID−5レイアウトにおける行との間でのライト・トランザクションの一実施形態を示すシーケンス図である。図5に示される実施形態では、データ・ストレージデバイス(501〜504)とパリティ・ストレージデバイス505からなる行にクライアント510がデータを書き込むのが示されている。そのデータ・サイズを、1行の容量に等しいと仮定する。時点t0にて、クライアント510は、データ・ストレージデバイス(501〜504)のそれぞれに格納されるデータを含むメッセージ520で、データをパリティ・ストレージデバイス505に送る。クライアント510は、この行の個々の構成要素を知っている必要はない。もっと適切に言えば、クライアント510は、メタデータ・サーバーから、パリティ・ストレージデバイス505の位置とこの行のサイズを含め、データ・ストレージのレイアウトを得る。パリティ・ストレージデバイス505がデータを受け取った後で、時点t1にて、パリティ・ストレージデバイス505は、新パリティ・ストライプ・ユニットを計算して、その結果及び/又はデータを、関連一時ストレージデバイスに格納する(ブロック525)。時点t2にて、パリティ・ストレージデバイス505は、それぞれメッセージ(531〜534)で、データの一部をデータ・ストレージデバイス(501〜504)のそれぞれに転送するプロセスを開始する。データ・ストレージデバイス(501〜504)のそれぞれは、受け取ったデータを、関連一時ストレージデバイスに格納する。
時点t3にて、パリティ・ストレージデバイス505は、それぞれメッセージ(541〜544)で、データ・ストレージデバイス(501〜504)のそれぞれから確認応答を受け取り始める。これらの確認応答がすべて受け取られると、時点t4にて、パリティ・ストレージデバイス505は、書込み完了メッセージ550をクライアント510に送る。新データが、データ・ストレージデバイス(501〜504)により受け取られて、確認されるまで、書込み完了メッセージ550をクライアントに送らないことに留意する必要がある。これにより、データが冗長的に格納されることと、任意の単一デバイスの故障の場合でも、データが復元されることが保証される。次に、時点t5にて、パリティ・ストレージデバイス505は、関連一時ストレージデバイスに入っている新データに基づいて、新パリティ値を計算して、それを、パリティ・ストライプ・ユニットの位置に書き込む(ブロック560)か、あるいは、新パリティ値がすでに、関連一時ストレージデバイスに格納されている場合には、新パリティ値を、関連一時ストレージデバイスから、パリティ・ストライプ・ユニットの位置に書き込む(ブロック560)。時点t6にて、データ・ストレージデバイス(501〜504)のそれぞれは、データを、関連一時ストレージデバイスから、データ・ストライプ・ユニットの位置に書き込んで、ライト・トランザクションを完了する(ブロック570)。
次に、いくつかのエラー回復シナリオを述べる。時点t1と時点t2との間に、これらのストレージデバイスの電源障害又は他の一時中断が発生する場合には、その書込みを廃棄する。これらの一時ストレージデバイスへの新データ及び/又は新パリティの転送が不完全であったから、電源が復旧するか、又は中断が回復すると、部分データは廃棄される。時点t2後の電源障害又は他の一時中断の場合には、処理は、電源が復旧した後で再開し、また、故障がまったく発生してないかのように、アルゴリズムの残りの工程が実行される。
上記パリティ・ストレージデバイス以外のストレージデバイスの故障に、電源障害が組み合わされた場合には、パリティ・ストレージデバイスは、その故障を検出して、メッセージをMDS(メタデータ・サーバー)に送って、デバイス故障を報告する。別法として、パリティ・ストレージデバイスは、書込み完了メッセージの代わりにエラー・メッセージをクライアントに送る。それに応答して、クライアントは、MDSとコンタクトを取って、エラーを報告する。クライアントから、又はパリティ・ストレージデバイスからエラー・メッセージを受け取ると、MDSは、新ストレージデバイスを選択して、故障したデバイスを取り替え、また、残りのストレージデバイスに格納されたデータに基づいて、ストライプ・ユニットの内容を再構築させる。この行中のストレージデバイスのすべてが、データのそれぞれの部分を受け取って、かつ格納する前に、上記のデバイス故障が発生する場合には、パリティ・ストレージデバイスから、書込みデータの全コピーを得て、書込み操作を完了する。
上記パリティ・ストレージデバイスの故障に電源障害が組み合わされる場合には、MDSは、ポーリングなどのような従来の技法を介して、パリティ・ストレージデバイスの故障を認め、さらに、新ストレージデバイスを選択して、パリティ・ストレージデバイスを取り替える。新パリティ・ストレージデバイスは、他のストレージデバイスからデータを読み取って、パリティ値を計算し直し、さらに、その結果得られたパリティ値を新ストレージ位置に格納する。いくつかの実施形態では、パリティの再計算は、MDSなどの他のデバイスによって行われてもよい。
図6は、クライアントと、RAID−5レイアウトでの部分行との間のライト・トランザクションの一実施形態を示すシーケンス図である。図6に示される実施形態では、クライアント610は、データ・ストレージデバイス(601〜604)とパリティ・ストレージデバイス605からなる行にデータを書き込むのが示されている。データ・サイズは、1行の容量よりも小さいと仮定される。時点t0にて、クライアント610は、データ・ストレージデバイス(601と602)のそれぞれに格納されるデータを含むメッセージ620で、データをパリティ・ストレージデバイス605に送る。クライアント610は、この行の個々の構成要素を知っている必要はない。もっと適切に言えば、クライアント610は、メタデータ・サーバーから、パリティ・ストレージデバイス605の位置と、データを格納するのに必要なデータ・ストライプ・ユニットのサイズを含め、データ・ストレージのレイアウトを得るか、あるいは、そのようなレイアウトが知らされる。パリティ・ストレージデバイス605がデータを受け取った後で、時点t1にて、パリティ・ストレージデバイス605は、データを、関連一時ストレージデバイスに格納する(ブロック625)。
時点t2にて、パリティ・ストレージデバイス605は、それぞれメッセージ(631と632)で、データの一部をデータ・ストレージデバイス(601と602)のそれぞれに転送するプロセスを開始する。データ・ストレージデバイス(601と602)のそれぞれは、受け取ったデータを、関連一時ストレージデバイスに格納する。時点t3にて、パリティ・ストレージデバイス605は、それぞれメッセージ(641と642)で、データ・ストレージデバイス(601と602)のそれぞれから確認応答を受け取り始める。これらの確認応答がすべて受け取られると、時点t4にて、パリティ・ストレージデバイス605は、書込み完了メッセージ650をクライアント610に送る。次に、時点t5にて、データ・ストレージデバイス(601と602)のそれぞれは、それぞれメッセージ(661と662)で、関連データのストレージ位置に格納された旧データのコピーをパリティ・ストレージデバイス605に送る。メッセージ(661と662)を受け取った後で、時点t6にて、パリティ・ストレージデバイス605は、それそれメッセージ(671と672)で、確認応答をデータ・ストレージデバイス(601と602)のそれぞれに送る。次に、時点t7にて、パリティ・ストレージデバイス605は、データ・ストレージデバイス(601と602)から受け取った旧データと、クライアント610から受け取った新データを使用して、新パリティ値を計算して、その結果を、関連一時ストレージデバイスに格納する(ブロック682)。時点t8にて、データ・ストレージデバイス(601と602)のそれぞれは、データを、関連一時ストレージデバイスから、データのストレージ位置に書き込む(ブロック684)。時点t9にて、パリティ・ストレージデバイス605は、それらの新パリティ値を、関連一時ストレージデバイスから、パリティ・データのストレージ位置に書き込んで、ライト・トランザクションを完了する(ブロック686)。エラー回復は、クライアントと、RAID−5レイアウトでの全行との間のライト・トランザクションに関する上述のプロセスと同様であり、それゆえ、これ以上説明しないが通常の当業者には明らかであろう。
図7は、クライアントと、RAID−6レイアウトでの行との間のライト・トランザクションの一実施形態を示すシーケンス図である。図7に示される実施形態では、クライアント710は、データ・ストレージデバイス(702〜705)とパリティ・ストレージデバイス(701と706)からなる行にデータを書き込むのが示されている。データ・サイズは、1行の容量に等しいと仮定される。時点t0にて、クライアント710は、データ・ストレージデバイス(702〜705)のそれぞれに格納されるデータを含むメッセージ720で、データをパリティ・ストレージデバイス706に送る。クライアント710は、この行の個々の構成要素を知っている必要はない。もっと適切に言えば、クライアント710は、メタデータ・サーバーから、一次パリティ・ストレージデバイス706の位置と、この行のサイズを含め、データ・ストレージのレイアウトを得るか、あるいは、そのようなレイアウトが知らされる。一次パリティ・ストレージデバイス706がデータを受け取った後で、時点t1にて、一次パリティ・ストレージデバイス706は、新データを、関連一時ストレージデバイスに格納し、新一次パリティ値を計算して、新一次パリティ値を、関連一時ストレージデバイスに格納する(ブロック725)。
時点t2にて、一次パリティ・ストレージデバイス706は、メッセージ731で、新データを二次パリティ・ストレージデバイス701に送る。二次パリティ・ストレージデバイス701は、この新データを、関連一時ストレージデバイスに格納する。時点t3にて、二次パリティ・ストレージデバイス701は、メッセージ732で、確認応答を一次パリティ・ストレージデバイス706に送り戻す。確認応答が受け取られると、時点t4にて、一次パリティ・ストレージデバイス706は、それぞれメッセージ(741〜744)で、データの一部をデータ・ストレージデバイス(705〜702)のそれぞれに転送するプロセスを開始する。データ・ストレージデバイス(705〜702)のそれぞれは、受け取ったデータを、関連一時ストレージデバイスに格納する。時点t5にて、一次パリティ・ストレージデバイス706は、それぞれメッセージ(751〜754)で、データ・ストレージデバイス(702〜705)のそれぞれから確認応答を受け取り始める。これらの確認応答がすべて受け取られると、時点t6にて、一次パリティ・ストレージデバイス706は、メッセージ761で、書込み完了メッセージを二次パリティ・ストレージデバイス701に送る。二次パリティ・ストレージデバイス701は、データに基づいて、新パリティ・ストライプ・ユニットの値を計算し、二次パリティ・ストライプ・ユニットの位置の状態を完全なものにし、時点t7にて、メッセージ762で確認応答を一次パリティ・ストレージデバイス706に送り戻す。
時点t8にて、一次パリティ・ストレージデバイス706は、書込み完了メッセージ770をクライアント710に送る。次に、時点t9にて、一次パリティ・ストレージデバイス706と二次パリティ・ストレージデバイス701は、これらの新パリティ値を、それらの関連一時ストレージデバイスから、それらのパリティ・ストライプ・ユニットの位置に書き込む(ブロック780)。時点t10にて、データ・ストレージデバイス(702〜705)のそれぞれは、データを、関連一時ストレージデバイスから、データ・ストライプ・ユニットの位置に書き込んで、ライト・トランザクションを完了する(ブロック790)。上の説明では、一次パリティ・ストレージデバイス706が、時点t1にて、新一次パリティ値を計算し、また、二次パリティ・ストレージデバイス701が、t7にて、新一次パリティ値を計算するが、代替実施形態では、二次パリティ・ストレージデバイス701と一次パリティ・ストレージデバイス706は、新データを受け取った後で、かつ時点t9よりも前の任意の時点に、新データから新パリティ値を計算する。
次に、いくつかのエラー回復シナリオを述べる。時点t1と時点t2との間に、これらのストレージデバイスの電源障害又は他の一時中断が発生する場合には、書込みを廃棄する。これらの一時ストレージデバイスへの新データ及び/又は新パリティの転送が不完全であったから、電源が復旧するか、あるいは中断が回復すると、部分データは廃棄される。時点t2後の電源障害又は他の一時中断の場合には、処理は、電源が復旧した後で再開し、また、故障がまったく発生してないかのように、アルゴリズムの残りの工程が実行される。
上記パリティ・ストレージデバイスのいずれか以外のストレージデバイスの故障に、電源障害が組み合わされる場合には、これらのパリティ・ストレージデバイスのいずれかは、故障を検出して、メッセージをMDSに送って、デバイス故障を報告する。別法として、一次パリティ・ストレージデバイスは、書込み完了メッセージの代わりにエラー・メッセージをクライアントに送る。それに応答して、クライアントは、MDSとコンタクトを取って、エラーを報告する。クライアントから、又はパリティ・ストレージデバイスからエラー・メッセージを受け取ると、MDSは、新ストレージデバイスを選択して、故障したデバイスを取り替え、また、残りのストレージデバイスに格納されたデータに基づいて、ストライプ・ユニットの内容を再構築させる。行中のストレージデバイスのすべてが、データのそれぞれの部分を受け取って、かつ格納する前に、上記のデバイス故障が発生する場合には、これらのパリティ・ストレージデバイスのいずれかから、書込みデータの全コピーを得て、その書込み操作を完了する。
パリティ・ストレージデバイスの故障に、電源障害が組み合わされる場合には、MDSは、ポーリングなどのような従来の技法を介して、パリティ・ストレージデバイスの故障を認め、さらに、新ストレージデバイスを選択して、パリティ・ストレージデバイスを取り替える。新パリティ・ストレージデバイスは、他のストレージデバイスからデータを読み取って、パリティ値を計算し直し、さらに、その結果得られたパリティ値を新ストレージ位置に格納する。いくつかの実施形態では、パリティの再計算は、MDSなどの他のデバイスによって行われることがある。
図8は、クライアントと、RAID−6レイアウトでの部分行との間のライト・トランザクションの一実施形態を示すシーケンス図である。図8に示される実施形態では、クライアント810は、データ・ストレージデバイス(802〜805)とパリティ・ストレージデバイス(801と806)からなる行にデータを書き込むのが示されている。データ・サイズは、1行の容量よりも小さいと仮定される。時点t0にて、クライアント810は、データ・ストレージデバイス805に格納されるデータを含むメッセージ820で、データをパリティ・ストレージデバイス806に送る。クライアント810は、行の個々の構成要素を知っている必要はない。もっと適切に言えば、クライアント810は、メタデータ・サーバーから、一次パリティ・ストレージデバイス806の位置と、データを格納するのに必要なデータ・ストライプ・ユニットのサイズを含め、データ・ストレージのレイアウトを得るか、あるいは、そのようなレイアウトが知らされる。一次パリティ・ストレージデバイス806がデータを受け取った後で、時点t1にて、一次パリティ・ストレージデバイス806は、データを、関連一時ストレージデバイスに格納する(ブロック825)。
時点t2にて、一次パリティ・ストレージデバイス806は、メッセージ831で、新データを二次パリティ・ストレージデバイス801に送る。二次パリティ・ストレージデバイス801は、新データを、関連一時ストレージデバイスに格納する。時点t3にて、二次パリティ・ストレージデバイス801は、メッセージ832で、確認応答を一次パリティ・ストレージデバイス806に送り戻す。確認応答が受け取られると、時点t4にて、一次パリティ・ストレージデバイス806は、メッセージ841で、データの一部をデータ・ストレージデバイス805に転送するプロセスを開始する。データ・ストレージデバイス805は、受け取ったデータを、関連一時ストレージデバイスに格納する。時点t5にて、一次パリティ・ストレージデバイス806は、メッセージ842で、データ・ストレージデバイス805から確認応答を受け取る。確認応答が受け取られると、時点t6にて、一次パリティ・ストレージデバイス806は、書込み完了メッセージをクライアント810に送る。次に、時点t7にて、データ・ストレージデバイス805は、関連データ・ストライプ・ユニットの位置に格納された旧データのコピーを、メッセージ861で一次パリティ・ストレージデバイス806に送り、またメッセージ862で二次パリティ・ストレージデバイス801にも送る。メッセージ861を受け取った後で、時点t8にて、一次パリティ・ストレージデバイス806は、メッセージ871で、確認応答をデータ・ストレージデバイス805に送る。
メッセージ862を受け取った後で、時点t9にて、二次パリティ・ストレージデバイス801は、メッセージ872で、確認応答をデータ・ストレージデバイス805に送る。次に、時点t10にて、一次パリティ・ストレージデバイス806は、データ・ストレージデバイス805から受け取った旧データと、クライアント810から受け取った新データを使用して、新パリティ値を計算して、その結果を、関連一時ストレージデバイスに格納する(ブロック882)。時点t11にて、データ・ストレージデバイス805は、データを、関連一時ストレージデバイスから、関連データ・ストライプ・ユニットの位置に書き込む(ブロック884)。時点t12にて、一次パリティ・ストレージデバイス806は、それらの新パリティ値を、関連一時ストレージデバイスから、パリティ・ストライプ・ユニットの位置に書き込む(ブロック886)。時点t13にて、二次パリティ・ストレージデバイス801は、データ・ストレージデバイス805から受け取った旧データと、一次パリティ・ストレージデバイス806から受け取った新データを使用して、新パリティ値を計算して、その結果を、関連一時ストレージデバイスに格納する(ブロック892)。時点t14にて、二次パリティ・ストレージデバイス801は、これらの新パリティ値を、関連一時ストレージデバイスから、パリティ・ストライプ・ユニットの位置に書き込んで、ライト・トランザクションを完了する(ブロック894)。エラー回復は、クライアントと、RAID−6レイアウトでの全行との間のライト・トランザクションに関する上述のプロセスと同様であり、それゆえ、これ以上説明しないことが通常の当業者には明らかであろう。
図9は、クライアントと、RAID−5レイアウトでの行との間のライト・トランザクション中に、RAID−5レイアウトでのパリティ・ストレージデバイスで利用されるプロセス900の一実施形態を示している。プロセス900は、パリティ・ストレージデバイスがクライアントから書込み要求を受け取るときに開始する(ブロック910)。一実施形態では、一次パリティ・ストレージデバイスは、新データを、関連一時ストレージデバイスに格納する(ブロック915)。その書込み要求が、RAID−5の行の全幅のデータを含む場合には(判断ブロック920)、パリティ・ストレージデバイスは、新パリティ値を計算して、それらの結果を、新データとともに関連一時ストレージデバイスに格納する(ブロック932)。次に、このパリティ・ストレージデバイスは、データの一部を、RAID−5の行中のデータ・ストレージデバイスのそれぞれに送って(ブロック934)、確認応答を待つ。RAID−5の行中のデータ・ストレージデバイスのすべてから、確認応答が受け取られているときには(ブロック936)、このパリティ・ストレージデバイスは、書込み完了メッセージをクライアントに戻す(ブロック938)。この書込み完了メッセージを送った後で、このパリティ・ストレージデバイスは、これらの新パリティ値を、関連一時ストレージデバイスから、このパリティ・ストレージデバイス内のパリティ・ストライプ・ユニットの位置に書き込んで、この書込み操作を完了する(ブロック940)。
書込み要求が、RAID−5の行の一部だけのデータを含む場合には(判断ブロック920)、このパリティ・ストレージデバイスは、この新データを、書込み要求から、RAID−5の行中のデータ・ストレージデバイスである対応するストレージデバイスに送って(ブロック954)、確認応答を待つ。RAID−5の行の中の対応するデータ・ストレージデバイスのすべてから、確認応答が受け取られているときには(ブロック956)、このパリティ・ストレージデバイスは、書込み完了メッセージをクライアントに戻す(ブロック958)。この書込み完了メッセージが送られた後で、このパリティ・ストレージデバイスは、RAID−5の行中のデータ・ストレージデバイスであるストレージデバイスのそれぞれから、データの旧部分のコピーを受け取る(960)。このパリティ・ストレージデバイスは、RAID−5の行中のデータ・ストレージデバイスである対応するストレージデバイスのそれぞれに確認応答を送り(ブロック970)、上記の旧パリティ値、データの旧部分、及びデータの新部分から新パリティ値を計算して、その結果得られた値を関連一時ストレージデバイスに書き込む(ブロック980)。次に、このパリティ・ストレージデバイスは、これらの新パリティ値を、関連一時ストレージデバイスから、このパリティ・ストレージデバイス内のパリティ・ストライプ・ユニットの位置に書き込んで、この書込み操作を完了する(ブロック940)。
図10は、クライアントと、RAID−6レイアウトでの行との間のライト・トランザクション中に、RAID−6レイアウトでの一次パリティ・ストレージデバイスで利用されるプロセス1000の一実施形態を示している。プロセス1000は、この一次パリティ・ストレージデバイスがクライアントから書込み要求を受け取るときに開始する(ブロック1010)。一実施形態では、この一次パリティ・ストレージデバイスは、新データを、関連一時ストレージデバイスに格納する(ブロック1015)。書込み要求が、RAID−6の行の全幅のデータを含む場合には(判断ブロック1020)、この一次パリティ・ストレージデバイスは、新一次パリティ値を計算して、それらの結果を、関連一時ストレージデバイスに格納する(ブロック1032)。次に、この一次パリティ・ストレージデバイスは、この新データを、この二次パリティ・ストレージデバイスに送って、確認応答を待つ(ブロック1034)。この二次パリティ・ストレージデバイスから、確認応答が受け取られているときには(ブロック1036)、この一次パリティ・ストレージデバイスは、データの一部を、RAID−6の行中の上記データ・ストレージデバイスのそれぞれに送って(ブロック1038)、確認応答を待つ。RAID−6の行中のデータ・ストレージデバイスのすべてから、確認応答が受け取られているときには(ブロック1040)、この一次パリティ・ストレージデバイスは、書込み完了メッセージをこの二次パリティ・ストレージデバイスに戻して、確認応答を待つ(ブロック1042)。
確認応答が受け取られた(ブロック1044)後で、一次パリティ・ストレージデバイスは、書込み完了メッセージをクライアントに戻す(ブロック1046)。この書込み完了メッセージが送られると、この一次パリティ・ストレージデバイスは、これらの新パリティ値を、関連一時ストレージデバイスから、この一次パリティ・ストレージデバイス内の一次パリティ・ストライプ・ユニットの位置に書き込んで、この書込み操作を完了する(ブロック1050)。
書込み要求が、RAID−6の行の一部だけのデータを含む場合には(判断ブロック1020)、この一次パリティ・ストレージデバイスは、この新データのコピーを、RAID−6の行中の二次パリティ・ストレージデバイスであるストレージデバイスに転送する(ブロック1062)。この一次パリティ・ストレージデバイスはまた、この新データを、書込み要求から、RAID−6の行中の目標データ・ストレージデバイスであるストレージデバイスに送って(ブロック1064)、確認応答を待つ。確認応答が、データを送ったデータ・ストレージデバイスのすべてから受け取られ(ブロック1066)、また、RAID−6の行中の二次パリティ・ストレージデバイスから受け取られている(ブロック1068)ときには、この一次パリティ・ストレージデバイスは、書込み完了メッセージをクライアントに戻す(ブロック1070)。この書込み完了メッセージが送られた後で、この一次パリティ・ストレージデバイスは、RAID−6の行中の、新データを受け取ったストレージデバイスのそれぞれから、データの旧部分のコピーを受け取る(ブロック1072)。この一次パリティ・ストレージデバイスは、データの旧部分を一次パリティ・ストレージデバイスが受け取られた上記データ・ストレージデバイスのそれぞれに確認応答を送り(ブロック1074)、上記の旧パリティ値、データの旧部分、及びデータの新部分から新パリティ値を計算して、その結果得られた値を関連一時ストレージデバイスに書き込む(ブロック1076)。次に、この一次パリティ・ストレージデバイスは、これらの新パリティ値を、関連一時ストレージデバイスから、この一次パリティ・ストレージデバイス内のパリティ・ストライプ・ユニットの位置に書き込んで、この書込み操作を完了する(ブロック1050)。
図11は、クライアントと、RAID−6レイアウトでの行との間のライト・トランザクション中に、RAID−6レイアウトでの二次パリティ・ストレージデバイスで利用されるかもしれないプロセス1100の一実施形態を示している。プロセス1100は、この二次パリティ・ストレージデバイスが、RAID−6の行中の一次パリティ・ストレージデバイスから、新データを含むメッセージを受け取るときに開始する(ブロック1110)。このメッセージが、RAID−6レイアウトでの全行を満たすのに充分な新データを含む場合には(判断ブロック1120)、この二次パリティ・ストレージデバイスは、新データを関連一時ストレージデバイスに格納し(ブロック1132)、かつ、確認応答を、一次パリティ・ストレージデバイスに送る(ブロック1134)。次に、この二次パリティ・ストレージデバイスは、RAID−6の行中の一次パリティ・ストレージデバイスから、書込み完了メッセージを受け取る(ブロック1136)。この二次パリティ・ストレージデバイスは、一次パリティ・ストレージデバイスに確認応答を送り(ブロック1138)、新二次パリティ値を計算して、それらの新二次パリティ値を、関連一時ストレージデバイスから、この二次パリティ・ストレージデバイス内のパリティ・ストライプ・ユニットの位置に書き込む(ブロック1140)。次に、この二次パリティ・ストレージデバイスは、それらの新パリティ値を、関連一時ストレージデバイスから、この二次パリティ・ストレージデバイス内のパリティ・ストライプ・ユニットの位置に書き込んで(ブロック1170)、この書込み操作を完了する(ブロック1180)。
一次パリティ・ストレージデバイスからのメッセージが、RAID−6レイアウトでの全行を満たすのに充分なデータを含まないが、ただし、データの新部分を含む場合には(判断ブロック1120)、この二次パリティ・ストレージデバイスは、これらの新データ部分を関連一時ストレージデバイスに格納し(ブロック1160)、かつ、一次パリティ・ストレージデバイスに確認応答を送る(ブロック1162)。次に、二次パリティ・ストレージデバイスは、新データを目標とするデータの旧部分のコピーを、それらのそれぞれのデータ・ストレージデバイスから受け取る(ブロック1164)。二次パリティ・ストレージデバイスは、データの旧部分を二次パリティ・ストレージデバイスが受け取られた上記データ・ストレージデバイスのそれぞれに確認応答を送る(ブロック1166)。次に、二次パリティ・ストレージデバイスは、上記の旧二次パリティ値、データの旧部分、及びデータの新部分から新二次パリティ値を計算して、その結果得られた値を関連一時ストレージデバイスに書き込む(ブロック1168)。次に、二次パリティ・ストレージデバイスは、これらの新パリティ値を、関連一時ストレージデバイスから、二次パリティ・ストレージデバイス内のパリティ・ストライプ・ユニットの位置に書き込んで(ブロック1170)、この書込み操作を完了する(ブロック1080)。上述の流れ図は、説明のためだけのものであることに留意する必要がある。代替実施形態では、これらの流れ図に示される要素は、異なる順序で現われるか、あるいは時には同時に現われることもある。例えば、図5では、データ・ストレージデバイス(501〜504)のそれぞれがデータを関連一時ストレージデバイスから、データ・ストライプ・ユニットの位置に書き込む(ブロック570)時点t6は、パリティ・ストレージデバイス505が、関連一時ストレージデバイスに入っている新データに基づいて、これらの新パリティ値を計算して、それを、パリティ・ストライプ・ユニットの位置に書き込む(ブロック560)時点t5よりも前に現われれることがある。同様に、図6では、時点t8は時点t7よりも前に現われ、また図8では、時点t11は時点t10よりも前に現われるといった具合である。また、図9では、このパリティ・ストレージデバイスは、これらの新パリティ値を、関連一時ストレージデバイスから、パリティ・ストレージデバイス内のパリティ・ストライプ・ユニットの位置に書き込んで、この書込み操作を完了した(ブロック940)後で、書込み完了メッセージをクライアントに送る(ブロック938)。同様に、図10では、こ時パリティ・ストレージデバイスは、これらの新パリティ値を、関連一時ストレージデバイスから、一次パリティ・ストレージデバイス内の一次パリティ・ストライプ・ユニットの位置に書き込んだ(ブロック1050)後で、書込み完了メッセージをクライアントに送る(ブロック1046)といった具合である。そのような数多くの代替例が可能であり、検討される。さらに、これらの流れ図の要素の一部は、様々な実施形態に含まれていないか、あるいは、他の要素と組み合わされることがある。このような代替例はすべて、検討される。
上述の実施形態はソフトウェアを含む場合があることに留意する必要がある。このような実施形態では、この方法及び/又は機構を実現するプログラム命令が伝えられるか、あるいはコンピュータ読取り可能媒体に格納されることがある。プログラム命令を格納するように構成される多数のタイプの媒体が利用でき、また、それらの媒体には、ハードディスク、フロッピー(登録商標)ディスク、CD−ROM、DVD、フラッシュメモリ、プログラマブルROM(PROM)、ランダムアクセスメモリ(RAM)、及び、他の様々な形式の揮発性ストレージデバイス又は不揮発性ストレージデバイスがある。
上記の実施形態がかなり詳しく説明されてきたが、上記の開示内容が充分に理解されさえすれば、多数の変形例及び変更例でも、当業者には明らかであろう。併記の特許請求の範囲は、このような変形例や変更例をすべて含むものと解されるつもりである。
コンピュータシステムの一実施形態を示す。 RAID−5のデータ記憶サブシステムの一実施形態のブロック図である。 RAID−6のデータ記憶サブシステムの一実施形態のブロック図である。 RAID−1のデータ記憶サブシステムの一実施形態のブロック図である。 クライアントと、RAID−5レイアウトでの行との間のライト・トランザクションの一実施形態を示すシーケンス図である。 クライアントと、RAID−5レイアウトでの部分行との間のライト・トランザクションの一実施形態を示すシーケンス図である。 クライアントと、RAID−6レイアウトでの行との間のライト・トランザクションの一実施形態を示すシーケンス図である。 クライアントと、RAID−6レイアウトでの部分行との間のライト・トランザクションの一実施形態を示すシーケンス図である。 クライアントと、RAID−5レイアウトでの行との間のライト・トランザクション中に、RAID−5レイアウトでのパリティ・ストレージデバイスで利用されるプロセスの一実施形態を示す。 クライアントと、RAID−6レイアウトでの行との間のライト・トランザクション中に、RAID−6レイアウトでの一次パリティ・ストレージデバイスで利用されるプロセスの一実施形態を示す。 クライアントと、RAID−6レイアウトでの行との間のライト・トランザクション中に、RAID−6レイアウトでの二次パリティ・ストレージデバイスで利用されるプロセスの一実施形態を示す。
符号の説明
100 コンピュータシステム
110、120、130 クライアント
150 記憶サブシステム
151、152、153、154、155 ストレージデバイス

Claims (20)

  1. クライアントと、
    前記クライアントに結合された記憶サブシステムであって、アレイ内で行及び列としてアドレス指定可能な複数のデータのストレージ位置を含み、また前記アレイの各列が、複数のストレージデバイスの個別のストレージデバイスを含む記憶サブシステムと、
    を含み、
    前記複数のストレージデバイスの少なくとも2つが、前記アレイの異なる行に対して総合調整ストレージデバイスとしてあらかじめ定められ、また、前記アレイ内の対応する行では、ただ1つのストレージデバイスだけが、所与の時点にて総合調整ストレージデバイスとして働くように構成されており、
    前記アレイ内の所与の行では、総合調整ストレージデバイスが、前記クライアントからデータを受け取って、前記所与の行に格納し、また、前記受け取ったデータの1つ又は複数の部分を、前記複数のストレージデバイスの他の1つ又は複数に転送し、長データの計算と前記所与の行への前記冗長データの格納を総合調整するように構成されており、さらに、当該総合調整をするときに、前記総合調整ストレージデバイスが、前記所与の行のパリティデータを計算して当該パリティデータを当該総合調整ストレージデバイスのディスクドライブに格納するように構成されているコンピュータシステム。
  2. 特定ストレージデバイスの所与のストレージ位置への格納を目標としたデータの一部の受取りに応答して、前記特定ストレージデバイスに関連する不揮発性の一時ストレージデバイスが、前記データの受け取った部分を前記所与のストレージ位置に格納する前に、前記データの受け取った部分をバッファするように構成されている請求項1に記載のコンピュータシステム。
  3. 前記総合調整ストレージデバイスが、前記データの1つ又は複数の部分の1つ又は複数のコピーを、前記所与の行の1つ又は複数のストレージデバイスに関連する1つ又は複数の不揮発性の一時ストレージデバイスにバッファされていることの検出に応答して、書込み完了メッセージを前記クライアントに伝えるようにさらに構成されている請求項2に記載のコンピュータシステム。
  4. 前記複数のストレージデバイスの少なくとも1つの故障を検出し、さらに、
    書込み完了メッセージが伝えられた後で、しかも、前記バッファされたデータの少なくとも一部が前記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送される前に、前記故障が発生した場合には、前記少なくとも一部の冗長データを含む前記所与の行に格納されたデータを、前記不揮発性の一時ストレージデバイスに格納されたデータから再構築し、また、
    前記バッファされたデータが前記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送された後で、故障が発生した場合には、前記少なくとも一部の冗長データを含む前記所与の行に格納されたデータを、前記所与の行に格納されたデータから再構築するように構成されている請求項3に記載のコンピュータシステム。
  5. 前記所与の行のパリティデータを計算するときに、前記総合調整ストレージデバイスが、前記所与の行に格納されたデータの複数部分の第1のパリティ値を計算するようにさらに構成されている請求項1に記載のコンピュータシステム。
  6. 前記所与の行に対して、パリティ値を計算するデータが前記総合調整ストレージデバイスで受け取られていることの検出に応答して、前記複数のストレージデバイスのそれぞれに関連する不揮発性の一時ストレージデバイスが、データのバッファされた部分を、前記関連されたストレージデバイスの前記所与の行中のストレージ位置に転送するようにさらに構成されている請求項5に記載のコンピュータシステム。
  7. 前記アレイが、RAID−1レイアウト、RAID−5レイアウト、RAID−6レイアウト、あるいは、他の消去符号化レイアウトの少なくとも1つを利用する請求項1に記載のコンピュータシステム。
  8. 前記アレイ内の所与の行では、前記総合調整ストレージデバイスが、前記データの受け取った1つ又は複数の部分を、前記所与の行中の別々のストレージデバイスの第2のものに転送するようにさらに構成されており、また、
    前記別々のストレージデバイスの第2のものが、前記データの転送された部分を使用して、前記所与の行に格納されたデータの複数部分の第2のパリティ値を計算するように構成されている請求項5に記載のコンピュータシステム。
  9. 複数のストレージデバイスからなるアレイのストレージ位置にデータを格納する方法であって、前記ストレージ位置が行及び列としてアドレス指定可能であり、また前記アレイの各列が、個別のストレージデバイスを含むような方法において、
    前記複数のストレージデバイスの少なくとも2つを、前記アレイの異なる行に対して総合調整ストレージデバイスに指定するステップであって、前記アレイ内の対応する行では、ただ1つのストレージデバイスだけが、所与の時点にて総合調整ストレージデバイスとして働くように構成されている、前記指定するステップと、
    前記アレイの所与の行に対して総合調整ストレージデバイスに指定された前記複数のストレージデバイスの所定の1つにて、前記所与の行への格納を目標とするデータを受け取るステップと、
    受け取った前記データの1つ又は複数の部分を、前記所定の総合調整ストレージデバイスから、前記複数のストレージデバイスの他の1つ又は複数のものに転送するステップと、
    前記所与の行のパリティデータを前記所定の総合調整ストレージデバイスのディスクドライブに格納するステップと、を含む方法。
  10. 特定ストレージデバイスの所与のストレージ位置への格納を目標とするデータの一部の受取りに応答して、前記データの受け取った部分を前記所与のストレージ位置に格納する前に、前記特定ストレージデバイスに関連する不揮発性の一時ストレージデバイスが、前記データの受け取った部分をバッファするステップをさらに含む請求項9に記載の方法。
  11. 前記データの1つ又は複数の部分の1つ又は複数のコピーが、前記所与の行の1つ又は複数のストレージデバイスに関連する不揮発性の一時ストレージデバイスにバッファされていることの検出に応答して、書込み完了メッセージをライアントに伝えるステップをさらに含む請求項10に記載の方法。
  12. 前記複数のストレージデバイスの少なくとも1つの故障を検出するステップと、
    書込み完了メッセージが伝えられた後で、しかも、前記バッファされたデータの少なくとも一部が前記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送される前に、前記故障が発生した場合には、前記少なくとも一部の冗長データを含む前記所与の行に格納されたデータを、前記不揮発性の一時ストレージデバイスに格納されたデータから再構築するステップと、
    前記バッファされたデータが前記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送された後で、故障が発生した場合には、前記少なくとも一部の冗長データを含む前記所与の行に格納されたデータを、前記所与の行に格納されたデータから再構築するステップと、
    をさらに含む請求項11に記載の方法。
  13. 前記総合調整ストレージデバイスが、前記所与の行に格納されたデータの複数部分に基づき前記パリティデータを計算するステップをさらに含む請求項9に記載の方法。
  14. 前記所与の行に対して、パリティ値を計算するデータが前記総合調整ストレージデバイスで受け取られていることの検出に応答して、前記複数のストレージデバイスのそれぞれに関連する不揮発性の一時ストレージデバイスが、データのバッファされた部分を、前記関連されたストレージデバイスの前記所与の行中のストレージ位置に転送するステップをさらに含む請求項13に記載の方法。
  15. 前記アレイが、RAID−1レイアウト、RAID−5レイアウト、RAID−6レイアウト、あるいは、他の消去符号化レイアウトの少なくとも1つを利用する請求項9に記載の方法。
  16. 複数のストレージデバイスからなるストレージ・アレイのストレージ位置にアクセスすることであって、前記ストレージ位置が行及び列としてアドレス指定可能であり、また前記ストレージ・アレイの各列が個別のストレージデバイスを含む、前記アクセスすること、
    前記複数のストレージデバイスの少なくとも2つを、前記ストレージ・アレイの異なる行に対して総合調整ストレージデバイスに指定することであって、前記ストレージ・アレイ内の対応する行では、ただ1つのストレージデバイスだけが、所与の時点にて総合調整ストレージデバイスとして働くように構成されている、前記指定すること、
    前記ストレージ・アレイの所与の行に対して総合調整ストレージデバイスに指定された前記複数のストレージデバイスの所定の1つにて、前記所与の行への格納を目標とするデータを受け取ること、
    受け取った前記データの1つ又は複数の部分を、前記所定の総合調整ストレージデバイスから、前記複数のストレージデバイスの他の1つ又は複数のものに転送すること、及び
    前記所与の行のパリティデータを前記所定の総合調整ストレージデバイスのディスクドライブに格納すること
    プロセッサで実行可能なコンピュータ命令を格納した複数のコンピュータ読取り可能な記憶媒体。
  17. 所与のストレージ位置への格納を目標とするデータの一部の受取りに応答して、前記所与のストレージ位置を含むストレージデバイスに関連する不揮発性の一時ストレージデバイスに、前記データの受け取った部分をバッファする命令がさらに実行可能である請求項16に記載のコンピュータ読取り可能な記憶媒体。
  18. 前記データの1つ又は複数の部分の1つ又は複数のコピーが、所与の行の1つ又は複数のストレージデバイスに関連する不揮発性の一時ストレージデバイスにバッファされていることの検出に応答して、書込み完了メッセージをライアントに伝える命令がさらに実行可能である請求項17に記載のコンピュータ読取り可能な記憶媒体。
  19. 前記複数のストレージデバイスの少なくとも1つの故障を検出し、さらに、
    書込み完了メッセージが伝えられた後で、しかも、前記バッファされたデータの少なくとも一部が前記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送される前に、前記故障が発生した場合には、前記少なくとも一部の冗長データを含む前記所与の行に格納されたデータを、前記不揮発性の一時ストレージデバイスに格納されたデータから再構築し、また、
    前記バッファされたデータが前記不揮発性の一時ストレージデバイスから所与の行中の関連されたストレージ位置に転送された後で、故障が発生した場合には、前記少なくとも一部の冗長データを含む前記所与の行に格納されたデータを、前記所与の行に格納されたデータから再構築する命令がさらに実行可能である請求項18に記載のコンピュータ読取り可能な記憶媒体。
  20. 前記総合調整ストレージデバイスに、前記所与の行に格納されたデータの複数部分のパリティ値を計算させ、
    前記所与の行に対して、パリティ値を計算するデータが前記総合調整ストレージデバイスで受け取られていることの検出に応答して、それぞれの不揮発性の一時ストレージデバイスに、データのバッファされた部分を、関連する個別のストレージデバイスの前記所与の行中のストレージ位置に転送させる命令がさらに実行可能である請求項16に記載のコンピュータ読取り可能な記憶媒体。
JP2008250313A 2007-09-28 2008-09-29 協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法 Active JP5254725B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US97630207P 2007-09-28 2007-09-28
US60/976,302 2007-09-28
US12/208,882 US7827439B2 (en) 2007-09-28 2008-09-11 System and method of redundantly storing and retrieving data with cooperating storage devices
US12/208,882 2008-09-11

Publications (2)

Publication Number Publication Date
JP2009087348A JP2009087348A (ja) 2009-04-23
JP5254725B2 true JP5254725B2 (ja) 2013-08-07

Family

ID=40509762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008250313A Active JP5254725B2 (ja) 2007-09-28 2008-09-29 協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法

Country Status (4)

Country Link
US (1) US7827439B2 (ja)
EP (1) EP2096542B1 (ja)
JP (1) JP5254725B2 (ja)
CN (1) CN101415024B (ja)

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8200930B2 (en) 2008-10-14 2012-06-12 Digital Lifeboat, Inc. Interacting with data in hidden storage
US20100100587A1 (en) * 2008-10-14 2010-04-22 Digital Lifeboat, Inc. Systems and methods for a data management recovery in a peer-to-peer network
WO2010049928A1 (en) * 2008-10-27 2010-05-06 Kaminario Tehnologies Ltd. System and methods for raid writing and asynchronous parity computation
US20100138717A1 (en) * 2008-12-02 2010-06-03 Microsoft Corporation Fork codes for erasure coding of data blocks
US8732396B2 (en) * 2009-06-08 2014-05-20 Lsi Corporation Method and apparatus for protecting the integrity of cached data in a direct-attached storage (DAS) system
US9460448B2 (en) 2010-03-20 2016-10-04 Nimbelink Corp. Environmental monitoring system which leverages a social networking service to deliver alerts to mobile phones or devices
US9501782B2 (en) * 2010-03-20 2016-11-22 Arthur Everett Felgate Monitoring system
US8468135B2 (en) * 2010-04-14 2013-06-18 International Business Machines Corporation Optimizing data transmission bandwidth consumption over a wide area network
US12008266B2 (en) 2010-09-15 2024-06-11 Pure Storage, Inc. Efficient read by reconstruction
US11614893B2 (en) 2010-09-15 2023-03-28 Pure Storage, Inc. Optimizing storage device access based on latency
US8589640B2 (en) 2011-10-14 2013-11-19 Pure Storage, Inc. Method for maintaining multiple fingerprint tables in a deduplicating storage system
CN102819406A (zh) * 2012-07-04 2012-12-12 浙江宇视科技有限公司 一种前端数据存储方法及装置
US9037799B2 (en) * 2013-02-11 2015-05-19 Avago Technologies General Ip (Singapore) Pte Ltd Rebuild of redundant secondary storage cache
US9329938B2 (en) 2013-04-16 2016-05-03 International Business Machines Corporation Essential metadata replication
US9423981B2 (en) 2013-04-16 2016-08-23 International Business Machines Corporation Logical region allocation with immediate availability
US9298617B2 (en) 2013-04-16 2016-03-29 International Business Machines Corporation Parallel destaging with replicated cache pinning
US9619404B2 (en) 2013-04-16 2017-04-11 International Business Machines Corporation Backup cache with immediate availability
US9104597B2 (en) * 2013-04-16 2015-08-11 International Business Machines Corporation Destaging cache data using a distributed freezer
US9298398B2 (en) 2013-04-16 2016-03-29 International Business Machines Corporation Fine-grained control of data placement
US9104332B2 (en) 2013-04-16 2015-08-11 International Business Machines Corporation Managing metadata and data for a logical volume in a distributed and declustered system
US11068363B1 (en) 2014-06-04 2021-07-20 Pure Storage, Inc. Proactively rebuilding data in a storage cluster
US9612952B2 (en) 2014-06-04 2017-04-04 Pure Storage, Inc. Automatically reconfiguring a storage memory topology
US9218244B1 (en) * 2014-06-04 2015-12-22 Pure Storage, Inc. Rebuilding data across storage nodes
US8850108B1 (en) 2014-06-04 2014-09-30 Pure Storage, Inc. Storage cluster
US10574754B1 (en) 2014-06-04 2020-02-25 Pure Storage, Inc. Multi-chassis array with multi-level load balancing
US9367243B1 (en) 2014-06-04 2016-06-14 Pure Storage, Inc. Scalable non-uniform storage sizes
US11960371B2 (en) 2014-06-04 2024-04-16 Pure Storage, Inc. Message persistence in a zoned system
US11399063B2 (en) 2014-06-04 2022-07-26 Pure Storage, Inc. Network authentication for a storage system
US9003144B1 (en) 2014-06-04 2015-04-07 Pure Storage, Inc. Mechanism for persisting messages in a storage system
US9836234B2 (en) 2014-06-04 2017-12-05 Pure Storage, Inc. Storage cluster
US9213485B1 (en) 2014-06-04 2015-12-15 Pure Storage, Inc. Storage system architecture
US11652884B2 (en) 2014-06-04 2023-05-16 Pure Storage, Inc. Customized hash algorithms
US10114757B2 (en) 2014-07-02 2018-10-30 Pure Storage, Inc. Nonrepeating identifiers in an address space of a non-volatile solid-state storage
US11604598B2 (en) 2014-07-02 2023-03-14 Pure Storage, Inc. Storage cluster with zoned drives
US9836245B2 (en) 2014-07-02 2017-12-05 Pure Storage, Inc. Non-volatile RAM and flash memory in a non-volatile solid-state storage
US8868825B1 (en) 2014-07-02 2014-10-21 Pure Storage, Inc. Nonrepeating identifiers in an address space of a non-volatile solid-state storage
US11886308B2 (en) 2014-07-02 2024-01-30 Pure Storage, Inc. Dual class of service for unified file and object messaging
US9021297B1 (en) 2014-07-02 2015-04-28 Pure Storage, Inc. Redundant, fault-tolerant, distributed remote procedure call cache in a storage system
US8874836B1 (en) 2014-07-03 2014-10-28 Pure Storage, Inc. Scheduling policy for queues in a non-volatile solid-state storage
US9747229B1 (en) 2014-07-03 2017-08-29 Pure Storage, Inc. Self-describing data format for DMA in a non-volatile solid-state storage
US10853311B1 (en) 2014-07-03 2020-12-01 Pure Storage, Inc. Administration through files in a storage system
US9811677B2 (en) 2014-07-03 2017-11-07 Pure Storage, Inc. Secure data replication in a storage grid
US10983859B2 (en) 2014-08-07 2021-04-20 Pure Storage, Inc. Adjustable error correction based on memory health in a storage unit
US9558069B2 (en) 2014-08-07 2017-01-31 Pure Storage, Inc. Failure mapping in a storage array
US9495255B2 (en) 2014-08-07 2016-11-15 Pure Storage, Inc. Error recovery in a storage cluster
US9766972B2 (en) 2014-08-07 2017-09-19 Pure Storage, Inc. Masking defective bits in a storage array
US9483346B2 (en) 2014-08-07 2016-11-01 Pure Storage, Inc. Data rebuild on feedback from a queue in a non-volatile solid-state storage
US9082512B1 (en) 2014-08-07 2015-07-14 Pure Storage, Inc. Die-level monitoring in a storage cluster
US10079711B1 (en) 2014-08-20 2018-09-18 Pure Storage, Inc. Virtual file server with preserved MAC address
US9948615B1 (en) 2015-03-16 2018-04-17 Pure Storage, Inc. Increased storage unit encryption based on loss of trust
US11294893B2 (en) 2015-03-20 2022-04-05 Pure Storage, Inc. Aggregation of queries
US9940234B2 (en) 2015-03-26 2018-04-10 Pure Storage, Inc. Aggressive data deduplication using lazy garbage collection
US10082985B2 (en) 2015-03-27 2018-09-25 Pure Storage, Inc. Data striping across storage nodes that are assigned to multiple logical arrays
US10178169B2 (en) 2015-04-09 2019-01-08 Pure Storage, Inc. Point to point based backend communication layer for storage processing
US9672125B2 (en) 2015-04-10 2017-06-06 Pure Storage, Inc. Ability to partition an array into two or more logical arrays with independently running software
US10140149B1 (en) 2015-05-19 2018-11-27 Pure Storage, Inc. Transactional commits with hardware assists in remote memory
US9817576B2 (en) 2015-05-27 2017-11-14 Pure Storage, Inc. Parallel update to NVRAM
US10846275B2 (en) 2015-06-26 2020-11-24 Pure Storage, Inc. Key management in a storage device
US10983732B2 (en) 2015-07-13 2021-04-20 Pure Storage, Inc. Method and system for accessing a file
US11232079B2 (en) 2015-07-16 2022-01-25 Pure Storage, Inc. Efficient distribution of large directories
US10498820B2 (en) * 2015-08-06 2019-12-03 Koc University Efficient dynamic proofs of retrievability
US10108355B2 (en) 2015-09-01 2018-10-23 Pure Storage, Inc. Erase block state detection
US10157112B2 (en) 2015-09-03 2018-12-18 Toshiba Memory Corporation Storage device
US11341136B2 (en) 2015-09-04 2022-05-24 Pure Storage, Inc. Dynamically resizable structures for approximate membership queries
US10762069B2 (en) 2015-09-30 2020-09-01 Pure Storage, Inc. Mechanism for a system where data and metadata are located closely together
US10853266B2 (en) 2015-09-30 2020-12-01 Pure Storage, Inc. Hardware assisted data lookup methods
US9768953B2 (en) 2015-09-30 2017-09-19 Pure Storage, Inc. Resharing of a split secret
US9843453B2 (en) 2015-10-23 2017-12-12 Pure Storage, Inc. Authorizing I/O commands with I/O tokens
EP3173930A1 (en) * 2015-11-25 2017-05-31 Strato Scale Ltd. Data placement based on likelihoods of correlated storage-device failures
US10007457B2 (en) 2015-12-22 2018-06-26 Pure Storage, Inc. Distributed transactions with token-associated execution
US10261690B1 (en) 2016-05-03 2019-04-16 Pure Storage, Inc. Systems and methods for operating a storage system
US11231858B2 (en) 2016-05-19 2022-01-25 Pure Storage, Inc. Dynamically configuring a storage system to facilitate independent scaling of resources
US10691567B2 (en) 2016-06-03 2020-06-23 Pure Storage, Inc. Dynamically forming a failure domain in a storage system that includes a plurality of blades
US10114694B2 (en) * 2016-06-07 2018-10-30 Storart Technology Co. Ltd. Method and controller for recovering data in event of program failure and storage system using the same
US11706895B2 (en) 2016-07-19 2023-07-18 Pure Storage, Inc. Independent scaling of compute resources and storage resources in a storage system
US11861188B2 (en) 2016-07-19 2024-01-02 Pure Storage, Inc. System having modular accelerators
US9672905B1 (en) 2016-07-22 2017-06-06 Pure Storage, Inc. Optimize data protection layouts based on distributed flash wear leveling
US10768819B2 (en) 2016-07-22 2020-09-08 Pure Storage, Inc. Hardware support for non-disruptive upgrades
US11449232B1 (en) 2016-07-22 2022-09-20 Pure Storage, Inc. Optimal scheduling of flash operations
US11604690B2 (en) 2016-07-24 2023-03-14 Pure Storage, Inc. Online failure span determination
US10216420B1 (en) 2016-07-24 2019-02-26 Pure Storage, Inc. Calibration of flash channels in SSD
US11080155B2 (en) 2016-07-24 2021-08-03 Pure Storage, Inc. Identifying error types among flash memory
US11886334B2 (en) 2016-07-26 2024-01-30 Pure Storage, Inc. Optimizing spool and memory space management
US11797212B2 (en) 2016-07-26 2023-10-24 Pure Storage, Inc. Data migration for zoned drives
US10366004B2 (en) 2016-07-26 2019-07-30 Pure Storage, Inc. Storage system with elective garbage collection to reduce flash contention
US10203903B2 (en) 2016-07-26 2019-02-12 Pure Storage, Inc. Geometry based, space aware shelf/writegroup evacuation
US11734169B2 (en) 2016-07-26 2023-08-22 Pure Storage, Inc. Optimizing spool and memory space management
US11422719B2 (en) 2016-09-15 2022-08-23 Pure Storage, Inc. Distributed file deletion and truncation
US9747039B1 (en) 2016-10-04 2017-08-29 Pure Storage, Inc. Reservations over multiple paths on NVMe over fabrics
US10756816B1 (en) 2016-10-04 2020-08-25 Pure Storage, Inc. Optimized fibre channel and non-volatile memory express access
US10481798B2 (en) 2016-10-28 2019-11-19 Pure Storage, Inc. Efficient flash management for multiple controllers
US11550481B2 (en) 2016-12-19 2023-01-10 Pure Storage, Inc. Efficiently writing data in a zoned drive storage system
US11307998B2 (en) 2017-01-09 2022-04-19 Pure Storage, Inc. Storage efficiency of encrypted host system data
US9747158B1 (en) 2017-01-13 2017-08-29 Pure Storage, Inc. Intelligent refresh of 3D NAND
US11955187B2 (en) 2017-01-13 2024-04-09 Pure Storage, Inc. Refresh of differing capacity NAND
US10255134B2 (en) * 2017-01-20 2019-04-09 Samsung Electronics Co., Ltd. Control plane method and apparatus for providing erasure code protection across multiple storage devices
US10979223B2 (en) 2017-01-31 2021-04-13 Pure Storage, Inc. Separate encryption for a solid-state drive
US10528488B1 (en) 2017-03-30 2020-01-07 Pure Storage, Inc. Efficient name coding
US11016667B1 (en) 2017-04-05 2021-05-25 Pure Storage, Inc. Efficient mapping for LUNs in storage memory with holes in address space
US10944671B2 (en) 2017-04-27 2021-03-09 Pure Storage, Inc. Efficient data forwarding in a networked device
US10141050B1 (en) 2017-04-27 2018-11-27 Pure Storage, Inc. Page writes for triple level cell flash memory
US10516645B1 (en) 2017-04-27 2019-12-24 Pure Storage, Inc. Address resolution broadcasting in a networked device
US11467913B1 (en) 2017-06-07 2022-10-11 Pure Storage, Inc. Snapshots with crash consistency in a storage system
US11138103B1 (en) 2017-06-11 2021-10-05 Pure Storage, Inc. Resiliency groups
US11947814B2 (en) 2017-06-11 2024-04-02 Pure Storage, Inc. Optimizing resiliency group formation stability
US11782625B2 (en) 2017-06-11 2023-10-10 Pure Storage, Inc. Heterogeneity supportive resiliency groups
US10425473B1 (en) 2017-07-03 2019-09-24 Pure Storage, Inc. Stateful connection reset in a storage cluster with a stateless load balancer
US10402266B1 (en) 2017-07-31 2019-09-03 Pure Storage, Inc. Redundant array of independent disks in a direct-mapped flash storage system
US10210926B1 (en) 2017-09-15 2019-02-19 Pure Storage, Inc. Tracking of optimum read voltage thresholds in nand flash devices
US10877827B2 (en) 2017-09-15 2020-12-29 Pure Storage, Inc. Read voltage optimization
US10515701B1 (en) 2017-10-31 2019-12-24 Pure Storage, Inc. Overlapping raid groups
US10545687B1 (en) 2017-10-31 2020-01-28 Pure Storage, Inc. Data rebuild when changing erase block sizes during drive replacement
US10884919B2 (en) 2017-10-31 2021-01-05 Pure Storage, Inc. Memory management in a storage system
US11024390B1 (en) 2017-10-31 2021-06-01 Pure Storage, Inc. Overlapping RAID groups
US10496330B1 (en) 2017-10-31 2019-12-03 Pure Storage, Inc. Using flash storage devices with different sized erase blocks
US10860475B1 (en) 2017-11-17 2020-12-08 Pure Storage, Inc. Hybrid flash translation layer
US10990566B1 (en) 2017-11-20 2021-04-27 Pure Storage, Inc. Persistent file locks in a storage system
US10719265B1 (en) 2017-12-08 2020-07-21 Pure Storage, Inc. Centralized, quorum-aware handling of device reservation requests in a storage system
US10929053B2 (en) 2017-12-08 2021-02-23 Pure Storage, Inc. Safe destructive actions on drives
US10929031B2 (en) 2017-12-21 2021-02-23 Pure Storage, Inc. Maximizing data reduction in a partially encrypted volume
US10467527B1 (en) 2018-01-31 2019-11-05 Pure Storage, Inc. Method and apparatus for artificial intelligence acceleration
US10733053B1 (en) 2018-01-31 2020-08-04 Pure Storage, Inc. Disaster recovery for high-bandwidth distributed archives
US10976948B1 (en) 2018-01-31 2021-04-13 Pure Storage, Inc. Cluster expansion mechanism
US11036596B1 (en) 2018-02-18 2021-06-15 Pure Storage, Inc. System for delaying acknowledgements on open NAND locations until durability has been confirmed
US11494109B1 (en) 2018-02-22 2022-11-08 Pure Storage, Inc. Erase block trimming for heterogenous flash memory storage devices
US11995336B2 (en) 2018-04-25 2024-05-28 Pure Storage, Inc. Bucket views
US12001688B2 (en) 2019-04-29 2024-06-04 Pure Storage, Inc. Utilizing data views to optimize secure data access in a storage system
US10853146B1 (en) 2018-04-27 2020-12-01 Pure Storage, Inc. Efficient data forwarding in a networked device
US11385792B2 (en) 2018-04-27 2022-07-12 Pure Storage, Inc. High availability controller pair transitioning
US10931450B1 (en) 2018-04-27 2021-02-23 Pure Storage, Inc. Distributed, lock-free 2-phase commit of secret shares using multiple stateless controllers
US11436023B2 (en) 2018-05-31 2022-09-06 Pure Storage, Inc. Mechanism for updating host file system and flash translation layer based on underlying NAND technology
US11438279B2 (en) 2018-07-23 2022-09-06 Pure Storage, Inc. Non-disruptive conversion of a clustered service from single-chassis to multi-chassis
US10802914B2 (en) 2018-07-23 2020-10-13 Cisco Technology, Inc. Method of using common storage of parity data for unique copy recording
US11068365B2 (en) * 2018-08-23 2021-07-20 Micron Technology, Inc. Data recovery within a memory sub-system without moving or processing the data through a host
US11354058B2 (en) 2018-09-06 2022-06-07 Pure Storage, Inc. Local relocation of data stored at a storage device of a storage system
US11500570B2 (en) 2018-09-06 2022-11-15 Pure Storage, Inc. Efficient relocation of data utilizing different programming modes
US11868309B2 (en) 2018-09-06 2024-01-09 Pure Storage, Inc. Queue management for data relocation
US11520514B2 (en) 2018-09-06 2022-12-06 Pure Storage, Inc. Optimized relocation of data based on data characteristics
US10454498B1 (en) 2018-10-18 2019-10-22 Pure Storage, Inc. Fully pipelined hardware engine design for fast and efficient inline lossless data compression
US10976947B2 (en) 2018-10-26 2021-04-13 Pure Storage, Inc. Dynamically selecting segment heights in a heterogeneous RAID group
US10922178B2 (en) 2018-10-31 2021-02-16 Hewlett Packard Enterprise Development Lp Masterless raid for byte-addressable non-volatile memory
US11334254B2 (en) 2019-03-29 2022-05-17 Pure Storage, Inc. Reliability based flash page sizing
US11775189B2 (en) 2019-04-03 2023-10-03 Pure Storage, Inc. Segment level heterogeneity
US11099986B2 (en) 2019-04-12 2021-08-24 Pure Storage, Inc. Efficient transfer of memory contents
US11714572B2 (en) 2019-06-19 2023-08-01 Pure Storage, Inc. Optimized data resiliency in a modular storage system
US11281394B2 (en) 2019-06-24 2022-03-22 Pure Storage, Inc. Replication across partitioning schemes in a distributed storage system
US11893126B2 (en) 2019-10-14 2024-02-06 Pure Storage, Inc. Data deletion for a multi-tenant environment
US11847331B2 (en) 2019-12-12 2023-12-19 Pure Storage, Inc. Budgeting open blocks of a storage unit based on power loss prevention
US11704192B2 (en) 2019-12-12 2023-07-18 Pure Storage, Inc. Budgeting open blocks based on power loss protection
US12001684B2 (en) 2019-12-12 2024-06-04 Pure Storage, Inc. Optimizing dynamic power loss protection adjustment in a storage system
US11416144B2 (en) 2019-12-12 2022-08-16 Pure Storage, Inc. Dynamic use of segment or zone power loss protection in a flash device
US11210002B2 (en) * 2020-01-29 2021-12-28 Samsung Electronics Co., Ltd. Offloaded device-driven erasure coding
US11188432B2 (en) 2020-02-28 2021-11-30 Pure Storage, Inc. Data resiliency by partially deallocating data blocks of a storage device
US11507297B2 (en) 2020-04-15 2022-11-22 Pure Storage, Inc. Efficient management of optimal read levels for flash storage systems
US11256587B2 (en) 2020-04-17 2022-02-22 Pure Storage, Inc. Intelligent access to a storage device
US11416338B2 (en) 2020-04-24 2022-08-16 Pure Storage, Inc. Resiliency scheme to enhance storage performance
US11474986B2 (en) 2020-04-24 2022-10-18 Pure Storage, Inc. Utilizing machine learning to streamline telemetry processing of storage media
KR20210150149A (ko) * 2020-06-03 2021-12-10 삼성전자주식회사 신드롬과 부분 계수 정보를 병렬적으로 생성하는 에러 정정 장치 및 방법
US11768763B2 (en) 2020-07-08 2023-09-26 Pure Storage, Inc. Flash secure erase
US11681448B2 (en) 2020-09-08 2023-06-20 Pure Storage, Inc. Multiple device IDs in a multi-fabric module storage system
US11513974B2 (en) 2020-09-08 2022-11-29 Pure Storage, Inc. Using nonce to control erasure of data blocks of a multi-controller storage system
US11487455B2 (en) 2020-12-17 2022-11-01 Pure Storage, Inc. Dynamic block allocation to optimize storage system performance
US11614880B2 (en) 2020-12-31 2023-03-28 Pure Storage, Inc. Storage system with selectable write paths
US11847324B2 (en) 2020-12-31 2023-12-19 Pure Storage, Inc. Optimizing resiliency groups for data regions of a storage system
US11630593B2 (en) 2021-03-12 2023-04-18 Pure Storage, Inc. Inline flash memory qualification in a storage system
US11507597B2 (en) 2021-03-31 2022-11-22 Pure Storage, Inc. Data replication to meet a recovery point objective
US20220374310A1 (en) * 2021-05-18 2022-11-24 Hewlett Packard Enterprise Development Lp Write request completion notification in response to partial hardening of write data
US11832410B2 (en) 2021-09-14 2023-11-28 Pure Storage, Inc. Mechanical energy absorbing bracket apparatus
US11994723B2 (en) 2021-12-30 2024-05-28 Pure Storage, Inc. Ribbon cable alignment apparatus

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6464047A (en) * 1987-09-04 1989-03-09 Fujitsu Ltd Disk cache control system
US5708668A (en) * 1992-05-06 1998-01-13 International Business Machines Corporation Method and apparatus for operating an array of storage devices
JPH05324579A (ja) * 1992-05-25 1993-12-07 Hitachi Ltd 分散ファイルシステム及び記憶装置
US5745671A (en) * 1995-02-28 1998-04-28 International Business Machines Corporation Data storage system with localized XOR function
US5966706A (en) * 1997-02-19 1999-10-12 At&T Corp Local logging in a distributed database management computer system
US5878414A (en) * 1997-06-06 1999-03-02 International Business Machines Corp. Constructing a transaction serialization order based on parallel or distributed database log files
JPH1145203A (ja) * 1997-07-28 1999-02-16 Matsushita Electric Ind Co Ltd ファイル管理装置
US6098114A (en) * 1997-11-14 2000-08-01 3Ware Disk array system for processing and tracking the completion of I/O requests
CA2316239A1 (en) * 1997-12-24 1999-07-08 Avid Technology, Inc. Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner
US6457098B1 (en) * 1998-12-23 2002-09-24 Lsi Logic Corporation Methods and apparatus for coordinating shared multiple raid controller access to common storage devices
US6553509B1 (en) * 1999-07-28 2003-04-22 Hewlett Packard Development Company, L.P. Log record parsing for a distributed log on a disk array data storage system
US6895415B1 (en) * 1999-08-18 2005-05-17 International Business Machines Corporation System and method for concurrent distributed snapshot management
US6851005B1 (en) * 2000-03-03 2005-02-01 International Business Machines Corporation Apparatus and method for implementing raid devices in a cluster computer system
US6654831B1 (en) * 2000-03-07 2003-11-25 International Business Machine Corporation Using multiple controllers together to create data spans
US6880062B1 (en) * 2001-02-13 2005-04-12 Candera, Inc. Data mover mechanism to achieve SAN RAID at wire speed
JP2002244906A (ja) * 2001-02-13 2002-08-30 Information & Mathematical Science Laboratory Inc ネットワークシステム及びその情報共有方法
US20020194428A1 (en) * 2001-03-30 2002-12-19 Intransa, Inc., A Delaware Corporation Method and apparatus for distributing raid processing over a network link
US6871228B2 (en) * 2001-06-29 2005-03-22 International Business Machines Corporation Methods and apparatus in distributed remote logging system for remote adhoc data analysis customized with multilevel hierarchical logger tree
US6950966B2 (en) * 2001-07-17 2005-09-27 Seachange International, Inc. Data transmission from raid services
JP4054182B2 (ja) * 2001-09-25 2008-02-27 株式会社東芝 仮想的なraid装置を有するクラスタシステム及び同システム用のコンピュータ
US6877109B2 (en) * 2001-11-19 2005-04-05 Lsi Logic Corporation Method for the acceleration and simplification of file system logging techniques using storage device snapshots
JP3590381B2 (ja) * 2001-12-18 2004-11-17 株式会社東芝 ディスクアレイ装置及び同装置におけるデータ更新方法
US7206989B2 (en) * 2002-11-20 2007-04-17 Intel Corporation Integrated circuit having multiple modes of operation
JP4270371B2 (ja) * 2003-05-09 2009-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 記憶システム、制御装置、制御方法、及び、プログラム
US7096316B1 (en) * 2003-06-30 2006-08-22 Veritas Operating Corporation Multi-host environment with coordinated distributed logging for writes to a raid storage volume
JP2005056200A (ja) * 2003-08-05 2005-03-03 Hitachi Ltd データ管理方法、ディスク記憶装置およびディスク記憶システム
JP2005316762A (ja) * 2004-04-28 2005-11-10 Toshiba Corp ディスク記憶装置及びraid構築方法
US7516354B2 (en) * 2004-08-25 2009-04-07 International Business Machines Corporation Storing parity information for data recovery
US7702850B2 (en) * 2005-03-14 2010-04-20 Thomas Earl Ludwig Topology independent storage arrays and methods
US7401253B2 (en) * 2005-05-09 2008-07-15 International Business Machines Corporation Convolution-encoded data storage on a redundant array of independent devices
CN100581172C (zh) * 2006-04-19 2010-01-13 杭州华三通信技术有限公司 一种对目的磁盘进行访问的方法和扩展磁盘容量的系统

Also Published As

Publication number Publication date
EP2096542A2 (en) 2009-09-02
US7827439B2 (en) 2010-11-02
EP2096542B1 (en) 2018-02-21
EP2096542A3 (en) 2010-07-28
US20090089612A1 (en) 2009-04-02
CN101415024A (zh) 2009-04-22
CN101415024B (zh) 2013-10-16
JP2009087348A (ja) 2009-04-23

Similar Documents

Publication Publication Date Title
JP5254725B2 (ja) 協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法
US7941697B2 (en) Failure handling using overlay objects on a file system using object based storage devices
JP5124792B2 (ja) RAID(RedundantArrayofIndependentDisks)システム用のファイルサーバ
US8060772B2 (en) Storage redundant array of independent drives
JP5102776B2 (ja) ストレージアレイにおける三重故障からの効率的な復旧を可能にする三重パリティ技術
US7392428B2 (en) Method and system for recovering from abnormal interruption of a parity update operation in a disk array system
US7752389B1 (en) Techniques for determining physical data layout of RAID devices
US8484506B2 (en) Redundant array of independent disks level 5 (RAID 5) with a mirroring functionality
US6332177B1 (en) N-way raid 1 on M drives block mapping
JP2000207136A (ja) 複数ドライブ故障トレラントraidアルゴリズム
US20120317439A1 (en) Enhanced Storage Device Replacement System And Method
US20100095187A1 (en) File server for redundant array of independent disks (raid) system
US20050278476A1 (en) Method, apparatus and program storage device for keeping track of writes in progress on multiple controllers during resynchronization of RAID stripes on failover
US20170371782A1 (en) Virtual storage
US10901843B2 (en) Managing data storage
JP6536083B2 (ja) ストレージ装置、ストレージシステム、及びリカバリプログラム
US7174476B2 (en) Methods and structure for improved fault tolerance during initialization of a RAID logical unit
JP2004164675A (ja) ディスクアレイ装置
JP2005209227A (ja) ディスクアレイ装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130109

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130208

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130418

R150 Certificate of patent or registration of utility model

Ref document number: 5254725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250