JP7002346B2 - ストレージシステム及びその動作方法 - Google Patents

ストレージシステム及びその動作方法 Download PDF

Info

Publication number
JP7002346B2
JP7002346B2 JP2018005598A JP2018005598A JP7002346B2 JP 7002346 B2 JP7002346 B2 JP 7002346B2 JP 2018005598 A JP2018005598 A JP 2018005598A JP 2018005598 A JP2018005598 A JP 2018005598A JP 7002346 B2 JP7002346 B2 JP 7002346B2
Authority
JP
Japan
Prior art keywords
storage
storage device
controller
data
storage devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018005598A
Other languages
English (en)
Other versions
JP2018116704A (ja
Inventor
ポール オラリグ ソンポン
シュワドラー デヴィッド
ピー． カチェア ラムダス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2018116704A publication Critical patent/JP2018116704A/ja
Application granted granted Critical
Publication of JP7002346B2 publication Critical patent/JP7002346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1084—Degraded mode, e.g. caused by single or multiple storage removals or disk failures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/108—Parity data distribution in semiconductor storages, e.g. in SSD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1092—Rebuilding, e.g. when physically replacing a failing disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1096—Parity calculation or recalculation after configuration or reconfiguration of the system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2012—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant and using different communication protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0634—Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Storage Device Security (AREA)
  • Read Only Memory (AREA)

Description

本発明は、データストレージ（記憶）装置に関するものであり、特に、消去コード保護（Ｅｒａｓｕｒｅ ｃｏｄｅ ｐｒｏｔｅｃｔｉｏｎ）を提供するコントローラーを有するストレージシステムに関する。
非揮発性メモリエキスプレス（Ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ、ＮＶＭｅ）オーバーファブリック（ＮＶＭ－ｆ）構成、例えば、イーサネット（登録商標、以下省略）付着型ＮＶＭｅソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）を用いる構成で、イーサネット及びＳＳＤの費用及び性能を改善させることは難しい。
例えば、５０Ｇ／１００Ｇ技術の登場でイーサネット速度は増加した一方、ＳＳＤの性能はＰＣＩエキスプレス（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ、ＰＣＩｅ）インターフェース及びＮＡＮＤｓ技術によって異なりうる。
ファブリック付着型ＳＳＤは、各デバイスがポイントツーポイント（ｐｏｉｎｔ－ｔｏ－ｐｏｉｎｔ）接続を提供する可能性があるため、消去コードデータ保護をサポートするための追加の独自の設計課題を提示する必要がある。
しかしながら、データ保護を提供するために、ＲＡＩＤオンチップ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋ Ｏｎ Ｃｈｉｐ、ＲＯＣ）注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）を使用することができるが、レイテンシ（ｌａｔｅｎｃｙ）及び費用が増加し、性能が低下する可能性があるという問題がある。
従って、複数のストレージ装置にデータを格納するための改善されたシステム及び方法が要求されている。
米国特許第９５１９５７８号明細書 米国特許第９５２９５４２号明細書 米国特許出願公開第２０１５／０２５５１３０号明細書 米国特許出願公開第２０１６／０１６２２０２号明細書
本発明は、上記従来のストレージシステムにおける課題点に鑑みてなされたものであって、本発明の目的は、複数のストレージ装置に亘って消去コード保護を提供するためのストレージシステム及びその動作方法を提供することにある。
上記目的を達成するためになされた本発明によるストレージシステムは、ストレージインタフェースを含むストレージシステムであって、前記ストレージシステムは、何れか一つのストレージ装置に格納されたデータを他のストレージ装置のデータから復旧するに充分な消去コードを格納するように構成された複数のストレージ装置と、正常作動中にそれぞれのストレージ命令のそれぞれのアドレスに沿って、前記ストレージインタフェースを通じて受信した前記ストレージ命令を前記複数のストレージ装置それぞれに伝送するデータスイッチと、コントローラーと、を有し、前記コントローラーは、前記複数のストレージ装置の内のいずれかのストレージ装置が故障又は不在（ａｂｓｅｎｔ）の場合、前記故障又は不在のストレージ装置に送られたストレージ命令をコントローラーに伝送するように前記データスイッチを再構成し、受信した各ストレージ命令に応答して、前記データスイッチ及び前記ストレージインターフェースを通じて、もし、存在し且つ正常に作動したら、故障が発生したり、存在しないストレージ装置が伝送したはずのものと同じ命令応答を伝送することを特徴とする。
前記ストレージ装置のそれぞれは、正常に動作する間、データブロックを含む記録命令（ｗｒｉｔｅ ｃｏｍｍａｎｄ）を受信すると、前記データブロックを格納し、前記データブロックのコピーを前記コントローラーに伝送することが好ましい。
前記コントローラーは、前記複数のストレージ装置のうち、第１ストレージ装置からデータブロックのコピーを受信すると、前記データブロックを充分に復旧できる消去コードを生成し、前記消去コードを前記複数のストレージ装置の中から前記第１ストレージ装置と異なる一つ以上のストレージ装置に格納することが好ましい。
前記複数のストレージ装置のうち、第１ストレージ装置は、正常動作中にデータブロックを含む記録命令を受信すると、前記データブロックを格納し、前記データブロックを充分に復旧できる消去コードを生成し、前記消去コードを前記複数のストレージ装置の中から前記第１ストレージ装置と異なる一つ以上のストレージ装置に格納することが好ましい。
前記複数のストレージ装置のうち、第１ストレージ装置は、消去コードを格納し、前記データスイッチは、正常動作中に前記ストレージインターフェースを通じて受信した各ストレージ命令をストレージ命令の各アドレスに沿って、前記複数のストレージ装置のサブセットの各ストレージ装置に伝送し、前記第１ストレージ装置は、前記サブセットに含まれないことが好ましい。
前記コントローラーは、前記複数のストレージ装置の内のいずれかのストレージ装置が故障又は不在の場合、データブロックを要請する受信された読込命令（ｒｅａｄ ｃｏｍｍａｎｄ）に応答して、前記複数のストレージ装置の内の存在し、且つ正常作動するストレージ装置から消去コードを読み込み、前記データブロックを復旧し、命令応答の一部として前記データスイッチ及び前記ストレージインターフェースを通じて前記復旧されたデータブロックを伝送することが好ましい。
前記ストレージ装置のそれぞれは、存在ピン（ｐｒｅｓｅｎｃｅ ｐｉｎ）を含むコネクタを含み、前記存在ピンは、前記コントローラーのそれぞれのセンシングピンと接続され、前記コントローラーは、前記それぞれのセンシングピンの電圧又は電流の変化によって前記ストレージ装置の内の何れか一つの除去（ｒｅｍｏｖａｌ）を検出することが好ましい。
前記データスイッチは、イーサネットスイッチであることが好ましい。
前記データスイッチは、前記コントローラーのポートに接続されたＰＣＩｅコントロールポートを含み、前記データスイッチは、前記ＰＣＩｅコントロールポートを通じて前記コントローラーから構成命令（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｃｏｍｍａｎｄ）を受信することが好ましい。
ＰＣＩｅスイッチをさらに含み、前記複数のストレージ装置のそれぞれは、前記ＰＣＩｅスイッチを通じて前記コントローラーと接続されることが好ましい。
前記コントローラーは、ベースボード管理コントローラーであることが好ましい。
上記目的を達成するためになされた本発明によるストレージシステムの動作方法は、ストレージインターフェースを有し、複数のストレージ装置、データスイッチ、及びコントローラーを含むストレージシステムを動作させる方法であって、正常作動中に前記ストレージインターフェースを通じて受信したストレージ命令を各ストレージ命令のそれぞれのアドレスに沿って、前記複数のストレージ装置のそれぞれに伝送するステップと、前記複数のストレージ装置のうち、いずれかのストレージ装置が故障又は不在（ａｂｓｅｎｔ）の場合、前記故障又は不在のストレージ装置に送られたストレージ命令をコントローラーに伝送するように前記データスイッチを再構成するステップと、前記コントローラーを用いてそれぞれの受信したストレージ命令に応答して前記データスイッチ及び前記ストレージインターフェースを通じて、もし存在し、且つ正常に作動したら、故障が発生したり、存在しないストレージ装置が伝送したはずのものと同じ命令応答を伝送するステップと、を有することを特徴とする。
正常作動中に前記複数のストレージ装置の内の一つのストレージ装置によって前記データブロックを含む記録命令（ｗｒｉｔｅ ｃｏｍｍａｎｄ）を受信した場合、前記一つのストレージ装置によって前記データブロックを格納するステップと、前記一つのストレージ装置によって前記データブロックのコピーを前記コントローラーに伝送するステップと、をさらに有することが好ましい。
前記コントローラーを用いて前記複数のストレージ装置の内の第１ストレージ装置からデータブロックのコピーが受信されると、前記コントローラーによって前記データブロックを充分に復旧できる消去コードを生成するステップと、前記コントローラーによって前記消去コードを前記複数のストレージ装置のうち、前記第１ストレージ装置と異なる一つ以上のストレージ装置に格納するステップと、をさらに有することが好ましい。
正常作動の間、前記複数のストレージ装置の内の第１ストレージ装置にデータブロックを含む記録命令が受信されると、前記第１ストレージ装置によって前記データブロックを格納するステップと、前記第１ストレージ装置によって前記データブロックを復旧するに充分な消去コードが生成されるステップと、前記第１ストレージ装置によって前記複数のストレージ装置のうち、前記第１ストレージ装置と異なる一つ以上のストレージ装置に前記消去コードを格納するステップと、をさらに有することが好ましい。
前記複数のストレージ装置の内の第１ストレージ装置は、消去コードを格納し、正常作動中に前記ストレージインターフェースを通じて受信された各ストレージ命令を前記ストレージ命令の各アドレスに沿って、前記複数のストレージ装置のサブセットのストレージ装置のそれぞれに伝送するステップをさらに有し、前記第１ストレージ装置は、前記サブセットに含まれないことが好ましい。
前記ストレージシステムは、ＰＣＩｅスイッチをさらに有し、前記コントローラーは、前記ＰＣＩｅスイッチを通じて前記ストレージ装置と接続され、前記複数のストレージ装置の内のいずれかのストレージ装置が故障又は不在の場合、前記コントローラーがデータブロックを要請する読込命令を受信したことに応答して、前記コントローラーが前記複数のストレージ装置の内の存在し、且つ正常作動するストレージ装置から消去コードを前記ＰＣＩｅスイッチを通じて読み込むステップと、前記コントローラーによって前記データブロックを復旧するステップと、前記コントローラーによって命令応答の一部として前記データスイッチ及び前記ストレージインタフェースを通じて前記復旧されたデータブロックを伝送するステップと、をさらに有することが好ましい。
前記ストレージ装置のそれぞれは、前記コントローラーのそれぞれのセンシングピンに接続される存在ピン（ｐｒｅｓｅｎｃｅ ｐｉｎ）を含み、前記コントローラーによって前記それぞれのセンシングピンの電圧又は電流の変化によって前記ストレージ装置の内のいずれか一つの除去を検出するステップをさらに有することが好ましい。
また、上記目的を達成するためになされた本発明によるストレージシステムは、ストレージインターフェースを含むストレージシステムであって、前記ストレージシステムは、いずれか一つのストレージ装置に格納されたデータを他のストレージ装置のデータから復旧するに充分な消去コードを格納するように構成された複数のストレージ装置と、正常作動中にそれぞれのストレージ命令のそれぞれのアドレスに沿って、前記ストレージインターフェースを通じて受信した前記ストレージ命令を前記複数のストレージ装置それぞれに伝送するデータスイッチと、制御手段と、を有し、前記複数のストレージ装置の内のいずれかのストレージ装置の故障又は不在の場合、前記制御手段は、前記故障又は不在のストレージ装置に送られたストレージ命令を制御手段に伝送するように前記データスイッチを再構成し、受信した各ストレージ命令に応答して、前記データスイッチ及び前記ストレージインターフェースを通じて、もし、存在し、且つ正常に作動したら、故障が発生したり、存在しないストレージ装置が伝送したはずのものと同じ命令応答を伝送することを特徴とする。
前記ストレージ装置のそれぞれは、正常作動の間、データブロックを含む記録命令を受信すると、前記データブロックを格納し、前記制御手段に前記データブロックのコピーを伝送することが好ましい。
本発明に係るストレージシステム及びその動作方法によれば、消去コードはストレージ装置の内の一つが故障になったり不在（ａｂｓｅｎｔ）／除去（ｒｅｍｏｖａｌ）になった場合に、格納されたデータを保護するためにストレージシステムで使用され、また、消去コードは、一般的に保護するデータとは別途のストレージ装置に格納でき、それにより、いずれかのストレージ装置の故障又は不在又は除去によってデータが損失されずに済み、消去コードを格納するディスクが故障したり不在又は除去になってもデータは影響を受けず、また、データを格納したディスクが故障にしたり不在又は除去になっても、データは消去コードから復旧できるという効果がある。
また、イーサネットスイッチは、消去コードを格納するストレージ装置をリモートホストから隠すように構成され、リモートホストに見えないようにすることができ、このような構成で、リモートホストの観点からストレージシステムは、物理的ストレージ装置に存在することより少ないストレージ装置を含むように見え得、ストレージ装置の信頼性は消去コードを格納するストレージ装置によって提供された消去コード保護によって向上するという効果がある。
本発明の一実施形態によるリモートホストに接続されたストレージシステムの概略を示すブロック図である。 本発明の一実施形態によるリモートホストに（イーサネットＳＳＤシャーシで）接続されたストレージシステムの概略を示すブロック図である。 本発明の一実施形態によるリモートホストに接続されたストレージシステムの概略を示すブロック図である。 本発明の一実施形態によるストレージシステムの開始シーケンスの動作を説明するためのフローチャートである。 本発明の一実施形態によるストレージシステムの動作を説明するためのフローチャートである。
次に、本発明に係るストレージシステム及びその動作方法を実施するための形態の具体例を図面を参照しながら説明する。
添付した図に関連して、以下に説明する詳細な説明は、本発明によって提供される複数のストレージ装置に亘って消去コード保護を提供する制御プレーン方法及び装置の例示的な実施形態として意図されたものであり、本発明の構成に用いられる唯一の形態を示すものではない。
説明は例示した実施形態に関連して本発明の特徴を説明する。
しかしながら、本発明の思想及び範囲内に含まれるように意図された他の実施形態によって同じであったり、均等な機能及び構造になることを理解すべきである。
本明細書の他の部分で言及するように、同一要素番号は同一要素又は特徴を示すためのものである。
制御プレーンは、例えば、ルータで下記のようにデータプレーンと区別できる。
制御プレーンは、トラフィック（例えば、データトラフィック）が伝送される場所に関する決定を下すことができる。
制御プレーンの機能は、伝送テーブル情報のシステム構成、管理及び交換を含み得る。
制御プレーンは、ネットワークのシグナルリング（Ｓｉｇｎａｌｉｎｇ）でありうる。
制御機能は、到着するそれぞれの個別データパケットに対して行われないこともあるので、厳格な速度制約を持たないこともあり、データプレーンの機能より時間に敏感ではない。
フォワーディングプレーン（Ｆｏｒｗａｒｄｉｎｇ ｐｌａｎｅ）とも呼ばれるデータプレーンは、制御プレーンロジックによって選ばれた目的地ネットワークの経路に沿ってトラフィックを次のホップ（Ｈｏｐ）に伝送できる。
データプレーンパケットはルータを通過し得る。
ルータ／スイッチは、入力及び出力フレーム及びパケットを処理するために、制御プレーンが構築したものを使用する。
ストレージシステムにて、ストレージシステムの制御プレーンとストレージシステムのデータプレーンとの間で同様の区別をすることができる。
例えば、ＮＶＭＦに基づいたシステム又はシャーシで、全てのイーサネットポートはイーサネットＳＳＤ（ｅＳＳＤ）とローカルイーサネットスイッチの間で物理的に分割され、データプレーンになることもあり、ＰＣＩ－ｅレーンはｅＳＳＤを接続することに使用でき、ＰＣＩｅスイッチ及びコントローラー（以下で詳細に説明される）を通じて制御プレーンになり得る。
図１ａは、本発明の一実施形態によるリモートホストに接続されたストレージシステムの概略を示すブロック図である。
ストレージシステムは、イーサネットスイッチ１１０、ＰＣＩｅスイッチ１２０、複数のストレージ装置１０５、及びコントローラー１１５（例えば、ベースボード管理コントローラー、Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ：ＢＭＣ）を含む。
ここで、複数のストレージ装置１０５は、イーサネットスイッチ１１０及びＰＣＩｅスイッチ１２０と通信し、ＰＣＩｅスイッチ１２０はコントローラー１１５と通信する。
ストレージシステムは、リモートホスト１００に接続される。
イーサネットスイッチ１１０とコントローラー１１５の間に追加的な接続が生成され、消去コード保護機能を向上することができる。
より具体的には、図１ｂは、本発明の一実施形態によるリモートホストに（イーサネットインターフェース（イーサネットＳＳＤシャーシで））接続されたストレージシステムの概略を示すブロック図である。
複数のストレージ装置１０５は、イーサネットスイッチ１１０を通じてリモートホスト１００に接続される。
ストレージ装置１０５のそれぞれは、永続ストレージ（Ｐｅｒｓｉｓｔｅｎｔ ｓｔｏｒａｇｅ）を提供することができ、即ち、電力が一時的に損失した場合でもデータの格納を継続的に提供できる。
各ストレージ装置１０５は、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）、例えば、イーサネットＳＳＤ（ｅＳＳＤ）でありうる。
正常作動の際に、リモートホスト１００は、それぞれ一つ以上のストレージ装置１０５に送られたストレージ命令をストレージ装置１０５に伝送し、ストレージ装置１０５はリモートホストに命令応答を伝送する。
ストレージ命令は、記録命令（ｗｒｉｔｅ ｃｏｍｍａｎｄ）及び／又は読込命令（ｒｅａｄ ｃｏｍｍａｎｄ）になることもある。
例えば、データをストレージ装置１０５に格納するために、リモートホスト１００は記録命令をストレージ装置１０５に伝送する（例えば、ストレージ装置１０５のイーサネットアドレスを使用してストレージ装置１０５に送られる）。
それぞれの記録命令は、ストレージ装置１０５に記録されるデータの量（又は「データブロック」）及びホストが未来の読込命令で同じデータを参照できるようにする論理ブロックアドレス（Ｌｏｇｉｃａｌ Ｂｌｏｃｋ Ａｄｄｒｅｓｓ、ＬＢＡ）を含むことができる。
これに対して、ストレージ装置１０５はデータを格納でき、格納動作が一度完了したら、ストレージ装置１０５は、命令応答（例えば、命令完了）をリモートホスト１００に伝達し、格納動作が成功的に完了したとの信号を送る。
本明細書にて使用する「データブロック」は、ストレージ命令又は命令応答のデータペイロード（Ｐａｙｌｏａｄ）、例えば、記録命令によって永続ストレージに記録されるデータ又は読込命令によって永続ストレージから読み込まれたデータでありうる。
ストレージ装置１０５からデータを読み込むために、リモートホスト１００は、ストレージ装置１０５からデータを要請する読込命令をストレージ装置１０５に伝送する。
これに応答して、ストレージ装置１０５は、ストレージ装置１０５の内部の非揮発性メモリ（Ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）からデータを読み込むことができ、読込動作が完了したら、命令応答（例えば、命令完了）をストレージから読み込まれたデータブロックを含むリモートホスト１００に伝送し、読込動作が成功的に完了したとの信号を送る。
消去コードは、ストレージ装置１０５の内の一つが故障になったり、不在（ａｂｓｅｎｔ）又は除去（ｒｅｍｏｖａｌ）された場合に格納されたデータを保護するためにストレージシステムで使用される。
データブロックに対する消去コードは、データの一部が消失された場合に、データブロック内のデータを再建するのに使用される重複追加情報を含む（例えば、構成）ことができる。
消去コードは、一般的に保護するデータとは別途にストレージ装置１０５に格納でき、よって、いずれかのストレージ装置の故障又は不在又は除去によってもデータが消失されなくなる。
消去コードを格納するディスクが故障したり、不在又は除去されても、データは影響を受けず、なお、データを格納したディスクが故障になったり、不在又は除去されても、データは消去コードから復旧できる。
一部実施形態にて、一つ以上のストレージ装置１０５は、消去コードのみを格納するに専用され得る。
この場合、イーサネットスイッチ１１０は、これらのストレージ装置１０５をリモートホスト１００から隠すように構成され、これらのストレージ装置がリモートホストに見えないようにすることができる。
このような構成で、リモートホスト１００からの観点で、ストレージシステムは物理的なストレージ装置に存在するより少ないストレージ装置１０５を含むように見えることになり、ストレージ装置の信頼性は、消去コードのみを専用に格納するストレージ装置１０５によって提供された消去コード保護によって向上される。
他の実施形態では、消去コードは、消去コードのみを専用に格納するストレージ装置１０５だけに格納されるのではなく、他のデータも格納するドライブに格納され得る。
消去コードは、コントローラー１１５によって生成される。
コントローラー１１５は、ストレージ装置１０５のそれぞれとＰＣＩｅスイッチ１２０を通じて接続される。
コントローラー１１５、ＰＣＩｅスイッチ１２０、及びストレージ装置１０５へのコントローラー１１５及びＰＣＩｅスイッチ１２０の接続は、消去プレーンを形成し、イーサネットスイッチ１１０及びストレージ装置１０５へのイーサネットスイッチ１１０の接続はデータプレーンを形成する。
動作の際に、ストレージ装置１０５が記録命令をイーサネットスイッチ１１０を介して受信すると、ストレージ装置１０５内部の非揮発性メモリにデータ（即ち、記録命令に含まれたデータブロックのデータ）を格納し、論理ブロックアドレスのみならず、データのコピーをコントローラー１１５に伝送する。
コントローラー１１５は、消去コードを生成し、消去コードデータを格納するストレージ装置１０５にＰＣＩｅスイッチを通じて書き込み命令を伝送することで、消去コードを例えば、記録命令を受信したものと異なるストレージ装置１０５に格納する。
コントローラー１１５は、消去コードを格納するための論理ブロックアドレス及び消去コードのそれぞれの位置を列挙したテーブルを維持する。
正常作動の際に、コントローラー１１５は、リモートホスト１００及びストレージ装置１０５の間のデータ経路で認識されないこともある。
例えば、データはコントローラー１１５を介さずに、リモートホスト１００とストレージ装置１０５の間で直接移動することができる。
それぞれのストレージ装置１０５（例えば、ＳＳＤ）は、ストレージインタフェースコネクタを含むことができ、これは「Ｕ．２」コネクタでありうる。
「Ｕ．２」コネクタの複数のピンは、ＰＣＩｅスイッチ１２０との通信のために、ＰＣＩｅリンク（例えば、１ｘ４ＰＣＩｅレーン又は２ｘ２ＰＣＩｅレーン）を提供するように割り当てる。
「Ｕ．２」コネクタの他のピンは、イーサネットスイッチ１１０にイーサネット接続を提供するように割り当てる。
「Ｕ．２」コネクタのまた異なるピン１２５は、コントローラー１１５がストレージ装置１０５の存在有無を検出できるようにする「存在ピン（Ｐｒｅｓｅｎｃｅ Ｐｉｎ）」として使用する。
例えば、それぞれのストレージ装置１０５は、存在ピン１２５でセット電圧を供給したり、存在ピン１２５を通じてセット電流を駆動できる。
それぞれのストレージ装置１０５の存在ピン１２５は、コントローラー１１５のそれぞれのセンシングピンに接続され、コントローラー１１５はセンシングピンのうちの一つにてセット電圧又はセット電流が検出されることが中断されたら、対応するストレージ装置１０５がもはや存在しないものと推論できる。
他の実施形態では、ストレージ装置１０５とコントローラー１１５の間のＮＶＭｅ管理インタフェース（ＮＶＭｅ Ｍａｎａｇｅｍｅｎｔ Ｉｎｔｅｒｆａｃｅ：ＮＶＭｅ－ＭＩ）接続は、同じ目的で使用できる。
例えば、それぞれのストレージ装置１０５の複数のピンは、ＮＶＭｅ管理インタフェースに対する物理的接続を提供し、存在ピンとしての役割を果たすことができる。
それぞれのストレージ装置１０５は、複数（例えば、２４コネクタ）の「Ｕ．２」コネクタを有し、対応する複数のストレージ装置１０５を収容する印刷回路基板でありうるミッドプレーン１３０に接続される。
ミッドプレーン１３０は、ストレージ装置１０５に接続されたコネクタ及びこれに対応するＰＣＩｅスイッチ１２０のストレージ装置側上の複数のコネクタ（例えば、２４コネクタ）の間の接続を提供する導電性トレースを含む。
ミッドプレーン１３０は、ストレージ装置１０５の存在ピンとこれに対応するコントローラー１１５のセンシングピンとの間、及びストレージ装置１０５のイーサネットピンとこれに対応するイーサネットスイッチ１１０のストレージ装置側上のコネクタのピンとの間の接続を提供する。
それぞれのストレージ装置１０５は、複数の非揮発性メモリ（例えば、フラッシュメモリ）チップ、及び以下で詳細に説明するプロセッシング回路やプロセッシング回路を含むストレージ装置コントローラー（例えば、ストレージシステムのコントローラー１１５と分離及び区別されるＳＳＤコントローラー）を含むことができる。
コントローラー１１５はまた、プロセッシング回路であったり、プロセッシング回路を含むことができる。
コントローラー１１５は、例えば、ベースボード管理コントローラー外部にあり、ベースボード管理コントローラーの当該ピンに接続された温度センサを通じてストレージシステムに対する温度モニタリング及び制御を行う機能、及び／又はＩ２Ｃインターフェース又はＳＭＢｕｓを通じたファン（Ｆａｎ）制御機能を含むベースボード管理コントローラー（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ、ＢＭＣ）でありうる。
本明細書で使用する「コントロール手段」は、最小限に本明細書にて開示され、且つ請求された特徴を有するコントローラー１１５を具現するハードウェア、ファームウェア、及びソフトウェアの任意の組み合わせを呼称し、全てハードウェアとして具現されたり、汎用処理回路（例えば、汎用ＣＰＵ）上で実行されるソフトウェアで具現できる。
ストレージ装置が故障になったり不在又は除去されたりしたときは（図１ｃにて点線で示すように）、コントローラー１１５は、前述したとおりに、コントローラー１１５のセンシングピンでの変化の結果を通じて不在又は除去、又は故障を認知したり、コントローラー１１５はイーサネットスイッチ１１０を通じてストレージ装置１０５の内の一つに伝送されたストレージ命令が命令応答を発生させていないことを通知することができる。
以下でさらに詳細に説明するように、一部実施形態においては、正常作動の際に記録命令が実行される時、格納されるデータは一つ以上のストレージ装置１０５に記録され、消去コードが生成され、なお、一つ以上のストレージ装置１０５に記録され、例えば、消去コードが保護するデータと異なるストレージ装置１０５に記録された、格納された消去コードを使用して、いずれか一つのストレージ装置の故障によって一般的に復旧できないデータ損失が発生しない。
ストレージ装置１０５が故障したときは、コントローラー１１５はイーサネットスイッチ１１０を再構成して、故障したストレージ装置１０５に送られた任意の記録又は読込命令をコントローラーに再び送り、コントローラー１１５は性能低下（例えば、速度）を排除して、ストレージ装置１０５の障害がリモートホスト１００に感知されないようにストレージ装置１０５の動作を模することができる。
ストレージシステムは、それぞれのストレージ装置１０５の存在ピン１２５とコントローラーの間に接続されたコンプレックスプログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）（図１ｂ及び図１ｃに示していない）を含むことができる。
存在ピンのうち少なくとも一つのある変化を検出した後、ＣＰＬＤはインターラプトを通じてコントローラー１１５に通知する。
その後、コントローラー１１５はＣＰＬＤの一部レジスタを入れて（例えば記録又は読込）、どのドライブが消去又は設置されたかを探し出すことができる。
これにより、ＢＭＣ（例えば、コントローラー１１５は、特定ポートを活性化又は非活性化して、イーサネットスイッチを再構成するなどの適切な変更作業を行うことができる。
一部実施形態で、コントローラーは、イーサネットスイッチ１１０を再構成して、故障になったり、不在又は除去されたストレージ装置１０５に送られた全てのイーサネットトラフィックが、代わりにコントローラー１１５に向かうように再度送る（Ｒｅｄｉｒｅｃｔ）ことができる。
コントローラー１１５はストレージ装置１０５が故障、不在又は除去されなかった場合に持つはずのものと同じ命令応答をリモートホスト１００が受信するようにリモートホスト１００からストレージ命令を処理して、命令応答を伝送する。
例えば、故障、不在又は除去のストレージ装置１０５に送られ、コントローラーに再び送られたリモートホスト１００からの読込命令に応答して、コントローラー１１５は、一つ以上の他のストレージ装置１０５に格納された消去コード（例えば、消去パリティ（Ｅｒａｓｕｒｅ ｐａｒｉｔｙ）及びデータコード）から依然として存在し、且つ正常に作動された場合、故障、不在又は除去のストレージ装置１０５から読み込まれたはずのデータ（例えば、データはＸＯＲ動作によって再生成され、故障／不在又は除去ストレージ装置１０５からのデータを良好に復旧できる）を復旧することができ、コントローラー１１５は、復旧データを含む命令応答をリモートホスト１００に伝送する。
故障、不在又は除去のストレージ装置１０５に送られ、コントローラー１１５に再び送られたリモートホスト１００からの記録命令に応答し、コントローラーは故障、不在又は除去になったストレージ装置１０５が依然として存在し、且つ正常に動作する場合に格納される消去コードと同じ消去コードを生成及び格納することができ、故障、不在又は除去になったストレージ装置１０５が依然として存在し、且つ正常に動作する場合に、故障、不在又は除去になったストレージ装置１０５が伝送する同じ命令応答をリモートホスト１００に伝送する。
一部の実施形態で、ストレージ装置１０５が故障になった後に、システムの動作が続く間に、コントローラー１１５は全てのデータが消去コードによって保護され、それぞれの消去コードは保護するデータと異なるストレージ装置１０５上に格納されるまで、ストレージ装置１０５装置が故障になった時に損失されたものを代替するために、新たにデータ及び消去コードを生成し、新たにデータ及び消去コードを一つ以上の残りのストレージ装置１０５上に格納し、残りのストレージ装置１０５の間でデータ（及び消去コード）を移動させることで、一つ少ないドライブで動作するようにシステムを再構成する。
ストレージ装置１０５が除去（故障になる代わりに）されたら、コントローラーは同じ動作を行うことができる。
代替ドライブが以後に設置される場合に、コントローラー１１５はシステムの継続的な動作の間、故障、不在又は除去のストレージ装置１０５に代わって続いて応答しながら、代替ドライブを再構築する。
即ち、コントローラー１１５は、故障、不在又は除去のストレージ装置１０５に格納されていたデータを復旧して代替ドライブに格納する。
一度代替ドライブが再構築されたら、コントローラー１１５は正常動作のためにイーサネットスイッチ１１０を再構成する。
図２は、本発明の一実施形態にかかるストレージシステムの開始シーケンスの動作を説明するためのフローチャートである。
コントローラー１１５（例えば、ＢＭＣ）は、自身及び望むＲＡＩＤ構成ごとに全てのデータストレージ装置１０５（例えば、ＳＳＤ）の前提条件を初期化する（ステップＳ２０５）。
コントローラー１１５はストレージ装置１０５の一部をデータストレージ装置に、ストレージ装置１０５の一部を消去コードストレージ装置に指定する（ステップＳ２１０）。
これは、すべてのストレージ装置１０５及び命令に対する初期化の際に行われたり、命令単位で行われる。
コントローラー１１５はＳＳＤのそれぞれの容量が異なるとＳＳＤを正規化し（ステップＳ２１５）、コントローラー１１５は上述したように、いずれのホストにも消去コードストレージ装置が見えないようにマーク（Ｍａｒｋ）する（ステップＳ２２０）。
図３は、本発明の一実施形態にかかるストレージシステムの動作を説明するためのフローチャートであり、コントローラー１１５の代わりにストレージ装置１０５が消去コードを生成するストレージシステムの動作に対するフローチャートである。
システム内のそれぞれのストレージ装置１０５は、コントローラー１１５からスロット番号又は割り当て番号のような固有の配列部材識別（Ａｒｒａｙ ｍｅｍｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を有する。
データストレージ装置のそれぞれは、ホスト又は開始プログラム（Ｉｎｉｔｉａｔｏｒ）との正常的なＮＶＭｅオーバーファブリック（ＮＶＭｆ）トランザクションの実行を続いて（ステップＳ３０５）、データストレージ装置のそれぞれは正常的なディスカバリーサービスを行い、トランザクション（例えば、ストレージ命令に対する処理及び応答）の実行を始める（ステップＳ３１０）。
ホストはデータストレージ装置のうち、一つにデータを記録する（ステップＳ３１５）。
ステップＳ３１５にてホストは消去コードを生成しない。
データストレージ装置は記録されるデータを受信し、これをデータストレージ装置内の非揮発性メモリに格納する（ステップＳ３２０）。
データストレージ装置は、また、消去コードを生成し、消去コードを（複数のストレージ装置の）一つ以上の消去コードストレージ装置に記録する（ステップＳ３２０）。
例えば、任意の記録に対して、記録データは、目標ストレージ装置の中のポスト（Ｐｏｓｔ）された記録バッファーに一時的に格納できる。
同時に、目標ストレージ装置は、制御プレーン（例えば、ＰＣＩｅ制御プレーン）を通じて記録データをコントローラー１１５に伝送できる。
記録データを受信した後、コントローラー１１５は、同じＬＢＡを共有する当該データを他のストレージ装置から読み込んで、パリティーの生成を行うことができる。
コントローラー１１５は、一つ以上の適切な排他的論理和（ＸＯＲ）演算を行い、新たなパリティーをパリティーストレージ装置に記録する。
コントローラー１１５は、元々の目標ストレージ装置にメッセージを伝送することができ、ポストされた記録バッファーがフラッシュ（Ｆｌｕｓｈ）できる。
一部の実施形態で、いくつかのストレージ装置１０５は、消去コードを格納する。
消去コードストレージ装置は消去コードを受信し、これを消去コードストレージ装置内の非揮発性メモリに格納し、データストレージ装置にコミットメッセージ（Ｃｏｍｍｉｔ ｍｅｓｓａｇｅ）を伝送する（ステップＳ３２５）。
データストレージ装置及び消去コードストレージ装置の間の通信は、ＰＣＩｅスイッチ１２０を通じて行われる。
上述したように、一部の実施形態は、複数のストレージ装置に亘って消去コード保護を提供するためのシステム及び方法を提供する。
ストレージシステム内のデータスイッチは、複数のストレージ装置をリモートホストに接続する。
各ストレージ装置は、また、コントローラー（例えば、ベースボード管理コントローラー）に接続される。
正常作動の際に、リモートホストからの読込及び記録命令は、データスイッチを通じてそれぞれのストレージ装置に伝送される。
記録命令が実行されたら、この命令を実行するストレージ装置はコントローラーにデータのコピーを送り、コントローラーは消去コードを生成し、これらを例えば、消去コードを格納するために専用されるストレージ装置に格納して、リモートホストに見えないようにする。
装置が故障になったり消去されると、コントローラーはデータスイッチを再び構成して故障、不在又は除去のストレージ装置に送られた全てのトラフィックをコントローラーに再び送り、コントローラーは、もし存在し、且つ正常に作動された場合、障害が発生したり、存在しないストレージ装置が伝送したはずのものと同じ命令応答でホスト命令に応答する。
「プロセッシング回路」という用語は、本明細書にてデータ又はデジタル信号を処理するに使用されるハードウェア、ファームウェア及びソフトフェアの全ての組み合わせを意味するために使用する。
プロセッシング回路ハードウェアは、例えば、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ：ＡＳＩＣ）、汎用又は特殊用途の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、グラフィック処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）のようなプログラマブル論理装置を含むことができる。
本明細書で使用するプロセッシング回路での各機能は、その機能を行うために構成されたハードウェア、即ち、固定配線（Ｈａｒｄ－ｗｉｒｅｄ）や非一時的格納媒体に格納された命令を実行するように構成されたＣＰＵのような汎用ハードウェアで行うことができる。
プロセッシング回路は、一つの印刷回路基板上に製造されたものでもあり、いくつかの互いに接続された印刷回路基板に分散されたものでもある。
プロセッシング回路は、他のプロセッシング回路を含むことができる。
例えば、プロセッシング回路は、印刷回路基板上で互いに接続された二つのプロセッシング回路、ＦＰＧＡ、ＣＰＵを含むことができる。
複数のストレージ装置に亘り消去コード保護を提供する制御プレーン方法及び装置の例示的な実施形態が本明細書によって具体的に説明し、且つ例示しているが、多くの変形及び変更が当業者にとって明白である。
よって、本発明の原理によって構成された多数のストレージ装置に亘り消去コード保護を提供するための制御プレーン方法及び装置は、ここに具体的に記述したもの以外の他の実施例が具現できると理解すべきである。
なお、本発明は、次の特許請求範囲及びその等価物で定義される。
本発明は、消去コード保護によって複数のストレージ装置のうち一つが故障になったり消去された場合に、格納されたデータを保護するためのストレージシステムに好適に使用される。
１００ リモートホスト
１０５ ストレージ装置
１１０ イーサネットスイッチ
１１５ コントローラー
１２０ ＰＣＩｅスイッチ
１２５ 存在ピン
１３０ ミッドプレーン

Claims (20)

  1. ストレージインターフェースを含むストレージシステムであって、
    前記ストレージシステムは、
    何れか一つのストレージ装置に格納されたデータを他のストレージ装置のデータから復旧するのに充分な消去コードを格納する複数のストレージ装置と、
    正常動作中に、各ストレージ命令のそれぞれのアドレスに従って、前記ストレージインターフェースを通じて受信されたストレージ命令を、前記複数のストレージ装置の中のそれぞれのストレージ装置に伝送するデータスイッチと、
    コントローラーと、を有し、
    前記コントローラーは、
    前記複数のストレージ装置の中の何れかのストレージ装置が故障又は不在（ａｂｓｅｎｔ）の場合、
    前記データスイッチを再構成して、前記故障又は不在のストレージ装置に宛てられたストレージ命令を前記コントローラーに伝送し、
    受信された各ストレージ命令に応答して、前記データスイッチ及び前記ストレージインターフェースを通じて、前記故障又は不在とされたストレージ装置が存在し且つ正常に作動した場合に伝送したはずのものと同じ命令応答を伝送することを特徴とするストレージシステム。
  2. 前記ストレージ装置の各々は、正常動作中に、データブロックを含む記録命令（ｗｒｉｔｅ ｃｏｍｍａｎｄ）を受信した場合、前記データブロックを格納し、前記データブロックのコピーを前記コントローラーに伝送することを特徴とする請求項１に記載のストレージシステム。
  3. 前記コントローラーは、前記複数のストレージ装置の中の第１ストレージ装置からデータブロックのコピーを受信した場合、前記データブロックを復旧するのに充分な消去コードを生成し、前記複数のストレージ装置の中から前記第１ストレージ装置とは異なる一つ以上のストレージ装置に前記消去コードを格納することを特徴とする請求項２に記載のストレージシステム。
  4. 前記複数のストレージ装置の中の第１ストレージ装置は、正常動作中に、データブロックを含む記録命令を受信した場合、
    前記データブロックを格納し、
    前記データブロックを復旧するのに充分な消去コードを生成し、
    前記複数のストレージ装置の中から前記第１ストレージ装置とは異なる一つ以上のストレージ装置に前記消去コードを格納することを特徴とする請求項１に記載のストレージシステム。
  5. 前記複数のストレージ装置の中の第１ストレージ装置は、消去コードを格納し、
    前記データスイッチは、正常動作中に、前記ストレージインターフェースを通じて受信された各ストレージ命令を、前記ストレージ命令のそれぞれのアドレスに従って、前記複数のストレージ装置のサブセットのそれぞれのストレージ装置に伝送し、
    前記第１ストレージ装置は、前記サブセットに含まれないことを特徴とする請求項１に記載のストレージシステム。
  6. 前記コントローラーは、前記複数のストレージ装置の中の何れかのストレージ装置が故障又は不在の場合、データブロックを要請する受信された読込命令（ｒｅａｄ ｃｏｍｍａｎｄ）に応答して、
    前記複数のストレージ装置の中の、存在し且つ正常動作するストレージ装置から消去コードを読み込み、
    前記データブロックを復旧し、
    前記データスイッチ及び前記ストレージインターフェースを通じて前記復旧されたデータブロックを命令応答の一部として伝送することを特徴とする請求項１に記載のストレージシステム。
  7. 前記ストレージ装置の各々は、前記コントローラーのそれぞれのセンシングピンに接続される存在ピン（ｐｒｅｓｅｎｃｅ ｐｉｎ）を含むコネクタを含み、
    前記コントローラーは、前記それぞれのセンシングピンでの電圧又は電流の変化によって前記ストレージ装置の中の何れか一つのストレージ装置の除去（ｒｅｍｏｖａｌ）を検出することを特徴とする請求項１に記載のストレージシステム。
  8. 前記データスイッチは、イーサネットスイッチであることを特徴とする請求項１に記載のストレージシステム。
  9. 前記データスイッチは、前記コントローラーのポートに接続されたＰＣＩｅコントロールポートを含み、
    前記データスイッチは、前記ＰＣＩｅコントロールポートを通じて前記コントローラーから構成命令（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｃｏｍｍａｎｄ）を受信することを特徴とする請求項１に記載のストレージシステム。
  10. ＰＣＩｅスイッチを更に含み、
    前記複数のストレージ装置の各々は、前記ＰＣＩｅスイッチを通じて前記コントローラーに接続されることを特徴とする請求項１に記載のストレージシステム。
  11. 前記コントローラーは、ベースボード管理コントローラーであることを特徴とする請求項１に記載のストレージシステム。
  12. ストレージインターフェースを有し、複数のストレージ装置、データスイッチ、及びコントローラーを含むストレージシステムを動作させる方法であって、
    正常動作中に、前記データスイッチによって、各ストレージ命令のそれぞれのアドレスに従って、前記ストレージインターフェースを通じて受信されたストレージ命令を、前記複数のストレージ装置の中のそれぞれのストレージ装置に伝送するステップと、
    前記複数のストレージ装置の中の何れかのストレージ装置が故障又は不在（ａｂｓｅｎｔ）の場合、
    前記コントローラーによって、前記データスイッチを再構成して、前記故障又は不在のストレージ装置に宛てられたストレージ命令を前記コントローラーに伝送するステップと、
    前記コントローラーによって、受信された各ストレージ命令に応答して、前記データスイッチ及び前記ストレージインターフェースを通じて、前記故障又は不在とされたストレージ装置が存在し且つ正常に作動した場合に伝送したはずのものと同じ命令応答を伝送するステップと、を有することを特徴とするストレージシステムの動作方法。
  13. 正常動作中に、前記複数のストレージ装置の中の一つのストレージ装置によって、データブロックを含む記録命令（ｗｒｉｔｅ ｃｏｍｍａｎｄ）を受信した場合、
    前記一つのストレージ装置によって、前記データブロックを格納するステップと、
    前記一つのストレージ装置によって、前記データブロックのコピーを前記コントローラーに伝送するステップと、を更に有することを特徴とする請求項１２に記載のストレージシステムの動作方法。
  14. 前記コントローラーによって、前記複数のストレージ装置の中の第１ストレージ装置からデータブロックのコピーを受信した場合、
    前記コントローラーによって、前記データブロックを復旧するのに充分な消去コードを生成するステップと、
    前記コントローラーによって、前記複数のストレージ装置の中から前記第１ストレージ装置とは異なる一つ以上のストレージ装置に前記消去コードを格納するステップと、を更に有することを特徴とする請求項１３に記載のストレージシステムの動作方法。
  15. 正常動作中に、前記複数のストレージ装置の中の第１ストレージ装置によって、データブロックを含む記録命令を受信した場合、
    前記第１ストレージ装置によって、前記データブロックを格納するステップと、
    前記第１ストレージ装置によって、前記データブロックを復旧するのに充分な消去コードを生成するステップと、
    前記第１ストレージ装置によって、前記複数のストレージ装置の中から前記第１ストレージ装置とは異なる一つ以上のストレージ装置に前記消去コードを格納するステップと、を更に有することを特徴とする請求項１２に記載のストレージシステムの動作方法。
  16. 前記複数のストレージ装置の中の第１ストレージ装置は、消去コードを格納し、
    正常動作中に、前記データスイッチによって、前記ストレージインターフェースを通じて受信された各ストレージ命令を、前記ストレージ命令のそれぞれのアドレスに従って、前記複数のストレージ装置のサブセットのストレージ装置のそれぞれのストレージ装置に伝送するステップを更に有し、
    前記第１ストレージ装置は、前記サブセットに含まれないことを特徴とする請求項１２に記載のストレージシステムの動作方法。
  17. 前記ストレージシステムは、ＰＣＩｅスイッチを更に有し、
    前記コントローラーは、前記ＰＣＩｅスイッチを通じて前記ストレージ装置に接続され、
    前記方法は、
    前記複数のストレージ装置の中の何れかのストレージ装置が故障又は不在の場合、
    前記コントローラーによって、データブロックを要請する読込命令を受信したことに応答して、
    前記コントローラーによって、前記ＰＣＩｅスイッチを通じて、前記複数のストレージ装置の中の存在し且つ正常動作するストレージ装置から消去コードを読み込むステップと、
    前記コントローラーによって、前記データブロックを復旧するステップと、
    前記コントローラーによって、前記データスイッチ及び前記ストレージインターフェースを通じて前記復旧されたデータブロックを命令応答の一部として伝送するステップと、を更に有することを特徴とする請求項１２に記載のストレージシステムの動作方法。
  18. 前記ストレージ装置の各々は、前記コントローラーのそれぞれのセンシングピンに接続される存在ピン（ｐｒｅｓｅｎｃｅ ｐｉｎ）を含み、
    前記方法は、前記コントローラーによって、前記それぞれのセンシングピンでの電圧又は電流の変化によって前記ストレージ装置の中の何れか一つのストレージ装置の除去を検出するステップを更に有することを特徴とする請求項１７に記載のストレージシステムの動作方法。
  19. ストレージインターフェースを含むストレージシステムであって、
    前記ストレージシステムは、
    何れか一つのストレージ装置に格納されたデータを他のストレージ装置のデータから復旧するのに充分な消去コードを格納する複数のストレージ装置と、
    正常動作中に、各ストレージ命令のそれぞれのアドレスに従って、前記ストレージインターフェースを通じて受信されたストレージ命令を、前記複数のストレージ装置の中のそれぞれのストレージ装置に伝送するデータスイッチと、
    制御手段と、を有し、
    前記制御手段は、
    前記複数のストレージ装置の中の何れかのストレージ装置が故障又は不在の場合、
    前記データスイッチを再構成して、前記故障又は不在のストレージ装置に宛てられたストレージ命令を前記制御手段に伝送し、
    受信された各ストレージ命令に応答して、前記データスイッチ及び前記ストレージインターフェースを通じて、前記故障又は不在とされたストレージ装置が存在し且つ正常に作動した場合に伝送したはずのものと同じ命令応答を伝送することを特徴とするストレージシステム。
  20. 前記ストレージ装置の各々は、正常動作中に、データブロックを含む記録命令を受信した場合、前記データブロックを格納し、前記データブロックのコピーを前記制御手段に伝送することを特徴とする請求項１９に記載のストレージシステム。
JP2018005598A 2017-01-20 2018-01-17 ストレージシステム及びその動作方法 Active JP7002346B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762448648P 2017-01-20 2017-01-20
US62/448,648 2017-01-20
US15/470,774 2017-03-27
US15/470,774 US10255134B2 (en) 2017-01-20 2017-03-27 Control plane method and apparatus for providing erasure code protection across multiple storage devices

Publications (2)

Publication Number Publication Date
JP2018116704A JP2018116704A (ja) 2018-07-26
JP7002346B2 true JP7002346B2 (ja) 2022-01-20

Family

ID=62906306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018005598A Active JP7002346B2 (ja) 2017-01-20 2018-01-17 ストレージシステム及びその動作方法

Country Status (5)

Country Link
US (4) US10255134B2 (ja)
JP (1) JP7002346B2 (ja)
KR (1) KR102527151B1 (ja)
CN (1) CN108334285B (ja)
TW (2) TWI764973B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255134B2 (en) 2017-01-20 2019-04-09 Samsung Electronics Co., Ltd. Control plane method and apparatus for providing erasure code protection across multiple storage devices
US10275180B2 (en) * 2017-05-08 2019-04-30 Samsung Electronics Co., Ltd. Ethernet SSD system including storage offload engine (SoE) controller and ethernet switch
CN112214166B (zh) * 2017-09-05 2022-05-24 华为技术有限公司 用于传输数据处理请求的方法和装置
US20240095196A1 (en) * 2018-03-02 2024-03-21 Samsung Electronics Co., Ltd. Method for supporting erasure code data protection with embedded pcie switch inside fpga+ssd
US10635609B2 (en) 2018-03-02 2020-04-28 Samsung Electronics Co., Ltd. Method for supporting erasure code data protection with embedded PCIE switch inside FPGA+SSD
US10990554B2 (en) 2018-03-02 2021-04-27 Samsung Electronics Co., Ltd. Mechanism to identify FPGA and SSD pairing in a multi-device environment
TWI791880B (zh) * 2018-10-12 2023-02-11 南韓商三星電子股份有限公司 電腦系統
KR102649169B1 (ko) * 2018-12-12 2024-03-20 에스케이하이닉스 주식회사 저장 장치 및 그 동작 방법
US10795846B1 (en) * 2019-07-15 2020-10-06 Cisco Technology, Inc. Scalable NVMe storage management over system management bus
US11334434B2 (en) * 2020-02-19 2022-05-17 Seagate Technology Llc Multi-level erasure system with cooperative optimization
CN111931255A (zh) * 2020-04-02 2020-11-13 深圳云存科技有限公司 自动销毁与拷贝系统
TWI789020B (zh) * 2021-09-23 2023-01-01 宇瞻科技股份有限公司 儲存裝置之控制系統及控制方法
JP2023096958A (ja) * 2021-12-27 2023-07-07 株式会社日立製作所 ストレージシステム及びストレージシステム制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087348A (ja) 2007-09-28 2009-04-23 Symantec Corp 協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法
JP2014154042A (ja) 2013-02-12 2014-08-25 Ricoh Co Ltd 情報処理装置及びその記憶装置の交換処理方法
JP2015519674A (ja) 2012-06-13 2015-07-09 カリンゴ・インコーポレーテッドＣａｒｉｎｇｏ Ｉｎｃｏｒｐｏｒａｔｅｄ ストレージクラスタにおける消失符号付加および複製
WO2016060675A1 (en) 2014-10-17 2016-04-21 Hitachi, Ltd. Method and apparatus for managing data recovery of distributed storage system
WO2016137402A1 (en) 2015-02-26 2016-09-01 Agency For Science, Technology And Research Data stripping, allocation and reconstruction

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3184171B2 (ja) * 1998-02-26 2001-07-09 日本電気株式会社 ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体
US20030217305A1 (en) * 2002-05-14 2003-11-20 Krehbiel Stanley E. System, method, and computer program product within a data processing system for assigning an unused, unassigned storage device as a replacement device
ATE557349T1 (de) * 2002-10-31 2012-05-15 Parallel Iron Llc Speichersystem und verfahren für ein speichersystem
US7058762B2 (en) * 2003-06-09 2006-06-06 Hewlett-Packard Development Company, L.P. Method and apparatus for selecting among multiple data reconstruction techniques
US20050228943A1 (en) * 2004-04-02 2005-10-13 Decenzo David P Multipath redundant storage system architecture and method
US7353318B2 (en) * 2005-08-26 2008-04-01 International Business Machines Corporation Apparatus and method to assign addresses to plurality of information storage devices
ES2528245T3 (es) * 2009-02-03 2015-02-05 Bittorrent, Inc. Almacenamiento distribuido de datos recuperables
US8234447B2 (en) * 2009-10-09 2012-07-31 Hitachi, Ltd. Storage control device for storage system provided with storage device coupled to switch network
JP5416843B2 (ja) * 2010-05-12 2014-02-12 株式会社日立製作所 ストレージ装置、及びストレージ装置の制御方法
CN104166441B (zh) 2010-06-18 2018-05-11 希捷科技有限公司 可扩展存储装置
US8812901B2 (en) * 2011-09-23 2014-08-19 Lsi Corporation Methods and apparatus for marking writes on a write-protected failed device to avoid reading stale data in a RAID storage system
US8930749B2 (en) * 2012-04-02 2015-01-06 International Business Machines Corporation Systems and methods for preventing data loss
TW201351126A (zh) * 2012-05-03 2013-12-16 Thomson Licensing 分佈式資料儲存系統內資料檔案之儲存方法和管理裝置以及故障儲存裝置之修理方法和修理管理裝置
US8762353B2 (en) 2012-06-13 2014-06-24 Caringo, Inc. Elimination of duplicate objects in storage clusters
US9449040B2 (en) * 2012-11-26 2016-09-20 Amazon Technologies, Inc. Block restore ordering in a streaming restore system
JP6003610B2 (ja) 2012-12-17 2016-10-05 日本電気株式会社 情報処理装置
US9229854B1 (en) 2013-01-28 2016-01-05 Radian Memory Systems, LLC Multi-array operation support and related devices, systems and software
WO2014118776A1 (en) * 2013-01-31 2014-08-07 Technion Research & Development Foundation Limited Management and recovery of distributed storage of replicas
US9026846B2 (en) * 2013-03-15 2015-05-05 Lsi Corporation Data recovery in a raid controller by offloading contents of DRAM to a flash module on an SAS switch
US10209904B2 (en) * 2013-04-09 2019-02-19 EMC IP Holding Company LLC Multiprocessor system with independent direct access to bulk solid state memory resources
US9354991B2 (en) * 2013-06-25 2016-05-31 Microsoft Technology Licensing, Llc Locally generated simple erasure codes
US9986028B2 (en) * 2013-07-08 2018-05-29 Intel Corporation Techniques to replicate data between storage servers
JP6213130B2 (ja) * 2013-10-09 2017-10-18 富士通株式会社 ストレージ制御装置、ストレージ制御プログラム及びストレージ制御方法
US9887008B2 (en) 2014-03-10 2018-02-06 Futurewei Technologies, Inc. DDR4-SSD dual-port DIMM device
US9923970B2 (en) * 2014-08-22 2018-03-20 Nexenta Systems, Inc. Multicast collaborative erasure encoding and distributed parity protection
US9565269B2 (en) * 2014-11-04 2017-02-07 Pavilion Data Systems, Inc. Non-volatile memory express over ethernet
US9098451B1 (en) * 2014-11-21 2015-08-04 Igneous Systems, Inc. Shingled repair set for writing data
US9880750B1 (en) * 2014-12-05 2018-01-30 Vexata, Inc. Storage architecture for storage class memories
US9575669B2 (en) 2014-12-09 2017-02-21 Western Digital Technologies, Inc. Programmable solid state drive controller and method for scheduling commands utilizing a data structure
US9959274B2 (en) * 2014-12-19 2018-05-01 Amazon Technologies, Inc. Volume-level redundancy coding techniques for sequential transfer optimized storage devices
US9529542B2 (en) 2015-04-14 2016-12-27 E8 Storage Systems Ltd. Lockless distributed redundant storage and NVRAM caching of compressed data in a highly-distributed shared topology with direct memory access capable interconnect
US10114778B2 (en) * 2015-05-08 2018-10-30 Samsung Electronics Co., Ltd. Multi-protocol IO infrastructure for a flexible storage platform
US9792179B1 (en) * 2015-07-06 2017-10-17 Amazon Technologies, Inc. Eventually durable redundancy encoded data storage
US9785495B1 (en) * 2015-12-14 2017-10-10 Amazon Technologies, Inc. Techniques and systems for detecting anomalous operational data
US10452279B1 (en) * 2016-07-26 2019-10-22 Pavilion Data Systems, Inc. Architecture for flash storage server
US10229000B2 (en) * 2016-08-09 2019-03-12 Seagate Llc Erasure codes to prevent lower page corruption in flash memory
US10268538B2 (en) * 2016-11-28 2019-04-23 Alibaba Group Holding Limited Efficient and enhanced distributed storage clusters
US10459795B2 (en) * 2017-01-19 2019-10-29 International Business Machines Corporation RAID systems and methods for improved data recovery performance
US10255134B2 (en) * 2017-01-20 2019-04-09 Samsung Electronics Co., Ltd. Control plane method and apparatus for providing erasure code protection across multiple storage devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087348A (ja) 2007-09-28 2009-04-23 Symantec Corp 協働するストレージデバイスを用いて、データを冗長的に格納し、検索するシステム及び方法
JP2015519674A (ja) 2012-06-13 2015-07-09 カリンゴ・インコーポレーテッドＣａｒｉｎｇｏ Ｉｎｃｏｒｐｏｒａｔｅｄ ストレージクラスタにおける消失符号付加および複製
JP2014154042A (ja) 2013-02-12 2014-08-25 Ricoh Co Ltd 情報処理装置及びその記憶装置の交換処理方法
WO2016060675A1 (en) 2014-10-17 2016-04-21 Hitachi, Ltd. Method and apparatus for managing data recovery of distributed storage system
WO2016137402A1 (en) 2015-02-26 2016-09-01 Agency For Science, Technology And Research Data stripping, allocation and reconstruction

Also Published As

Publication number Publication date
TWI780016B (zh) 2022-10-01
US20180210785A1 (en) 2018-07-26
CN108334285A (zh) 2018-07-27
TW201828073A (zh) 2018-08-01
US11429487B2 (en) 2022-08-30
US10255134B2 (en) 2019-04-09
US20190196909A1 (en) 2019-06-27
KR20180086124A (ko) 2018-07-30
CN108334285B (zh) 2023-04-18
KR102527151B1 (ko) 2023-05-02
US11042442B2 (en) 2021-06-22
TW202230147A (zh) 2022-08-01
US20210294699A1 (en) 2021-09-23
US20220413964A1 (en) 2022-12-29
TWI764973B (zh) 2022-05-21
JP2018116704A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP7002346B2 (ja) ストレージシステム及びその動作方法
US10656993B2 (en) Apparatus, system, and method to increase data integrity in a redundant storage system
JP6011210B2 (ja) ストレージ制御装置，プログラマブル論理回路の復旧処理方法及び制御プログラム
US7356638B2 (en) Using out-of-band signaling to provide communication between storage controllers in a computer storage system
JP4641546B2 (ja) 入出力（ｉ／ｏ）エラーをハンドリングするための方法及びシステム
US10027532B2 (en) Storage control apparatus and storage control method
JP4542163B2 (ja) ディスクアレイ装置、ディスクアレイ制御方法及びディスクアレイ制御装置
JP2006195821A (ja) 情報処理システムの制御方法、情報処理システム、ダイレクトメモリアクセス制御装置、プログラム
CN112306388B (zh) 存储装置
KR20200016812A (ko) 호스트 분리를 구비한 비휘발성 메모리 스위치
US20080263391A1 (en) Apparatus, System, and Method For Adapter Card Failover
CN114868117A (zh) 通过控制总线进行的对等存储设备消息传送
US8065556B2 (en) Apparatus and method to manage redundant non-volatile storage backup in a multi-cluster data storage system
JP4669263B2 (ja) ストレージ装置
JP3072700B2 (ja) 記憶装置及び方法
JP4544901B2 (ja) 記憶制御システム及びブート制御システム
JP6217192B2 (ja) ストレージ制御装置、制御プログラムおよび制御方法
JP2018028793A (ja) 情報処理プログラム、情報処理システムおよび情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7002346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150