JP6302049B2 - ハードウェア故障に基づくデータの割り当て - Google Patents
ハードウェア故障に基づくデータの割り当て Download PDFInfo
- Publication number
- JP6302049B2 JP6302049B2 JP2016513985A JP2016513985A JP6302049B2 JP 6302049 B2 JP6302049 B2 JP 6302049B2 JP 2016513985 A JP2016513985 A JP 2016513985A JP 2016513985 A JP2016513985 A JP 2016513985A JP 6302049 B2 JP6302049 B2 JP 6302049B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- data storage
- physical
- computer
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 claims description 235
- 238000013500 data storage Methods 0.000 claims description 229
- 239000012634 fragment Substances 0.000 claims description 143
- 238000000034 method Methods 0.000 claims description 108
- 230000015654 memory Effects 0.000 claims description 14
- 230000000704 physical effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 62
- 230000000694 effects Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 230000002411 adverse Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013021 overheating Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 239000000809 air pollutant Substances 0.000 description 1
- 231100001243 air pollutant Toxicity 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B33/00—Constructional parts, details or accessories not provided for in the other groups of this subclass
- G11B33/02—Cabinets; Cases; Stands; Disposition of apparatus therein or thereon
- G11B33/08—Insulation or absorption of undesired vibrations or sounds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/805—Real-time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/82—Solving problems relating to consistency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/85—Active fault masking without idle spares
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1004—Adaptive RAID, i.e. RAID system adapts to changing circumstances, e.g. RAID1 becomes RAID5 as disks fill up
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1028—Distributed, i.e. distributed RAID systems with parity
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
- G11B19/02—Control of operating function, e.g. switching from recording to reproducing
- G11B19/04—Arrangements for preventing, inhibiting, or warning against double recording on the same blank or against other recording or reproducing malfunctions
- G11B19/041—Detection or prevention of read or write errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本出願は、2013年5月15日にともに出願された、同時係属中の米国特許出願第13/895,237号及び同第13/895,205号に対する優先権を主張するものであり、これらの内容は、それらの全体が参照により本明細書に組み込まれる。本出願は、「REDUCING INTERFERENCE THROUGH CONTROLLED DATA ACCESS」と題され、2013年5月15日に出願された、米国特許出願第13/895,205号に関連した主題であり、この内容は、その全体が参照により本明細書に組み込まれる。
実行可能な命令によって構成された1つ以上のコンピュータシステムの制御下で、
データ記憶システムに記憶されるデータオブジェクトを受信することであって、データ記憶システムが、複数の物理的データ記憶位置を含み、複数の物理的データ記憶位置の各位置が、複数の物理的特性を有する、受信することと、
データ断片の真部分集合がデータオブジェクトを構築するのに使用可能であるように構成された複数のデータ断片を生成するように、冗長符号化スキームを適用することと、
複数の物理的データ記憶位置の少なくとも部分集合の物理的特性に適用されたデータ配置規則の集合に少なくとも部分的に基づいて、生成されたデータ断片の配置を決定することであって、配置が、データ配置規則の集合を満たす複数の物理的データ記憶位置からの複数の位置を示す、決定することと、
決定された配置に従ってデータ断片を記憶させることと、を含む、コンピュータ実装方法。
データオブジェクトは、データ記憶システムに記憶するための顧客のデータを含む、付記1〜5のいずれか一付記に記載のコンピュータ実装方法。
実行可能な命令によって構成された1つ以上のコンピュータシステムの制御下で、
データ記憶システムに記憶されるデータを受信することであって、データ記憶システムが、複数の物理的データ記憶位置を含み、複数の物理的データ記憶位置の各位置が、複数の物理的特性を有する、受信することと、
複数の物理的データ記憶位置の少なくとも部分集合の物理的特性に適用されたデータ配置規則の集合に少なくとも部分的に基づいて、データの断片の配置を決定することであって、配置が、データ配置規則の集合を満たす複数の物理的データ記憶位置からの複数の位置を示す、決定することと、
決定された配置に従って断片を記憶させることと、を含む、コンピュータ実装方法。
複数のデータ記憶デバイスであって、各々が、対応する複数の物理的特性を有する1つ以上の物理的データ記憶位置を含む、複数のデータ記憶デバイスと、
1つ以上のプロセッサと、
メモリであって、1つ以上のプロセッサによって実行されるとき、システムに、以下のこと、
データの断片の配置を決定することであって、配置が、データ配置規則の集合を満たす対応する物理的特性を有する複数の物理的データ記憶位置から複数の物理的データ記憶位置を示す、決定することと、
配置に従って複数の物理的データ記憶デバイスの少なくとも部分集合の中で断片を記憶することと、を行わせる命令を含むメモリと、を備える、システム。
断片は、データのサイズ未満のデータ量を個別に含むがデータのサイズを超えるデータ量を集団的に含む、付記13〜16のいずれか一付記に記載のシステム。
データの断片は、システム内の記憶のためにコンピューティングリソースサービスプロバイダの顧客のデータを含む、付記13〜17のいずれか一付記に記載のシステム。
データ配置規則の集合を、データの断片に、対応する物理的特性を有する複数の物理的データ記憶位置からの複数の位置の中でデータの断片の配置を決定するように、適用することであって、配置が、対応する物理的特性を有する物理的データ記憶位置がデータ配置規則を満たすと決定されたことを示す、適用することと、
データ配置規則の集合の適用に従って、データの断片をデータ記憶システムに持続的に記憶させることと、を行わせる命令をその中に集団的に記憶させる、1つ以上のコンピュータ可読記憶媒体。
データの断片は、データ記憶システムによって記憶するためのコンピューティングリソースサービスプロバイダの顧客のデータを含む、付記19〜23のいずれか一付記に記載の1つ以上のコンピュータ可読記憶媒体。
データ記憶システム内の動作を実施する要求を受信することであって、データ記憶システムが、複数の記憶デバイスを含み、複数の記憶デバイスの部分集合の各記憶デバイスが、動作を実施するのに使用可能な記憶デバイスと同時にアクティブであるときに、記憶デバイスの障害を潜在的に引き起こすと決定される、受信することと、
複数の記憶デバイスの部分集合の現在の活動状態に少なくとも部分的に基づいて、動作を実施する様式を決定することであって、現在の活動状態が、部分集合の1つ以上の記憶デバイスが現在アクティブであるかを示す、決定することと、
決定された様式に従って動作を実施させることと、を含む、コンピュータ実装方法。
動作を実施する要求は、複数の顧客のうちの1人の顧客のデータに関連している、付記25〜29のいずれか一付記に記載のコンピュータ実装方法。
データ記憶デバイスの記憶媒体に少なくとも部分的にアクセスすることによって実施可能な動作を実施する要求を受信することであって、データ記憶デバイスが、データ記憶デバイスの動作を潜在的に妨げるように決定されたデバイスの集合に対応する、受信することと、
デバイスの集合の現在の活動状態に少なくとも部分的に基づいて、動作が実施され得る様式を決定することと、
決定された様式で動作を実施することと、を含む、コンピュータ実装方法。
複数のデータ記憶デバイスと、
1つ以上のプロセッサと、
メモリであって、1つ以上のプロセッサによって実行されるとき、システムに、以下のこと、
特定のデータ記憶デバイスの動作を潜在的に妨げると決定された複数のデータ記憶デバイスからのデータ記憶デバイスの集合の現在の活動状態を決定することと、
決定された現在の活動状態に少なくとも部分的に基づいて、動作が特定のデータ記憶デバイスを用いて実施可能である様式を決定することと、
決定された様式に従って動作を実施させることと、を行わせる命令を含むメモリと、を備える、システム。
動作を実施するデータ記憶システム内のデータ記憶デバイスを選択することと、
選択されたデータ記憶デバイスの動作を潜在的に妨げると決定されたデバイスの現在の活動状態に少なくとも部分的に基づいて、動作を実行する様式を決定することと、
決定された様式に従って動作を実施することと、を行わせる命令をその中に記憶させる、1つ以上のコンピュータ可読記憶媒体。
Claims (15)
- データを記憶するためのコンピュータ実装方法であって、
実行可能な命令によって構成された1つ以上のコンピュータシステムの制御下で、
データ記憶システムに記憶されるデータオブジェクトを受信することであって、前記データ記憶システムが、複数の物理的データ記憶位置を含み、前記複数の物理的データ記憶位置の各位置が、複数の物理的特性を有する、前記受信することと、
複数のデータ断片であって、前記データ断片の真部分集合が前記データオブジェクトを構築するのに使用可能であるように構成された、前記複数のデータ断片を生成するように、冗長符号化スキームを適用することと、
前記複数の物理的データ記憶位置の少なくとも部分集合の物理的特性に適用されたデータ配置規則の集合に少なくとも部分的に基づいて、前記生成されたデータ断片の配置を決定することであって、前記配置が、前記生成されたデータ断片のうちのそれぞれのデータ断片について、前記データ配置規則の集合を満たす前記複数の物理的データ記憶位置からの複数の位置を示す、前記決定することと、
前記決定された配置に従って前記データ断片を記憶させることと、を含む、前記コンピュータ実装方法。 - 前記物理的特性は、多重記憶デバイスの構成内の位置、データ記憶ラック内の多重記憶デバイスユニットの位置、データ記憶ラックの位置、データセンタ室、データセンタ、及びデータセンタ地理的位置を含む群から選択される1つ以上の物理的特性を含む、請求項1に記載の前記コンピュータ実装方法。
- 前記物理的特性は、プラッタ、オンプラッタ配置、プラッタの面、及び読み取り/書き込みヘッドを含む群から選択される1つ以上の物理的特性を含む、請求項1または2に記載の前記コンピュータ実装方法。
- 前記データ配置規則の集合は、前記データ配置規則の集合が満たされるとき、1つ以上の異種混在性の条件を満たすように構成される、請求項1〜3のいずれか一項に記載の前記コンピュータ実装方法。
- 前記生成されたデータ断片の前記配置は、前記データオブジェクトを受信する前に前記データ配置規則を満たすと前記データ記憶システムによって予め決定された複数の配置から、前記データ記憶システムが前記配置を選択することによって決定される、請求項1〜4のいずれか一項に記載の前記コンピュータ実装方法。
- 前記データ記憶システムは、コンピューティングリソースサービスプロバイダによって複数の顧客に提供されたデータ記憶サービスを支援して動作し、
前記データオブジェクトは、前記データ記憶システムに記憶するための顧客のデータを含む、請求項1〜5のいずれか一項に記載の前記コンピュータ実装方法。 - データを記憶するためのコンピュータ実装方法であって、
実行可能な命令によって構成された1つ以上のコンピュータシステムの制御下で、
データ記憶システムに記憶されるデータを受信することであって、前記データ記憶システムが、複数の物理的データ記憶位置を含み、前記複数の物理的データ記憶位置の各位置が、複数の物理的特性を有する、前記受信することと、
前記複数の物理的データ記憶位置の少なくとも部分集合の物理的特性に適用されたデータ配置規則の集合に少なくとも部分的に基づいて、前記データの断片の配置を決定することであって、前記配置が、前記データの断片のうちのそれぞれのデータの断片について、前記データ配置規則の集合を満たす前記複数の物理的データ記憶位置からの複数の位置を示す、前記決定することと、
前記決定された配置に従って前記断片を記憶させることと、を含む、前記コンピュータ実装方法。 - 冗長符号化スキームを用いて前記断片を生成することをさらに含む、請求項7に記載の前記コンピュータ実装方法。
- 前記物理的特性は、多重記憶デバイスの構成を含む多重記憶デバイスユニット内の位置、及び1つ以上の多重記憶デバイスユニットを含むデータ記憶ラック内の位置を含む、請求項7または8に記載の前記コンピュータ実装方法。
- 前記物理的特性は、記憶デバイスの複数のプラッタからのプラッタ上の位置を示す1つ以上の物理的特性を含む、請求項7〜9のいずれか一項に記載の前記コンピュータ実装方法。
- 前記データ配置規則の集合は、前記データ配置規則の集合が満たされるとき、1つ以上の異種混在性の条件を満たすように構成される、請求項7〜10のいずれか一項に記載の前記コンピュータ実装方法。
- 前記断片の全体的サイズは、前記受信されたデータのサイズを超え、前記断片の各々は、前記受信されたデータの前記サイズ未満の個別サイズを有する、請求項7〜11のいずれか一項に記載の前記コンピュータ実装方法。
- システムであって、
1つ以上のプロセッサと、
1つ以上のメモリであって、前記システムの前記1つ以上のプロセッサによって実行されるとき、前記システムに、以下のこと、
データ配置規則の集合を、データの断片に、対応する物理的特性を有する複数の物理的データ記憶位置からの複数の位置の中で前記データの断片の配置を決定するように、適用することであって、前記配置が、前記データの断片のうちのそれぞれのデータの断片について、対応する物理的特性を有する物理的データ記憶位置が前記データ配置規則を満たすと決定されたことを示す、前記適用することと、
前記データ配置規則の集合の前記適用に従って、前記データの断片をデータ記憶システムに持続的に記憶させることと、を行わせる命令をその上に記憶させた、前記1つ以上のメモリと、を備える、前記システム。 - 前記物理的特性は、多重記憶デバイスの構成内の位置、データ記憶ラック内の多重記憶デバイスユニットの位置、データ記憶ラック位置、データセンサ室、データセンタ、及びデータセンタの地理的位置を含む群から選択される1つ以上の物理的特性を含む、請求項13に記載の前記システム。
- 前記物理的特性は、プラッタ、オンプラッタ配置、プラッタの面、及び読み取り/書き込みヘッドを含む群から選択される1つ以上の物理的特性を含む、請求項13または14に記載の前記システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/895,205 | 2013-05-15 | ||
US13/895,205 US9378075B2 (en) | 2013-05-15 | 2013-05-15 | Reducing interference through controlled data access |
US13/895,237 US9697063B2 (en) | 2013-05-15 | 2013-05-15 | Allocating data based on hardware faults |
US13/895,237 | 2013-05-15 | ||
PCT/US2014/037143 WO2014186191A1 (en) | 2013-05-15 | 2014-05-07 | Allocating data based on hardware faults |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016521426A JP2016521426A (ja) | 2016-07-21 |
JP6302049B2 true JP6302049B2 (ja) | 2018-03-28 |
Family
ID=51898788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016513985A Active JP6302049B2 (ja) | 2013-05-15 | 2014-05-07 | ハードウェア故障に基づくデータの割り当て |
Country Status (5)
Country | Link |
---|---|
US (3) | US9697063B2 (ja) |
EP (1) | EP2997476A4 (ja) |
JP (1) | JP6302049B2 (ja) |
CN (1) | CN105308580B (ja) |
WO (1) | WO2014186191A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102546782B (zh) * | 2011-12-28 | 2015-04-29 | 北京奇虎科技有限公司 | 一种分布式系统及其数据操作方法 |
US9098446B1 (en) * | 2013-05-20 | 2015-08-04 | Amazon Technologies, Inc. | Recovery of corrupted erasure-coded data files |
US9098447B1 (en) * | 2013-05-20 | 2015-08-04 | Amazon Technologies, Inc. | Recovery of corrupted erasure-coded data files |
US9158927B1 (en) | 2013-06-24 | 2015-10-13 | Amazon Technologies, Inc. | Cross-region recovery of encrypted, erasure-encoded data |
US9489252B1 (en) | 2013-11-08 | 2016-11-08 | Amazon Technologies, Inc. | File recovery using diverse erasure encoded fragments |
US9753807B1 (en) | 2014-06-17 | 2017-09-05 | Amazon Technologies, Inc. | Generation and verification of erasure encoded fragments |
US20160062832A1 (en) | 2014-09-02 | 2016-03-03 | Netapp. Inc. | Wide spreading data storage architecture |
US9767104B2 (en) | 2014-09-02 | 2017-09-19 | Netapp, Inc. | File system for efficient object fragment access |
US9823969B2 (en) | 2014-09-02 | 2017-11-21 | Netapp, Inc. | Hierarchical wide spreading of distributed storage |
US9489254B1 (en) | 2014-09-29 | 2016-11-08 | Amazon Technologies, Inc. | Verification of erasure encoded fragments |
US9552254B1 (en) | 2014-09-29 | 2017-01-24 | Amazon Technologies, Inc. | Verification of erasure encoded fragments |
US9431061B1 (en) | 2015-04-24 | 2016-08-30 | Netapp, Inc. | Data write deferral during hostile events |
US9817715B2 (en) | 2015-04-24 | 2017-11-14 | Netapp, Inc. | Resiliency fragment tiering |
US10146612B1 (en) * | 2015-06-08 | 2018-12-04 | Sprint Communications Company L.P. | Historical disk error monitoring |
US10379742B2 (en) | 2015-12-28 | 2019-08-13 | Netapp, Inc. | Storage zone set membership |
US10514984B2 (en) | 2016-02-26 | 2019-12-24 | Netapp, Inc. | Risk based rebuild of data objects in an erasure coded storage system |
US10055317B2 (en) | 2016-03-22 | 2018-08-21 | Netapp, Inc. | Deferred, bulk maintenance in a distributed storage system |
US10725857B2 (en) * | 2018-02-27 | 2020-07-28 | Western Digital Technologies, Inc. | Data storage system for improving data throughput and decode capabilities |
JP7039348B2 (ja) * | 2018-03-20 | 2022-03-22 | キオクシア株式会社 | 書き込み制御装置、ストレージ装置、ネットワークシステム、および書き込み制御方法 |
CN110597453A (zh) * | 2018-06-13 | 2019-12-20 | 杭州海康威视系统技术有限公司 | 一种云存储系统中的视频数据存储方法及装置 |
US11662938B2 (en) * | 2020-05-11 | 2023-05-30 | Nantcell, Inc. | Object storage and access management systems and methods |
US20210103403A1 (en) * | 2020-11-09 | 2021-04-08 | Shaopeng He | End-to-end data plane offloading for distributed storage using protocol hardware and pisa devices |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5485474A (en) * | 1988-02-25 | 1996-01-16 | The President And Fellows Of Harvard College | Scheme for information dispersal and reconstruction |
US5623595A (en) * | 1994-09-26 | 1997-04-22 | Oracle Corporation | Method and apparatus for transparent, real time reconstruction of corrupted data in a redundant array data storage system |
US6304406B1 (en) * | 1998-06-05 | 2001-10-16 | Seagate Technology Llc | Rotational vibration compensation using a fixed head and a constant frequency pattern |
US7253982B1 (en) * | 2000-08-15 | 2007-08-07 | Maxtor Corporation | Dynamic shock detection in disk drive using hair trigger timer |
US6948102B2 (en) * | 2002-04-29 | 2005-09-20 | International Business Machines Corporation | Predictive failure analysis for storage networks |
US6789165B2 (en) * | 2002-05-10 | 2004-09-07 | International Business Machines Corporation | Data storage array method and system |
GB0221638D0 (en) * | 2002-09-17 | 2002-10-30 | Ibm | Device system and method for predictive failure analysis |
CN1195274C (zh) * | 2003-01-25 | 2005-03-30 | 华中科技大学 | 基于集群视频服务器的节目源分片分布式存储方法 |
US7185222B2 (en) * | 2003-11-14 | 2007-02-27 | International Business Machines Corporation | Apparatus, system, and method for maintaining data in a storage array |
JP2005157622A (ja) * | 2003-11-25 | 2005-06-16 | Hitachi Ltd | アイドルシークのためのディスクアレイ装置 |
KR20060133555A (ko) * | 2003-12-29 | 2006-12-26 | 셔우드 인포메이션 파트너스 인코포레이션 | 멀티플 hdd 케이스를 이용한 대량 저장 시스템 및 방법 |
US7770076B2 (en) | 2004-11-02 | 2010-08-03 | Nvidia Corporation | Multi-platter disk drive controller and methods for synchronous redundant data operations |
US7533330B2 (en) | 2005-06-27 | 2009-05-12 | Seagate Technology Llc | Redundancy for storage data structures |
JP2007087558A (ja) * | 2005-09-26 | 2007-04-05 | Fujitsu Ltd | ディスク制御装置、ディスク制御方法およびディスク制御プログラム |
JP4718340B2 (ja) | 2006-02-02 | 2011-07-06 | 富士通株式会社 | ストレージシステム、制御方法及びプログラム |
CN100495362C (zh) * | 2006-07-18 | 2009-06-03 | 威盛电子股份有限公司 | 可锁定码的快取及其处理器、控制器与控制方法 |
US8271140B2 (en) * | 2006-08-25 | 2012-09-18 | International Business Machines Corporation | Periodic rotational vibration check for storage devices to compensate for varying loads |
US8286029B2 (en) * | 2006-12-21 | 2012-10-09 | Emc Corporation | Systems and methods for managing unavailable storage devices |
JP5137409B2 (ja) | 2007-02-05 | 2013-02-06 | 株式会社日立製作所 | ファイル格納方法及び計算機システム |
US7792882B2 (en) | 2007-09-27 | 2010-09-07 | Oracle America, Inc. | Method and system for block allocation for hybrid drives |
US8108502B2 (en) | 2008-07-24 | 2012-01-31 | Symform, Inc. | Storage device for use in a shared community storage network |
US20100049931A1 (en) | 2008-08-20 | 2010-02-25 | Jacobson Michael B | Copying Logical Disk Mappings Between Arrays |
US8560639B2 (en) | 2009-04-24 | 2013-10-15 | Microsoft Corporation | Dynamic placement of replica data |
US9037541B2 (en) * | 2009-04-30 | 2015-05-19 | Microsoft Technology Licensing, Llc | Metadata for data storage array |
US8307258B2 (en) * | 2009-05-18 | 2012-11-06 | Fusion-10, Inc | Apparatus, system, and method for reconfiguring an array to operate with less storage elements |
US7965460B2 (en) * | 2009-08-20 | 2011-06-21 | Seagate Technology Llc | Jerk detection for data storage device |
US8370312B1 (en) | 2009-09-15 | 2013-02-05 | Symantec Corporation | Systems and methods for using cloud-based storage to optimize data-storage operations |
US9135018B2 (en) | 2009-12-11 | 2015-09-15 | Deutsche Telekom Ag | Computer cluster and method for providing a disaster recovery functionality for a computer cluster |
US8468302B2 (en) | 2010-01-14 | 2013-06-18 | Hitachi, Ltd. | Storage system |
JP5598124B2 (ja) | 2010-07-09 | 2014-10-01 | 日本電気株式会社 | データ記録再生装置、データ記録方法、及び、データ記録プログラム |
US8589625B2 (en) * | 2010-09-15 | 2013-11-19 | Pure Storage, Inc. | Scheduling of reconstructive I/O read operations in a storage environment |
CN102646024B (zh) * | 2011-02-17 | 2015-02-18 | 纬创资通股份有限公司 | 多硬盘的读写管理方法与系统、电子装置 |
US9128910B1 (en) * | 2011-03-16 | 2015-09-08 | Tintri Inc. | Avoiding long access latencies in redundant storage systems |
JP5732959B2 (ja) * | 2011-03-26 | 2015-06-10 | 富士通株式会社 | ストレージ装置及びストレージシステム |
JP5958020B2 (ja) * | 2012-03-30 | 2016-07-27 | 富士通株式会社 | ストレージシステム |
US8930663B2 (en) * | 2012-09-24 | 2015-01-06 | Infinidat Ltd. | Handling enclosure unavailability in a storage system |
US9594619B2 (en) * | 2012-10-08 | 2017-03-14 | Hewlett Packard Enterprise Development Lp | Robust hardware fault management system, method and framework for enterprise devices |
US9003086B1 (en) * | 2012-10-27 | 2015-04-07 | Twitter, Inc. | Dynamic distribution of replicated data |
US9009424B2 (en) | 2012-10-29 | 2015-04-14 | International Business Machines Corporation | Data placement for loss protection in a storage system |
CN103984607A (zh) | 2013-02-08 | 2014-08-13 | 华为技术有限公司 | 分布式存储的方法、装置和系统 |
US8862847B2 (en) * | 2013-02-08 | 2014-10-14 | Huawei Technologies Co., Ltd. | Distributed storage method, apparatus, and system for reducing a data loss that may result from a single-point failure |
US8824261B1 (en) | 2013-03-07 | 2014-09-02 | Seagate Technology Llc | Peer to peer vibration mitigation |
US20140259023A1 (en) * | 2013-03-07 | 2014-09-11 | Seagate Technology Llc | Adaptive vibration mitigation |
-
2013
- 2013-05-15 US US13/895,237 patent/US9697063B2/en active Active
- 2013-05-15 US US13/895,205 patent/US9378075B2/en not_active Expired - Fee Related
-
2014
- 2014-05-07 JP JP2016513985A patent/JP6302049B2/ja active Active
- 2014-05-07 EP EP14798640.0A patent/EP2997476A4/en not_active Withdrawn
- 2014-05-07 WO PCT/US2014/037143 patent/WO2014186191A1/en active Application Filing
- 2014-05-07 CN CN201480033545.0A patent/CN105308580B/zh active Active
-
2017
- 2017-06-30 US US15/639,458 patent/US20170300396A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP2997476A1 (en) | 2016-03-23 |
EP2997476A4 (en) | 2016-12-28 |
WO2014186191A1 (en) | 2014-11-20 |
US9378075B2 (en) | 2016-06-28 |
US9697063B2 (en) | 2017-07-04 |
JP2016521426A (ja) | 2016-07-21 |
US20170300396A1 (en) | 2017-10-19 |
CN105308580A (zh) | 2016-02-03 |
US20140344531A1 (en) | 2014-11-20 |
CN105308580B (zh) | 2019-08-13 |
US20140344532A1 (en) | 2014-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6302049B2 (ja) | ハードウェア故障に基づくデータの割り当て | |
US11334533B2 (en) | Dynamic storage tiering in a virtual environment | |
US10705767B2 (en) | Optimizing user satisfaction when training a cognitive hierarchical storage-management system | |
US20190163564A1 (en) | Data transfer priority levels | |
US8307014B2 (en) | Database rebalancing in hybrid storage environment | |
JP6258494B2 (ja) | 仮想コンピュータ処理のインスタンス移動 | |
CA2910211C (en) | Object storage using multiple dimensions of object information | |
US9165002B1 (en) | Inexpensive deletion in a data storage system | |
US8862800B2 (en) | Distributed storage network including memory diversity | |
US8560801B1 (en) | Tiering aware data defragmentation | |
JP2005267600A (ja) | 長期データ保護システム及び方法 | |
JP2016515731A (ja) | レプリケーションターゲットサービス | |
US8924359B1 (en) | Cooperative tiering | |
US20200293219A1 (en) | Multi-tiered storage | |
JP2023517564A (ja) | リモート・ファイルの予測プロビジョニング方法、システム、プログラム | |
CA2893594C (en) | Virtual tape library system | |
US9734195B1 (en) | Automated data flow tracking | |
US9898485B2 (en) | Dynamic context-based data protection and distribution | |
Yin et al. | D $^{3} $: A dynamic dual-phase deduplication framework for distributed primary storage | |
US10268376B2 (en) | Automated deployment and assignment of access devices in a dispersed storage network | |
US9128823B1 (en) | Synthetic data generation for backups of block-based storage | |
US10540329B2 (en) | Dynamic data protection and distribution responsive to external information sources | |
US9569453B1 (en) | Systems and methods for simulating file system instances | |
Fu et al. | Data adaptively storing approach for hadoop distributed file system | |
US10241689B1 (en) | Surface-based logical storage units in multi-platter disks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170607 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6302049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |