JP6337042B2 - ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング - Google Patents

ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング Download PDF

Info

Publication number
JP6337042B2
JP6337042B2 JP2016119624A JP2016119624A JP6337042B2 JP 6337042 B2 JP6337042 B2 JP 6337042B2 JP 2016119624 A JP2016119624 A JP 2016119624A JP 2016119624 A JP2016119624 A JP 2016119624A JP 6337042 B2 JP6337042 B2 JP 6337042B2
Authority
JP
Japan
Prior art keywords
read
request
devices
storage
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016119624A
Other languages
English (en)
Other versions
JP2016189209A (ja
Inventor
コルグローヴ，ジョン
ヘイズ，ジョン
ホン，ボー
ワン，フェン
ミラー，イーサン
ハーマー，クレイグ
Original Assignee
ピュア・ストレージ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ピュア・ストレージ・インコーポレイテッド filed Critical ピュア・ストレージ・インコーポレイテッド
Publication of JP2016189209A publication Critical patent/JP2016189209A/ja
Application granted granted Critical
Publication of JP6337042B2 publication Critical patent/JP6337042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating

Description

本発明は、コンピュータネットワークに関し、より詳細には、コンピューティングデータストレージシステムに関する。
コンピュータのメモリストレージ及びデータ帯域幅が増すと、企業が管理するデータの量及び複雑性も増す。通常、データセンターなどの大規模分散型ストレージシステムは、多くの業務を実行する。分散型ストレージシステムは、１又はそれ以上のネットワークにより相互接続された複数のクライアントコンピュータに結合することができる。分散型ストレージシステムのいずれかの部分が不良を起こし、又は利用できなくなった場合には、企業活動が損なわれ、又は完全に停止する恐れがある。このような分散型ストレージシステムは、データの利用可能性及び高パフォーマンス機能のための基準を高く維持しようと努める。
ストレージシステム自体の内部では、一般に、ファイルシステム及びストレージデバイスレベルの入力／出力（Ｉ／Ｏ）スケジューラが、どのように動作を実行すべきかに関する段階を提供することに加え、読み込み及び書き込み動作の順序を決定する。例えば、ストレージデバイスにとっては、非順次的読み込み及び書き込み動作の方が、順次的読み込み及び書き込み動作よりも（時間及び／又はリソースなどの観点から）実行にコストが掛かることがある。従って、Ｉ／Ｏスケジューラは、非順次的動作を低減しようと試みることができる。また、Ｉ／Ｏスケジューラは、スタベーションの防止、要求のマージング及びプロセス間の公平性などのその他の機能を提供することもできる。
ストレージデバイス間では、少なくとも読み込み及び書き込み応答時間が大幅に異なることがある。このような差異は、技術自体の特性と考えることができる。従って、選択したデータストレージデバイスに関連する技術及び機構は、効果的なＩ／Ｏスケジューリングを行うために使用する方法を決定することができる。例えば、多くの現在のアルゴリズムは、ハードディスクドライブ（ＨＤＤ）を利用するシステムに合わせて開発されたものである。ＨＤＤは、各々が磁気媒体で被覆された１又はそれ以上の回転ディスクを含む。これらのディスクは、毎分数千回転の速さで回転する。また、この回転ディスク上への磁気読み込み／書き込み装置の位置付けには、電磁アクチュエータが関与する。この装置の機械的及び電気機械的設計が、Ｉ／Ｏ特性に影響を与える。残念ながら、摩擦、摩耗、振動及び機械的不均衡によって信頼性問題が生じるとともに、ＨＤＤのＩ／Ｏ特性が影響を受けることがある。多くの現在のＩ／Ｏスケジューラは、ＨＤＤの入力／出力（Ｉ／Ｏ）特性を考慮するように設計されている。
別のタイプの記憶媒体の例に、ソリッドステートドライブ（ＳＳＤ）がある。ＳＳＤは、ＨＤＤとは対照的に、永続データの記憶に磁気媒体装置ではなく固体メモリを利用する。固体メモリは、フラッシュメモリセルを含むことができる。フラッシュメモリは、ハードドライブの特徴とは異なるいくつかの特徴を有する。例えば、一般に、フラッシュメモリセルは、書き換え又は再プログラム前に大きなブロック単位で消去される。一般的には、フラッシュメモリも、チップ、パッケージ、平面及びブロックなどの複雑な構成で構築される。選択した構成のサイズ及び並列性、時間に伴うフラッシュメモリの損耗性、（単複の）デバイスの相互接続及び転送速度は全てが異なり得る。また、このようなデバイスは、デバイス上の記憶を管理するためのフラッシュ変換層（ＦＴＬ）を含むこともできる。ＦＴＬが利用するアルゴリズムは様々であり、デバイスの挙動及び／又はパフォーマンスのばらつきの一因となることもある。従って、一般に、フラッシュベースのＳＳＤを記憶に使用するシステムでは、特性の異なるハードドライブなどのシステムに合わせて設計されたＩ／Ｏスケジューラを利用しながら高いパフォーマンス及び予測可能なレイテンシを実現できない場合がある。
上記に鑑み、複数のストレージデバイス間で読み込み及び書き込み動作を効果的にスケジュールするためのシステム及び方法が望まれている。
複数のソリッドステートストレージデバイス間で読み込み及び書き込み動作を効果的にスケジュールするためのコンピュータシステム及び方法の様々な実施形態を開示する。
１つの実施形態では、コンピュータシステムが、ネットワークを介して読み込み及び書き込み要求を受け取るように結合された１又はそれ以上のデータストレージアレイにネットワークを介して読み込み及び書き込み要求を伝達するように構成された複数のクライアントコンピュータを備える。複数のストレージデバイス上の複数の記憶位置を含む（単複の）データストレージアレイを企図する。様々な実施形態では、このストレージデバイスが、データの記憶及び保護を行うための独立ドライブ冗長アレイ（ＲＡＩＤ）構成で構成される。データストレージデバイスは、フラッシュメモリセルなどの、データ記憶のための固体メモリ技術を含むことができる。対応するストレージデバイスの特性を使用して、ストレージデバイスへのＩ／Ｏ要求をスケジュールする。特性としては、Ｉ／Ｏ要求の予測応答時間、デバイス寿命、いずれかの対応するキャッシュサイズ、アクセス速度、エラー率、現在のＩ／Ｏ要求、完了したＩ／Ｏ要求などを挙げることができる。
１つの実施形態では、Ｉ／Ｏスケジューラが、読み込み及び書き込み要求を受け取り、この読み込み及び書き込み要求を、複数のストレージデバイスによって処理されるようにスケジュールするよう構成される。これらのストレージデバイスは、提供される動作に応じて異なるレイテンシを示すことがあり、期待又は希望されるパフォーマンスとは異なるパフォーマンスを様々な時点で引き起こす予定外又は予想外の挙動を示すこともある。様々な実施形態では、これらの挙動が、デバイスは正しく機能している（すなわち、エラー状態ではない）ものの、レイテンシ及び／又はスループットに基づいて期待又は希望するレベルよりも低いレベルで単純に行われている挙動に対応する。このような挙動及びパフォーマンスを、「可変パフォーマンス」挙動と呼ぶことができる。これらの可変パフォーマンス挙動は、例えば、フラッシュベースのメモリ技術などの技術によって示されることがある。あるデータ記憶媒体を対象とする読み込み要求を受け取り、複数のストレージデバイスのうちの、この読み込み要求が対象とするデータを含む少なくとも第１のストレージデバイスを識別するように構成されたストレージコントローラを企図する。このコントローラは、第１のストレージデバイスが相対的に長い応答レイテンシ又は相対的に低いスループットの少なくとも一方を含む可変パフォーマンスを示すであろうことを検出又は予測したことに応答して、複数のストレージデバイスのうちの第１のストレージデバイス以外の１又はそれ以上のデバイスからデータを取得するように構成された再構成読み込み要求を生成するように構成される。
以下の説明及び添付図面を検討すると、これらの及びその他の実施形態が明らかになるであろう。
ネットワークアーキテクチャの１つの実施形態を示す汎用ブロック図である。 コンピューティングシステムの１つの実施形態による概念モデルを示す図である。 データストレージサブシステム上における予想外の可変Ｉ／Ｏ応答時間を低減するようにＩ／Ｏスケジューリングを調整する方法の１つの実施形態を示す汎用フロー図である。 ストレージデバイスに発行された動作を分離する方法の１つの実施形態を示す汎用フロー図である。 ストレージサブシステム内のストレージデバイスの挙動を特徴付けるモデルを作成する方法の１つの実施形態を示す汎用フロー図である。 ストレージサブシステムの１つの実施形態を示す汎用ブロック図である。 デバイスユニットの別の実施形態を示す汎用ブロック図である。 状態テーブルの別の実施形態を示す汎用ブロック図である。 データストレージサブシステム上における予想外の可変Ｉ／Ｏ応答時間を低減するようにＩ／Ｏスケジューリングを調整する方法の１つの実施形態を示す汎用フロー図である。 共有データストレージ上における効率的なレイテンシによる読み込み動作を維持する方法の１つの実施形態を示す汎用フロー図である。 可変Ｉ／Ｏ応答時間を示すストレージデバイスの数を低減する方法の１つの実施形態を示す汎用フロー図である。 共有データストレージ上における効率的なレイテンシによる読み込み動作を維持する方法の１つの実施形態を示す汎用フロー図である。
本発明は様々な修正及び代替形態が可能であるが、図面には特定の実施形態を一例として示し、本明細書ではこれらについて詳細に説明する。しかしながら、図面及びこれらに対する詳細な説明は、開示する特定の形態に本発明を限定することを意図するものではなく、むしろ添付の特許請求の範囲によって定められる本発明の思想及び範囲内にある全ての修正物、同等物及び代替物を含むことを意図するものであると理解されたい。
以下の説明では、本発明を完全に理解できるように数多くの具体的な詳細を示す。しかしながら、当業者であれば、これらの具体的な詳細を伴わずに本発明を実施できると認識するであろう。いくつかの例では、本発明を曖昧にしないように、周知の回路、構造、信号、コンピュータプログラム命令及び技術については詳細に示していない。
図１を参照すると、ネットワークアーキテクチャ１００の１つの実施形態の汎用ブロック図を示している。後述するように、ネットワークアーキテクチャ１００の１つの実施形態は、ネットワーク１８０を介して互いに、及びデータストレージアレイ１２０ａ〜１２０ｂに相互接続されたクライアントコンピュータシステム１１０ａ〜１１０ｂを含む。ネットワーク１８０は、スイッチ１４０を介して第２のネットワーク１９０に結合することができる。このネットワーク１９０を介して、クライアントコンピュータシステム１１０ｃが、クライアントコンピュータシステム１１０ａ〜１１０ｂ及びデータストレージアレイ１２０ａ〜１２０ｂに結合される。また、ネットワーク１９０は、スイッチ１５０を介してインターネット１６０又はその他の外部ネットワークに結合することもできる。
なお、代替の実施形態では、クライアントコンピュータ及びサーバ、スイッチ、ネットワーク、データストレージアレイ及びデータストレージデバイスの数及びタイプが、図１に示すものに限定されない。１又はそれ以上のクライアントは、様々な時点でオフラインで動作することができる。また、動作中、ユーザがネットワークアーキテクチャ１００への接続、切断及び再接続を行うと、個々のクライアントコンピュータの接続タイプは変化することがある。さらに、本説明では、一般にネットワーク接続されたストレージについて検討するが、本明細書で説明するシステム及び方法は、直接接続されたストレージシステムに適用することもでき、説明する方法の１つ又はそれ以上の態様を実行するように構成されたホストオペレーティングシステムを含むこともできる。数多くのこのような代替案が可能であり、企図される。図１に示す構成要素の各々のさらなる説明を手短に行う。まず、データストレージアレイ１２０ａ〜１２０ｂにより提供される機能のいくつかの概要について説明する。
ネットワークアーキテクチャ１００では、データストレージアレイ１２０ａ〜１２０ｂの各々を、クライアントコンピュータシステム１１０ａ〜１１０ｃなどの異なるサーバ及びコンピュータ間のデータの共有に使用することができる。また、データストレージアレイ１２０ａ〜１２０ｂを、ディスクのミラーリング、バックアップ及び復元、保存データの保管及び検索、並びにストレージデバイス間のデータ移行に使用することもできる。代替の実施形態では、クラスタを形成するために、１又はそれ以上のクライアントコンピュータシステム１１０ａ〜１１０ｃを、高速ローカルエリアネットワーク（ＬＡＮ）を介して互いにリンクさせることができる。このようなクライアントは、データストレージアレイ１２０ａ〜１２０ｂの１つに存在するクラスタ共有ボリュームなどのストレージリソースを共有することができる。
データストレージアレイ１２０ａ〜１２０ｂの各々は、データ記憶のためのストレージサブシステム１７０を含む。ストレージサブシステム１７０は、複数のストレージデバイス１７６ａ〜１７６ｍを含むことができる。これらのストレージデバイス１７６ａ〜１７６ｍは、クライアントコンピュータシステム１１０ａ〜１１０ｃにデータ記憶サービスを提供することができる。ストレージデバイス１７６ａ〜１７６ｍの各々は、データ記憶を行うための特定の技術及び機構を使用する。これらのストレージデバイス１７６ａ〜１７６ｍの各々で使用されるタイプの技術及び機構を少なくとも部分的に使用して、ストレージデバイス１７６ａ〜１７６ｍの各々との間の読み込み及び書き込み動作の制御及びスケジュールに使用するアルゴリズムを決定することができる。これらのアルゴリズムで使用されるロジックを、基本オペレーティングシステム（ＯＳ）１１６、ファイルシステム１４０、ストレージサブシステムコントローラ１７４内の１又はそれ以上のグローバルＩ／Ｏスケジューラ１７８、又はストレージデバイス１７６ａ〜１７６ｍの各々における制御ロジックなどのうちの１又はそれ以上に含めることができる。また、本明細書で説明するロジック、アルゴリズム及び制御機構は、ハードウェア及び／又はソフトウェアを含むことができる。
ストレージデバイス１７６ａ〜１７６ｍの各々は、読み込み及び書き込み要求を受け取るとともに、各々をアレイ内の行及び列としてアドレス指定可能な複数のデータス記憶位置を含むように構成することができる。１つの実施形態では、ストレージデバイス１７６ａ〜１７６ｍ内のデータ記憶位置を、論理的で冗長なストレージコンテナ又はＲＡＩＤアレイ（低価格／独立ディスク冗長アレイ）内に配置することができる。いくつかの実施形態では、ストレージデバイス１７６ａ〜１７６ｍの各々が、従来のハードディスクドライブ（ＨＤＤ）とは異なる技術をデータ記憶に利用することができる。例えば、ストレージデバイス１７６ａ〜１７６ｍの１又はそれ以上は、永続データを記憶するための固体メモリから成るストレージを含み、又はこれにさらに結合することができる。他の実施形態では、ストレージデバイス１７６ａ〜１７６ｍの１又はそれ以上が、スピン注入法、磁気抵抗メモリ（ＭＲＡＭ）法、シングルディスク、メモリスタ、相変化メモリ又はその他の記憶技術などの他の技術を使用するストレージを含み、又はこれにさらに結合することができる。これらの異なる記憶方法及び技術により、ストレージデバイス間で異なるＩ／Ｏ特性が生じ得る。
１つの実施形態では、含まれる固体メモリが、ソリッドステートドライブ（ＳＳＤ）技術を含む。通常、ＳＳＤ技術は、フラッシュメモリセルを利用する。当業で周知のように、フラッシュメモリセルは、フローティングゲート内に捕捉され蓄積された電子の範囲に基づく二進値を保持する。完全に消去されたフラッシュメモリセルは、フローティングゲート内に電子を全く又は最低数しか蓄積していない。消去されたフラッシュメモリセルには、シングルレベルセル（ＳＬＣ）フラッシュの二進１などの特定の二進値が関連付けられる。マルチレベルセル（ＭＬＣ）フラッシュでは、消去されたフラッシュメモリセルに二進値１１が関連付けられる。フラッシュメモリセル内の制御ゲートに所与の閾値電圧よりも高い電圧を印加した後、このフラッシュメモリセルは、フローティングゲート内に所与の範囲の電子を捕捉する。従って、プログラムされた（書き込まれた）フラッシュメモリセルには、ＳＬＣフラッシュの二進０などの別の特定の二進値が関連付けられる。ＭＬＣフラッシュセルでは、制御ゲートに印加された電圧に応じて、プログラムされたメモリセルに複数の二進値の１つを関連付けることができる。
ＨＤＤ技術とＳＤＤ技術の間の技術及び機構の違いにより、データストレージデバイス１７６ａ〜１７６ｍの入力／出力（Ｉ／Ｏ）特性に違いが生じることがある。一般的に言えば、ＳＳＤ技術では、読み込みアクセスレイテンシタイムがＨＤＤ技術よりも短い。しかしながら、一般にＳＳＤの書き込みパフォーマンスは、その読み込みパフォーマンスよりも遅く、ＳＳＤ内の自由なプログラマブルブロックの利用可能性によって大きく影響を受けることがある。ＳＳＤの書き込みパフォーマンスは、ＳＳＤの読み込みパフォーマンスに比べて大幅に遅いので、読み込みと同様のレイテンシを予想する特定の機能又は動作に関する問題が生じることがある。また、長い書き込みレイテンシが読み込みレイテンシに影響を与えることにより、スケジューリングがより困難になる場合がある。従って、データストレージアレイ１２０ａ〜１２０ｂの各々では、Ｉ／Ｏスケジューリングに異なるアルゴリズムが使用されることがある。
１つの実施形態では、読み込み動作及び書き込み動作などの異なるタイプの動作のレイテンシが異なる場合、Ｉ／Ｏスケジューリングのアルゴリズムが、これらの動作を分離して、スケジューリングのためにこれらを別個に処理することができる。例えば、ストレージデバイス１７６ａ〜１７６ｍの１又はそれ以上において、デバイス自体が書き込み動作を内部キャッシュに記憶することなどによってバッチ処理することができる。これらのキャッシュが所与の占有率閾値に達した時に、又は他の何らかの時点で、対応するストレージデバイス１７６ａ〜１７６ｍが、キャッシュをフラッシュすることができる。一般的には、これらのキャッシュフラッシュにより、予測できない時点で読み込み及び／又は書き込みに追加のレイテンシが加わることがあり、これにより動作を効果的にスケジュールするのが困難になる。従って、Ｉ／Ｏスケジューラは、このようなキャッシュフラッシュがいつ発生し得るかを予測するために、キャッシュのサイズ又は測定したアイドル時間などのストレージデバイスの特性を利用することができる。１又はそれ以上のストレージデバイス１７６ａ〜１７６ｍの各々の特性が分かると、より効果的なＩ／Ｏスケジューリングを行うことができる。１つの実施形態では、グローバルＩ／Ｏスケジューラ１７８が、ストレージデバイス１７６ａ〜１７６ｍの１又はそれ以上のうちの所与のデバイスが予想外の時点でＩ／Ｏ要求に対して長い応答時間を示していることを検出することができる。これに応答して、グローバルＩ／Ｏスケジューラ１７８は、この所与のデバイスに予想される挙動を再開させるために、このデバイスに所与の動作をスケジュールすることができる。１つの実施形態では、このような動作を、キャッシュフラッシュコマンド、トリムコマンド、又は消去コマンドなどとすることができる。以下、入出力スケジューリングに関するさらなる詳細について説明する。
ネットワークアーキテクチャの構成要素
繰り返すが、図示のように、ネットワークアーキテクチャ１００は、ネットワーク１８０及び１９０を介して互いに及びデータストレージアレイ１２０ａ〜１２０ｂに相互接続されたクライアントコンピュータシステム１１０ａ〜１１０ｃを含む。ネットワーク１８０及び１９０は、無線接続、直接ローカルエリアネットワーク（ＬＡＮ）接続、インターネットなどの広域ネットワーク（ＷＡＮ）接続、ルータ、ストレージエリアネットワーク及びイーサネット（登録商標）などを含む様々な技術を含むことができる。ネットワーク１８０及び１９０は、１又はそれ以上のＬＡＮを含むことができ、これらは無線であってもよい。ネットワーク１８０及び１９０は、リモートダイレクトメモリアクセス（ＲＤＭＡ）ハードウェア及び／又はソフトウェア、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）ハードウェア及び／又はソフトウェア、ルータ、リピータ、スイッチ及び／又はグリッドなどをさらに含むことができる。ネットワーク１８０及び１９０内では、ファイバチャネル、ファイバチャネルオーバーイーサネット（ＦＣｏＥ）及びｉＳＣＳＩなどのプロトコルを使用することができる。スイッチ１４０は、ネットワーク１８０及び１９０の両方に関連するプロトコルを利用することができる。ネットワーク１９０は、伝送制御プロトコル（ＴＣＰ）及びインターネットプロトコル（ＩＰ）、すなわちＴＣＰ／ＩＰなどの、インターネット１６０に使用される通信プロトコルの組と整合することができる。スイッチ１５０は、ＴＣＰ／ＩＰスイッチとすることができる。
クライアントコンピュータシステム１１０ａ〜１１０ｃは、デスクトップパソコン（ＰＣ）、サーバ、サーバファーム、ワークステーション、ラップトップ、ハンドヘルドコンピュータ、サーバ、携帯情報端末（ＰＤＡ）及びスマートフォンなどのあらゆる数の固定又はモバイルコンピュータを表す。一般的に言えば、クライアントコンピュータシステム１１０ａ〜１１０ｃは、１又はそれ以上のプロセッサコアを備えた１又はそれ以上のプロセッサを含む。各プロセッサコアは、所定の汎用命令セットに従って命令を実行するための回路を含む。例えば、ｘ８６命令セットアーキテクチャを選択することができる。或いは、Ａｌｐｈａ（登録商標）、ＰｏｗｅｒＰＣ（登録商標）、ＳＰＡＲＣ（登録商標）又はその他のいずれの汎用命令セットアーキテクチャを選択してもよい。プロセッサコアは、データ及びコンピュータプログラム命令を求めてキャッシュメモリサブシステムにアクセスすることができる。キャッシュサブシステムは、ランダムアクセスメモリ（ＲＡＭ）及びストレージデバイスを含む記憶階層に結合することができる。
クライアントコンピュータシステム内の各プロセッサコア及び記憶階層は、ネットワークインターフェイスに接続することができる。クライアントコンピュータシステム１１０ａ〜１１０ｃの各々は、ハードウェア構成要素に加え、記憶階層内に記憶された基本オペレーティングシステム（ＯＳ）を含むことができる。この基本ＯＳは、例えば、ＭＳ−ＤＯＳ（登録商標）、ＭＳ−ＷＩＮＤＯＷＳ（登録商標）、ＯＳ／２（登録商標）、ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｓｏｌａｒｉｓ（登録商標）、ＡＩＸ（登録商標）又はＤＡＲＴなどの様々なオペレーティングシステムのいずれかを表すことができる。従って、基本ＯＳは、エンドユーザに様々なサービスを提供するとともに、様々なプログラムの実行をサポートするソフトウェアフレームワークを提供することができる。また、クライアントコンピュータシステム１１０ａ〜１１０ｃの各々は、バーチャルマシン（ＶＭ）をサポートするために使用されるハイパーバイザを含むことができる。当業者には周知のように、デスクトップ及びサーバ内で仮想化を使用して、ＯＳなどのソフトウェアをシステムのハードウェアから完全に又は部分的に分離することができる。仮想化により、エンドユーザに、各々が独自のリソースを有する同じ機械上で複数のＯＳが実行されているという錯覚を与え、データストレージアレイ１２０ａ〜１２０ｂの各々におけるストレージデバイス１７６ａ〜１７６ｍ上に構築された論理記憶エンティティ（ＬＵＮなど）にアクセスできるようにすることができる。
データストレージアレイ１２０ａ〜１２０ｂの各々は、クライアントコンピュータシステム１１０ａ〜１１０ｃなどの異なるサーバ間のデータの共有に使用することができる。データストレージアレイ１２０ａ〜１２０ｂの各々は、データを記憶するためのストレージサブシステム１７０を含む。ストレージサブシステム１７０は、複数のストレージデバイス１７６ａ〜１７６ｍを含むことができる。これらのストレージデバイス１７６ａ〜１７６ｍの各々は、ＳＳＤとすることができる。コントローラ１７４は、受け取った読み込み／書き込み要求を処理するためのロジックを含むことができる。例えば、少なくともコントローラ１７４において、手短に上述したアルゴリズムを実行することができる。受け取った書き込み要求などのバッチ動作には、ランダムアクセスメモリ（ＲＡＭ）１７２を使用することができる。様々な実施形態では、書き込み動作（又はその他の動作）をバッチ処理する際に、不揮発性ストレージ（ＮＶＲＡＭなど）を使用することができる。
記憶媒体１３０に記憶された基本ＯＳ１３２、ファイルシステム１３４、いずれかのＯＳドライバ（図示せず）及びその他のソフトウェアは、ファイルへのアクセスを可能にする機能を提供し、これらの機能を管理することができる。基本ＯＳ１３４及びＯＳドライバは、記憶媒体１３０上に記憶された、受け取った要求に対応する１又はそれ以上のメモリアクセス動作をストレージサブシステム１７０内で行うようにプロセッサ１２２により実行可能なプログラム命令を含むことができる。図１に示すシステムは、一般に１又はそれ以上のファイルサーバ及び／又はブロックサーバを含むことができる。
データストレージアレイ１２０ａ〜１２０ｂの各々は、ネットワークインターフェイス１２４を使用してネットワーク１８０に接続することができる。１つの実施形態では、クライアントコンピュータシステム１１０ａ〜１１０ｃと同様に、ネットワークインターフェイス１２４の機能をネットワークアダプタカード上に含めることができる。ネットワークインターフェイス１２４の機能は、ハードウェア及びソフトウェアの両方を使用して実装することができる。ネットワークインターフェイス１２４のネットワークカードによる実装上には、ランダムアクセスメモリ（ＲＡＭ）及び読み取り専用メモリ（ＲＯＭ）の両方を含めることができる。１又はそれ以上の特定用途向け集積回路（ＡＳＩＣ）を使用して、ネットワークインターフェイス１２４の機能を提供することができる。
１つの実施形態では、Ｉ／Ｏパフォーマンスを最適化しようと努めるデータストレージモデルを作成することができる。１つの実施形態では、このモデルが、ストレージシステム内のストレージデバイスの特性に少なくとも部分的に基づく。例えば、ソリッドステートストレージ技術を利用するストレージシステムでは、特定のデバイスの特性を使用してこのデバイスのためのモデルを作成し、このモデルが、対応するＩ／Ｏスケジューリングアルゴリズムを通知する機能を果たすことができる。例えば、使用中の特定のストレージデバイスが、読み込みレイテンシに比べて相対的に長い書き込みレイテンシを示す場合、スケジューリング動作においてこのような特性を考慮することができる。なお、相対的に長いと考えるか、それとも短いと考えるかは、特定のシステム、処理中のデータのタイプ、処理するデータの量、又はデータのタイミングなどによって異なることがある。一般的に言えば、システムは、短い又は長いレイテンシを構成するものが何であるか、及び／又はこれらの２つの有意な違いを構成するものが何であるかを判断するようにプログラム可能である。
一般的に言えば、デバイス又はコンピューティングシステムのために開発されるあらゆるモデルが不完全となる。多くの場合、現実のシステムで所与のシステムを完全にモデル化するには、考慮すべき変数が単純に多すぎる。場合によっては、完全ではないが価値のあるモデルを開発することが可能な場合もある。以下でより詳細に説明するように、デバイスの特性に基づいてストレージデバイスをモデル化する実施形態を説明する。様々な実施形態では、デバイスがどのように挙動し得るかに関するいくつかの予測に基づいてＩ／Ｏスケジューリングが行われる。装置の挙動によっては、デバイスの特性の理解に基づいて、他の挙動より予測しやすいものもある。最適なＩ／Ｏパフォーマンスのための動作をより効果的にスケジュールするには、システムの挙動をより確実に制御することが望ましい。予想外の、又は予測できない装置の挙動は、動作のスケジューリングをより困難にする。従って、システム内の予測不能な又は予想外の挙動を最小化しようと努めるアルゴリズムを開発する。
図２は、モデル化中のデバイス又はシステム、及びこのデバイス又はシステム内の予測不能な挙動を最小化するために使用する方法の概念図である。第１のブロック２００に、理想的なシナリオを示す。ブロック２００には、システム２０４及びこのシステムのモデル２０２を示している。１つの実施形態では、このシステムを、単一のデバイスのシステムとすることができる。或いは、このシステムは、多くのデバイス及び／又は構成要素を含むこともできる。上述したように、モデル２０２は、モデル化しようとするシステム２０４の完全なモデルではない場合もある。にもかかわらず、モデル２０２は、このモデルのために関心のある挙動を捕捉する。１つの実施形態では、モデル２０２が、コンピューティングストレージシステムをモデル化しようとすることができる。理想的なシナリオ２００では、システム２０４の実際の挙動が、モデル２０２の挙動と「揃って」いる。換言すれば、一般に、システム２０４の挙動は、モデル２０２が捕捉しようとする挙動に適合する。システム挙動２０４がモデル２０２の挙動と一致している間は、このシステム挙動は、一般に予測しやすいと思われる。従って、システム内の動作（例えば、読み込み及び書き込み動作）のスケジューリングを、より効果的に行うことができる。
例えば、読み込み応答時間を最適化することが望まれる場合、システムの他の挙動が比較的予測しやすい場合には、よりタイムリーに読み込みが行われるように読み込みをスケジュールすることが可能である。一方、システムの挙動が比較的予測しにくい場合には、必要時に結果を提供するように読み込みをスケジュールする能力の信頼度が低下する。ブロック２１０に、システム挙動（小さい方の円）がこのシステム（大きい方の円）のモデルの挙動と揃っていないシナリオを示す。この場合、このシステムは、モデルから外れる挙動を示している。従って、システム挙動の予測可能性が低くなり、動作をスケジューリングする効果が下がることがある。例えば、ストレージシステム内で固体メモリデバイスを使用し、これらのデバイスが、より長いレイテンシで要求を処理するアクションを開始し得る場合、そのデバイスに対してスケジュールされていたあらゆる動作が、より長い又は予想外のレイテンシを生じる可能性もある。このようなデバイス動作の１つの例に、内部キャッシュフラッシュがある。
予想外の又は予定外のシステム挙動及び対応する可変パフォーマンスの問題に対処するために、作成するモデルは、システムを不確実性の少ない状態に復元するために行うことができるアクションを含むことができる。換言すれば、システムの挙動を予測するモデルの能力を低下させる挙動をシステムが示し始めた場合、このモデルは、特定の予想外の挙動が排除され又は起きにくくなる状態にシステムを復元するために行うことができるいくつかのアクションを構築する。図示の例では、より密接にモデルと揃った状態にシステムを「移動」させようとするアクション２１２を示している。アクション２１２は、モデルの外側にあるシステム挙動を検出することに応答して行われるので、「反応的」アクション又は動作と呼ぶことができる。アクション２１２を行った後に、より理想的な状態２２０を達成することができる。
予測不能な挙動に反応してシステムをより理想的な状態に移行できるモデルを作成することが望ましいが、それらの予測不能な挙動が存在することにより、効果的なスケジューリング動作が妨げられたままになることもある。従って、予想外の挙動又はイベントの発生を最小化することが望ましいと考えられる。１つの実施形態では、予想外の挙動の発生を防止又は低減するように設計されたアクション又は動作を含むモデルを作成する。これらのアクションは、何らかの挙動又はイベントの発生を防ぎ、又は何らかの挙動又はイベントのタイミングを変化させるために事前対応的に行うことができるので、「事前対応」アクション又は動作と呼ぶことができる。図２のブロック２３０に、システム挙動（小さい方の円）がそのモデル（大きい方の円）の挙動内に存在するシナリオを示す。にもかかわらず、このモデルは、システム挙動がモデル内に留まったまま、恐らくはより理想的に揃うようにシステム挙動を移動させるアクション２３２を行うことができる。ブロック２３０内のシステム挙動は、モデルの外部での挙動を示す状態に近づいているように見える。このような場合、モデルは、システムがこのような状態に近づいていると確信するための何らかの基準を有することができる。例えば、Ｉ／Ｏスケジューラが特定のデバイスにいくつかの書き込み動作を伝えた場合、スケジューラは、このデバイスが将来のある時点で内部キャッシュフラッシュ動作を行うかもしれないと予測することができる。スケジューラは、このようなイベントの発生を待つのではなく、スケジューラが選択した時点でキャッシュフラッシュが行われるように、このデバイスのキャッシュフラッシュ動作を事前対応的にスケジュールすることができる。これとは別に、又はこれに加えて、このような事前対応動作を不定期に行うこともできる。それでもキャッシュフラッシュは発生するが、その発生は予想外のものではなく、既にスケジューラが行う全体的なスケジューリングの一部になっており、より効果的かつ知的に管理することができる。システムは、この事前対応アクション２３２を行った後、一般的にはより予測しやすい状態２４０になることが分かる。この理由は、デバイス上でキャッシュフラッシュがスケジュールされて実行され、デバイスがデバイス自体で自発的に内部キャッシュフラッシュを開始する可能性が減少した（すなわち、そのキャッシュが既にフラッシュされた）からである。モデル内で反応的アクション又は動作と事前対応アクション又は動作を組み合わせることにより、システムの予測性を強化できるとともに、同様にスケジューリングの改善を達成することもできる。
ここで図３を参照すると、予想外の挙動を低減するようにＩ／Ｏスケジューリングを行う方法３００の１つの実施形態を示している。一般に、上述したネットワークアーキテクチャ１００及びデータストレージアレイ１２０ａ〜１２０ｂ内で具体化される構成要素は、方法３００に従って動作することができる。この実施形態のステップを順番に示す。しかしながら、ステップによっては、図示のものとは異なる順序で行なうことができるもの、同時に行うことができるもの、他のステップと組み合わせることができるもの、及び別の実施形態には存在しないものもある。
ブロック３０２において、Ｉ／Ｏスケジューラが、１又はそれ以上のストレージデバイスの読み込み及び書き込み動作をスケジュールする。様々な実施形態では、Ｉ／Ｏスケジューラが、ストレージデバイス毎に別個のキューを（物理的又は論理的に）維持することができる。また、Ｉ／Ｏスケジューラは、対応するストレージデバイスによりサポートされる動作タイプ毎に別個のキューを含むことができる。例えば、Ｉ／Ｏスケジューラは、ＳＳＤのための少なくとも別個の読み込みキュー及び別個の書き込みキューを維持することができる。ブロック３０４において、Ｉ／Ｏスケジューラは、１又はそれ以上のストレージデバイスの挙動をモニタすることができる。１つの実施形態では、Ｉ／Ｏスケジューラが、対応するストレージデバイスのモデル（例えば、デバイスのモデルに少なくとも部分的に基づく挙動タイプモデル及び／又はアルゴリズム）を含み、このモデルに入力するための状態データをストレージデバイスから受け取ることができる。Ｉ／Ｏスケジューラ内のモデルは、ストレージデバイスの既知の及び／又は観察された特性を利用することにより、ストレージデバイスの挙動のモデル化及び予測の両方を行うことができる。
Ｉ／Ｏスケジューラは、Ｉ／Ｏパフォーマンスに影響を与える又は影響を与え得る所与のストレージデバイスの特性を検出することができる。例えば、以下でさらに説明するように、デバイス及びＩ／Ｏトラフィックの様々な特性及び状態を維持することができる。Ｉ／Ｏスケジューラは、これらの特性及び状態を観察することにより、所与のデバイスが、長いＩ／Ｏレイテンシの挙動を示す状態にもうすぐ入るかもしれないと予測することができる。例えば、１つの実施形態では、Ｉ／Ｏスケジューラが、ストレージデバイスへの要求の応答時間に影響を与え得る内部キャッシュフラッシュがストレージデバイス内でまさに起きようとしていることを検出又は予測することができる。例えば、１つの実施形態では、一定時間にわたってアイドルのままであるストレージデバイスは、内部キャッシュをフラッシュする可能性がある。いくつかの実施形態では、所与のデバイスがアイドルであるかどうかが、デバイス外部の展望に基づくことができる。例えば、ある期間にわたってデバイスに動作がスケジュールされていない場合、このデバイスをほぼこの期間にわたってアイドルであると見なすことができる。このような実施形態では、このデバイスは、デバイス内の内部的に開始されたアクティビティに基づいて実際には稼働中の可能性がある。しかしながら、デバイスがアイドルであるかどうかを判断する際には、このような内部的に開始されたアクティビティは考慮されない。他の実施形態では、デバイスがアイドル中であるか、それとも稼働中であるか判断する際に、デバイスの内部的に開始されたアクティビティを考慮することができる。スケジューラは、デバイスの挙動を観察すること、及びこのデバイスが所与の時間にわたってアイドルであったと気付くことにより、いつ内部キャッシュフラッシュが発生し得るかを予測することができる。他の実施形態では、スケジューラが、デバイスの様々な状況又は状態を判断するためにデバイスにポーリングする能力を有することもできる。いずれにせよ、スケジューラは、予定外の挙動が発生するのを防ぐために、内部キャッシュフラッシュなどの予定外の挙動の可能性を判断して、事前対応動作を開始するように構成することができる。このようにして、スケジューラは、デバイス及びシステム内のイベントのタイミングを制御し、より良好に動作をスケジュールすることができる。
デバイス挙動に関する予測を行うための基準として様々な特性を使用することができる。様々な実施形態では、スケジューラが、現在保留中の動作の状態及び／又はストレージデバイスに対応する最近の動作の履歴を維持することができる。いくつかの実施形態では、Ｉ／Ｏスケジューラが、デバイス内のキャッシュのサイズ及び／又はキャッシングポリシーを把握し、ストレージデバイスに送られる総書き込み要求数を維持することができる。他の実施形態では、デバイス内のキャッシュの状態を判断するために（デバイスへの直接ポーリングタイプのアクセスなどの）他の機構を利用可能にすることができる。また、Ｉ／Ｏスケジューラは、ストレージデバイスに送られる書き込み要求内のデータ量を追跡することもできる。その後、Ｉ／Ｏスケジューラは、書き込み要求数又はその書き込み要求に対応する総データ量がいつ所与の閾値に達したかを検出することができる。Ｉ／Ｏスケジューラは、このような状態（条件付きブロック３０６）を検出した場合、ブロック３０８において、デバイスの特定の動作をスケジュールすることができる。一般に、このような動作は、上述した事前対応動作に対応することができる。例えば、Ｉ／Ｏスケジューラは、対応するキュー内にキャッシュフラッシュコマンドを入れ込んで、スケジューラの選択時にストレージデバイスがキャッシュフラッシュを行うように強制することができる。或いは、Ｉ／Ｏスケジューラは、ストレージデバイス上のいずれかのキャッシュフラッシュが完了したかどうかを判断するために、キュー内にダミーの読み込み動作を入れ込むこともできる。さらに、スケジューラは、デバイスにクエリを行って（アイドル、稼働中などの）状態情報を取得することができる。上記の及びその他の特性及び動作が可能であり、企図される。また、様々な実施形態では、ＳＳＤを元の状態に戻す際に事前対応動作をスケジュールすることができる。このような実施形態では、ＳＳＤファームウェア及び／又はマッピングテーブルが、要求が滞った状態又は恒久的に減速した状態に入ることがある。このファームウェアの障害を取り除くには、ドライブを単純にリセットすること、又はドライブの電源を入れ直すことが可能である。しかしながら、状態が恒久的である（すなわち、ファームウェア内に、マッピングテーブルの現状に対処できないバグが存在する）場合、これを修復する別の方法は、ドライブを再フォーマットしてＦＴＬを完全にクリーニング及びリセットし、その後データを再投入すること、又はこのＦＴＬを何か他のデータに再利用することである。
上述したアクションを行って、予想外の可変応答時間の発生を防ぎ、又はその回数を減少させることができる。同時に、Ｉ／Ｏスケジューラは、所与のストレージデバイスの予想外の時点におけるあらゆる可変的挙動の発生を検出することができる。Ｉ／Ｏスケジューラは、このような状態（条件付きブロック３１０）を検出した場合、ブロック３１２において、このストレージデバイスの対応するキュー内にある動作を入れ込むことができる。この場合、一般に、この動作は、上述した反応的動作に対応することができる。この動作を使用して、ストレージデバイスが可変的挙動を行う時間を短縮し、この可変的挙動の終了を検出することができる。様々な実施形態では、一般に、事前対応動作及び／又は反応的動作が、デバイスを（少なくとも部分的に）既知の状態に置くことができるあらゆる動作を含むことができる。例えば、キャッシュフラッシュ動作を開始することにより、デバイスのキャッシュ状態を空にすることができる。キャッシュが空のデバイスは、キャッシュが空でないデバイスよりも、内部キャッシュフラッシュを開始する可能性が低くなり得る。事前対応動作及び／又は反応的動作のいくつかの例として、キャッシュフラッシュ動作、消去動作、セキュアな消去動作、トリム動作、スリープ動作、休止動作、パワーオン及びオフ、並びにリセット動作が挙げられる。
ここで図４を参照すると、ストレージデバイスに発行された動作を分離する方法４００の１つの実施形態を示している。この実施形態のステップを順番に示す。しかしながら、ステップによっては、図示のものとは異なる順序で行なうことができるもの、同時に行うことができるもの、他のステップと組み合わせることができるもの、及び別の実施形態には存在しないものもある。様々な実施形態では、スケジューリングのために、第１のタイプの動作を第２のタイプの動作から分離することができる。例えば、１つの実施形態では、第１のタイプの動作に、第２のタイプの動作よりも高いスケジューリング上の優先度を与えることができる。このような実施形態では、第１のタイプの動作の処理を相対的に早くスケジュールし、第２のタイプの動作を後で処理する（事実上、動作の処理を延期する）ようにキューに入れることができる。先にキューに入れた（第２のタイプの）動作が処理されている間、任意の時点で第１のタイプの動作の処理を中断することができる。その後、第１のタイプの動作に処理優先度が戻されている間、第２の動作タイプの処理を再び中断することができる。１つのタイプの処理をいつ停止し、別のタイプの処理をいつ開始するかは、期間、蓄積されたデータ、トランザクションの頻度、利用可能なリソース（例えば、キューの利用）、これらのあらゆる組み合わせ、又はあらゆる所望の状態に基づくことができる。
通常、ＳＳＤは、ランダムな読み込み及び書き込み要求に関しては、ＨＤＤよりも良好なパフォーマンスを示す。しかしながら、通常、ＳＳＤは、その特性に起因して、ランダム書き込み要求に関して示すパフォーマンスの方が読み込み要求よりも悪い。ＨＤＤとは違って、読み込み要求と書き込み要求の相対的レイテンシは全く異なり、通常、フラッシュメモリセルのプログラムには、その読み込みよりも時間が掛かるので、書き込み要求には読み込み要求よりも大幅に長い時間が掛かる。また、書き込み動作のレイテンシは、書き込みの一部として行う必要がある追加動作が原因で極めて可変的となり得る。例えば、既に修正済みのフラッシュメモリセルでは、書き込み又はプログラム動作の前に消去動作が行われることがある。また、消去動作は、ブロック単位で行われることがある。このような場合、ブロック（消去セグメント）内のフラッシュメモリセルは、全部まとめて消去される。１つのブロックは比較的大きく、複数のページを含むので、動作には比較的長い時間が掛かることがある。或いは、ＦＴＬが、あるブロックを既に消去された消去ブロックにリマップすることがある。いずれの場合にも、書き込み動作を行うことに関連する追加動作により、書き込みレイテンシのばらつきが著しく大きくなるとともに、読み込みよりもレイテンシが大幅に長くなる。他のストレージデバイスタイプは、要求のタイプに基づいて異なる特性を示すことがある。これらに加え、ストレージデバイスによっては、読み込み要求と書き込み要求が混在している場合にパフォーマンス劣り、及び／又は可変的になるものもある。従って、様々な実施形態では、パフォーマンスを向上させるために、読み込み要求と書き込み要求を分離することができる。なお、この説明では、特に読み込み及び書き込み動作について一般的に言及するが、本明細書で説明するシステム及び方法を同様にその他の動作に適用することもできる。このような他の実施形態では、他の比較的長い及び短いレイテンシの動作をこのように識別し、これらをスケジューリングのために分離することができる。また、いくつかの実施形態では、読み込み及び書き込みを第１のタイプの動作として分類し、キャッシュフラッシュ及びトリム動作などのその他の動作を第２のタイプの動作に対応するものとして分類することができる。様々な組み合わせが可能であり、様々な企図が実現する。
ブロック４０２において、Ｉ／Ｏスケジューラは、１又はそれ以上のストレージデバイスのうちの所与のストレージデバイスに関するＩ／Ｏ要求を受け取ってバッファすることができる。ブロック４０４において、一般にレイテンシの短いＩ／Ｏ要求をレイテンシの長い要求よりも優先してストレージデバイスに発行することができる。例えば、ストレージデバイスが使用するストレージ技術に依存して、読み込み要求のレイテンシの方が書き込み要求及びその他のコマンドタイプのレイテンシよりも短いことがあり、これを初めに発行することができる。この結果、書き込み要求を蓄積できる一方で、読み込み要求に発行優先度が与えられる（すなわち、書き込み要求よりも早くデバイスに伝えられる）。Ｉ／Ｏスケジューラは、ある時点でデバイスに読み込み要求を発行するのを中断して書き込み要求を発行し始める。１つの実施形態では、書き込み要求を複数の書き込みストリームとして発行することができる。従って、書き込み要求に伴うオーバヘッドを複数の書き込み要求にわたって償却することができる。このように、レイテンシの長い要求（書き込み要求など）とレイテンシの短い要求（読み込み要求など）を分離して別個に処理することができる。
ブロック４０６において、Ｉ／Ｏスケジューラは、レイテンシの長い要求を（単複の）デバイスに伝えるべき旨を示す特定の状態が存在するかどうかを判定することができる。例えば、１つの実施形態では、このような状態の検出が、一定数のレイテンシの長いＩ／Ｏ要求、又は対応するデータの量が蓄積されて所与の閾値に達したことを検出することを含むことができる。或いは、受け取ったレイテンシの長い要求の割合が何らかの閾値に達することもある。数多くのこのような状態が可能であり、企図される。１つの実施形態では、このレイテンシの長い要求を、書き込み要求とすることができる。このような状態が生じた（条件付きブロック４０８）場合、ブロック４１０において、Ｉ／Ｏスケジューラは、所与のストレージデバイスにレイテンシの長いＩ／Ｏ要求を発行し始めることができる。このような発行される要求の数は、所与のアルゴリズムによって異なることがある。この数は、一定の又はプログラム可能な書き込み数又はデータ量に対応することもできる。或いは、一定期間にわたって書き込みを発行することもできる。例えば、この期間は、特定の状態が存在しなくなる（例えば、受け取った書き込みの割合が下がる）まで、又は特定の状態が生じるまで継続することができる。或いは、デバイスに対するレイテンシの長い要求の発行をいつ開始すべきか、又はいつ停止すべきかを判断する際に、上記のいずれかの組み合わせを使用することができる。いくつかの実施形態では、書き込み要求ストリーム後の第１の読み込み要求が、他の読み込み要求と比較して相対的に遅いことがある。書き込み要求ストリームの直後に発行スロット内に「本物」の読み込み要求をスケジュールすることを避けるために、Ｉ／Ｏスケジューラを、書き込み要求ストリーム後に自動的に「ダミー」の読み込みをスケジュールするように構成することができる。この文脈では、「本物」の読み込みとは、ユーザ又はアプリケーションがデータが要求する読み込みのことであり、「ダミー」の読み込みとは、データを単純に破棄できる人工的に創出された読み込みのことである。様々な実施形態では、ダミーの読み込みが完了したものとして検出されるまで、書き込み要求が完了したと判断されない場合がある。また、様々な実施形態では、書き込みストリームの後にキャッシュフラッシュが続き、これを使用して書き込みがいつ完了したかを判断することができる。
ここで図５を参照すると、ストレージサブシステム内のストレージデバイスの挙動を特徴付けるモデルを作成する方法５００の１つの実施形態を示している。この実施形態のステップを順番に示す。しかしながら、ステップによっては、図示のものとは異なる順序で行なうことができるもの、同時に行うことができるもの、他のステップと組み合わせることができるもの、及び別の実施形態には存在しないものもある。
ブロック５０２において、ストレージサブシステム内で使用する１又はそれ以上のストレージデバイスを選択することができる。ブロック５０４において、キャッシュサイズ、典型的な読み込み及び書き込み応答時間、ストレージトポロジ、デバイス寿命などの、各デバイスの様々な特性を識別することができる。ブロック５０６において、所与のストレージデバイスのＩ／Ｏパフォーマンスに影響を与える１又はそれ以上の特性を識別することができる。
ブロック５０８において、所与のデバイスの特性のタイミング及び／又は発生に影響を与える１又はそれ以上のアクションを特定することができる。一例として、キャッシュフラッシュ、及びＳＳＤの消去動作などの所与の動作の実行を挙げることができる。例えば、キャッシュフラッシュなどの強制動作は、予想外の時点におけるＳＳＤの可変応答時間の発生を低減することができる。ブロック５１０において、対応する特性及びアクションに基づいて、１又はそれ以上の選択されたデバイスの各々に関するモデルを作成することができる。このモデルは、ストレージコントローラ内のＩ／Ｏスケジューラ内などのソフトウェア内で使用することができる。
図６を参照すると、ストレージサブシステムの１つの実施形態の汎用ブロック図を示している。図示の実施形態では、ストレージデバイス１７６ａ〜１７６ｍの各々を単一のデバイスグループ内に示している。しかしながら、他の実施形態では、１又はそれ以上のストレージデバイス１７６ａ〜１７６ｍを、デバイスグループ１７３ａ〜１７３ｍのうちの２又はそれ以上に区分化することができる。デバイスユニット６００ａ〜６００ｗには、各ストレージデバイスの１又はそれ以上の対応する動作キュー及びステータステーブルを含めることができる。これらのデバイスユニットは、ＲＡＭ１７２に記憶することができる。デバイスグループ１７３ａ〜１７３ｍの各々には、対応するＩ／Ｏスケジューラ１７８を含めることができる。各Ｉ／Ｏスケジューラ１７８は、対応するデバイスグループ内のストレージデバイスの各々の状態データを追跡するモニタ６１０を含むことができる。
スケジューリングロジック６２０は、対応するストレージデバイスにどの要求を発行すべきかを判断するとともに、要求を発行するタイミングを判断することができる。
ここで図７を参照すると、デバイスユニット６００の１つの実施形態の汎用ブロック図を示している。デバイスユニット６００は、デバイスキュー７１０及びテーブル７２０を含むことができる。デバイスキュー７１０は、読み込みキュー７１２、書き込みキュー７１４、及びその他の動作キュー７１６などの１又はそれ以上のその他のキューを含むことができる。各キューは、１又はそれ以上の対応する要求を記憶するための複数のエントリ７３０を含むことができる。例えば、対応するＳＳＤのデバイスユニットは、少なくとも読み込み要求、書き込み要求、トリム要求及び消去要求などを記憶するためのキューを含むことができる。テーブル７２０は、１又はそれ以上の状態テーブル７２２ａ〜７２２ｂを含み、これらの各々は、状態データを記憶するための複数のエントリ７３０を含むことができる。様々な実施形態では、図７に示すキューを、物理的に及び／又は論理的に別個のものとすることができる。また、キュー及びテーブルが特定数のエントリを含むように示しているが、必ずしもこれらのエントリ自体が互いに対応するわけではない。また、キュー及びテーブルの数は、図示のものと異なることもある。さらに、エントリには、所与のキュー内で又は複数のキューにわたって優先順位を付けることができる。例えば、読み込み要求は、デバイスに要求を発行する順序に影響を与える、高、中又は低の優先度を有することができる。また、このような優先度は、様々な状況に応じて変更することができる。例えば、一定の寿命に達する優先度の低い読み込みの優先度を上げることができる。当業者には、数多くのこのような優先順位付けスキーム及び技術が知られている。全てのこのような方法が企図されており、本明細書で説明するシステム及び方法に関連して使用することができる。
ここで図８を参照すると、図７に示すような状態テーブルの１つの実施形態を示す汎用ブロック図を示している。１つの実施形態では、このようなテーブルが、所与のストレージデバイスの状態情報、エラー情報、摩耗レベル情報及びその他の情報に対応するデータを含むことができる。対応するＩ／Ｏスケジューラは、この情報にアクセスすることができ、これによりＩ／Ｏスケジューラは、ストレージデバイスへのＩ／Ｏ要求をより良好にスケジュールすることができる。１つの実施形態では、この情報が、デバイス寿命８０２、エラー率８０４、デバイス８０６上で検出された総エラー数、回復可能なエラー数８０８、回復不能なエラー数８１０、デバイスのアクセス速度８１２、記憶されたデータの寿命８１４、対応するキャッシュサイズ８１６、対応するキャッシュフラッシュアイドル時間８１８、１又はそれ以上の割り当て空間の割り当て状態８２０〜８２２、同時処理レベル８２４、及び様々な動作の（単複の）予想時間８２６のうちの少なくとも１つ又はそれ以上を含むことができる。割り当て状態は、使用中、空、及びエラーなどを含むことができる。所与のデバイスの同時処理レベルは、デバイスの複数の動作を同時に処理する能力に関する情報を含むことができる。例えば、あるデバイスが４つのフラッシュチップを有し、各々が一度に１つの転送を行うことができる場合、このデバイスは、最大４つの並行動作を行うことができる。特定の動作を並行して行うことができるか否かは、デバイス上にデータがどのようにレイアウトされていたかに依存することができる。例えば、デバイス内のデータが、要求によりアクセスされるデータが全て１つのチップ上に存在するようにレイアウトされている場合、このデータに関する動作を、異なるチップのデータにアクセスする要求と並行して進めることができる。しかしながら、要求によりアクセスされるデータが複数のチップにわたってストライプ状になっている場合、この要求が他の１つに干渉することがある。従って、デバイスは、最大Ｎ回（例えば、デバイスが４つのチップを有する上述の例では４回）の並行／同時動作を行うことができる。或いは、この最大同時処理レベルは、関与する動作のタイプに基づくこともできる。いずれにせよ、動作をスケジュールする時には、スケジューラは、同時処理レベルＮ及び未処理のトランザクション数Ｍを示す記憶情報を考慮することができる。
ここで図９を参照すると、データストレージサブシステム上における予想外の可変Ｉ／Ｏ応答時間を低減するようにＩ／Ｏスケジューリングを調整する方法９００の別の実施形態を示している。ネットワークアーキテクチャ１００及びデータストレージアレイ１２０ａ〜１２０ｂ内で具体化される構成要素は、一般に方法９００に従って動作することができる。説明を目的として、この実施形態のステップを順番に示す。しかしながら、ステップによっては、図示のものとは異なる順序で行なうことができるもの、同時に行うことができるもの、他のステップと組み合わせることができるもの、及び別の実施形態には存在しないものもある。
ブロック９０２において、Ｉ／Ｏスケジューラは、ストレージデバイスの各々の挙動をモニタすることができる。条件付きブロック９０４〜９０８には、方法３００の条件付きステップ３０６に関して上述したような、Ｉ／Ｏパフォーマンスに影響を与え得る所与のデバイスの特性を検出する１つの実施形態を示す。１つの実施形態では、Ｉ／Ｏスケジューラが、所与のデバイスが所与のアイドル時間を超えていることを検出した（条件付きブロック９０４）場合、又は対応するキャッシュが占有率閾値を超えていることを検出した（条件付きブロック９０６）場合、又はキャッシュデータがデータ寿命閾値を超えていることを検出した（条件付きブロック９０８）場合、ブロック９１０において、この所与のストレージデバイスに強制（事前対応）動作を発行することができる。このような場合、スケジューラは、直ちに及び予測できない時点で内部キャッシュフラッシュが発生するであろうと予測することができる。このようなイベントの発生を避けるために、Ｉ／Ｏスケジューラは、イベントを避ける動作を事前対応的にスケジュールする。
なお、上述したイベントの回避とは、イベントが発生しないこと、或いは予想外又は予定外の時点で発生しないことを意味することができる。換言すれば、一般にスケジューラは、所与のイベントがスケジューラのタイミングに従って発生し、その他の場合には発生しないことを好む。この意味では、スケジューラがスケジュールしたことによって発生するレイテンシの長いイベントのほうが、このような予想外に発生するイベントよりもましである。少なくともこれらの検出を行うために、スケジューリングロジック６２０内のタイマ及びカウンタをモニタ６１０と組み合わせて使用することができる。特定のストレージデバイスに発行される強制的動作の一例として、キャッシュフラッシュを挙げることができる。強制的動作の別の例として、消去要求を挙げることもできる。強制的動作は、Ｉ／Ｏスケジューラから、対応するデバイスユニット６００内のデバイスキュー７１０内の対応するキューにスケジューリングの一部として送ることができる。
ここで図１０を参照すると、共有データストレージ上における相対的にレイテンシの短い読み込み動作を維持する方法１０００の１つの実施形態を示している。ネットワークアーキテクチャ１００及びデータストレージアレイ１２０ａ〜１２０ｂ内に具体化される構成要素は、一般に方法１０００に従って動作することができる。説明を目的として、この実施形態のステップを順番に示す。しかしながら、ステップによっては、図示のものとは異なる順序で行なうことができるもの、同時に行うことができるもの、他のステップと組み合わせることができるもの、及び別の実施形態には存在しないものもある。
ブロック１００２において、ストレージサブシステムのＲＡＩＤアーキテクチャ内の冗長性の量を、所与のデバイスグループ１７３内で使用すべきと判断することができる。例えば、４＋２のＲＡＩＤグループでは、ストレージデバイスのうちの２つを使用して、パリティ情報などの消去訂正符号（ＥＣＣ）情報を記憶することができる。この情報を、再構成読み込み要求の一部として使用することができる。１つの実施形態では、この再構成読み込み要求を通常のＩ／Ｏスケジューリング中に使用して、いくつかのストレージデバイスが可変Ｉ／Ｏ応答時間を示していることが検出されている間にデバイスグループのパフォーマンスを向上させることができる。ブロック１００４において、デバイスグループ内の同時に使用中の、又は可変応答時間を示している可能性のあるデバイスの最大数を求める。この最大数は、目標数と呼ぶことができる。１つの実施形態では、ストレージデバイスが、書き込み要求、消去要求又はキャッシュフラッシュを実行することに起因して可変応答時間を示すことがあるＳＳＤである。１つの実施形態では、目標数が、引き続き再構成読み込みを行うことができるように選択される。
１つの実施形態では、Ｉ／Ｏスケジューラが、再構成読み込みがそれ以上効率的でなくなるレベルにまで目標数を引き上げることを保証する状態を検出することができる。例えば、所与のデバイスの未処理の書き込み要求数が、待機中閾値に達する（すなわち、書き込み要求がかなりの期間にわたって未処理のままであり、これらをこれ以上待機させるべきでないと判断する）ことがある。或いは、上述したように、後で発行されるように蓄積できない比較的優先度の高い一定数の書き込み要求を検出することができる。Ｉ／Ｏスケジューラは、このような状態（条件付きブロック１００６）を検出した場合、ブロック１００８において、１又はそれ以上の検出した状況に基づいて目標を増分又は減分することができる。例えば、適当な数の高優先度の書き込み要求が未処理である場合、又は他の何らかの条件が生じた場合、Ｉ／Ｏスケジューラは、サポートされる冗長性の量よりも目標が上回るようにすることができる。ブロック１０１０において、Ｉ／Ｏスケジューラは、デバイスグループ内のＮ個のストレージデバイスが可変Ｉ／Ｏ応答時間を示していると判断することができる。Ｎが目標を上回る場合（条件付きブロック１０１２）、ブロック１０１４において、Ｎを低減するようにストレージデバイスをスケジュールすることができる。そうでない場合、ブロック１０１６において、Ｉ／Ｏスケジューラは、パフォーマンスを向上させるように要求をスケジュールすることができる。例えば、Ｉ／Ｏスケジューラは、以下でさらに説明するような再構成読み込み要求の能力を利用することができる。
ここで図１１を参照すると、可変Ｉ／Ｏ応答時間を示すストレージデバイスの数を低減する方法１１００の１つの実施形態を示している。この実施形態のステップを順番に示す。しかしながら、ステップによっては、図示のものとは異なる順序で行なうことができるもの、同時に行うことができるもの、他のステップと組み合わせることができるもの、及び別の実施形態には存在しないものもある。
ブロック１１０２において、Ｉ／Ｏスケジューラは、予想外の時点で可変応答時間を引き起こすレイテンシの長い動作を実行するストレージサブシステム内のストレージデバイスの数Ｎを低減すると判断することができる。ブロック１１０４において、Ｉ／Ｏスケジューラは、レイテンシの長い動作を実行する所与のデバイスを選択することができる。ブロック１１０６において、Ｉ／Ｏスケジューラは、この所与のデバイス上におけるレイテンシの長い動作の実行を中止させてＮを減分することができる。例えば、Ｉ／Ｏスケジューラは、この所与のストレージデバイスに対する書き込み要求及び消去要求の発行を停止することができる。また、対応するＩ／Ｏスケジューラは、発行された書き込み要求及び消去要求の実行を中止させることもできる。ブロック１１０８において、Ｉ／Ｏスケジューラは、この所与のデバイス上で、読み込み要求などのレイテンシの短い動作の実行を開始することができる。これらの読み込み要求は、再構成読み込み要求を含むことができる。このようにして、デバイスは、レイテンシの長い応答状態を放置し、Ｎを低減する。
ここで図１２を参照すると、共有データストレージ上における効率的なレイテンシによる読み込み動作を維持する方法の１つの実施形態を示している。ネットワークアーキテクチャ１００及びデータストレージアレイ１２０ａ〜１２０ｂ内に具体化される構成要素は、一般にこの方法に従って動作することができる。説明を目的として、この実施形態のステップを順番に示す。しかしながら、ステップによっては、図示のものとは異なる順序で行なうことができるもの、同時に行うことができるもの、他のステップと組み合わせることができるもの、及び別の実施形態には存在しないものもある。
図１２で説明する方法は、方法１０００のステップ１０１６を行うために取られるステップの１つの実施形態を表すことができる。ブロック１２０１において、Ｉ／Ｏスケジューラは、可変応答時間挙動を示している第１のデバイスに向けられた最初の読み込み要求を受け取る。第１のデバイスは、特定のスケジュール動作を受け取ったことにより（すなわち、既知の理由）、又は何らかの未知の理由により可変応答時間を示していることがある。様々な実施形態では、所与の動作の予想されるレイテンシに少なくとも部分的に基づいて、可変応答時間と考えられるものを特定することができる。例えば、デバイスの特性及び／又は最近の動作履歴に基づいて、所与の読み込みに対する応答が一定期間内に発生すると予想することができる。例えば、許容可能な応答レイテンシの範囲を反映すると判断されるデルタを有するデバイスの平均応答レイテンシを特定することができる。このようなデルタは、トランザクションの９９％又は他のいずれかの好適な数のトランザクションを考慮するように選択することができる。予想される期間内に応答が受け取られなかった場合、再構成読み込みの開始をトリガすることができる。
一般的に言えば、再構成読み込みが模倣されるか否かは、再構成読み込みを行うことに関連するコストと、再構成読み込みの結果を取得する利点（見込み）とを比較する費用便益分析に基づくことができる。例えば、所与のデバイスにおける最初の読み込み要求に対する応答が一定時間内に受け取られない場合、このデバイスが、開始すべき再構成読み込みのレイテンシを上回るレイテンシを生じる動作を行っていると予測することができる。従って、再構成読み込みを開始することができる。このようなアクションは、（例えば）一定レベルの読み込みサービスパフォーマンスを維持するために行うことができる。なお、再構成読み込みを開始すべきかどうか判断する際には、現在の負荷、受け取られている要求のタイプ、要求の優先度、システム内の他のデバイスの状態、並びに図７及び図８で説明したような様々な特性などの他の要素を同様に考慮することができる。さらに、最初の読み込みの応答レイテンシが比較的長いという理由で再構成読み込みを開始することができるが、最初の読み込み要求は実際に完了することが予想される。実際には、最初の読み込み及び再構成読み込みがいずれも正常に完了して結果を提供することができる。従って、再構成読み込みは、最初の要求が処理されるようにするために必要なものではない。
このことは、トランザクションが正常に完了しない（又はその可能性がある）ことを示すレイテンシ及び何らかのエラー表示を検出することなどの、エラー状態に起因するレイテンシとは対照的である。例えば、所与のストレージの場所を読み込めないことに起因するデバイスタイムアウトは、完了することが予想されない応答を表す。このような場合、要求を処理するために再構成読み込みが必要となり得る。従って、様々な実施形態では、システムが、所与のデバイスの少なくとも２つのタイムアウト状態を効果的に含むことができる。第１のタイムアウトは、それ以降、必ずしも必要でなくても再構成読み込みを開始できるようになる期間に対応する。このようにして、再構成読み込みを、非エラーに関連するスケジューリングプロセスの通常部分としてスケジューリングアルゴリズムに組み込むことができる。第１のタイムアウト後に発生する第２のタイムアウトは、それ以降、エラー状態が発生したと考えられる期間を表す。この場合、エラーを示すデバイスが最初の読み込みを処理しないと予想されることを理由として再構成読み込みを開始することもできる。
上記に照らして、Ｉ／Ｏスケジューラは、最初の読み込みに対応する再構成読み込みを開始すべきかどうかを判断することができる（判断ブロック１２０２）。一般に、この再構成読み込みは、第１のデバイス以外のデバイスによって処理される１又はそれ以上の読み込みを伴う。再構成読み込みを開始すべきかどうかを判断する際には、多くの要因を考慮することができる。一般的に言えば、Ｉ／Ｏスケジューラは、コスト／利益分析を行って、第１のデバイスによって最初の読み込みを処理しようとする方が「良い」か、それとも再構成読み込みを発行することによって最初の読み込みを処理しようとする方が「良い」かを判断する。上述したように、再構成読み込みを開始すべきかどうかを判断する際には、いくつかの要素を考慮することができる。所与の状況においてどちらが「良い」かは異なることがあり、プログラム可能であり、動的に判断することができる。例えば、アルゴリズムを、常により高速な読み込み応答時間を重んじるようなものとすることができる。このような場合、最初のデバイスが最初の読み込みを処理する前に再構成読み込みの処理を完了できる（又は完了してもよい）かどうかを判断することができる。或いは、アルゴリズムが、ある時点でシステム負荷を低減することを優先すると判断することもできる。このような場合、Ｉ／Ｏスケジューラは、たとえ最初の読み込みよりも速く再構成読み込みを完了できる場合でも、追加のオーバヘッドを伴う再構成読み込みを開始しないことを選択することができる。さらに、このような判断では、速度とオーバヘッドの微妙なバランスを使用することができる。様々な実施形態では、アルゴリズムに、（例えば、負荷に関わらず常に速度を優先するなどの）初期重み付けをプログラムすることができる。このような重み付けは不変的なものであってもよく、又は様々な状況によって動的に変化するようにプログラム可能であってもよい。例えば、状況として、時刻、受け取ったＩ／Ｏ要求の速度、受け取った要求の優先度、特定のタスクが検出されたかどうか（例えば、現在バックアップ処理が行われているかどうか）、及び不具合の検出などを挙げることができる。
スケジューラが、再構成読み込みを開始しないと決定した場合、元々対象になっていたデバイスが読み込みを処理することができる（ブロック１２０３）。或いは、再構成読み込みを開始することもできる（ブロック１２０４）。１つの実施形態では、再構成読み込みを処理するために選択される他のデバイスが、非可変的挙動を示すものとして識別されたものである。非可変的挙動（すなわち、より予測しやすい挙動）を示すデバイスを選択することにより、Ｉ／Ｏスケジューラは、再構成読み込みを処理するのにどれほどの時間が掛かるかをより良好に予測することができる。デバイスの所与の可変的／非可変的挙動に加え、Ｉ／Ｏスケジューラは、各デバイスの他の側面を考慮することもできる。例えば、再構成読み込みを処理するための特定のデバイスを選択する際に、Ｉ／Ｏスケジューラは、所与のデバイスに関する未処理要求の数（例えば、デバイスキューがどれほど埋まっているか）、所与のデバイスに関する現在保留中の要求の優先度、及びデバイス自体の予想処理速度（例えば、デバイスによっては、他のデバイスよりも古い又は本質的に別様に低速の技術を示すものもある）などを評価することもできる。さらに、スケジューラは、デバイスの各々からの対応する結果がほぼ同時に戻されるように再構成読み込みをスケジュールしたいと望むことができる。このような場合、スケジューラは、再構成読み込みを処理するための特定のデバイスの処理時間が他のデバイスとは有意に異なると予測される場合、たとえこのデバイスが他のデバイスよりも大幅に高速であるとしても、このデバイスの優先度を下げることができる。数多くのこのような考慮すべき要因及び条件が可能であり、企図される。
１つの実施形態では、再構成読み込み要求が、最初の読み込み要求の優先度レベルを継承することができる。他の実施形態では、再構成読み込み要求が、最初の読み込み要求とは異なる優先度を有することができる。Ｉ／Ｏスケジューラは、対応する再構成読み込み要求を受け取る選択した第２の（他の）デバイスが現在可変応答時間挙動（条件付きブロック１２０５）を示していることを検出し、この第２のデバイスが、第１のデバイスが非可変的になると予測される後まで可変的状態に留まると予測される場合、ブロック１２０８において、第１のデバイスに最初の読み込み要求を発行することができる。１つの実施形態では、タイマを使用して、可変応答時間を示すストレージデバイスがいつ再び非可変応答時間を示すことができるかを予測することができる。方法１２００の制御フローは、ブロック１２０８からブロックＣを介して条件付きブロック１２１２に移行する。第２のデバイスが第１のデバイスよりも長く可変的状態に留まらない（条件付きブロック１２０６）と予測される場合、方法１２００の制御フローはブロック１２１０に移行する。ブロック１２１０において、発行された再構成読み込み要求によって読み込み要求を処理する。
Ｉ／Ｏスケジューラは、所与の可変的デバイスが非可変的になることを検出した（条件付きブロック１２１２）場合、ブロック１２１４において、この所与のデバイスに最初の読み込み要求を発行する。Ｉ／Ｏスケジューラは、この所与のデバイスを非可変的として指定し、Ｎ（可変Ｉ／Ｏ応答時間を示していることが検出されたストレージデバイスの数）を減分することができる。代替の再構成読み込み要求の前に最初の読み込み要求が終了した（条件付きブロック１２１６）場合、ブロック１２１８において、Ｉ／Ｏスケジューラは、最初の読み込み要求で読み込み要求に対応する。様々な実施形態では、スケジューラが、再構成読み込み要求を除去することができる。或いは、再構成読み込み要求を完了して、そのデータを単純に破棄することもできる。そうでない場合、ブロック１２２０において、Ｉ／Ｏスケジューラは、この読み込み要求を再構成読み込み要求で処理し、最初の読み込み要求を除去する（又はその戻されたデータを破棄する）ことができる。
なお、上述の実施形態は、ソフトウェアを含むことができる。このような実施形態では、方法及び／又は機構を実装するプログラム命令をコンピュータ可読媒体で搬送し、又はこれに記憶することができる。プログラム命令を記憶するように構成された数多くのタイプの媒体が利用可能であり、これらは、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリ、プログラマブルＲＯＭ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及び他の様々な形態の揮発性又は不揮発性ストレージを含む。
様々な実施形態では、本明細書で説明した方法及び機構の１又はそれ以上の部分が、クラウドコンピューティング環境の一部を成すことができる。このような実施形態では、１又はそれ以上の様々なモデルにより、インターネットを介してリソースをサービスとして提供することができる。このようなモデルとして、インフラストラクチャ・アズ・ア・サービス（ＩａａＳ）、プラットホーム・アズ・ア・サービス（ＰａａＳ）、及びソフトウェア・アズ・ア・サービス（ＳａａＳ）を挙げることができる。ＩａａＳでは、コンピュータインフラストラクチャがサービスとして配信される。このような場合、一般にサービスプロバイダがコンピュータ設備を所有し運営する。ＰａａＳモデルでは、開発者がソフトウェアソリューションを開発するために使用するソフトウェアツール及び基本設備をサービスプロバイダがサービスとして供給しホストすることができる。通常、ＳａａＳは、サービスプロバイダのライセンスソフトウェアをサービスオンデマンドとして含む。サービスプロバイダは、このソフトウェアをホストすることができ、又はこのソフトウェアを一定期間にわたって顧客に展開することができる。上記のモデルの数多くの組み合わせが可能であり、企図される。また、上記の説明はネットワーク化されたストレージ及びコントローラに焦点を当てたものであるが、上述の方法及び機構を、直接接続ストレージ及びホストオペレーティングシステムなどを有するシステムにおいて適用することもできる。
以上、実施形態についてかなり詳細に説明したが、上記開示を完全に理解すると、当業者には数多くの変形及び修正が明らかになるであろう。以下の特許請求の範囲は、このような変形及び修正を全て含むと解釈すべきである。
１２０１：可変挙動を示す第１のデバイスに対する最初の読み込み要求を受け取り。
１２０２：再構成読み込みを実行。
１２０３：最初の読み込み要求で要求に対応。
１２０４：他のデバイスを含む再構成読み込みを開始。
１２０５：第２のデバイスが可変的になったことを検出。
１２０６：第２のデバイスが、第１のデバイスよりも後に非可変的になると予測されるか？
１２０８：最初の読み込み要求を第１のデバイスに発行。
１２１０：再構成読み込み要求で要求に対応。
１２１２：第１のデバイスが非可変的になったことを検出。
１２１４：第１のデバイスに最初の読み込み要求を発行。第１のデバイスを非可変的として指定。
１２１６：最初の要求が再構成要求の前に終了するか？
１２１８：最初の読み込み要求で要求に対応。再構成読み込み要求を除去、又は対応する結果を破棄。
１２２０：再構成読み込み要求で要求に対応。最初の読み込み要求を除去、又は対応する結果を破棄。

Claims (22)

  1. 少なくとも１つのＲＡＩＤグループにデータを記憶するように構成された複数のストレージデバイスを含むデータ記憶媒体と、
    前記データ記憶媒体に結合されたデータストレージコントローラと、
    を備え、前記データストレージコントローラは、
    前記データ記憶媒体を対象とする読み込み要求を受け取り、
    前記複数のストレージデバイスのうちの、前記読み込み要求が対象とするデータを含む少なくとも第１のストレージデバイスを識別し、
    前記第１のストレージデバイスが、前記読み込み要求に応答するための第２の期間を超えることなく、前記読み込み要求に応答するための第１の期間を超えたか、および再構成読み込みの予測されるパフォーマンスに基づいて、前記複数のストレージデバイスのうちの前記第１のストレージデバイス以外の１又はそれ以上のデバイスから前記データを取得するように構成された前記再構成読み込みの要求を生成するか判断する、
    ように構成される、
    ことを特徴とするコンピュータシステム。
  2. 前記データストレージコントローラは、最近のＩ／Ｏ要求の履歴に少なくとも部分的に基づいて前記再構成読み込みの要求を生成するように構成される、
    ことを特徴とする請求項１に記載のコンピュータシステム。
  3. 前記再構成読み込みの要求は、前記複数のストレージデバイスのうちの少なくとも２つのデバイスを対象とする少なくとも２つの読み込み要求を含み、前記データストレージコントローラは、前記少なくとも２つの読み込み要求を同時に完了するようにスケジュールするよう構成される、
    ことを特徴とする請求項１に記載のコンピュータシステム。
  4. 前記データストレージコントローラは、
    同時に使用中の、又は可変応答時間を示している可能性のあるストレージデバイスの目標数を決定し、
    Ｎ個のデバイスが同時に使用中、又は可変応答時間を示しているかを決定し、Ｎは前記目標数を上回り、
    Ｎが前記目標数より上回る決定に応えて、Ｎは前記ＲＡＩＤグループ内の前記複数のデバイスのうちの前記目標数を超えないデバイスが、同時に使用中、又は可変応答時間を示すように前記ストレージデバイスの動作をスケジュールするようにさらに構成される、
    ことを特徴とする請求項１に記載のコンピュータシステム。
  5. 長いレイテンシ動作は、キャッシュフラッシュ動作、トリム動作、及びブロック消去動作、休止状態、書き込み、又は長い読み込みのうちの１又はそれ以上を含む、
    ことを特徴とする請求項４に記載のコンピュータシステム。
  6. 前記データストレージコントローラは、受け取っている要求の速度が所与の閾値を超えたことを検出したことに応答して、前記ＲＡＩＤグループ内のＮ個を超えないデバイスが常に使用中になるように相対的に長いレイテンシ動作をスケジュールするように構成される、
    ことを特徴とする請求項４に記載のコンピュータシステム。
  7. 前記データストレージコントローラは、前記要求の速度が閾値を下回ったことを検出したことに応答して、前記ＲＡＩＤグループ内の前記複数のデバイスのうちのＮ個を超えないデバイスがスケジュールされた長いレイテンシ動作を常に行っているように相対的に長いレイテンシ動作をスケジュールするように構成される、
    ことを特徴とする請求項６に記載のコンピュータシステム。
  8. 前記複数のストレージデバイスの各々は、保留中の動作を記憶するためのキューを含み、前記データストレージコントローラは、前記少なくとも２つの読み込み要求を、これらの各々を対応するストレージデバイスのキュー内の同じキュー深度、又は完了時間が等しいと予測されるキュー深度に記憶することによって同時に完了するようにスケジュールするよう構成される、
    ことを特徴とする請求項３に記載のコンピュータシステム。
  9. 前記読み込み要求は、所与の優先度を有し、前記データストレージコントローラは、前記少なくとも２つの読み込み要求の両方を前記所与の優先度と同じ優先度でスケジュールするように構成される、
    ことを特徴とする請求項８に記載のコンピュータシステム。
  10. 前記読み込み要求は、所与の優先度を有し、前記データストレージコントローラは、前記少なくとも２つの読み込み要求の各々を、互いに異なる優先度を有するようにスケジュールするよう構成される、
    ことを特徴とする請求項８に記載のコンピュータシステム。
  11. 前記判断は、前記第１のストレージデバイスが、相対的に長い応答レイテンシ又は相対的に低いスループットの少なくとも一方を含む可変パフォーマンスを示すであろうことを検出又は予測したことの少なくとも一部に基づく、
    ことを特徴とする請求項１０に記載のコンピュータシステム。
  12. 様々な状況によって動的に変化するようにプログラム可能であり、前記状況は、時刻、受け取ったＩ／Ｏ要求の速度、受け取った要求の優先度、特定のタスクが検出されたかどうか及び不具合の検出を含む、
    ことを特徴とする請求項１０に記載のコンピュータシステム。
  13. 前記データストレージコントローラは、受け取った要求を複数の要求に区分化し、該複数の要求間に再構成読み込み要求を挿入するようにさらに構成される、
    ことを特徴とする請求項３に記載のコンピュータシステム。
  14. コンピューティングシステムで使用するための方法であって、
    少なくとも１つのＲＡＩＤグループにデータを記憶するように構成された複数のストレージデバイスを含むデータ記憶媒体を対象とする読み込み要求を受け取るステップと、
    前記複数のストレージデバイスのうちの、前記読み込み要求が対象とするデータを含む少なくとも第１のストレージデバイスを識別するステップと、
    前記第１のストレージデバイスが、前記読み込み要求に応答するための第２の期間を超えることなく、前記読み込み要求に応答するための第１の期間を超えたか、および再構成読み込みの予測されるパフォーマンスに基づいて、前記複数のストレージデバイスのうちの前記第１のストレージデバイス以外の１又はそれ以上のデバイスから前記データを取得するように構成された前記再構成読み込みの要求を生成するか判断するステップ、
    を含む、
    ことを特徴とする方法。
  15. 最近のＩ／Ｏ要求の履歴に少なくとも部分的に基づいて前記再構成読み込みの要求を生成するステップをさらに含む、
    ことを特徴とする請求項１４に記載の方法。
  16. 同時に使用中の、又は可変応答時間を示している可能性のあるストレージデバイスの目標数を決定するステップと、
    前記目標数を上回るＮ個のデバイスが同時に使用中、又は可変応答時間を示しているかを決定するステップと、
    Ｎが前記目標数より上回る決定に応えて、Ｎは前記ＲＡＩＤグループ内の前記複数のデバイスのうちの前記目標数を超えないデバイスが、同時に使用中、又は可変応答時間を示すように前記ストレージデバイスの動作をスケジュールするステップをさらに含む、
    ことを特徴とする請求項１４に記載の方法。
  17. 長いレイテンシ動作は、キャッシュフラッシュ動作、トリム動作、及びブロック消去動作、休止状態、書き込み、又は長い読み込みのうちの１又はそれ以上を含む、
    ことを特徴とする請求項１６に記載の方法。
  18. 受け取っている要求の速度が所与の閾値を超えたことを検出したことに応答して、前記ＲＡＩＤグループ内のＮ個を超えないデバイスが常に使用中になるように相対的に長いレイテンシ動作をスケジュールするステップをさらに含み、前記ＲＡＩＤグループ内のＮ個を超えないデバイスが使用中である間、再構成要求を実施できない、
    ことを特徴とする請求項１６に記載の方法。
  19. 前記要求の速度が閾値を下回ったことを検出したことに応答して、前記ＲＡＩＤグループ内の前記複数のデバイスのうちのＮ個を超えないデバイスがスケジュールされた長いレイテンシ動作を常に行っているように相対的に長いレイテンシ動作をスケジュールするステップをさらに含む、
    ことを特徴とする請求項１８に記載の方法。
  20. 前記判断は、前記第１のストレージデバイスが、相対的に長い応答レイテンシ又は相対的に低いスループットの少なくとも一方を含む可変パフォーマンスを示すであろうことを検出又は予測したことの少なくとも一部に基づく、
    ことを特徴とする請求項１６に記載の方法。
  21. 様々な状況によって動的に変化するようにプログラム可能であり、前記状況は、時刻、受け取ったＩ／Ｏ要求の速度、受け取った要求の優先度、特定のタスクが検出されたかどうか及び不具合の検出を含む、
    ことを特徴とする請求項１６に記載の方法。
  22. プログラム命令を含むコンピュータ可読記憶媒体であって、前記プログラム命令は、処理デバイスによる実行時に、
    少なくとも１つのＲＡＩＤグループにデータを記憶するように構成された複数のストレージデバイスを含むデータ記憶媒体を対象とする読み込み要求を受け取り、
    前記複数のストレージデバイスのうちの、前記読み込み要求が対象とするデータを含む少なくとも第１のストレージデバイスを識別し、
    前記第１のストレージデバイスが、前記読み込み要求に応答するための第２の期間を超えることなく、前記読み込み要求に応答するための第１の期間を超えたか、および再構成読み込みの予測されるパフォーマンスに基づいて、前記複数のストレージデバイスのうちの前記第１のストレージデバイス以外の１又はそれ以上のデバイスから前記データを取得するように構成された前記再構成読み込みの要求を生成するか判断する、
    ように動作可能であることを特徴とするコンピュータ可読記憶媒体。
JP2016119624A 2010-09-15 2016-06-16 ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング Active JP6337042B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/882,872 US8589625B2 (en) 2010-09-15 2010-09-15 Scheduling of reconstructive I/O read operations in a storage environment
US12/882,872 2010-09-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013529315A Division JP5956445B2 (ja) 2010-09-15 2011-09-15 ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング

Publications (2)

Publication Number Publication Date
JP2016189209A JP2016189209A (ja) 2016-11-04
JP6337042B2 true JP6337042B2 (ja) 2018-06-06

Family

ID=44759768

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013529315A Active JP5956445B2 (ja) 2010-09-15 2011-09-15 ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング
JP2016119624A Active JP6337042B2 (ja) 2010-09-15 2016-06-16 ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013529315A Active JP5956445B2 (ja) 2010-09-15 2011-09-15 ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング

Country Status (6)

Country Link
US (5) US8589625B2 (ja)
EP (2) EP3206118A1 (ja)
JP (2) JP5956445B2 (ja)
KR (1) KR101867635B1 (ja)
CN (1) CN103370686B (ja)
WO (1) WO2012037318A1 (ja)

Families Citing this family (373)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429486B1 (en) 2010-02-27 2022-08-30 Pure Storage, Inc. Rebuilding data via locally decodable redundancy in a vast storage network
US20180365105A1 (en) * 2014-06-05 2018-12-20 International Business Machines Corporation Establishing an operation execution schedule in a dispersed storage network
US8671265B2 (en) 2010-03-05 2014-03-11 Solidfire, Inc. Distributed data storage system providing de-duplication of data using block identifiers
US11614893B2 (en) 2010-09-15 2023-03-28 Pure Storage, Inc. Optimizing storage device access based on latency
US8589625B2 (en) 2010-09-15 2013-11-19 Pure Storage, Inc. Scheduling of reconstructive I/O read operations in a storage environment
US11275509B1 (en) 2010-09-15 2022-03-15 Pure Storage, Inc. Intelligently sizing high latency I/O requests in a storage environment
US20220357891A1 (en) * 2010-09-15 2022-11-10 Pure Storage, Inc. Efficient Read By Reconstruction
US8468318B2 (en) 2010-09-15 2013-06-18 Pure Storage Inc. Scheduling of I/O writes in a storage environment
US8732426B2 (en) 2010-09-15 2014-05-20 Pure Storage, Inc. Scheduling of reactive I/O operations in a storage environment
US8589655B2 (en) 2010-09-15 2013-11-19 Pure Storage, Inc. Scheduling of I/O in an SSD environment
US8775868B2 (en) 2010-09-28 2014-07-08 Pure Storage, Inc. Adaptive RAID for an SSD environment
US9244769B2 (en) 2010-09-28 2016-01-26 Pure Storage, Inc. Offset protection data in a RAID array
US8589640B2 (en) 2011-10-14 2013-11-19 Pure Storage, Inc. Method for maintaining multiple fingerprint tables in a deduplicating storage system
US11636031B2 (en) 2011-08-11 2023-04-25 Pure Storage, Inc. Optimized inline deduplication
JP2013061847A (ja) * 2011-09-14 2013-04-04 Sony Corp 情報処理装置および情報処理方法
WO2013057764A1 (en) * 2011-10-19 2013-04-25 Hitachi, Ltd. Storage system
US9054992B2 (en) 2011-12-27 2015-06-09 Solidfire, Inc. Quality of service policy sets
US9838269B2 (en) 2011-12-27 2017-12-05 Netapp, Inc. Proportional quality of service based on client usage and system metrics
US8996450B1 (en) * 2011-12-31 2015-03-31 Teradata Us, Inc. System and method for allocating resources in a mixed SSD and HDD storage environment
US8788658B2 (en) 2012-02-03 2014-07-22 International Business Machines Corporation Allocation and balancing of storage resources
US8751861B2 (en) * 2012-02-08 2014-06-10 Lsi Corporation System and method for improved rebuild in RAID
US8719540B1 (en) 2012-03-15 2014-05-06 Pure Storage, Inc. Fractal layout of data blocks across multiple devices
US8903994B2 (en) * 2012-03-20 2014-12-02 Drw Technologies Llc Read-throttled input/output scheduler
US8745415B2 (en) 2012-09-26 2014-06-03 Pure Storage, Inc. Multi-drive cooperation to generate an encryption key
US11032259B1 (en) 2012-09-26 2021-06-08 Pure Storage, Inc. Data protection in a storage system
US10623386B1 (en) 2012-09-26 2020-04-14 Pure Storage, Inc. Secret sharing data protection in a storage system
US10908835B1 (en) 2013-01-10 2021-02-02 Pure Storage, Inc. Reversing deletion of a virtual machine
US11768623B2 (en) 2013-01-10 2023-09-26 Pure Storage, Inc. Optimizing generalized transfers between storage systems
US11733908B2 (en) 2013-01-10 2023-08-22 Pure Storage, Inc. Delaying deletion of a dataset
US9646039B2 (en) 2013-01-10 2017-05-09 Pure Storage, Inc. Snapshots in a storage system
US10452284B2 (en) * 2013-02-05 2019-10-22 International Business Machines Corporation Storage system based host computer monitoring
US20140281301A1 (en) * 2013-03-15 2014-09-18 Silicon Graphics International Corp. Elastic hierarchical data storage backend
US9069819B1 (en) * 2013-04-26 2015-06-30 Symantec Corporation Method and apparatus for reliable I/O performance anomaly detection in datacenter
US9378075B2 (en) * 2013-05-15 2016-06-28 Amazon Technologies, Inc. Reducing interference through controlled data access
JP6221467B2 (ja) * 2013-07-29 2017-11-01 株式会社リコー 画像処理装置、制御方法
US10365858B2 (en) 2013-11-06 2019-07-30 Pure Storage, Inc. Thin provisioning in a storage device
US10263770B2 (en) 2013-11-06 2019-04-16 Pure Storage, Inc. Data protection in a storage system using external secrets
US11128448B1 (en) 2013-11-06 2021-09-21 Pure Storage, Inc. Quorum-aware secret sharing
US9516016B2 (en) * 2013-11-11 2016-12-06 Pure Storage, Inc. Storage array password management
US9449018B1 (en) * 2013-11-25 2016-09-20 Google Inc. File operation task optimization
US9594781B2 (en) * 2013-11-27 2017-03-14 Sybase, Inc. Estimation of query input/output (I/O) cost in database
US20180081749A1 (en) * 2013-12-04 2018-03-22 International Business Machines Corporation Performance ranking of read requests in a distributed storage network
US9170746B2 (en) 2014-01-07 2015-10-27 Netapp, Inc. Clustered raid assimilation management
US9208086B1 (en) 2014-01-09 2015-12-08 Pure Storage, Inc. Using frequency domain to prioritize storage of metadata in a cache
US9454434B2 (en) 2014-01-17 2016-09-27 Netapp, Inc. File system driven raid rebuild technique
US9483349B2 (en) 2014-01-17 2016-11-01 Netapp, Inc. Clustered raid data organization
US9665479B2 (en) 2014-02-11 2017-05-30 Seagate Technology Llc Managing response time
US20150244795A1 (en) 2014-02-21 2015-08-27 Solidfire, Inc. Data syncing in a distributed system
US10656864B2 (en) 2014-03-20 2020-05-19 Pure Storage, Inc. Data replication within a flash storage array
US10235053B1 (en) * 2014-03-31 2019-03-19 Emc Corporation Method and system for using host driver for flexible allocation fast-sideways data movements
US9513820B1 (en) 2014-04-07 2016-12-06 Pure Storage, Inc. Dynamically controlling temporary compromise on data redundancy
US9779268B1 (en) 2014-06-03 2017-10-03 Pure Storage, Inc. Utilizing a non-repeating identifier to encrypt data
US9367243B1 (en) 2014-06-04 2016-06-14 Pure Storage, Inc. Scalable non-uniform storage sizes
US9836234B2 (en) 2014-06-04 2017-12-05 Pure Storage, Inc. Storage cluster
US9213485B1 (en) 2014-06-04 2015-12-15 Pure Storage, Inc. Storage system architecture
US11652884B2 (en) 2014-06-04 2023-05-16 Pure Storage, Inc. Customized hash algorithms
US9003144B1 (en) 2014-06-04 2015-04-07 Pure Storage, Inc. Mechanism for persisting messages in a storage system
US11068363B1 (en) 2014-06-04 2021-07-20 Pure Storage, Inc. Proactively rebuilding data in a storage cluster
US8850108B1 (en) 2014-06-04 2014-09-30 Pure Storage, Inc. Storage cluster
US11960371B2 (en) 2014-06-04 2024-04-16 Pure Storage, Inc. Message persistence in a zoned system
US10574754B1 (en) 2014-06-04 2020-02-25 Pure Storage, Inc. Multi-chassis array with multi-level load balancing
US11399063B2 (en) 2014-06-04 2022-07-26 Pure Storage, Inc. Network authentication for a storage system
US9218244B1 (en) 2014-06-04 2015-12-22 Pure Storage, Inc. Rebuilding data across storage nodes
US10496556B1 (en) 2014-06-25 2019-12-03 Pure Storage, Inc. Dynamic data protection within a flash storage system
US9218407B1 (en) 2014-06-25 2015-12-22 Pure Storage, Inc. Replication and intermediate read-write state for mediums
CN104102458B (zh) * 2014-06-27 2017-11-10 北京兆易创新科技股份有限公司 多核cpu的负载均衡方法、多核cpu及固态硬盘
US9836245B2 (en) 2014-07-02 2017-12-05 Pure Storage, Inc. Non-volatile RAM and flash memory in a non-volatile solid-state storage
US11604598B2 (en) 2014-07-02 2023-03-14 Pure Storage, Inc. Storage cluster with zoned drives
US11886308B2 (en) 2014-07-02 2024-01-30 Pure Storage, Inc. Dual class of service for unified file and object messaging
US10114757B2 (en) 2014-07-02 2018-10-30 Pure Storage, Inc. Nonrepeating identifiers in an address space of a non-volatile solid-state storage
US9021297B1 (en) 2014-07-02 2015-04-28 Pure Storage, Inc. Redundant, fault-tolerant, distributed remote procedure call cache in a storage system
US8868825B1 (en) 2014-07-02 2014-10-21 Pure Storage, Inc. Nonrepeating identifiers in an address space of a non-volatile solid-state storage
US10853311B1 (en) 2014-07-03 2020-12-01 Pure Storage, Inc. Administration through files in a storage system
US9747229B1 (en) 2014-07-03 2017-08-29 Pure Storage, Inc. Self-describing data format for DMA in a non-volatile solid-state storage
US9811677B2 (en) 2014-07-03 2017-11-07 Pure Storage, Inc. Secure data replication in a storage grid
US8874836B1 (en) 2014-07-03 2014-10-28 Pure Storage, Inc. Scheduling policy for queues in a non-volatile solid-state storage
US10296469B1 (en) 2014-07-24 2019-05-21 Pure Storage, Inc. Access control in a flash storage system
US9798728B2 (en) 2014-07-24 2017-10-24 Netapp, Inc. System performing data deduplication using a dense tree data structure
US9558069B2 (en) 2014-08-07 2017-01-31 Pure Storage, Inc. Failure mapping in a storage array
US9483346B2 (en) 2014-08-07 2016-11-01 Pure Storage, Inc. Data rebuild on feedback from a queue in a non-volatile solid-state storage
US9495255B2 (en) 2014-08-07 2016-11-15 Pure Storage, Inc. Error recovery in a storage cluster
US9082512B1 (en) 2014-08-07 2015-07-14 Pure Storage, Inc. Die-level monitoring in a storage cluster
US9766972B2 (en) 2014-08-07 2017-09-19 Pure Storage, Inc. Masking defective bits in a storage array
US10983859B2 (en) 2014-08-07 2021-04-20 Pure Storage, Inc. Adjustable error correction based on memory health in a storage unit
US9864761B1 (en) 2014-08-08 2018-01-09 Pure Storage, Inc. Read optimization operations in a storage system
US10079711B1 (en) 2014-08-20 2018-09-18 Pure Storage, Inc. Virtual file server with preserved MAC address
US10430079B2 (en) 2014-09-08 2019-10-01 Pure Storage, Inc. Adjusting storage capacity in a computing system
US9671960B2 (en) 2014-09-12 2017-06-06 Netapp, Inc. Rate matching technique for balancing segment cleaning and I/O workload
US10133511B2 (en) 2014-09-12 2018-11-20 Netapp, Inc Optimized segment cleaning technique
US10164841B2 (en) 2014-10-02 2018-12-25 Pure Storage, Inc. Cloud assist for storage systems
US9489132B2 (en) 2014-10-07 2016-11-08 Pure Storage, Inc. Utilizing unmapped and unknown states in a replicated storage system
US10430282B2 (en) 2014-10-07 2019-10-01 Pure Storage, Inc. Optimizing replication by distinguishing user and system write activity
US9836229B2 (en) 2014-11-18 2017-12-05 Netapp, Inc. N-way merge technique for updating volume metadata in a storage I/O stack
US9727485B1 (en) 2014-11-24 2017-08-08 Pure Storage, Inc. Metadata rewrite and flatten optimization
US9773007B1 (en) 2014-12-01 2017-09-26 Pure Storage, Inc. Performance improvements in a storage system
US9588842B1 (en) 2014-12-11 2017-03-07 Pure Storage, Inc. Drive rebuild
US9552248B2 (en) 2014-12-11 2017-01-24 Pure Storage, Inc. Cloud alert to replica
US9864769B2 (en) 2014-12-12 2018-01-09 Pure Storage, Inc. Storing data utilizing repeating pattern detection
US9489141B2 (en) * 2014-12-18 2016-11-08 Nimble Storage, Inc. Efficient scheduling of Input/Output requests to reduce latency and maximize throughput in a flash storage device
US10545987B2 (en) 2014-12-19 2020-01-28 Pure Storage, Inc. Replication to the cloud
CN105892934B (zh) * 2014-12-19 2020-11-03 伊姆西Ip控股有限责任公司 用于存储设备管理的方法和装置
US9569357B1 (en) 2015-01-08 2017-02-14 Pure Storage, Inc. Managing compressed data in a storage system
US11947968B2 (en) 2015-01-21 2024-04-02 Pure Storage, Inc. Efficient use of zone in a storage device
US10296354B1 (en) 2015-01-21 2019-05-21 Pure Storage, Inc. Optimized boot operations within a flash storage array
KR102317786B1 (ko) 2015-02-02 2021-10-26 삼성전자주식회사 스토리지 디바이스에서의 입출력 처리 방법 및 이를 적용하는 스토리지 디바이스 및 비휘발성 메모리 디바이스
US9720601B2 (en) 2015-02-11 2017-08-01 Netapp, Inc. Load balancing technique for a storage array
US9710165B1 (en) 2015-02-18 2017-07-18 Pure Storage, Inc. Identifying volume candidates for space reclamation
US9948615B1 (en) 2015-03-16 2018-04-17 Pure Storage, Inc. Increased storage unit encryption based on loss of trust
US11294893B2 (en) 2015-03-20 2022-04-05 Pure Storage, Inc. Aggregation of queries
US9762460B2 (en) 2015-03-24 2017-09-12 Netapp, Inc. Providing continuous context for operational information of a storage system
US9940234B2 (en) 2015-03-26 2018-04-10 Pure Storage, Inc. Aggressive data deduplication using lazy garbage collection
US10082985B2 (en) 2015-03-27 2018-09-25 Pure Storage, Inc. Data striping across storage nodes that are assigned to multiple logical arrays
US9710317B2 (en) 2015-03-30 2017-07-18 Netapp, Inc. Methods to identify, handle and recover from suspect SSDS in a clustered flash array
US10592122B2 (en) * 2015-03-31 2020-03-17 Sandisk Technologies Llc Inherent adaptive trimming
US10178169B2 (en) 2015-04-09 2019-01-08 Pure Storage, Inc. Point to point based backend communication layer for storage processing
US9672125B2 (en) 2015-04-10 2017-06-06 Pure Storage, Inc. Ability to partition an array into two or more logical arrays with independently running software
US10552048B2 (en) * 2015-05-12 2020-02-04 SK Hynix Inc. Reduction of maximum latency using dynamic self-tuning for redundant array of independent disks
US10140149B1 (en) 2015-05-19 2018-11-27 Pure Storage, Inc. Transactional commits with hardware assists in remote memory
US9817576B2 (en) 2015-05-27 2017-11-14 Pure Storage, Inc. Parallel update to NVRAM
US10289327B2 (en) * 2015-06-05 2019-05-14 Western Digital Technologies, Inc. Scheduling scheme(s) for a multi-die storage device
US9547441B1 (en) 2015-06-23 2017-01-17 Pure Storage, Inc. Exposing a geometry of a storage device
US10310740B2 (en) 2015-06-23 2019-06-04 Pure Storage, Inc. Aligning memory access operations to a geometry of a storage device
US10846275B2 (en) 2015-06-26 2020-11-24 Pure Storage, Inc. Key management in a storage device
US10983732B2 (en) 2015-07-13 2021-04-20 Pure Storage, Inc. Method and system for accessing a file
US11232079B2 (en) 2015-07-16 2022-01-25 Pure Storage, Inc. Efficient distribution of large directories
WO2017012096A1 (zh) * 2015-07-22 2017-01-26 华为技术有限公司 计算机设备和计算机设备数据读写的方法
US9740566B2 (en) 2015-07-31 2017-08-22 Netapp, Inc. Snapshot creation workflow
US20170060421A1 (en) * 2015-08-31 2017-03-02 Dell Products, Lp System and Method to Support Shingled Magnetic Recording Hard Drives in a Storage System
US10108355B2 (en) 2015-09-01 2018-10-23 Pure Storage, Inc. Erase block state detection
US11269884B2 (en) 2015-09-04 2022-03-08 Pure Storage, Inc. Dynamically resizable structures for approximate membership queries
US11341136B2 (en) 2015-09-04 2022-05-24 Pure Storage, Inc. Dynamically resizable structures for approximate membership queries
KR20170028825A (ko) 2015-09-04 2017-03-14 퓨어 스토리지, 아이앤씨. 압축된 인덱스들을 사용한 해시 테이블들에서의 메모리 효율적인 스토리지 및 탐색
US10025531B2 (en) * 2015-09-10 2018-07-17 HoneycombData Inc. Reducing read command latency in storage devices
US9785525B2 (en) 2015-09-24 2017-10-10 Netapp, Inc. High availability failover manager
US9768953B2 (en) 2015-09-30 2017-09-19 Pure Storage, Inc. Resharing of a split secret
US10853266B2 (en) 2015-09-30 2020-12-01 Pure Storage, Inc. Hardware assisted data lookup methods
US10762069B2 (en) 2015-09-30 2020-09-01 Pure Storage, Inc. Mechanism for a system where data and metadata are located closely together
US9843453B2 (en) 2015-10-23 2017-12-12 Pure Storage, Inc. Authorizing I/O commands with I/O tokens
US9836366B2 (en) 2015-10-27 2017-12-05 Netapp, Inc. Third vote consensus in a cluster using shared storage devices
US10235059B2 (en) 2015-12-01 2019-03-19 Netapp, Inc. Technique for maintaining consistent I/O processing throughput in a storage system
DE112015007095B4 (de) * 2015-12-03 2018-11-22 Mitsubishi Electric Corporation Multiplexsystem
US10229009B2 (en) 2015-12-16 2019-03-12 Netapp, Inc. Optimized file system layout for distributed consensus protocol
US10007457B2 (en) 2015-12-22 2018-06-26 Pure Storage, Inc. Distributed transactions with token-associated execution
US9965398B2 (en) 2016-01-12 2018-05-08 Samsung Electronics Co., Ltd. Method and apparatus for simplified nameless writes using a virtual address table
US10078455B2 (en) 2016-01-20 2018-09-18 Microsoft Technology Licensing, Llc Predicting solid state drive reliability
JP6227841B1 (ja) * 2016-02-17 2017-11-08 株式会社日立製作所 データ処理システム及びデータ処理方法
US10929022B2 (en) 2016-04-25 2021-02-23 Netapp. Inc. Space savings reporting for storage system supporting snapshot and clones
US9952767B2 (en) 2016-04-29 2018-04-24 Netapp, Inc. Consistency group management
US10133503B1 (en) 2016-05-02 2018-11-20 Pure Storage, Inc. Selecting a deduplication process based on a difference between performance metrics
US10452297B1 (en) 2016-05-02 2019-10-22 Pure Storage, Inc. Generating and optimizing summary index levels in a deduplication storage system
US10261690B1 (en) 2016-05-03 2019-04-16 Pure Storage, Inc. Systems and methods for operating a storage system
KR102547795B1 (ko) * 2016-05-04 2023-06-27 에스케이하이닉스 주식회사 데이터 처리 시스템 및 데이터 처리 시스템의 동작 방법
US11861188B2 (en) 2016-07-19 2024-01-02 Pure Storage, Inc. System having modular accelerators
US11449232B1 (en) 2016-07-22 2022-09-20 Pure Storage, Inc. Optimal scheduling of flash operations
US9672905B1 (en) 2016-07-22 2017-06-06 Pure Storage, Inc. Optimize data protection layouts based on distributed flash wear leveling
US10768819B2 (en) 2016-07-22 2020-09-08 Pure Storage, Inc. Hardware support for non-disruptive upgrades
US11080155B2 (en) 2016-07-24 2021-08-03 Pure Storage, Inc. Identifying error types among flash memory
US11604690B2 (en) 2016-07-24 2023-03-14 Pure Storage, Inc. Online failure span determination
US10216420B1 (en) 2016-07-24 2019-02-26 Pure Storage, Inc. Calibration of flash channels in SSD
US11886334B2 (en) 2016-07-26 2024-01-30 Pure Storage, Inc. Optimizing spool and memory space management
US10203903B2 (en) 2016-07-26 2019-02-12 Pure Storage, Inc. Geometry based, space aware shelf/writegroup evacuation
US11734169B2 (en) 2016-07-26 2023-08-22 Pure Storage, Inc. Optimizing spool and memory space management
US10366004B2 (en) 2016-07-26 2019-07-30 Pure Storage, Inc. Storage system with elective garbage collection to reduce flash contention
US11797212B2 (en) 2016-07-26 2023-10-24 Pure Storage, Inc. Data migration for zoned drives
US11886922B2 (en) 2016-09-07 2024-01-30 Pure Storage, Inc. Scheduling input/output operations for a storage system
US11422719B2 (en) 2016-09-15 2022-08-23 Pure Storage, Inc. Distributed file deletion and truncation
US10642763B2 (en) 2016-09-20 2020-05-05 Netapp, Inc. Quality of service policy sets
US9747039B1 (en) 2016-10-04 2017-08-29 Pure Storage, Inc. Reservations over multiple paths on NVMe over fabrics
US10162523B2 (en) 2016-10-04 2018-12-25 Pure Storage, Inc. Migrating data between volumes using virtual copy operation
US10545861B2 (en) 2016-10-04 2020-01-28 Pure Storage, Inc. Distributed integrated high-speed solid-state non-volatile random-access memory
US10756816B1 (en) 2016-10-04 2020-08-25 Pure Storage, Inc. Optimized fibre channel and non-volatile memory express access
US20180095788A1 (en) * 2016-10-04 2018-04-05 Pure Storage, Inc. Scheduling operations for a storage device
US10191662B2 (en) 2016-10-04 2019-01-29 Pure Storage, Inc. Dynamic allocation of segments in a flash storage system
US10481798B2 (en) 2016-10-28 2019-11-19 Pure Storage, Inc. Efficient flash management for multiple controllers
US10185505B1 (en) 2016-10-28 2019-01-22 Pure Storage, Inc. Reading a portion of data to replicate a volume based on sequence numbers
US10359942B2 (en) 2016-10-31 2019-07-23 Pure Storage, Inc. Deduplication aware scalable content placement
JP2018073312A (ja) 2016-11-04 2018-05-10 東芝メモリ株式会社 メモリシステムおよび制御方法
KR102611571B1 (ko) 2016-11-09 2023-12-07 삼성전자주식회사 비휘발성 메모리를 포함하는 raid 시스템
US11550481B2 (en) 2016-12-19 2023-01-10 Pure Storage, Inc. Efficiently writing data in a zoned drive storage system
US10452290B2 (en) 2016-12-19 2019-10-22 Pure Storage, Inc. Block consolidation in a direct-mapped flash storage system
CN108228086B (zh) * 2016-12-21 2021-07-16 伊姆西Ip控股有限责任公司 Raid重建的方法和设备
US11307998B2 (en) 2017-01-09 2022-04-19 Pure Storage, Inc. Storage efficiency of encrypted host system data
US11093146B2 (en) 2017-01-12 2021-08-17 Pure Storage, Inc. Automatic load rebalancing of a write group
US9747158B1 (en) 2017-01-13 2017-08-29 Pure Storage, Inc. Intelligent refresh of 3D NAND
US11955187B2 (en) 2017-01-13 2024-04-09 Pure Storage, Inc. Refresh of differing capacity NAND
US10979223B2 (en) 2017-01-31 2021-04-13 Pure Storage, Inc. Separate encryption for a solid-state drive
US10528488B1 (en) 2017-03-30 2020-01-07 Pure Storage, Inc. Efficient name coding
US11016667B1 (en) 2017-04-05 2021-05-25 Pure Storage, Inc. Efficient mapping for LUNs in storage memory with holes in address space
US11403019B2 (en) 2017-04-21 2022-08-02 Pure Storage, Inc. Deduplication-aware per-tenant encryption
US10944671B2 (en) 2017-04-27 2021-03-09 Pure Storage, Inc. Efficient data forwarding in a networked device
US10516645B1 (en) 2017-04-27 2019-12-24 Pure Storage, Inc. Address resolution broadcasting in a networked device
US10141050B1 (en) 2017-04-27 2018-11-27 Pure Storage, Inc. Page writes for triple level cell flash memory
CN107203341A (zh) * 2017-05-23 2017-09-26 建荣半导体（深圳）有限公司 基于闪存的数据存储方法、装置以及闪存芯片
US11467913B1 (en) 2017-06-07 2022-10-11 Pure Storage, Inc. Snapshots with crash consistency in a storage system
US11138103B1 (en) 2017-06-11 2021-10-05 Pure Storage, Inc. Resiliency groups
US11947814B2 (en) 2017-06-11 2024-04-02 Pure Storage, Inc. Optimizing resiliency group formation stability
US11782625B2 (en) 2017-06-11 2023-10-10 Pure Storage, Inc. Heterogeneity supportive resiliency groups
US10425473B1 (en) 2017-07-03 2019-09-24 Pure Storage, Inc. Stateful connection reset in a storage cluster with a stateless load balancer
US10402266B1 (en) 2017-07-31 2019-09-03 Pure Storage, Inc. Redundant array of independent disks in a direct-mapped flash storage system
US10831935B2 (en) 2017-08-31 2020-11-10 Pure Storage, Inc. Encryption management with host-side data reduction
US11947489B2 (en) 2017-09-05 2024-04-02 Robin Systems, Inc. Creating snapshots of a storage volume in a distributed storage system
CN107728936B (zh) * 2017-09-05 2020-10-09 华为技术有限公司 用于传输数据处理请求的方法和装置
US10430105B2 (en) 2017-09-13 2019-10-01 Robin Systems, Inc. Storage scheme for a distributed storage system
US10452267B2 (en) 2017-09-13 2019-10-22 Robin Systems, Inc. Storage scheme for a distributed storage system
US10579276B2 (en) 2017-09-13 2020-03-03 Robin Systems, Inc. Storage scheme for a distributed storage system
US10877827B2 (en) 2017-09-15 2020-12-29 Pure Storage, Inc. Read voltage optimization
US10210926B1 (en) 2017-09-15 2019-02-19 Pure Storage, Inc. Tracking of optimum read voltage thresholds in nand flash devices
US10534549B2 (en) 2017-09-19 2020-01-14 Robin Systems, Inc. Maintaining consistency among copies of a logical storage volume in a distributed storage system
US10423344B2 (en) 2017-09-19 2019-09-24 Robin Systems, Inc. Storage scheme for a distributed storage system
US10776202B1 (en) 2017-09-22 2020-09-15 Pure Storage, Inc. Drive, blade, or data shard decommission via RAID geometry shrinkage
US10789211B1 (en) 2017-10-04 2020-09-29 Pure Storage, Inc. Feature-based deduplication
US10515701B1 (en) 2017-10-31 2019-12-24 Pure Storage, Inc. Overlapping raid groups
US11024390B1 (en) 2017-10-31 2021-06-01 Pure Storage, Inc. Overlapping RAID groups
US10545687B1 (en) 2017-10-31 2020-01-28 Pure Storage, Inc. Data rebuild when changing erase block sizes during drive replacement
US10884919B2 (en) 2017-10-31 2021-01-05 Pure Storage, Inc. Memory management in a storage system
US10496330B1 (en) 2017-10-31 2019-12-03 Pure Storage, Inc. Using flash storage devices with different sized erase blocks
US10782887B2 (en) 2017-11-08 2020-09-22 Robin Systems, Inc. Window-based prority tagging of IOPs in a distributed storage system
US10846001B2 (en) 2017-11-08 2020-11-24 Robin Systems, Inc. Allocating storage requirements in a distributed storage system
US20190138244A1 (en) * 2017-11-08 2019-05-09 Robin Systems, Inc. Managing QOS Priorities In Primary And Replica Storage Nodes Of A Distributed Storage System
US10860475B1 (en) 2017-11-17 2020-12-08 Pure Storage, Inc. Hybrid flash translation layer
US10990566B1 (en) 2017-11-20 2021-04-27 Pure Storage, Inc. Persistent file locks in a storage system
CN108052279B (zh) * 2017-11-23 2020-06-19 深圳市江波龙电子股份有限公司 一种提升闪存性能的方法、装置、设备及存储介质
US10929053B2 (en) 2017-12-08 2021-02-23 Pure Storage, Inc. Safe destructive actions on drives
US10719265B1 (en) 2017-12-08 2020-07-21 Pure Storage, Inc. Centralized, quorum-aware handling of device reservation requests in a storage system
US11036677B1 (en) * 2017-12-14 2021-06-15 Pure Storage, Inc. Replicated data integrity
US10430292B2 (en) 2017-12-19 2019-10-01 Robin Systems, Inc. Snapshot deletion in a distributed storage system
US10452308B2 (en) 2017-12-19 2019-10-22 Robin Systems, Inc. Encoding tags for metadata entries in a storage system
US10430110B2 (en) 2017-12-19 2019-10-01 Robin Systems, Inc. Implementing a hybrid storage node in a distributed storage system
US10929031B2 (en) 2017-12-21 2021-02-23 Pure Storage, Inc. Maximizing data reduction in a partially encrypted volume
TWI659310B (zh) * 2018-01-04 2019-05-11 旺宏電子股份有限公司 儲存裝置操作方法及其應用其的儲存系統
US11748203B2 (en) 2018-01-11 2023-09-05 Robin Systems, Inc. Multi-role application orchestration in a distributed storage system
US10642697B2 (en) 2018-01-11 2020-05-05 Robin Systems, Inc. Implementing containers for a stateful application in a distributed computing system
US11582168B2 (en) 2018-01-11 2023-02-14 Robin Systems, Inc. Fenced clone applications
US11099937B2 (en) 2018-01-11 2021-08-24 Robin Systems, Inc. Implementing clone snapshots in a distributed storage system
US10628235B2 (en) 2018-01-11 2020-04-21 Robin Systems, Inc. Accessing log files of a distributed computing system using a simulated file system
US11392363B2 (en) 2018-01-11 2022-07-19 Robin Systems, Inc. Implementing application entrypoints with containers of a bundled application
US10896102B2 (en) 2018-01-11 2021-01-19 Robin Systems, Inc. Implementing secure communication in a distributed computing system
US10845997B2 (en) 2018-01-12 2020-11-24 Robin Systems, Inc. Job manager for deploying a bundled application
US10642694B2 (en) 2018-01-12 2020-05-05 Robin Systems, Inc. Monitoring containers in a distributed computing system
US10846137B2 (en) 2018-01-12 2020-11-24 Robin Systems, Inc. Dynamic adjustment of application resources in a distributed computing system
US10579364B2 (en) 2018-01-12 2020-03-03 Robin Systems, Inc. Upgrading bundled applications in a distributed computing system
US10970395B1 (en) 2018-01-18 2021-04-06 Pure Storage, Inc Security threat monitoring for a storage system
US11010233B1 (en) 2018-01-18 2021-05-18 Pure Storage, Inc Hardware-based system monitoring
US11144638B1 (en) 2018-01-18 2021-10-12 Pure Storage, Inc. Method for storage system detection and alerting on potential malicious action
US10976948B1 (en) 2018-01-31 2021-04-13 Pure Storage, Inc. Cluster expansion mechanism
US10467527B1 (en) 2018-01-31 2019-11-05 Pure Storage, Inc. Method and apparatus for artificial intelligence acceleration
US10733053B1 (en) 2018-01-31 2020-08-04 Pure Storage, Inc. Disaster recovery for high-bandwidth distributed archives
US11036596B1 (en) 2018-02-18 2021-06-15 Pure Storage, Inc. System for delaying acknowledgements on open NAND locations until durability has been confirmed
US11494109B1 (en) 2018-02-22 2022-11-08 Pure Storage, Inc. Erase block trimming for heterogenous flash memory storage devices
EP3759582B1 (en) * 2018-03-01 2024-05-01 Micron Technology, Inc. Performing operation on data blocks concurrently and based on performance rate of another operation on data blocks
US10534731B2 (en) * 2018-03-19 2020-01-14 Micron Technology, Inc. Interface for memory having a cache and multiple independent arrays
US11061725B2 (en) * 2018-03-27 2021-07-13 International Business Machines Corporation Managing a set of computing resources
US11934322B1 (en) 2018-04-05 2024-03-19 Pure Storage, Inc. Multiple encryption keys on storage drives
US11385792B2 (en) 2018-04-27 2022-07-12 Pure Storage, Inc. High availability controller pair transitioning
US10931450B1 (en) 2018-04-27 2021-02-23 Pure Storage, Inc. Distributed, lock-free 2-phase commit of secret shares using multiple stateless controllers
US10853146B1 (en) 2018-04-27 2020-12-01 Pure Storage, Inc. Efficient data forwarding in a networked device
US10678433B1 (en) 2018-04-27 2020-06-09 Pure Storage, Inc. Resource-preserving system upgrade
US10678436B1 (en) 2018-05-29 2020-06-09 Pure Storage, Inc. Using a PID controller to opportunistically compress more data during garbage collection
US11436023B2 (en) 2018-05-31 2022-09-06 Pure Storage, Inc. Mechanism for updating host file system and flash translation layer based on underlying NAND technology
US10776046B1 (en) 2018-06-08 2020-09-15 Pure Storage, Inc. Optimized non-uniform memory access
US11281577B1 (en) 2018-06-19 2022-03-22 Pure Storage, Inc. Garbage collection tuning for low drive wear
US11869586B2 (en) 2018-07-11 2024-01-09 Pure Storage, Inc. Increased data protection by recovering data from partially-failed solid-state devices
CN110737393B (zh) * 2018-07-20 2023-08-11 伊姆西Ip控股有限责任公司 数据读取方法、设备和计算机程序产品
US11438279B2 (en) 2018-07-23 2022-09-06 Pure Storage, Inc. Non-disruptive conversion of a clustered service from single-chassis to multi-chassis
US10976938B2 (en) 2018-07-30 2021-04-13 Robin Systems, Inc. Block map cache
US11023328B2 (en) 2018-07-30 2021-06-01 Robin Systems, Inc. Redo log for append only storage scheme
US10817380B2 (en) 2018-07-31 2020-10-27 Robin Systems, Inc. Implementing affinity and anti-affinity constraints in a bundled application
US10599622B2 (en) 2018-07-31 2020-03-24 Robin Systems, Inc. Implementing storage volumes over multiple tiers
US11520514B2 (en) 2018-09-06 2022-12-06 Pure Storage, Inc. Optimized relocation of data based on data characteristics
US11354058B2 (en) 2018-09-06 2022-06-07 Pure Storage, Inc. Local relocation of data stored at a storage device of a storage system
US11194759B2 (en) 2018-09-06 2021-12-07 Pure Storage, Inc. Optimizing local data relocation operations of a storage device of a storage system
US11500570B2 (en) 2018-09-06 2022-11-15 Pure Storage, Inc. Efficient relocation of data utilizing different programming modes
US11133076B2 (en) 2018-09-06 2021-09-28 Pure Storage, Inc. Efficient relocation of data between storage devices of a storage system
US11868309B2 (en) 2018-09-06 2024-01-09 Pure Storage, Inc. Queue management for data relocation
RU2731321C2 (ru) 2018-09-14 2020-09-01 Общество С Ограниченной Ответственностью "Яндекс" Способ определения потенциальной неисправности запоминающего устройства
RU2718215C2 (ru) 2018-09-14 2020-03-31 Общество С Ограниченной Ответственностью "Яндекс" Система обработки данных и способ обнаружения затора в системе обработки данных
RU2721235C2 (ru) 2018-10-09 2020-05-18 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для маршрутизации и выполнения транзакций
RU2711348C1 (ru) 2018-10-15 2020-01-16 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для обработки запросов в распределенной базе данных
US10454498B1 (en) 2018-10-18 2019-10-22 Pure Storage, Inc. Fully pipelined hardware engine design for fast and efficient inline lossless data compression
US10908848B2 (en) 2018-10-22 2021-02-02 Robin Systems, Inc. Automated management of bundled applications
US11036439B2 (en) 2018-10-22 2021-06-15 Robin Systems, Inc. Automated management of bundled applications
US10846216B2 (en) 2018-10-25 2020-11-24 Pure Storage, Inc. Scalable garbage collection
US11113409B2 (en) 2018-10-26 2021-09-07 Pure Storage, Inc. Efficient rekey in a transparent decrypting storage array
US10976947B2 (en) 2018-10-26 2021-04-13 Pure Storage, Inc. Dynamically selecting segment heights in a heterogeneous RAID group
US10620871B1 (en) 2018-11-15 2020-04-14 Robin Systems, Inc. Storage scheme for a distributed storage system
US11379254B1 (en) 2018-11-18 2022-07-05 Pure Storage, Inc. Dynamic configuration of a cloud-based storage system
RU2714373C1 (ru) 2018-12-13 2020-02-14 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для планирования выполнения операций ввода/вывода
RU2749649C2 (ru) 2018-12-21 2021-06-16 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для планирования обработки операций ввода/вывода
RU2720951C1 (ru) * 2018-12-29 2020-05-15 Общество С Ограниченной Ответственностью "Яндекс" Способ и распределенная компьютерная система для обработки данных
US11194473B1 (en) 2019-01-23 2021-12-07 Pure Storage, Inc. Programming frequently read data to low latency portions of a solid-state storage array
CN111506256B (zh) * 2019-01-31 2023-03-28 睿宽智能科技有限公司 减少写入效能变化并防止io阻塞的方法
RU2746042C1 (ru) 2019-02-06 2021-04-06 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для передачи сообщения
US11288199B2 (en) 2019-02-28 2022-03-29 Micron Technology, Inc. Separate read-only cache and write-read cache in a memory sub-system
US10908821B2 (en) * 2019-02-28 2021-02-02 Micron Technology, Inc. Use of outstanding command queues for separate read-only cache and write-read cache in a memory sub-system
US11588633B1 (en) 2019-03-15 2023-02-21 Pure Storage, Inc. Decommissioning keys in a decryption storage system
US11086725B2 (en) 2019-03-25 2021-08-10 Robin Systems, Inc. Orchestration of heterogeneous multi-role applications
US11334254B2 (en) 2019-03-29 2022-05-17 Pure Storage, Inc. Reliability based flash page sizing
US11397674B1 (en) 2019-04-03 2022-07-26 Pure Storage, Inc. Optimizing garbage collection across heterogeneous flash devices
US11775189B2 (en) 2019-04-03 2023-10-03 Pure Storage, Inc. Segment level heterogeneity
US10990480B1 (en) 2019-04-05 2021-04-27 Pure Storage, Inc. Performance of RAID rebuild operations by a storage group controller of a storage system
US11099986B2 (en) 2019-04-12 2021-08-24 Pure Storage, Inc. Efficient transfer of memory contents
US11256434B2 (en) 2019-04-17 2022-02-22 Robin Systems, Inc. Data de-duplication
US10671453B1 (en) 2019-04-29 2020-06-02 EMC IP Holding Company LLC Data storage system employing two-level scheduling of processing cores
US10831387B1 (en) 2019-05-02 2020-11-10 Robin Systems, Inc. Snapshot reservations in a distributed storage system
US10877684B2 (en) 2019-05-15 2020-12-29 Robin Systems, Inc. Changing a distributed storage volume from non-replicated to replicated
US11487665B2 (en) 2019-06-05 2022-11-01 Pure Storage, Inc. Tiered caching of data in a storage system
US11269861B2 (en) 2019-06-17 2022-03-08 Bank Of America Corporation Database tool
US11100092B2 (en) 2019-06-17 2021-08-24 Bank Of America Corporation Database tool
US11714572B2 (en) 2019-06-19 2023-08-01 Pure Storage, Inc. Optimized data resiliency in a modular storage system
US11281394B2 (en) 2019-06-24 2022-03-22 Pure Storage, Inc. Replication across partitioning schemes in a distributed storage system
US10929046B2 (en) 2019-07-09 2021-02-23 Pure Storage, Inc. Identifying and relocating hot data to a cache determined with read velocity based on a threshold stored at a storage device
CN110362275B (zh) 2019-07-10 2021-09-07 深圳大普微电子科技有限公司 提升固态硬盘服务质量的方法及固态硬盘
US11422751B2 (en) 2019-07-18 2022-08-23 Pure Storage, Inc. Creating a virtual storage system
US11086713B1 (en) 2019-07-23 2021-08-10 Pure Storage, Inc. Optimized end-to-end integrity storage system
US11005970B2 (en) 2019-07-24 2021-05-11 EMC IP Holding Company LLC Data storage system with processor scheduling using distributed peek-poller threads
US11226847B2 (en) 2019-08-29 2022-01-18 Robin Systems, Inc. Implementing an application manifest in a node-specific manner using an intent-based orchestrator
US11520650B2 (en) 2019-09-05 2022-12-06 Robin Systems, Inc. Performing root cause analysis in a multi-role application
US11249851B2 (en) 2019-09-05 2022-02-15 Robin Systems, Inc. Creating snapshots of a storage volume in a distributed storage system
US11963321B2 (en) 2019-09-11 2024-04-16 Pure Storage, Inc. Low profile latching mechanism
US11113158B2 (en) 2019-10-04 2021-09-07 Robin Systems, Inc. Rolling back kubernetes applications
US11347684B2 (en) 2019-10-04 2022-05-31 Robin Systems, Inc. Rolling back KUBERNETES applications including custom resources
US11893126B2 (en) 2019-10-14 2024-02-06 Pure Storage, Inc. Data deletion for a multi-tenant environment
US11403043B2 (en) 2019-10-15 2022-08-02 Pure Storage, Inc. Efficient data compression by grouping similar data within a data segment
US11768628B2 (en) 2019-10-23 2023-09-26 Sony Interactive Entertainment Inc. Information processing apparatus
US11941116B2 (en) 2019-11-22 2024-03-26 Pure Storage, Inc. Ransomware-based data protection parameter modification
US11720692B2 (en) 2019-11-22 2023-08-08 Pure Storage, Inc. Hardware token based management of recovery datasets for a storage system
US11651075B2 (en) 2019-11-22 2023-05-16 Pure Storage, Inc. Extensible attack monitoring by a storage system
US11675898B2 (en) 2019-11-22 2023-06-13 Pure Storage, Inc. Recovery dataset management for security threat monitoring
US11687418B2 (en) 2019-11-22 2023-06-27 Pure Storage, Inc. Automatic generation of recovery plans specific to individual storage elements
US11615185B2 (en) 2019-11-22 2023-03-28 Pure Storage, Inc. Multi-layer security threat detection for a storage system
US11341236B2 (en) 2019-11-22 2022-05-24 Pure Storage, Inc. Traffic-based detection of a security threat to a storage system
US11755751B2 (en) 2019-11-22 2023-09-12 Pure Storage, Inc. Modify access restrictions in response to a possible attack against data stored by a storage system
US11500788B2 (en) 2019-11-22 2022-11-15 Pure Storage, Inc. Logical address based authorization of operations with respect to a storage system
US11645162B2 (en) 2019-11-22 2023-05-09 Pure Storage, Inc. Recovery point determination for data restoration in a storage system
US11657155B2 (en) 2019-11-22 2023-05-23 Pure Storage, Inc Snapshot delta metric based determination of a possible ransomware attack against data maintained by a storage system
US11625481B2 (en) 2019-11-22 2023-04-11 Pure Storage, Inc. Selective throttling of operations potentially related to a security threat to a storage system
US11520907B1 (en) 2019-11-22 2022-12-06 Pure Storage, Inc. Storage system snapshot retention based on encrypted data
US11720714B2 (en) 2019-11-22 2023-08-08 Pure Storage, Inc. Inter-I/O relationship based detection of a security threat to a storage system
US11403188B2 (en) 2019-12-04 2022-08-02 Robin Systems, Inc. Operation-level consistency points and rollback
US11704192B2 (en) 2019-12-12 2023-07-18 Pure Storage, Inc. Budgeting open blocks based on power loss protection
US11847331B2 (en) 2019-12-12 2023-12-19 Pure Storage, Inc. Budgeting open blocks of a storage unit based on power loss prevention
US11416144B2 (en) 2019-12-12 2022-08-16 Pure Storage, Inc. Dynamic use of segment or zone power loss protection in a flash device
KR20210108130A (ko) 2020-02-25 2021-09-02 에스케이하이닉스 주식회사 메모리 시스템 및 그것의 동작 방법
US11188432B2 (en) 2020-02-28 2021-11-30 Pure Storage, Inc. Data resiliency by partially deallocating data blocks of a storage device
US11507297B2 (en) 2020-04-15 2022-11-22 Pure Storage, Inc. Efficient management of optimal read levels for flash storage systems
US11256587B2 (en) 2020-04-17 2022-02-22 Pure Storage, Inc. Intelligent access to a storage device
US11416338B2 (en) 2020-04-24 2022-08-16 Pure Storage, Inc. Resiliency scheme to enhance storage performance
US11789611B2 (en) 2020-04-24 2023-10-17 Netapp, Inc. Methods for handling input-output operations in zoned storage systems and devices thereof
US11474986B2 (en) 2020-04-24 2022-10-18 Pure Storage, Inc. Utilizing machine learning to streamline telemetry processing of storage media
US11108638B1 (en) 2020-06-08 2021-08-31 Robin Systems, Inc. Health monitoring of automatically deployed and managed network pipelines
US11528186B2 (en) 2020-06-16 2022-12-13 Robin Systems, Inc. Automated initialization of bare metal servers
US11768763B2 (en) 2020-07-08 2023-09-26 Pure Storage, Inc. Flash secure erase
US11513974B2 (en) 2020-09-08 2022-11-29 Pure Storage, Inc. Using nonce to control erasure of data blocks of a multi-controller storage system
US11681448B2 (en) 2020-09-08 2023-06-20 Pure Storage, Inc. Multiple device IDs in a multi-fabric module storage system
US11740980B2 (en) 2020-09-22 2023-08-29 Robin Systems, Inc. Managing snapshot metadata following backup
US11743188B2 (en) 2020-10-01 2023-08-29 Robin Systems, Inc. Check-in monitoring for workflows
US11271895B1 (en) 2020-10-07 2022-03-08 Robin Systems, Inc. Implementing advanced networking capabilities using helm charts
US11456914B2 (en) 2020-10-07 2022-09-27 Robin Systems, Inc. Implementing affinity and anti-affinity with KUBERNETES
US11750451B2 (en) 2020-11-04 2023-09-05 Robin Systems, Inc. Batch manager for complex workflows
CN112491905B (zh) * 2020-12-01 2023-05-05 郑州昂视信息科技有限公司 网络设备的性能测试方法、装置及系统
US11556361B2 (en) 2020-12-09 2023-01-17 Robin Systems, Inc. Monitoring and managing of complex multi-role applications
US11487455B2 (en) 2020-12-17 2022-11-01 Pure Storage, Inc. Dynamic block allocation to optimize storage system performance
US11614880B2 (en) 2020-12-31 2023-03-28 Pure Storage, Inc. Storage system with selectable write paths
US11847324B2 (en) 2020-12-31 2023-12-19 Pure Storage, Inc. Optimizing resiliency groups for data regions of a storage system
US11340987B1 (en) 2021-03-04 2022-05-24 Netapp, Inc. Methods and systems for raid protection in zoned solid-state drives
US11630593B2 (en) 2021-03-12 2023-04-18 Pure Storage, Inc. Inline flash memory qualification in a storage system
US11507597B2 (en) 2021-03-31 2022-11-22 Pure Storage, Inc. Data replication to meet a recovery point objective
US11567673B1 (en) * 2021-08-18 2023-01-31 International Business Machines Corporation Adaptive, proactive raid rebuild
US11832410B2 (en) 2021-09-14 2023-11-28 Pure Storage, Inc. Mechanical energy absorbing bracket apparatus
US11797377B2 (en) 2021-10-05 2023-10-24 Netapp, Inc. Efficient parity determination in zoned solid-state drives of a storage system
US11803329B2 (en) 2021-11-22 2023-10-31 Netapp, Inc. Methods and systems for processing write requests in a storage system
US11861231B2 (en) 2021-12-16 2024-01-02 Netapp, Inc. Scalable solid-state storage system and methods thereof
US11940911B2 (en) 2021-12-17 2024-03-26 Netapp, Inc. Persistent key-value store and journaling system

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208813A (en) 1990-10-23 1993-05-04 Array Technology Corporation On-line reconstruction of a failed redundant array system
JP2923702B2 (ja) * 1991-04-01 1999-07-26 株式会社日立製作所 記憶装置及びそのデータ修復方法
US5403639A (en) 1992-09-02 1995-04-04 Storage Technology Corporation File server having snapshot application data groups
DE9310582U1 (de) 1993-07-15 1993-09-23 Hettich Paul Gmbh & Co Rasteinrichtung fuer schubkaesten o.dgl.
US6412045B1 (en) 1995-05-23 2002-06-25 Lsi Logic Corporation Method for transferring data from a host computer to a storage media using selectable caching strategies
US6018778A (en) * 1996-05-03 2000-01-25 Netcell Corporation Disk array controller for reading/writing striped data using a single address counter for synchronously transferring data between data ports and buffer memory
US5832529A (en) 1996-10-11 1998-11-03 Sun Microsystems, Inc. Methods, apparatus, and product for distributed garbage collection
US5940838A (en) 1997-07-11 1999-08-17 International Business Machines Corporation Parallel file system and method anticipating cache usage patterns
US6038639A (en) 1997-09-09 2000-03-14 Storage Technology Corporation Data file storage management system for snapshot copy operations
US6041366A (en) 1998-02-02 2000-03-21 International Business Machines Corporation System and method for dynamic specification of input/output attributes
US6157963A (en) 1998-03-24 2000-12-05 Lsi Logic Corp. System controller with plurality of memory queues for prioritized scheduling of I/O requests from priority assigned clients
US6301640B2 (en) 1998-07-02 2001-10-09 Lucent Technologies, Inc. System and method for modeling and optimizing I/O throughput of multiple disks on a bus
US6799283B1 (en) 1998-12-04 2004-09-28 Matsushita Electric Industrial Co., Ltd. Disk array device
JP2000181803A (ja) 1998-12-18 2000-06-30 Fujitsu Ltd 鍵管理機能付電子データ保管装置および電子データ保管方法
US6292856B1 (en) 1999-01-29 2001-09-18 International Business Machines Corporation System and method for application influence of I/O service order post I/O request
US6321345B1 (en) * 1999-03-01 2001-11-20 Seachange Systems, Inc. Slow response in redundant arrays of inexpensive disks
US6834298B1 (en) 1999-09-21 2004-12-21 Siemens Information And Communication Networks, Inc. System and method for network auto-discovery and configuration
US6804755B2 (en) 2000-06-19 2004-10-12 Storage Technology Corporation Apparatus and method for performing an instant copy of data based on a dynamically changeable virtual mapping scheme
US6912537B2 (en) 2000-06-20 2005-06-28 Storage Technology Corporation Dynamically changeable virtual mapping scheme
JP2002108573A (ja) 2000-09-28 2002-04-12 Nec Corp ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体
US6871011B1 (en) 2000-09-28 2005-03-22 Matsushita Electric Industrial Co., Ltd. Providing quality of service for disks I/O sub-system with simultaneous deadlines and priority
US6718448B1 (en) 2000-11-28 2004-04-06 Emc Corporation Queued locking of a shared resource using multimodal lock types
US6757769B1 (en) 2000-11-28 2004-06-29 Emc Corporation Cooperative lock override procedure
US20020065833A1 (en) * 2000-11-30 2002-05-30 Emc Corporation System and method for evaluating changes in performance arising from reallocation of files among disk storage units
US6850938B1 (en) 2001-02-08 2005-02-01 Cisco Technology, Inc. Method and apparatus providing optimistic locking of shared computer resources
JP4457184B2 (ja) 2001-02-13 2010-04-28 ネットアップ，インコーポレイテッド ストレージシステムにおけるフェイルオーバー処理
US6973549B1 (en) 2001-12-10 2005-12-06 Incipient, Inc. Locking technique for control and synchronization
US6986015B2 (en) 2001-12-10 2006-01-10 Incipient, Inc. Fast path caching
US7539991B2 (en) 2002-03-21 2009-05-26 Netapp, Inc. Method and apparatus for decomposing I/O tasks in a raid system
US7260628B2 (en) 2002-09-06 2007-08-21 Hitachi, Ltd. Event notification in storage networks
US7216164B1 (en) 2002-10-09 2007-05-08 Cisco Technology, Inc. Methods and apparatus for determining the performance of a server
US7028218B2 (en) 2002-12-02 2006-04-11 Emc Corporation Redundant multi-processor and logical processor configuration for a file server
US20070162954A1 (en) 2003-04-07 2007-07-12 Pela Peter L Network security system based on physical location
US20050210304A1 (en) * 2003-06-26 2005-09-22 Copan Systems Method and apparatus for power-efficient high-capacity scalable storage system
US7424498B1 (en) 2003-06-30 2008-09-09 Data Domain, Inc. Probabilistic summary data structure based encoding for garbage collection
US7379974B2 (en) * 2003-07-14 2008-05-27 International Business Machines Corporation Multipath data retrieval from redundant array
US7107420B2 (en) 2003-08-29 2006-09-12 International Business Machines Corporation Apparatus and method to adjust data transfer rate
US7865485B2 (en) 2003-09-23 2011-01-04 Emc Corporation Multi-threaded write interface and methods for increasing the single file read and write throughput of a file server
US7127545B1 (en) 2003-11-19 2006-10-24 Veritas Operating Corporation System and method for dynamically loadable storage device I/O policy modules
JP4426262B2 (ja) 2003-11-26 2010-03-03 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の障害回避方法
JP4518541B2 (ja) 2004-01-16 2010-08-04 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の制御方法
US8560747B1 (en) 2007-02-16 2013-10-15 Vmware, Inc. Associating heartbeat data with access to shared resources of a computer system
JP4456909B2 (ja) 2004-03-29 2010-04-28 株式会社日立製作所 バックアップ方法、ストレージシステム及びそのプログラム
JP2005293774A (ja) 2004-04-02 2005-10-20 Hitachi Global Storage Technologies Netherlands Bv ディスク装置の制御方法
US7424482B2 (en) 2004-04-26 2008-09-09 Storwize Inc. Method and system for compression of data for block mode access storage
CN100407166C (zh) * 2004-07-29 2008-07-30 普安科技股份有限公司 改善数据读取效率的方法及其储存系统
JP2006106975A (ja) * 2004-10-01 2006-04-20 Canon Inc ディスクアレイ装置及びその制御方法
US20060074940A1 (en) 2004-10-05 2006-04-06 International Business Machines Corporation Dynamic management of node clusters to enable data sharing
US7363444B2 (en) 2005-01-10 2008-04-22 Hewlett-Packard Development Company, L.P. Method for taking snapshots of data
JP2006285889A (ja) * 2005-04-05 2006-10-19 Sony Corp データ記憶装置、再構築制御装置、再構築制御方法、プログラム及び記憶媒体
US7913300B1 (en) 2005-04-08 2011-03-22 Netapp, Inc. Centralized role-based access control for storage servers
US8364845B2 (en) 2005-05-19 2013-01-29 Wyse Technology Inc. Method and system for thin client configuration
WO2006123416A1 (ja) 2005-05-19 2006-11-23 Fujitsu Limited ディスク故障復旧方法及びディスクアレイ装置
US7933936B2 (en) 2005-06-10 2011-04-26 Network Appliance, Inc. Method and system for automatic management of storage space
US7979613B2 (en) 2005-07-15 2011-07-12 International Business Machines Corporation Performance of a storage system
JP2007087036A (ja) 2005-09-21 2007-04-05 Hitachi Ltd スナップショット維持装置及び方法
JP4662548B2 (ja) 2005-09-27 2011-03-30 株式会社日立製作所 スナップショット管理装置及び方法並びにストレージシステム
JP4790372B2 (ja) * 2005-10-20 2011-10-12 株式会社日立製作所 ストレージのアクセス負荷を分散する計算機システム及びその制御方法
JP2007199953A (ja) 2006-01-25 2007-08-09 Fujitsu Ltd ディスクアレイ装置およびディスクアレイ制御方法
JP4927408B2 (ja) 2006-01-25 2012-05-09 株式会社日立製作所 記憶システム及びそのデータ復元方法
US7743197B2 (en) 2006-05-11 2010-06-22 Emulex Design & Manufacturing Corporation System and method for virtualizing PCIe devices
JP2007233903A (ja) 2006-03-03 2007-09-13 Hitachi Ltd 記憶制御装置及び記憶制御装置のデータ回復方法
US8832247B2 (en) 2006-03-24 2014-09-09 Blue Coat Systems, Inc. Methods and systems for caching content at multiple levels
US7987438B2 (en) 2006-08-10 2011-07-26 International Business Machines Corporation Structure for initializing expansion adapters installed in a computer system having similar expansion adapters
US7555599B2 (en) 2006-09-06 2009-06-30 International Business Machines Corporation System and method of mirrored RAID array write management
US7475215B2 (en) 2006-09-08 2009-01-06 Lsi Corporation Identification of uncommitted memory blocks during an initialization procedure
JP4573898B2 (ja) 2006-11-27 2010-11-04 富士通株式会社 サーバ管理プログラム、メールサーバ管理プログラム、サーバ管理システム、管理サーバおよびサーバ管理方法
US8694712B2 (en) 2006-12-05 2014-04-08 Microsoft Corporation Reduction of operational costs of virtual TLBs
US8402201B2 (en) * 2006-12-06 2013-03-19 Fusion-Io, Inc. Apparatus, system, and method for storage space recovery in solid-state storage
US20080155191A1 (en) 2006-12-21 2008-06-26 Anderson Robert J Systems and methods for providing heterogeneous storage systems
US8370562B2 (en) 2007-02-25 2013-02-05 Sandisk Il Ltd. Interruptible cache flushing in flash memory systems
JP4529990B2 (ja) 2007-03-30 2010-08-25 ブラザー工業株式会社 画像処理プログラム及び画像処理装置
JP4900811B2 (ja) 2007-03-30 2012-03-21 株式会社日立製作所 記憶システムおよび記憶制御方法
US7958303B2 (en) 2007-04-27 2011-06-07 Gary Stephen Shuster Flexible data storage system
US8086652B1 (en) 2007-04-27 2011-12-27 Netapp, Inc. Storage system-based hole punching for reclaiming unused space from a data container
CN101682503A (zh) 2007-05-30 2010-03-24 富士通株式会社 图像加密装置、图像解密装置、方法以及程序
US7765426B2 (en) 2007-06-07 2010-07-27 Micron Technology, Inc. Emerging bad block detection
US8874854B2 (en) 2007-07-30 2014-10-28 International Business Machines Corporation Method for selectively enabling and disabling read caching in a storage subsystem
US7877380B2 (en) 2008-02-25 2011-01-25 Yahoo! Inc. System for query scheduling to maximize work sharing
US8473779B2 (en) * 2008-02-29 2013-06-25 Assurance Software And Hardware Solutions, Llc Systems and methods for error correction and detection, isolation, and recovery of faults in a fail-in-place storage array
US7970994B2 (en) 2008-03-04 2011-06-28 International Business Machines Corporation High performance disk array rebuild
US8352540B2 (en) 2008-03-06 2013-01-08 International Business Machines Corporation Distinguishing data streams to enhance data storage efficiency
US7945752B1 (en) * 2008-03-27 2011-05-17 Netapp, Inc. Method and apparatus for achieving consistent read latency from an array of solid-state storage devices
US7870345B2 (en) * 2008-03-27 2011-01-11 Isilon Systems, Inc. Systems and methods for managing stalled storage devices
US7873619B1 (en) 2008-03-31 2011-01-18 Emc Corporation Managing metadata
US7788541B2 (en) * 2008-04-15 2010-08-31 Dot Hill Systems Corporation Apparatus and method for identifying disk drives with unreported data corruption
US8621241B1 (en) 2008-04-25 2013-12-31 Netapp, Inc. Storage and recovery of cryptographic key identifiers
US8117464B1 (en) 2008-04-30 2012-02-14 Netapp, Inc. Sub-volume level security for deduplicated data
US9678879B2 (en) 2008-05-29 2017-06-13 Red Hat, Inc. Set partitioning for encoding file system allocation metadata
US8392791B2 (en) * 2008-08-08 2013-03-05 George Saliba Unified data protection and data de-duplication in a storage system
US8046551B1 (en) 2008-08-14 2011-10-25 Emc Corporation Techniques for processing I/O requests
US8296547B2 (en) 2008-08-27 2012-10-23 International Business Machines Corporation Loading entries into a TLB in hardware via indirect TLB entries
US20100057673A1 (en) 2008-09-04 2010-03-04 Boris Savov Reusable mapping rules for data to data transformation
US7992037B2 (en) * 2008-09-11 2011-08-02 Nec Laboratories America, Inc. Scalable secondary storage systems and methods
US8145806B2 (en) * 2008-09-19 2012-03-27 Oracle International Corporation Storage-side storage request management
US20100077205A1 (en) 2008-09-19 2010-03-25 Ekstrom Joseph J System and Method for Cipher E-Mail Protection
KR101034022B1 (ko) * 2008-09-25 2011-05-11 기아자동차주식회사 캠으로 구동하는 연료 펌프 윤활장치
US8756369B2 (en) 2008-09-26 2014-06-17 Netapp, Inc. Priority command queues for low latency solid state drives
JP4399021B1 (ja) 2008-10-29 2010-01-13 株式会社東芝 ディスクアレイ制御装置および記憶装置
US7945733B2 (en) 2008-12-12 2011-05-17 Lsi Corporation Hierarchical storage management (HSM) for redundant array of independent disks (RAID)
US8200922B2 (en) 2008-12-17 2012-06-12 Netapp, Inc. Storage system snapshot assisted by SSD technology
KR101638764B1 (ko) * 2008-12-19 2016-07-22 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 균일한 판독 대기시간을 위한 중복 데이터 저장
US8312204B2 (en) 2009-01-23 2012-11-13 Seagate Technology Llc System and method for wear leveling in a data storage device
JP5012822B2 (ja) * 2009-01-27 2012-08-29 日本電気株式会社 記憶制御装置
JP4869368B2 (ja) 2009-03-12 2012-02-08 株式会社東芝 ストレージ装置及び仮想化装置
US7941584B2 (en) 2009-03-26 2011-05-10 Arm Limited Data processing apparatus and method for performing hazard detection
US8205065B2 (en) 2009-03-30 2012-06-19 Exar Corporation System and method for data deduplication
US8560787B2 (en) 2009-03-30 2013-10-15 International Business Machines Corporation Incremental backup of source to target storage volume
TWI397009B (zh) 2009-04-30 2013-05-21 Inventec Corp 基本輸入輸出系統的資料處理裝置
US8180955B2 (en) 2009-05-06 2012-05-15 Via Telecom, Inc. Computing systems and methods for managing flash memory device
EP2302638B1 (fr) 2009-09-21 2013-04-17 STMicroelectronics (Rousset) SAS Procédé d'écriture et de lecture de données dans une mémoire non volatile, au moyen de métadonnées
US8510569B2 (en) 2009-12-16 2013-08-13 Intel Corporation Providing integrity verification and attestation in a hidden execution environment
US9134918B2 (en) 2009-12-31 2015-09-15 Sandisk Technologies Inc. Physical compression of data with flat or systematic pattern
US8452932B2 (en) 2010-01-06 2013-05-28 Storsimple, Inc. System and method for efficiently creating off-site data volume back-ups
US9059851B2 (en) 2010-02-23 2015-06-16 Salesforce.Com, Inc. Method and computer program product for order preserving symbol based encryption
JP4892072B2 (ja) 2010-03-24 2012-03-07 株式会社東芝 ホスト装置と連携して重複データを排除するストレージ装置、同ストレージ装置を備えたストレージシステム、及び同システムにおける重複排除方法
US8487835B2 (en) * 2010-04-27 2013-07-16 Sukho JUNG Display device
US8738970B2 (en) 2010-07-23 2014-05-27 Salesforce.Com, Inc. Generating performance alerts
US8713268B2 (en) 2010-08-05 2014-04-29 Ut-Battelle, Llc Coordinated garbage collection for raid array of solid state disks
US8468318B2 (en) 2010-09-15 2013-06-18 Pure Storage Inc. Scheduling of I/O writes in a storage environment
US8589625B2 (en) 2010-09-15 2013-11-19 Pure Storage, Inc. Scheduling of reconstructive I/O read operations in a storage environment
US8775868B2 (en) 2010-09-28 2014-07-08 Pure Storage, Inc. Adaptive RAID for an SSD environment
US20120117029A1 (en) 2010-11-08 2012-05-10 Stephen Gold Backup policies for using different storage tiers
US8966184B2 (en) 2011-01-31 2015-02-24 Intelligent Intellectual Property Holdings 2, LLC. Apparatus, system, and method for managing eviction of data
US9563555B2 (en) 2011-03-18 2017-02-07 Sandisk Technologies Llc Systems and methods for storage allocation
US8595267B2 (en) 2011-06-27 2013-11-26 Amazon Technologies, Inc. System and method for implementing a scalable data storage service
US8751463B1 (en) 2011-06-30 2014-06-10 Emc Corporation Capacity forecasting for a deduplicating storage system
US8793467B2 (en) 2011-09-30 2014-07-29 Pure Storage, Inc. Variable length encoding in a storage system
US8527544B1 (en) 2011-08-11 2013-09-03 Pure Storage Inc. Garbage collection in a storage system
US8788788B2 (en) 2011-08-11 2014-07-22 Pure Storage, Inc. Logical sector mapping in a flash storage array
US8806160B2 (en) 2011-08-16 2014-08-12 Pure Storage, Inc. Mapping in a storage system
JP5768587B2 (ja) 2011-08-17 2015-08-26 富士通株式会社 ストレージシステム、ストレージ制御装置およびストレージ制御方法
US8700875B1 (en) 2011-09-20 2014-04-15 Netapp, Inc. Cluster view for storage devices
WO2013051129A1 (ja) 2011-10-06 2013-04-11 株式会社 日立製作所 格納データの重複排除方法、格納データの重複排除装置、及び重複排除プログラム
US8825605B2 (en) 2011-10-11 2014-09-02 Netapp, Inc. Deduplication aware scheduling of requests to access data blocks
US8918579B2 (en) 2012-02-06 2014-12-23 Sandisk Technologies Inc. Storage device and method for selective data compression
US9519647B2 (en) 2012-04-17 2016-12-13 Sandisk Technologies Llc Data expiry in a non-volatile device
US9075710B2 (en) 2012-04-17 2015-07-07 SanDisk Technologies, Inc. Non-volatile key-value store
US8996881B2 (en) 2012-04-23 2015-03-31 International Business Machines Corporation Preserving redundancy in data deduplication systems by encryption
US8793466B2 (en) 2012-04-27 2014-07-29 Netapp, Inc. Efficient data object storage and retrieval
US9645177B2 (en) 2012-05-04 2017-05-09 Seagate Technology Llc Retention-drift-history-based non-volatile memory read threshold optimization
US8874850B1 (en) 2012-05-10 2014-10-28 Netapp, Inc. Hierarchically tagged cache
US20130318314A1 (en) 2012-05-25 2013-11-28 Red Hat, Inc. Managing copies of data on multiple nodes using a data controller node to avoid transaction deadlock
CA2877284A1 (en) 2012-06-18 2013-12-27 Actifio, Inc. Enhanced data management virtualization system
US8959305B1 (en) 2012-06-29 2015-02-17 Emc Corporation Space reclamation with virtually provisioned devices
US9489293B2 (en) 2012-08-17 2016-11-08 Netapp, Inc. Techniques for opportunistic data storage
US9021263B2 (en) 2012-08-31 2015-04-28 Cleversafe, Inc. Secure data access in a dispersed storage network
JP5954081B2 (ja) 2012-09-26 2016-07-20 富士通株式会社 ストレージ制御装置、ストレージ制御方法、およびストレージ制御プログラム
US9348757B2 (en) 2012-10-08 2016-05-24 International Business Machines Corporation System supporting multiple partitions with differing translation formats
WO2014076743A1 (en) 2012-11-19 2014-05-22 Hitachi, Ltd. Storage system
US9348840B2 (en) 2012-12-14 2016-05-24 Intel Corporation Adaptive data striping and replication across multiple storage clouds for high availability and performance
US9646039B2 (en) 2013-01-10 2017-05-09 Pure Storage, Inc. Snapshots in a storage system
US9886346B2 (en) 2013-01-11 2018-02-06 Commvault Systems, Inc. Single snapshot for multiple agents
US9652376B2 (en) 2013-01-28 2017-05-16 Radian Memory Systems, Inc. Cooperative flash memory control
US9335932B2 (en) 2013-03-15 2016-05-10 Bracket Computing, Inc. Storage unit selection for virtualized storage units
US9519575B2 (en) 2013-04-25 2016-12-13 Sandisk Technologies Llc Conditional iteration for a non-volatile device
US10263770B2 (en) 2013-11-06 2019-04-16 Pure Storage, Inc. Data protection in a storage system using external secrets
US9516016B2 (en) 2013-11-11 2016-12-06 Pure Storage, Inc. Storage array password management
JP6233086B2 (ja) 2014-02-20 2017-11-22 富士通株式会社 ストレージ制御装置，ストレージシステム及び制御プログラム
US10169121B2 (en) 2014-02-27 2019-01-01 Commvault Systems, Inc. Work flow management for an information management system
US10656864B2 (en) 2014-03-20 2020-05-19 Pure Storage, Inc. Data replication within a flash storage array
US9361469B2 (en) 2014-03-26 2016-06-07 Amazon Technologies, Inc. Electronic communication with secure screen sharing of sensitive information
US9513820B1 (en) 2014-04-07 2016-12-06 Pure Storage, Inc. Dynamically controlling temporary compromise on data redundancy
US9563509B2 (en) 2014-07-15 2017-02-07 Nimble Storage, Inc. Methods and systems for storing data in a redundant manner on a plurality of storage units of a storage system
US9489132B2 (en) 2014-10-07 2016-11-08 Pure Storage, Inc. Utilizing unmapped and unknown states in a replicated storage system
US10430282B2 (en) 2014-10-07 2019-10-01 Pure Storage, Inc. Optimizing replication by distinguishing user and system write activity
US9552248B2 (en) 2014-12-11 2017-01-24 Pure Storage, Inc. Cloud alert to replica

Also Published As

Publication number Publication date
CN103370686B (zh) 2016-08-03
WO2012037318A1 (en) 2012-03-22
KR101867635B1 (ko) 2018-06-15
US11307772B1 (en) 2022-04-19
JP2016189209A (ja) 2016-11-04
US8589625B2 (en) 2013-11-19
JP2013541765A (ja) 2013-11-14
US9436396B2 (en) 2016-09-06
CN103370686A (zh) 2013-10-23
EP2616922B1 (en) 2017-11-08
US20120066449A1 (en) 2012-03-15
US8862820B2 (en) 2014-10-14
JP5956445B2 (ja) 2016-07-27
KR20140007333A (ko) 2014-01-17
US20140075115A1 (en) 2014-03-13
EP3206118A1 (en) 2017-08-16
US20150032958A1 (en) 2015-01-29
EP2616922A1 (en) 2013-07-24
US20220244865A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
JP6337042B2 (ja) ストレージ環境における再構成ｉ／ｏ読み込み動作のスケジューリング
JP6356720B2 (ja) ソリッドステートドライブ（ｓｓｄ）環境におけるｉ／ｏのスケジューリング
JP6298098B2 (ja) ストレージ環境におけるｉ／ｏ書き込みのスケジューリング
US10228865B1 (en) Maintaining a target number of storage devices for variable I/O response times in a storage system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20170411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R150 Certificate of patent or registration of utility model

Ref document number: 6337042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250