JP7108426B2 - イーサネットソリッドステートドライブ格納システム及びそれに対する帯域幅サービス水準協約を制御する方法 - Google Patents
イーサネットソリッドステートドライブ格納システム及びそれに対する帯域幅サービス水準協約を制御する方法 Download PDFInfo
- Publication number
- JP7108426B2 JP7108426B2 JP2018030016A JP2018030016A JP7108426B2 JP 7108426 B2 JP7108426 B2 JP 7108426B2 JP 2018030016 A JP2018030016 A JP 2018030016A JP 2018030016 A JP2018030016 A JP 2018030016A JP 7108426 B2 JP7108426 B2 JP 7108426B2
- Authority
- JP
- Japan
- Prior art keywords
- ethernet
- solid state
- state drive
- ethernet solid
- bandwidth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
- G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
- G06F13/4295—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus using an embedded synchronisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0688—Non-volatile semiconductor memory arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L12/40052—High-speed IEEE 1394 serial bus
- H04L12/40065—Bandwidth and channel allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/35—Switches specially adapted for specific applications
- H04L49/351—Switches specially adapted for specific applications for local area network [LAN], e.g. Ethernet switches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0024—Peripheral component interconnect [PCI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0026—PCI express
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0894—Policy-based network configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Environmental & Geological Engineering (AREA)
- Small-Scale Networks (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
一実施形態で、予め定められた進入帯域幅は予め定められた進出帯域幅と異なることができる。
他の実施形態で、予め定められた帯域幅は少なくとも1つのイーサネットソリッドステートドライブ(eSSD)と連関されたサービス水準に基づくことができる。
その他の実施形態で、予め定められた帯域幅は少なくとも1つのイーサネットソリッドステートドライブ(eSSD)の動作パラメータに適応的に基づくことができる。
一実施形態で、予め定められた進入帯域幅は予め定められた進出帯域幅と異なることができる。
一実施形態で、帯域幅容量は少なくとも1つのイーサネットソリッドステートドライブと連関されたサービス水準に基づくことができる。
他の実施形態で、帯域幅容量は少なくとも1つのイーサネットソリッドステートドライブの動作パラメータに適応的に基づくことができる。
この観点からは、ここで使用されるように、“例示的な(exemplary)”の単語は“例(example)、事例(instance)、又は実例(illustration)として機能する”ことを意味する。即ち、“例示的な”ものとしてここで記述される任意の実施形態は、他の実施形態より好ましい(preferred)とか、又は有利である(advantageous)とか、を必ずしも意味しない。また、そこでの文脈に依存して、単数形の用語は対応する複数形態を含み、そして複数形の用語は対応する単数形態を含み得る。ここに図示され、論議される多様な図面(構成要素ダイヤグラムを含む)は、実例説明のみを目的とし、縮尺は任意である(not_to_scale)。同様に、多様な波形及びタイミング図は実例説明のみを目的とする。例えば、要素の一部のサイズは明確性のために他の要素に対して強調される場合がある。また、適切であると看做されれば、参照番号は複数の図面中において繰り返し使われて、対応する及び/又は類似な要素を示す。
ここで使用されるように、“第1”、“第2”等の用語はこれらが先行する名詞に対する単なるラベル(labels)として使用され、明示的に定義されない限り、任意のタイプの順序付け(ordering)(例えば、空間的(spatial)、時間的(temporal)、論理的(logical)等)を含意(imply)しない。また、同一の参照番号は2つ以上の図面にわたって使用されて同一又は類似な機能を有する部分、構成要素、ブロック、回路、ユニット、又はモジュールを参照できる。しかし、このような使用は記述の簡潔性及び論議の簡易化のみを目的とし、このような構成要素又はユニットの構成又は構造的詳細が全ての実施形態にわたって同一であることを含意せず、又はこのような共通に参照される部分/モジュールがここに記載された特定の実施形態の教示を具現する唯一の方法であることを含意しない。
速度-調節(rate-limiting)構成は、各個別イーサネットソリッドステートドライブ(eSSD)に対して、進入方向(ingress direction)(ホスト書込み)と、進出方向(egress direction)(ホスト読出し)と、で異なり得る。イーサネットスイッチングの速度-調節構成は、
(i) 管理サーバの管理者(administrator)から受信される命令語(commands)及び/又は帯域幅情報に応答して、
(ii) ベースボード管理制御器(BMC)装置に含まれた1つ以上の政策(policy)を執行するベースボード管理制御器(BMC)装置に応答して、又は、
(iii) システムの1つ以上のイーサネットソリッドステートドライブ(eSSD)の現在の健康(health)、即ち現在の状態(status)に応答して、設定される。
ここで使用されるように、“帯域幅情報”の用語は、個別イーサネットソリッドステートドライブ(eSSD)、イーサネットソリッドステートドライブ(eSSD)のグループ及び/又は制御プラットフォームに結合されたイーサネットソリッドステートドライブ(eSSD)全体のプール(pool)に適用される進入及び/又は進出帯域幅と連関された情報を含む。
一実施形態で、制御プラットフォーム100は24個のイーサネットソリッドステートドライブ(eSSD)105を含む。他の実施形態として、イーサネットソリッドステートドライブ(eSSD)の制御プラットフォーム100は48個のイーサネットソリッドステートドライブ(eSSD)105を含む。その他の実施形態として、イーサネットソリッドステートドライブ(eSSD)の制御プラットフォーム100は任意の数のイーサネットソリッドステートドライブ(eSSD)105を含む場合もある。
イーサネットスイッチ101はアップリンクイーサネットポート106及び/又はダウンリンクイーサネットポート107に対して速度調節(rate limiting)を遂行する。速度調節はパケット又はフレームキューイング(queueing)、日程管理(scheduling)、及び流れ及び混雑制御(flow and congestion control)の3つの構成要素を有する。均等化キューイング(WFQ、Weighted Fair Queuing、重み付け公平待ち行列)速度調節構成要素はキューイングサブシステム(sub-systems)を具現するのに使用される。日程管理速度調節構成要素の一部の例はウェイトラウンドロビン(WRR、Weighted Round Robin、重み付け総当たり)技術及び欠損ラウンドロビン(DRR、Deficit Round Robin、不完全総当たり)技術を含む。流れ及び混雑制御速度調節構成要素は、例えばテールドロップ(Tail Drop)技術及び/又は重み付けランダム早期廃棄(WRED、Weighted Random Early Discard)技術を利用して具現される。一部の実施形態で、早期混雑通知(ECN、Early Congestion Notification)技術が使用されてトラフィックの流れを制御する。イーサネットリンクに対して、ポーズフレーム(pause frames)及び優先順位流れ制御(PFC、Priority Flow Control)標準技術が使用される。
一実施形態で、1つ以上のサービス水準協約(SLA)はベースボード管理制御器(BMC)装置102が執行する特定の帯域幅政策と連関される。一実施形態で、帯域幅政策は個別イーサネットソリッドステートドライブ(eSSD)105と連関される。他の実施形態で、帯域幅政策はイーサネットソリッドステートドライブ(eSSD)の制御プラットフォーム100に連結された全てのイーサネットソリッドステートドライブ(eSSD)105の部分集合を形成するイーサネットソリッドステートドライブ(eSSD)105のグループと連関される。その他の実施形態で、帯域幅政策はイーサネットソリッドステートドライブ(eSSD)の制御プラットフォーム100に連結された全てのイーサネットソリッドステートドライブ(eSSD)105と連関される。
第1通信経路はイーサネットスイッチ101を通じたイーサネットネットワーク110の上にある。第2通信経路はPCIeスイッチ103及びミッド-プレーン104を通じたPCIeバス111の上にある。第3通信経路はベースボード管理制御器(BMC)装置102及びイーサネットソリッドステートドライブ(eSSD)105の間に連結されたシステム管理バス(SMBus、System Management Bus)112を通じる。
ベースボード管理制御器(BMC)装置102はまた、管理ポート113を具備し、これを通じて管理者(使用者)によって動作される管理サーバ160がベースボード管理制御器(BMC)装置102と通信し、制御する。ベースボード管理制御器(BMC)装置102は1つ以上の帯域幅政策を形成するのに使用される1つ以上のイーサネットソリッドステートドライブ(eSSD)105に対する帯域幅情報を受信する。管理サーバ160はイーサネットソリッドステートドライブ(eSSD)の制御プラットフォーム110に近接して又は遠隔に配置される。
仮想製品データ(VPD、Virtual Product Data)読出しによってイーサネットソリッドステートドライブ(eSSD)から獲得された情報は、ベースボード管理制御器(BMC)装置102に局所的に格納され、帯域幅サービス水準協約(SLA)を適応的に制御するのに使用される。一実施形態で、イーサネットソリッドステートドライブ(eSSD)105の状態及び/又はパラメータは、システム管理バスSMBus(112)及び/又はPCIeインタフェイス(111)に亘って実行される(run)、NVMe管理インタフェイス(NVMe-MI)基盤のプロトコルを利用してベースボード管理制御器(BMC)装置によって読み出される。
図2(A)は、イーサネット進入及び進出帯域幅B/Wサービス水準協約(SLA)がイーサネットソリッドステートドライブ(eSSD)の各々に対して同一である場合の、複数のイーサネットソリッドステートドライブ(eSSD)に対するイーサネット進入及び進出帯域幅(B/W)サービス水準協約(SLA)に対する例示的な政策表109aを示す。具体的に、各イーサネットソリッドステートドライブ(eSSD)は5Gbpsの進入帯域幅(B/W)サービス水準協約(SLA)及び10Gbpsの進出帯域幅(B/W)サービス水準協約(SLA)を有する。
図2(B)は、イーサネット進入及び進出帯域幅(B/W)サービス水準協約(SLA)がイーサネットソリッドステートドライブ(eSSD)の各々に対して相異なる場合の、複数のイーサネットソリッドステートドライブ(eSSD)に対するイーサネット進入及び進出帯域幅(B/W)サービス水準協約(SLA)に対する例示的な政策表109bを示す。
図2(C)は表でイーサネット進入及び進出帯域幅(B/W)サービス水準協約(SLA)がイーサネットソリッドステートドライブ(eSSD)の相異なるグループに対して相異なる場合の、複数のイーサネットソリッドステートドライブ(eSSD)に対するイーサネット進入及び進出帯域幅(B/W)サービス水準協約(SLA)に対するその他の例示的な政策表109cを示す。特に、第1グループを為す第0及び第1イーサネットソリッドステートドライブeSSD-0、eSSD-1は全て5Gbpsの進入帯域幅(B/W)サービス水準協約(SLA)及び5Gbpsの進出帯域幅(B/W)サービス水準協約(SLA)を有するが、第2グループを為す第2乃至第nイーサネットソリッドステートドライブeSSD-2~eSSD-nは各々5Gbpsの進入帯域幅(B/W)サービス水準協約(SLA)及び10Gbpsの進出帯域幅(B/W)サービス水準協約(SLA)を有する。
否の場合は、流れは303に進み、ベースボード管理制御器(BMC)はイーサネットソリッドステートドライブ(eSSD)のNVMe-MIを通じて仮想製品データ(VPD)を読み出す。仮想製品データ(VPD)は、共通ヘッダ、製品情報、多重記録(multirecord)情報、内部使用情報、シャーシ(chassis)情報領域及びボード特化情報を含むが、これらに限定されない。304で、ベースボード管理制御器(BMC)は仮想製品情報(VPD)に基づいてイーサネットソリッドステートドライブ(eSSD)を識別する。305で、ベースボード管理制御器(BMC)はイーサネットソリッドステートドライブ(eSSD)に対するイーサネットソリッドステートドライブ(eSSD)パラメータを局所的に格納した後、流れは302に戻って行く。
システムパワーアップ又はシステムリセット時に政策変更を要する理由は、
(i) 1つ以上の新しいイーサネットソリッドステートドライブ(eSSD)が既存の複数のイーサネットソリッドステートドライブ(eSSD)105に追加されるか、
(ii) 複数のイーサネットソリッドステートドライブ(eSSD)105の内、以前に存在した1つ以上のイーサネットソリッドステートドライブ(eSSD)が除去されるか、及び/又は、
(iii) 複数のイーサネットソリッドステートドライブ(eSSD)105の内、以前に存在した1つ以上のイーサネットソリッドステートドライブ(eSSD)が動作不能になった可能性がある、ためである。
これに限定されないが、このような事件は以前と相異なる政策の活性化を誘発する場合がある。また、ビットエラー率BER、動作温度、格納容量等のようなイーサネットソリッドステートドライブ(eSSD)の特性は時間に応じて変化し、従って政策変更の必要を誘発する。また、1つ以上のイーサネットソリッドステートドライブ(eSSD)105は時間に応じて他のホスト及び/又は応用に再割当され、これも政策変更の必要を誘発する。政策変更を誘発するその他の例は、時間帯の変更、例えば昼間対夜間又は週中対週末に適用される多重の政策を含む。
406で政策変更が必要であると判断される他の理由は、1つ以上の新しいイーサネットソリッドステートドライブ(eSSD)が複数のイーサネットソリッドステートドライブ(eSSD)105に追加(即ち、ホットスワップ)されるか、複数のイーサネットソリッドステートドライブ(eSSD)105中に以前に存在した1つ以上のイーサネットソリッドステートドライブeSSDsが除去(即ち、ホットスワップ)されるか、及び/又は、複数のイーサネットソリッドステートドライブ(eSSD)105中に以前に存在した1つ以上のイーサネットソリッドステートドライブ(eSSD)が動作不能になった、場合である。
これに限定されないこのような事件等は他の政策が活性化されることを誘発する。また、ビットエラー率BER、動作温度、格納容量等のようなイーサネットソリッドステートドライブ(eSSD)の特徴は時間に応じて変化し、従って政策変更の必要を誘発する。また、1つ以上のイーサネットソリッドステートドライブ(eSSD)105は時間に応じて他のホスト及び/又は応用に再割当され、これも政策変更の必要を誘発する。406で政策変更を誘発するその他の例は異なる時間帯、例えば昼間対夜間又は週中対週末に適用される多重政策を含む。
101 イーサネットスイッチ
102 ベースボード管理制御器(BMC)
103 PCIeスイッチ
104 ミッドプレーン
105a~105n イーサネットソリッドステートドライブ(eSSD)
106 アップリンクポート
107 ダウンリンクポート
108 イーサネットポート
109a、109b、109c 政策表
110 イーサネットネットワーク
111 PCIeバス 112 システム管理バス
113 管理ポート
150 遠隔ホスト
300 サービス水準協約(SLA)政策執行を初期化するためのプロセス
BMC ベースボード管理制御器
eSSD イーサネットソリッドステートドライブ
DRR 欠損ラウンドロビン(不完全総当たり)
ECN 早期混雑通知
NVMe-MI NVMe管理インタフェイス)
NVMeof ファブリックに亘る不揮発性メモリエクスプレス(Non-Volatile Memory Express over Fabrics)
SLA サービス水準協約
SMBus システム管理バス
SQ 待機列
WFQ ウェイトフェアキュー(均等化(重み付け公平)待ち行列)
WRR ウェイトラウンドロビン(重み付け総当たり)
PFC 優先順位流れ制御
VPD 仮想製品データ(Virtual Product Data)
Claims (20)
- 少なくとも1つのイーサネットソリッドステートドライブ(Ethernet solid-state drive)と、
前記少なくとも1つのイーサネットソリッドステートドライブのイーサネットポートに結合されたイーサネットスイッチと、
前記少なくとも1つのイーサネットソリッドステートドライブ及び前記イーサネットスイッチに結合された制御器と、を備え、
前記制御器は、
前記イーサネットソリッドステートドライブに対する帯域幅情報を政策表に格納し、
前記イーサネットスイッチを通じて使用者データの伝送を速度調節(rate limiting)することによって前記少なくとも1つのイーサネットソリッドステートドライブに1つ以上の帯域幅を提供するように前記イーサネットスイッチをプログラムするように構成され、
前記イーサネットスイッチは、前記イーサネットスイッチを通じた前記イーサネットソリッドステートドライブへの使用者データの伝送を速度調節するように構成されることを特徴とするイーサネットソリッドステートドライブシステム。 - 前記イーサネットソリッドステートドライブに対する前記1つ以上の帯域幅は、前記イーサネットソリッドステートドライブに対する予め定められた進入帯域幅及び予め定められた進出帯域幅を含むことを特徴とする請求項1に記載のイーサネットソリッドステートドライブシステム。
- 前記1つ以上の帯域幅は、前記イーサネットソリッドステートドライブに関連付けられたサービス水準に基づくことを特徴とする請求項2に記載のイーサネットソリッドステートドライブシステム。
- 前記1つ以上の帯域幅は、前記イーサネットソリッドステートドライブの動作パラメータに適応的に基づくことを特徴とする請求項3に記載のイーサネットソリッドステートドライブシステム。
- 前記イーサネットソリッドステートドライブに対する前記1つ以上の帯域幅は、前記イーサネットソリッドステートドライブに関連付けられたビットエラー率に基づくことを特徴とする請求項1に記載のイーサネットソリッドステートドライブシステム。
- 前記イーサネットソリッドステートドライブに対する前記1つ以上の帯域幅は、前記イーサネットソリッドステートドライブに関連付けられた動作温度に基づくことを特徴とする請求項1に記載のイーサネットソリッドステートドライブシステム。
- 前記制御器は、ベースボード管理制御器を含むことを特徴とする請求項1に記載のイーサネットソリッドステートドライブシステム。
- イーサネットソリッドステートドライブ(Ethernet solid-state drive)システムに対する帯域幅を制御する方法であって、
制御器で、複数のイーサネットソリッドステートドライブの中の少なくとも1つのイーサネットソリッドステートドライブに対する帯域幅情報を受信する段階と、
前記制御器で、前記イーサネットソリッドステートドライブに対する前記受信された帯域幅情報を格納する段階と、
前記制御器によって、イーサネットソリッドステートドライブに対する帯域幅情報に基づいてイーサネットスイッチをプログラムすることによって前記イーサネットソリッドステートドライブに対する前記イーサネットスイッチの帯域幅容量を構成する段階と、
前記イーサネットソリッドステートドライブに対する帯域幅情報に基づいて前記イーサネットスイッチと前記イーサネットソリッドステートドライブとの間の使用者データの伝送を速度調節(rate limiting)する段階と、を有し、
前記イーサネットスイッチは、前記イーサネットソリッドステートドライブのイーサネットポートに結合され、
前記速度調節は、前記イーサネットスイッチによって、少なくとも局所的に行われることを特徴とする方法。 - 前記イーサネットソリッドステートドライブに対する前記帯域幅容量は、前記イーサネットソリッドステートドライブに対する予め定められた進入帯域幅及び予め定められた進出帯域幅を含むことを特徴とする請求項8に記載の方法。
- 前記帯域幅容量は、前記イーサネットソリッドステートドライブに関連付けられたサービス水準に基づくことを特徴とする請求項9に記載の方法。
- 前記帯域幅容量は、前記イーサネットソリッドステートドライブの動作パラメータに適応的に基づくことを特徴とする請求項10に記載の方法。
- 前記イーサネットソリッドステートドライブに対する前記帯域幅容量は、前記イーサネットソリッドステートドライブに関連付けられたビットエラー率に基づくことを特徴とする請求項8に記載の方法。
- 前記イーサネットソリッドステートドライブに対する前記帯域幅容量は、前記イーサネットソリッドステートドライブに関連付けられた動作温度に基づくことを特徴とする請求項8に記載の方法。
- イーサネットソリッドステートドライブ(Ethernet solid-state drive)に対する帯域幅を制御する方法であって、
前記イーサネットソリッドステートドライブのイーサネットポートに結合されたイーサネットスイッチを通じてホストと前記イーサネットソリッドステートドライブとの間でデータを伝送する段階と、
前記ホストと前記イーサネットソリッドステートドライブとの間の使用者データの伝送を速度調節(rate limiting)するように前記イーサネットスイッチを構成する段階と、を有し、
前記イーサネットスイッチは、制御器によって構成され、
前記速度調節は、前記イーサネットスイッチによって、少なくとも局所的に行われることを特徴とする方法。 - 前記制御器は、管理者から受信した命令語(commands)に基づいて前記イーサネットスイッチを構成することを特徴とする請求項14に記載の方法。
- 前記制御器は、管理者から前記イーサネットソリッドステートドライブに対する帯域幅情報を受信し、前記帯域幅情報に基づいて前記イーサネットスイッチを構成することを特徴とする請求項14に記載の方法。
- 前記制御器は、前記イーサネットソリッドステートドライブの1つ以上の状態を監視し、前記1つ以上の状態に基づいて前記イーサネットスイッチを構成することを特徴とする請求項14に記載の方法。
- 前記イーサネットスイッチは、待ち行列(Queuing)によって前記ホストと前記イーサネットソリッドステートドライブとの間の使用者データの伝送を速度調節するように構成されることを特徴とする請求項14に記載の方法。
- 前記イーサネットスイッチは、日程管理(scheduling)によって前記ホストと前記イーサネットソリッドステートドライブとの間の使用者データの伝送を速度調節するように構成されることを特徴とする請求項14に記載の方法。
- 前記イーサネットスイッチは、流れ制御(flow control)によって前記ホストと前記イーサネットソリッドステートドライブとの間の使用者データの伝送を速度調節するように構成されることを特徴とする請求項14に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762462901P | 2017-02-23 | 2017-02-23 | |
US62/462,901 | 2017-02-23 | ||
US15/487,431 US11543967B2 (en) | 2017-02-23 | 2017-04-13 | Method for controlling BW SLA in NVME-of ethernet SSD storage systems |
US15/487,431 | 2017-04-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018137749A JP2018137749A (ja) | 2018-08-30 |
JP7108426B2 true JP7108426B2 (ja) | 2022-07-28 |
Family
ID=63167182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018030016A Active JP7108426B2 (ja) | 2017-02-23 | 2018-02-22 | イーサネットソリッドステートドライブ格納システム及びそれに対する帯域幅サービス水準協約を制御する方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11543967B2 (ja) |
JP (1) | JP7108426B2 (ja) |
KR (1) | KR102435004B1 (ja) |
CN (1) | CN108512777B (ja) |
TW (1) | TWI794198B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7436627B2 (ja) | 2020-03-05 | 2024-02-21 | ファナック株式会社 | 画像処理装置、作業指示作成システム、作業指示作成方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10459665B2 (en) * | 2017-04-03 | 2019-10-29 | Samsung Electronics Co., Ltd. | System and method of configuring NVMe-oF devices using a baseboard management controller (BMC) |
US10733137B2 (en) * | 2017-04-25 | 2020-08-04 | Samsung Electronics Co., Ltd. | Low latency direct access block storage in NVME-of ethernet SSD |
US10275180B2 (en) * | 2017-05-08 | 2019-04-30 | Samsung Electronics Co., Ltd. | Ethernet SSD system including storage offload engine (SoE) controller and ethernet switch |
US10726930B2 (en) * | 2017-10-06 | 2020-07-28 | Western Digital Technologies, Inc. | Method and system for a storage (SSD) drive-level failure and health prediction leveraging machine learning on internal parametric data |
CN109840232B (zh) * | 2017-11-28 | 2022-05-13 | 华为技术有限公司 | 存储设备及存储设备的元件管理方法 |
US20240095196A1 (en) * | 2018-03-02 | 2024-03-21 | Samsung Electronics Co., Ltd. | Method for supporting erasure code data protection with embedded pcie switch inside fpga+ssd |
US11770271B2 (en) | 2020-08-21 | 2023-09-26 | Samsung Electronics Co., Ltd. | Data center |
KR20220084844A (ko) | 2020-12-14 | 2022-06-21 | 삼성전자주식회사 | 스토리지 장치 및 스토리지 장치의 동작 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048124A (ja) | 2002-07-09 | 2004-02-12 | Hitachi Ltd | 記憶装置の帯域制御装置、方法及びプログラム |
JP2005204092A (ja) | 2004-01-16 | 2005-07-28 | Hitachi Ltd | 帯域制御機能を有するストレージスイッチ |
JP2007328604A (ja) | 2006-06-08 | 2007-12-20 | Hitachi Ltd | 計算機システム、ストレージ管理プログラム及び計算機管理プログラム |
WO2009011090A1 (ja) | 2007-07-13 | 2009-01-22 | Panasonic Corporation | ネットワーク制御装置、画像表示装置、およびネットワーク制御方法 |
JP2014160527A (ja) | 2013-02-20 | 2014-09-04 | Toshiba Corp | データストレージデバイス |
JP2016212745A (ja) | 2015-05-12 | 2016-12-15 | 株式会社東芝 | 半導体装置 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7940785B2 (en) | 2007-01-08 | 2011-05-10 | International Business Machines Corporation | Ethernet adapter packet management |
US7852867B2 (en) * | 2007-07-06 | 2010-12-14 | Integrated Deoice Technology, Inc. | Integrated memory for storing egressing packet data, replay data and to-be egressed data |
US7792046B2 (en) * | 2008-06-05 | 2010-09-07 | Vss Monitoring, Inc. | Ethernet switch-based network monitoring system and methods |
US8543685B1 (en) * | 2008-08-12 | 2013-09-24 | Eden Rock Communications, Llc | Usage based multiplier modification in rate limiting schemes |
JP4809413B2 (ja) * | 2008-10-08 | 2011-11-09 | 株式会社日立製作所 | ストレージシステム |
US8572271B2 (en) | 2009-01-29 | 2013-10-29 | Qualcomm Incorporated | Multimedia management system for seamless multimedia content mobility |
US8174969B1 (en) * | 2009-11-24 | 2012-05-08 | Integrated Device Technology, Inc | Congestion management for a packet switch |
US9210048B1 (en) | 2011-03-31 | 2015-12-08 | Amazon Technologies, Inc. | Clustered dispersion of resource use in shared computing environments |
US9300590B2 (en) * | 2011-06-24 | 2016-03-29 | Dell Products, Lp | System and method for dynamic rate control in Ethernet fabrics |
US8972611B2 (en) * | 2011-08-11 | 2015-03-03 | Cisco Technology, Inc. | Multi-server consolidated input/output (IO) device |
US10257596B2 (en) * | 2012-02-13 | 2019-04-09 | Ciena Corporation | Systems and methods for managing excess optical capacity and margin in optical networks |
US9094302B2 (en) * | 2012-04-16 | 2015-07-28 | Dell Products, Lp | System and method to discover virtual machine instantiations and configure network service level agreements |
US20130311696A1 (en) | 2012-05-18 | 2013-11-21 | Lsi Corporation | Storage processor for efficient scaling of solid state storage |
US10380041B2 (en) * | 2012-08-23 | 2019-08-13 | Dell Products, Lp | Fabric independent PCIe cluster manager |
US9363315B2 (en) * | 2012-08-28 | 2016-06-07 | Skyera, Llc | Integrated storage and switching for memory systems |
US20140195634A1 (en) * | 2013-01-10 | 2014-07-10 | Broadcom Corporation | System and Method for Multiservice Input/Output |
US20150363220A1 (en) * | 2013-02-01 | 2015-12-17 | Hitachi, Ltd. | Virtual computer system and data transfer control method for virtual computer system |
US20140337598A1 (en) * | 2013-05-07 | 2014-11-13 | Lsi Corporation | Modulation of flash programming based on host activity |
US10063638B2 (en) | 2013-06-26 | 2018-08-28 | Cnex Labs, Inc. | NVM express controller for remote access of memory and I/O over ethernet-type networks |
US20150378640A1 (en) * | 2013-06-26 | 2015-12-31 | Cnex Labs, Inc. | Nvm express controller for remote access of memory and i/o over ethernet-type networks |
KR20150047785A (ko) | 2013-10-25 | 2015-05-06 | 삼성전자주식회사 | 서버 시스템 및 스토리지 시스템 |
WO2016196766A2 (en) | 2015-06-03 | 2016-12-08 | Diamanti, Inc. | Enabling use of non-volatile media - express (nvme) over a network |
US9619164B2 (en) * | 2014-05-06 | 2017-04-11 | Nimble Storage, Inc. | Cluster solid state drives |
US9477295B2 (en) | 2014-05-15 | 2016-10-25 | Dell Products, L.P. | Non-volatile memory express (NVMe) device power management |
US9436628B2 (en) * | 2014-05-30 | 2016-09-06 | Apple Inc. | Thermal mitigation using selective I/O throttling |
AU2014401914B2 (en) | 2014-08-13 | 2017-05-25 | Huawei Technologies Co., Ltd. | Storage system, method, and apparatus for processing operation request |
US9712898B2 (en) * | 2014-08-26 | 2017-07-18 | Intel Corporation | Network aggregation in a computing shelf/tray |
US9548872B2 (en) * | 2014-09-26 | 2017-01-17 | Dell Products, Lp | Reducing internal fabric congestion in leaf-spine switch fabric |
US9529619B2 (en) * | 2014-09-30 | 2016-12-27 | Nicira, Inc. | Method of distributing network policies of virtual machines in a datacenter |
US9916087B2 (en) * | 2014-10-27 | 2018-03-13 | Sandisk Technologies Llc | Method and system for throttling bandwidth based on temperature |
US9565269B2 (en) * | 2014-11-04 | 2017-02-07 | Pavilion Data Systems, Inc. | Non-volatile memory express over ethernet |
KR101607136B1 (ko) * | 2014-12-31 | 2016-03-29 | 청주대학교 산학협력단 | SiOC 박막을 이용한 유기전계발광소자 및 그 제조방법 |
US9857995B1 (en) * | 2015-03-09 | 2018-01-02 | Western Digital Technologies, Inc. | Data storage device and method providing non-volatile memory buffer for real-time primary non-volatile memory protection |
US10114778B2 (en) | 2015-05-08 | 2018-10-30 | Samsung Electronics Co., Ltd. | Multi-protocol IO infrastructure for a flexible storage platform |
US9933826B2 (en) * | 2015-05-11 | 2018-04-03 | Hewlett Packard Enterprise Development Lp | Method and apparatus for managing nodal power in a high performance computer system |
US10429909B2 (en) * | 2015-06-01 | 2019-10-01 | Hewlett Packard Enterprise Development Lp | Managing power in a high performance computing system for resiliency and cooling |
US10243791B2 (en) * | 2015-08-13 | 2019-03-26 | A10 Networks, Inc. | Automated adjustment of subscriber policies |
US9658791B2 (en) * | 2015-08-14 | 2017-05-23 | International Business Machines Corporation | Managing temperature of solid state disk devices |
GB2542174B (en) * | 2015-09-10 | 2018-04-04 | Openwave Mobility Inc | An intermediate network entity for controlling bandwidth for an adaptive bit rate stream |
KR20170046097A (ko) * | 2015-10-20 | 2017-04-28 | (주)켐옵틱스 | 저 손실 투과형 파장 가변 광필터 |
US20170195237A1 (en) * | 2015-12-30 | 2017-07-06 | Akamai Technologies, Inc. | Distributed quality-of-service (QoS) mechanism in an overlay network having edge regions |
US10306344B2 (en) * | 2016-07-04 | 2019-05-28 | Huawei Technologies Co., Ltd. | Method and system for distributed control of large photonic switched networks |
US10263898B2 (en) * | 2016-07-20 | 2019-04-16 | Cisco Technology, Inc. | System and method for implementing universal cloud classification (UCC) as a service (UCCaaS) |
US10122651B2 (en) * | 2016-08-31 | 2018-11-06 | Inspeed Networks, Inc. | Dynamic bandwidth control |
-
2017
- 2017-04-13 US US15/487,431 patent/US11543967B2/en active Active
- 2017-09-21 KR KR1020170122019A patent/KR102435004B1/ko active IP Right Grant
- 2017-11-22 CN CN201711171194.1A patent/CN108512777B/zh active Active
-
2018
- 2018-01-08 TW TW107100585A patent/TWI794198B/zh active
- 2018-02-22 JP JP2018030016A patent/JP7108426B2/ja active Active
-
2023
- 2023-01-02 US US18/092,432 patent/US20230133604A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048124A (ja) | 2002-07-09 | 2004-02-12 | Hitachi Ltd | 記憶装置の帯域制御装置、方法及びプログラム |
JP2005204092A (ja) | 2004-01-16 | 2005-07-28 | Hitachi Ltd | 帯域制御機能を有するストレージスイッチ |
JP2007328604A (ja) | 2006-06-08 | 2007-12-20 | Hitachi Ltd | 計算機システム、ストレージ管理プログラム及び計算機管理プログラム |
WO2009011090A1 (ja) | 2007-07-13 | 2009-01-22 | Panasonic Corporation | ネットワーク制御装置、画像表示装置、およびネットワーク制御方法 |
JP2014160527A (ja) | 2013-02-20 | 2014-09-04 | Toshiba Corp | データストレージデバイス |
JP2016212745A (ja) | 2015-05-12 | 2016-12-15 | 株式会社東芝 | 半導体装置 |
Non-Patent Citations (3)
Title |
---|
Wael Noureddine et al.,NVMe over Fabrics,STORAGE DEVELOPER CONFERENCE,2015年12月31日,P.8,18,<URL> https://www.snia.org/sites/default/files/SDC15_presentations/networking/WaelNoureddine_Implementing_%20NVMe_revision.pdf |
久保田 浩,New Face Software,日経NETWORK 第105号 ,日本,日経BP社 Nikkei Business Publications,Inc.,P.49 |
星野 智則,NVMeフラッシュストレージを用いた 高性能・高拡張・高可用なデータベースシステムの実現方法 ~ExpEther技術の活用~,2016年07月13日,P.1-23,<URL> https://pdfslide.net/reader/f/db-tech-showcase-tokyo-2016-d13-nvme |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7436627B2 (ja) | 2020-03-05 | 2024-02-21 | ファナック株式会社 | 画像処理装置、作業指示作成システム、作業指示作成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2018137749A (ja) | 2018-08-30 |
KR20180097433A (ko) | 2018-08-31 |
CN108512777B (zh) | 2023-05-23 |
TW201832536A (zh) | 2018-09-01 |
US20180239540A1 (en) | 2018-08-23 |
US11543967B2 (en) | 2023-01-03 |
US20230133604A1 (en) | 2023-05-04 |
CN108512777A (zh) | 2018-09-07 |
TWI794198B (zh) | 2023-03-01 |
KR102435004B1 (ko) | 2022-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7108426B2 (ja) | イーサネットソリッドステートドライブ格納システム及びそれに対する帯域幅サービス水準協約を制御する方法 | |
EP2262186B1 (en) | Traffic-load dependent power reduction in high-speed packet switching systems | |
KR100922965B1 (ko) | 네트워크온칩 장치와 이를 위한 동작 주파수 제어 방법 | |
US8730982B2 (en) | Scheduling of data transmission with minimum and maximum shaping of flows in a network device | |
US11914440B2 (en) | Protocol level control for system on a chip (SoC) agent reset and power management | |
US9086878B2 (en) | Oversubscribing to a packet processing device to adjust power consumption | |
US20060164979A1 (en) | Communication traffic management monitoring systems and methods | |
US6337865B1 (en) | Fair buffer credit distribution flow control | |
TW201001975A (en) | Network system with quality of service management and associated management method | |
US20080069138A1 (en) | System and method for managing bandwidth | |
US11677673B1 (en) | Low latency flow control in data centers | |
US11646978B2 (en) | Data communication method and apparatus | |
US20210336895A1 (en) | Data transmission method and network device | |
CN103765398A (zh) | 至少部分地判定缓冲存储器字段的一个或多个各自量 | |
EP2880542B1 (en) | Technique for controlling memory accesses | |
Prasopoulos et al. | SIRD: A Sender-Informed, Receiver-Driven Datacenter Transport Protocol | |
Hassan et al. | EEEP: an extreme end to end flow control protocol for SDRAM access through networks on chip | |
Zhao | Improving energy efficiency of internet equipment | |
Waskiewicz Jr | Converged Networking in the Data Center |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7108426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |