JP5686424B2 - コンピュータラック - Google Patents

Description

本発明は、コンピュータラックおよびこれを用いたシステムに関する。

ＩＴ(Information Technology)産業のカーボンフットプリント(carbon footprint)は、全産業の２％であるとはいえ、航空産業のそれと同じと見積もられている。大きいカーボンフットプリントの一部は、ＩＴ産業におけるデータセンターのための高いレベルの電力消費の結果である。例えば、米国環境保護庁(US Environmental Protection Agency; EPA)は、米国内のデータセンターだけで２００６年に６１０億キロワットアワー(kWh)の電力を消費したと報告した。このエネルギー消費のレベルは、５８０万近くの平均的世帯の分に等しい。

ＩＴシステムは、全経済のカーボンプリントの残りの９８％に対応してますます使用される。例えば、ＩＴシステムは、旅行を置き換えるビデオ会議機能を提供してもよい。

本発明は、上記背景からなされたものであって、環境持続可能性を向上させるコンピュータラックを提供することを目的とする。

上記課題を解決するために、本発明にかかる第１のコンピュータラックは、支柱構造と、前記支柱構造から伸び、それぞれ各ブレードを受けるように位置決めされる支持構造の第１のセットおよび前記支持構造の第２のセットと、前記支柱構造に支えられ、前記支持構造の第１のセットに対応付けられる第１の通信ポートと、前記支柱構造に支えられ、前記支持構造の第２のセットに対応付けられる第２の通信ポートとを備える。

また、本発明にかかるシステムは、第１の支柱構造と、前記第１の支柱構造から突き出て第１の複数のブレードを支持する第１の複数の支持構造とを有する第１のコンピュータラックと、第２の支柱構造と、前記第２の支柱構造から突き出て第２の複数のブレードを支持する第２の複数の支持構造とを有する第２のコンピュータラックと、前記第１のコンピュータラックおよび前記第２のコンピュータラックに電力を供給する複数の電源供給装置を含む電源供給スタックとを備える。

また、本発明にかかる第２のコンピュータラックは、第１の柱、第２の柱および中央部材を含み、前記第１の柱および前記第２の柱は一般的に並行な方向に向けられる支柱構造と、前記支柱構造から伸びて、それぞれ各ブレードを受け入れるように位置決めされ、前記第１の中央部材とともにＨ字型の外形を形成する第１の支持構造および第２の支持構造と、前記支柱構造により担われ、前記支持構造の第１のセットと対応付けられる第１の通信ポートと、前記支柱構造により担われ、前記支持構造の第２のセットと対応付けられる第２の通信ポートとを備え、前記支柱構造は、前記第１の通信ポートと前記第２の通信ポートとを通信可能に結合する。

本発明によれば、環境持続可能性を向上させるコンピュータラックを提供することができる。

図１は、本開示の教示に従って構成されたコンピュータラック(computer rack)の一例の図である。 図２は、図１に示されたコンピュータラックに受け入れられるコンピュートブレード(compute blade)の一例の図である。 図３は、図１に示されたコンピュータラックに受け入れられる非コンピュートブレード(non-compute blade)の一例の図である。 図４は、図１に示されたコンピュータラックに受け入れられる非コンピュートブレードの一例の図である。 図５は、図２〜４のブレードの１つずつを支持する支持構造の一例の図である。 図６は、図１のコンピュータラックの図であって、図５に示された支持構造のＨ型の断面図を詳述する図である。 図７は、データセンターにおいて用いられる従来のバックプレーンの実施の図である。 図８は、図１のコンピュータラックの一例において実施されるバックプレーンの一例の図である。 図９は、図１に示された複数の例示的なコンピュータラックを備えるデータセンターの一例の図である。 図１０Ａは、図９に示されたデータセンターにおいて例示的なコンピュータラックを用いる構成例の第１の図である。 図１０Ｂは、図９に示されたデータセンターにおいて例示的なコンピュータラックを用いる構成例の第２の図である。 図１０Ｃは、図９に示されたデータセンターにおいて例示的なコンピュータラックを用いる構成例の第３の図である。 図１０Ｄは、図９に示されたデータセンターにおいて例示的なコンピュータラックを用いる構成例の第４の図である。 図１１は、ラックの列ごとに単一の冷却ユニットを含むデータセンターのレイアウトの一例の図である。 図１２は、ラックの列ごとに複数の冷却ユニットを含むデータセンターのレイアウトの一例の図である。

現行のあるいは以前の多くのインフォメーションテクノロジー（ＩＴ）システムは、環境持続可能性(environment sustainability)あるいは環境要素への配慮なしに、データセンターの能力を最適化するように設計されてきた。さらに、データセンターにおける現行の環境持続可能性に対応するアプローチは、データセンターの構成要素(components)を構成するために使われた原材料の抽出、データセンターの構成要素の輸送、データセンターの構成要素の運用およびデータセンターの構成要素の廃棄といったデータセンターのライフサイクルの全段階を横切った環境持続可能性への対応に欠ける。それどころか、現行のアプローチは、純粋なエネルギー消費の観点からのデータセンターにおける環境持続可能性に対応する傾向にある。

ここで開示されるデータセンターにおける環境持続可能性の定量化の１つのアプローチは、データセンターの環境への影響の多くの、最も大きいあるいは全ての側面(facets)を備えるライフサイクル評価(life-cycle assessment)である。ライフサイクル評価の実施の一例は、熱力学的エクセルギー(exergy)の計測および見積もりまたはこれらのいずれかを含む。エクセルギーは、データセンターの耐用年数(lifetime)にわたるデータセンターおよび構成要素またはこれらのいずれかを建設し、運用し、維持するために消費される利用可能なエネルギーを定量化する。例えば、エネルギーが発生も消滅もしないと（例えば熱力学第一法則）、エネルギーは、実際のエントロピーを生み出すいずれの過程によっても有用な仕事の実行において連続的に消費される（例えば熱力学第二法則）。だから、データセンターの耐用年数にわたるデータセンターの側面の実質的な部分を横断したエネルギー消費を計測することは、環境持続可能性の計測を可能にする。

ここで開示されるさらなるアプローチは、エクセルギー消費を、組み込み(embedded)エクセルギー消費、動作(operational)エクセルギー消費および基盤(infrastructure)エクセルギー消費の３つの広いカテゴリーに分類することを含む。エクセルギー消費をこれらのカテゴリーに分類することにより、データセンター内部の構成要素およびさらにデータセンター全体としての全エクセルギー消費を計測し、見積もることができる。

データセンターの構成要素の組み込みエクセルギー消費は、データセンターの特定の構成要素を作るために使われたエクセルギーの指標である。組み込みエクセルギー消費は、例えば、原材料の抽出、製造、輸送およびリサイクルに使われたエクセルギーを含む。高度に手入れの行き届いた(highly ordered)電子部品（例えばプロセッサ、メモリモジュール、ハードディスクドライブなど）を製造することは、一般に多くのエクセルギーを消費するので、大部分の構成要素にとって、大部分の組み込みエクセルギーは製造過程の間に消費される。

データセンターの構成要素の動作エクセルギーは、データセンターの特定の構成要素が、構成要素の動作耐用年数にわたって動作するために用いられるエクセルギーの指標である。動作エクセルギーは、一般的に、構成要素に動力を供給するために用いられるエクセルギーを含む。例えば、ある構成要素は、１年間動作するためにある量の電力を必要とするかもしれず、求められる耐用年数として３年を有するかもしれない。９９．９９％の使用可能期間と組み合わせるときには、構成要素により消費されるであろうエクセルギーの量の予測が可能となる。基盤エクセルギーは、動作エクセルギー消費と関連付けられると、ＩＴ構成要素の支持基盤において用いられたエクセルギー（例えば、データセンターを制御するために用いられたエクセルギー）からなる。

データセンターの環境持続可能性をよくすること（例えば、消費される総エクセルギーを削減すること）は、数々の態様で達成され得る。例えば、組み込みエクセルギー消費は、よりエネルギー効率のよい方法で生産されたデータセンターの構成要素を選択することにより減らされてよい。多くの場合には、組み込みエクセルギー消費を減らす最も効果的な方法は、データセンターで使われる材料の量を減らすことである。例えば、組み込みエクセルギー消費をより多くの時間長にわたって償却することになるので、組み込みエクセルギー消費は、アップサイクリング（upcycling；例えばそれらが通常にはリサイクルされたり廃棄されたりするときに構成要素を再使用すること）により改善される。アップサイクリングを容易にするためには、データセンターは、構成部分への局部的なアップデート（例えば、コンピュータ全体を入れ替えるよりはデータセンターのコンピュータの１つの構成部分を入れ替えること）ができるように設計されてよい。

動作および基盤エクセルギー消費は、さらにエネルギー効率のよい構成部分（例えばより消費電力が低いプロセッサ）を選択することにより、また、冷却が最適化されるようにデータセンターを編成することにより減らされるかもしれない。例えば、データセンターは、熱をより発生する構成要素が冷却の努力について優先されるように設計されてよい。

図１は、本開示の教示に従って構成されたコンピュータラック１００の一例の図である。コンピュータラック１００は、スパイン(背／脊椎；spine)１２５、１つ以上のコンピュートブレード(compute blade(s))１５０、および、１つ以上の非コンピュートブレード(non-compute blade(s))１７５を含む。図示された例において、スパイン１２５は垂直に位置合わせされ、スパイン１２５によって受け入れられるコンピュートブレード１５０および非コンピュートブレード１７５を確保して支持するレシーバを含む。しかしながら、スパイン１２５は、例えば、水平に揃えられてよい。スパイン１２５は、図７，８と関連付けられて以下に記載されるブレード１５０，１７５の間の電気的あるいは光学的なトレース(traces)を介した通信を容易にする。図示された例のコンピュートブレード１５０は処理機能を提供する一方、非コンピュートブレード１７５は、非計算的なサポート（例えば、メモリ、ストレージ、ネットワーキングなど）を提供する。

図２は、図１に示されたコンピュータラックに受け入れられるコンピュートブレード１５０の一例の図である。図２に示された例のコンピュートブレード１５０は、印刷基板回路(printed circuit board; PCB)２００、プロセッサ２１０、オンボードメモリ２２０および非プロセッサシリコン部品(non-processor silicon components)２３０を含む。コンピュートブレード１５０のＰＣＢ２００は、図１に示されたコンピュータラック１００のスパイン１２５により受けられるように寸法が決められた(dimensioned)回路基板である。ＰＣＢ２００は、プロセッサ２１０、オンボードメモリ２２０および非プロセッサシリコン部品２３０との間の基板上通信を可能にする。図示された図２の例においては、ＰＣＢ２００は、データセンターを建設するために必要とされる原材料の量（例えば、組み込みエクセルギー消費）を減すことと、効果的な冷却を可能にする（例えば、拡大された組み込みエクセルギー消費の削減する）ことの両方のために、小さい形状要素を有する。しかしながら、ＰＣＢ２００を、その他の寸法の構成とする他の要素が考慮されてよい。例えば、ＰＣＢ２００は、コンピュートブレードの将来の拡張可能性（例えば、追加のプロセッサまたはより多くのメモリモジュールが後に追加されてよい）に備えるために拡大されてよい。代わりに、ＰＣＢ２００は、すぐに利用可能な部品が導入されてよい。例えば、市販のマザーボード(commodity motherboard；例えばＡＴＸまたはｍｉｃｒｏ ＡＴＸマザーボード)がコンピュートブレード１５０のＰＣＢ２００の実装のために用いられてよい。

図示された例においては、プロセッサ２１０は、ソケット接続を介してプロセッサ２１０に接続される。ソケット接続は、故障のイベントにおいてプロセッサが素早く交換されうるようにする。代わりに、プロセッサ２１０は、ＰＣＢ２００に直接にはんだ付けされてよく、あるいは、プロセッサ２１０のＰＣＢ２００へのその他のいずれの結合方法も用いられてよい。プロセッサ２１０は、ＰＣＢ２００上のトレースを介してオンボードメモリ２２０および非プロセッサシリコン部品２３０と通信可能に結合される。

図示された例のオンボードメモリ２２０は、一組のデュアルインラインメモリモジュール(Dual in-line memory modules; DIMM)であり、プロセッサ２１０に通信可能に結合される。図２の例においてＤＩＭＭが用いられるのに対し、他のどのような形式のメモリモジュールが付加的にあるいは代替的に用いられてよい。さらに、ＰＣＢ２００のプロセッサ２１０への通信可能な結合は、非プロセッサシリコン部品２３０を介して実現されてよい。図示された例において、４つのＤＩＭＭモジュールが用いられる。しかし、どのような数のＤＩＭＭモジュールが用いられてもよい。オンボードメモリ２２０は、プロセッサ２１０にローカルメモリを提供する。非コンピュートブレード１７５に収容された追加のメモリモジュールは、リモートメモリを提供してよい。

図示された例の非プロセッサシリコン部品２３０は、プロセッサ２１０をコンピュートブレード１５０の追加の部品と通信可能に結合するために用いられるチップセットである。例えば、非プロセッサシリコン部品２３０は、オンボードメモリ２２０へのアクセスを提供するノースブリッジ(Northbridge)を含んでよい。さらに、非プロセッサシリコン部品２３０は、非コンピュートブレード１７５への通信リンクを提供するサウスブリッジ(Southbridge)を含んでよい。図示された例においては、非コンピュートブレード１７５への通信リンクはコンピュータラック１００のスパイン１２５により支えられたトレースにより実現される。

図３は、図１の例において用いられてよい非コンピュートブレード１７５の一例の図である。図３の非コンピュートブレード１７５は、印刷回路基板（ＰＣＢ）３００、１組のメモリモジュール３２０および非プロセッサシリコン部品３３０を備える。ＰＣＢ３００は、図２に示されたＰＣＢ２００とそっくりに、データセンターを建設するために必要とされる原材料の量（例えば、組み込みエクセルギー消費）を減すことと、効果的な冷却を可能にする（例えば、拡大された組み込みエクセルギー消費の削減する）ことの両方のために、小さい形状要素を有する。しかしながら、ＰＣＢ３００を、その他の寸法の構成とする他の要素が考慮されてよい。例えば、ＰＣＢ３００は、非コンピュートブレードの将来の拡張可能性（例えば、より多くのメモリモジュールが後に追加されてよい）に備えるために拡大されてよい。図示された例においては、ＰＣＢ３００は、故障のイベントにおいてメモリモジュール３２０への容易なアクセスを許すメモリモジュール３２０をＰＣＢ３００に対して垂直方向に取り付けるメモリアダプタを介してメモリモジュール３２０を受け入れる。しかしながら、メモリモジュール３２０を実装する他の方法が追加的あるいは代替的に用いられてよい。例えば、メモリモジュール上の空気の流れを増やすために、メモリモジュールをＰＣＢ３００に対して平行な方向に取り付けるアダプタが用いられてよい。

図示された例のメモリモジュール３２０はＤＩＭＭである。しかしながら、他のどのような形式のメモリモジュールが付加的にあるいは代替的に用いられてよい。メモリモジュール３２０は、スパイン１２５のトレースを介してＰＣＢ２００にリモートメモリを提供する。図示された例において、１６個のメモリモジュール３２０が示されているのに対し、どのような数のメモリモジュール３２０が用いられてもよい。例えば、６４個のメモリモジュール３２０が、使用可能なメモリの量を増やすために使われてよい。

図示された例の非プロセッサシリコン部品３３０は、スパイン１２５のトレースを介してコンピュートブレード１５０によりアクセスされる。非プロセッサシリコン部品３３０は、複数のプロセッサの間を統合してよい機能を提供する。例えば、非プロセッサシリコン部品３３０は、ネットワークサポート、グラフィックコントローラ、通信アダプタなどを提供してよい。さらに、非プロセッサシリコン部品３３０は、メモリおよびＩ／Ｏコントローラまたはこれらのいずれかとして機能してよい。

図４は、図１の例において用いられてよい非コンピュートブレード１７５の第２の例である。図４に示された非コンピュートブレード１７５は、図２，３に示されたＰＣＢ２００，３００そっくりの印刷回路基板（ＰＣＢ）４００は、非コンピュートブレード１７５の部品を支持するために用いられる材料の量を減らすような寸法とされる。しかしながら、ＰＣＢ４００は、より多いストレージユニット４４０を提供するために、代替的に、より大きな寸法とされてよい。図示された例においては、ストレージユニット４４０はハードディスクドライブである。しかしながら、例えばソリッドステートデバイス、ＲＡＭデバイス、テープデバイス、フラッシュメモリなどの他のいかなる形式のストレージユニットも、追加的あるいは代替的に用いられてよい。図示された例においては、ストレージユニットは、プロセッサ２１０に長期のストレージを提供し、スパイン１２５のトレースを介してアクセスされる。

図５は、図１に示されたブレード１５０，１７５を支持する支持構造５００の一例の図である。例示の支持構造５００は、２つの外側の支持アーム５２０と接続される中央部材５１０を備える。主に、支持構造５００は、物理的にブレード１５０，１７５を支持するために用いられる。しかしながら、支持構造５００に結びつけられた他の機能があってよい。例えば、支持構造５００は、追加的に通信リンクのインターフェースを提供してよい。図示された例においては、中央部材５１０は、ブレードの端を受け入れる内側のスロットあるいは受入れ５１５を有する。内側スロット５１５は、支持構造５００をブレード（例えばコンピュートブレード１５０または非コンピュートブレード１７５）に通信可能に結合する電気的結合を収容する。図示された例においては、内側スロット５１５の電気的結合は、さらに、コンピュートブレード１５０または非コンピュートブレード１７５をコンピュータラック１００に結合する。この結合方法は、ケーブルが空間を遮らず、トレースがより容易に隠蔽されるようにし、冷却効率を向上させる。代替的に、内側スロット５１５は、電気的結合を提供せず、この結合は代替手段によって実現されてよい。例えば、結合は光学的結合により実現されて（例えば、ブレードを支持構造５００にはめ込むことが結合を完了させるように、光学相互結合ケーブルが、中央部材５１０の中に収容されて）よく、あるいは、結合が、スパイン１００（１２５）のトレースからの直接の結合により（例えば、ブレードに結合する外部のワイヤを介して）実現されてよい。

２つの支持アーム５２０は、中央部材５１０から外側にお互いに並行に伸びる。支持アーム５２０それぞれは、支持ガイド５２５を含む。支持ガイド５２５は横たわって、このように、受け入れられたブレード１５０，１７５に物理的な支持を提供する。支持ガイド５２５それぞれは、それに対応する支持アーム５２０の内側の表面に垂直に伸びて、ブレード１５０，１７５に、硬くて基礎をなす支持を提供する。図示された例においては、支持ガイド５２５は、対応する支持アーム５２０に沿って伸び、隣接した中央部材５１０を終端処理する。しかしながら、支持ガイド５２５は、追加的あるいは代替的に、支持アーム５２０に沿ったいずれの点にも位置することができる。さらに、支持ガイド５２５は、支持アーム５２０に沿ったより小さな部分あるいはタブ(tab)に分割されてよい。支持ガイド５２５に加えて、支持アーム５２０それぞれは、フレキシブルクリップ５３０を備える。支持ガイド５２５のように、それに対応する支持アーム５２０の内側の表面に垂直に伸びる。フレキシブルクリップ５３０は、中央部材５１０から最も遠いその支持アーム５２０の上端の自由端(free end)に位置する。図示された例においては、フレキシブルクリップ５３０は、ブレード１５０，１７５を場所に固定されるようにし、ブレードが、支持構造５００から意図的でなく離れてしまわないように守る。例えば、ブレード１５０，１７５は、フレキシブルクリップ５３０の下、支持ガイド５２５の上の場所にはめ込まれてよい。

図示された例においては、支持構造５００はプラスティックにより構築される。しかしながら、他のどのような材料も、追加的にあるいは代替的に支持構造５００を構築するために用いられてよい。例えば、支持構造５００は金属から構築されてよい。さらに、支持構造５００のある部品は、第一の材料から作られ、他の部品は第２の異なる材料から作られてよい。例えば、中央部材５１０、支持アーム５２０、支持ガイド５２５はメタルから作られてよく、フレキシブルクリップ５３０はブラスティックまたはゴムから作られてよい。

支持構造５００の一例が図５に示されているのに対し、他の実施がブレード１５０，１７５を支持するために使われてよい。例えば、図５の支持構造５００のＵ字型の外形の代わりに、プレートまたはトレイ（硬くて１つ以上の開口部が与えられた）がブレード１５０，１７５を支持するために使われてよい。付加的あるいは代替的に、２つの外側の支持アーム５２０の間を接続する結合ストラット(connective struts)があってもよい（例えば、上端あるいは中程になど）。

図６は、電子スタック（コンピュータラック）１００の一例の図である。図６の例示的な電子スタック１００は、スパイン１２５および向かい合った方向に伸びている複数の支持構造５００を備える。スパイン１２５は、図５に示されたような支持構造５００の中央部材５１０に結合され、垂直に配置された２つのカラム(columns)から成っている。一般的には、スパインは、支持構造５００を向かい合った方向に支持して配置し、支持構造のペアを形成する。図示された例においては、向かい合わされた支持構造５００のペアそれぞれは、同じ平面に位置し、そうして、Ｈ字型の外形あるいは断面を形成する。図示された例においては、支持構造５００のペアそれぞれの中央部材５１０それぞれが接しているのに対し、他の実施が追加的あるいは代替的に用いられてよい。例えば、中央部材５１０は、支持構造５００のペアの間に垂直および水平あるいはこれらのいずれかの隙間があるように配置されてよい。図示された例においては、支持構造５００は水平平面に置かれる。しかしながら、支持構造５００は、追加的あるいは代替的に、例えば、垂直面または水平と垂直の間のいかなる角度などの他の角度に配置されてよい。

図示された例において、５つの支持構造５００のペアが示される。しかしながら、コンピュータラック１００においては、どのような数の支持構造５００のペアが用いられてよい。例えば、立ち替わって、コンピュータラック１００に１２８のブレード１５０，１７５が受け入れられるように、支持構造５００が６４ペア用いられてよい。支持構造５００のペアは、コンピュータラック１００に受け入れられたブレード１５０，１７５の間に空気が流れるようにする垂直の隙間で分離される。図示された例において、支持構造を分離する垂直な隙間は、支持構造の全てのペアの間と同じなのに対し(while)、垂直な隙間は増やされあるいは減らされてよい。垂直な隙間は、例えば、ブレードの間の気流の流形に応じて選択されてよい。例えば、ＰＣＢ４００のそれぞれの面にハードディスクドライブ４４０が立っている図４における非コンピュートブレード１７５は、コンピュートブレード１５０よりも多い垂直な間隔を要してよい。さらに、支持構造のペアは、実質的に垂直な配列に示されている。しかしながら、支持構造のペアは、実質的に垂直な配列にある必要はない。例えば、コンピュータラックの底に近い支持構造は、ペアの支持構造５００の間に水平な間隔を有して、コンピュータラック１００に低い重心を作り出してよい。

図７は、データセンターにおいて用いられる従来のバックプレーン構造７００を図示する。図７のバックプレーン構造は、バックプレーンメディア(backplane medium)７１０、トレース７２０、コンピュータユニット７３０、ネットワーキングユニット７４０および外部通信リンク７５０を含む。図示した例はスタートポロジー(star topology)を示す。図示された例におけるバックプレーンメディア７１０は印刷回路基板であって、トレース７２０を担っている。トレースは、電子的で、バックプレーンメディア７３０（７１０）に組み込まれている。例えば、バックプレーンメディア７１０は、トレース７２０はケーブルを保持する止め金具を含んでよく、トレース７２０は、コンピュータユニット７３０と（ネットワーキングユニット）７４０とを互いに結合するケーブルであってよい。

図７のバックプレーン構造のコンピュータユニット７３０それぞれは、完全に機能するコンピュータユニットである。コンピュータユニット７２０（７３０）に含まれる資源は、コンピュータユニット７２０（７３０）の範囲のみで広がる（例えば、メモリといった資源は共有される必要がない）。

ネットワーキングユニット７４０は、コンピュータユニットへのネットワーク結合可能性を提供する。ネットワーキングユニット７４０は、ネットワークスイッチ、ルータ、ハブなどでありうる。さらに、トレース７２０は、ネットワーキングユニット７４０を通信可能に結合する。その結果として、冗長性が提供される。例えば、１つのネットワーキングユニットが故障しようとしても、他のネットワーキングユニットは、まだ、コンピュータユニット７３０にネットワークコネクションを提供できるであろう。外部通信リンク７５０はネットワーキングユニットと外部ネットワークとの間の通信を提供する。

図８は、図１の例示的な電子スタック（コンピュータラック）１００において実施される例示的なバックプレーン(example backplane)８００の図である。例示的なバックプレーン８００は、スパイン１２５、コンピュートブレード１５０、非コンピュートブレード１７５Ａ，１７５Ｂ、トレース８１０および外部通信リンク８２０を備える。前述のように、スパイン１２５は、コンピュートブレード１５０から非コンピュートブレード１７５へのトレース８１０を有する。ダンベルトポロジー(dumbbell topology)を用いることは、スパイン上のトレースの量を大幅に減らすことができ、より小さいサイズのスパインに導き、それによって環境持続可能性を増やす。図示された例においては、１６のコンピュートブレードおよび１６の非コンピュートブレードがある。しかしながら、いかなる数および配列またはこれらのいずれかのコンピュートおよび非コンピュートブレード１５０，１７５が、追加的にあるいは代替的に用いられる。例えば、スパイン１２５は、全体で６４の水平支持構造を持ってよく、それによって、さらなるブレードを許す。追加的にあるいは代替的に、コンピュートブレード１５０の数は、非コンピュートブレード１７５の数に一致する必要はない。

図示された例においては、２つの形式の非コンピュートブレード１７５が示される。例えば、ストレージブレード１７５Ａはコンピュートブレード１５０にストレージを提供するために含まれる。ストレージブレード１７５Ａは、図４に示された非コンピュートブレード１７５と同様にあるいは同じに構成されてよい。いずれかあるいは全てのストレージブレード１７５Ａは、１つ以上のネットワーキングブレード１７５Ｂを介して１つ以上のコンピュートブレード１５０に結合される。図示された例においては、ネットワーキングブレード１７５Ｂは、コンピュートブレード１５０に、ネットワーキングおよびメモリ共有サポートを提供する。このような例においては、非プロセッサシリコン部品（例えば、非コンピュートブレード１７５のメモリモジュール）は、２つ以上のコンピュートブレード１５０の間で共有されてよい。このような例においては、メモリおよびネットワーキングブレード１７５Ｂは、４つのメモリモジュールを備え、４つのコンピュートブレード１５０と通信可能に結合される。いくつかの例においては、メモリおよびネットワーキングブレード１７５Ｂは、コンピュートブレード１５０それぞれが、追加メモリとして各メモリモジュールのいずれかにアクセスすることを可能にする。いくつかの例においては、メモリおよびネットワーキングブレード１７５Ｂは、それぞれ４つの（全体で１２の）ハードディスクドライブを備えた３つのストレージブレード１７５Ａに通信可能に接続される。いくつかの例においては、メモリおよびネットワーキングブレード１７５Ｂは、コンピュートブレード１５０それぞれを、記憶のために３つのハードディスクドライブにアクセス可能にするように実現されてよい。この例においては、資源（例えばメモリモジュールおよびハードドライブ）は、コンピュートブレード１５０の間で等分されるのに対し、メモリおよびネットワーキングブレード１７５Ｂは、コンピュートブレード１５０それぞれに等しくない量の資源を配分してよい。さらなる例として、資源は、動的に、あるいは、コンピュートブレード１５０の要求に応じて配分されてよい。

図示された例における資源は、複数のブレードの間にわたって共有される。例えば、第１のメモリモジュールは第１のコンピュートブレード１５０に配分される。第２のコンピュートブレードには第２のメモリモジュール（例えば、同じメモリおよびネットワーキングブレード１７５Ｂ上の第２のメモリ）が配分されているのに対し、第２のコンピュートブレード１５０は第１のメモリモジュールへアクセスさせない。この実施は図７に示された既知のデザインとしてシステムの境界を保護する。しかしながら、この実施はまた、複数のコンピュートブレードの間が帯域幅（例えば、メモリアクセス帯域幅）を共有する結果となる。控えめなＩ／Ｏ要求があるコンピュートブレード１５０にとって、帯域幅の共有の効果は小さいか無視できる（例えば、システムパフォーマンスは１０％より多く影響されないかもしれない）。帯域幅の共有が示される間、追加的あるいは代替的な資源共有方法が実施されてよい。例えば、第２のコンピュートブレードは、前の例から第１のメモリモジュールへアクセスさせてよい。

図示された例において、共有された資源がハードディスクドライブおよびメモリモジュールを備えているのに対し、例えば、グラフィック処理ユニット、チップセット、管理プロセッサ、Ｉ／Ｏ通信ポートなどといったいずれの形式の資源が追加的あるいは代替的に共有されてよい。

図示された例におけるブレード１５０，１７５が分離されているのに対して（例えば、スパイン１２５の一方の側のコンピュートブレード１５０、スパイン１２５の反対側の非コンピュートブレード１７５）、ブレード１５０，１７５は、スパインにどのような構成でも取り付けられ得る。ブレードの異なる構成の例は、図１０と関連付けられて示される。

図８の例において、外部通信リンク８２０は、図７に示された外部通信リンク７５０と同様に機能する。しかしながら、ネットワークサポートを提供するためにさらに、図８の外部通信リンク８２０が、代替的におよび／または追加的に、第１のスパイン１２５のメモリおよびネットワーキングブレード１７５Ｂを、第２のスパイン１２５のメモリおよびネットワーキングブレード１７５Ｂに通信可能に結合してよい。このような通信可能な結合は、第２のスパインに位置する非コンピュート資源が、第１のスパインに位置するコンピュートブレードによりアクセスされることを可能にする。よりさらに、このような結合は、第２のコンピュータラックが全て非コンピュートブレード１７５から成っているのに対し、第１のコンピュータラックが全てコンピュートブレード１５０から成っていることを可能にする。このような構成は、より多くの熱を発生するブレード１５０，１７５が一緒にグループ化され、冷却の努力が熱い区域に集中されうることを可能とし、それによって、冷却の効率を向上させる。このようないくつかの例においては、コンピュータラック１００それぞれが、スパイン１２５に一体化されたメモリおよびネットワーキングブレードを有することができる。この構成および他の構成は、図１０に関連付けられて示される。

図９は、図１に示された例示的なコンピュータラック１００の複数の場合を備えたデータセンター９００の一例の図である。例示的なデータセンター９００は、パワー供給ユニット９０５およびコンピュータラック１００Ａ,１００Ｂの複数９００(plurality 900 of computer lacks 100A, 100B)を備える。既知のデータセンターにおいては、パワー供給ユニットはコンピュータラックそれぞれの中に置かれる。図９のデータセンター９００は、パワー供給ユニットを、複数のパワー供給ユニットの列の最後のパワー供給ユニット９０５の中に併合し、移動する。結果として、データセンターへの電源供給は、共有され、冗長化されたプールにグループ化される。この物理的な配列は、他のコンピュータラックと同じファンウォール(fan wall)を再使用することの利益を有し、複数のコンピュータラック９１０を熱的に均一にすることを可能とし、より簡単なサービス（例えば、全ての電源供給ユニットを１つの位置にすること）を可能とする。例えば、全ての電源供給ユニットが、コンピュータラック９１０の列の最後の単一のラックに収容されるので、ファンウォール（例えば、図１１と関連付けられてさらに記載される複数のブレードに向けられた複数のファン）が、パワー供給ユニット９０５をも冷却する。図示された例においては、パワー供給ユニット９０５は、第１のコンピュータラック１００Ａから間隔をあけられ、第２のコンピュータラック１００Ｂがパワー供給ユニット９０５と第１のコンピュータラック１００Ａとの間に位置するように、第２のコンピュータラック１００Ｂに隣り合う。

図１０Ａ〜１０Ｄは、図９に示されたようなデータセンター内の電子スタックの構成の例を図示する。図１０Ａ〜１０Ｄは、どのようにコンピュートおよび非コンピュートブレードが配置されるかを図示している４つの構成例(example configuration)を提供する。図１０Ａの構成例１０００は、コンピュータラック９１０の外側に非コンピュートブレード１７５を用い、コンピュータラック９１０の内側にコンピュートブレード１５０を用いる。図１０Ｂの構成例１０１０は、第１の構成例１０００のコンピュートブレード１５０と非コンピュートブレード１７５との内側／外側の関係を反対にする。図１０Ｃに示されたようにこの構成は反転されてよいのに対して、第３の構成例１０２０は、いくつかのコンピュータラックのスパイン１２５の上方にコンピュートブレード１５０を、スパイン１２５の下方に非コンピュートブレード１７５を置く。図１０Ｄに示された第４の構成例１０３０は、そのラックそれぞれの中に、コンピュートブレード１５０または非コンピュートブレード１７５のみを用いる。第４の構成において、ネットワーキングブレード１７５Ｂもまたそれぞれのスパインに含まれることができ、通信サポートを提供する。ブレードの範囲の多様な構成が、既知のデータセンターにおいては以前に得られなかった冷却の提供および優先順位付けを可能とする。図１０Ａ〜１０Ｄのデータセンターは、異質な熱的領域を作り出す。非コンピュートブレード１７５により生成される熱の量よりも多くの熱の量を生成するコンピュートブレード１５０によって、図示された構成において、複数の異質な熱的領域が作り出される。発熱の量が異なるので、より少ない冷却を必要とするブレード（例えば非コンピュートブレード１７５）よりも、多くの冷却を必要とするブレード（例えばコンピュートブレード１５０）に冷却の優先度（例えば、ファンへの近さ）が与えられるように、ブレード１５０，１７５が組織化される。

図１１は、単一の冷却ユニット１１１０を含む例示的なデータセンター１１００を図示する。例示的なデータセンター１１００は、エンドオブラック(end-of-lack)パワー供給ユニット９０５、複数のコンピュータラック９１０、冷却ユニット１１１０および空間１１２０を備える。図示された例においては、冷却ユニット１１１０は、直接拡張(direct expansion; DX)ユニットであって、複数のコンピュータラック９１０（それによってコンピュータラックを冷却する）の近くの空気のかたまりを冷やす。冷却ユニット１１１０が１つの空気のかたまりを冷やす単一のユニットとして示されているのに対して、冷却ユニットは、２つ以上の冷却ユニットにより実現され、および／または、より多くあるいはより少ない特定の位置（例えば、より多くの冷却を必要とするブレード１５０，１７５の組み合わせに近い）を冷やすように構成されてよい。さらに、図示された例に示された冷却ユニットがＤＸユニットであるのに対して、他のいずれの形式の冷却ユニットも、追加的あるいは代替的に使われてよい。例えば、ファンのバンク(bank of fans)がブレードを通り過ぎた冷たい空気を動かすために用いられてよい。

図示された例において、コンピュータラック９１０のブレード１５０，１７５は、直接、周囲の空気に晒される。例えば、ブレード１５０，１７５は、即時にシャーシの中に囲われない。図７に記載されたデータセンターのような既知のデータセンターは、ブレードそれぞれをシャーシの中に囲う。ブレード１５０，１７５を直接に周囲の空気に晒すことは、より多くの気流および冷却容量を可能とし、それによって、エネルギー効率、そしてデータセンターの環境持続可能性を向上させる。

図示された例においては、空間１１２０は、コンピュータラック９１０の下に位置し、ケーブル布線がコンピュータラックの間でルーティングできるようにする（例えば、ネットワーキングケーブル、電源ケーブルなど）。さらに、空間は、空気を巡回させ、それによって、コンピュータラックを効果的に冷やす能力を拡張する。

図１２は、冷却ユニット１１１０を含む例示的なデータセンター１２００の図である。例示的なデータセンター１２００は、エンドオブラックパワー供給ユニット９０５、複数のパワー供給ユニット９０５、複数の冷却ユニット１１１０、空間１１２０および冷却ウォール１２１０を備える。図示された例においては、冷却ユニット１１１０は、動いてブレードを通り過ぎたときに熱せされて上昇する空気を冷やす。冷却を容易にするために、冷却ウォール１２１０は気流を妨げるように位置決めされ、そして、１つのコンピュータラックから他への熱伝達を妨げる。冷却ウォール１２１０は、液体を収容して、冷却ウォール１２１０の表面を通過した空気をさらに冷やしてもよい。図示された例においては、冷却ウォールが用いられたのに対して、他のいかなる冷却ユニットが、追加的あるいは代替的に用いられてよい。いくつかの例においては、冷却ウォールは省略される。

さらなる例として、コンピュートブレード１５０および非コンピュートブレード１７５は、別々の地理的地域に位置してもよい。例えば、ほとんどあるいは全てコンピュートブレード１５０を備えた第１のコンピュータラックが、例えば第１の地理的地域に位置してよいのに対して、ほとんどあるいは全て非コンピュートブレード１７５を備えた第２のコンピュータラックが、第２の地理的地域に位置してよい。例えば、第１の地理的地域は、より冷たい気候を有し（例えば、第２の地理的地域の平均気温よりも冷たい気温を示し）、第２の地理的地域は、より温かい気候を有し（例えば、第１の地理的地域の平均気温よりも温かい気温を示し）てよい。コンピュータラックが位置する建物は、地理的地域それぞれにおいて、気候の観点から別々に建設されてよい。例えば、第１の地理的地域（例えばアラスカ）の建物は、建物の内側の空気を、建物の外側の空気とより交換しやすいように設計されてよいのに対して、第２の地理的地域例えば、電力が、他の地域よりも安価、あるいは、風力、太陽光、水力といった代替電源を介して得られるかもしれあい）は、建物を冷やすために電力を用いるように設計されてよい。これら気候の違いと建物の構造の違いの結果として、第１の場所と第２の場所とで、冷却コストが異なるかも知れない。結果として、一般的に、より多く冷却を要する構成要素を含むラック（例えば、動作において、ほとんど非コンピュートブレードを含むラックよりも、多くの熱を発するラック）は、第１または第２の場所いずれであっても、冷却に、より低いエネルギー消費を要する方に置かれてよいのに対して、より少なく冷却を要する構成要素を含むラック（例えば、ほとんど非コンピュートブレードを含むラック）は、第１または第２の場所の他方に置かれてよい。第１の場所のラックは、第２の場所のラックの資源を利用し得る。

コンピュートブレード１５０が非コンピュートブレード１７５のメモリにアクセスを可能とするこの開示において述べられた非集合メモリ構成は、ペリフェラルコンポーネントインターコネクトエクスプレス(Peripheral Component Interconnect Express (PCIe))により実現されてよい。このようなアプローチは、１つの場所のコンピュートブレードが、他の場所の非コンピュートブレードのメモリ資源を利用するような上記の異なる地理的地域のラックを用いる例において、改善された冷却効率を達成するために利用され得る。コンピュートおよび非コンピュートブレードの間の相互接続の例は、インターナショナルシンポジウムコンピュータアーキテクチャー(International Symposium Computer Architecture (ISCA))２００９において提示された"Disaggregated Memory For Expansion And Sharing In Blade Servers"と題する"ケビン・リム(Kevin Lim)、ジチュアン・チャン(Jichuan Chang)、トレボー・マッジ(Trevor Mudge)、パササラシー・ランガナサン(Partharathy Ranganathan)、スティーブン・ケー・レインハート(Steven K. Reinhardt)およびトーマス・エフ・ウェニシュ(Thomas E. Wenisch)による論文に記載されており、これによって、その全部が参考文献として組み込まれる。

あるシステム、装置および製造品がここに記載されているが、この特許がカバーする範囲はこれらに限定されない。反対に、この特許は、適正に字義および均等論のいずれかで、添えられた請求項の範囲に含まれる全てのシステム、装置および製造品をカバーする。

１００，９１０・・・コンピュータラック，１２５・・・スパイン，１５０・・・コンピュートブレード，１７５・・・非コンピュートブレード，１７５Ａ・・・ストレージブレード,１７５Ｂ・・・ネットワーキングブレード，２００，３００，４００・・・ＰＣＢ，２１０・・・プロセッサ，２２０・・・オンボードメモリ，２３０，３３０・・非プロセッサシリコン部品，３２０・・・メモリモジュール，４４０・・・ストレージユニット，５００・・・支持構造，５１０・・・中央部材，５１５・・・内側スロット，５２０・・・支持アーム，５２５・・・支持ガイド，５３０・・・フレキシブルクリップ，７００・・・バックプレーン構造，７１０・・・バックプレーンメディア，７２０，８１０・・・トレース，７３０・・・コンピュータユニット，７４０・・・ネットワーキングユニット，７５０・・・外部通信リンク，８００・・・例示的なバックプレーン，８１０・・・トレース，８２０・・・外部通信リンク，９００・・・データセンター，９０５・・・パワー供給ユニット，１０００，１１００，１２００，１３００・・・構成例，１１００・・・例示的なデータセンター，１１１０・・・冷却ユニット，１１２０・・・空間，１２１０・・・冷却ウォール，

Claims (15)

1. 第１の支柱構造（１２５）と、
   第２の支柱構造（１２５）と、
   前記第１の支柱構造（１２５）と前記第２の支柱構造（１２５）との間に配設され、それぞれブレードを受け入れる複数の支持構造（５００）の第１のセットと、
   前記第１の支柱構造（１２５）と前記第２の支柱構造（１２５）との間に配設され、それぞれブレードを受け入れる複数の支柱構造（５００）の第２セットと、
   を備え、
   前記複数の支持構造それぞれは、
   前記第１の支柱構造と前記第２の支柱構造との間に配設される中央部材（５１０）と、
   前記中央部材（５１０）の一端に設けられた第１の支持アーム（５２０）と、
   前記中央部材（５１０）の他の一端に、前記第１の支持アーム（５２０）に対向して設けられた第２の支持アーム（５２０）と
   を備え、
   これにより前記支持構造（５００）の第１のセットと前記支持構造（５００）の第２のセットとは、第１のＨ字型の外形を形成し、
   前記複数の支持構造それぞれにおいて、前記ブレードは少なくとも前記第１の支持アーム（５２０）および前記第２の支持アーム（５２０）により支持される
   コンピュータラック。
2. 前記支柱構造（１２５）に支えられ、前記支持構造（５００）の第１のセットおよび第２のセットまたはこれらのいずれかに対応付けられる１つ以上の通信ポート
   をさらに有する請求項１に記載のコンピュータラック。
3. 前記通信ポートは、
   前記複数の支持構造（５００）の第１のセットに対応する第１の通信ポートと、
   前記複数の支持構造（５００）の第２のセットに対応する第２の通信ポートと
   を含む請求項２に記載のコンピュータラック。
4. 前記第１の通信ポートおよび前記第２の通信ポートは通信可能に結合される
   請求項３に記載のコンピュータラック。
5. 前記支持構造（５００）の第１のセットと第２のセットとは、第２のＨ字型の外形をさらに形成し、
   前記第１のＨ字型および前記第２のＨ字型の断面は、空気流の流形に応じて選択される間隔により分離される
   請求項１〜４のいずれかに記載のコンピュータラック。
6. ディスクドライブ、メモリユニット、ネットワーキングモジュールおよびコントローラの少なくとも１つを含む非コンピュートブレード（１７５）
   をさらに備える請求項１〜５のいずれかに記載のコンピュータラック。
7. 前記コントローラは、コンピュートブレード（１５０）から前記メモリユニット、前記ディスクドライブおよび前記ネットワーキングモジュールへの通信を導く
   請求項６に記載のコンピュータラック。
8. 前記支持構造（５００）の第１のセットは、コンピュートブレード（１５０）を受け入れ、前記支持構造（５００）の第２のセットは、非コンピュートブレード（１７５）を受け入れる
   請求項１〜６のいずれかに記載のコンピュータラック。
9. 前記支持構造（５００）の第１のセットに支持されるコンピュートブレード（１５０）は、第１の量の熱を生成し、前記支持構造（５００）の第２のセットに支持される非コンピュートブレード（１７５）は、前記第１の量の熱とは異なる第２の量の熱を生成し、
   より多くの量の冷却空気を、多くの量の熱を発生する前記ブレードに向ける冷却ユニット（１１１０）
   をさらに備える請求項８に記載のコンピュータラック。
10. 前記複数の支持構造（５００）の第１のセットに対応付けられる第１の複数のブレードは、第１の量の熱を生成し、前記複数の支持構造（５００）の第２のセットに対応付けられる第２の複数のブレードは、前記第１の量の熱と異なる第２の量の熱を生成し、
    より多くの量の熱の発生に対応付けられる前記複数の支持構造（５００）の第１のセットおよび第２のセットのいずれかに、より多くの量の冷却空気を向けて冷却効率を増す冷却ユニット（１１１０）
    をさらに有する請求項１〜７のいずれかに記載のコンピュータラック。
11. 第１の支柱構造（１２５）と、
    第２の支柱構造（１２５）と、
    前記第１の支柱構造（１２５）と前記第２の支柱構造（１２５）との間に配設され、それぞれブレードを受け入れる複数の支持構造（５００）の第１のセットを有する第１のコンピュータラック（１００）と、
    前記第１の支柱構造と前記第２の支柱構造との間に配設され、それぞれブレードを受け入れる複数の前記支持構造（５００）の第２のセットを有する第２のコンピュータラック（１００）と
    を備え、
    前記複数の支持構造それぞれは、
    前記第１の支柱構造と前記第２の支柱構造との間に配設される中央部材（５１０）と、
    前記中央部材（５１０）の一端に設けられた第１の支持アーム（５２０）と、
    前記中央部材（５１０）の他の一端に、前記第１の支持アーム（５２０）に対向して設けられた第２の支持アーム（５２０）と
    を備え、これにより前記支持構造（５００）の第１のセットと前記支持構造（５００）の第２のセットとは、第１のＨ字型の外形を形成し、
    前記複数の支持構造それぞれにおいて、前記ブレードは少なくとも前記第１の支持アームおよび前記第２の支持アームにより支持される
    システム。
12. 前記第１のコンピュータラック（１００）および前記第２のコンピュータラック（１００）は、第１の非コンピュートブレード（１７５）および第２の非コンピュートブレード（１７５）を介した通信状態にあり、
    前記第１の非コンピュートブレード（１７５）は、前記第１のコンピュータラック（１００）の支持構造（５００）に受け入れられ、
    前記第２の非コンピュートブレード（１７５）は、前記第２のコンピュータラック（１００）の支持構造（５００）に受け入れられる
    請求項１１に記載のシステム。
13. 前記第１のコンピュータラック（１００）は、前記複数のブレードの第１のコンピュートブレード（１５０）および第２のコンピュートブレード（１５０）を受け入れ、
    前記第１のコンピュートブレード（１５０）および前記第２のコンピュートブレード（１５０）は、前記第１および／又は第２の非コンピュートブレード（１７５）の非プロセッサ部品を共有する
    請求項１２に記載のシステム。
14. 前記第１のコンピュートブレード（１５０）は、前記非コンピュートブレードとは独立に、リフレッシュ、アップグレードおよびリサイクルのいずれかを少なくともなされてよい
    請求項１３に記載のシステム。
15. 第１の支柱構造（１２５）と、
    第２の支柱構造（１２５）と、
    前記第１の支柱構造（１２５）と前記第２の支柱構造（１２５）との間に配設され、それぞれブレードを受け入れる複数の支持構造（５００）の第１のセットと、
    前記第１の支柱構造と前記第２の支柱構造との間に配設される複数の前記支持構造（５００）の第２のセットと
    前記支柱構造（１２５）により担われ、前記支持構造（５００）の第１のセットと対応付けられる第１の通信ポートと、
    前記支柱構造（１２５）により担われ、前記支持構造（５００）の第２のセットと対応付けられる第２の通信ポートと
    を備え、
    前記複数の支持構造それぞれは、
    前記第１の支柱構造と前記第２の支柱構造との間に配設される中央部材（５１０）と、
    前記中央部材（５１０）の一端に設けられた第１の支持アーム（５２０）と、
    前記中央部材（５１０）の他の一端に、前記第１の支持アーム（５２０）に対向して設けられた第２の支持アーム（５２０）と
    を備え、これにより前記支持構造（５００）の第１のセットと前記支持構造（５００）の第２のセットとは、第１のＨ字型の外形を形成し、
    前記複数の支持構造それぞれにおいて、前記ブレードは少なくとも前記第１の支持アームおよび前記第２の支持アームにより支持され、
    前記支柱構造（１２５）は、前記第１の通信ポートと前記第２の通信ポートとを通信可能に結合する
    コンピュータラック。

Images