JP5533877B2 - データセンタシステム、再構成可能ノード、再構成可能ノード制御方法、再構成可能ノード制御プログラム - Google Patents

Description

本発明は、データセンタシステム、再構成可能ノード、再構成可能ノード制御方法、再構成可能ノード制御プログラムに関し、特に再構成可能ノードを用いることで、通信ノードと計算ノードの処理を共有可能にするデータセンタシステム、再構成可能ノード、再構成可能ノード制御方法、再構成可能ノード制御プログラムに関する。

計算ノードと通信ノードを有するデータセンタにおいて、各ノードの構成に必要な半導体集積回路は、複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と複数の再構成可能デバイスとを備えることが期待される。なお、計算ノードと通信ノードを備えたデータセンタについての技術は、例えば特許文献１や特許文献２に開示されている。

特許文献１及び特許文献２に開示の技術においては、いずれもデータセンタはルータ等から構成される通信ノードと、サーバ等から構成される計算ノードを備えている。

ここで、特許文献１及び特許文献２に記載の関連技術を適用したデータセンタの一例を、図９に示す。

図９を参照すると、計算ノード１１は、サーバ１１１Ｓ１〜Ｓｎを備え、通信ノード２１は、ルータ２１１Ｒ１〜Ｒｍを備える。

通信ノード２１は、外部から届いた要求を適切に分配して計算ノード１１の各サーバへ送り、計算ノード１１の各サーバは処理を行い、該処理結果を応答する。

図１０は、図９に示す計算ノード１１と通信ノード２１にて利用されるフル装備半導体集積回路３１を示す図である。

図１０を参照すると、フル装備半導体集積回路３１は、複数のＣＰＵ３４１Ｃ１〜Ｃｊと、複数の再構成可能デバイス３４２Ｄ１〜Ｄｉから構成される。

ここで、再構成可能デバイス３４２とは、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に代表される、与えられた構成情報よって自由にそのハードウェア構成を変えることができるデバイスのことを指す。

一般に、再構成可能デバイス３４２は、ＣＰＵ３４１での処理が遅すぎる場合に、その処理を加速するために用いられる。しかしながら、再構成可能デバイス３４２は、ＣＰＵ３４１での処理が十分速く実行できるのであれば、利用する必要はない。すなわち、ＣＰＵ３４１での処理に応じて、フル装備半導体集積回路３１内で必要とされる再構成可能デバイス３４２の数は大きく異なる。

なお、計算ノード１１及び通信ノード２１においては、サーバ１１１とルータ２１１が、それぞれ１つないし複数のフル装備半導体集積回路３１を利用する。

また、フル装備半導体集積回路３１は、通信ノード２０においては、ルータ２１１が備えていてもよいし、ルータ２１１から共有して参照されるノードを構成し、該ノードに備えてもよい。

しかしながら、図９と図１０に示したような関連技術の方式は、以下の問題点を有している。

すなわち、計算ノード１１と通信ノード２１内での必要処理の負荷がばらついている場合、各々のノードにて、利用されない再構成可能デバイスが多く存在することになり、コスト面で無駄が生じてしまう。

したがって、計算ノードと通信ノードにおいて、必要処理に応じて、再構成可能デバイスを効率よく共用する機構が望まれる。

再構成可能デバイスを効率よく共用する技術としては、例えば特許文献３にその一例が開示されている。特許文献３に記載の技術は、論理回路をＦＰＧＡに分割して割付けることによって、機能検証の効率化と高速化を実現している。

特開２００８−０２１２３２ 特開２００３−１２４９７６ 特開平１１−１３４３８５

上述したように、特許文献１及び特許文献２に記載の技術では、再構成可能デバイスを利用した半導体集積回路を有するデータセンタに関し、計算ノードと通信ノードで必要とされる処理の負荷が大きくばらついた際に、データセンタをコスト的に無駄なく実現することは困難であるという問題があった。

また、特許文献３に記載の技術は、ＦＰＧＡの制約条件を満たすように論理回路を分割するものであり、処理に応じてＦＰＧＡを効率よく割り当てることはできないという問題があった。

（発明の目的）
本発明の目的は、上述した課題を解決するデータセンタシステム、再構成可能ノード、再構成可能ノード制御方法、再構成可能ノード制御プログラムを提供することにある。

本発明の第１のデータセンタシステムは、計算ノード及び通信ノードと、計算ノードと通信ノードからの処理要求に応じて処理を実行する、計算ノード及び通信ノードで共用可能な再構成可能ノードを備え、再構成可能ノードは、処理要求に応じた処理を実行する１以上のデバイスを含む１以上のサーバと、計算ノードと通信ノードからの処理要求に応じて、当該処理要求に対応する処理をサーバのデバイスに対して割り当てる制御装置を含む。

本発明の第１のデータセンタシステムの再構成可能ノードは、データセンタシステムの計算ノードと通信ノードで共用可能に構成され、計算ノードと通信ノードからの処理要求に応じた処理を実行する１以上のデバイスを含む１以上のサーバと、計算ノードと通信ノードからの処理要求に応じて、当該処理要求に対応する処理を記サーバのデバイスに対して割り当てる制御装置を備える。

本発明の第１のデータセンタシステムの再構成可能ノード制御方法は、計算ノードと通信ノードを有するデータセンタシステムにおいて、計算ノードと通信ノードで共用可能に構成され、計算ノードと通信ノードからの処理要求に応じて処理を実行する１以上のデバイスを含む１以上のサーバを有する再構成可能ノードが、計算ノードと通信ノードからの処理要求を受け付け、処理要求に応じて、当該処理要求に対応する処理を記サーバのデバイスに対して割り当てる。

本発明の第１のデータセンタシステムの再構成可能ノード制御プログラムは、データセンタシステムの計算ノードと通信ノードで共用可能に構成され、計算ノードと通信ノードからの処理要求に応じて処理を実行する１以上のデバイスを含む１以上のサーバを有する再構成可能ノードに、計算ノードと通信ノードからの処理要求を受け付ける処理と、処理要求に応じて、当該処理要求に対応する処理を記サーバのデバイスに対して割り当てる処理とを、実行させる。

本発明によれば、必要な再構成可能デバイスの数を削減することができ、これにより、再構成可能デバイスを利用した半導体集積回路を有するデータセンタシステムを、低コストで実現することができる。

本発明の第１の実施の形態によるデータセンタシステムの構成を示すブロック図である。 本発明の第１の実施の形態よる軽量型半導体集積回路の構成を示すブロック図である。 本発明の第１の実施の形態による再構成可能半導体集積回路の構成を示すブロック図である。 本発明の第１の実施の形態よる再構成可能ノード制御装置の構成を示すブロック図である。 本発明の第１の実施の形態よる割当管理表の構成を示す図である。 本発明の第１の実施の形態よる処理要求受理時の再構成可能ノード制御装置の動作を示す流れ図である。 本発明の第１の実施の形態よる開放要求受理時の再構成可能ノード制御装置の動作を示す流れ図である。 本発明の再構成可能ノード制御装置のハードウェア構成例を示すブロック図である。 関連技術の構成を示す図である。 関連技術に含まれる半導体集積回路の構成を示す図である。

次に、本発明の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態によるデータセンタシステムの構成を示す図である。

図１を参照すると、本発明の第１の実施の形態によるデータセンタシステム１００は、演算処理を行う計算ノード１０と、外部及び計算ノード１０と再構成可能ノード３０とを接続する通信ノード２０と、計算ノード１０と通信ノード２０からの要求に応じて処理を行う再構成可能ノード３０とを備える。

計算ノード１０は、サーバ１０１Ｓ１〜Ｓｎを備える。サーバ１０１は、通信ノード２０から送られた外部からの要求に対する処理と応答を行う。なお、サーバ１０１の台数は少なくとも１台であるとし、その台数に制限はないものとする

通信ノード２０は、ルータ２０１Ｒ１〜Ｒｎを備える。ルータ２０１は、外部から届いた要求を適切に分配して計算ノード１０の各サーバへ送るとともに、サーバ１０１間と再構成可能ノード３０の接続に用いられる。なお、ルータ２０１は少なくとも１つであるとし、その個数に制限はないものとする。

ここで図２を参照すると、図２は、サーバ１０１とルータ２０１でそれぞれ利用される軽量型半導体集積回路３２０の構成を示す図である。

軽量型半導体集積回路３２０は、複数のＣＰＵ３２１Ｃ１〜Ｃｊと、再構成可能デバイス３２２Ｄ１〜Ｄｉとを備える。

ここで、軽量型半導体集積回路３２０に含まれる再構成可能デバイス３２２の数は、図１０に示したフル装備半導体集積回路３１に備える再構成可能デバイスの数より少ない（無論０でもよい）。

また、再構成可能デバイス３２２が、再構成可能デバイス３４２よりも機能縮小してあってもよい。これにより、計算ノード１０と通信ノード２０のコストを低減することができる。

ここで、軽量型半導体集積回路３２０は、通信ノード２０においては、ルータ２０１が備えていてもよいし、ルータ２０１から共有して参照されるノードを構成し、該ノードに備えてもよい。

なお、計算ノード１０１と通信ノード２０１は、１つないし複数の軽量型装備半導体集積回路３２０を利用する。

再構成可能ノード３０は、少なくとも１つの再構成可能ノード制御装置３１０と、再構成可能サーバ３０１Ｄ１〜Ｄｋとを備える。なお、再構成可能サーバ３０１の台数に制限はないものとする。再構成可能ノード３０は、計算ノード１０と通信ノード２０から共用される。

再構成可能サーバ３０１は、少なくとも１つの再構成可能デバイス３３１を備え、主に、計算ノード１０と通信ノード２０からの処理を加速するために利用される。

ここで図３を参照すると、図３は、再構成可能サーバ３０１で利用される再構成可能半導体集積回路３３０の構成を示す図である。

再構成可能半導体集積回路３３０は、少なくとも１つの再構成可能デバイス３３１Ｄ１〜Ｄｑから構成される。再構成可能半導体集積回路３３０は、再構成可能デバイス３３１からのみ構成される半導体集積回路であることを特徴とする。

なお、再構成可能サーバ３３１は、少なくとも１つの再構成可能装備半導体集積回路３３０を利用する。

再構成可能ノード制御装置３１０は、計算ノード１０、及び通信ノード２０からの要求に応じて、再構成可能サーバ単位、再構成可能デバイス単位で、再構成可能デバイス３３１の割当と解放を行う。ここで、再構成可能ノード制御装置３１０は、再構成可能ノード３０に複数備えられていてもよい。

なお、再構成可能サーバ単位で再構成可能デバイスの割当と開放を行うとは、要求に応じて、任意の再構成可能サーバが備える再構成可能デバイスすべてに対して、割当と開放を行うことをいう。

ここで図４を参照すると、図４は、再構成可能ノード制御装置３１０の構成を示す図である。

再構成可能ノード制御装置３１０は、通信Ｉ／Ｆ３１１と、主処理部３１３と、割当管理表３１２とを備える。

通信Ｉ／Ｆ３１１は、計算ノード１０、及び通信ノード２０からの要求の受理と応答を通信ノード２０との間で行う。加えて、通信Ｉ／Ｆ３１１は、該要求と該応答の授受を主処理３１３との間で行う。

主処理部３１３は、通信Ｉ／Ｆ３１１から渡された要求に基づき、必要となる処理への再構成可能デバイス３３１の割当や解放を、割当管理表３１２を参照した上で行う。

なお、再構成可能デバイス３３１は、１つの処理に対して複数割り当てても良い。また、割当・解放のアルゴリズムとして、最近使われていない再構成可能デバイスを割り当てるなどの、関連技術を用いてもよい。

さらに、主処理部３１３は、割当された再構成可能デバイス３３１に対応する再構成可能サーバ３０１へ、処理要求を渡す。

また、主処理部３１３は、再構成可能サーバ３０１からの処理結果を受理し、そして、該処理結果を通信Ｉ／Ｆ３１１へ渡す。

割当管理表３１２は、どの再構成可能デバイスがどのような処理に利用されており、さらに、どの計算ノードと通信ノードから利用されているかを管理する表である。

ここで図５を参照すると、図５は、割当管理表３１２の構成を示す図である。

図５に示す例では、再構成可能デバイス３３１Ｄ１は、画像処理に利用されている。そして、再構成可能デバイス３３１Ｄ１は、計算ノード１０の全てのサーバないし一部のサーバに利用されているものの、通信ノード２０からは利用されていないことを示す。

再構成可能デバイス３３１Ｄ２は、経路計算に利用されている。そして、再構成可能デバイス３３１Ｄ２は、計算ノード１０からは利用されていないが、通信ノード２０の全てのルータないし一部のルータに利用されていることを示す。

再構成可能デバイス３３１Ｄ３は、行列計算に利用されている。そして、再構成可能デバイス３３１Ｄ３は、計算ノード１０の全てのサーバないし一部のサーバに利用されており、かつ、通信ノード２０の全てのルータないし一部のルータに利用されていることを示す。この例が示すように、負荷に応じた再構成可能デバイスの割当だけでなく、同一処理の再構成可能デバイスの共用によってもコスト削減に寄与できる。

再構成可能デバイス３３１Ｄ４は、音声処理に利用されている。再構成可能デバイス３３１Ｄ４は、計算ノード１０と通信ノード２０からは利用されていない。しかしながら、将来利用される場合のために、音声処理自体は構成された状態であることを示す。無論、新規に別の処理へ構成され直しても良い。

再構成可能デバイス３３１Ｄｑは、いずれの処理にも利用されておらず、したがって、計算ノードと通信ノードからは利用されていない。

なお、この割当中か未割当かという状態は、割り当てているサーバ１０１やルータ２０１の数が０より大きいか、０か、という数値で表してもよい。また、計算ノード１０と通信ノード１０２０を分けて管理しなくてもよい。いずれにしても、割当管理表３１２は、どの再構成可能デバイス３３１がどの処理に構成されていて、サーバ１０１かルータ２０１に利用されているかどうかを管理できれば、どのような形式でも構わない。

なお、本実施の形態では、全ての要求と応答が再構成可能ノード制御装置３１０を介して行われる構成について説明を行ったものの、無論、割当を行った後には、計算ノード１０と通信ノード２０が、直接再構成可能サーバ３０１と処理のやり取りをしてもよい。

また、再構成可能ノード制御装置３１０が複数ある場合には、割当管理表３１２は、各再構成可能ノード制御装置３１０が備えていてもよいし、全ての再構成可能ノード制御装置３１０から共有されていてもよい。

（第１の実施の形態の動作の説明）
次に、図６〜図７を参照して、本実施の形態の動作について詳細に説明する。図６〜図７は、本実施の形態による再構成可能ノード制御装置３１０の動作を示す図である。

（処理要求受理時の動作の説明）
まず、図６を参照して、再構成可能ノード制御装置３１０における処理要求受理時の動作を説明する。なお、処理要求については、本発明の技術分野における当業者によれば用意に想到可能なものであり、処理要求そのものは本発明とは直接的には関係しないため、その詳細については省略する。

まず、通信Ｉ／Ｆ３１１は、計算ノード１０のサーバ１０１、通信ノード２０のルータ２０１からの再構成可能デバイスへの処理要求を、通信ノード２０から受理する（ステップＳ６０１）。

次いで、通信Ｉ／Ｆ３１１は、受理した処理要求を、主処理部３１３に渡す（ステップＳ６０２）。

主処理部３１３は、処理要求を受理すると、割当管理表３１２を参照して（ステップＳ６０３）、処理要求に該当する処理が再構成可能デバイス３３１のいずれかに利用されているか確認する（ステップＳ６０４）。

処理要求に該当する処理が再構成可能デバイス３３１のいずれにも利用されていない場合（ステップＳ６０４”ＮＯ”）、主処理部３１３は、新規に再構成可能デバイス３３１の割当を行い（ステップＳ６０５）、割当を行った情報を割当管理表３１２へ追加する（ステップＳ６０６）。

処理要求に該当する処理がすでに再構成可能デバイス３３１のいずかに利用されている場合（ステップＳ６０４”ＮＯ”）、主処理部３１３は、処理要求を、該処理要求に該当する処理が利用されている再構成可能デバイス３１３へ渡す（ステップＳ６０８）。

次いで、主処理部３１３は、新規に割当を行った再構成可能デバイス３３１を、再構成する（ステップＳ６０７）。再構成に必要な構成情報は、データセンタ内に存在する構成情報を参照することで行われる。また、構成情報は、ネットワーク経由で参照してもよいし、あるいは、再構成可能ノード制御装置３１０内の記憶装置から参照してもよい。

次いで、主処理部３１３は、処理要求を、該処理要求に該当する処理が利用されている再構成可能デバイス３１３へ渡す（ステップＳ６０８）。

次いで、主処理部３１３は、再構成可能デバイス３１３から処理結果を受理すると、処理結果を通信Ｉ／Ｆ３１１へ送り、通信Ｉ／Ｆ３１１は、処理結果を通信ノードへ渡す（ステップＳ６０９）。

（開放要求受理時の動作の説明）
次に、図７を参照して、再構成可能ノード制御装置３１０における開放要求受理時の動作を説明する。なお、開放要求そのものについては、本発明の技術分野における当業者によれば用意に想到可能なものであり、開放要求そのものは本発明とは直接的には関係しないため、その詳細については省略する。

まず、通信Ｉ／Ｆ３１１は、計算ノード１０のサーバ１０１、通信ノード２０のルータ２０１からの再構成可能デバイスへの解放要求を、通信ノード２０から受理する（ステップＳ７０１）。

次いで、通信Ｉ／Ｆ３１１は、受理した開放要求を、主処理部３１３に渡す（ステップＳ７０２）。

主処理部３１３は、開放要求を受理すると、割当管理表３１２を参照して、開放要求に該当する再構成可能デバイス３３１の割当を解放した旨の記載を、割当管理表３１２へ追加する（ステップＳ７０３）。具体的には、図３に示す例においては、該当する再構成可能デバイス３３１の割当を”未割当”とする。

なお、上述の説明では、明示的に解放する場合について説明を行ったが、無論、解放を行わなくても良い。解放を行わない場合には、最近使っていない再構成可能デバイス３３１を割り当てる、といったアルゴリズムの工夫で対応が可能である。

（第１の実施の形態による効果）
次に本実施の形態の効果について説明する。

本実施の形態によれば、処理に応じて再構成可能デバイスを効率よく割り当てることで、必要な再構成可能デバイスの数を削減することができる。

これにより、再構成可能デバイスを利用した半導体集積回路を有するデータセンタシステムを、低コストに実現することができる。

また、本実施の形態によれば、必要とされる処理が将来増大したとしても、再構成可能デバイスから構成されるノードを追加すれば、低コストにデータセンタを拡張することが可能である。

次に、本発明の再構成可能ノード制御装置のハードウェア構成例について、図８を参照して説明する。図８は、本発明の再構成可能ノード制御装置８０９のハードウェア構成例を示すブロック図である。

図８を参照すると、再構成可能ノード制御装置８０９は、一般的なコンピュータ装置と同様のハードウェア構成であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリからなる、データの作業領域やデータの一時退避領域に用いられる主記憶部８０２、ネットワークを介してデータの送受信を行う通信部８０３、入力装置８０５や出力装置８０６及び記憶装置８０７と接続してデータの送受信を行う入出力インタフェース部８０４、上記各構成要素を相互に接続するシステムバス８０８を備えている。記憶装置８０７は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク、半導体メモリ等の不揮発性メモリから構成されるハードディスク装置等で実現される。

本発明の再構成可能ノード制御装置８０９の主処理部３１３は、プログラムを組み込んだ、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等のハードウェア部品である回路部品を実装することにより、その動作をハードウェア的に実現することは勿論として、その機能を提供するプログラムを、記憶装置８０７に格納し、そのプログラムを主記憶部８０２にロードしてＣＰＵ８０１で実行することにより、ソフトウェア的に実現することも可能である。

この出願は、２００９年９月１８日に出願された日本出願特願２００９−２１６４５２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、再構成可能デバイスを利用した半導体集積回路を有するデータセンを低コストに構築する等の用途に適用できる。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。

Claims (6)

1. 複数の再構成可能デバイスと、
   ａ）前記複数の再構成可能デバイスの各々が、サーバまたはルータが実行する複数の処理の何れかに割り当て済みであるか否かを管理表に記憶し、ｂ）サーバまたはルータから処理要求を受信し、前記管理表から未割当の再構成可能デバイスを選択し、選択した前記再構成可能デバイスを、要求された処理に合わせて再構成して前記処理要求を渡す制御装置と、
   を包含する再構成可能ノード。
2. 前記管理表は、前記複数の再構成可能デバイスの各々が、前記複数の処理の何れに割り当て済みであるかを記憶し、
   前記制御装置は、前記管理表を参照して要求された処理に割り当て済みの再構成可能デバイスが有れば、当該再構成デバイスに前記処理要求を渡す、請求項１の再構成可能ノード。
3. 前記複数の処理は、サーバのみが実行する処理、ルータのみが実行する処理、および、サーバおよびルータの両者が実行する処理を包含する、請求項１または２の再構成可能ノード。
4. 複数のサーバを包含する処理ノードと、
   複数のルータを包含する通信ノードと、
   請求項１乃至３の何れかの再構成ノードと、を包含するデータセンターシステム。
5. ａ）複数の再構成可能デバイスの各々が、サーバまたはルータが実行する複数の処理の何れかに割り当て済みであるか否かを管理表に記憶し、ｂ）サーバまたはルータから処理要求を受信し、前記管理表から未割当の再構成可能デバイスを選択し、選択した前記再構成可能デバイスを、要求された処理に合わせて再構成して前記処理要求を渡す制御方法。
6. コンピュータに、ａ）複数の再構成可能デバイスの各々が、サーバまたはルータが実行する複数の処理の何れかに割り当て済みであるか否かを管理表に記憶する処理と、ｂ）サーバまたはルータから処理要求を受信し、前記管理表から未割当の再構成可能デバイスを選択し、選択した前記再構成可能デバイスを、要求された処理に合わせて再構成して前記処理要求を渡す処理を実行させるプログラム。

Images