JP5453838B2 - Ｃｐｕ負荷分散システムおよびｃｐｕ負荷分散方法 - Google Patents

Description

本発明は、複数のＣＰＵの負荷を分散させるＣＰＵ負荷分散システムおよびＣＰＵ負荷分散方法に関する。

スーパーコンピュータでは、ＣＰＵとメモリ間の高速インタフェースとして多数のチャネルを用いることが多い。そして、チャネルの状態にはばらつきがあることを前提としてシステム作りがされているが、各チャネルに対する調整後では、ノイズに対する強度は全てのチャネルで均等であるという前提でシステム構築が行われる。ここで、ノイズとは、電圧降下や気温等の外部の状況を意味する。各チャネルに対する調整の際、チャネルにエラーが生じるときのノイズ値に対して十分なマージンが確保できるように、調整が行われる。

また、特許文献１には、中央処理装置を二重化し、二重化された中央処理装置が異なる処理を行い、一方の中央処理装置に障害が生じたときには、他系が全ての処理を行うパケット情報転送方式が記載されている。

特開昭６２−２８１６４９号公報

エラーが生じるときのノイズ値に対してマージンを確保するような調整が出荷時に行われたとしても、スーパーコンピュータが設置されるマシン室において予期しない強いノイズが発生し、チャネルのマージン（すなわち、エラーが生じるときのノイズ値と現状のノイズ値との差）が減少することがある。この場合、そのチャネルを使用するＣＰＵに負荷の大きいジョブが割り当てられているとエラーが生じてしまうことがあった。

そこで、本発明は、ノイズが生じたとしても、複数のＣＰＵを備えるシステムが安定的に動作できるようにするＣＰＵ負荷分散システムおよびＣＰＵ負荷分散方法を提供することを目的とする。

本発明によるＣＰＵ負荷分散システムは、インタフェースを介してメモリに接続されたＣＰＵを複数備え、各ＣＰＵが、ノイズ値を検出するセンサを備え、オペレーティングシステムに従って動作し、インタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値と検出されたノイズ値との差分が所定値以下になったときに、ノイズ値が検出されたＣＰＵの処理負荷を軽減させるＯＳ動作手段と、センサが検知したノイズ値をセンサから読み取り、当該ノイズ値とインタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値との差分を測定してメモリに書き込み、メモリに対して差分を書き込んだことをＯＳ動作手段に通知する差分測定手段とを備え、差分測定手段が、メモリに対して差分を書き込んだこととともに、書き込みを行ったメモリ内のアドレスもＯＳ動作手段に通知し、ＯＳ動作手段が、差分測定手段からの通知に基づいて、差分が所定値以下になったＣＰＵの処理負荷を軽減させることを特徴とする。

また、本発明によるＣＰＵ負荷分散方法は、インタフェースを介してメモリに接続されたＣＰＵを複数備え、各ＣＰＵがノイズ値を検出するセンサを備えるコンピュータに適用されるＣＰＵ負荷分散方法であって、オペレーティングシステムに従って動作するＯＳ動作手段が、インタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値と検出されたノイズ値との差分が所定値以下になったときに、ノイズ値が検出されたＣＰＵの処理負荷を軽減させ、差分測定手段が、センサが検知したノイズ値をセンサから読み取り、当該ノイズ値とインタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値との差分を測定してメモリに書き込み、メモリに対して前記各ノイズ値を書き込んだこととともに、書き込みを行ったメモリ内のアドレスをＯＳ動作手段に通知し、ＯＳ動作手段が、差分測定手段からの通知に基づいて、前記差分が所定値以下になったＣＰＵの処理負荷を軽減させることを特徴とする。

本発明によれば、ノイズが生じたとしても、複数のＣＰＵを備えるシステムを安定的に動作させることができる。

本発明のＣＰＵ負荷分散システムを模式的に示すブロック図である。 本発明の処理経過の例を示すフローチャートである。 本発明の最小構成を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。以下の説明では、オペレーティングシステムを単にＯＳと記す。

図１は、本発明のＣＰＵ負荷分散システムを模式的に示すブロック図である。本発明のＣＰＵ負荷分散システムは、複数のＣＰＵ１と、診断プロセッサ２と、ＯＳ動作手段３とを備え、また、ＯＳ動作手段３は、内部テーブル４を保持している。ＣＰＵ負荷分散システムは例えばスーパーコンピュータに適用される。

各ＣＰＵ１は、インタフェースを介してメモリ（図示略）に接続されている。ＣＰＵとメモリとの間のインタフェースは、チャネルとも称される。ＣＰＵは、ＯＳ動作手段３の制御により、プロセスを実行する。

また、各ＣＰＵ１は、ノイズ値を検出するセンサ（図示略）を有している。ノイズの例として、気温、電圧降下、電磁波等が挙げられ、各センサは、例えば、温度、電圧降下量、電磁波の強さ等をノイズ値として検出する。

チャネル（インタフェース）にエラーが生じるノイズ値と、使用環境における現状のノイズ値との差分を、マージンと呼ぶ。このマージンが小さくなると、ＣＰＵの負荷状況によってはエラーが生じやすくなる。

ＯＳ動作手段３は、各ＣＰＵ１とメモリ間のチャネルのマージンの変化に応じて、各ＣＰＵ１のプロセス実行を制御する。すなわち、チャネルのマージンが減少したときに、そのＣＰＵ１の処理負荷を減少させるように、各ＣＰＵ１を制御する。ＯＳ動作手段３は、ＯＳに従って動作する。ＯＳ動作手段３は、具体的には、ＯＳに従って動作する各ＣＰＵ１によって実現されるが、図１では、便宜的に各ＣＰＵ１とは別に図示している。

内部テーブル４は、各ＣＰＵ１の状態を示すテーブルである。ＯＳ動作手段３は、各ＣＰＵ１の状態を、診断プロセッサ２からメモリを介して受け取り、内部テーブル４を更新する。ＯＳ動作手段３は、内部テーブル４を参照して、マージンが減少しているＣＰＵ１の処理負荷を減少させる。

ＯＳ動作手段３は、チャネルのマージンが減少したＣＰＵの処理負荷を、具体的に以下のような方法で減少させる。

第１の方法は、チャネルのマージンが所定値以下になったＣＰＵが実行しているプロセスと、他のＣＰＵが実行しているプロセスとを入れ替える（スワップする）ことで、マージンが所定値以下になったＣＰＵの処理負荷を減少させる方法である。

第２の方法は、チャネルのマージンが所定値以下になったＣＰＵが実行しているプロセスを、同じプロセスを実行している他のＣＰＵに分散させることで、マージンが所定値以下になったＣＰＵの処理負荷を減少させる方法である。

第３の方法は、チャネルのマージンが所定値以下になったＣＰＵが実行しているプロセスを、そのＣＰＵから引き剥がすことで、マージンが所定値以下になったＣＰＵの処理負荷を減少させる方法である。プロセスをＣＰＵから引き剥がすとは、ＣＰＵにそのプロセスの実行を停止させることである。

第１の方法を、プロセスのスワップと記し、第２の方法を、プロセスの分散と記し、第３の方法をプロセスの引き剥がしと記す。ＯＳ動作手段３は、プロセスのスワップ後もマージンが低い状態のＣＰＵに対して、プロセスの分散を行い、さらに、プロセスの分散後もマージンが低い状態のＣＰＵに対してプロセスの引き剥がしを行う。このように、ＯＳ動作手段３は、ノイズの規模に応じて、順次、プロセスのスワップ、プロセスの分散、プロセスの引き剥がしを行う。

ＯＳ動作手段３は、ＯＳに加えてさらにＣＰＵ負荷分散プログラムにも従って動作することで、上記の機能を実現する。

診断プロセッサ２は、各ＣＰＵ１のチャネルのマージンを測定し、ＯＳ動作手段３に通知する。診断プロセッサは、ＤＧＰ（diagnose processor）と称されることもある。

診断プロセッサ２は、各チャネルに対して、予めエンファシス調整やイコライザ調整等を行って、チャネル毎に、チャネルにエラーが生じることとなるノイズ値を測定しておく。この測定をＤＣ（direct current）電源投入時に行うと時間がかかりすぎる。そのため、ＤＣ電源をオフとしてＣＰＵ交換をした後に、ＤＣ電源をオフとしＡＣ（alternating Current ）電源をオンとした状態で、診断プロセッサ２が構成を確認し上記の調整を行って、チャネルにエラーが生じることとなるノイズ値を測定する。

また、診断プロセッサ２は、定期的に、各ＣＰＵ１のセンサが検出したノイズ値をセンサから読み取り、そのノイズ値と、チャネルにエラーが生じることとなるノイズ値との差分を計算して、マージンを求める。例えば、診断プロセッサ２は、センサが検出した温度をセンサから読み取り、その温度とエラーが生じる温度との差分を計算する。あるいは、センサが検出した電圧降下量を読み取り、その値とエラーが生じる電圧降下量との差分を計算してもよい。ここでは、ノイズ値として温度や電圧降下量を読み取る場合を例示したが、他のノイズ値を読み取ってマージンを計算してもよい。

診断プロセッサ２は、マージンが減少したと判定したときに、マージンを、メモリ内の特定の領域に記憶させ、マージンをメモリに記憶させたことをＯＳ動作手段３に通知する。この結果、ＯＳ動作手段３は、各ＣＰＵ１のマージンをメモリから読み取る。診断プロセッサ２は、チャネルのマージンが予め定められた所定値以下になったときに、マージンが減少したと判定すればよい。診断プロセッサ２からＯＳ動作手段３への通知を割り込み通知と呼ぶことができる。

また、診断プロセッサ２は、各ＣＰＵ１に対してステータスチェックを行い、プロセスと、そのプロセスを実行しているＣＰＵと、そのＣＰＵのチャネルとの対応を示す情報をデータベースとしてメモリに記憶させる。ＯＳ動作手段３は、各ＣＰＵ１のマージンだけでなく、このデータベースもメモリから読み取り、内部テーブル４を更新する。ＯＳ動作手段３は、内部テーブル４を参照して、マージンが減少しているＣＰＵ１の処理負荷を軽減させる。

診断プロセッサ２は、例えばプログラムに従って動作するプロセッサによって実現される。

次に、動作について説明する。
図２は、本発明の処理経過の例を示すフローチャートである。診断プロセッサ２は、各ＣＰＵの状態を確認する（ステップＳ１）。具体的には、診断プロセッサ２は、各ＣＰＵ１のセンサから、そのセンサが検出したノイズ値を読み取る。また、ステータスチェックを行い、各ＣＰＵで実行しているプロセスを把握する。診断プロセッサ２は、このステップＳ１の動作を定期的に行う。

ステップＳ１の後、診断プロセッサ２は、センサから読み取ったノイズ値と、チャネルにエラーが生じるノイズ値との差分を計算することによりマージンを求め、そのマージンが減少しているか否かを判定する（ステップＳ２）。このとき、マージンが所定値以下になったときに、マージンが減少したと判定すればよい。マージンが減少していなければ（ステップＳ２のＮｏ）、引き続き定期的にステップＳ１を実行する。

マージンが減少していれば（ステップＳ２のＹｅｓ）、診断プロセッサ２は、そのマージンをメモリの特定領域に記憶させる。また、プロセスと、そのプロセスを実行しているＣＰＵと、そのＣＰＵのチャネルとの対応を示す情報も同様にメモリに記憶させる。そして、診断プロセッサ２は、それらの情報をメモリに記憶させた旨の通知（割り込み通知）をＯＳ動作手段３に送信する（ステップＳ３）。

ＯＳ動作手段３は、割り込み通知を受信すると、メモリの特定領域から、診断プロセッサ２によって書き込まれたマージン等の情報を読み取り、その内容にあわせて内部テーブル４を更新する（ステップＳ４）。

ＯＳ動作手段３は、内部テーブルを参照して、マージンが減少しているＣＰＵのプロセスと、他のＣＰＵのプロセスとを入れ替える（ステップＳ５）。プロセスのスワップによってマージンが所定値より大きくなったならば（ステップＳ６のＹｅｓ）、引き続き定期的にステップＳ１を実行する。

プロセスのスワップ後もマージンが小さい状態が続いていれば（ステップＳ６のＮｏ）、ＯＳ動作手段３は、そのＣＰＵのプロセスを、同じプロセスを実行している他のＣＰＵに分散させる（ステップＳ７）。プロセスの分散によってマージンが所定値より大きくなったならば（ステップＳ８のＹｅｓ）、引き続き定期的にステップＳ１を実行する。

プロセスの分散後もマージンが小さい状態が続いていれば（ステップＳ８のＮｏ）、ＯＳ動作手段３は、そのＣＰＵに対してプロセスの引き剥がしを行う。すなわち、そのＣＰＵにプロセス実行を停止させる。そして、引き続き定期的にステップＳ１を実行する。

本発明によれば、マージンが減少したＣＰＵのインタフェース負荷が軽減させるので、ノイズが多くなっても安定した動作を実現することができる。従って、より過酷な環境下でも、コンピュータを動作させることができる。

また、プロセスの引き剥がしではプロセス実行を停止させるものの、プロセスのスワップやプロセスの分散ではコンピュータの処理性能は変わらない。よって、大きな性能劣化を伴わずに上記の効果を得ることができる。

また、上記の実施形態では、診断プロセッサ２がマージン等をメモリの特定領域に記憶させる場合を例にして説明した。診断プロセッサ２がマージンを記憶させるときに、メモリにおける記憶領域を動的に変化させてもよい。その場合、診断プロセッサ２がステップＳ３でマージン等を記憶させたメモリ内の領域のアドレスを、割り込み通知とともにＯＳ動作手段３に通知すればよい。そして、ＯＳ動作手段３は、通知されたアドレスからマージン等を読み取ればよい。診断プロセッサ２が、マージン等を記憶させる領域を動的に変化させる場合、マージンが減少していないチャネルに応じたメモリの領域に記憶させればよい。既に説明したようにＯＳ動作手段３は各ＣＰＵによって実現されている。よって、マージンが減少しているチャネルに応じたメモリに記憶させると、ＯＳ動作手段３がその領域にアクセスする際に障害が生じることがあるが、マージン等を記憶させる領域を動的に変化させることでそのような障害発生を防ぐことができる。

次に、本発明の最小構成について説明する。図３は、本発明の最小構成を示すブロック図である。本発明のＣＰＵ負荷分散システムは、インタフェースを介してメモリに接続されたＣＰＵ１を複数備える。各ＣＰＵ１は、ノイズ値（例えば、温度、電圧降下量等）を検出するセンサ５を備える。また、ＣＰＵ負荷分散システムは、オペレーティングシステムに従って動作し、インタフェースにエラーが生じるときのノイズ値と検出されたノイズ値との差分が所定値以下になったときに、そのノイズ値が検出されたＣＰＵの処理負荷を軽減させるＯＳ動作手段３を備える。

このような構成により、ノイズが生じたとしても、複数のＣＰＵを備えるシステムを安定的に動作させることができる。

また、上記の実施形態には、センサ５が検知したノイズ値をセンサ５から読み取り、メモリにそのノイズ値とインタフェースにエラーが生じるときのノイズ値との差分を測定してメモリに書き込み、メモリに対して差分を書き込んだことをＯＳ動作手段３に通知する差分測定手段（例えば診断プロセッサ２）を備え、ＯＳ動作手段３が、差分測定手段からの通知に基づいて、差分が所定値以下になったＣＰＵの処理負荷を軽減させる構成が開示されている。

また、上記の実施形態には、差分測定手段が、メモリに対して差分を書き込んだこととともに、書き込みを行ったメモリ内のアドレスもＯＳ動作手段３に通知する構成が開示されている。そのような構成により、ＯＳ動作手段３がメモリにアクセスする際の障害発生を防止できる。

また、上記の実施形態には、ＯＳ動作手段３が、インタフェースにエラーが生じるときのノイズ値と検出されたノイズ値との差分が所定値以下になったＣＰＵのプロセスと、他のＣＰＵのプロセスとを入れ替えることにより、ＣＰＵの処理負荷を軽減させる構成が開示されている。そのような構成によれば、性能劣化を伴わずに、システムを安定的に動作させることができる。

また、上記の実施形態には、ＯＳ動作手段３が、インタフェースにエラーが生じるときのノイズ値と検出されたノイズ値との差分がプロセスの入れ替え後に所定値より大きくならなかったＣＰＵのプロセスを、同じプロセスを実行している他のＣＰＵに分散させることにより、ＣＰＵの処理負荷を軽減させる構成が開示されている。そのような構成によれば、性能劣化を伴わずに、システムを安定的に動作させることができる。

また、上記の実施形態には、ＯＳ動作手段３が、インタフェースにエラーが生じるときのノイズ値と検出されたノイズ値との差分がプロセスの分散後に所定値より大きくならなかったＣＰＵのプロセスをＣＰＵから引き剥がす構成が開示されている。

本発明は、スーパーコンピュータ等のように複数のＣＰＵを有するシステムに好適に適用可能である。

１ ＣＰＵ
２ 診断プロセッサ
３ ＯＳ動作手段
４ 内部テーブル
５ センサ

Claims (5)

1. インタフェースを介してメモリに接続されたＣＰＵを複数備え、
   各ＣＰＵは、ノイズ値を検出するセンサを備え、
   オペレーティングシステムに従って動作し、前記インタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値と検出されたノイズ値との差分が所定値以下になったときに、前記ノイズ値が検出されたＣＰＵの処理負荷を軽減させるＯＳ動作手段と、
   センサが検知したノイズ値をセンサから読み取り、当該ノイズ値とインタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値との差分を測定してメモリに書き込み、メモリに対して前記差分を書き込んだことをＯＳ動作手段に通知する差分測定手段とを備え、
   差分測定手段は、メモリに対して差分を書き込んだこととともに、書き込みを行ったメモリ内のアドレスもＯＳ動作手段に通知し、
   ＯＳ動作手段は、差分測定手段からの通知に基づいて、前記差分が所定値以下になったＣＰＵの処理負荷を軽減させる
   ことを特徴とするＣＰＵ負荷分散システム。
2. ＯＳ動作手段は、インタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値と検出されたノイズ値との差分が所定値以下になったＣＰＵのプロセスと、他のＣＰＵのプロセスとを入れ替えることにより、ＣＰＵの処理負荷を軽減させる
   請求項１に記載のＣＰＵ負荷分散システム。
3. ＯＳ動作手段は、インタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値と検出されたノイズ値との差分がプロセスの入れ替え後に所定値より大きくならなかったＣＰＵのプロセスを、他のＣＰＵに分散させることにより、ＣＰＵの処理負荷を軽減させる
   請求項２に記載のＣＰＵ負荷分散システム。
4. ＯＳ動作手段は、インタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値と検出されたノイズ値との差分がプロセスの分散後に所定値より大きくならなかったＣＰＵのプロセスを当該ＣＰＵから引き剥がす
   請求項３に記載のＣＰＵ負荷分散システム。
5. インタフェースを介してメモリに接続されたＣＰＵを複数備え、各ＣＰＵがノイズ値を検出するセンサを備えるコンピュータに適用されるＣＰＵ負荷分散方法であって、
   オペレーティングシステムに従って動作するＯＳ動作手段が、前記インタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値と検出されたノイズ値との差分が所定値以下になったときに、前記ノイズ値が検出されたＣＰＵの処理負荷を軽減させ、
   差分測定手段が、センサが検知したノイズ値をセンサから読み取り、当該ノイズ値とインタフェースにエラーが生じるときのノイズ値として予め測定されたノイズ値との差分を測定してメモリに書き込み、メモリに対して前記各ノイズ値を書き込んだこととともに、書き込みを行ったメモリ内のアドレスをＯＳ動作手段に通知し、
   ＯＳ動作手段が、差分測定手段からの通知に基づいて、前記差分が所定値以下になったＣＰＵの処理負荷を軽減させる
   ことを特徴とするＣＰＵ負荷分散方法。

Images