JP3344121B2 - 分散処理プロセッサシステムにおける性能データ処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、性能データを記録し処
理する方法に関し、特に並列的に情報処理を行う分散処
理プロセッサシステムにおける性能データ処理方法に関
する。

【０００２】

【従来の技術】従来、分散処理プロセッサシステムで
は、各処理装置が各処理装置が有するタイマの時刻にあ
わせて性能データを収集した場合、一般には、各処理装
置のタイマは独自に動作するため、その収集時刻が一致
しない。そこで、各処理装置ではタイマの同期、つまり
各処理装置での時計を一致させた上で、特定の時刻に性
能データを収集することが必要になっていた。

【０００３】分散システムにおける時刻合わせ装置とし
て、特開平３−２７１９５９号公報に、１台の時計装置
による時刻を絶対時刻として全端末局に同報通信によっ
て配布し、各端末装置間で時刻ずれが発生するのを防
ぎ、システムの信頼性を向上させることができる時刻合
わせ装置が提供されている。

【０００４】また分散処理環境において正確なシステム
タイマを維持できるタイマ同期方式として、特開平５−
１８９３８５号公報に、各処理装置は分散処理環境系に
対して自己の所有する計時手段が計時した時刻を送信す
ると共に、その時刻を受信した処理装置からの当該処理
装置が所有する計時手段が計時した時刻を受信し、該受
信した時刻と自己の時刻とを比較し、その差が予め設定
された許容誤差範囲を超えていた場合は、受信した時刻
情報に基づいて自己の計時手段の時刻を補正し、その
後、補正した時刻と共に状態情報を記録する技術が示さ
れている。

【０００５】

【発明が解決しようとする課題】しかしながら、特開平
３−２７１９５９号公報に記載の方法では、各端末局の
状態情報を収集する際には、状態情報を収集する以前に
全端末局間で時刻を合わせてから収集しないと、状態情
報を収集する時刻が全端末間で同時刻にならないという
問題があった。そして、絶対時刻受信時に、端末局の時
計装置の時刻を再セットするためハード装置及びソフト
ウェアが必要となっていた。また、特開平５−１８９３
８５号公報に記載のタイマ同期化方法でも、分散処理環
境系内の各処理装置が能動的に自己の時刻を互いに常時
送信しあい、誤差が許容範囲を超えた場合は計時手段が
有するタイマの値そのものを補正する必要がり、計時手
段の時刻を補正（再セット）するためのハードウェアや
ソフトウェアが必要になっていた。

【０００６】本発明の目的は、分散処理プロセッサシス
テムにおいて、全プロセッサでの性能評価データの時系
列を得るのに、計時手段そのものの同期化信号の配布を
必要とせず、性能評価データ取得以前での各プロセッサ
の計時手段の時刻（タイマ、クロック）合わせを不要と
する方法を提供することである。

【０００７】

【課題を解決するための手段】上記目的は、プロセッサ
と、記憶装置と、クロックパルス発生装置と、その出力
パルスを計数する計数回路とから成るプロセッサシステ
ムと、前記プロセッサシステムをネットワークへ接続す
るネットワークアダプタと、前記プロセッサシステムの
動作、状況を監視する監視装置とから構成されるプロセ
ッサユニットを複数台有し、前記複数台のプロセッサユ
ニットを接続するネットワークから成る分散処理プロセ
ッサシステムにおける性能データ処理方法であって、前
記各プロセッサユニットの性能データを時系列に並べる
際に、前記各監視装置は、自監視装置が属する前記プロ
セッサユニット内の前記プロセッサに関するデータと前
記計数回路の第１のカウンタ値とを、お互いに非同期に
記録し、事前に定められた特定のプロセッサユニット
は、他の各プロセッサユニットに対しブロードキャスト
メッセージを送信すると共に、自プロセッサユニットの
前記計数回路がカウントした第２のカウンタ値を記録
し、他の各プロセッサユニットは、前記ブロードキャス
トメッセージに応じて、各々独立して動く前記計数回路
がカウントした第３のカウンタ値を同一時刻に記録し、
前記特定のプロセッサユニットは、第２のカウンタ値を
その他の各プロセッサユニットに送信し、特定のプロセ
ッサユニットにおける第３のカウンタ値とその他のプロ
セッサユニットにおける第２のカウンタ値の差分を計算
し、各々のプロセッサユニットに記録されている第１の
カウンタ値を前記差分で補正し、この補正したカウンタ
値により記録したデータの相対的な時間関係を得ること
によって達成される。

【０００８】また、前記各プロセッサユニットは、前記
特定のプロセッサからその他の各プロセッサまでの前記
メッセージの遅延時間を予め保持しておき、前記第３の
カウンタ値を記録する際は、第３のカウンタ値から前記
遅延時間を引いた値を第３のカウンタ値として記録する
ことによって達成される。

【０００９】

【作用】分散処理プロセッサシステムにおける性能評価
においては、各々のプロセッサの時系列的な動作を正確
に測定し、全体システムを調整することが必要である。

【００１０】本発明では、性能評価データを取得した時
刻を記録するのに、各プロセッサユニット間で非同期に
動作しているクロックパルス発生装置からのパルスを計
数して得られるカウンタ値を用いる。性能データ取得時
は、性能評価データと性能評価データ取得時のカウンタ
値を記録する。その後、分散処理プロセッサシステムの
性能評価を行うために取得した全プロセッサユニットの
性能評価データを時系列に並べる際は、基準とするプロ
セッサユニットのカウンタ値と、その他のプロセッサユ
ニットのカウンタ値との差分を基に、ＲＡＭや磁気テー
プ等の記憶装置に記録されている、性能評価データ取得
時のカウンタ値を補正し、この補正したカウンタ値を基
準として、全てのプロセッサユニットのカウンタ値を、
基準となるプロセッサユニットのカウンタ値を基準にし
た時系列に合わせる。そのため、性能評価データを各プ
ロセッサユニットで取得する際、時刻等を供給するタイ
マ回路等を、事前に各プロセッサユニット相互間で同時
刻に一致させる必要が無く、結果として、それを実行す
るハード装置やソフトウェアも不要となる。

【００１１】また、このカウンタ値の補正時に、あらか
じめ測定あるいは試算した、ネットワークにおける遅延
時間に相当するカウンタ値を基に、性能評価データ取得
時のカウンタ値を補正することにより、全てのプロセッ
サユニットのカウンタ値を正確に同一時系列に合わせる
ことができる。

【００１２】以上述べたように、分散処理プロセッサシ
ステムにおいて、クロックパルス発生装置、出力パルス
を計数する回路等に時刻を再セットするための機能を付
加することなく、廉価かつ簡単かつ正確に、分散処理プ
ロセッサシステムにおける性能評価データの記録し処理
することができる。

【００１３】

【実施例】以下、本発明の好ましい一実施例を以下図を
用いて説明する。図１は、本発明を適用する分散処理プ
ロセッサシステムの一構成例を示す。分散処理プロセッ
サシステムは、複数台のプロセッサユニット１ａ〜１
ｎ、複数台のプロセッサユニットを接続するネットワー
ク８で構成されている。

【００１４】図２は、各々のプロセッサユニット１ａ〜
１ｎの詳細構成を示す。各々のプロセッサユニット１ａ
〜１ｎは、プロセッサ２ａ〜２ｎ、メモリ３ａ〜３ｎ、
クロックパルス発生装置４ａ〜４ｎ、その出力パルスを
計数する出力パルス計数回路（カウンタ）５ａ〜５ｎか
ら成るプロセッサシステムと、前記プロセッサシステム
とネットワークとの間の通信制御を行うネットワークア
ダプタ６ａ〜６ｎと、前記プロセッサシステムに接続さ
れ、プロセッサシステム１ａ〜１ｎ及びネットワークア
ダプタ６ａ〜６ｎの動作、状況を監視するプロセッサ監
視装置７ａ〜７ｎから構成されている。各プロセッサ監
視装置は、プロセッサ及びネットワークアダプタ、更
に、ネットワーク８を介して他のプロセッサユニット内
のプロセッサ監視装置との間で、監視したプロセッサシ
ステム１ａ〜１ｎ及びネットワークアダプタ６ａ〜６ｎ
の動作状況等のデータを送受信することができる。クロ
ックパルス発生装置４ａ〜４ｎは、各プロセッサユニッ
トが起動された時点で各々始動されクロックパルスを出
力する。なお、クロックパルス発生装置４ａ〜４ｎは、
一般の計算機が有するクロック装置を利用することもで
きる。

【００１５】出力パルス計数カウンタ５ａ〜５ｎは、ク
ロックパルス発生装置４ａ〜４ｎが出力したクロックパ
ルスを計数するカウンタである。出力パルス計数カウン
タ５ａ〜５ｎは、独立してカウントアップしており、各
々のプロセッサユニット１ａ〜１ｎ相互間でカウンタ値
を合わせる動作は行なわないので、その結果、各プロセ
ッサユニット相互でカウンタ値は異なる。なお、オペレ
ータからの本分散処理プロセッサシステムへのユニット
入力は、図示されない入力手段を用いてプロセッサユニ
ット１ａにまず入力され、その後ネットワーク８を介し
て各プロセッサユニット１ｂ〜１ｎに伝達される。

【００１６】以下、プロセッサユニット１ａを基準プロ
セッサユニットと、他のプロセッサユニット２ａ〜２ｎ
を通常プロセッサユニットとして説明する。

【００１７】図３は、プロセッサユニット１ａ〜１ｎ内
のメモリ３ａ〜３ｎのアドレスマップである。誤差補正
カウンタ値は、基準プロセッサユニットから通常プロセ
ッサユニットへメッセージを送信した場合の遅延時間に
相当する、出力パルス計数カウンタのカウンタ値であ
り、各プロセッサユニットで予めセットされる。この誤
差補正カウンタ値は、遅延時間が、分散処理プロセッサ
システムの設計時や、事前に測定することで求めること
ができることから、この遅延時間をパルス間隔で割るこ
とによって求めることができる。その他のカウンタ値及
びデータは、以下の手順に従い、あらかじめ決められて
いるアドレスに記録される。

【００１８】以下、性能評価データ取得、補正の手順に
従い説明する。

【００１９】（イ）オペレータからの入力等により、性
能評価データ取得の開始命令がプロセッサユニット１ａ
に対して指示されると、プロセッサユニット１ａは、他
のプロセッサユニット１ｂ〜１ｎに対して、性能評価デ
ータの取得開始を指示する「性能評価データ取得開始メ
ッセージ」（図４（ａ）に例を示す。）を送信すると共
に、性能評価データ取得を開始する。一方、他のプロセ
ッサユニット１ｂ〜１ｎは、プロセッサユニット１ａか
らの「性能評価データ取得開始メッセージ」を受信後、
性能評価データ取得を開始する。

【００２０】（ロ）プロセッサユニット１ａ〜１ｎで
は、各プロセッサユニット監視装置７ａ〜７ｎが、各プ
ロセッサシステム及びネットワークアダプタの動作状況
などの性能評価データ（例えば、ＣＰＵ利用率やメモリ
へのアクセス頻度など）を採取する。採取するタイミン
グは、カウンタ５ａ〜５ｎを利用した定期的な割込み
か、あるいはプロセッサユニット１ａを介したコマンド
入力による割込みにより起動される。この性能評価デー
タは、メモリ３ａ〜３ｎの所定のアドレスへ記録され、
またこの記録された時点での計数カウンタ５ａ〜５ｎの
カウンタ値が、この性能評価データと対応づけられたメ
モリ３ａ〜３ｎの所定のアドレスへ記録される。図５
は、カウンタ５ａ〜５ｎによる定期的な割込みの発生方
法を示しており、図４（ｂ）は、プロセッサユニット１
ａから性能評価データを採取せよとのコマンドが入力さ
れた場合に、プロセッサユニット１ａから送信される
「割込み指示メッセージ」の内容を示している。また図
６は、上記の割込み処理が発生してからの流れを示して
いる。

【００２１】（ハ）オペレータ等がプロセッサユニット
１ａに性能評価データ取得終了コマンドを入力すると、
プロセッサユニット１ａは、プロセッサユニット１ｂ〜
１ｎに「性能評価データ取得終了メッセージ」を送信す
る。本メッセージの内容の例を図４（ｃ）に示す。その
後、プロセッサユニット１ａは性能評価データ取得を終
了する。一方、プロセッサユニット１ｂ〜１ｎは、プロ
セッサユニット１ａから「データ取得終了メッセージ」
を受信すると、その後、性能評価データ取得を終了す
る。

【００２２】以上、（イ）（ロ）（ハ）の手順により、
各プロセッサユニットでの性能評価データの収集が終了
する。次ぎに、収集した性能評価データの時間合わせの
手順を説明する。

【００２３】（ニ）性能評価データ取得終了の後、各プ
ロセッサユニット１ａ〜１ｎは、ネットワーク上の通信
を一時中断する。

【００２４】（ホ）（ニ）の後、プロセッサユニット１
ａは、コマンド入力等による指示を受けると、プロセッ
サユニット１ｂ〜１ｎに「カウンタ値修正命令メッセー
ジ」（図４（ｄ））を送信する。この「カウンタ値修正
命令メッセージ」の送信はネットワーク上の通信を中断
した後に自動的に行っても良い。プロセッサユニット１
ａは「カウンタ値修正メッセージ」を送信した後、メモ
リ３ａの所定のアドレスへカウンタ５ａのカウンタ値を
記録する。またプロセッサユニット１ｂ〜１ｎは「カウ
ンタ値修正命令メッセージ」を受信すると、メモリ３ｂ
〜３ｎの所定のアドレスへ、出力パルス計数カウンタ５
ｂ〜５ｎのカウンタ値を記録する。他のプロセッサユニ
ット１ｂ〜１ｎでカウンタ値を記録するタイミングは、
プロセッサユニット１ａでカウンタ値を記録するタイミ
ングと比較して、「カウンタ値修正メッセージ」をプロ
セッサユニット１ａからプロセッサユニット１ｂ〜１ｎ
へ送信する転送時間、および、プロセッサユニット１ｂ
〜１ｎが「カウンタ値修正メッセージ」を受信してから
カウンタ５ｂ〜５ｎのカウンタ値記録開始までの経過時
間分だけ遅れることになる。なお、「カウンタ値修正命
令メッセージ」は、ネットワークの他の通信がストップ
されている時に送信されるので、他のメッセージによる
遅延の影響は発生しない。

【００２５】（ヘ）（ニ）によって中断されていたネッ
トワーク上の通信を再開する。

【００２６】（ト）プロセッサユニット１ｂ〜１ｎは、
（ホ）で説明した転送時間及びカウンタ値記録開始まで
の経過時間による、プロセッサユニット１ａで記録され
たカウンタ値とプロセッサユニット１ｂ〜１ｎで記録さ
れたカウンタ値との誤差を修正する。この修正は、プロ
セッサユニット１ｂ〜１ｎのメモリ３ｂ〜３ｎの所定の
アドレスに予め格納されている誤差修正値を、（ホ）で
記録されたカウンタ値から減算することにより行われ
る。これにより、プロセッサユニット１ｂ〜１ｎで記録
されるカウンタ値は、プロセッサユニットａでカウンタ
値を記録したのと同時刻での値に修正される。ここで、
この誤差修正値は、あらかじめ測定あるいは設計時に試
算したプロセッサユニット１ａからの転送時間と、メッ
セージ転送終了からカウンタ５ｂ〜５ｎのカウンタ値記
録開始までの試算値とに相当するカウンタ値である。な
お、プロセッサユニット１ａでは、転送遅延および経過
時間による影響は無いのでこの誤差修正は行われない。
また、この補正は、転送遅延または経過時間が性能評価
上問題にならないほど小さい場合は、片方（転送遅延ま
たは経過時間）、または両方（転送遅延と経過時間）を
必要に応じて省くこともできる。

【００２７】（チ）プロセッサユニット１ｂ〜１ｎは、
（ト）による転送遅延および経過時間による誤差の補正
が終了すると、プロセッサユニット１ａに、「誤差補正
終了メッセージ」を送信する。本メッセージの構成例を
図４（ｅ）に示す。

【００２８】（リ）プロセッサユニット１ａは、全部の
プロセッサユニット１ｂ〜１ｎからの「誤差補正終了通
知メッセージ」の受信を確認すると、プロセッサユニッ
ト１ｂ〜１ｎに、（ホ）で記録したカウンタ値（基準カ
ウンタ値）を「カウンタ値送信メッセージ」で送信す
る。本メッセージの構成例を図４（ｆ）に示す。

【００２９】（ヌ）プロセッサユニット１ｂ〜１ｎは、
（ト）で記録したカウンタ値からプロセッサユニット１
ａから送信されたカウンタ値（基準カウンタ値）を減算
し、プロセッサユニット１ａのカウンタ値と、プロセッ
サユニット１ｂ〜１ｎのカウンタ値の差分を求める。こ
の差分は、プロセッサユニット１ａと各プロセッサユニ
ット１ｂ〜１ｎのカウンタ値の差である。

【００３０】（ル）プロセッサユニット１ｂ〜１ｎで
は、（ヌ）により求めたカウンタ値の差分（差分カウン
タ値）を、（ロ）で性能評価データと共に記録したカウ
ンタ値から減算し、プロセッサユニット１ａを基準にし
た時系列に合わせる。

【００３１】以上の様にして、各プロセッサユニット１
ａ〜１ｎで性能評価データを収集し記録したタイミング
でのカウンタ値を、プロセッサユニット１ａを基準にし
た時系列に合わせることができ、このカウンタ値を基に
分散処理プロセッサシステムにおける全ての性能評価デ
ータを時系列に並べることができる。

【００３２】この方法は、従来行われていた、分散処理
プロセッサ内の全てのプロセッサの有する時計回路やカ
ウンタ回路を同じ値にセットし、その後、性能評価デー
タと共にカウンタ値を記録し、そのカウンタ値をもとに
性能評価データを時系列に並べるのと比較して、時計回
路やカウンタ回路を同じ値にセットするハードウェアお
よびソフトウェアを準備する必要が無く、コスト的に大
きなメリットがある。

【００３３】

【発明の効果】本発明によれば、通常のネットワークを
用いてメッセージ転送するのでクロックパルス転送用の
専用のネットワークを必要としない。また、性能評価デ
ータ取得時においては、事前に各プロセッサユニットの
クロックやパルス値を各プロセッサユニット間で一致さ
せる必要が無く、その結果、クロックパルス発生装置や
出力パルスを計数する回路等を各プロセッサ間で一致さ
せるためのハードやソフトを必要としない。そのため、
プロセッサユニットを廉価にすることができる。更に、
一旦記録されたカウンタ値を性能評価データを集計する
際に各プロセッサユニット間におけるカウンタ値の補正
し、即ち、特定の基準プロセッサユニットを基にした時
系列に合わせることができるので、各々のプロセッサユ
ニットの動作のタイミングを同一時系列上で把握するこ
とができ、分散処理プロセッサシステムにおける性能評
価を容易にすることができる。

【図面の簡単な説明】

【図１】本発明による一実施例（全体図）である。

【図２】本発明によるプロセッサユニット内部の一実施
例である。

【図３】本発明によるメモリ内のアドレスマップの一実
施例である。

【図４】性能評価データ取得において使用するメッセー
ジである。

【図５】割込み発生方法のフローチャートである。

【図６】割込み発生処理のフローチャートである。

【符号の説明】

１ａ〜１ｎ…プロセッサユニット、 ２ｎ…プロセッ
サ、３ｎ…メモリ、 ４ｎ…クロックパルス発生装
置、５ｎ…出力パルス計数カウンタ、 ６ｎ…ネッ
トワークアダプタ、７ｎ…プロセッサユニット監視装
置、８…プロセッサユニット間ネットワーク。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 11/34

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】プロセッサと、記憶装置と、クロックパル
   ス発生装置と、その出力パルスを計数する計数回路とか
   ら成るプロセッサシステムと、前記プロセッサシステム
   をネットワークへ接続するネットワークアダプタと、前
   記プロセッサシステムの動作、状況を監視する監視装置
   とから構成されるプロセッサユニットを複数台有し、前
   記複数台のプロセッサユニットを接続するネットワーク
   から成る分散処理プロセッサシステムにおける性能デー
   タ処理方法であって、 前記各監視装置は、自監視装置が属する前記プロセッサ
   ユニット内の前記プロセッサに関するデータと自監視装
   置が属する前記プロセッサユニット内の前記計数回路の
   第１のカウンタ値とを、自監視装置が属する前記プロセ
   ッサユニット内の前記記憶装置に記録し、 事前に定められた特定のプロセッサユニットは、他の各
   プロセッサユニットに対しブロードキャストメッセージ
   を送信すると共に、自プロセッサユニットの前記計数回
   路がカウントした第２のカウンタ値を記録し、 他の各プロセッサユニットは、前記ブロードキャストメ
   ッセージの受信を契機に、各々独立して動く前記計数回
   路がカウントした第３のカウンタ値を記録し、前記特定
   のプロセッサユニットは、第２のカウンタ値をその他の
   プロセッサユニットに送信し、 特定のプロセッサユニットにおける第２のカウンタ値と
   その他のプロセッサユニットにおける第３のカウンタ値
   の差分を計算し、各々のユニット内において記録された
   第１のカウンタ値を前記差分で補正し、この補正したカ
   ウンタ値を基に、各々のユニット内において記録された
   各プロセッサに関するデータの相対的な時間関係を得る
   ことを特徴とした分散処理プロセッサシステムにおける
   性能データ処理方法。
2. 【請求項２】前記各プロセッサユニットは、前記特定の
   プロセッサから自プロセッサまでの前記メッセージの遅
   延時間を予め保持しておき、前記第３のカウンタ値を記
   録する際は、第３のカウンタ値から前記遅延時間を引い
   た値を第３のカウンタ値として記録することを特徴とす
   る請求項１記載の分散処理プロセッサシステムにおける
   性能データ処理方法。