JPH09101906A - 並列計算機の性能測定方法 - Google Patents

Abstract

(57)【要約】 【課題】ボード上に主記憶装置と１チップで命令処理装
置を複数台並べた構成の並列計算機にハードウエアモニ
タを設置し、性能情報を収集する。 【解決手段】並列計算機のボード上にハードウエアモニ
タを設け、さらに、並列計算機の命令処理装置に実行し
ている命令が終了した、命令キャッシュ又はデータキャ
ッシュに必要なデータが無いために命令の実行が不可能
であるを意味する信号出力を設け、主記憶装置に各命令
処理装置が主記憶に対しフェッチ、ストア、ロックリク
エストを発行した、発行したロックリクエストがロック
失敗した、主記憶装置が各命令処理装置からのリクエス
トを処理している、複数のリクエストが競合しているた
めにいくつかのフェッチ／ストアリクエストが処理を待
たされているを意味する信号出力を設け、常に値１を示
す信号出力を設け、それらの出力をハードウエアモニタ
に接続する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はボード上に主記憶装
置と１チップ化した命令処理装置を複数台並べた構成の
並列計算機に関し、特に並列計算機の性能特性に関する
データを収集するのに好適な並列計算機に関する。

【０００２】

【従来の技術】大型計算機等の情報処理装置の性能特性
に関するデータを収集するための一つの手段としてハー
ドウエアモニタがある。ハードウエアモニタは被監視情
報処理装置の内部信号を取り出して意味のある性能情報
を採取するもので、被監視情報処理装置の動作を乱さな
いという特徴を持つ。

【０００３】以前の情報処理装置は命令処理装置が１
台、または２台から数台程度のマルチプロセッサが主流
であったため、ハードウエアモニタは命令処理装置内に
設置し、命令処理装置関連の性能情報を中心に採取して
いた。命令処理装置関連の性能情報を中心に採取してい
たのは、命令処理装置の台数が少ないと命令処理装置の
性能向上が情報処理装置全体の性能向上に直接寄与する
ためである。また、命令処理装置内にハードウエアモニ
タを設置したのは、命令処理装置関連の性能情報を中心
に採取していたことと、命令処理装置台数を変更した場
合でも全ての性能特性データの採取を可能にするためで
ある。

【０００４】ところが、命令処理装置単体性能の向上が
ユーザ要求に対し追い着かなくなり、マルチプロセッサ
の命令処理装置台数を増やして情報処理装置の性能を向
上させる様になってきた。以前に比べ命令処理装置台数
が増えたため、命令処理装置だけでなく主記憶装置の性
能情報採取も重要になってきた。例えば、複数の命令処
理装置が主記憶装置に対し同時にフェッチやストア、又
はロックのリクエストを発行した場合、主記憶装置は全
てのリクエストを同時に処理することは不可能である。
主記憶装置へのリクエストの応答が遅くなり、命令処理
装置が命令実行できないためのオーバヘッドとなる。こ
のオーバヘッドを極力排除することがマルチプロセッサ
の性能向上において重要となる。ハードウエアモニタに
よる主記憶装置の性能情報採取はこのオーバヘッドの大
きさが設計値と比べ適切な値であるか、また設計値より
大きな場合にどの様な対策が必要なのか等の判断基準と
なる。主記憶装置の性能情報も重要になってきたため、
命令処理装置内だけでなく情報処理装置全体の性能情報
を採取可能な様にハードウエアモニタを情報処理装置内
に分散して配置する様になってきた。この種の発明は特
開昭６０ー１０３５８号公報、特開昭６３ー４７８５２
号公報等に記載されている。

【０００５】また、マルチプロセッサシステムにおける
主記憶装置の性能情報採取では、主記憶装置等の各装置
の同一時刻における動作状況を調べなければならない。
このため、情報処理装置内に分散して設置している複数
のハードウエアモニタによる性能情報採取を実時間で同
期する必要がある。複数のハードウエアモニタを実時間
で同期して制御する方法としては特開平２ー８３７５２
号公報に記載されている発明等がある。特開平２ー８３
７５２号公報の発明は情報処理装置内にハードウエアモ
ニタの制御を専門に行うためのモニタ制御部を設け、そ
のモニタ制御部で全てのハードウエアモニタを制御する
発明である。

【０００６】

【発明が解決しようとする課題】従来の大型計算機の命
令処理装置は複数のバイポーラ集積回路を使い実現して
いたが、最近ではＣＭＯＳ（相補型金属酸化膜半導体）
集積回路を使い１チップで命令処理装置を実現してい
る。ＣＭＯＳ集積回路はバイポーラ集積回路と比べ動作
速度が遅いため、ＣＭＯＳ命令処理装置１台では処理性
能が不足する。このため、主記憶装置と複数の命令処理
装置を同一のボード上に並べて並列計算機として処理性
能を確保している。

【０００７】上記従来技術に列挙した技術は大型計算機
等の情報処理装置用のハードウエアモニタ技術であるた
め並列計算機には使用できない。すなわち、ＣＭＯＳ集
積回路はバイポーラ集積回路と比べ多量のゲートを実装
できるが、命令処理装置の機能を１チップに押し込んで
いるために内部ゲートや入出力ピンに余裕がない。その
ため、命令処理装置内にハードウエアモニタ機能を内蔵
することは不可能である。

【０００８】また、仮に命令処理装置内にハードウエア
モニタ機能を内蔵できたとしても、同一時間で同期して
ハードウエアモニタを測定するためのモニタ制御部とハ
ードウエアモニタ間の制御や読み出し信号用のチップ入
出力ピンが用意出来ない。

【０００９】本発明の目的は並列計算機に性能情報採取
を行うハードウエアモニタを設置し、性能情報収集を可
能にすることにある。

【００１０】

【課題を解決するための手段】上記本発明の目的は並列
計算機のボード上にハードウエアモニタを設け、さら
に、並列計算機の命令処理装置に実行している命令が終
了した、命令キャッシュ又はデータキャッシュに必要な
データが無いために命令の実行が不可能であるを意味す
る信号出力を設け、主記憶装置に各命令処理装置が主記
憶に対しフェッチリクエストを発行した、各命令処理装
置が主記憶に対しストアリクエストを発行した、各命令
処理装置が主記憶に対しロックリクエストを発行した、
各命令処理装置が主記憶に対し発行したロックリクエス
トがロック失敗した、主記憶装置が各命令処理装置から
のフェッチ、ストア、ロックリクエストを処理してい
る、複数のフェッチ、ストア、ロックリクエストが競合
しているためにいくつかのフェッチ、ストア、ロックリ
クエストが処理を待たされているを意味する信号出力を
設け、常に値１を示す信号出力を設け、それらの出力を
ボード上のハードウエアモニタに接続することにより達
成される。

【００１１】上記手段によれば入出力ピンや内部ゲート
にあまり余裕の無い１チップ化した命令処理装置に２信
号の出力ピンと数ゲートの追加で並列計算機にハードウ
エアモニタを設置でき、性能情報の収集が可能になる。

【００１２】上記手段のハードウエアモニタは接続する
信号により以下の性能情報を採取できる。常に値１を示
す信号：ハードウエアモニタ測定時間。命令処理装置で
実行している命令が終了したを意味する信号：命令処理
装置の命令実行数。命令処理装置が命令キャッシュ又は
データキャッシュに必要なデータが無いために命令の実
行が不可能であるを意味する信号：命令処理装置がキャ
シュミスによるオーバヘッド時間。主記憶装置に各命令
処理装置がフェッチリクエストを発行したを意味する信
号：フェッチリクエスト数。主記憶装置に各命令処理装
置がストアリクエストを発行したを意味する信号：スト
アリクエスト数。命令処理装置が主記憶に対しロックリ
クエストを発行したを意味する信号：ロックリクエスト
数。各命令処理装置が主記憶に対し発行したロックリク
エストがロック失敗したを意味する信号：ロックリクエ
ストの内ロックが失敗した回数。主記憶装置が各命令処
理装置からのフェッチ、ストア、ロックリクエストを処
理しているを意味する信号：フェッチ、ストア、ロック
リクエスト処理時間。複数のフェッチ、ストア、ロック
リクエストが競合しているためにいくつかのフェッチ、
ストア、ロックリクエストが処理を待たされている：主
記憶装置へのリクエストが競合したためのオーバヘッド
時間。

【００１３】上記性能情報からは１命令あたりの命令実
行時間、キャッシュミスのオーバヘッド時間、フェッチ
リクエスト数、ストアリクエスト数、ロックリクエスト
数、ロックリクエスがロック失敗する割合、フェッチ、
ストア、ロック処理時間、および、主記憶装置へのリク
エストが競合する割合などの最低限の性能評価データを
算出できる。算出できる性能評価データは主記憶装置を
中心にしている。これは、並列計算機の性能評価が命令
処理装置単体の性能よりも複数の命令処理装置での性能
を重要と考えているためである。

【００１４】さらに、従来の大型計算機ではハードウエ
アモニタが情報処理装置内に分散しているため同期して
測定するための仕組みが必要であったが、ハードウエア
モニタがボード上の１ヵ所になるため同期して測定する
ための仕組みが不要となる。

【００１５】

【発明の実施の形態】図１は本発明の実施例を示す並列
計算機のブロック図である。本実施例では説明を簡単に
するため命令処理装置が２台構成の並列計算機を例にし
て説明するが当然命令処理装置数が３台以上の構成の並
列計算機システムであってもよい。

【００１６】まず図１の構成を説明する。図１は並列計
算機のボード１とサービスプロセッサ２から構成されて
いる。サービスプロセッサ２にはディスプレイ装置２１
とプリンタ２２が接続されている。ボード１には主記憶
装置１０と、第１および第２の命令処理装置１２、１３
と、ハードウエアモニタ１５と、常に論理値１を出力す
る回路１８から構成されている。ハードウエアモニタ１
５は第１〜第１６のカウンタ１５１〜１６６を有し、各
カウンタは１マシンサイクル毎に更新される。

【００１７】主記憶装置１０は第１、第２の命令処理装
置１２、１３と信号線１２０〜１２５、１３０〜１３５
で接続されている。信号線１２０、１３０は命令処理装
置から主記憶装置へのフェッチリクエスト信号であり、
信号線１２１、１３１はフェッチリクエストに対するフ
ェッチデータ転送パスである。信号線１２２、１３２は
命令処理装置から主記憶装置へのストアリクエスト信号
であり、信号線１２３、１３３はストアデータ転送パス
である。信号線１２４、１３４は命令処理装置から主記
憶装置へのロックリクエスト信号であり、信号線１２
５、１３５はロックリクエストの結果を報告する信号で
ある。

【００１８】ハードウエアモニタ内の第１〜第１６のカ
ウンタ１５１〜１６６は主記憶装置１０および、第１、
第２の命令処理装置１２、１３および、常に論理値１を
出力する回路１８と信号線１０１〜１１１、１２６〜１
２７、１３６〜１３７、１８０で接続されている。信号
線１０１、１０２は主記憶装置１０が第１、第２の命令
処理装置からフェッチリクエストを１回発行された時に
１マシンサイルの間論理値１となる信号であり、ハード
ウエアモニタの第１、第２のカウンタ１５１、１５２と
接続されている。信号線１０３、１０４は主記憶装置１
０が第１、第２命令処理装置からストアリクエストを１
回発行された時に１マシンサイルの間論理値１となる信
号であり、ハードウエアモニタの第３、第４のカウンタ
１５３、１５４と接続されている。信号線１０５、１０
６は主記憶装置１０が第１、第２命令処理装置からロッ
クリクエストを１回発行された時に１マシンサイルの間
論理値１となる信号であり、ハードウエアモニタの第
５、第６のカウンタ１５５、１５６と接続されている。
信号線１０７、１０８は第１、第２命令処理装置が発行
したロックリクエストがロック失敗した時に１マシンサ
イルの間論理値１となる信号であり、ハードウエアモニ
タの第７、第８のカウンタ１５７、１５８と接続されて
いる。信号線１０９、１１０は主記憶装置１０が第１、
第２命令処理装置のフェッチ、ストア、ロック処理を実
行している間論理値１となる信号であり、ハードウエア
モニタのカウンタ第９、第１０の１５９、１６０と接続
されている。信号線１１１は主記憶装置１０に複数のフ
ェッチ／ストアリクエスト発行され競合しているために
いくつかのフェッチ／ストアリクエストが処理を待たさ
れている間論理値１となる信号であり、ハードウエアモ
ニタの第１１のカウンタ１６１と接続されている。信号
線１２６、１３６は命令処理装置１２、１３で実行して
いる命令が終了したとき論理値１となる信号であり、ハ
ードウエアモニタの第１２、第１４のカウンタ１６２、
１６４と接続されている。信号線１２７、１３７は命令
処理装置１２、１３が命令キャシュ、データキャシュに
必要なデータが無く命令実行が不可能な間論理値１とな
る信号であり、ハードウエアモニタの第１３、第１５の
カウンタ１６３、１６５と接続されている。信号線１８
０は常に論理値１の信号であり、ハードウエアモニタの
第１６のカウンタ１６６と接続されている。

【００１９】ハードウエアモニタ１５はサービスプロセ
ッサ２と信号線２０１〜２０２で接続されている。信号
線２０１はサービスプロセッサからハードウエアモニタ
を制御するための信号であり、サービスプロセッサ内の
ハードウエアモニタ制御プログラムによる測定開始、測
定停止、カウンタのゼロクリア、カウンタの読み出しを
指示する。信号線２０２はハードウエアモニタがサービ
スプロセッサからカウンタの読み出しを指示された場合
にカウンタの値をサービスプロセッサへ転送するデータ
パスである。

【００２０】次に本実施例の動作を説明する。

【００２１】動作の説明を始める時点で本実施例のハー
ドウエアモニタ以外の並列計算機部分は既に動作状態で
あることとする。

【００２２】まず、ハードウエアモニタの測定を開始す
るために人手でサービスプロセッサのハードウエアモニ
タ制御プログラムを起動する。ハードウエアモニタ制御
プログラムは測定間隔時間と測定回数を指定すると、ハ
ードウエアモニタの測定を指定した間隔、回数で自動的
に実施する。指定した回数の測定が終了すると、記憶し
ている測定結果であるカウンタ値をサービスプロセッサ
に接続しているディスプレイ装置２１、又は、プリンタ
２２に出力する。

【００２３】ハードウエアモニタ制御プログラムが起動
されるとサービスプロセッサはハードウエアモニタに対
し、信号線２０１を通じて以下の順番で制御を指示す
る。

【００２４】測定停止。

【００２５】カウンタのゼロクリア。

【００２６】測定開始。

【００２７】指定した測定間隔時間経過。

【００２８】測定停止。

【００２９】カウンタの読み出し（読み出し結果は記
憶エリアに格納する）。

【００３０】指定した測定回数が終了ていなければへ
戻る。

【００３１】指定した測定回数が終了したらハードウエ
アモニタ制御プログラム終了。

【００３２】ハードウエアモニタは上記のハードウエア
モニタ制御プログラムによる制御指示の内、との間
測定状態となる。測定状態中ハードウエアモニタ内の第
１〜第１６のカウンタはそれぞれが接続されている信号
線１０１〜１１１、１２６〜１２７、１３６〜１３７、
１８０が論理値１のときカウントアップする。例えば、
第１命令処理装置１２と第２命令処理装置１３が共に信
号線１２０、１３０を通じてフェッチリクエストを発行
すると信号線１０１と１０２は１マシンサイクルの間論
理値１となり第１、第２のカウンタ１５１、１５２は＋
１される。主記憶装置１０が同時に処理できるフェチリ
クエストは１リクエストとすると、信号線１２０と１３
０のリクエストの内１リクエストは処理され、１リクエ
ストは待たされる。第１命令処理装置のフェチリクエス
トが処理され、第２命令処理装置のフェチリクエストが
待たされるとすると、信号線１０９、１１１は第１命令
処理装置のフェチリクエストが処理されている間論理値
１となり第９、第１１のカウンタ１５９、１６１をカウ
ントアップする。その後、第１命令処理装置のフェチリ
クエスト処理が終了し、第２命令処理装置のフェチリク
エストの処理が始まると、信号線１１０が論理値１とな
り第１０のカウンタ１６０をカウントアップする。ま
た、第１、第２の命令処理装置１１、１２がフェッチリ
クエストを発行している間キャッシュミスのため、命令
実行が不可能であれば信号線１２７、１３７は論理値１
となり第１３、第１５のカウンタ１６３、１６５をカウ
ントアップする。また、信号線１８０は常に論理値１の
ため第１６のカウンタ１６６はカウントアップし続け
る。

【００３３】ハードウエアモニタ制御プログラム終了後
にディスプレイ装置２１、又は、プリンタ２２に出力さ
れる各カウンタの値は図２に示す性能情報を意味する。
性能測定者は出力される各カウンタの性能情報から図３
に示す計算式で性能評価データを人手により求める。

【００３４】以上本発明者によってなされた発明を実施
例に基づき具体的に説明したが、本発明は上記実施例に
限定されるものではなく、その旨を逸脱しない範囲で種
々変更可能であることはいうまでもない。

【００３５】

【発明の効果】以上、説明したように、本発明によれば
１チップ化した命令処理装置にあまり影響を与えない
で、並列計算機にハードウエアモニタを設置でき、性能
情報の収集が可能になる。

【００３６】収集した性能情報からは１命令あたりの命
令実行時間、キャッシュミスのオーバヘッド時間、フェ
ッチリクエスト数、ストアリクエスト数、ロックリクエ
スト数、フェッチ／ストア処理時間、および、ロック失
敗の割合、主記憶装置へのリクエストが競合する割合な
どの最低限の性能評価データを算出できる。

【００３７】また、従来の大型計算機ではハードウエア
モニタが情報処理装置内に分散しているため同期して測
定するための仕組みが必要であったが、ハードウエアモ
ニタがボード上の１ヵ所になるため同期して測定するた
めの仕組みが不要となる。

【図面の簡単な説明】

【図１】本発明の実施例を示す並列計算機のブロック図
である。

【図２】実施例の各カウンタの測定情報の意味である。

【図３】実施例の測定情報から性能評価データを算出す
る計算式である。

【符号の説明】

１…並列計算機のボード、 ２…サービスプロセ
ッサ、１０…主記憶装置、 １２、１３…
命令処理装置、１５…ハードウエアモニタ、 １８
…常に論理値１を出力する回路、２１…ディスプレイ装
置、 ２２…プリンタ、１５１〜１６６…カウン
タ、１０１〜１１１、１２０〜１２７、１３０〜１３
７、１８０、２０１〜２０２…信号線。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ▲高▼橋 知英 神奈川県秦野市堀山下１番地日立コンピュ ータエンジニアリング株式会社内 (72)発明者 高橋 千秋 神奈川県秦野市堀山下１番地日立コンピュ ータエンジニアリング株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】ボード上に主記憶装置と１チップ化した命
   令処理装置を複数台並べた構成の並列計算機において、
   前記ボード上に性能特性に関するデータを収集するため
   のハードウエアモニタを備えたことを特徴とする並列計
   算機。
2. 【請求項２】前記請求項１の並列計算機において、 （ａ）１チップ化した命令処理装置に ・実行している命令が終了した ・命令キャッシュ、データキャッシュに必要なデータが
   無いために命令の実行が不可能であるを意味する信号出
   力を設け、 （ｂ）主記憶装置に ・各命令処理装置が主記憶に対しフェッチリクエストを
   発行した ・各命令処理装置が主記憶に対しストアリクエストを発
   行した ・各命令処理装置が主記憶に対しロックリクエストを発
   行した ・各命令処理装置が主記憶に対し発行したロックリクエ
   ストがロック失敗した ・主記憶装置が各命令処理装置からのフェッチ、スト
   ア、ロックリクエストを処理している ・複数のフェッチ、ストア、ロックリクエストが競合し
   ているためにいくつかのフェッチ、ストア、ロックリク
   エストが処理を待たされているを意味する信号出力を設
   け、 （ｃ）常に値１を示す信号出力を設け、前記（ａ）、
   （ｂ）、（ｃ）の出力をハードウエアモニタに接続する
   ことを特徴とする並列計算機。