JPH11154143A - 並列プロセッサにおけるプロセス間のスケジューリング方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】実行中のプロセスからのダイナミックな通信要
求に対して最適な通信経路の確保を行うプロセスのスケ
ジュール方式を提供する。 【解決手段】システム管理プロセッサ１と、ｎ個の計算
プロセッサ２が高速のネットワーク４により接続され、
各プロセッサはお互いに通信出来る並列計算機システム
において、システム管理プロセッサ１で各計算プロセッ
サ２の相互の通信使用状況を一括監視しておき、プロセ
スを新たに生成する場合には、プロセスを生成するのに
送信使用率が最も低いプロセッサを選択しプロセスを生
成する。実行中のプロセス１５から送信要求がある場合
には、通信経路確保のため最適なプロセッサを選択し、
通信のための最適なプロセッサが選択された場合には、
プロセス移動機能１３を用いて、最適なプロセッサにプ
ロセスを移動した後に、プロセス関連情報の復元を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は数十から数万のプロ
セッサが２次元あるいは３次元の高速なネットワークで
結合して動作する並列計算機システムにおけるプロセス
のスケジューリング方式に関する。

【０００２】

【従来の技術】並列計算機システム上で動作する並列計
算プロセスに対するプロセス生成は、各プロセッサ部分
の送受信状況に関わらずプロセスの生成を行っている。
また、一旦プロセスを実行するプロセッサが決定される
と、プロセスを他のプロセッサへ移動することがないた
め、実行中のそれぞれのプロセスからの送受信要求にお
いては、各プロセッサ部分の通信経路の使用状況に関わ
らず、要求したプロセッサ上に送受信を行っている。ま
たプロセッサ間通信制御方式として特開平５−３２４５
９２号公報に記載されたものがあるがメッセージ通信回
数削減に関する技術である。

【０００３】

【発明が解決しようとする課題】上述した従来の方式で
は、プロセッサ間の通信の負荷にかかわらずプロセスの
割り当てを行うため、ある特定のプロセッサ間で通信の
負荷がかかっている場合、当該プロセッサ部分のスルー
プットの低下が避けられない。一般に並列計算プロセス
は、複数のプロセッサに割り当てられたプロセスを同期
させて処理するが、プロセッサ内で複数のプロセスによ
り特定のプロセッサ間での広域的な通信の負荷がかかる
と、システム全体のスループットの低下を招いている。

【０００４】本発明の目的は、各プロセッサ間の通信使
用状況をあらかじめ監視しておき、プロセスの生成時、
および、送受信要求時にシステム全体の通信使用効率が
適正になるようにプロセスの生成を行い、システム全体
のスループットの向上を図るものである。

【０００５】

【課題を解決するための手段】図１は、本発明のブロッ
ク図である。前提として、ｎ個の計算プロセッサ２と１
個のシステム管理用プロセッサ１が各プロセッサ間の通
信を行うための高速なネットワーク機構４で接続され、
各プロセッサ毎に独立したメモリを有する並列計算機の
下で、計算プロセッサ２上で動作するプロセス１５を管
理するための制御プログラム（以下プロセッサ管理１１
と称する）が各計算プロセッサ２上で動作し、システム
管理プロセッサ１には、システム全体を管理するための
制御プログラム（以下システム管理５と称する）が動作
している。プロセス１５の生成は、システム管理５がプ
ロセッサ管理１１に対しプロセス生成要求することで行
う。動作中のプロセス１５からの送信要求が発生した場
合には、プロセッサ管理１１により他計算プロセッサ２
に送信を行う。各プロセス１５は、システム内でユニー
クなプロセス番号１６を持っている。また、各プロセッ
サもシステム内で高速ネットワークの交点を２次元なら
ばｘ座標、ｙ座標、３次元ならばｘ座標、ｙ座標、ｚ座
標のユニークなプロセッサ番号３を持っている。どのプ
ロセスがどの計算プロセッサで実行されているかは、プ
ロセス番号１６とプロセッサ番号３との対応テーブル
（以下プロセス管理テーブル９と称する）をシステム管
理５で管理している。

【０００６】各プロセス間で通信する場合には送信元の
プロセッサが送信先のプロセッサ番号、プロセスの送信
使用量と送信先のプロセッサ番号と送信を行ったプロセ
ッサまでの送信経路をプロセッサ管理１１に報告を行
い、送信が完了すると、送信先のプロセッサ番号、プロ
セスの送信使用量と送信を行ったプロセッサまでの送信
経路と送信の完了を報告するものとする。

【０００７】本発明を実現するために、各プロセッサ管
理１１には、該当プロセッサの送信使用量と送信元から
送信先のプロセッサ番号の経路を監視し、送信を行うと
きのプロセス番号、プロセスの実メモリ使用量、プロセ
ス送信使用量と通信経路をシステム管理５へ通知し、送
信が完了すると送信を行ったプロセス番号、プロセスの
実メモリ使用量、プロセス送信使用量と通信経路と送信
が完了したというフラグの通知を受け、システム管理に
報告する「通信報告機能１４」と他のプロセッサへプロ
セスを移動する「プロセス移動機能１３」を設ける。シ
ステム管理５には、各プロセッサ管理１１から通知され
た送信使用量を通信使用状況管理テーブル１０、通信負
荷管理テーブル１９を管理する「通信負荷管理機能７」
を設ける。通信負荷管理機能７は、通信テーブル更新機
能７ａと通信負荷監視機能７ｂから構成されている。通
信テーブル更新機能７ａは、計算プロセッサ２の通信報
告機能１４より通知されたプロセス番号、プロセスの実
メモリ使用量、プロセス送信使用量と通信経路、送信先
のプロセッサ、送信完了したかのフラグを通信使用状況
管理テーブル１０に追加する機能である。通信負荷監視
機能７ｂは通信負荷を一定時間監視し、ある通信経路に
て通信の負荷集中が発生した場合、新たに設けた「プロ
セッサ選択機能８」をコールし、通信負荷に関してプロ
セス割り当てに関する最適な計算プロセッサ２を選択さ
せる。ただし、再度同一プロセス番号が「プロセッサ選
択機能８」をコールしたとき割り当てられないようにプ
ロセス番号を記憶しておくためのプロセス選択テーブル
７ｃを設定しておき、選択したプロセス番号をプロセッ
サ選択機能８で選択された順番に格納する。さらに送信
完了したデータを通信使用状況管理テーブル１０から削
除のおよび通信負荷管理テーブル１９の更新を行う機能
である。

【０００８】新規にプロセス生成が要求されると、シス
テム管理５が、通信負荷管理機能７を用いて、通信負荷
管理テーブル１９内の全計算プロセッサ中で、通信使用
量が最少であるプロセッサ２を選択しプロセスの生成要
求を行う。動作中のプロセス１５からの他の計算プロセ
ッサ２への通信要求の場合には、送信要求機能１７で送
信を行うが通信使用量が通信量のしきい値を超える場合
にはシステム管理５のプロセッサ選択機能８を利用し、
受信側の近傍の計算プロセッサ２で最少の通信使用量で
ある計算プロセッサ２を選択し、該当プロセッサへ実行
中のプロセス１５そのものを移動し、移動先の計算プロ
セッサでプロセス確保する。これにより、特定プロセス
による計算プロセッサの局所的な通信の負荷に抑えるこ
とによりスループットの低下を防止することが可能とな
る。

【０００９】

【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。図１は、本発明の一実施例のブ
ロック図である。図１においてシステム管理プロセッサ
１と各計算プロセッサ２は高速のネットワーク４で接続
され、接続されたすべてのプロセッサはお互いに通信し
情報の交換が可能である。

【００１０】システム管理５には、プロセス管理機能６
と送信負荷管理機能７とプロセッサ選択機能８を新たに
設ける。プロセス管理機能６は、生成したプロセス番号
とプロセッサ番号を対応させる機能でありプロセスの生
成・終了が発生するとプロセス管理テーブル９に情報を
格納する。

【００１１】通信負荷管理機能７は、通信テーブル更新
機能７ａと通信負荷監視機能７ｂで構成されている。通
信テーブル更新機能７ａは各プロセッサ管理１１の通信
報告機能１４から報告された各計算プロセッサ２のプロ
セス単位の送信使用量、実メモリ使用量、送信先プロセ
ッサ番号、送信先の計算プロセッサ２までの送信経路を
通信使用状況管理テーブル１０へレコードを追加し、プ
ロセッサ番号とその近傍との負荷状況を監視するための
通信負荷管理テーブル１９に通信報告機能１４の通信経
路から該当方向の通信方向に送信先プロセッサまで通信
量を加算する機能である。通信負荷監視機能７ｂは、一
定時間通信負荷を監視しプロセッサ選択機能８およびプ
ロセス移動機能１３をコールする。また、送信が完了し
たプロセスに関しては通信使用状況管理テーブル１０か
らの削除、および通信負荷管理テーブル１０から送信量
についての一定量の減算を行うことによって単位時間あ
たりの通信量の過負荷を監視する機能である。

【００１２】プロセッサ選択機能８は、通信使用状況管
理テーブル１０と通信負荷管理テーブル１９を参照し最
適な計算プロセッサ２を選択し要求元へ応答する機能を
持つ。各プロセッサ管理１１は、プロセス生成／終了機
能１２を持っている。プロセス生成／終了機能１２は、
自プロセッサにプロセスの生成、終了を行う機能であ
る。

【００１３】通信報告機能１４は、プロセス間で通信す
る場合、送信元のプロセッサが送信先のプロセッサ番
号、プロセスの送信使用量、送信時のプロセッサの実メ
モリ使用量と送信先のプロセッサまでの送信経路、およ
び送信完了報告を受け取りこの情報をプロセッサ内プロ
セス管理機能１８で監視を行っているプロセスの実メモ
リ使用状況を参照し、通信負荷管理機能７に報告する機
能である。

【００１４】送信要求機能１７は、他プロセッサのプロ
セスに送信を行う機能である。

【００１５】プロセッサ内プロセス管理機能１８は、自
計算プロセッサ２のプロセス１５のメモリ使用状況など
を監視しプロセス管理機能６へ報告する。

【００１６】プロセス移動機能１３は、自計算プロセッ
サ２で実行中の任意のプロセス１５を任意の計算プロセ
ッサ２へ移動する機能である。

【００１７】図２は、プロセス管理テーブル９の構成例
を示したものである。

【００１８】プロセス番号２０、当該プロセスが存在す
るプロセッサ番号２１とプロセスの動作状況を示すプロ
セスの状態２２から構成されている。図３は、プロセッ
サ番号２１の詳細を示した図で、ｘ座標２１ｘ、ｙ座標
２１ｙ、ｚ座標２１ｚで構成されている。

【００１９】図４は、各プロセス１５の通信量を管理す
る通信使用状況管理テーブル１０の構成例を示したもの
である。プロセス番号３０、そのプロセスの実メモリ使
用量３１、プロセスの送信使用量３２、そのプロセス番
号の送信が完了すると送信完了を通知する領域として送
信完了フラグ３３、プロセッサ番号３４、送信先のプロ
セッサ番号３５プロセッサ番号３４から送信先のプロセ
ッサ番号３５までのプロセッサ番号の配列した通信経路
３６で構成されている。図５はプロセッサ番号３４のｘ
座標３４ｘ、ｙ座標３４ｙ、ｚ座標３４ｚで構成されて
いる。図６は送信先のプロセッサ番号３５のｘ座標３５
ｘ、ｙ座標３５ｙ、ｚ座標を３５ｚで構成されている。
図７は通信経路３６の詳細である。通信報告機能１４か
ら報告された送信経路の順に格納され、通信負荷管理機
能７の通信テーブル更新機能７ｂが送信元プロセッサ番
号３６０のｘ座標３６０ｘ、ｙ座標３６０ｙ、ｚ座標３
６０ｚ、経路１プロセッサ番号３６１のｘ座標３６１
ｘ、ｙ座標３６１ｙ、ｚ座標３６１ｚ、経路２プロセッ
サ番号３６２のｘ座標３６２ｘ、ｙ座標３６２ｙ、ｚ座
標３６２ｚ、と逐次経路とテーブルに書き込み経路ｍの
プロセッサ番号３６ｍのｘ座標３６ｍｘ、ｙ座標３６ｍ
ｙ、ｚ座標３６ｍｚ、送信先プロセッサ番号３６ｎのｘ
座標３６ｎｘ、ｙ座標３６ｎｙ、ｚ座標３６ｎｚまで登
録可能な構成である。

【００２０】図８は、各計算プロセッサ２の通信量を管
理する通信負荷管理テーブル１９の構成例を示したもの
である。プロセッサ番号４０、そのプロセッサ番号４０
のx+1方向の通信量４１、プロセッサ番号４０のx-1方向
の通信量４２、プロセッサ番号４０のy+1方向の通信量
４３、プロセッサ番号４０のy-1方向の通信量４４、プ
ロセッサ番号４０のz+1方向の通信量４５、プロセッサ
番号４０のz-1方向の通信量４６、および通信量のしき
い値４７、メモリ使用量の許容量４８で構成されてい
る。図９はプロセッサ番号４０の詳細を示した図で、ｘ
座標４０ｘ、ｙ座標４０ｙ、ｚ座標を４０ｚで構成され
ている。テーブルは全プロセッサ分の領域があらかじめ
確保されており各レコードはプロセッサ番号４０におけ
る近傍の通信量を表している。

【００２１】図１０は、プロセス選択テーブルの構成例
を示したものである。プロセス番号のみの構成である。

【００２２】次に、プロセスを生成する場合について、
図１、図４を用いて説明する。プロセス生成要求が発生
するとシステム管理５のプロセス管理機能６がプロセス
選択機能８をコールする。プロセッサ選択機能８は、通
信負荷管理テーブル１９の中で、通信量の最も少ない計
算プロセッサ２を選択しコール元へリターンする。プロ
セス管理機能６は選択されたプロセッサのプロセッサ管
理１１のプロセス生成／終了機能１２へプロセスの生成
要求を行い、その結果をプロセス管理機能６でプロセス
管理テーブル９に反映する。動作中のプロセスが送信要
求をする場合について、図１、図４、図８、図１０を用
いて説明する。

【００２３】動作中のプロセスから送信要求があると、
送信要求機能１７により送信先に送信要求を行い、送信
情報が、通信報告機能１４に報告される。通信報告機能
１４は送信が発生および送信が完了する毎に通信負荷管
理機能７に報告する。通信負荷管理機能７の通信テーブ
ル更新機能７ａは送信発生の場合、通信報告機能１４か
ら受け取ったプロセス番号、プロセスの実メモリ使用
量、プロセスの送信使用量、プロセッサ番号、送信先プ
ロセッサ番号、および送信経路の情報を送信使用状況管
理テーブル１０にレコードとして追加する。また送信使
用状況管理テーブル１０の送信経路を基にして各計算プ
ロセッサ２の近傍の通信量を通信負荷管理テーブル１９
のプロセッサ番号４０の x+1方向の通信量４１、プロセ
ッサ番号４０のx-1方向の通信量４２、プロセッサ番号
４０のy+1方向の通信量４３、プロセッサ番号４０のy-1
方向の通信量４４、プロセッサ番号４０のz+1方向の通
信量４５、プロセッサ番号４０のz-1方向の通信量４６
にすべて送信量を加算更新する。送信が完了の報告を受
けると通信負荷管理機能７の通信テーブル更新機能７ａ
は送信使用状況管理テーブル１０を通信報告機能１４か
ら受け取ったプロセス番号、プロセスの送信使用量、プ
ロセッサ番号、送信先のプロセッサ番号、および送信経
路の情報をキーにレコードを検索を行い同一すべて一致
した場合当該レコードの送信完了フラグ３３をＯＮにし
実メモリ使用量を更新する。通信負荷管理機能７の通信
負荷監視機能は７ｂは一定間隔で通信負荷管理テーブル
１９の、プロセッサ番号４０のx+1方向の通信量４１、
プロセッサ番号４０のx-1方向の通信量４２、プロセッ
サ番号４０のy+1方向の通信量４３、プロセッサ番号４
０のy-1方向の通信量４４、プロセッサ番号４０のz+1方
向の通信量４５、プロセッサ番号４０のz-1方向の通信
量４６と送信量のしきい値４７の監視を行っている。一
定間隔内で通信量４１〜通信量４６のいずれかが通信量
のしきい値を超えた場合、プロセッサ選択機能８を用い
て、通信使用状況管理テーブル１０のプロセス番号３０
とプロセスの通信使用量３２とプロセッサ番号３３と送
信先プロセッサ番号３５と通信経路３６から同一の通信
経路を使用するプロセスの中で通信量の最も多く、この
一定間隔内でプロセス移動テーブル７ｃに登録されてい
ないプロセスを検索し、検索されたプロセスの送信先の
プロセッサ番号３５の近傍で送信使用量が最も少ない経
路を持つ計算プロセッサ２へプロセス移動機能１３を用
いてプロセスの移動処理を実行しプロセス移動テーブル
７ｃに移動したプロセス番号を登録する。ただし当該プ
ロセスが送信先のプロセッサ番号の実メモリの許容量４
８を超えている場合には、プロセスの移動は行わない。

【００２４】図１１は通信負荷管理機能７の通信テーブ
ル更新機能７ａが通信使用状況管理テーブル１０の更新
と通信負荷管理テーブル１９を更新する処理を説明した
フローチャートである。

【００２５】通信報告機能１４からの通信状態が報告さ
れると、プロセス管理機能６は、プロセス番号、プロセ
スの実メモリ使用量、プロセスの通信使用量、プロセッ
サ番号、送信先プロセッサ番号、送信元から送信先まで
のプロセッサ番号の通信経路、送信完了フラグを入力値
として通信負荷管理機能７の通信テーブル更新機能７ａ
をコールする５０。通信テーブル更新機能７ａは入力さ
れた送信完了フラグをチェックし５０ａ、ＯＦＦならば
プロセス番号、プロセスの実メモリ使用量、プロセスの
通信使用量、プロセッサ番号、送信先のプロセッサ番号
と通信経路をレコードとして通信使用状況管理テーブル
１０をそれぞれプロセス番号３０、プロセスの実メモリ
使用量３１、プロセスの送信使用量３２、プロセッサ番
号３４のｘ座標３４ｘ、ｙ座標３４ｙ、ｚ座標３４ｙ、
送信先のプロセッサ番号３５のｘ座標３５ｘ、ｙ座標３
５ｙ、ｚ座標３５ｚ、送信元から送信先までの通信経路
３６をレコードとして登録する５１。通信経路３６に従
い、送信元３６０から送信先３６ｎまでの３６ｘが対応
するプロセッサ番号４０の通信量４１〜４６の該当する
方向にプロセスの送信使用量３２をそれぞれ加算し５
２、コール元へリターンする。送信完了フラグがＯＮの
場合、入力値である、プロセッサ番号、プロセスの通信
使用量、送信先のプロセッサ番号、通信経路をキーとし
て通信使用管理テーブル１０から該当のレコードを検索
し送信完了フラグ３３をＯＮ、プロセスの実メモリ使用
量３１を更新し５３、コール元へリターンする。

【００２６】図１２は、通信負荷管理機能７の通信負荷
監視機能７ｂにおいて、一定時間で通信負荷管理テーブ
ル１９を監視し、プロセッサ番号４０の各方向の通信量
４１〜４６の通信量のしきい値４７を超えたとき、プロ
セッサ選択機能８、プロセス移動機能１３をコールし、
プロセス移動テーブル７ｃの更新・削除処理、通信使用
状況管理テーブル１９の各プロセッサ４０の通信量４１
〜４６の更新処理、および通信使用状況管理テーブル１
０のレコードの削除処理を説明したフローチャートであ
る。通信負荷管理機能７の通信負荷監視機能７ｂは、一
定時間毎に通信負荷管理テーブル１９のすべてのプロセ
ッサ番号４０に対する全方向の通信量４１〜４６を検索
し次の処理を行う。通信負荷管理テーブル１９の先頭レ
コードをポイントする５４。通信量のしきい値４７と通
信量４１〜４６を比較する５４ａ。比較の結果、通信量
の方が値が大きいか、等しい場合、該当するプロセッサ
番号４０、およびしきい値を超えた方向のプロセッサ番
号、プロセス選択テーブル７ｃの先頭ポインタを入力値
としてプロセッサ選択機能８をコールする５５。比較の
結果、通信量の方が値が小さい場合、次の通信量につい
ての比較を行う。通信量４１〜４６の検索が終了する
と、通信負荷管理テーブル１９の次のレコードをポイン
トする５４ｂ。通信負荷管理テーブル１９の次のレコー
ドが存在する場合、５４ａから同様に繰り返し処理を行
う。通信負荷管理テーブル１９のすべてのレコードの検
索が終了するとへ進む。プロセッサ選択機能８の戻り
値５５ａが未選択の場合は５４ａから処理を続行する。
戻り値５５ａが選択されている場合は、プロセッサ選択
機能８の戻り値である移動先するプロセス番号と移動先
のプロセッサ番号を入力としてプロセス移動機能１３を
コールする５６。プロセス移動機能１３の処理を終了す
ると、プロセス選択テーブル７ｃに移動したプロセス番
号をレコードとして登録する５６ａ。登録が終了すると
５４ａから処理を続行する。からの処理を次に説明す
る。通信負荷管理テーブル１９のすべてのレコードの処
理を終了すると、プロセス選択テーブル７ｃのレコード
をすべて削除し５６ｃ、通信負荷管理テーブル１９の先
頭レコードをポイントする５７。通信量４１〜４６に対
し通信量のしきい値と通信負荷監視機能７ｂによる一定
時間の割合から算出した値を減算する５７ａ。減算行っ
た結果、通信量が負値になる場合は５７ｂ、通信量を０
とする５７ｃ。通信量４１〜４６に対する処理が終了す
ると、通信負荷管理テーブル１９の次のレコードをポイ
ントする５７ｄ。通信負荷管理テーブル１９の次のレコ
ードが存在する場合、５７ａから同様に繰り返し処理を
行う。通信負荷管理テーブル１９のすべてのレコードの
検索が終了すると、通信使用状況管理テーブル１０の先
頭レコードをポイントする５８。送信完了フラグ３３が
ＯＮになっている場合５８ａ、通信使用状況管理テーブ
ル１０から当該レコードを削除する５９。通信使用状況
管理テーブル１０の次のレコードをポイントする５８
ｂ。通信使用状況管理テーブル１０の次のレコードが存
在する場合５８ｃ、５８ａから同様に繰り返し処理を行
う。通信負荷管理機能７の通信負荷監視機能７ｂの処理
を終了する。

【００２７】図１５及び図１６は通信負荷監視機能７ｂ
からコールされたプロセッサ選択機能８が、移動すべき
プロセス１５と移動先の計算プロセッサ２を選択する処
理を説明するフローチャートである。図１３は図８の処
理で使用する移動先のプロセッサキュー６００の詳細を
示したもので、プロセス番号６０１、プロセスの実メモ
リ使用量６０２、プロセスの送信使用量６０３、プロセ
ッサ番号６０４、送信先プロセッサ番号６０５から構成
されている。図１４は、図１５の処理で使用するプロセ
ッサキュー４００の詳細を示したもので、プロセッサ番
号４０１、メモリ量の許容量４０２から構成されてい
る。プロセッサ選択機能８は、通信負荷監視機能７ｂか
ら通信使用量のしきい値を超えたとき該当するプロセッ
サ番号４０（プロセッサ番号Ｐ）、およびしきい値を超
えた方向のプロセッサ番号（プロセッサ番号Ｑ）、プロ
セス選択テーブル７ｃの先頭ポインタを入力値としてコ
ールされる６０。通信使用状況管理テーブル１０の先頭
レコードをポイントする６１。プロセッサ番号Ｐ、プロ
セッサ番号Ｑをキーとして通信使用管理テーブル１０の
通信経路３６について送信元プロセッサ番号３６０、経
路１プロセッサ番号３６１から順に経路ｍプロセッサ番
号３６ｍ、送信先プロセッサ番号３６ｎまで検索し、該
当する通信経路を使用している場合６１ａ次の処理を行
う。プロセス選択テーブル７ｃの先頭レコードをプロセ
ス番号Ｒとする６２。プロセス番号Ｒとプロセス番号３
０を比較し６２ａ、等しい場合にはから処理を行う。
等しくない場合には、プロセス選択テーブル７ｃの次の
レコードをプロセス番号Ｒとする６３。プロセス選択テ
ーブル７ｃの次のレコードが存在する場合、６２ａから
同様に繰り返し処理を行う。次のレコードが存在しない
場合には以下の処理を行う。は、送信先選択キュー
６００の作成を行う処理である。送信先選択キューの先
頭レコードをポイントする６４。送信先選択キュー６０
０の有無をチェックし６４ａ、存在しない場合は、プロ
セス番号３０、プロセスの実メモリ使用量３１、プロセ
スの送信使用量３２、プロセッサ番号３４、送信先プロ
セッサ番号３５を送信先選択キュー６００に登録し６５
ａ、以下の処理を実行する。送信先選択キュー６００
が存在する場合、送信先選択キュー６００のプロセス番
号６０１とプロセス番号３０、送信先プロセッサ番号６
０５と送信先プロセッサ番号３５をそれぞれ比較し６４
ｂ、各々が等しく無い場合は、送信先選択キュー６００
の次のレコードをポイントし６４ｃ、６４ａの処理から
繰り返す。各々が等しい場合は、送信先選択キュー６０
０のプロセスの実メモリ使用量６０２にプロセスの実メ
モリ使用量３１を格納し、プロセスの送信使用量６０３
にプロセスの送信使用量３２を加算する６５。その後、
以降の処理を実行する。以降の処理では、通信使用
状況管理テーブル１０の次のレコードをポイントする６
１ｂ。通信使用状況管理テーブル１０のレコードが存在
する場合には、６１ａの処理から繰り返す。レコードが
存在しない場合には、図１６の以降の処理を実行す
る。

【００２８】図１６の以降の処理では、移動先のプロ
セッサキュー６００の作成を行い、移動すべきプロセス
と移動先プロセッサーの選択処理を行う。送信先選択キ
ュー６００をプロセスの送信使用量６０３をキーとして
降順にソートする６６。送信先選択キュー６００の先頭
レコードをポイントする６０ａ。プロセッサ番号６０４
をキーに通信負荷管理テーブル１９のプロセッサ番号４
０検索し、該当するレコードの通信量４１〜４６を昇順
にソートし、その各フィールドに対応するプロセッサ番
号４０１とメモリ量の許容量４０２から構成されたプロ
セッサキュー４００を作成する６７。プロセッサキュー
４００の先頭レコードをポイントする６７ａ。メモリ量
の許容量４０２とプロセスの実メモリ使用量６０２を比
較し６７ｂ、プロセスの実メモリ使用量６０２がメモリ
量の許容量４０２以下の場合は、プロセス番号６０１と
プロセッサ番号４０１を選択値としてコール元へリター
ンする６８。プロセスの実メモリ使用量６０２がメモリ
量の許容量４０２よりも大きい場合は、次の処理を行
う。プロセッサキュー４００の次のレコードをポイント
する６７ｃ。レコードが存在する場合には６７ｂから処
理を繰り返す。レコードが存在しない場合には、送信先
選択キュー６００の次のレコードをポイントする６６
ｃ。レコードが存在する場合には６７から処理を繰り返
す。レコードが存在しない場合には、未選択のままコー
ル元へリターンする。

【００２９】各々が等しいプロセス３０のプロセス通信
負荷管理テーブル１９のすべてのレコードの検索が終了
するとへ進む。先頭か０ら検索を行い６２同一プロセ
スが存在した場合何もしない。プロセス選択テーブル７
ｃのレコードのプロセス番号を全件検索し６３、プロセ
ス番号がすべて異なっている場合、プロセス番号３０を
キーに送信先選択キューの先頭から同一プロセス番号を
検索する６４。同一プロセス番号が検索できた場合送信
先のプロセッサ番号を比較し同一の送信先のプロセッサ
番号ならば当該プロセス番号の送信先選択キューに実メ
モリ使用量を更新とプロセスの送信使用量の加算を行う
６５。送信先プロセッサ番号が同一でない場合、次の送
信先選択キューの検索を行い、最後まで存在する送信先
選択キューの検索を行い６４ａ、該当する送信先プロセ
ッサ番号が検索できなかった場合、プロセスの送信使用
量、プロセッサ番号、送信先プロセッサ番号をレコード
として送信先選択キューに登録する６５ａ。順次通信使
用テーブル１０のレコードを検索し６１ａ、検索を終了
すると、プロセスの送信使用量の大きいプロセス番号順
に送信先選択キューをソートし送信先選択キューの先頭
のプロセス番号を選択する６６。送信先のプロセッサ番
号をキーに通信負荷管理テーブル１９のプロセッサ番号
４０の各方向４１〜４６を参照し最も通信量の少ない順
にプロセッサ選択キューを作成し、プロセッサ選択キュ
ーの先頭のプロセッサ番号を選択する６７。選択された
プロセッサ番号のメモリ量の許容量４８が送信先選択キ
ューに登録されている実メモリ使用量より大きい場合、
選択したプロセッサ番号、プロセス番号をリターン情報
として返す６８。選択されたプロセッサ番号のメモリ量
の許容量４８が送信先選択キューに登録されている実メ
モリ使用量より小さい場合、次のプロセッサ選択キュー
６７ａから次のプロセッサ番号を選択する。プロセッサ
選択キューより選択する情報がなくなった場合、次の送
信先選択キュー６８ａからプロセス番号を選択し６７へ
戻る。次の送信先選択キューの情報がなくなった場合、
未選択としてリターン情報を返す６９。

【００３０】図１７はプロセス移動機能１３が自プロセ
ッサで実行中のプロセスを他のプロセッサへ移動させる
動作を説明するものである。図１と図２と図４におい
て、移動元プロセッサを「プロセッサ番号１１１」、移
動先プロセッサを「プロセッサ番号２２２」、受信元プ
ロセッサを「プロセッサ番号３３３」として説明する。

【００３１】移動元である「プロセッサ番号１１１」の
プロセス移動機能１３は、送信先に要求どおり送信を行
った後ａプロセスの移動処理を開始するとｂ，システム
管理５に対してプロセスの移動を開始する旨を報告する
ｃ。その報告を受けてシステム管理５は、プロセス管理
機能６でプロセス管理テーブル９にある移動するプロセ
スのプロセス状態２２を「保留状態」にしｄ、移動元
「プロセッサ番号１１１」のプロセス移動機能１３に対
し、プロセスの保留状態への移行が完了したことを返答
するｅ。それを受けて、移動元「プロセッサ番号１１
１」のプロセス移動機能１３は移動させるプロセスを静
止状態にした後にｆ、移動先「プロセッサ番号２２２」
のプロセス移動機能１３に対しプロセス１５、プロセス
関連情報２５を送信するｇ。これらの情報を受け取った
プロセス移動機能１３は転送されてきたプロセス１５を
移動前の状態に復元しｈ、プロセスの静止状態を解除し
た後にｉ、システム管理５に対してプロセスの移動が完
了したことを報告するｊ。その報告を受けてシステム管
理５は、プロセス管理機能６で、プロセス管理テーブル
９のプロセスの状態２２の「保留状態」を解除し、プロ
セッサ番号２１を移動先である「プロセッサ番号２２
２」へ変更しｋ、プロセスの保留状態の解除が完了した
ことを返答するｌ。これを受けて、移動先「プロセッサ
番号２２２」のプロセス移動機能１３は、移動元「プロ
セッサ番号１１１」のプロセス移動機能１３に対しプロ
セスの移動が完了したことを報告するｍ。これを受け
て、移動元「プロセッサ番号１１１」のプロセス移動機
能１３は、プロセス関連情報２５、プロセス１５を消去
するｎ。

【００３２】ただし、各プロセッサへの各要求に対し
て、何等かの要因により要求が受け入れられない場合
は、プロセスの移動を中止し、当該プロセッサ上でその
後の処理を続行する。

【００３３】本実施例によれば、送信要求時に、システ
ム全体の送信使用量を考慮するため各プロセッサ部分の
ネットワーク負荷の偏りを局所化し、システム全体のス
ループットが向上する。

【００３４】

【発明の効果】以上説明したように、本発明のプロセス
のスケジュール方式は、各プロセッサが独立したメモリ
だけで、共用のメモリを持たない並列計算機システムに
おいて、各プロセッサの通信の負荷の局所化や他のプロ
セスの通信ネックを解消し、実行する並列プロセスのト
ータル実行性能の低下を防止できる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図を示したもので
ある。

【図２】本実施例のプロセス管理テーブル９の構成の一
例を示す図である。

【図３】プロセッサ番号２１の３次元の構成の一例を示
す図である。

【図４】本実施例のシステム管理プロセッサ１の通信使
用状況管理テーブル１０の構成の一例を示す図である。

【図５】プロセッサ番号３４の３次元の構成の一例を示
す図である。

【図６】送信先プロセッサ番号３５の３次元の構成の一
例を示す図である。

【図７】通信経路３６の一例を示す図である。

【図８】本実施例のシステム管理プロセッサ１の通信負
荷管理テーブル１９の一例を示す図である。

【図９】プロセッサ番号４０の３次元の構成の一例を示
す図である。

【図１０】プロセス移動テーブル７ｃの構成の一例を示
す図である。

【図１１】通信テーブル更新機能７ａが通信使用状況管
理テーブル１０および通信負荷管理テーブル１９を更新
する処理を説明するフローチャートである。

【図１２】通信負荷監視機能７ｂが一定時間で通信負荷
管理テーブル１９を監視し、プロセッサ番号４０の各方
向の通信量４１〜４６の通信量のしきい値４７を超えた
とき、プロセッサ選択機能８、プロセス移動機能１３を
コールし、プロセス移動テーブル７ｃの更新・削除処
理、通信使用状況管理テーブル１９の各プロセッサ４０
の通信量４１〜４６の更新処理、および通信使用状況管
理テーブル１０の不要なレコードの削除処理を説明する
フローチャートである。

【図１３】プロセッサ選択機能８がプロセスを移動すべ
き計算プロセッサを選択する動作を説明するフローチャ
ート。

【図１４】プロセッサ選択機能８がプロセスを移動すべ
き計算プロセッサを選択する動作を説明するフローチャ
ート。

【図１５】送信先選択キュー６００の構成の一例を示す
図である。

【図１６】プロセッサキュー４００の構成の一例を示す
図である。

【図１７】本実施例のプロセス移動機能１３が自プロセ
ッサで実行中のプロセスを他のプロセッサへ移動させる
動作を説明するための図である。

【符号の説明】

１…システム管理プロセッサ、２…計算プロセッサ、３
…プロセッサ番号、４…ネットワーク機構、 ５…
システム管理、 ６…プロセス管理機能、７…通信負荷
管理機能、 7a…通信テーブル更新機能、7b…通信
負荷監視機能、 7c…プロセス移動テーブル、８…
プロセッサ選択機能、 ９…プロセス管理テーブル、
10…通信使用状況管理テーブル、11…プロセッサ管理、
12…プロセス生成／終了機能、 13…プロセス移動機
能、14…通信報告機能、 15…プロセス、16
20 30 601…プロセス番号、 17…送信要求機能、18…
計算プロセッサ内プロセス管理機能、 19…通信負荷
管理テーブル、21 34 40 401 604…プロセッサ番号、21
x 34x 40…プロセッサ番号のｘ座標、21y 34y 40…プロ
セッサ番号のｙ座標、21z 34z 40…プロセッサ番号のｚ
座標、22…プロセスの状態、 25…プロセス関
連情報、31 602…プロセスの実メモリ使用量、
32 603…プロセスの送信使用量、33…送信完了フラグ、
35 605…送信先プロセッサ番号、35x…送信
先プロセッサ番号のx座標、35y…送信先プロセッサ番号
のy座標、35z…送信先プロセッサ番号のz座標、
36…通信経路、360…送信元プロセッサ番号、360x…
送信元プロセッサ番号x、 360y…送信元プ
ロセッサ番号y、360z…送信元プロセッサ番号z、
361…経路１プロセッサ番号、361x…経路１プロ
セッサ番号x、 361y…経路１プロセッサ番号y、361z…
経路１プロセッサ番号z、 362…経路2プロセッサ番号、
362x…経路2プロセッサ番号x、 362y…経路2プロセッ
サ番号y、362z…経路2プロセッサ番号z、 36m…経路m
プロセッサ番号、36mx…経路mプロセッサ番号x、 36my
…経路mプロセッサ番号y、36mz…経路mプロセッサ番号
z、 36n…送信先プロセッサ番号、36nx…送信元プロセ
ッサ番号x 36ny…送信元プロセッサ番号y、36nz…送
信元プロセッサ番号z 402…メモリ量の許容量、41…プ
ロセッサ番号40のx+1方向の通信量、42…プロセッサ番
号40のx-1方向の通信量、43…プロセッサ番号40のy+1方
向の通信量、44…プロセッサ番号40のy-1方向の通信
量、45…プロセッサ番号40のz+1方向の通信量、46…プ
ロセッサ番号40のz-1方向の通信量、 47…通信量のしき
い値、48…実メモリ量の許容量。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 樋口 和也 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 (72)発明者 櫻庭 博之 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 (72)発明者 太田 哲郎 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 (72)発明者 佐藤 保 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 (72)発明者 高橋 憲一 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 (72)発明者 南 建夫 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内

Claims (2)

【特許請求の範囲】
1. 【請求項１】複数のプロセッサからなる並列計算機シス
   テムにおけるプロセス生成時のスケジューリングにおい
   て、各プロセッサ毎の一定時間の送受信状況をシステム
   全体として一括監視し、プロセス生成時に最適なプロセ
   ッサを決定することを特徴とするプロセスのスケジュー
   リング方式。
2. 【請求項２】請求項１記載のプロセスのスケジューリン
   グ方式において、システム全体の通信効率が最適になる
   ように実行中のプロセスを別プロセッサで実行させるた
   めのプロセスのスケジューリング方式。