JPH09179834A - 並列システムにおけるプロセスのスケジューリング方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】並列計算機システムにおいて、システム全体の
メモリの使用効率が最適となるように、プロセスの生成
や、実行中のプロセスからのダイナミックなメモリの確
保を行う。 【解決手段】システム管理プロセッサ１と、ｎ個の計算
プロセッサ２が高速のネットワーク４により接続され、
各プロセッサはお互いに通信出来る並列計算機システム
において、システム管理プロセッサ１で各計算プロセッ
サ２のメモリ使用状況を一括監視しておき、プロセスを
新たに生成する場合には、プロセスを生成するのにメモ
リ使用効率が最適なプロセッサを選択しプロセスを生成
する。実行中のプロセス１７からダイナミックにメモリ
を確保する場合には、メモリを確保するのにメモリ使用
効率が最適なプロセッサを選択し、自プロセッサ以外が
選択された場合には、プロセス移動機能１３を用いて、
最適なプロセッサにプロセスを移動した後に、メモリの
確保を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は数十から数万のプロ
セッサが結合して動作する並列計算機システムにおける
プロセスのスケジューリング方法に関する。

【０００２】

【従来の技術】並列計算機システム上で動作する並列計
算プロセスに対するプロセス生成は、各プロセッサ部分
のメモリ使用状況にかかわらずプロセスを生成する計算
機を決定している。また、一旦プロセスを実行するプロ
セッサが決定されると、プロセスを他のプロセッサへ移
動することがないため、実行中のプロセスからのメモリ
領域の割当要求においては、各プロセッサ部分のメモリ
使用状況にかかわらず、実行中のプロセッサ上にメモリ
領域の割当を行っている。

【０００３】なお、本発明の目的であるプロセスのスケ
ジューリングに関する技術として、特開平１−２１４９
６１号、特開平４−３４２０５７号があるが、いずれも
密結合マルチプロセッサシステムにおけるＣＰＵ負荷に
関しての技術である。

【０００４】

【発明が解決しようとする課題】上述した従来の方法で
は、プロセッサのメモリ負荷にかかわらずプロセスの割
り当てや、メモリ領域の割当を行うため、メモリ負荷の
高いプロセッサ部分でページングが発生し、当該プロセ
ッサ部分のスループットの低下が避けられない。一般に
並列計算プロセスは、複数のプロセッサに割り当てられ
たプロセスを同期させて処理するので、プロセッサ単位
での局所的なスループット低下が発生すると、他のプロ
セッサ部分の処理の待ちが増加し、システム全体のスル
ープットの低下を招いている。

【０００５】本発明の目的は、各プロセッサ部分のメモ
リ使用状況をチェックしておき、プロセスの生成時、お
よび、メモリ領域の確保要求時、システム全体のメモリ
の使用効率が適正になるようにプロセスの生成やメモリ
領域の割り付けを行いシステム全体のスループットの向
上を図るものである。

【０００６】

【課題を解決するための手段】図１は、本発明のブロッ
ク図である。前提として、ｎ個の計算プロセッサ２と１
個のシステム管理用プロセッサ１が各プロセッサ間の通
信を行うための高速なネットワーク機構４で接続され、
各プロセッサ毎に独立したメモリを有する並列計算機の
下で、計算プロセッサ２上で動作するプロセス１７を管
理するための制御プログラム（以下プロセッサ管理１１
と称する）が各計算プロセッサ２上で動作し、システム
管理プロセッサ１には、システム全体を管理するための
制御プログラム（以下システム管理５と称する）が動作
している。プロセス１７の生成は、システム管理５がプ
ロセッサ管理１１に対しプロセス生成要求することで行
う。動作中のプロセス１７からのメモリ領域の確保要求
が発生した場合には、プロセッサ管理１１がメモリ領域
１８の確保を行う。各プロセスは、システム内でユニー
クなプロセス番号２０を持っている。また、各プロセッ
サもシステム内でユニークなプロセッサ番号３を持って
いる。どのプロセスがどの計算プロセッサで実行されて
いるかは、プロセス番号２０とプロセッサ番号３との対
応テーブル（以下プロセス管理テーブル９と称する）を
システム管理５で管理している。各プロセス間で通信す
る場合にはプロセス管理テーブル９を検索し送信先のプ
ロセスが実行されている計算プロセッサ２を求め当該プ
ロセッサに対して通信を行うものとする。

【０００７】本発明を実現するために、各プロセッサ管
理１１には、該当プロセッサのメモリ使用量を監視し、
システム管理５へメモリ使用量を通知する「メモリ使用
状況監視機能１４」と他のプロセッサへプロセスを移動
する「プロセス移動機能１３」を設ける。システム管理
５には、各プロセッサ制御１１から通知されたメモリ使
用量をメモリ使用状況管理テーブル１０へ蓄積する「プ
ロセッサメモリ管理機能７」と、各プロセッサ制御から
の問い合わせに対してメモリ割当に関する最適な計算プ
ロセッサ２を選択通知する「プロセッサ選択機能８」を
設ける。新規にプロセス生成が要求されると、システム
管理５が、プロセッサ選択機能８を用いて、生成するプ
ロセスで使用するメモリ量と、メモリ使用状況管理テー
ブル１０内の全計算プロセッサのメモリ使用量とを比較
し、プロセスを生成した場合にメモリ使用量が最少とな
るプロセッサ２を選択しプロセスの生成要求を行う。動
作中のプロセス１７からのメモリ領域の確保要求の場合
には、プロセッサ管理１１がメモリ確保／解放機能１５
でメモリの確保を行うが、メモリを確保した結果しきい
値を超えるメモリ使用量となる時には、システム管理５
のプロセッサ選択機能８を利用し、メモリを確保した場
合のプロセッサのメモリ使用量が最少となるプロセッサ
を選択し、該当プロセッサへ実行中のプロセス１７その
ものを移動し、移動先の計算プロセッサでメモリを確保
する。これにより、計算プロセッサの局所的な高メモリ
負荷によるページングの頻発を防止することが可能とな
る。

【０００８】

【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。図１は、本発明の一実施例のブ
ロック図である。図１においてシステム管理プロセッサ
１と各計算プロセッサ２は高速のネットワーク４で接続
され、接続されたすべてのプロセッサはお互いに通信し
情報の交換が可能である。

【０００９】システム管理５には、プロセス管理機能６
とプロセッサメモリ管理機能７とプロセッサ選択機能８
を新たに設ける。プロセス管理機能６は、生成したプロ
セス番号とプロセッサ番号を対応させるプロセス管理テ
ーブル９を管理する機能であり、プロセス間で通信を行
う場合に、本機能を経由することで通信相手のプロセス
が存在するプロセッサを意識せずにプロセス番号だけで
通信が可能となる。プロセッサメモリ管理機能７は、各
プロセッサ管理１１から報告された各計算プロセッサ２
のメモリ使用状況１６をメモリ使用状況管理テーブル１
０へ格納し管理する機能を持つ。プロセッサ選択機能８
は、メモリ使用状況テーブル１０から最適な計算プロセ
ッサを選択し要求元へ応答する機能を持つ。各プロセッ
サ管理１１は、プロセス生成／終了機能１２と、メモリ
確保／解放機能１５を持っているが、さらに、プロセス
移動機能１３と該当計算プロセッサ２のメモリ使用状況
に変化が生じる毎に、メモリ使用状況１６をシステム管
理５のプロセッサメモリ管理機能７へ報告するためのメ
モリ使用状況報告処理１４を追加する。プロセス生成／
終了機能１２は、自プロセッサにプロセスの生成、終了
を行う機能である。メモリ確保／解放機能１５は、自プ
ロセッサにメモリ領域の確保、解放を行う機能である。
プロセス移動機能１３は、自プロセッサで実行中の任意
のプロセス１７を任意のプロセッサ２へ移動する機能で
ある。

【００１０】図２は、プロセス管理テーブル９の構成例
を示したものである。プロセス番号２１と、当該プロセ
スが存在するプロセッサ番号２２と、プロセスの動作状
況を示すプロセスの状態２３から構成されている。

【００１１】図３は、各計算プロセッサのメモリ使用状
況管理テーブル１０の構成例を示したものである。プロ
セッサ番号３１と、実装メモリ容量３２と、実装メモリ
容量の内のどこまでを利用出来るかを示すしきい値３３
と、使用中のメモリ量３４と、しきい値３３から使用中
のメモリ量３４を減じて求めた、しきい値に対するの空
きメモリ量３５から構成されている。

【００１２】図４は、計算プロセッサ２のメモリ使用状
況１６の構成例を示したものである。計算プロセッサ番
号４１と、実装メモリ容量４２と、実装メモリ容量の内
のどこまでを利用出来るかを示すしきい値４３と、使用
中のメモリ量４４と、しきい値４３から使用中のメモリ
量４４を減じて求めた、しきい値に対するしての空きメ
モリ量４５から構成されている。

【００１３】次に、プロセスを生成する場合について、
図１を用いて説明する。プロセス生成要求が発生すると
システム管理５は、プロセッサ選択機能８でプロセスを
生成した結果、メモリ使用量が最適となる計算プロセッ
サを選択し、選択したプロセッサのプロセッサ管理１１
のプロセス生成／終了機能１２へプロセスの生成要求を
行い、その結果をプロセス管理６でプロセス管理テーブ
ル９に反映する。

【００１４】次に、動作中のプロセスからメモリ領域を
確保する場合について、図１、図４を用いて説明する。
動作中のプロセスからのメモリ領域の確保要求が発生す
ると、プロセッサ管理１１は当該計算プロセッサのメモ
リ使用状況テーブル１６のしきい値に対する空きメモリ
量４５と確保するメモリ量を比較して、しきい値に対す
る空きメモリ量４５の方が等しいか大きければ、自計算
プロセッサにメモリ確保／解放機能１５でメモリ領域の
確保を行う。しきい値に対する空きメモリ量の方が小さ
ければ当該プロセッサでのメモリ確保は行わずに、一旦
システム管理５のプロセッサ選択機能８に対して計算プ
ロセッサの選択を要求する。その結果をもとにプロセッ
サ管理１１はプロセス移動機能１３で、プロセッサ選択
機能８により選択された計算プロセッサへ、実行中プロ
セスの移動処理を実行する。その後、移動先の計算プロ
セッサのプロセッサ管理１１が、メモリ確保／解放機能
１５でメモリ領域の確保を行う。

【００１５】図５はプロセッサ選択処理８がプロセスを
生成すべき計算プロセッサを選択する動作を説明するフ
ローチャートである。図１と図３と図５において、確保
するメモリ量を入力すると（ステップ５１）プロセッサ
選択機能８は、メモリ使用状況管理テーブル１０のしき
い値に対する空きメモリ量３５の中で最大の値をｍａｘ
メモリ量とし、これに対応するプロセッサ番号３１を選
択候補とする（ステップ５２）。ｍａｘメモリ量から確
保するメモリ量を減じた結果（ステップ５３）０以上で
あれば、選択候補のプロセッサ番号３１を選択する（ス
テップ５４）。一方０未満の場合には、しきい値３３を
無視し、メモリ使用状況テーブル９の実装メモリ量３２
から使用中のメモリ量３４を減じたものの中で最大の値
を持つプロセッサ番号３１を選択し（ステップ５５）、
選択処理要求元へ選択したプロセッサ番号を報告する
（ステップ５６）。

【００１６】図６はプロセス移動機能１３が自プロセッ
サで実行中のプロセスを他のプロセッサへ移動させる動
作を説明するものである。図１と図２と図６において、
移動元プロセッサを「プロセッサ番号１」、移動先プロ
セッサを「プロセッサ番号２」として説明する。移動元
である「プロセッサ番号１」のプロセス移動機能１３
は、プロセスの移動処理を開始すると（１）、システム
管理５に対してプロセスの移動を開始する旨を報告する
（２）。その報告を受けてシステム管理５は、プロセス
管理機能６でプロセス管理テーブル９にある移動するプ
ロセスのプロセス状態２３を「保留状態」にし（３）、
移動元「プロセッサ番号１」のプロセス移動機能１３に
対し、プロセスの保留状態への移行が完了したことを返
答する（４）。それを受けて、移動元「プロセッサ番号
１」のプロセス移動機能１３は移動させるプロセスを静
止状態にした後に（５）、移動先「プロセッサ番号２」
のプロセス移動機能１３に対しプロセス情報１９、プロ
セス１７、メモリ領域１８を転送する（６）。これらの
情報を受け取ったプロセス移動機能１３は転送されてき
たプロセス情報１９、プロセス１７、メモリ領域１８を
移動前の状態に復元し（７）、プロセスの静止状態を解
除した後に（８）、システム管理５に対してプロセスの
移動が完了したことを報告する（９）。その報告を受け
てシステム管理５は、プロセス管理機能６で、プロセス
管理テーブル９のプロセスの状態２３の「保留状態」を
解除し（１０）、プロセッサ番号２２を移動先である
「プロセッサ番号２」へ変更しａ、プロセスの保留状態
の解除が完了したことを返答するｂ。これを受けて、移
動先「プロセッサ番号２」のプロセス移動機能１３は、
移動元「プロセッサ番号１」のプロセス移動機能１３に
対しプロセスの移動が完了したことを報告するｃ。これ
を受けて、移動元「プロセッサ番号１」のプロセス移動
機能１３は、プロセス情報１９、プロセス１７を消去し
ｄ、メモリ確保／解放機能１５で当該プロセスで保有す
るメモリ領域を解放するｅ。ただし、各プロセッサへの
各要求に対して、何等かの要因により要求が受け入れら
れない場合は、プロセスの移動を中止し、当該プロセッ
サ上でその後の処理を続行する。

【００１７】本実施例によれば、メモリの割り当て時
に、システム全体のメモリ負荷を考慮するため各プロセ
ッサ部分のメモリ負荷の偏りを防止し、システム全体の
スループットが向上する。

【００１８】

【発明の効果】以上説明したように、本発明のプロセス
のスケジュール方式は、各プロセッサが独立したメモリ
だけで、共用のメモリを持たない並列計算機システムに
おいて、各プロセッサのメモリ負荷の分散により、特定
プロセッサの局所的なネックを解消し、実行する並列プ
ロセスの実行性能の低下を防止できる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図を示したもので
ある。

【図２】本実施例のプロセス管理テーブル９の構成情報
の一例を示す図である。

【図３】本実施例の各計算プロセッサ２のメモリ使用状
況管理テーブル１０の構成情報の一例を示す図である。

【図４】本実施例の計算プロセッサ２のメモリ使用状況
１６の構成情報の一例を示す図である。

【図５】本実施例のプロセッサ選択処理８の動作を説明
するためのフローチャートである。

【図６】本実施例のプロセス移動機能１３が自プロセッ
サで実行中のプロセスを他のプロセッサへ移動させる動
作を説明するための図である。

【符号の説明】

１…システム管理プロセッサ、 ２…計算プロセッサ、
３…プロセッサ番号、４…高速ネットワーク、５…シス
テム管理、６…プロセス管理機能、 ７…プロセ
ッサメモリ管理機能、８…プロセッサ選択機能、
９…プロセス管理テーブル、１０…メモリ使用状況管理
テーブル、 １１…プロセッサ管理、１２…プロ
セス生成／終了機能、１３…プロセス移動機能、１４…
メモリ使用状況報告機能、１５…メモリ確保／解放機
能、１６…メモリ使用状況、１７…プロセス、 １８
…メモリ領域、１９…プロセス情報、 ２０…プロセス
番号、２１…プロセス番号、２２…プロセッサ番号、
２３…プロセスの状態、３１，４１…プロセッサ
番号、 ３２，４２…実装メモリ量、３３，４３…しき
い値、 ３４，４４…使用中のメモリ量、３５，
４５…しきい値に対する空きメモリ量。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 砂子 俊明 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 (72)発明者 櫻庭 博之 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内 (72)発明者 佐藤 保 神奈川県横浜市中区尾上町六丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 (72)発明者 高橋 憲一 神奈川県横浜市中区尾上町六丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 (72)発明者 橋谷 敏郎 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内

Claims (3)

【特許請求の範囲】
1. 【請求項１】複数のプロセッサからなる並列計算機シス
   テムにおけるプロセス生成時のスケジューリングにおい
   て、各プロセッサ毎のメモリ使用状況をシステム全体と
   して一括監視し、プロセス生成時に最適なプロセッサを
   決定することを特徴とするプロセスのスケジューリング
   方法。
2. 【請求項２】請求項1記載の計算機システムにおける実
   行中のプロセスのスケジューリングにおいて、各プロセ
   ッサ毎のメモリ使用状況をシステム全体として一括監視
   し、プロセスから要求されたメモリ領域割当て時に最適
   なプロセッサを決定することを特徴とするプロセスのス
   ケジューリング方法。
3. 【請求項３】請求項２記載のプロセスのスケジューリン
   グ方式において、実行中のプロセスを別プロセッサで実
   行させるためのプロセスのスケジューリング方法。