JPH06250992A

JPH06250992A - 情報処理装置

Info

Publication number: JPH06250992A
Application number: JP5033726A
Authority: JP
Inventors: Jiro Naganuma; 次郎長沼; Takeshi Ogura; 武小倉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-02-23
Filing date: 1993-02-23
Publication date: 1994-09-09

Abstract

(57)【要約】【目的】高いフォルトトレランス性が得られ、しかも
全体として高い並列台数効果を得ることができる情報処
理装置を提供する。【構成】マルチプロセッサ６内で並列処理を開始する
に際し、このマルチプロセッサ６内に、所定個数の故障
した要素プロセッサ４が存在する場合、各要素プロセッ
サ４に最初に割り当てたオリジナルの識別子を、故障し
た要素プロセッサ４を除く正常な要素プロセッサ４のみ
で再構成した新たな識別子に変更し、該故障した要素プ
ロセッサ４を仕事をしない状態にすると共に、再構成し
た新たな識別子を用いて、該正常な要素プロセッサ４の
みによってその後の並列処理を進めるようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、マルチプロセッサに
おいてフォルトトレラントな構成を実現し、さらに全体
として高い並列台数効果を得るに好適な情報処理装置に
関する。

【０００２】

【従来の技術】従来、マルチプロセッサのフォルトトレ
ラントな構成法としては、下記の文献［１］［２］等に
提案されているように、物理的な切替えスイッチを用い
て故障した要素プロセッサを正常な予備の要素プロセッ
サに置き換える冗長構成方式を採るのが一般的である。［１］堀口、”ＷＳＩデバイスの研究開発動向”,電子
材料（工業調査会月刊誌）,Vol.30,No.5,pp.16-23, M
ay 1991. ［２］南谷、”並列処理におけるフォルトトレランス技
術”,情報処理（情報処理学会学会誌）,Vol.27,No.9,
pp.1039-1048, Sep 1986.

【０００３】また、マルチプロセッサにおいて、負荷分
散を行いながら並列処理を進めていく場合、一般に下記
のような動作（１），（２）がすべての仕事がなくなる
まで繰り返される。（１）まず、初期の仕事（すなわち、負荷）が各要素プ
ロセッサに与えられ、各要素プロセッサは与えられた仕
事を実行する。（２）そして、仕事がなくなった（すなわち、空き状態
の）要素プロセッサは、自身に結合されている動作中の
（すなわち、仕事をしている）要素プロセッサから新た
な仕事を分けてもらい（これを、動的な負荷分散とい
う）、与えられた新たな仕事を実行する。

【０００４】出願人は、こうした負荷分散を行うマルチ
プロセッサにおいて、全体として高い並列台数効果を得
るために、初期の仕事の割り付けについては、例えば特
願昭６１−３０３４１２号を、動的な負荷分散について
は、例えば特願昭６１−３０３４１１号および特願昭６
２−１２７３３８号を、既に提案している。なお、その
詳細な内容についてはこれら公報に開示されている。

【０００５】

【発明が解決しようとする課題】ところで、上記負荷分
散を行うマルチプロセッサにおいてフォルトトレラント
な構成を考える場合、すなわちマルチプロセッサ内に故
障した要素プロセッサが存在する場合に対応するために
は、以下のような新たな問題が生じる可能性がある。例
えば上記特願昭６１−３０３４１２号の場合、初期の仕
事の各要素プロセッサへの割り付けにおいて、要素プロ
セッサに割り当てたユニークな識別子を用いる方法を採
っている。すなわち、この方法は、それぞれの識別子が
跳びがなくシーケンシャルに割り当てられていることを
利用して、各要素プロセッサが、各々の識別子と、仕事
を割り付け可能な全体の要素プロセッサの台数とに基づ
き、全体の仕事の中から簡単な論理演算を行うことによ
り、それぞれの初期の仕事を選択するものである。しか
しながら、マルチプロセッサ内に故障した要素プロセッ
サが存在する場合には、上記のような初期の仕事の割り
付けを行うことができないため、並列処理の開始直後の
各要素プロセッサの稼動率が低迷し、マルチプロセッサ
全体として、並列台数効果が大きく低下する可能性があ
る。この傾向は、マルチプロセッサの大規模化、ネット
ワークの局所化、および故障した要素プロセッサの割合
の増大化に伴って顕著となるため、今後ますます深刻な
問題となる。一方、上述した動的な負荷分散において
は、実行時の各要素プロセッサの稼動状況に応じて負荷
分散が自立的に発生していく（これを、要求駆動と呼
ぶ）ため、マルチプロセッサ内における故障した要素プ
ロセッサの影響はない。故障した要素プロセッサは、仕
事が得られないことを除けば、空き（idle）状態の要素
プロセッサと同様に扱うことができる。しかしながら、
従来においては、上記の文献［１］［２］等に示される
ように、物理的な切替えスイッチを用いて故障した要素
プロセッサを正常な予備の要素プロセッサに置き換える
冗長構成方式を採用していたため、故障した要素プロセ
ッサの発生パターン、予備の要素プロセッサの配置、切
替えスイッチの配置等に依存し、高いフォルトトレラン
ス性が得られなかった。また、従来、このような問題が
あることすら指摘されておらず、その解決手段も存在し
なかった。

【０００６】この発明は、このような背景の下になされ
たもので、高いフォルトトレランス性が得られ、しかも
全体として高い並列台数効果を得ることができる情報処
理装置を提供することを目的としている。

【０００７】

【課題を解決するための手段】上述した課題を解決する
ために、請求項１記載の発明は、中央処理装置および記
憶装置を基本構成要素とする要素プロセッサをプロセッ
サ結合網を介して複数個結合し、各々の要素プロセッサ
に割り当てた識別子を用いて、各要素プロセッサへ最初
の仕事を割り付け、各々の要素プロセッサが必要に応じ
て他の要素プロセッサとの間で情報の授受を行いながら
並列処理を進める情報処理装置において、該情報処理装
置内で並列処理を開始するに際し、該情報処理装置内
に、所定個数の故障した要素プロセッサが存在する場
合、各要素プロセッサに最初に割り当てたオリジナルの
識別子を、故障した要素プロセッサを除く正常な要素プ
ロセッサのみで再構成した新たな識別子に変更する手段
と、前記故障した要素プロセッサを仕事をしない状態に
すると共に、前記再構成した新たな識別子を用いて、前
記正常な要素プロセッサのみによってその後の並列処理
を進める手段とを具備することを特徴としている。

【０００８】また、請求項２記載の発明は、請求項１記
載の情報処理装置において、各々の要素プロセッサが、
前記オリジナルの識別子を格納する第１の記憶手段と、
前記再構成した新たな識別子を格納する第２の記憶手段
とを具備して成り、前記正常な要素プロセッサが、前記
故障した要素プロセッサの識別子を除去し、該正常な要
素プロセッサのみで再構成した新たな識別子を前記第２
の記憶手段に設定し、該故障した要素プロセッサを仕事
をしない状態にすると共に、該再構成した新たな識別子
を用いて、該正常な要素プロセッサのみによってその後
の並列処理を進めることを特徴としている。

【０００９】また、請求項３記載の発明は、請求項１ま
たは請求項２記載の情報処理装置において、述語論理型
言語に属するプログラム言語を対象として、該情報処理
装置に該述語論理型言語の初期ゴールを与え、その後す
べての要素プロセッサへ最初の仕事の割り付けを行う、
初期ゴールの負荷分散に際し、前記故障した要素プロセ
ッサを仕事しない状態にすると共に、前記再構成した新
たな識別子と、仕事を割り付け可能な正常な要素プロセ
ッサの台数を示す情報とを用いて、前記正常な要素プロ
セッサのみによって、各要素プロセッサ間で情報の授受
を行うことなく、各要素プロセッサで同時に異なる仕事
を選択し、その後の並列処理を進めることを特徴として
いる。

【００１０】

【作用】請求項１記載の発明によれば、情報処理装置内
で並列処理を開始するに際し、該情報処理装置内に、所
定個数の故障した要素プロセッサが存在する場合、各要
素プロセッサに最初に割り当てたオリジナルの識別子
が、故障した要素プロセッサを除く正常な要素プロセッ
サのみで再構成した新たな識別子に変更され、前記故障
した要素プロセッサが仕事をしない状態になると共に、
前記再構成した新たな識別子を用いて、前記正常な要素
プロセッサのみによってその後の並列処理が進められ
る。

【００１１】また、請求項２記載の発明によれば、正常
な要素プロセッサによって、故障した要素プロセッサの
識別子が除去され、該正常な要素プロセッサのみで再構
成した新たな識別子が第２の記憶手段に設定され、該故
障した要素プロセッサが仕事をしない状態になると共
に、該再構成した新たな識別子を用いて、該正常な要素
プロセッサのみによってその後の並列処理が進められ
る。

【００１２】また、請求項３記載の発明によれば、述語
論理型言語に属するプログラム言語を対象として、該情
報処理装置に該述語論理型言語の初期ゴールを与え、そ
の後のすべての要素プロセッサへの最初の仕事の割り付
けを行う、初期ゴールの負荷分散に際し、故障した要素
プロセッサが仕事しない状態になると共に、再構成した
新たな識別子と、仕事を割り付け可能な正常な要素プロ
セッサの台数を示す情報とを用いて、正常な要素プロセ
ッサのみによって、各要素プロセッサ間で情報の授受が
行われることなく、各要素プロセッサで同時に異なる仕
事が選択され、その後の並列処理が進められる。

【００１３】

【実施例】以下、図面を参照して、この発明の実施例に
ついて説明する。図１は、この発明の第１実施例の構成
を示すブロック図である。この図において、同図（ａ）
はこの実施例による情報処理装置（以下、マルチプロセ
ッサという）６の概略構成を、同図（ｂ）は同実施例に
よる要素プロセッサ４の構成を示している。同図（ａ）
において、マルチプロセッサ６は、複数の要素プロセッ
サ４，４，……と、これらを結合するプロセッサ結合網
（ネットワーク）５とから構成されている。また、同図
（ｂ）において、各要素プロセッサ４は、各種演算処理
を行う中央処理装置（以下、ＣＰＵという）７、このＣ
ＰＵ７が実行する制御プログラムや演算結果などが記憶
される記憶装置８、最初に割り当てられる識別子が記憶
されるオリジナル識別子レジスタ９、および再構成（後
述する）した識別子が記憶される識別子レジスタ１０か
ら構成されている。

【００１４】ここで、図２に示すフローチャートを参照
し、各要素プロセッサ４の識別子の再構成について説明
する。なお、この実施例では、ある特定のＣＰＵ７が所
定の制御プログラムを実行して識別子の再構成を行うも
のと仮定して説明を進める。図２において、まずＣＰＵ
７の処理がステップＳＴ１に進むと、すべての故障した
要素プロセッサ４を検出し、これらに対応する識別子を
収集する。これにより、故障した要素プロセッサを除い
た識別子の再構成を行うための前準備が行われる。次
に、ステップＳＴ２に進むと、上記ステップＳＴ１の処
理結果に基づき、故障した要素プロセッサ４が存在する
か否かを判定する。すなわち、ここでは要素プロセッサ
４の識別子の再構成を行うか否かが決定される。

【００１５】ここで、故障した要素プロセッサ４が存在
する場合、この判定結果が「ｙｅｓ」となり、ステップ
ＳＴ３に進む。ステップＳＴ３では、上記ステップＳＴ
１において収集したすべての故障した要素プロセッサ４
の識別子に基づき、故障した要素プロセッサ４を除いた
正常な要素プロセッサ４のみを対象とする識別子の再構
成を行う。これにより、各要素プロセッサ４に最初に割
り当てたオリジナルの識別子から再構成した新たな識別
子へ変更され、ＣＰＵ７はプログラムの実行を終了す
る。一方、前述のステップＳＴ２において、故障した要
素プロセッサ４が１つも存在しない場合、ここでの判定
結果が「ｎｏ」となり、ＣＰＵ７は、上記ステップＳＴ
３における識別子の再構成を行わずに、プログラムの実
行を終了する。

【００１６】こうして、ＣＰＵ７が上記フローチャート
（図２参照）に示すプログラムを実行することにより、
要素プロセッサ４の識別子の再構成が行われる。例え
ば、１０２４台の要素プロセッサ４を有するマルチプロ
セッサにおいて、１２８個の故障した要素プロセッサ４
が存在する場合には、図３の概念図に示すように再構成
が行われる。すなわち、初期状態においては、各要素プ
ロセッサ４のオリジナル識別子レジスタ９に、１０２４
個の識別子「０」〜「１０２３」がシーケンシャルに割
り当てられている。このとき、全体の要素プロセッサ４
の数は、１０２４個として把握される。

【００１７】そして、各要素プロセッサ４の動作状態
が、図示「○（正常）」「×（故障）」のようになって
おり、故障した要素プロセッサ４の数が１２８個である
とすると、再構成後においては、故障した要素プロセッ
サ４を除く８９６個の正常な要素プロセッサ４の識別子
レジスタ１０に、識別子「０」〜「８９５」がシーケン
シャルに割り当てられる。このとき、再構成された全体
の要素プロセッサ４の数は、８９６個として把握される
ことになる。

【００１８】さらに、図４は、６×６個の要素プロセッ
サ４が４隣接メッシュ結合されたマルチプロセッサにお
いて、９個の故障した要素プロセッサ４（図中では太枠
印）が存在する場合に、識別子を再構成した例を示して
いる。同図において、マルチプロセッサ内の任意の要素
プロセッサ４の座標をｐｅ（ｘ，ｙ）（ただし、０≦
ｘ，ｙ≦５）とすると、６×６の４隣接メッシュにおい
ては、任意の要素プロセッサｐｅ（ｘ，ｙ）は、下記に
示す上下左右の要素プロセッサ４と結合される。ｐｅ（ｘ−１，ｙ）（左）ｐｅ（ｘ，ｙ−１）（上）ｐｅ（ｘ＋１，ｙ）（右）ｐｅ（ｘ，ｙ＋１）（下）ここで、図示のように、故障した要素プロセッサ４が、
ｐｅ(2,1),ｐｅ(1,2),ｐｅ(2,2),ｐｅ(3,2),ｐｅ(4,2),
ｐｅ(2,3),ｐｅ(3,3),ｐｅ(4,3),ｐｅ(3,4)の９個であ
るとすると、初期状態におけるオリジナルの識別子は中
段Ｍに示す番号のように、再構成された識別子は下段Ｄ
に示す番号のようになる。すなわち、オリジナルの識別
子は、上記故障した要素プロセッサ４を除いた正常な要
素プロセッサ４のみを対象とするシーケンシャルな新た
な識別子に変更される。

【００１９】このように、本実施例によるマルチプロセ
ッサ６によれば、マルチプロセッサ６内で並列処理を開
始するに際し、このマルチプロセッサ６内に、所定個数
の故障した要素プロセッサ４が存在する場合、各要素プ
ロセッサ４に最初に割り当てたオリジナルの識別子を、
故障した要素プロセッサ４を除く正常な要素プロセッサ
４のみで再構成した新たな識別子に変更し、該故障した
要素プロセッサ４を仕事をしない状態にすると共に、再
構成した新たな識別子を用いて、該正常な要素プロセッ
サ４のみによってその後の並列処理を進めることができ
る。

【００２０】次に、この発明の第２実施例について説明
する。図５は、この発明の第２実施例による要素プロセ
ッサ４の構成を示すブロック図である。この図に示す実
施例は、前述した特願昭６１−３０３４１２号に開示し
た初期ゴールの負荷分散に、上記第１実施例による識別
子の再構成を適用したものである。

【００２１】図５において、各要素プロセッサ４は、オ
リジナル識別子レジスタ９、再構成された識別子を記憶
する識別子レジスタ１０の他、演算や大小判定等を行う
演算装置１１、対象とする述語論理型言語のプログラム
等の制御プログラムを格納するプログラムメモリ１２、
プログラムを実行するに際して使用する作業領域１３、
上記初期ゴールの負荷分散の各過程において負荷分散の
対象となる要素プロセッサの台数ｐｎを格納する台数レ
ジスタＲｐｎ、上記負荷分散の各過程でその時点の探索
枝の数ｐｃを数えるカウンタＣｐｃ、および初期負荷分
散中か否かを示すフラグｆｌａｇから構成される。すな
わち、この実施例は、上記特願昭６１−３０３４１２号
に開示した構成に、オリジナル識別子レジスタ９と、再
構成された識別子を記憶する識別子レジスタ１０とを追
加した構成になっている。また、この実施例における識
別子の再構成は、図２に示したフローチャートに従って
行われる。

【００２２】このような構成によれば、並列処理を開始
するマルチプロセッサ６内に、所定個数の故障した要素
プロセッサ４が存在する場合、該マルチプロセッサ６に
述語論理型言語の初期ゴールを与え、その後すべての要
素プロセッサへ最初の仕事の割り付けを行う、初期ゴー
ルの負荷分散に際し、各要素プロセッサ４に最初に割り
当てたオリジナルの識別子ｏｐｉを、故障した要素プロ
セッサ４を除く正常な要素プロセッサ４のみで再構成し
た新たな識別子ｐｉに変更することができる。そして、
故障した要素プロセッサ４を仕事をしない状態にすると
共に、再構成した新たな識別子ｐｉと、割り付け可能な
正常要素プロセッサの台数ｐｎとを用いて、正常な要素
プロセッサ４のみによって、各要素プロセッサ間で情報
の授受を行うことなく、各要素プロセッサ４で同時に異
なる仕事を選択し、その後の並列処理を進めることがで
きる。

【００２３】これにより、既述した特願昭６１−３０３
４１２号等の効率的な初期の仕事の割り付けにおいて、
並列処理の開始直後の各要素プロセッサ４の稼動率が向
上し、マルチプロセッサ６全体として高い並列台数効果
が得られる。

【００２４】なお、この発明において、汎用プロセッサ
あるいは専用プロセッサなどといった各要素プロセッサ
の詳細な構成、バス結合あるいは多段ルータなどの各要
素プロセッサを結合するプロセッサ結合網の実現手法、
メッシュあるいはハイパーキューブなどの構成法は、特
にここで規定するところではない。また、マルチプロセ
ッサ上で行われる並列処理の処理方式（負荷分散の方
式）、適用される応用プログラムなども、特にここで規
定するところではない。さらに、図２のフローチャート
に示した識別子の再構成を要素プロセッサ内部で行う
か、あるいは外部で行うかということも、特にここで規
定するものではない。

【００２５】

【発明の効果】以上説明したように、この発明によれ
ば、以下に示すような効果が得られる。（１）故障した要素プロセッサの識別子を除去した新
たな識別子を再構成することにより、新しい識別子を用
いて、初期の仕事の各要素プロセッサへの割り付けを行
うことができるため、特願昭６１−３０３４１２号等の
効率的な初期の仕事の割り付けにおいて、並列処理の開
始直後の各要素プロセッサの稼動率が向上し、マルチプ
ロセッサ全体として、高い並列台数効果を得ることがで
きる。（２）今後のＬＳＩ（Large Scale Integration）技
術等の進展によって大規模なマルチプロセッサがウェハ
上に集積されるようになると、マルチプロセッサの大規
模化、ネットワークの局所化、および故障した要素プロ
セッサの割合の増大化に伴い、故障した要素プロセッサ
の発生の増加によるウェハレベルの歩留まりが重要にな
る。この発明によれば、こうした故障した要素プロセッ
サの識別子を除去することができるため、ウェハレベル
の歩留まりを向上することができる。これにより、マル
チプロセッサを低コストで構成することが可能になる。（３）従来のような物理的な切替えスイッチを用いて
故障した要素プロセッサを正常な予備の要素プロセッサ
に移すような冗長構成方式でなく、故障した要素プロセ
ッサの識別子をソフトウェア的に除去して再構成するた
め、故障した要素プロセッサの発生パターンに依存せ
ず、故障した要素プロセッサが如何なるパターンで発生
しても簡単に除去でき、高いフォルトトレランス性が得
られる。（４）この発明は、既存の要素プロセッサに再構成さ
れた識別子を記憶するレジスタを付加するだけで実施可
能なため、従来の各種のマルチプロセッサに容易に適用
でき、その効果は極めて大きい。特に、特願昭６１−３
０３４１２号に開示された述語論理型言語に属するプロ
グラム言語を対象としたマルチプロセッサに適用する場
合には、再構成された識別子を記憶するレジスタを付加
するだけで、容易に高いフォルトトレランス性を有する
マルチプロセッサが実現でき、その上で初期ゴールの負
荷分散が可能となり、高い並列台数効果を得ることがで
きる。

【図面の簡単な説明】

【図１】この発明の第１実施例の構成を示すブロック図
であり、（ａ）はマルチプロセッサの概略構成を、
（ｂ）は要素プロセッサの構成を示している。

【図２】同実施例において、中央処理装置が要素プロセ
ッサの識別子の再構成を行う際に実行する制御プログラ
ムのフローチャートである。

【図３】同実施例による識別子の再構成の一例を示す概
念図である。

【図４】６×６個の要素プロセッサが４隣接メッシュ結
合されたマルチプロセッサにおいて、同実施例による識
別子の再構成を行った例を示す図である。

【図５】この発明の第２実施例による要素プロセッサの
構成を示すブロック図である。

【符号の説明】

４要素プロセッサ５プロセッサ結合網６マルチプロセッサ７中央処理装置８記憶装置９オリジナル識別子レジスタ１０再構成された識別子が記憶される識別子レジスタ１１演算装置１２プログラムメモリ１３作業領域ＣｐｃカウンタｆｌａｇフラグＲｐｎ台数レジスタ

Claims

【特許請求の範囲】

【請求項１】中央処理装置および記憶装置を基本構成
要素とする要素プロセッサをプロセッサ結合網を介して
複数個結合し、各々の要素プロセッサに割り当てた識別
子を用いて、各要素プロセッサへ最初の仕事を割り付
け、各々の要素プロセッサが必要に応じて他の要素プロ
セッサとの間で情報の授受を行いながら並列処理を進め
る情報処理装置において、該情報処理装置内で並列処理を開始するに際し、該情報
処理装置内に、所定個数の故障した要素プロセッサが存
在する場合、各要素プロセッサに最初に割り当てたオリ
ジナルの識別子を、故障した要素プロセッサを除く正常
な要素プロセッサのみで再構成した新たな識別子に変更
する手段と、前記故障した要素プロセッサを仕事をしない状態にする
と共に、前記再構成した新たな識別子を用いて、前記正
常な要素プロセッサのみによってその後の並列処理を進
める手段とを具備することを特徴とする情報処理装置。
【請求項２】請求項１記載の情報処理装置において、各々の要素プロセッサが、前記オリジナルの識別子を格
納する第１の記憶手段と、前記再構成した新たな識別子
を格納する第２の記憶手段とを具備して成り、前記正常な要素プロセッサが、前記故障した要素プロセ
ッサの識別子を除去し、該正常な要素プロセッサのみで
再構成した新たな識別子を前記第２の記憶手段に設定
し、該故障した要素プロセッサを仕事をしない状態にす
ると共に、該再構成した新たな識別子を用いて、該正常
な要素プロセッサのみによってその後の並列処理を進め
ることを特徴とする情報処理装置。
【請求項３】請求項１または請求項２記載の情報処理
装置において、述語論理型言語に属するプログラム言語を対象として、
該情報処理装置に該述語論理型言語の初期ゴールを与
え、その後すべての要素プロセッサへ最初の仕事の割り
付けを行う、初期ゴールの負荷分散に際し、前記故障した要素プロセッサを仕事しない状態にすると
共に、前記再構成した新たな識別子と、仕事を割り付け
可能な正常な要素プロセッサの台数を示す情報とを用い
て、前記正常な要素プロセッサのみによって、各要素プ
ロセッサ間で情報の授受を行うことなく、各要素プロセ
ッサで同時に異なる仕事を選択し、その後の並列処理を
進めることを特徴とする情報処理装置。