JPH07114522A

JPH07114522A - マルチプロセッサシステム

Info

Publication number: JPH07114522A
Application number: JP5259591A
Authority: JP
Inventors: Masaharu Akatsu; 雅晴赤津; Tomohiro Murata; 智洋村田; Kenzo Kurihara; 謙三栗原; Shigeo Honma; 繁雄本間
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-10-18
Filing date: 1993-10-18
Publication date: 1995-05-02

Abstract

(57)【要約】【構成】送信側プロセッサ１１は、メッセージエリア２
１に処理要求のメッセージを設定する。受信側プロセッ
サ１２は、そのメッセージエリア２１のメッセージを読
みだす。さらに、要求処理を実行するための制御情報を
格納する実行制御ブロック２２を確保して、その中のメ
ッセージエリアポインタ２２０に、メッセージエリア２
１のアドレスを設定する。そして、要求処理実行中に適
宜参照する。要求処理終了後、使用したメッセージエリ
ア２１を解放する。【効果】プロセッサ間通信で受け渡された要求処理の実
行パラメータを、実行制御情報格納エリアへコピーする
処理が不要となり、性能向上と、制御に必要な共有メモ
リの容量削減が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチプロセッサシス
テムに係り、特に、共有メモリを介して、プロセッサ間
通信を行うマルチプロセッサシステムに関する。

【０００２】また、マルチプロセッサによって構成され
るディスク制御装置を有するディスクアレイシステムに
関する。

【０００３】

【従来の技術】マルチプロセッサシステムで、プロセッ
サ間通信を行う方式として、特開平1−261766 号公報に
記載のように、共有メモリを介した方式が良く知られて
いる。この方式は、送信側のプロセッサがメッセージ内
容を共有メモリに格納しておき、これを受信側のプロセ
ッサが読みだすものである。

【０００４】メッセージを格納するエリアは予めすべて
のプロセッサの間で取り決められていて、未使用の状態
の時に送信側のプロセッサがメッセージを入れ、受信側
のプロセッサがメッセージを読みだした時点でそのエリ
アを解放していた。

【０００５】なお、メッセージ読みだしに関しては、
「マルチプロセッサと並列処理」（村上洋一訳，近代科
学社，昭和５１年）９５ページに記載のように、送信側
のプロセッサがメッセージを設定したとき、受信側のプ
ロセッサに割り込み信号を入れることによって読みだし
契機を与える方法と、受信側のプロセッサが一定周期等
の適当なタイミングで、共有メモリを参照することによ
り行う方法がある。

【０００６】

【発明が解決しようとする課題】送信側のプロセッサが
受信側のプロセッサに対して処理を依頼するメッセージ
の場合、受信側のプロセッサが読みだしたメッセージ
を、その要求処理の実行制御情報の一部として利用す
る。一般に、処理実行に先立ち、これを制御するための
情報を格納するエリアを割り当てる。このエリアには、
処理の実行状況，確保している資源などの情報を格納す
る。受信側のプロセッサは、処理要求のメッセージを受
け取ったとき、要求された処理に対する実行制御情報格
納エリアを用意して、受け取ったメッセージの内容を、
その実行制御情報格納エリアの一部分にコピーした後、
プロセッサ間通信用のエリアを解放していた。

【０００７】この時、この実行制御情報を格納するエリ
アを、自プロセッサのローカルメモリに用意すると、そ
のプロセッサが障害になったとき、要求された処理の継
続が不可能になる。そのため、実行制御情報は共有メモ
リ内に置き、その処理を実行中のプロセッサが障害にな
っても、それを検出した他のプロセッサが実行制御情報
を引き継いで、処理を継続できるようにするのが一般的
である。

【０００８】このように、従来では、共有メモリ内に、
プロセッサ間通信用のエリアと、処理の実行制御情報を
格納するためのエリアを別に設け、処理要求のメッセー
ジを受けたとき、プロセッサ間通信用のエリア内にある
実行パラメータを、処理の実行制御情報を格納するため
のエリア内に、コピーしていた。

【０００９】本発明の目的は、プロセッサ間通信により
指示された処理を実行するにあたり、メッセージが設定
されたプロセッサ間通信用エリアを解放せずに、要求処
理の実行パラメータを、実行制御情報の一部として利用
することにより、コピー処理を不要にして、効率的なプ
ロセッサ通信を実現するマルチプロセッサシステムを提
供することにある。

【００１０】

【課題を解決するための手段】第一の観点では、本発明
は、複数のプロセッサと、共有メモリと、これらを結ぶ
バスから構成されるマルチプロセッサシステムにおい
て、プロセッサ間通信を行うための共有メモリのエリア
を、未使用である第一の状態と、送信側のプロセッサが
メッセージを設定して受信側のプロセッサが読まずにい
る第二の状態と、受信側のプロセッサが読みだしてその
メッセージを制御情報の一部として使用している第三の
状態に分けて状態管理して、送信側のプロセッサは、前
記第一の状態にあるエリアを一つ取り出してメッセージ
を入れて、前記第二の状態に変え、受信側のプロセッサ
は、前記第二の状態にあるエリアを一つ取り出して、メ
ッセージを読み取り、前記第三の状態に変え、また、前
記メッセージで要求された処理を終えたとき、前記第一
の状態に変えることにより、共有メモリのプロセッサ間
通信用のエリアを、要求された処理の実行制御情報格納
用のエリアとしても使用して、エリアを有効活用するこ
とを特徴とするマルチプロセッサシステムを提供する。

【００１１】第二の観点では、本発明は、前記マルチプ
ロセッサシステムにおいて、前記受信側のプロセッサ
が、前記共有メモリの前記プロセッサ間通信を行うため
のエリアに設定されている前記メッセージを読みだした
とき、そのメッセージで要求された処理を実行するため
の制御情報を格納するエリアと、前記メッセージが格納
されているエリアとのリンクを取り、前記要求処理を終
了したときに、前記リンクを切り離すと共に、前記プロ
セッサ間通信を行うためのエリアを解放することを特徴
とするマルチプロセッサシステムを提供する。

【００１２】第三の観点では、本発明は、前記マルチプ
ロセッサシステムのプロセッサ間通信用のエリアにおい
て、前記未使用である第一の状態と、前記受信待ちであ
る第二の状態にあるエリアをそれぞれＦＩＦＯキュー管
理して、前記送信側のプロセッサは、前記未使用エリア
のキューの先頭を抜き出して、メッセージを入れて、前
記受信待ちエリアのキューの最後尾につなげ、前記受信
側のプロセッサは、前記受信待ちエリアのキューの先頭
を抜き出して、メッセージを読みだし、また、前記メッ
セージで要求された処理を終えたとき、前記未使用エリ
アのキューの最後尾につなげることを特徴とするマルチ
プロセッサシステムを提供する。

【００１３】第四の観点では、本発明は、前記マルチプ
ロセッサシステムのプロセッサ間通信用のエリアにおい
て、各エリア毎に、そのエリアが使用中であるか否かを
示すフラグと、そのエリアに格納されたメッセージが受
信されたか否かを示すフラグを設けて、前記送信側のプ
ロセッサは、前記使用／未使用フラグの一覧を参照し
て、対応するフラグが未使用を示すエリアから任意の一
つを取り出して、メッセージを入れて、対応する使用／
未使用フラグをエリア使用中の状態に変えるとともに、
対応する受信待ち／完了フラグを受信待ちの状態に設定
して、前記受信側のプロセッサは、前記使用／未使用フ
ラグの一覧と、前記受信待ち／完了のフラグの一覧を参
照して、対応するフラグが使用中かつ受信待ちの組み合
わせとなっているエリアから任意の一つを取り出して、
メッセージを読みだして、対応する受信待ち／完了フラ
グを受信完了の状態に変え、また、前記メッセージで要
求された処理を終えたとき、対応する使用／未使用フラ
グを、エリア未使用の状態に変えることを特徴とするマ
ルチプロセッサシステムを提供する。

【００１４】第五の観点では、本発明は、ホストコンピ
ュータと、ディスク制御装置と複数のディスクドライブ
から構成され、データを複数のディスクドライブに分散
して記録するディスクアレイシステムにおいて、前記デ
ィスク制御装置は、前記ホストコンピュータからのデー
タのリード・ライト要求を受ける複数のプロセッサと、
前記ディスクドライブに対してデータのリード・ライト
要求を発行して、その制御を行う複数のプロセッサと、
共有メモリと、これらを結ぶバスから構成され、前記ホ
ストコンピュータからのデータのリード・ライト要求を
受けたプロセッサは、ホストコンピュータが指示したア
クセスデータを格納しているディスクドライブをすべて
求め、個々のドライブ毎に、共有メモリ内のプロセッサ
間通信用のエリアの中から未使用状態であるエリアを抜
き出して、そのディスクドライブを制御するプロセッサ
に対するデータのリード・ライト指示を設定して、受信
待ちの状態にして、前記ディスクドライブを制御するプ
ロセッサは、共有メモリ内のプロセッサ間通信用のエリ
アの中から、前記受信待ちの状態にあるエリアを抜き出
して、前記データのリード・ライト指示を読みだし、そ
の指示を実行するための実行制御情報を格納するエリア
と、前記指示を格納しているプロセッサ間通信用エリア
とのリンクを取り、データアクセスに必要な詳細パラメ
ータは、適宜、前記指示を格納しているプロセッサ間通
信用エリアから参照して、データアクセス処理終了後、
前記リンクを切り離すと共に、前記プロセッサ間通信用
エリアを未使用の状態にすることを特徴とするディスク
アレイシステムを提供する。

【００１５】第六の観点では、本発明は、前記ディスク
アレイシステムのプロセッサ間通信において、前記ホス
トコンピュータからのデータリード・ライト要求を受け
たプロセッサによる、前記ディスクドライブを制御する
プロセッサに対するデータのリード・ライト指示の設定
が済み、かつ、前記ディスクドライブを制御するプロセ
ッサが、その指示をまだ受信していない状態にあるエリ
アを、その指示が対象としているディスクドライブ別
に、ＦＩＦＯキュー管理して、前記ディスクドライブを
制御するプロセッサは、自らと接続のあるディスクドラ
イブに関わる前記受信待ちキューだけを参照して、その
指示メッセージを読みだすことを特徴とするディスクア
レイシステムを提供する。

【００１６】

【作用】上記第一の観点による本発明のマルチプロセッ
サシステムでは、プロセッサ間通信用のエリアを、三つ
の状態に分けて管理しており、受信側プロセッサがメッ
セージを読みだした後も、制御情報として使用している
状態に留まり、次のメッセージを格納するエリアとして
解放していない。そのため、そのエリアは、引き続き、
要求処理の実行制御情報の一部を格納しているエリアと
して使用される。従って、プロセッサ間通信用エリアに
設定された要求処理の実行パラメータを、実行制御情報
格納エリアにコピーする処理は不要になる。

【００１７】上記第二の観点による本発明のマルチプロ
セッサシステムでは、メッセージを読みだしたとき、そ
のメッセージで指示された要求処理を実行するための制
御情報格納エリアに、そのメッセージが格納されている
プロセッサ間通信用エリアのアドレスを設定する。要求
処理を実行するプロセッサは、このアドレスを読みだし
て、そのアドレスをアクセスすることにより、実行パラ
メータを得ることができる。このように、実行制御情報
を格納するエリア内には、指示された実行パラメータを
コピーする代わりに、その実行パラメータを含むメッセ
ージが格納されているプロセッサ間通信エリアのアドレ
スを設定するだけで、処理の実行に支障はなく、必要な
エリアを削減できる。

【００１８】上記第三の観点による本発明のマルチプロ
セッサシステムでは、未使用状態のエリアと受信待ち状
態のエリアをＦＩＦＯキュー管理しているので、送信側
のプロセッサがメッセージを格納するエリアを見つける
処理と、受信側のプロセッサがメッセージを読みだすエ
リアを見つける処理が、共に、関連するキューの先頭を
見るだけで行える。また、格納されているメッセージが
実行制御情報の一部として使用中であるエリアは、いず
れのキューにも属さないので、誤って、別のメッセージ
を格納したり、初めて受信したメッセージとして読みだ
したりすることはない。

【００１９】上記第四の観点による本発明のマルチプロ
セッサシステムでは、各メッセージ通信用エリアが、上
記第一の観点で述べた三つの状態のいずれにあるかを二
種類のフラグの組み合わせで表現しており、このフラグ
は全エリアのものを一箇所に集めてビットマップ形式に
なっているので、簡単なビット判定だけで、所望する状
態にあるエリアを探索することができる。

【００２０】上記第五の観点による本発明のディスクア
レイシステムでは、ホストコンピュータからのデータの
リード・ライト要求を受けるプロセッサと、ディスクド
ライブに対してデータのリード・ライト要求を発行し
て、その制御を行うプロセッサの二種類に分かれてお
り、処理の並列度を上げている。そして、前者のプロセ
ッサは、後者のプロセッサに対して、データのリード・
ライト指示のメッセージを出し、後者のプロセッサは、
そのメッセージで指示された処理に関する実行パラメー
タ（リード／ライトの区別，データの格納アドレス，デ
ータ長など）を引き継ぐことになる。この実行パラメー
タを、実行制御情報格納エリアにコピーすることなく、
メッセージ通信エリアに入れたまま利用できるので、性
能向上と共有メモリの容量削減が可能となる。

【００２１】上記第六の観点による本発明のディスクア
レイシステムでは、ドライブに対するデータのリード・
ライト指示に関するメッセージを格納しているエリア
を、その指示が対象としているディスクドライブ毎に、
ＦＩＦＯキュー管理しているので、ディスクドライブを
制御するプロセッサは、自らと接続のあるディスクドラ
イブに関わるキューの先頭を見るだけで、自らが実行で
きる指示に関するメッセージを簡単に求めることができ
る。そして、自らが実行できない指示に関するメッセー
ジを読みだすことを防ぐことができる。

【００２２】

【実施例】以下、本発明の実施例を図面により詳細に説
明する。なお、これにより本発明が限定されるものでは
ない。

【００２３】まず、図１を用いて、本発明の概要を説明
する。図１は、本発明の第一，第二実施例に共通の、マ
ルチプロセッサシステムのハードウェア構成ならびに、
テーブルのブロック図である。

【００２４】このマルチプロセッサシステムは、プロセ
ッサ１１，１２，共有メモリ２，これらを接続するバス
３から構成される。プロセッサ１１が処理要求を発行す
るプロセッサ，プロセッサ１２が処理要求を受けて実行
するプロセッサとする。本実施例では、プロセッサの台
数が２台であるが、この台数には一切の制約はない。ま
た、プロセッサの役割についても制約はなく、一台のプ
ロセッサが、他プロセッサに対して処理要求を発行する
と共に、他プロセッサからの処理要求を受ける処理も行
うものであってもよい。

【００２５】共有メモリ内には、メッセージエリア２１
と実行制御ブロック２２を持つ。

【００２６】メッセージエリア２１は、送信側のプロセ
ッサ１１が、受信側のプロセッサ１２に対する処理要求
のメッセージを設定するエリアである。

【００２７】実行制御ブロック２２は、プロセッサ１
１，１２が実行するプログラム（一般に、プロセス、あ
るいは、タスクなどと呼ばれる概念）の実行制御情報を
格納するエリアである。具体的には、処理の実行状況，
確保している資源，処理を実行しているプロセッサＩＤ
などが設定される。実行制御ブロック２２は、メッセー
ジエリアポインタ２２０を含んでいる。メッセージエリ
アポインタ２２０は、その実行制御ブロックに対応する
処理が、プロセッサ間通信を利用して、他のプロセッサ
から要求されたものであった場合に、その処理要求のメ
ッセージが入っていたメッセージエリアのアドレスを設
定するためのテーブルである。

【００２８】送信側のプロセッサ１１は、メッセージエ
リア２１に、プロセッサ１２に対する処理要求を設定す
る。

【００２９】プロセッサ１２は、そのメッセージを読み
だすと、要求された処理を実行するにあたり、実行制御
ブロック２２を確保する。そして、その実行制御ブロッ
ク２２内のメッセージエリアポインタ２２０に、読み出
したメッセージが格納されているメッセージエリア２１
のアドレスを設定する。

【００３０】そして、プロセッサ１２は要求された処理
を終了したとき、実行制御ブロック２２とメッセージエ
リア２１を解放する。

【００３１】本実施例によれば、プロセッサ間通信によ
り依頼された処理を実行するに当たり、プロセッサ間通
信エリアに設定された要求処理の実行パラメータを、受
信したあとも同じエリアに保存して、実行制御情報とし
て利用することができる。そのため、実行制御情報格納
エリアへのコピー処理が不要となり、性能向上と、制御
に必要な共有メモリの容量削減が可能となる。

【００３２】以下、各プロセッサの制御を詳細に説明す
る。

【００３３】（第一実施例）図２は、本発明の第一実施
例にかかるマルチプロセッサシステムのハードウェア構
成ならびに、テーブル構造図である。

【００３４】ハードウェア構成、並びに、共有メモリ２
内にあるメッセージエリア２１１〜２１６，実行制御ブ
ロック２２１〜２２３，メッセージエリアポインタ２２
１０〜２２３０は、図１のものと同じである。

【００３５】以下、共有メモリ２内のその他のテーブル
の詳細を説明する。

【００３６】キューポインタ２３１〜２３６は、メッセ
ージエリア２１１〜２１６と一対一に対応する情報であ
る。メッセージエリアが、後述する未使用キューあるい
は受信待ちキューに登録されているとき、そのメッセー
ジエリアの次に並んでいるメッセージエリアのアドレス
を設定する。キューの最後尾にある場合には、“null”
が設定される。

【００３７】ロックワード２４は、プロセッサ通信処理
（送信，受信を問わない。）をプロセッサ間でシリアラ
イズするための情報であり、プロセッサ間通信処理を行
うプロセッサのＩＤを設定する。このテーブルにＩＤが
入っているときは、そのＩＤを持つプロセッサだけがプ
ロセッサ間通信処理を実行でき、他のプロセッサは待た
される。

【００３８】未使用キュー先頭ポインタ２５は、未使用
状態にあるメッセージエリアのうち、一番長い間使用さ
れていないメッセージエリアのアドレスを設定するため
のテーブルである。未使用状態にあるメッセージエリア
が存在しない場合には、“null”が設定される。

【００３９】未使用キュー末尾ポインタ２６は、未使用
状態にあるメッセージエリアのうち、一番最近未使用状
態になったメッセージエリアのアドレスを設定するため
のテーブルである。未使用状態にあるメッセージエリア
が存在しない場合には、“null”が設定される。

【００４０】受信待ちキュー先頭ポインタ２７は、受信
待ち状態にあるメッセージエリアのうち、メッセージの
設定された時刻が一番古いメッセージエリアのアドレス
を設定するためのテーブルである。受信待ち状態にある
メッセージエリアが存在しない場合には、“nul1”が設
定される。

【００４１】受信待ちキュー末尾ポインタ２８は、受信
待ち状態にあるメッセージエリアのうち、メッセージの
設定された時刻が一番新しいメッセージエリアのアドレ
スを設定するためのテーブルである。受信待ち状態にあ
るメッセージエリアが存在しない場合には、“nul1”が
設定される。

【００４２】図２に示した例では、メッセージエリア２
１１，２１３は未使用の状態、メッセージエリア２１
２，２１４は送信側プロセッサのメッセージ設定は済ん
でいるが、まだ受信されていない状態、メッセージエリ
ア２１５，２１６はメッセージの読みだしが終わり、実
行制御情報の一部として使用されている状態にある。

【００４３】図３は、送信側プロセッサ１１のメッセー
ジ送信手順を示すフローである。

【００４４】まず、ロックワード２４を読みだして、他
のプロセッサＩＤが設定されているか否かを調べる（ス
テップ１０１０）。ロックワード２４に、他のプロセッ
サＩＤが設定されていないことを確認するまで、この処
理を繰り返す。そして、その後、自プロセッサのＩＤを
設定する（ステップ１０２０）。なお、この二つの処
理、すなわち、図３で点線で囲った部分１０００は、い
わゆるアトミック（atomic）命令を用いる。すなわち、
この点線内の処理の間は、他のプロセッサの共有メモリ
アクセスは禁止される。

【００４５】次に、未使用キュー先頭ポインタ２５を読
みだして、メッセージを格納するメッセージエリアを決
定する（ステップ１０３０）。

【００４６】なお、未使用キュー先頭ポインタ２５に
“null”が設定されている場合は、未使用状態のメッセ
ージエリアが存在しないので、今回のメッセージ送信を
諦めて、ステップ１０８０に飛ぶ（ステップ１０４
０）。

【００４７】メッセージエリアが決定すると、次に、そ
のメッセージエリアを未使用キューから切り離す(ステ
ップ１０５０)。この処理を、図２の例で、具体的に説
明する。まず、上記で決定したメッセージエリア２１１
のキューポインタ２３１を読む。そして、そこに設定さ
れているメッセージエリア２１３のアドレスを、未使用
キュー先頭ポインタ２５に書き込む。最後に、キューポ
インタ２３１を“null”にする。

【００４８】次に、上記で決定したメッセージエリア２
１１に、メッセージを設定する（ステップ１０６０）。

【００４９】そして、そのメッセージエリアを受信待ち
キューに登録する(ステップ1070)。この処理を図２の例
で具体的に説明する。まず、受信待ちキュー末尾ポイン
タ２８を読み、最後尾のメッセージエリア２１４のアド
レスを得る。そして、メッセージエリア２１４に対応す
るキューポインタ２３４に、新たに登録するメッセージ
エリア２１１のアドレスを設定する。最後に、受信待ち
キュー末尾ポインタ２８にも、メッセージエリア２１１
のアドレスを設定する。

【００５０】以上の処理を終えた後、最後に、ロックワ
ード２４をゼロクリアする（ステップ１０８０）。

【００５１】図４は、受信側プロセッサ１２のメッセー
ジ受信手順を示すフローチャートである。図４に示した
処理は、プロセッサ１２が暇なときに周期的に行う。

【００５２】まず、ロックワード２４を読みだして、他
プロセッサのＩＤが入っていないことを確認した後、自
プロセッサＩＤを設定する(ステップ２０１０，２０２
０)。この部分２０００は、図３の１０００と全く同じ
処理である。

【００５３】次に、受信待ちキュー先頭ポインタ２７を
読みだして、メッセージを読みだすメッセージエリアを
決定する（ステップ２０３０）。

【００５４】なお、受信待ちキュー先頭ポインタ２７に
“null”が設定されている場合は、受信すべきメッセー
ジがないので、ステップ２０９０に飛ぶ(ステップ２０
４０)。

【００５５】次に、上記で決定したメッセージエリア
（図１の例では、２１２）から、メッセージを読みだす
（ステップ２０５０）。

【００５６】そして、そのメッセージで指示された処理
を行うための、実行制御ブロックを確保する（ステップ
２０６０）。実行制御ブロックは、処理の内容によって
使い分けても良いし、未使用の実行制御ブロックをまと
めてキュー管理して、その先頭をアサインしてもよい。
ここでは、図１の実行制御ブロック２２３を使用するも
のとする。

【００５７】次に、確保した実行制御ブロック２８３内
のメッセージエリアポインタ2230に、読みだしたメッセ
ージが格納されているメッセージエリア２１２のアドレ
スを設定する（ステップ２０７０）。

【００５８】それから、メッセージエリア２１２を受信
待ちキューから切り離す（ステップ２０８０）。本処理
は、先に述べた未使用キューからの切り離し(ステップ1
050)と同じ手順で行う。

【００５９】以上の処理を終えた後、最後に、ロックワ
ード２４をゼロクリアする（ステップ２０９０）。

【００６０】なお、プロセッサ１１，１２の間に、専用
のホットラインを結び、プロセッサ１１が図３で説明し
たメッセージ送信処理を行った際に、ホットラインを通
じて、プロセッサ１２に信号を送り、プロセッサ１２
は、その信号を検出したときに、図４で説明したメッセ
ージ受信処理を行う方式もある。この方式では、メッセ
ージが送られていないときにメッセージを読みだしにい
くことがなくなるので、オーバヘッドが削減でき、ステ
ップ２０４０も不要となる。

【００６１】以上述べたプロセッサ間通信を利用して、
送信側プロセッサ１１から受信側プロセッサ１２へ指示
された処理は、受信側プロセッサ１２が、実行制御ブロ
ック２２１を適宜参照して実行する。指示された処理の
詳細な実行パラメータが必要になったときは、実行制御
ブロック２２１内のメッセージエリアポインタ2210を読
んで、実行パラメータを格納しているメッセージエリア
２１５のアドレスを得る。そして、そのメッセージを読
みだすことにより、何度でも実行パラメータを読み返す
ことが可能となる。

【００６２】図５は、受信側プロセッサが指示された処
理を終えたときのメッセージエリアの解放手順を示すフ
ローチャートである。

【００６３】まず、使用していた実行制御ブロック２２
１を解放する(ステップ３０１０)。これにより、メッセ
ージエリアポインタ２２１０もゼロクリアされる。

【００６４】次に、ロックワード２４を読みだして、他
プロセッサのＩＤが入っていないことを確認した後、自
プロセッサＩＤを設定する(ステップ３０２０，３０３
０)。この部分３０００は、図３の１０００と全く同じ
処理である。

【００６５】そして、解放したメッセージエリア２１５
を未使用キューに登録する（ステップ３０４０）。本処
理は、先に述べた受信待ちキューへの登録（ステップ10
70)と同じ手順で行う。

【００６６】以上の処理を終えた後、最後に、ロックワ
ード２４をゼロクリアする（ステップ３０５０）。

【００６７】第一の実施例によれば、送信側のプロセッ
サがメッセージを格納するエリアを見つける処理と、受
信側のプロセッサがメッセージを読みだすエリアを見つ
ける処理が、共に、関連するキューの先頭を見るだけで
行えるという効果がある。

【００６８】（第二実施例）第一実施例では、ＦＩＦＯ
キューにより、メッセージエリアの状態を管理していた
が、第二実施例では、ビットマップによって状態管理を
行う。

【００６９】図６は、第二実施例にかかるマルチプロセ
ッサシステムのハード構成ならびにテーブル構造図であ
る。ハードウェア構成は、第一実施例と同じである。共
有メモリ２内にあるテーブルのうち、メッセージエリア
２１１〜２１６，実行制御ブロック２２１〜２２３，メ
ッセージエリアポインタ２２１０〜２２３０，ロックワ
ード２４は、図２のものと全く同じである。

【００７０】使用／未使用ビットマップ２９１は、メッ
セージエリア毎に各１ビットが対応するビットマップで
ある。ビットが“１”であるとき、対応するメッセージ
エリアが使用中であることを示し、ビットが“０”であ
るとき、対応するメッセージエリアが未使用状態である
ことを示す。

【００７１】受信待ち／完了ビットマップ２９２も、メ
ッセージエリア毎に各１ビットが対応するビットマップ
である。ビットが“１”であるとき、対応するメッセー
ジエリア内に設定されているメッセージがまだ受信され
ていないことを示し、ビットが“０”であるとき、既に
受信されたことを示す。

【００７２】使用／未使用ビットマップ２９１と受信待
ち／完了ビットマップ２９２の対応するビットの組み合
わせにより、各メッセージエリアの状態が決まる。表１
に、ビットの組み合わせとメッセージエリアの状態の関
係を示す。

【００７３】

【表１】

【００７４】図７は、送信側プロセッサ１１のメッセー
ジ送信手順を示すフローチャートである。

【００７５】まず、ロックワード２４を読みだして、他
プロセッサのＩＤが入っていないことを確認した後、自
プロセッサＩＤを設定する(ステップ４０１０，４０２
０)。この部分４０００は、図３の１０００と全く同じ
処理である。

【００７６】次に、使用／未使用ビットマップ２９１を
読みだす（ステップ４０３０）。

【００７７】そして、使用／未使用ビットマップ２９１
がすべて“１”であるか否かを判定する（ステップ４０
４０）。すべて“１”である場合は、未使用状態のメッ
セージエリアが存在しないので、今回のメッセージ送信
を諦めて、ステップ４０８０に飛ぶ。一方。“０”であ
るビットがある場合には、その中から任意の一つを選択
する（ステップ４０５０）。

【００７８】次に、上記で選んだビットに対応するメッ
セージエリアにメッセージを設定する（ステップ４０６
０）。

【００７９】そして、使用／未使用ビットマップ２９１
と受信待ち／完了ビットマップ292内の、選択したメッ
セージエリアに対応するビットを、共に“１”にセット
する（ステップ４０７０）。

【００８０】以上の処理を終えた後、最後に、ロックワ
ード２４をゼロクリアする（ステップ４０８０）。

【００８１】図８は、受信側プロセッサ１２のメッセー
ジ受信手順を示すフローチャートである。

【００８２】まず、ロックワード２４を読みだして、他
プロセッサのＩＤが入っていないことを確認した後、自
プロセッサＩＤを設定する(ステップ５０１０，５０２
０)。この部分５０００は、図３の１０００と全く同じ
処理である。

【００８３】次に、使用／未使用ビットマップ２９１と
受信待ち／完了ビットマップ２９２のビット毎の論理積
（ＡＮＤ）を取る（ステップ５０３０）。

【００８４】そして、その論理積の結果が、すべて
“０”であるか否かを判定する（ステップ５０４０）。
すべて“０”である場合は、受信すべきメッセージがな
いので、ステップ５１００に飛ぶ。一方、“１”である
ビットがある場合には、その中から任意の一つを選択す
る（ステップ５０５０）。

【００８５】次に、上記で選んだビットに対応するメッ
セージエリアから、メッセージを読みだす（ステップ５
０６０）。

【００８６】そして、そのメッセージで指示された処理
を行うための、実行制御ブロックを確保して（ステップ
５０７０）、その実行制御ブロック内のメッセージエリ
アポインタに、読みだしたメッセージが格納されている
メッセージエリアのアドレスを設定する（ステップ５０
８０）。

【００８７】それから、受信待ち／完了ビットマップ２
９２内の、選択したメッセージエリアに対応するビット
を、“０”にリセットする（ステップ５０９０）。

【００８８】以上の処理を終えた後、最後に、ロックワ
ード２４をゼロクリアする（ステップ５１００）。

【００８９】送信側プロセッサ１１から受信側プロセッ
サ１２へ指示された処理の実行に際して、メッセージエ
リアを利用する方法は、第一実施例と同様である。

【００９０】図９は、受信側プロセッサが指示された処
理を終えたときのメッセージエリアの解放手順を示すフ
ローチャートである。

【００９１】ステップ６０１０〜６０３０は、図５のス
テップ３０１０〜３０３０と全く同じである。

【００９２】次に、使用／未使用ビットマップ２９１内
の、解放したメッセージエリアに対応するビットを、
“０”にリセットする（ステップ６０４０）。

【００９３】そして、ロックワード２４をゼロクリアす
る（ステップ６０５０）。

【００９４】第二の実施例によれば、送信側のプロセッ
サがメッセージを格納するエリアを見つける処理と、受
信側のプロセッサがメッセージを読みだすエリアを見つ
ける処理が、共に、ビット判定だけで行える。また、メ
ッセージエリアの状態変更もビット操作だけで済むの
で、オーバヘッドが少ないうえに、プロセッサ障害発生
時のリカバリ処理も簡単である。

【００９５】（第三実施例）次に、上記で説明したマル
チプロセッサシステムを適用したディスクアレイシステ
ムの実施例を説明する。

【００９６】図１０は、本発明にかかるディスクアレイ
システムのハードウェア構成のブロック図である。

【００９７】このディスクアレイシステムは、ホストコ
ンピュータ４，ディスク制御装置５，ディスクドライブ
６１〜６３から構成されている。本実施例では、ホスト
コンピュータから送られた保存データを、３台のディス
クドライブ６１〜６３の内の２台に分散して書き込み、
残りの１台にエラー訂正コードを書き込むものとする。
ただし、本発明において、ディスクドライブの台数に制
約はなく、ｍ台のディスクドライブを用意して、その内
のｎ台をエラー訂正用ドライブとしてよい(ｍ,ｎはｍ＞
ｎ≧１を満たす任意の自然数）。

【００９８】ディスク制御装置５は、プロセッサ５１１
〜５１４，共有メモリ５２，プロセッサと共有メモリを
結ぶバス５３，バッファメモリ５４，ホストコンピュー
タ，ディスクドライブ，バッファメモリを結ぶバス５５
から構成される。本実施例では、プロセッサ台数が４台
であり、その内の一台（プロセッサ５１１）がホストコ
ンピュータ１からのデータのリード・ライト要求を受
け、残りの３台（プロセッサ５１２〜５１４）がディス
クドライブを制御するものとする。すなわち、プロセッ
サ５１１は、ホストコンピュータ４からの要求に応じ
て、ホストコンピュータ４とバッファメモリ５４間のデ
ータ転送を制御する。そして、プロセッサ５１２〜５１
４は、プロセッサ５１１からの指示に応じて、バッファ
メモリ５４とディスクドライブ６１〜６３間のデータ転
送を制御する。また、ディスクドライブを制御するプロ
セッサ５１２〜５１４は、図１０に示すように、それぞ
れ２台のディスクドライブを制御するものとする。ただ
し、本発明において、プロセッサの台数やその構成，デ
ィスクドライブとの接続形態に一切の制約はない。

【００９９】図１１は、共有メモリ５２内のテーブル構
造図である。図２の共有メモリ２内のテーブル構造と基
本的に同じである。異なる点は、メッセージエリアに設
定されている指示が対象としているディスクドライブ毎
に、受信待ちキューが分かれていることにある。

【０１００】以下、各プロセッサの制御フローを説明す
る。

【０１０１】図１２に、ホストコンピュータ４からのデ
ータのリード・ライト要求を受けるプロセッサ５１１の
制御フローを示す。

【０１０２】まず、ホストコンピュータ４からのデータ
アクセス要求を受けるまでループする（ステップ７００
０）。

【０１０３】データアクセス要求を受けると、まず、そ
のデータのアドレスをパラメータとして受け取る（ステ
ップ７０１０）。なお、このアドレスは、ホストコンピ
ュータが管理している論理アドレスであり、実際にデー
タが格納されている物理アドレスではない。すなわち、
ホストコンピュータは、自分が所望するデータが実際に
どのディスクドライブに存在するかを気にかける必要が
ない。

【０１０４】次に、そのアクセス要求がリードかライト
かを判定する(ステップ７０２０)。

【０１０５】リード要求の場合には、まず、要求された
データが実際に存在するアドレスを求める（ステップ７
０３０）。データは分散して格納されているので、複数
のディスクドライブがアクセス対象となる。本実施例で
は、ディスクドライブ６１〜６３合計３台からのデータ
リード処理が必要となる。

【０１０６】次に、対象とするディスクドライブ毎に、
データリードの指示を出す（ステップ７０４０，７０５
０）。この処理は、図３で説明したメッセージ送信処理
を用いる。

【０１０７】すべての指示を出し終えると、３台のディ
スクドライブからのデータ転送がすべて終わるのを待つ
（ステップ７０６０）。

【０１０８】そして、必要なデータがすべてバッファメ
モリ５４に送られたことを確認した後、そのデータをホ
ストコンピュータ４に転送する（ステップ７０７０）。

【０１０９】一方、ライト要求の場合は、まず、そのラ
イトデータをホストコンピュータ４から受け取り、バッ
ファメモリ５４に転送する（ステップ７０８０）。

【０１１０】次に、要求されたデータを実際にディスク
ドライブに格納する際のアドレスを求める（ステップ７
０９０）。

【０１１１】そして、対象とするディスクドライブ毎
に、データライトの指示を出す（ステップ７１００，７
１１０）。この処理は、図３で説明したメッセージ送信
処理を用いる。

【０１１２】以上の処理が終わると、ステップ７０００
に戻り、ホストコンピュータからの次の要求を待つ。

【０１１３】図１３に、ディスクドライブを制御するプ
ロセッサ５１２〜５１４の制御フローチャートを示す。

【０１１４】まず、実行制御ブロックを検索して、自分
で実行可能なディスクドライブ制御の処理がないかを調
べる（ステップ８０００）。

【０１１５】実行可能な処理がない場合には、プロセッ
サ５１１からのディスクドライブアクセス指示に関する
メッセージが来ていないかを調べる。そのために、ま
ず、チェックする受信待ちキューを決める（ステップ８
０１０）。例えば、プロセッサ５１２を例にとると、接
続のあるディスクドライブは６１と６３なので、対象と
なる受信待ちキュー先頭ポインタは、２６１と２６３で
ある。そこで、その内のいずれか一つを選ぶ。

【０１１６】そして、選択した受信待ちキューを参照す
ることによって、図３で説明したメッセージ受信処理を
行う（ステップ８０２０）。

【０１１７】一方、実行可能なディスクドライブ制御の
処理がある場合には、それに対応する実行制御ブロック
を参照しながら、処理を実行する（ステップ８０３
０）。具体的には、リード／ライトの区別，対象データ
のアドレス，データ長などの実行パラメータをメッセー
ジエリアから読みだし、バッファメモリ５４とディスク
ドライブ６１〜６３間のデータ転送を制御する。

【０１１８】そして、処理が終了すると、図５で説明し
たメッセージエリアの解放処理を行う（ステップ８０４
０）。

【０１１９】以上の処理が終わると、実行可能な処理の
探索（ステップ８０００）に戻る。

【０１２０】第三の実施例によれば、ホストコンピュー
タからの要求を受けるプロセッサからディスクドライブ
を制御するプロセッサへの処理要求の効率的な授受が可
能となる。また、受信側のプロセッサは、自分と接続の
あるディスクドライブに関する指示の入ったメッセージ
だけを選ぶことが簡単に行え、実行できないメッセージ
を無駄に読むオーバヘッドがない。

【０１２１】

【発明の効果】本発明によれば、プロセッサ間通信を通
じて依頼された処理を実行するにあたり、プロセッサ間
通信用エリアに設定された要求処理の実行パラメータ
を、受信した後も保存して、実行制御情報として利用す
ることができる。そのため、実行制御情報格納エリアへ
のコピー処理が不要となり、性能向上と、制御に必要な
共有メモリの容量削減が可能となる。

【図面の簡単な説明】

【図１】本発明にかかるマルチプロセッサシステムのハ
ードウェア構成ならびにテーブルのブロック図。

【図２】本発明の第一実施例にかかるマルチプロセッサ
システムのハードウェア構成ならびにテーブルのブロッ
ク図。

【図３】本発明の第一実施例のメッセージ送信手順を示
すフローチャート。

【図４】本発明の第一実施例のメッセージ受信手順を示
すフローチャート。

【図５】本発明の第一実施例のメッセージエリアの解放
手順を示すフローチャート。

【図６】本発明の第二実施例にかかるマルチプロセッサ
システムのハードウェア構成ならびにテーブルのブロッ
ク図。

【図７】本発明の第二実施例にかかるメッセージ送信手
順を示すフローチャート。

【図８】本発明の第二実施例にかかるメッセージ受信手
順を示すフローチャート。

【図９】本発明の第二実施例にかかるメッセージエリア
の解放手順を示すフローチャート。

【図１０】本発明の第三実施例にかかるディスクアレイ
システムのブロック図。

【図１１】共有メモリのテーブルのブロック図。

【図１２】ホストコンピュータの要求を受けるプロセッ
サの制御フローチャート。

【図１３】ディスクドライブを制御するプロセッサの制
御フローチャート。

【符号の説明】

２…共有メモリ、３…バス、１１，１２…プロセッサ、
２１…メッセージエリア、２２…実行制御ブロック。

───────────────────────────────────────────────────── フロントページの続き (72)発明者本間繁雄神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサと、共有メモリと、これ
らを結ぶバスから構成されるマルチプロセッサシステム
において、プロセッサ間通信を行うための共有メモリの
エリアを、未使用である第一の状態と、送信側のプロセ
ッサがメッセージを設定して受信側のプロセッサが読ま
ずにいる第二の状態と、受信側のプロセッサが読みだし
てそのメッセージを制御情報の一部として使用している
第三の状態に分けて状態管理して、送信側のプロセッサ
は、前記第一の状態にあるエリアを一つ取り出してメッ
セージを入れて、前記第二の状態に変え、受信側のプロ
セッサは、前記第二の状態にあるエリアを一つ取り出し
て、メッセージを読み取り、前記第三の状態に変え、ま
た、前記メッセージで要求された処理を終えたとき、前
記第一の状態に変えることにより、共有メモリのプロセ
ッサ間通信用のエリアを、要求された処理の実行制御情
報格納用のエリアとしても使用して、エリアを有効活用
することを特徴とするマルチプロセッサシステム。
【請求項２】請求項１において、前記受信側のプロセッ
サが、前記共有メモリの前記プロセッサ間通信を行うた
めのエリアに設定されている前記メッセージを読みだし
たとき、そのメッセージで要求された処理を実行するた
めの制御情報を格納するエリアと、前記メッセージが格
納されているエリアとのリンクを取り、前記要求処理を
終了したときに、前記リンクを切り離すと共に、前記プ
ロセッサ間通信を行うためのエリアを解放するマルチプ
ロセッサシステム。
【請求項３】請求項１において、前記マルチプロセッサ
システムのプロセッサ間通信用のエリアで、前記未使用
である第一の状態と、前記受信待ちである第二の状態に
あるエリアをそれぞれＦＩＦＯキュー管理して、前記送
信側のプロセッサは、前記未使用エリアのキューの先頭
を抜き出して、メッセージを入れて、前記受信待ちエリ
アのキューの最後尾につなげ、前記受信側のプロセッサ
は、前記受信待ちエリアのキューの先頭を抜き出して、
メッセージを読みだし、また、前記メッセージで要求さ
れた処理を終えたとき、前記未使用エリアのキューの最
後尾につなげるマルチプロセッサシステム。
【請求項４】請求項１において、前記マルチプロセッサ
システムのプロセッサ間通信用のエリアで、各エリア毎
に、そのエリアが使用中であるか否かを示すフラグと、
そのエリアに格納されたメッセージが受信されたか否か
を示すフラグを設けて、前記送信側のプロセッサは、前
記使用／未使用フラグの一覧を参照して、対応するフラ
グが未使用を示すエリアから任意の一つを取り出して、
メッセージを入れて、対応する使用／未使用フラグをエ
リア使用中の状態に変えるとともに、対応する受信待ち
／完了フラグを受信完了の状態に設定して、前記受信側
のプロセッサは、前記使用／未使用フラグの一覧と、前
記受信待ち／完了のフラグの一覧を参照して、対応する
フラグが使用中かつ受信待ちの組み合わせとなっている
エリアから任意の一つを取り出して、メッセージを読み
だして、対応する受信待ち／完了フラグを受信完了の状
態に変え、また、前記メッセージで要求された処理を終
えたとき、対応する使用／未使用フラグを、エリア未使
用の状態に変えるマルチプロセッサシステム。
【請求項５】ホストコンピュータと、ディスク制御装置
と複数のディスクドライブから構成され、データを前記
複数の前記ディスクドライブに分散して記録するディス
クアレイシステムにおいて、前記ディスク制御装置は、
前記ホストコンピュータからのデータのリード・ライト
要求を受ける複数のプロセッサと、前記ディスクドライ
ブに対してデータのリード・ライト要求を発行して、そ
の制御を行う複数のプロセッサと、共有メモリと、これ
らを結ぶバスから構成され、前記ホストコンピュータか
らのデータのリード・ライト要求を受けたプロセッサ
は、ホストコンピュータが指示したアクセスデータを格
納しているディスクドライブをすべて求め、個々のドラ
イブ毎に、共有メモリ内のプロセッサ間通信用のエリア
の中から未使用状態であるエリアを抜き出して、そのデ
ィスクドライブを制御するプロセッサに対するデータの
リード・ライト指示を設定して、受信待ちの状態にし
て、前記ディスクドライブを制御するプロセッサは、共
有メモリ内のプロセッサ間通信用のエリアの中から、前
記受信待ちの状態にあるエリアを抜き出して、前記デー
タのリード・ライト指示を読みだし、その指示を実行す
るための制御情報を格納するエリアと、前記指示を格納
しているプロセッサ間通信用エリアとのリンクを取り、
データアクセスに必要な詳細パラメータは、適宜、前記
指示を格納しているプロセッサ間通信用エリアから参照
して、データアクセス処理終了後、前記リンクを切り離
すと共に、前記プロセッサ間通信用エリアを未使用の状
態にすることを特徴とするディスクアレイシステム。
【請求項６】請求項５において、前記ディスクアレイシ
ステムのプロセッサ間通信で、前記ホストコンピュータ
からのデータリード・ライト要求を受けたプロセッサに
よる、前記ディスクドライブを制御するプロセッサに対
するデータのリード・ライト指示を設定が済み、前記デ
ィスクドライブを制御するプロセッサが、その指示をま
だ受信していない状態にあるエリアを、その指示が対象
としているディスクドライブ別に、ＦＩＦＯキュー管理
して、前記ディスクドライブを制御するプロセッサは、
自らと接続のあるディスクドライブに関わる前記受信待
ちキューだけを参照して、その指示メッセージを読みだ
すディスクアレイシステム。