JP3661531B2 - マルチプロセッサシステム及びそのアドレス解決方法 - Google Patents
マルチプロセッサシステム及びそのアドレス解決方法 Download PDFInfo
- Publication number
- JP3661531B2 JP3661531B2 JP33348999A JP33348999A JP3661531B2 JP 3661531 B2 JP3661531 B2 JP 3661531B2 JP 33348999 A JP33348999 A JP 33348999A JP 33348999 A JP33348999 A JP 33348999A JP 3661531 B2 JP3661531 B2 JP 3661531B2
- Authority
- JP
- Japan
- Prior art keywords
- cell
- address
- access
- cells
- address resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17356—Indirect interconnection networks
- G06F15/17368—Indirect interconnection networks non hierarchical topologies
- G06F15/17381—Two dimensional, e.g. mesh, torus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
- G06F12/0646—Configuration or reconfiguration
- G06F12/0692—Multiconfiguration, e.g. local and global addressing
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチプロセッサシステム及びそのアドレス解決方法に関し、特に分散共有メモリ型アーキテクチャを有するマルチプロセッサシステム及びそのアドレス解決方法に関する。
【０００２】
【従来の技術】
メモリを処理装置（プロセッサ）の近傍に分散配置する分散共有メモリアーキテクチャは、全てのメモリを集中配置したシステムと比較して、ローカルなメモリへのアクセスが高速であるという特徴がある。一方、分散共有メモリ構成において異なる物理位置にあるメモリを単一のメモリ空間に編成する場合、メモリアクセスがローカルなメモリかリモートのメモリかを判別し、リモートである場合には転送を行なう必要が生じる。このためには、アドレスを解決するための何らかの手段（例えば、アドレス変換テーブル）が必要となる。
【０００３】
また、典型的な分散共有メモリ構成のシステムでは、処理装置、メモリ、その他コンピュータの主要構成要素を具備する構成単位（以下、セルという。）を複数個実装し、これらセルをネットワークによって相互接続することにより、大規模システムを構成する方式が採用されることが多い。この場合、それぞれの構成単位を切り離して独立したコンピュータとして運転することが比較的容易に実現できる。このような切り離しをパーティショニングといい、この場合の切り離されたセルを特にパーティションという。このような構成を採用すれば、集中メモリ型のシステムよりも大規模システムを実現しやすいというメリットがある。
【０００４】
一方、多数個の処理装置でメモリを共有する大規模な対象型マルチプロセッサ構成のコンピュータでは、ソフトウェア上の制約や資源の競合などのために処理装置の個数に比例して性能を上げること（スケーラビリティの向上）が困難であり、また処理装置の数を増やすには物理的限界もある。そのため、複数のコンピュータを相互接続して大規模な処理能力を実現する手段が採用される場合がある。そのようなシステムをクラスタシステムという。クラスタシステムを構成する個々の独立したコンピュータを特にノードという。クラスタシステムを採用することの利点は、システム規模の限界の打破のみならず、可用性にすぐれるという利点も有する。すなわち、複数のコンピュータが独立して動作することにより、一箇所で発生した故障やクラッシュがシステム全体に波及しにくくなる。そのため、クラスタシステムは、高信頼度システムの実現にもしばしば用いられる。
【０００５】
その反面、上述のクラスタシステムは、同規模の単一コンピュータシステムと比較してセットアップや管理が複雑となるほか、筐体や相互接続ケーブルなどの付加コストがかかるという問題がある。このため複数の小型コンピュータを１つの筐体に入れ、必要な相互接続を筐体内で行なうほか、セットアップや試験なども済ませて出荷する、いわゆる筐体内クラスタシステムも市場に出始めている。しかし、このような製品も含め、既存のクラスタシステムではコンピュータの相互接続にネットワークを使用するため、通信オーバヘッドが大きく、ノード数の増加に比例した性能向上が困難な場合があった。
【０００６】
一方、大規模な単一コンピュータシステムは、処理内容によっては処理装置の数を増やしても性能向上効果が得にくい場合があり、また同規模のクラスタシステムと比較して、単一の故障やトラブルがシステム全体に波及しやすいという問題があった。
【０００７】
これらの問題に対して、特願平１０−１６６７２３号では、図１７に示すようにアドレス解決テーブルを各セル制御回路に設け、分散共有システムを対称マルチプロセッサシステムとして運用することを可能とし、また、１システムをクラスタシステムとしても運用することを可能としている。これにより、同一の分散共有メモリアーキテクチャのシステムを、選択的に単一の対称共有メモリコンピュータとしても、筐体内クラスタシステムとしても運用できるようにしている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述の従来技術では、搭載するセルはすべてアドレス解決テーブルを実装する必要があり、クラスタ構成を行う場合は、クラスタ機能用のアドレス解決テーブルを実装していないセルを搭載することができないという問題がある。
【０００９】
しかも、各セル自身が独立のコンピュータでありながらノードの構成要素となるため、図１８に示すように入出力制御装置もセル上に搭載されることになる。従って、各ノードに属する入出力制御装置の数は、そのノードを構成するセルに搭載されている入出力制御装置の数を上限とするため、１ノードでそれ以上の入出力処理性能を実現することができないという問題がある。この場合、セルの外部に入出力制御装置を設けても、入出力制御装置自身にアドレス解決テーブルを実装しない限り、クラスタ構成をとることはできない。
【００１０】
また、例えば、図１５に示すように、クラスタ構成運用中に、あるノードのセルに障害が発生した場合、セルが入出力制御装置を有する構成では、その入出力制御装置が正常であっても、セルを切り離すことによって入出力制御装置も使用出来なくなってしまう。
【００１１】
本発明の目的は、クラスタ機能用のアドレス解決テーブルを実装していないセルであってもそれをノードの構成要素として、同一の分散共有メモリアーキテクチャのシステムを、選択的に単一の対象型マルチプロセッサコンピュータとして、または、筐体内クラスタシステムとして運用できるようにすることにある。これにより、セルの機能に依存せずに、処理内容に応じて両方式の問題点を解決し、それぞれの利点を発揮できる柔軟なコンピュータシステムを提供する。
【００１２】
また、アドレス解決テーブルを有しない入出力制御装置を接続した場合でもクラスタシステムとしての運用を可能とし、さらに、接続された入出力制御装置の各ノードへの割り当ても柔軟に行うことも目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するために本発明のマルチプロセッサシステムは、少なくとも一つのプロセッサと、少なくとも一つのメモリモジュールと、前記プロセッサと前記メモリモジュールとの間を接続するセル制御回路とを含むセルを複数有し、前記セル同士をネットワークによって接続したマルチプロセッサシステムであって、前記ネットワークは前記セルの各々に対応してアドレス解決機構を有し、前記アドレス解決機構の各々は、複数のエントリから成って各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルと、アクセスの要求されたアドレスによって前記アドレス解決テーブルを検索してそのアドレスに係るメモリモジュールの存在するセルが他のセルであれば当該他のセルにアクセスする手段と、他のセルからのライトアクセスを許容するか否かを指示するライト保護フラグと、他のセルからのアクセスがライトアクセスである場合において、前記ライト保護フラグが他セルからのライトアクセスを許容しない旨を指示していればアクセス例外を検出する手段とを含む。
【００１５】
また、本発明の他のマルチプロセッサシステムにおいて、前記アドレス解決テーブルの各エントリは、対応するアドレスに係るメモリモジュールのセル内における識別番号をさらに保持し、前記セルに含まれるメモリモジュールは前記セル内識別番号により識別される。
【００１６】
また、本発明の他のマルチプロセッサシステムにおいて、前記アドレス解決テーブルの少なくとも一つのエントリは、対応するアドレスに係るメモリモジュールの存在するセルの番号として、対応するセル以外のセルの番号を保持する。
【００１７】
また、本発明の他のマルチプロセッサシステムにおいて、前記ライト保護フラグは、他のセルからのライトアクセスを許容しない旨を指示するよう設定される。
【００１８】
また、本発明の他のマルチプロセッサシステムにおいて、少なくともいずれか２つのセルに対応する前記アドレス解決テーブルにおいて少なくとも１つの相対するエントリに同一のセルの番号が設定される。
【００１９】
また、本発明の他のマルチプロセッサシステムにおいて、全てのセルにおける前記アドレス解決テーブルにおいて全ての対応するエントリに同一のセルの番号が設定される。
【００２０】
また、本発明の他のマルチプロセッサシステムでは、前記セルの一部を入出力制御装置に置き換えてもよい。
【００２１】
また、本発明の他のマルチプロセッサシステムでは、前記セルの一部を記憶装置に置き換えてもよい。
【００２２】
また、本発明のマルチプロセッサシステムのためのネットワークは、少なくとも一つのプロセッサと、少なくとも一つのメモリモジュールと、前記プロセッサと前記メモリモジュールとの間を接続するセル制御回路とを含むセルを複数有するマルチプロセッサシステムのための前記セル同士を接続するネットワークであって、複数のエントリから成り、各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルと、アクセスの要求されたアドレスによって前記アドレス解決テーブルを検索してそのアドレスに係るメモリモジュールの存在するセルが他のセルであれば当該他のセルにアクセスする手段と、他のセルからのライトアクセスを許容するか否かを指示するライト保護フラグと、他のセルからのアクセスがライトアクセスである場合において、前記ライト保護フラグが他セルからのライトアクセスを許容しない旨を指示していればアクセス例外を検出する手段とを含む。
【００２３】
また、本発明の他のネットワークにおいて、前記アドレス解決テーブルの各エントリは、対応するアドレスに係るメモリモジュールのセル内における識別番号をさらに保持し、前記セルに含まれるメモリモジュールは前記セル内識別番号により識別される。
【００２４】
また、本発明のアドレス解決方法は、少なくとも一つのプロセッサ及びメモリを含む複数のセルをネットワークにより接続して成るマルチプロセッサシステムにおいて、前記ネットワークは前記複数のセルの各々に対応して、各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルを含み、前記アドレス解決テーブルを索引するステップと、指定されたアクセスが他のセルからライトか否かを判別するステップと、前記指定されたアクセスが他セルからのライトであると判別された場合において、他セルからのライトを許容しないように設定されていればアクセス例外を検出するステップとを含む。
【００２５】
【発明の実施の形態】
次に本発明のマルチプロセッサシステムの実施の形態について図面を参照して詳細に説明する。
【００２６】
図１を参照すると、本発明のマルチプロセッサシステムの実施の形態は、複数のセル４００をネットワーク５００により相互接続することにより構成される。ここで、システムは４つのセル４００を有するものとし、それぞれのセル４００はそれぞれ４つの処理装置２００、メモリ３００、及び、セル制御回路１００を有するものと仮定する。但し、この数はシステムの要求に応じて任意に設定することができる。
【００２７】
このように、メモリが各セルごとに存在し、あるプロセッサから自セル内のメモリへの距離と、他セル内に存在するメモリへの距離が異なる構成のコンピュータシステムは物理的側面として分散共有メモリアーキテクチャと呼ばれ、また、メモリアクセスレイテンシが自セルのメモリと他セルメモリで異なることから時間的側面として不均一メモリアクセスアーキテクチャとも呼ばれる。
【００２８】
ただし上記のような分散共有メモリアーキテクチャのシステムであっても、その上で動作するソフトウェアに対しては、ソフトウェア自体の実装の容易化のために、分散されたメモリが、１箇所に集中して存在するように見せることも可能である。すなわち、分散共有メモリアーキテクチャシステムであっても、図２（ａ）に示すように、ソフトウェアには対称型マルチプロセッシングシステムとして見せることが可能である。よって、本トポロジを持つシステムも、対称型マルチプロセッシングシステムのうちの一つの形態であると言える。
【００２９】
また、このような大規模なコンピュータシステムでは、図２（ａ）のようにシステム全体を一つのコンピュータとして運用する場合の他に、図２（ｂ）のようにシステムを機能的に分割し、複数の小規模なコンピュータ（パーティション）の集まりとして運用する場合もある。さらに、このようなパーティショニングされた小規模なコンピュータを１ノードとして、各ノードの独立性を保ちつつ、ノード間に弱い接続を持たせることにより、１システムの中でクラスタを構成させる運用方法もある。この場合、上記ノード間接続の結合性を弱くすることは、１ノードで発生したエラーの、他ノードへの伝搬を防止する。
【００３０】
図３を参照すると、本発明のマルチプロセッサシステムでは、セル４００間の相互接続を行うネットワーク５００が４つのポート５０１を有し、それぞれのポート５０１に対して１つのセル４００が接続されている。ネットワーク５００は、各ポートに対応して、アドレス解決機構５０２を有する。このアドレス解決機構５０２により、各セル４００に分散して存在するメモリのアドレスを、重複のない単一のメモリ空間として構成する。プロセッサ２００からメモリ３００へのアクセス要求は一旦このネットワーク５００に送られ、各セル４００に対応するアドレス解決テーブル５２０を索引し、プロセッサ２００がアクセスを要求しているメモリ３００の属する物理セル番号が判明するようになる。アドレス解決機構５０２は互いにルーティング制御回路５８０により接続される。
【００３１】
図４を参照すると、ネットワーク５００内の各アドレス解決機構５０２は、アドレスレジスタ５１０と、アドレス解決テーブル５２０と、ライト保護フラグ５３０と、セル番号レジスタ５４１と、アクセス種別レジスタ５４２と、比較器５５０と、論理積回路５６０とを含む。
【００３２】
アドレス解決テーブル５２０は、システムの立ち上げ時に初期設定される。本アドレス解決テーブル５２０により、各セルに分散して存在するメモリ３００は、アドレスが重複しない単一のメモリ空間に構成される。処理装置が要求したメモリアドレスは、アドレス解決テーブル５２０を索引することにより、どの物理セルへのアクセスかが判明する。アドレス解決テーブル５２０は、複数のエントリを有し、ポート５０１からのアドレスの中のモジュールアドレス５１１により索引される。各エントリは、有効ビット５２１、セル番号５２２、及び、セル内モジュール番号５２３を保持する。有効ビット５２１は、当該エントリが有効か否かを指示する。例えば、”０”であれば有効ではなく、”１”であれば有効であることを意味する。セル番号５２２は、当該アドレスに相当するメモリモジュールが存在するセルの番号を表示する。セル内モジュール番号５２３は、当該アドレスに相当するメモリモジュールがセル内のいずれのメモリ３００であるかを表示する。セル内モジュール番号５２３とモジュール内アドレスオフセット５１２とを繋げたものがセル内アドレス５９１となる。
【００３３】
ライト保護フラグ５３０は、他のセルからのアクセスがライトであった場合にそのライトを許可するか否かを指示する。例えば、”０”のときは他のセルからのライトを許容するが、”１”のときは他のセルからのライトは許容せずにアクセス例外とする。
【００３４】
セル番号レジスタ５４１は、アクセスリクエストを発行した処理装置の存在するセルのセル番号を格納するためのレジスタである。アクセス種別レジスタ５４２はアクセスリクエストの種別を表す。例えば、”１”の場合にライトを意味するものとする。比較器５５０は、セル番号レジスタ５４１の内容とアドレス解決テーブル５２０から読み出したセル番号５２２とを比較する。論理積回路５６０は、アドレス解決テーブル５２０の有効ビット５２１が有効を示し、アクセス種別がライトであり、ライト保護フラグ５３０がライトを許容せず、且つ、アドレス解決テーブル５２０から読み出したセル番号５２２がセル番号レジスタ５４１の値と一致しない場合にはアクセス例外発生信号５６１を出力する。これにより、クラスタ構成におけるノード間の独立性を高め、エラー伝搬を防止することができる。
【００３５】
次に本発明の実施の形態の動作について図面を参照して説明する。
【００３６】
図１から図５を参照すると、プロセッサ２００からメモリアクセスがあると、当該アクセスはネットワーク５００内の対応するアドレス解決機構５０２に送られる。アドレス解決機構５０２では、モジュールアドレス５１１によってアドレス解決テーブル５２０を索引する（ステップＳ３０１）。その結果、有効フラグ５２１が”無効”を示していれば（ステップＳ３０２）、当該アクセスは存在しないアドレスにされたものであるとしてアドレス不在例外を発生する。また、他のセルに存在するメモリアドレスであることが判明すると（ステップＳ３０３）、そのアクセスはルーティング制御回路５８０を介して当該他のセルに転送される。また、自セルに存在するメモリアドレスであれば、自セル内の該当するメモリモジュールにアクセスする（ステップＳ３０３）。
【００３７】
また、他のセルからのアクセスの場合、そのアクセスがライトでなければ（ステップＳ３１１）自セルの場合と同様に該当するメモリモジュールにアクセスする（ステップＳ３０４）。これに対し、他のセルからのアクセスがライトの場合にはライト保護フラグ５３０をチェックし（ステップＳ３１２）、他のセルからのライトを許容する旨を指示していれば該当するメモリモジュールにアクセスし（ステップＳ３０３）他のセルからのライトを許容しない旨を指示していればアクセス例外を検出する。
【００３８】
次に、本発明の実施の形態によるメモリ構成例について説明する。
【００３９】
各ノード＃０から＃３に対応するアドレス解決テーブル５２０の設定を図６のようにした場合、図７のメモリ構成が実現される。図６において、実線部分は各ノードに物理的に搭載されたメモリである。ここでは全ノードが同量のメモリを備えると仮定しているが実際は同じでなくて良い。また、縦軸はそれぞれのノードから見たメモリアドレスを示し、全ノードとも０番地から始まる空間を持つと仮定している。なお、図６のテーブルでは第０番地が上に描かれているのに対して、図７では通例に従い第０番地を一番下に置いている。
【００４０】
この図６のメモリ構成例は、対象型マルチプロセッサを模擬したものである。各ノードのメモリはノード＃０からアドレスの順に積み上げられ、全体として１６モジュール分の容量をもつ１つのメモリ空間に再構成される。そして、全ノードから全てのメモリが同じようにアクセスされる。
【００４１】
各ノード＃０から＃３のアドレス解決テーブル５２０の設定を図８のようにした場合、図９のメモリ構成が実現される。このメモリ構成によれば、図１０のような、クラスタ運用が可能となる。このメモリ構成例では、各ノードのモジュールアドレスｘ０からｘ２は、それぞれのノードのローカルメモリにマップされ、互いに独立である（セル固有メモリ）。一方、モジュールアドレスｘ３からｘ６は、各セルのメモリモジュールをアドレスが異なるように組み合わされ、共通のアドレスによる相互アクセスが可能となっている（共有通信エリア）。なお、この構成例では、各ノードの論理アドレス空間の半分以上が共有空間となっているが、これは各セルのメモリを４モジュール構成と便宜上したためであり、実用的な構成では、共有エリアの固有エリアに対する比率は、本実施例よりも小さくすることができる。
【００４２】
次に、本発明のマルチプロセッサシステムの第２の実施の形態について図面を参照して説明する。
【００４３】
図１１を参照すると、（図示しない）入出力装置を制御する入出力制御装置６００が、ネットワーク５００に複数接続されている。このような構成においてパーティションもしくはクラスタを構成させるためには、各入出力制御装置６００をそれぞれ１つのパーティションもしくはノードにアサインする必要がある。すなわち、各入出力制御装置６００には、自分が属するノードのメモリアドレス空間のみが見えるようにする必要がある。
【００４４】
図１２を参照すると、例として、３つの入出力制御装置６００がネットワーク５００に接続されており、その３つの入出力制御装置６００のうち％０がノード＃０に、％１がノード＃１に、％２がノード＃２に割り当てられている。この場合において、各入出力制御装置６００のポート部では、この入出力制御装置６００が属するノード内のメモリアドレス空間情報が含まれているアドレス解決テーブルが存在し、入出力制御装置６００から要求されたメモリアクセスに対して、このアドレス解決テーブルを検索することにより、入出力制御装置６００がアクセスを要求しているメモリの属する物理セル番号が判明するようになる。さらに、このアドレス解決テーブルに、自ノード以外の物理アドレス情報を加えないようにすることにより、入出力制御装置６００からは自ノードの物理アドレスのみが見えるようになる。
【００４５】
入出力制御装置％０、％１、％２のそれぞれに対応するアドレス解決テーブル５２０の設定を図１３のようにした場合、図１４のメモリ構成が実現される。このメモリ構成によれば、各入出力制御装置６００において独立した入出力空間を確保することができる。
【００４６】
このような構成により、図１５に示すように、クラスタ構成運用中に、あるノードのセルに障害が発生した場合でも、問題のあるセルのみを切り離し、障害が起きたノードに属していた入出力制御装置を別の正常動作中のノードに振り替えることができる。
【００４７】
なお、ここまで説明したマルチプロセッサシステムでは、全てのセルは複数のプロセッサ２００、メモリ３００、セル制御回路１００を有する構成としたが、第３の実施の形態として、図１６のように一部のセルを記憶装置４１０として実現してもよい。記憶装置４１０は、内部にメモリ４１１と、このメモリ４１１へのアクセスを制御する記憶制御装置４１２を含む。この場合も、記憶装置４１０自身はアドレス解決機構を有する必要はなく、ネットワーク５００内のアドレス解決テーブルの設定によって記憶装置４１０内のメモリの割り当てを柔軟に行うことができる。
【００４８】
また、上述の説明では、アドレス解決機構の例としてアドレス解決テーブルを示したが、実際にアクセス源で最小限必要とするのは、セル間アクセスをフォワードするために必要なルーティング情報だけであり、相手セル内のメモリロケーションを特定するのに必要な情報などは相手セル内など他の場所に持つことも可能である。
【００４９】
このように、本発明の実施の形態によれば、各セルに対応するアドレス解決テーブル５２０をネットワーク５００内に設けることにより、アドレス解決テーブルを実装していないセルであってもそれをノードの構成要素としてマルチプロセッサシステムにおける種々のメモリ構成を実現することができる。
【００５０】
【発明の効果】
以上の説明で明らかなように、本発明によると、アドレス解決機構を有さないセルであってもそれを構成要素として種々のメモリ構成により柔軟にマルチプロセッサシステムを運用することができる。
【００５１】
また、クラスタを構成するノードが有するリソースに限定されず、他のノードが有するリソースも利用することができる。
【００５２】
また、アドレス解決テーブルがネットワークに集中しているため、初期化時の設定が容易になる。
【００５３】
さらに、一度ネットワーク内のアドレス解決テーブルを設定してしまえば、その後、セルの動的な交換を行っても、各テーブル設定に影響がないことから、その後のテーブルの設定を行う必要がなくなる。
【図面の簡単な説明】
【図１】本発明のマルチプロセッサシステムの実施の形態の構成を示すブロック図である。
【図２】本発明のマルチプロセッサシステムの実施の形態におけるアドレス空間とソフトウェアとの対応関係を表す図である。
【図３】本発明のマルチプロセッサシステムの実施の形態におけるネットワークとセルとの関係を示す図である。
【図４】本発明の実施の形態におけるアドレス解決機構の構成を示す図である。
【図５】本発明の実施の形態における動作を説明するための流れ図である。
【図６】本発明によるメモリ構成の第１の例を実現するためのアドレス解決テーブルの設定例である。
【図７】本発明によるメモリ構成の第１の例のメモリマップを示す図である。
【図８】本発明によるメモリ構成の第２の例を実現するためのアドレス解決テーブルの設定例である。
【図９】本発明によるメモリ構成の第２の例のメモリマップを示す図である。
【図１０】本発明によるメモリ構成の第２の例によりノードの割当てを示す図である。
【図１１】本発明のマルチプロセッサシステムの第２の実施の形態の構成を示すブロック図である。
【図１２】本発明のマルチプロセッサシステムの第２の実施の形態におけるネットワークとセル及び入出力制御装置との関係を示す図である。
【図１３】本発明によるメモリ構成の第３の例を実現するためのアドレス解決テーブルの設定例である。
【図１４】本発明によるメモリ構成の第３の例のメモリマップを示す図である。
【図１５】本発明のマルチプロセッサシステムの第２の実施の形態による効果を説明するための図である。
【図１６】本発明のマルチプロセッサシステムの第３の実施の形態の構成を示すブロック図である。
【図１７】従来のマルチプロセッサシステムの構成の一例を示すブロック図である。
【図１８】従来のマルチプロセッサシステムの構成の他の例を示すブロック図である。
【符号の説明】
１００ セル制御回路
２００ プロセッサ
３００ メモリ
４００ セル
５００ ネットワーク
５１０ アドレスレジスタ
５２０ アドレス解決レジスタ
５３０ ライト保護フラグ
５４１ セル番号レジスタ
５４２ アクセス種別レジスタ
５５０ 比較器
５６０ 論理積回路
【発明の属する技術分野】
本発明は、マルチプロセッサシステム及びそのアドレス解決方法に関し、特に分散共有メモリ型アーキテクチャを有するマルチプロセッサシステム及びそのアドレス解決方法に関する。
【０００２】
【従来の技術】
メモリを処理装置（プロセッサ）の近傍に分散配置する分散共有メモリアーキテクチャは、全てのメモリを集中配置したシステムと比較して、ローカルなメモリへのアクセスが高速であるという特徴がある。一方、分散共有メモリ構成において異なる物理位置にあるメモリを単一のメモリ空間に編成する場合、メモリアクセスがローカルなメモリかリモートのメモリかを判別し、リモートである場合には転送を行なう必要が生じる。このためには、アドレスを解決するための何らかの手段（例えば、アドレス変換テーブル）が必要となる。
【０００３】
また、典型的な分散共有メモリ構成のシステムでは、処理装置、メモリ、その他コンピュータの主要構成要素を具備する構成単位（以下、セルという。）を複数個実装し、これらセルをネットワークによって相互接続することにより、大規模システムを構成する方式が採用されることが多い。この場合、それぞれの構成単位を切り離して独立したコンピュータとして運転することが比較的容易に実現できる。このような切り離しをパーティショニングといい、この場合の切り離されたセルを特にパーティションという。このような構成を採用すれば、集中メモリ型のシステムよりも大規模システムを実現しやすいというメリットがある。
【０００４】
一方、多数個の処理装置でメモリを共有する大規模な対象型マルチプロセッサ構成のコンピュータでは、ソフトウェア上の制約や資源の競合などのために処理装置の個数に比例して性能を上げること（スケーラビリティの向上）が困難であり、また処理装置の数を増やすには物理的限界もある。そのため、複数のコンピュータを相互接続して大規模な処理能力を実現する手段が採用される場合がある。そのようなシステムをクラスタシステムという。クラスタシステムを構成する個々の独立したコンピュータを特にノードという。クラスタシステムを採用することの利点は、システム規模の限界の打破のみならず、可用性にすぐれるという利点も有する。すなわち、複数のコンピュータが独立して動作することにより、一箇所で発生した故障やクラッシュがシステム全体に波及しにくくなる。そのため、クラスタシステムは、高信頼度システムの実現にもしばしば用いられる。
【０００５】
その反面、上述のクラスタシステムは、同規模の単一コンピュータシステムと比較してセットアップや管理が複雑となるほか、筐体や相互接続ケーブルなどの付加コストがかかるという問題がある。このため複数の小型コンピュータを１つの筐体に入れ、必要な相互接続を筐体内で行なうほか、セットアップや試験なども済ませて出荷する、いわゆる筐体内クラスタシステムも市場に出始めている。しかし、このような製品も含め、既存のクラスタシステムではコンピュータの相互接続にネットワークを使用するため、通信オーバヘッドが大きく、ノード数の増加に比例した性能向上が困難な場合があった。
【０００６】
一方、大規模な単一コンピュータシステムは、処理内容によっては処理装置の数を増やしても性能向上効果が得にくい場合があり、また同規模のクラスタシステムと比較して、単一の故障やトラブルがシステム全体に波及しやすいという問題があった。
【０００７】
これらの問題に対して、特願平１０−１６６７２３号では、図１７に示すようにアドレス解決テーブルを各セル制御回路に設け、分散共有システムを対称マルチプロセッサシステムとして運用することを可能とし、また、１システムをクラスタシステムとしても運用することを可能としている。これにより、同一の分散共有メモリアーキテクチャのシステムを、選択的に単一の対称共有メモリコンピュータとしても、筐体内クラスタシステムとしても運用できるようにしている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述の従来技術では、搭載するセルはすべてアドレス解決テーブルを実装する必要があり、クラスタ構成を行う場合は、クラスタ機能用のアドレス解決テーブルを実装していないセルを搭載することができないという問題がある。
【０００９】
しかも、各セル自身が独立のコンピュータでありながらノードの構成要素となるため、図１８に示すように入出力制御装置もセル上に搭載されることになる。従って、各ノードに属する入出力制御装置の数は、そのノードを構成するセルに搭載されている入出力制御装置の数を上限とするため、１ノードでそれ以上の入出力処理性能を実現することができないという問題がある。この場合、セルの外部に入出力制御装置を設けても、入出力制御装置自身にアドレス解決テーブルを実装しない限り、クラスタ構成をとることはできない。
【００１０】
また、例えば、図１５に示すように、クラスタ構成運用中に、あるノードのセルに障害が発生した場合、セルが入出力制御装置を有する構成では、その入出力制御装置が正常であっても、セルを切り離すことによって入出力制御装置も使用出来なくなってしまう。
【００１１】
本発明の目的は、クラスタ機能用のアドレス解決テーブルを実装していないセルであってもそれをノードの構成要素として、同一の分散共有メモリアーキテクチャのシステムを、選択的に単一の対象型マルチプロセッサコンピュータとして、または、筐体内クラスタシステムとして運用できるようにすることにある。これにより、セルの機能に依存せずに、処理内容に応じて両方式の問題点を解決し、それぞれの利点を発揮できる柔軟なコンピュータシステムを提供する。
【００１２】
また、アドレス解決テーブルを有しない入出力制御装置を接続した場合でもクラスタシステムとしての運用を可能とし、さらに、接続された入出力制御装置の各ノードへの割り当ても柔軟に行うことも目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するために本発明のマルチプロセッサシステムは、少なくとも一つのプロセッサと、少なくとも一つのメモリモジュールと、前記プロセッサと前記メモリモジュールとの間を接続するセル制御回路とを含むセルを複数有し、前記セル同士をネットワークによって接続したマルチプロセッサシステムであって、前記ネットワークは前記セルの各々に対応してアドレス解決機構を有し、前記アドレス解決機構の各々は、複数のエントリから成って各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルと、アクセスの要求されたアドレスによって前記アドレス解決テーブルを検索してそのアドレスに係るメモリモジュールの存在するセルが他のセルであれば当該他のセルにアクセスする手段と、他のセルからのライトアクセスを許容するか否かを指示するライト保護フラグと、他のセルからのアクセスがライトアクセスである場合において、前記ライト保護フラグが他セルからのライトアクセスを許容しない旨を指示していればアクセス例外を検出する手段とを含む。
【００１５】
また、本発明の他のマルチプロセッサシステムにおいて、前記アドレス解決テーブルの各エントリは、対応するアドレスに係るメモリモジュールのセル内における識別番号をさらに保持し、前記セルに含まれるメモリモジュールは前記セル内識別番号により識別される。
【００１６】
また、本発明の他のマルチプロセッサシステムにおいて、前記アドレス解決テーブルの少なくとも一つのエントリは、対応するアドレスに係るメモリモジュールの存在するセルの番号として、対応するセル以外のセルの番号を保持する。
【００１７】
また、本発明の他のマルチプロセッサシステムにおいて、前記ライト保護フラグは、他のセルからのライトアクセスを許容しない旨を指示するよう設定される。
【００１８】
また、本発明の他のマルチプロセッサシステムにおいて、少なくともいずれか２つのセルに対応する前記アドレス解決テーブルにおいて少なくとも１つの相対するエントリに同一のセルの番号が設定される。
【００１９】
また、本発明の他のマルチプロセッサシステムにおいて、全てのセルにおける前記アドレス解決テーブルにおいて全ての対応するエントリに同一のセルの番号が設定される。
【００２０】
また、本発明の他のマルチプロセッサシステムでは、前記セルの一部を入出力制御装置に置き換えてもよい。
【００２１】
また、本発明の他のマルチプロセッサシステムでは、前記セルの一部を記憶装置に置き換えてもよい。
【００２２】
また、本発明のマルチプロセッサシステムのためのネットワークは、少なくとも一つのプロセッサと、少なくとも一つのメモリモジュールと、前記プロセッサと前記メモリモジュールとの間を接続するセル制御回路とを含むセルを複数有するマルチプロセッサシステムのための前記セル同士を接続するネットワークであって、複数のエントリから成り、各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルと、アクセスの要求されたアドレスによって前記アドレス解決テーブルを検索してそのアドレスに係るメモリモジュールの存在するセルが他のセルであれば当該他のセルにアクセスする手段と、他のセルからのライトアクセスを許容するか否かを指示するライト保護フラグと、他のセルからのアクセスがライトアクセスである場合において、前記ライト保護フラグが他セルからのライトアクセスを許容しない旨を指示していればアクセス例外を検出する手段とを含む。
【００２３】
また、本発明の他のネットワークにおいて、前記アドレス解決テーブルの各エントリは、対応するアドレスに係るメモリモジュールのセル内における識別番号をさらに保持し、前記セルに含まれるメモリモジュールは前記セル内識別番号により識別される。
【００２４】
また、本発明のアドレス解決方法は、少なくとも一つのプロセッサ及びメモリを含む複数のセルをネットワークにより接続して成るマルチプロセッサシステムにおいて、前記ネットワークは前記複数のセルの各々に対応して、各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルを含み、前記アドレス解決テーブルを索引するステップと、指定されたアクセスが他のセルからライトか否かを判別するステップと、前記指定されたアクセスが他セルからのライトであると判別された場合において、他セルからのライトを許容しないように設定されていればアクセス例外を検出するステップとを含む。
【００２５】
【発明の実施の形態】
次に本発明のマルチプロセッサシステムの実施の形態について図面を参照して詳細に説明する。
【００２６】
図１を参照すると、本発明のマルチプロセッサシステムの実施の形態は、複数のセル４００をネットワーク５００により相互接続することにより構成される。ここで、システムは４つのセル４００を有するものとし、それぞれのセル４００はそれぞれ４つの処理装置２００、メモリ３００、及び、セル制御回路１００を有するものと仮定する。但し、この数はシステムの要求に応じて任意に設定することができる。
【００２７】
このように、メモリが各セルごとに存在し、あるプロセッサから自セル内のメモリへの距離と、他セル内に存在するメモリへの距離が異なる構成のコンピュータシステムは物理的側面として分散共有メモリアーキテクチャと呼ばれ、また、メモリアクセスレイテンシが自セルのメモリと他セルメモリで異なることから時間的側面として不均一メモリアクセスアーキテクチャとも呼ばれる。
【００２８】
ただし上記のような分散共有メモリアーキテクチャのシステムであっても、その上で動作するソフトウェアに対しては、ソフトウェア自体の実装の容易化のために、分散されたメモリが、１箇所に集中して存在するように見せることも可能である。すなわち、分散共有メモリアーキテクチャシステムであっても、図２（ａ）に示すように、ソフトウェアには対称型マルチプロセッシングシステムとして見せることが可能である。よって、本トポロジを持つシステムも、対称型マルチプロセッシングシステムのうちの一つの形態であると言える。
【００２９】
また、このような大規模なコンピュータシステムでは、図２（ａ）のようにシステム全体を一つのコンピュータとして運用する場合の他に、図２（ｂ）のようにシステムを機能的に分割し、複数の小規模なコンピュータ（パーティション）の集まりとして運用する場合もある。さらに、このようなパーティショニングされた小規模なコンピュータを１ノードとして、各ノードの独立性を保ちつつ、ノード間に弱い接続を持たせることにより、１システムの中でクラスタを構成させる運用方法もある。この場合、上記ノード間接続の結合性を弱くすることは、１ノードで発生したエラーの、他ノードへの伝搬を防止する。
【００３０】
図３を参照すると、本発明のマルチプロセッサシステムでは、セル４００間の相互接続を行うネットワーク５００が４つのポート５０１を有し、それぞれのポート５０１に対して１つのセル４００が接続されている。ネットワーク５００は、各ポートに対応して、アドレス解決機構５０２を有する。このアドレス解決機構５０２により、各セル４００に分散して存在するメモリのアドレスを、重複のない単一のメモリ空間として構成する。プロセッサ２００からメモリ３００へのアクセス要求は一旦このネットワーク５００に送られ、各セル４００に対応するアドレス解決テーブル５２０を索引し、プロセッサ２００がアクセスを要求しているメモリ３００の属する物理セル番号が判明するようになる。アドレス解決機構５０２は互いにルーティング制御回路５８０により接続される。
【００３１】
図４を参照すると、ネットワーク５００内の各アドレス解決機構５０２は、アドレスレジスタ５１０と、アドレス解決テーブル５２０と、ライト保護フラグ５３０と、セル番号レジスタ５４１と、アクセス種別レジスタ５４２と、比較器５５０と、論理積回路５６０とを含む。
【００３２】
アドレス解決テーブル５２０は、システムの立ち上げ時に初期設定される。本アドレス解決テーブル５２０により、各セルに分散して存在するメモリ３００は、アドレスが重複しない単一のメモリ空間に構成される。処理装置が要求したメモリアドレスは、アドレス解決テーブル５２０を索引することにより、どの物理セルへのアクセスかが判明する。アドレス解決テーブル５２０は、複数のエントリを有し、ポート５０１からのアドレスの中のモジュールアドレス５１１により索引される。各エントリは、有効ビット５２１、セル番号５２２、及び、セル内モジュール番号５２３を保持する。有効ビット５２１は、当該エントリが有効か否かを指示する。例えば、”０”であれば有効ではなく、”１”であれば有効であることを意味する。セル番号５２２は、当該アドレスに相当するメモリモジュールが存在するセルの番号を表示する。セル内モジュール番号５２３は、当該アドレスに相当するメモリモジュールがセル内のいずれのメモリ３００であるかを表示する。セル内モジュール番号５２３とモジュール内アドレスオフセット５１２とを繋げたものがセル内アドレス５９１となる。
【００３３】
ライト保護フラグ５３０は、他のセルからのアクセスがライトであった場合にそのライトを許可するか否かを指示する。例えば、”０”のときは他のセルからのライトを許容するが、”１”のときは他のセルからのライトは許容せずにアクセス例外とする。
【００３４】
セル番号レジスタ５４１は、アクセスリクエストを発行した処理装置の存在するセルのセル番号を格納するためのレジスタである。アクセス種別レジスタ５４２はアクセスリクエストの種別を表す。例えば、”１”の場合にライトを意味するものとする。比較器５５０は、セル番号レジスタ５４１の内容とアドレス解決テーブル５２０から読み出したセル番号５２２とを比較する。論理積回路５６０は、アドレス解決テーブル５２０の有効ビット５２１が有効を示し、アクセス種別がライトであり、ライト保護フラグ５３０がライトを許容せず、且つ、アドレス解決テーブル５２０から読み出したセル番号５２２がセル番号レジスタ５４１の値と一致しない場合にはアクセス例外発生信号５６１を出力する。これにより、クラスタ構成におけるノード間の独立性を高め、エラー伝搬を防止することができる。
【００３５】
次に本発明の実施の形態の動作について図面を参照して説明する。
【００３６】
図１から図５を参照すると、プロセッサ２００からメモリアクセスがあると、当該アクセスはネットワーク５００内の対応するアドレス解決機構５０２に送られる。アドレス解決機構５０２では、モジュールアドレス５１１によってアドレス解決テーブル５２０を索引する（ステップＳ３０１）。その結果、有効フラグ５２１が”無効”を示していれば（ステップＳ３０２）、当該アクセスは存在しないアドレスにされたものであるとしてアドレス不在例外を発生する。また、他のセルに存在するメモリアドレスであることが判明すると（ステップＳ３０３）、そのアクセスはルーティング制御回路５８０を介して当該他のセルに転送される。また、自セルに存在するメモリアドレスであれば、自セル内の該当するメモリモジュールにアクセスする（ステップＳ３０３）。
【００３７】
また、他のセルからのアクセスの場合、そのアクセスがライトでなければ（ステップＳ３１１）自セルの場合と同様に該当するメモリモジュールにアクセスする（ステップＳ３０４）。これに対し、他のセルからのアクセスがライトの場合にはライト保護フラグ５３０をチェックし（ステップＳ３１２）、他のセルからのライトを許容する旨を指示していれば該当するメモリモジュールにアクセスし（ステップＳ３０３）他のセルからのライトを許容しない旨を指示していればアクセス例外を検出する。
【００３８】
次に、本発明の実施の形態によるメモリ構成例について説明する。
【００３９】
各ノード＃０から＃３に対応するアドレス解決テーブル５２０の設定を図６のようにした場合、図７のメモリ構成が実現される。図６において、実線部分は各ノードに物理的に搭載されたメモリである。ここでは全ノードが同量のメモリを備えると仮定しているが実際は同じでなくて良い。また、縦軸はそれぞれのノードから見たメモリアドレスを示し、全ノードとも０番地から始まる空間を持つと仮定している。なお、図６のテーブルでは第０番地が上に描かれているのに対して、図７では通例に従い第０番地を一番下に置いている。
【００４０】
この図６のメモリ構成例は、対象型マルチプロセッサを模擬したものである。各ノードのメモリはノード＃０からアドレスの順に積み上げられ、全体として１６モジュール分の容量をもつ１つのメモリ空間に再構成される。そして、全ノードから全てのメモリが同じようにアクセスされる。
【００４１】
各ノード＃０から＃３のアドレス解決テーブル５２０の設定を図８のようにした場合、図９のメモリ構成が実現される。このメモリ構成によれば、図１０のような、クラスタ運用が可能となる。このメモリ構成例では、各ノードのモジュールアドレスｘ０からｘ２は、それぞれのノードのローカルメモリにマップされ、互いに独立である（セル固有メモリ）。一方、モジュールアドレスｘ３からｘ６は、各セルのメモリモジュールをアドレスが異なるように組み合わされ、共通のアドレスによる相互アクセスが可能となっている（共有通信エリア）。なお、この構成例では、各ノードの論理アドレス空間の半分以上が共有空間となっているが、これは各セルのメモリを４モジュール構成と便宜上したためであり、実用的な構成では、共有エリアの固有エリアに対する比率は、本実施例よりも小さくすることができる。
【００４２】
次に、本発明のマルチプロセッサシステムの第２の実施の形態について図面を参照して説明する。
【００４３】
図１１を参照すると、（図示しない）入出力装置を制御する入出力制御装置６００が、ネットワーク５００に複数接続されている。このような構成においてパーティションもしくはクラスタを構成させるためには、各入出力制御装置６００をそれぞれ１つのパーティションもしくはノードにアサインする必要がある。すなわち、各入出力制御装置６００には、自分が属するノードのメモリアドレス空間のみが見えるようにする必要がある。
【００４４】
図１２を参照すると、例として、３つの入出力制御装置６００がネットワーク５００に接続されており、その３つの入出力制御装置６００のうち％０がノード＃０に、％１がノード＃１に、％２がノード＃２に割り当てられている。この場合において、各入出力制御装置６００のポート部では、この入出力制御装置６００が属するノード内のメモリアドレス空間情報が含まれているアドレス解決テーブルが存在し、入出力制御装置６００から要求されたメモリアクセスに対して、このアドレス解決テーブルを検索することにより、入出力制御装置６００がアクセスを要求しているメモリの属する物理セル番号が判明するようになる。さらに、このアドレス解決テーブルに、自ノード以外の物理アドレス情報を加えないようにすることにより、入出力制御装置６００からは自ノードの物理アドレスのみが見えるようになる。
【００４５】
入出力制御装置％０、％１、％２のそれぞれに対応するアドレス解決テーブル５２０の設定を図１３のようにした場合、図１４のメモリ構成が実現される。このメモリ構成によれば、各入出力制御装置６００において独立した入出力空間を確保することができる。
【００４６】
このような構成により、図１５に示すように、クラスタ構成運用中に、あるノードのセルに障害が発生した場合でも、問題のあるセルのみを切り離し、障害が起きたノードに属していた入出力制御装置を別の正常動作中のノードに振り替えることができる。
【００４７】
なお、ここまで説明したマルチプロセッサシステムでは、全てのセルは複数のプロセッサ２００、メモリ３００、セル制御回路１００を有する構成としたが、第３の実施の形態として、図１６のように一部のセルを記憶装置４１０として実現してもよい。記憶装置４１０は、内部にメモリ４１１と、このメモリ４１１へのアクセスを制御する記憶制御装置４１２を含む。この場合も、記憶装置４１０自身はアドレス解決機構を有する必要はなく、ネットワーク５００内のアドレス解決テーブルの設定によって記憶装置４１０内のメモリの割り当てを柔軟に行うことができる。
【００４８】
また、上述の説明では、アドレス解決機構の例としてアドレス解決テーブルを示したが、実際にアクセス源で最小限必要とするのは、セル間アクセスをフォワードするために必要なルーティング情報だけであり、相手セル内のメモリロケーションを特定するのに必要な情報などは相手セル内など他の場所に持つことも可能である。
【００４９】
このように、本発明の実施の形態によれば、各セルに対応するアドレス解決テーブル５２０をネットワーク５００内に設けることにより、アドレス解決テーブルを実装していないセルであってもそれをノードの構成要素としてマルチプロセッサシステムにおける種々のメモリ構成を実現することができる。
【００５０】
【発明の効果】
以上の説明で明らかなように、本発明によると、アドレス解決機構を有さないセルであってもそれを構成要素として種々のメモリ構成により柔軟にマルチプロセッサシステムを運用することができる。
【００５１】
また、クラスタを構成するノードが有するリソースに限定されず、他のノードが有するリソースも利用することができる。
【００５２】
また、アドレス解決テーブルがネットワークに集中しているため、初期化時の設定が容易になる。
【００５３】
さらに、一度ネットワーク内のアドレス解決テーブルを設定してしまえば、その後、セルの動的な交換を行っても、各テーブル設定に影響がないことから、その後のテーブルの設定を行う必要がなくなる。
【図面の簡単な説明】
【図１】本発明のマルチプロセッサシステムの実施の形態の構成を示すブロック図である。
【図２】本発明のマルチプロセッサシステムの実施の形態におけるアドレス空間とソフトウェアとの対応関係を表す図である。
【図３】本発明のマルチプロセッサシステムの実施の形態におけるネットワークとセルとの関係を示す図である。
【図４】本発明の実施の形態におけるアドレス解決機構の構成を示す図である。
【図５】本発明の実施の形態における動作を説明するための流れ図である。
【図６】本発明によるメモリ構成の第１の例を実現するためのアドレス解決テーブルの設定例である。
【図７】本発明によるメモリ構成の第１の例のメモリマップを示す図である。
【図８】本発明によるメモリ構成の第２の例を実現するためのアドレス解決テーブルの設定例である。
【図９】本発明によるメモリ構成の第２の例のメモリマップを示す図である。
【図１０】本発明によるメモリ構成の第２の例によりノードの割当てを示す図である。
【図１１】本発明のマルチプロセッサシステムの第２の実施の形態の構成を示すブロック図である。
【図１２】本発明のマルチプロセッサシステムの第２の実施の形態におけるネットワークとセル及び入出力制御装置との関係を示す図である。
【図１３】本発明によるメモリ構成の第３の例を実現するためのアドレス解決テーブルの設定例である。
【図１４】本発明によるメモリ構成の第３の例のメモリマップを示す図である。
【図１５】本発明のマルチプロセッサシステムの第２の実施の形態による効果を説明するための図である。
【図１６】本発明のマルチプロセッサシステムの第３の実施の形態の構成を示すブロック図である。
【図１７】従来のマルチプロセッサシステムの構成の一例を示すブロック図である。
【図１８】従来のマルチプロセッサシステムの構成の他の例を示すブロック図である。
【符号の説明】
１００ セル制御回路
２００ プロセッサ
３００ メモリ
４００ セル
５００ ネットワーク
５１０ アドレスレジスタ
５２０ アドレス解決レジスタ
５３０ ライト保護フラグ
５４１ セル番号レジスタ
５４２ アクセス種別レジスタ
５５０ 比較器
５６０ 論理積回路
Claims (11)
- 少なくとも一つのプロセッサと、少なくとも一つのメモリモジュールと、前記プロセッサと前記メモリモジュールとの間を接続するセル制御回路とを含むセルを複数有し、前記セル同士をネットワークによって接続したマルチプロセッサシステムにおいて、
前記ネットワークは前記セルの各々に対応してアドレス解決機構を有し、
前記アドレス解決機構の各々は、
複数のエントリから成り、各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルと、
アクセスの要求されたアドレスによって前記アドレス解決テーブルを検索してそのアドレスに係るメモリモジュールの存在するセルが他のセルであれば当該他のセルにアクセスする手段と、
他のセルからのライトアクセスを許容するか否かを指示するライト保護フラグと、
他のセルからのアクセスがライトアクセスである場合において、前記ライト保護フラグが他セルからのライトアクセスを許容しない旨を指示していればアクセス例外を検出する手段とを含むことを特徴とするマルチプロセッサシステム。 - 前記アドレス解決テーブルの各エントリは、対応するアドレスに係るメモリモジュールのセル内における識別番号をさらに保持し、
前記セルに含まれるメモリモジュールは前記セル内識別番号により識別されることを特徴とする請求項１記載のマルチプロセッサシステム。 - 前記アドレス解決テーブルの少なくとも一つのエントリは、対応するアドレスに係るメモリモジュールの存在するセルの番号として、対応するセル以外のセルの番号を保持することを特徴とする請求項１記載のマルチプロセッサシステム。
- 前記ライト保護フラグは、他のセルからのライトアクセスを許容しない旨を指示するよう設定されたことを特徴とする請求項３記載のマルチプロセッサシステム。
- 少なくともいずれか２つのセルに対応する前記アドレス解決テーブルにおいて少なくとも１つの相対するエントリに同一のセルの番号を設定したことを特徴とする請求項１記載のマルチプロセッサシステム。
- 全てのセルにおける前記アドレス解決テーブルにおいて全ての対応するエントリに同一のセルの番号を設定したことを特徴とする請求項１記載のマルチプロセッサシステム。
- 前記セルの一部を入出力制御装置に置き換えたことを特徴とする請求項１記載のマルチプロセッサシステム。
- 前記セルの一部を記憶装置に置き換えたことを特徴とする請求項１記載のマルチプロセッサシステム。
- 少なくとも一つのプロセッサと、少なくとも一つのメモリモジュールと、前記プロセッサと前記メモリモジュールとの間を接続するセル制御回路とを含むセルを複数有するマルチプロセッサシステムのための前記セル同士を接続するネットワークであって、
複数のエントリから成り、各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルと、
アクセスの要求されたアドレスによって前記アドレス解決テーブルを検索してそのアドレスに係るメモリモジュールの存在するセルが他のセルであれば当該他のセルにアクセスする手段と、
他のセルからのライトアクセスを許容するか否かを指示するライト保護フラグと、
他のセルからのアクセスがライトアクセスである場合において、前記ライト保護フラグが他セルからのライトアクセスを許容しない旨を指示していればアクセス例外を検出する手段とを含むことを特徴とするマルチプロセッサシステムのためのネットワーク。 - 前記アドレス解決テーブルの各エントリは、対応するアドレスに係るメモリモジュールのセル内における識別番号をさらに保持し、
前記セルに含まれるメモリモジュールは前記セル内識別番号により識別されることを特徴とする請求項９記載のネットワーク。 - 少なくとも一つのプロセッサ及びメモリを含む複数のセルをネットワークにより接続して成るマルチプロセッサシステムにおいて、前記ネットワークは前記複数のセルの各々に対応して、各エントリにおいて対応するアドレスに係るメモリモジュールの存在するセルの番号を保持するアドレス解決テーブルを含み、
前記アドレス解決テーブルを索引するステップと、
指定されたアクセスが他のセルからライトか否かを判別するステップと、
前記指定されたアクセスが他セルからのライトであると判別された場合において、他セルからのライトを許容しないように設定されていればアクセス例外を検出するステップとを含むことを特徴とするマルチプロセッサシステムにおけるアドレス解決方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33348999A JP3661531B2 (ja) | 1999-11-24 | 1999-11-24 | マルチプロセッサシステム及びそのアドレス解決方法 |
| US09/667,250 US6754803B1 (en) | 1999-11-24 | 2000-09-22 | Multiprocessor system and address solution method of the same |
| EP00125228A EP1103896A2 (en) | 1999-11-24 | 2000-11-22 | Multiprocessor system and address solution method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33348999A JP3661531B2 (ja) | 1999-11-24 | 1999-11-24 | マルチプロセッサシステム及びそのアドレス解決方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001155004A JP2001155004A (ja) | 2001-06-08 |
| JP3661531B2 true JP3661531B2 (ja) | 2005-06-15 |
Family
ID=18266641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33348999A Expired - Fee Related JP3661531B2 (ja) | 1999-11-24 | 1999-11-24 | マルチプロセッサシステム及びそのアドレス解決方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6754803B1 (ja) |
| EP (1) | EP1103896A2 (ja) |
| JP (1) | JP3661531B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7865570B2 (en) * | 2005-08-30 | 2011-01-04 | Illinois Institute Of Technology | Memory server |
| US7814166B2 (en) * | 2006-01-27 | 2010-10-12 | Sony Computer Entertainment Inc. | Methods and apparatus for virtualizing an address space |
| US7743375B2 (en) * | 2008-06-27 | 2010-06-22 | International Business Machines Corporation | Information handling system including dynamically merged physical partitions |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5055999A (en) * | 1987-12-22 | 1991-10-08 | Kendall Square Research Corporation | Multiprocessor digital data processing system |
| AU680931B2 (en) * | 1993-07-28 | 1997-08-14 | 3Com Corporation | Network station with multiple network addresses |
| US5537403A (en) * | 1994-12-30 | 1996-07-16 | At&T Corp. | Terabit per second packet switch having distributed out-of-band control of circuit and packet switching communications |
| US6085233A (en) * | 1995-12-29 | 2000-07-04 | Pankosmion, Inc. | System and method for cellular network computing and communications |
| JP3720981B2 (ja) * | 1998-06-15 | 2005-11-30 | 日本電気株式会社 | マルチプロセッサシステム |
| US6604136B1 (en) * | 1998-06-27 | 2003-08-05 | Intel Corporation | Application programming interfaces and methods enabling a host to interface with a network processor |
-
1999
- 1999-11-24 JP JP33348999A patent/JP3661531B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-22 US US09/667,250 patent/US6754803B1/en not_active Expired - Fee Related
- 2000-11-22 EP EP00125228A patent/EP1103896A2/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1103896A2 (en) | 2001-05-30 |
| JP2001155004A (ja) | 2001-06-08 |
| US6754803B1 (en) | 2004-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5940870A (en) | Address translation for shared-memory multiprocessor clustering | |
| US5117350A (en) | Memory address mechanism in a distributed memory architecture | |
| US5129077A (en) | System for partitioning a massively parallel computer | |
| US6510496B1 (en) | Shared memory multiprocessor system and method with address translation between partitions and resetting of nodes included in other partitions | |
| US7577816B2 (en) | Remote translation mechanism for a multinode system | |
| US5560027A (en) | Scalable parallel processing systems wherein each hypernode has plural processing modules interconnected by crossbar and each processing module has SCI circuitry for forming multi-dimensional network with other hypernodes | |
| JP3720981B2 (ja) | マルチプロセッサシステム | |
| US20050198445A1 (en) | Storage system, disk control cluster, and its increase method | |
| KR20060015324A (ko) | 트리 기반 메모리 구조 | |
| JPH05242060A (ja) | マルチプロセッサ及びデータ同一化方法 | |
| JPH11232173A (ja) | ローカルメモリに組み込んでいるリモートキャッシュとｃｃ−ＮＵＭＡ（キャッシュ整合型の不均一メモリアクセス）アーキテクチュアを有するデータ処理システム | |
| US11561911B2 (en) | Channel controller for shared memory access | |
| US5845071A (en) | Error containment cluster of nodes | |
| US5898827A (en) | Routing methods for a multinode SCI computer system | |
| US6667960B1 (en) | Protocol for identifying components in a point-to-point computer system | |
| EP2239665B1 (en) | Distributed flash memory storage manager systems | |
| JP3661531B2 (ja) | マルチプロセッサシステム及びそのアドレス解決方法 | |
| US7386688B2 (en) | Communication among partitioned devices | |
| US5551007A (en) | Method for controlling multiple common memories and multiple common memory system | |
| JP2000222375A (ja) | マルチプロセッサシステム | |
| JP2001134546A (ja) | マルチプロセッサシステムの障害処理方法 | |
| JPH0212361A (ja) | 階層化バスによる並列計算機システム | |
| JPH08272754A (ja) | マルチプロセッサシステム | |
| JPS60147861A (ja) | デ−タ処理システム | |
| CN115796248A (zh) | 一种基于分布式片上存储的多核张量处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080401 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |