JP3807250B2 - クラスタシステム、コンピュータ及びプログラム - Google Patents
クラスタシステム、コンピュータ及びプログラム Download PDFInfo
- Publication number
- JP3807250B2 JP3807250B2 JP2001148687A JP2001148687A JP3807250B2 JP 3807250 B2 JP3807250 B2 JP 3807250B2 JP 2001148687 A JP2001148687 A JP 2001148687A JP 2001148687 A JP2001148687 A JP 2001148687A JP 3807250 B2 JP3807250 B2 JP 3807250B2
- Authority
- JP
- Japan
- Prior art keywords
- interrupt
- node
- issuing
- issue
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/24—Handling requests for interconnection or transfer for access to input/output bus using interrupt
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bus Control (AREA)
- Multi Processors (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークに接続された複数のコンピュータが協調して動作するクラスタシステム、クラスタシステムに使用するコンピュータ、コンピュータに実行させるためのプログラムに関する。
【０００２】
【従来の技術】
従来から、複数のコンピュータ（一般には、マルチプロセッサ型のコンピュータ）をネットワークで接続し、これらのコンピュータが協調して動作することにより処理能力の向上等を図ったクラスタシステムが開発されている（例えば、クラスタシステムについては、特開平７−１６０６５７号公報、特開平１１−６６０２２号公報、特開平２０００−２１５１８２号公報参照。また、マルチプロセッサ型コンピュータにおけるデータ伝送に関しては特開平１−１５４２７２号公報、特開平５−７３５１８号公報参照）。
【０００３】
図１４は、従来の一般的なクラスタシステムを示すブロック図である。図１４において、複数のコンピュータ（クラスタシステムにおいて、各コンピュータはノードと称される。）１、２がネットワーク３を介して接続されている。
ノード１、２は、各々、複数の中央処理装置（ＣＰＵ）４〜６、１３〜１５、ノードコントローラ８、１７、メインメモリ９、１８、入出力装置である入出力（Ｉ／Ｏ）コントローラ１１、２０、ネットワークアダプタ１２、２１を備えている。
【０００４】
ＣＰＵ４〜６及びノードコントローラ８はＣＰＵバス７に接続され、ＣＰＵ１３〜１５及びノードコントローラ１７はＣＰＵバス１６に接続されている。また、ノードコントローラ８、Ｉ／Ｏコントローラ１１及びネットワークアダプタ１２は、Ｉ／Ｏアダプタバス１０に接続されており、ノードコントローラ１７、Ｉ／Ｏコントローラ２０及びネットワークアダプタ２１は、Ｉ／Ｏアダプタバス１９に接続されている。
ネットワークアダプタ１２、２１は、各々、ノード間接続バス２２、２３を介してネットワーク３に接続されている。
【０００５】
ノードコントローラ８、１７は、各々、ＣＰＵバス７、１６およびメインメモリ９、１８のインタコネクト、Ｉ／Ｏアダプタバス１０、１９の制御を行っている。Ｉ／Ｏアダプタバス１０、１９には、各々、Ｉ／Ｏコントローラ１１、２０やネットワークアダプタ１２、２１以外にも磁気ディスク等の二次記憶装置（図示せず）が接続されている。前記二次記憶装置はＰＣＩ（Peripheral Component Interconnect）ボード及びＳＣＳＩ（Small Computer System Interface）を介してＩ／Ｏアダプタバス１０に接続されている。
複数のコンピュータ１、２は、ネットワークアダプタ１２、２１によって接続されている。
【０００６】
以上のように構成されたクラスタシステムにおいては、ネットワーク装置であるネットワークアダプタ１２、２１間ではパケットという単位でのデータの送受信が行われている。パケットは、ネットワーク接続装置の実装方法や構成するネットワーク自体の種類により、最長パケット長が決定されている。ネットワーク接続装置が、一般的に使用されているイーサネットワーク制御装置である場合は、最大パケット長は1500Byteとされている。このように、転送データを最大転送パケットに分割してデータ送信することをフラグメントと呼んでいる。
【０００７】
例えば、ＴＣＰ（Transmission Control Protocol）によってノード間でのデータ送信が行われる場合、そのデータ長が、ネットワーク接続装置が一度に送信できるサイズよりも大きい場合は、ネットワーク接続装置が送信できる最大パケット長にデータを区切り、パケットに分割して送信する。ＴＣＰではソフトウェア的に割り込みを行う手段が無く、各パケット終了毎にハードウェアで割り込みを発生するようにしているため、受信側ノードのネットワーク接続装置は、各パケットを受信する毎に、自ノード内のＣＰＵに対する割り込みを発生し、そのパケットが転送データの最終パケットであるか否かをを判断する割り込み処理を実行している。この際、ノード間のデータ転送量が大きい場合は、分割されるパケットも多数となり、パケット受信毎に発行される割り込みのうちの多くは無駄な割り込み処理となっているという問題があった。
【０００８】
また、二次記憶装置やＩ／Ｏコントローラ１１、２０が接続されているＩ／Ｏアダプタバス１０、１９を経由した、ネットワーク接続装置間のデータ送受信となるため、データの送信自身もオーバヘッドが大きいという問題があった。
そこで、図１５の従来例に示すように、Ｉ／Ｏアダプタバス１０、１９を介さずに、ノードコントローラ３３、３４を介して複数のノード３１、３２間を接続するクラスタシステムが開発されている。尚、図１５では、図１４と同一部分には同一符号を付している。
【０００９】
図１５に示すクラスタシステムにおいては、上記割り込みのオーバヘッドをなくすために、送信側ノードは、送信するデータとともにフラグと呼ばれる特別なデータも送信し、データ送信の完了を伝える方式（フラグ方式）を採用する場合が多い。このフラグ方式では、受信側ノードは、データを受信している間は繰り返しフラグのリード（ポーリング）を行い、ＴＲＵＥ（＝データ送信完了）を示すフラグを受信すると、データ受信完了と判断し、受信したデータを用いた処理を開始する。この方式は、上記割り込みのオーバヘッドの問題を解決することが出来、またデータ受信完了を即座に知ることが出来ることから、受信側でのデータ待ち状態にあるアプリケーションの応答を高速化することが可能になる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記フラグ方式を用いた場合には、受信側ノードでは、常にデータ待ち状態にあるアプリケーションが、フラグのポーリングを続けている必要があるために、受信側ノードのＣＰＵをある特定のアプリケーションがポーリングのために使用し、ＣＰＵ使用時間の無駄が発生するという問題がある。
【００１１】
また、上記２つの問題点に加え、クラスタシステムでは多数のノードがそれぞれデータの通信を行っていることから、あるノードの不具合により、別のノードに対して悪影響を及ぼす危険が存在している。高い可用性のあるクラスタシステムを構築するためには、最初に挙げた割り込み方式の場合においても、不具合が発生したノードからの割り込みをガードする機構（セキュリティ機構）が必要とされている。
そこで、冒頭のフラグメントによる割り込み処理のオーバヘッドの問題および、フラグ方式でのポーリングの問題、セキュリティ機構の確保を可能とする仕組みが必要とされていた。
【００１２】
本発明は、ノード間の割り込み伝達を低レイテンシに行うことを課題としている。また、本発明は、割り込みによるオーバヘッドを低減することを課題としている。さらに、本発明は、セキュリティの向上を図ることを課題としている。
【００１３】
【課題を解決するための手段】
本発明によれば、ネットワークに接続された複数のノードが協調して動作するクラスタシステムにおいて、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する割り込み発行元ノードと、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段を有する割り込み発行先ノードとを備えて成ることを特徴とするクラスタシステムが提供される。
【００１４】
割り込み発行元ノードは、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する。割り込み発行先ノードの制御手段は、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる。
【００１５】
ここで、前記所定構成要素を記憶手段で構成してもよい。
また、前記割り込み発行先ノードは、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を有し、前記制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信するように構成してもよい。
また、前記アクセス許容ノード情報記憶手段は、自己がアクセスを許容するノードを判別するための情報を設定した割り込みマスクレジスタによって構成されているようにしてもよい。
【００１６】
また、前記記憶手段は、前記メモリ空間における割り込み発行領域に関連付けた割り込み発生レジスタと、割り込み先ＣＰＵを表す情報が設定された割り込み先ＣＰＵ指定レジスタとを有し、前記割り込み発行元ノードは、前記割り込み発行領域に前記所定情報を発行することによって前記割り込み発生レジスタ宛に前記所定情報を送信し、前記割り込み発行先ノードの制御手段は、前記割り込み発生レジスタ宛に発行された前記所定情報を受信して、前記割り込み先ＣＰＵ指定レジスタに設定されたＣＰＵに対して前記割り込み命令を送信するように構成してもよい。
【００１７】
また、前記記憶手段は、更に、自己がアクセスを許容するノードを判別するための情報を設定した割り込みマスクレジスタを有し、前記割り込み発行先ノードの制御手段は、前記所定情報を受信した際、前記割り込みマスクレジスタの設定情報を参照して、前記割り込み発行元ノードがアクセスを許容するノードの場合に前記割り込み命令を送信するように構成してもよい。
また、前記記憶手段は、更に、割り込み発行元ノードの情報を格納するための割り込み要因レジスタを有し、前記割り込み発行先ノードの制御手段は、前記所定情報を受信した際、前記割り込み発行元ノードの情報を前記割り込み要因レジスタに格納し、前記ＣＰＵは、前記割り込み要因レジスタに格納された割り込み発行元ノードの情報を参照して割り込み処理を行うように構成してもよい。
【００１８】
また、前記割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記所定構成要素が関連付けられ、前記割り込み発行元ノードは、前記割り込み発行先ノードの前記所定構成要素に関連付けられた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの前記所定構成要素宛に前記所定情報を送信するように構成してもよい。
また、前記割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成され、前記割り込み発行元ノードは、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって前記指定した割り込み発行先ノードに前記所定情報を送信するように構成してもよい。
【００１９】
また、本発明によれば、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信することを特徴とするコンピュータが提供される。割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する。
【００２０】
ここで、前記所定構成要素を記憶手段で構成してもよい。
また、前記割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記所定構成要素が関連付けられ、前記割り込み発行先ノードの前記所定構成要素に関連付けられた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの前記所定構成要素宛に前記所定情報を送信するように構成してもよい。
【００２１】
また、前記割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成され、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって、前記指定した割り込み発行先ノードに前記所定情報を送信するように構成してもよい。
【００２２】
また、本発明によれば、自己用の所定構成要素宛の所定情報を受信して、自己のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段と、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を有し、前記制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信することを特徴とするコンピュータが提供される。制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信する。
【００２３】
ここで、前記所定構成要素を記憶手段によって構成するようにしてもよい。
また、前記アクセス許容ノード情報記憶手段は、自己がアクセスを許容するノードを判別するための情報を設定した割り込みマスクレジスタによって構成されているようにしてもよい。
また、前記記憶手段は、前記メモリ空間における割り込み発行領域に関連付けた割り込み発生レジスタと、割り込み先ＣＰＵを表す情報が設定された割り込み先ＣＰＵ指定レジスタとを有し、前記制御手段は、前記割り込み発生レジスタ宛に発行された前記所定情報を受信して、前記割り込み先ＣＰＵ指定レジスタに設定されたＣＰＵに対して前記割り込み命令を送信するように構成してもよい。
【００２４】
また、前記記憶手段は、更に、割り込み発行元ノードの情報を格納するための割り込み要因レジスタを有し、前記制御手段は、前記所定情報を受信した際、前記割り込み発行元ノードの情報を前記割り込み要因レジスタに格納し、前記ＣＰＵは、前記割り込み要因レジスタに格納された割り込み発行元ノードの情報を参照して割り込み処理を行うように構成してもよい。
【００２５】
また、本発明によれば、コンピュータを、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能させることを特徴とするプログラムが提供される。コンピュータは、プログラムを実行することにより、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能する。
【００２６】
ここで、コンピュータを、前記割り込み発行領域を他ノードから直接アクセス可能なグローバルメモリ空間に設けると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記所定構成要素を関連付け、前記割り込み発行先ノードの前記所定構成要素に関連付けた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの前記所定構成要素宛に前記所定情報を送信するよう機能させるようにプログラムを構成してもよい。
また、コンピュータを、前記割り込み発行領域を自ノードのみが直接アクセス可能なローカルメモリ空間に設けると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と前記所定情報を発行するための割り込み発生領域とによって構成し、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって指定した前記割り込み発行先ノードに前記所定情報を送信するよう機能させるようにプログラムを構成してもよい。
【００２７】
また、本発明によれば、コンピュータを、所定情報を受信した際、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させる制御手段として機能させることを特徴とするプログラムが提供される。コンピュータは、プログラムを実行することにより、所定情報を受信した際、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させる制御手段として機能する。
【００２８】
ここで、前記制御手段を、前記所定情報が自己の所定構成要素宛に送信されたものである場合に、前記許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させるように機能させるようにプログラムを構成してもよい。
【００２９】
【発明の実施の形態】
以下、図面を用いて、本発明の実施の形態に係るクラスタシステム、クラスタシステムに使用するコンピュータ及びコンピュータに実行させるためのプログラムについて説明する。
図１は、本発明の実施の形態に係るクラスタシステムの概要を示すブロック図である。図１において、マルチプロセッサ型の複数のコンピュータ（ノード）１０１〜１０４がノード間接続バス１１３を介してネットワーク１０５に接続されている。このように、複数のノード１０１〜１０４はネットワーク１０５によって接続され、クラスタシステムとして協調して動作する構成となっている。
【００３０】
ノード１０１〜１０４は各々同一構成のコンピュータで、図１では、ノード１０１、１０２の内部構成を概略示している。ノード１０１、１０２について説明すると、ノード１０１、１０２は、各々、複数の中央処理装置（ＣＰＵ）モジュール１０６及び１０７、１０９及び１１０、ノードコントローラ１０８、１１１を備えている。ノードコントローラ１０８、１１１は内部に制御手段としての割り込み制御回路を有しており、図１ではノードコントローラ１１１の割り込み制御回路１１２のみ図示している。
【００３１】
詳細は後述するが、図１に示すクラスタシステムにおいてノード間で割り込みを発生する場合の動作を概略説明すると、ノード１０１からノード１０２に対して割り込みを発行する場合には、割り込み発行元ノード１０１のＣＰＵモジュール１０６から所定情報（例えばストア命令）Ａを発行し、割り込み発行先ノード１０２の割り込み制御回路１１２は前記ストア命令を受信し、割り込み命令Ｂに変換してＣＰＵモジュール１０９に送信して割り込み処理を行なう。
【００３２】
図２は、図１に示したクラスタシステムの詳細ブロック図で、２台のノード２０１、２０２をネットワーク２０３で接続した構成を示している。
ノード２０１、２０２は同一構成のコンピュータで、各々、複数の中央処理装置（ＣＰＵ）２０４〜２０６、２１２〜２１４、ノードコントローラ２０８、２１６、メインメモリ２０９、２１７、入出力装置である入出力（Ｉ／Ｏ）コントローラ２１１、２１９を備えている。
【００３３】
ＣＰＵ２０４〜２０６及びノードコントローラ２０８はＣＰＵバス２０７に接続され、ＣＰＵ２１２〜２１４及びノードコントローラ２０８はＣＰＵバス２１５に接続されている。また、ノードコントローラ２０８及びＩ／Ｏコントローラ２１１はＩ／Ｏアダプタバス２１０に接続され、ノードコントローラ２１６及びＩ／Ｏコントローラ２１９はＩ／Ｏアダプタバス２１８に接続されている。ノードコントローラ２０８、２１６は、各々、ノード間接続バス２２１、２２２介してネットワーク２０３に接続されている。
【００３４】
ノードコントローラ２０８、２１６は、各ノード２０１、２０２におけるＣＰＵ２０４〜２０６、２１２〜２１４、メインメモリ２０９、２１７、入出力装置間のデータのやりとりや各ノード２０１、２０２内のコヒーレンシ処理等の制御を行っている。
ノードコントローラ２０８、２１６内部には、相手先ノードへの割り込みを転送する機能を有すると共に他ノードから受信したストア命令を割り込み命令に変換して自ノードのＣＰＵに送信する機能を有する割り込み制御回路が設けられている。図２には、ノードコントローラ２１６の割り込み制御回路２２０のみを示している。
【００３５】
また、図３に示すように、ノードコントローラ２１６内の割り込み制御回路２２０内部には、ノード間割り込みを制御するための複数のレジスタが設けられている。図３において、割り込み制御回路２２０内部には、ノード間の割り込み用のレジスタとして、割り込み発生レジスタ３０１、割り込み要因レジスタ３０２、割り込みマスクレジスタ３０３、割り込みクリアレジスタ３０４、割り込み先ＣＰＵ指定レジスタ３０５が設けられており、又、割り込み制御回路２２０は前記各レジスタ３０１〜３０５を制御する。
【００３６】
図４に示すように、各割り込み制御用レジスタ３０１〜３０５は、自ノードのメモリアドレス空間４０１にマッピングされており、各ノードのＣＰＵは、自ノード内のメモリ空間４０１における割り込み制御レジスタ３０１〜３０５空間部分にアクセスすることにより、各レジスタ３０１〜３０５へのアクセスを行うことが可能に構成されている。尚、ノード２０１、２０２において、各々、メインメモリ２０９、２１７やＩ／Ｏも、自ノードのメモリ空間４０１にマッピングされている。
【００３７】
割り込み制御用レジスタ３０１〜３０５のうち、割り込み発生レジスタ３０１を除く各レジスタ３０２〜３０５は、自ノード内で割り込みを行うためのメモリアドレス空間（ローカルメモリアドレス空間）４０４にマッピングされており、各ノードのＣＰＵは、自ノード内のメモリ空間４０４内の割り込み制御レジスタ空間４０６部分に対するアクセスを行うことにより、これらレジスタ３０２〜３０５へのアクセスが行えるように構成されている。
【００３８】
一方、上記ローカルメモリ空間４０４とは別に、全ノードに対して共通のグローバルメモリアドレス空間４０２が設けられており、各ノードに存在する割り込み制御レジスタ３０１〜３０５のうち、割り込み発生レジスタ３０１０〜３０１ｎに関しては、全ノード共通のグローバルメモリ空間４０２内の割り込み発生レジスタ空間４０３にマッピングされている。
即ち、割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノード用の所定構成要素（割り込み発生レジスタ３０１１〜３０１ｎ）が関連付けられている。
【００３９】
あるノードのＣＰＵは、自グローバル空間４０２の中の別ノードの割り込み発生レジスタ３０１１〜３０１ｎにマッピングされた割り込み発生レジスタ空間４０３に対してアクセスを行うことにより、直接、当該他のノード内に存在する割り込み発生レジスタにアクセスすることができるように構成されている。
ただし、ローカルメモリ空間４０４およびグローバルメモリ空間４０２にマッピングされた各ノード間割り込み制御レジスタ３０１〜３０５は、アクセス権（リードライト可、リード可、ライト可）が設定されており、本来、他ノードからの直接アクセスが行われてはならないレジスタ３０１〜３０５に対するアクセスが行われた場合は、受信側ノード内の割り込み制御回路２２０により検出することが可能となっている。
【００４０】
あるノードで、グローバルメモリ空間４０３を通して、あるノードの割り込み発生レジスタ３０１宛に、ノード間で予め定め割り込みを指示する所定情報が発行された場合、当該割り込み発生レジスタ３０１を実際に持つノード内では、割り込み制御回路２２０が前記所定情報を受信して割り込みメッセージを生成し、割り込み制御回路２２０内の割り込み先ＣＰＵ指定レジスタ３０５で指定されている自ノード内部の特定のＣＰＵへ送信する。
【００４１】
ここで、割り込み先ＣＰＵ指定レジスタ３０５には、割り込み先ＣＰＵを表す情報が予め設定されている。
また、割り込みマスクレジスタ３０３は、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を構成しており、該レジスタ３０３を持つノードに対してノード間割り込みを発生させることのできないノードの番号を保持している。もし、本来このノードへの割り込みを発生させることのできないノードから割り込み発生レジスタ３０１宛に割り込み指示情報を受信した場合でも、リモート割り込み制御回路２２０が割り込みマスクレジスタ３０３においてマスク指定されているノードからの割り込み要求であると判断した場合は、割り込み処理は行わない。
【００４２】
割り込み要因レジスタ３０２は、割り込み発生レジスタ３０１宛の割り込み指示情報を受信したときに、どのノードから発行された割り込み指示情報なのかを記録しておき、割り込み処理においてソフトウェアへ割り込み情報を提供している。割り込みクリアレジスタ３０４は、割り込み要因レジスタ３０２のクリアを行うためのレジスタであり、割り込み要因クリアレジスタ３０４にフラグを立てることにより、割り込み要因レジスタ３０２のクリアを実施する。
【００４３】
割り込み要因レジスタ３０２、割り込みマスクレジスタ３０３、割り込みクリアレジスタ３０４、割り込み先ＣＰＵ指定レジスタ３０５は、ローカルメモリ空間４０４にのみマッピングされており、自ノード内での直接アクセスは可能であるが、他ノードからの直接のアクセスはできないように構成されている。
尚、割り込み発生レジスタ３０１、割り込み要因レジスタ３０２、割り込みマスクレジスタ３０３、割り込みクリアレジスタ３０４、割り込み先ＣＰＵ指定レジスタ３０５は記憶手段を構成している。
【００４４】
図５〜図７は、ノード間割り込み発行時の動作を説明するためのブロック図である。
一般に、ノード間でデータ送信が完了した後には、データ送信が完了したことを通知するためにノード間割り込みが行われるため、図５〜図７の例では、ノード間割り込みが行われる場合の例として、ノード間のデータ転送の完了後に、データ転送完了をデータ受信ノードに通知して割り込みを行う場合の例を示している。尚、図５〜図７において、図２と同一部分には同一符号を付している。
【００４５】
また、図８は割り込み発行先ノードにおける割り込み処理を示すフローチャートである。
また、図９はノード間割り込みを発行するために、割り込み発行元ノードから発行先ノードへ送信される割り込み指示信号の構成を示す図である。図９において、前記割り込み指示信号は、パケットによって構成され、割り込み発行先ノード、割り込み発行元ノード、割り込み指示を表す所定の情報（本実施の形態ではストア命令）及び割り込み発行先ノードの割り込み発生レジスタを特定するアドレスを含むヘッダ部、並びにデータ部とを備えている。データ部にはデータは不要であるが、パケットの形式によってはダミーデータを含ませるようにしてもよい。
【００４６】
以下、図５〜図９を用いて又、必要に応じて図３及び図４を参照しながら、ノード間割り込みを発生させるための動作を中心に説明する。
先ず、図５において、ノード２０１がノード２０２に対するデータ転送を完了した後に、ノード２０１からノード２０２に対してノード間割り込みを送信するものとして説明する。即ち、ノード２０１が割り込み発行元ノード、ノード２０２が割り込み発行先ノード（ターゲットノード）として機能する例である。
【００４７】
この場合、ノード２０１では、ノード２０２に対するデータＣの送信完了後に、ノード２０２用の所定構成要素を関連付けた自己の割り込み発行領域に対して所定情報（例えば、ストア命令）を発行する。例えば、ＣＰＵ２０４は、自らがアクセス可能なグローバルメモリ空間４０２におけるノード２０２用の所定構成要素（ある割り込み発生レジスタ３０１）がマッピングされている割り込み発行領域（例えば、リモート割り込み制御レジスタ空間４０３のノード♯ｎ割り込み発生レジスタ空間３０１ｎ）に対するストア命令Ａを発行する。
前記ストア命令Ａはノードコントローラ２０８の割り込み制御回路（図示せず）によって、図９のパケット形式で、ノード間接続バス２２１を介してネットワーク２０３へ送出される。ネットワーク２０３へ送出された前記ストア命令Ａは、ノード間接続バス２２２を介してノード２０２の割り込み制御回路２２０で受信される（図６参照）。
【００４８】
このとき、ハードウェア制御により、ネットワークを伝送する信号は一つの経路を通るように保証されており、これにより、後から送信した信号が、先に送信した信号を追い越すことがないようにしている。即ち、ネットワーク２０３上で割り込み発生レジスタ３０１へのストア命令Ａよりも先行するノード２０１からノード２０２へのデータＣを、当該ストア命令Ａが追い越すことは許されず、ノード２０１のノードコントローラ２０８からネットワーク２０３を経て、ノード２０２へのノードコントローラ２１６内の割り込み発生レジスタ３０１までの経路上でのデータＣと、割り込み発生レジスタ３０１へのストア命令Ａのオーダリングは経路上のハードウェアがすべて保証するように構成されている。
【００４９】
割り込み制御回路２２０はノード２０１からのデータＣを受信して、メインメモリ２１７に格納する（図７参照）。
割り込み制御回路２２０は、ノード２０１からのデータＣをメインメモリ２１７に格納した後、ノード２０１から受信した自ノードの割り込み発生レジスタ３０１に対するストア命令Ａを受信すると（図８のステップＳ１）、割り込みマスクレジスタ３０３を参照し、ノード２０１が、ノード２０２のノード間割り込み生成権をもっているかをチェックする（ステップＳ２）。
もし、割り込みマスクレジスタ３０３に、ノード２０１がノード２０２に対する割り込みを発生させる権利を持たないと指定されている場合は、ノード２０２内の所定のＣＰＵに対して、アクセスを許容していないノードからのアクセスを受けた旨の警告を通知し（ステップＳ８）、受信したデータＡを廃棄して処理を終了する。
【００５０】
割り込み制御回路２２０は、ステップＳ２において、ノード２０２のマスクレジスタ３０４を参照して、ノード２０１がノード２０２に対する割り込み発生が許可されていると判断した場合は、割り込み要因レジスタ３０２に、ノード間割り込み要求のソース情報（ノード２０１に関する情報）を保存し（ステップＳ３）、且つ、割り込み制御回路２２０内の割り込み先ＣＰＵ指定レジスタ３０５で指定されているＣＰＵに対する割り込み信号Ｂを送信する（ステップＳ４及び図７参照）。
【００５１】
この場合、割り込み先ＣＰＵ指定レジスタ３０５でＣＰＵ２１３が指定されているとすると、ＣＰＵ２１３は割り込み信号Ｂを受け取ると、ＣＰＵ２１３内で割り込みハンドラからドライバがコールされる（ステップＳ５）。前記ドライバは、割り込み要因レジスタ３０２を参照して、どのノードから割り込みを受けたのかを判別し、対応する処理を行う（ステップＳ６）。ＣＰＵ２１３は、割り込み処理を完了した後、割り込み要因クリアレジスタ３０４にフラグを立てることにより、割り込み要因レジスタ３０２のクリアを実施する。以上の処理によって、ノード間の割り込みが行われる。
【００５２】
図１０は、本発明に係る他の実施の形態のブロック図であり、図２と同一部分には同一符号を付している。
図１０に示す実施の形態は、割り込み発行元ノード８０１および割り込み発行先ノード８０２におけるノードコントローラ８０３、８０５内の各々に、複数のノード間割り込み発行用レジスタが存在するシステムを示している。
即ち、割り込み発行元ノード８０１および割り込み発行先ノード８０２をネットワーク２０３で接続することによってクラスタシステムを構成し、ノードコントローラ８０３内に割り込み制御回路８０４を設けると共に、ノードコントローラ８０５内に割り込み制御回路８０６を設けている。割り込み制御回路８０４、８０６には、各々、複数のノード間割り込み発行用レジスタが設けられている。
【００５３】
図１１に示すように、割り込み発行元ノード８０１のノードコントローラ８０３に設けられた割り込み制御回路８０４内には、割り込み発行用レジスタとして、割り込み発生レジスタ９０１および割り込み発行先ノード指定レジスタ９０２が設けられている。割り込み制御回路８０４は割り込み発生レジスタ９０１および割り込み発行先ノード指定レジスタ９０２を制御する。
【００５４】
また、図１２に示すように、割り込み発行先ノード８０２のノードコントローラ８０５に設けられた割り込み制御回路８０６内には、割り込み要因レジスタ１００１、割り込みマスクレジスタ１００２、割り込み先ＣＰＵ指定レジスタ１００３、割り込み要因クリアレジスタ１００４が設けられている。割り込み制御回路８０５は、これらのレジスタ１００１〜１００４を制御する。
尚、ノード８０１、８０２は同一に構成されているものであるが、説明の都合上、ノード８０１は割り込み発行元ノードとして機能するため、その制御回路８０４は割り込み発行元としての機能に関する部分を示しており、ノード８０２は割り込み発行先ノードとして機能するため、その制御回路８０６は割り込み発行先としての機能に関する部分を示している。
【００５５】
ここで、割り込み発生レジスタ９０１は、実際に割り込みを発行する契機を与えるレジスタである。割り込み発行先ノード指定レジスタ９０２は、割り込み発行先のノード番号を指定するレジスタである。割り込みマスクレジスタ１００２は、どのノードに対して割り込みを許可するかを指定するレジスタであり、アプリケーションにより誤ったノードから割り込みが行われないように、ファームウェア等、下位レベルのプログラムにより設定されるレジスタである。割り込み要因レジスタ１００１、割り込み先ＣＰＵ指定レジスタ１００３および割り込み要因クリアレジスタ１００４は、前述した実施の形態における各レジスタと同一機能を有するレジスタである。
【００５６】
また、これらのレジスタ９０１、９０２、１００１〜１００４は、図１３に示すような各ノード８０１、８０２におけるローカルメモリアドレス空間１１０１にマッピングされアクセスされる。即ち、割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間１１０１に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成されている。
この場合、図２のシステムのようなグローバルメモリアドレス空間に割り込み制御レジスタをマッピングする必要がなく、すべて、他ノードからのアクセスは禁止され且つ自ノードのみが直接アクセス可能なローカルメモリ空間１１０１へのマッピングとなる。
【００５７】
ノード８０１からノード８０２に対して割り込みを発行する場合、ノード８０１では、例えばＣＰＵ２０４は、ローカルメモリ空間１１０１における割り込み発行先ノード指定レジスタ９０２に対する、ノード８０２を指定する情報の書き込み命令を発行し、次に、割り込み発生レジスタ９０１に対する所定情報（例えばストア命令）の書き込み命令を発行する。
前記ストア命令はノードコントローラ８０３の割り込み制御回路８０４によって、図９のパケット形式で、ノード間接続バス２２１を介してネットワーク２０３へ送出される。ネットワーク２０３へ送出された前記ストア命令Ａは、ノード間接続バス２２２を介して、ノード８０２の割り込み制御回路８０６で受信され、以下、前記実施の形態と同様の処理がノード８０２で行われる。
【００５８】
即ち、割り込み制御回路８０６は、割り込みマスクレジスタ１００２を参照して、ノード８０１が自ノード８０２に対する割り込み生成権を有する場合にのみ、割り込み要因レジスタ１００１にノード間割り込み要求のソース情報（ノード８０１に関する情報）を保存し、且つ、割り込み先ＣＰＵ指定レジスタ１００３で予め指定されている所定のＣＰＵに対して割り込み信号を送信する。前記ＣＰＵは、割り込み処理を完了した後、割り込み要因クリアレジスタ１００４にフラグを立てることにより、割り込み要因レジスタ１００１のクリアを実施する。以上の処理によって、ノード間の割り込みが行われる。
【００５９】
このように、割り込み発行元ノードにおいて、同様なノード間割り込み制御レジスタ群を実装した場合でも、図２の場合と同様に、各ノード８０１、８０２のＣＰＵ２０４〜２０６、２１２〜２１４が発行する所定情報（例えば、ストア命令）により、他ノードに対する割り込みを発行することが可能になる。
この場合、各ノードに設けられたレジスタ９０１、９０２、１００１〜１００４は、他ノードからの直接アクセスは不可で自ノードのみから直接アクセス可能なローカルメモリ空間１１０１にマッピングされるため、セキュリティが向上する。
【００６０】
ただし、図２に示した実施の形態の場合とは異なり、最初に割り込み発行先ノードを割り込み発行先ノード指定レジスタ９０２に対する書き込み命令を発行することによって指定した後に、ノード割り込み発行レジスタ９０１に対して実際に割り込みを発行するための書き込み命令を発行することから、一つのノード間割り込みを発行するためにレジスタに対して２度書き込み命令を発行する必要があり、レイテンシ的には図２のシステムの方が優れている。
【００６１】
以上述べたように本発明の実施の形態に係るクラスタシステムは、特に、割り込み発行先ノード用の所定構成要素（例えば、割り込み発行レジスタ）を自己のメモリアドレス空間４０２、１１０１における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報（例えば、ストア命令）を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する割り込み発行元ノードと、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段を有する割り込み発行先ノードとを備えている。また、本発明の実施の形態に係るクラスタシステムは、ネットワークに接続された複数のノードが協調して動作するクラスタシステムにおいて、ＣＰＵと第１の制御手段とを有し、割り込み発行先ノード用の所定構成要素（例えば、割り込み発行レジスタ）を自己のメモリアドレス空間４０２、１１０１における割り込み発行領域に関連付け、前記ＣＰＵが前記第１の制御手段に対して、前記割り込み発行領域に対する所定情報（例えば、ストア命令）の書き込み命令を発行することにより、前記制御手段が前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する割り込み発行元ノードと、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる第２の制御手段を有する割り込み発行先ノードとを備えていることを特徴としている。したがって、ノード間の割り込み伝達を低レイテンシに行うことが可能になり又、割り込みによるオーバヘッドを低減することが可能になる。
【００６２】
また、前記割り込み発行先ノードは、自己がアクセスを許容するノードを判別するための情報を予め設定したマスクレジスタ３０３を有し、制御回路は、前記所定情報を受信した際、マスクレジスタ３０３の設定情報を参照して、前記所定情報を送信した割り込み元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信するように構成しているので、セキュリティの向上を図ることが可能になる。
【００６３】
本発明の実施の形態に係るコンピュータは、特に、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように構成している。また、本発明の実施の形態に係るコンピュータは、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように構成している。また、本発明の実施の形態に係るコンピュータは、ＣＰＵと制御手段とを有し、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記ＣＰＵが前記制御手段に対して、前記割り込み発行領域に対する所定情報の書き込み命令を発行することにより、前記制御手段が前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように構成していることを特徴としている。したがって、ノード間の割り込み伝達を低レイテンシに行うことが可能なクラスタシステムを構築することが可能になり又、割り込みによるオーバヘッドを低減したクラスタシステムを構築することが可能になる。
【００６４】
また、本発明の実施の形態に係るコンピュータは、自己用の所定構成要素宛の所定情報を受信して、自己のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段と、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を有し、前記制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信するように構成している。したがって、セキュリティの高いクラスタシステムを構築することが可能になる。
【００６５】
本発明の実施の形態に係るプログラムは、特に、コンピュータを、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能させるように構成している。また、本発明の実施の形態に係るプログラムは、ＣＰＵ及び制御手段を有するコンピュータを、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記ＣＰＵが前記制御手段に対して、前記割り込み発行領域に対する所定情報の書き込み命令を発行することにより、前記制御手段が前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能させるように構成していることを特徴としている。したがって、ノード間の割り込み伝達を低レイテンシに行うことが可能なクラスタシステムを構築することが可能になり又、割り込みによるオーバヘッドを低減したクラスタシステムを構築することが可能になる。
【００６６】
また、本発明の実施の形態に係るプログラムは、コンピュータを、所定情報を受信した際、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させる制御手段として機能させるように構成している。したがって、セキュリティの高いクラスタシステムを構築することが可能になる。
尚、所定情報は、割り込み指令を表す情報であることを予めノード間で定めた情報であればよく、所定命令、例えば、ロード命令、ライト命令、リード命令などのメモリアクセス専用の所定命令も使用できる。
【００６７】
【発明の効果】
本発明によれば、コンピュータ間の割り込み伝達を低レイテンシに行うことが可能になる。
また、割り込みによるオーバヘッドを低減することが可能になる。
また、セキュリティの向上を図ることが可能になる。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係るクラスタシステムの概略ブロック図である。
【図２】 本発明の実施の形態に係るクラスタシステムの詳細ブロック図である。
【図３】 本発明の実施の形態に使用するレジスタ構成を示す図である。
【図４】 本発明の実施の形態に使用するメモリ空間を示す図である。
【図５】 本発明の実施の形態に係るクラスタシステムのブロック図である。
【図６】 本発明の実施の形態に係るクラスタシステムのブロック図である。
【図７】 本発明の実施の形態に係るクラスタシステムのブロック図である。
【図８】 本発明の他の実施の形態に係るクラスタシステムの処理を示すフローチャートである。
【図９】 本発明の他の実施の形態に係るクラスタシステムに使用するパケットを示す図である。
【図１０】 本発明の他の実施の形態に係るクラスタシステムのブロック図である。
【図１１】 本発明の実施の形態に使用するレジスタ構成を示す図である。
【図１２】 本発明の他の実施の形態に使用するレジスタ構成を示す図である。
【図１３】 本発明の他の実施の形態に使用するメモリ空間を示す図である。
【図１４】 従来のクラスタシステムを示すブロック図である。
【図１５】 従来のクラスタシステムを示すブロック図である。
【符号の説明】
１０１〜１０４、２０１、２０２、８０１、８０２・・・コンピュータ（ノード）
１０５、２０３・・・ネットワーク
１０６、１０７、１０９、１１０・・・ＣＰＵモジュール
１０８、１１１、８０３、８０５・・・ノードコントローラ
１１２、２２０、８０４、８０６・・・制御手段としての割り込み制御回路
１０４〜２０６、２１２〜２１４・・・ＣＰＵ
２０８、２１６、８０３、８０５・・・ノードコントローラ
２０９、２１７・・・メインメモリ
２１１、２１９・・・Ｉ／Ｏコントローラ
３０１・・・割り込み発生レジスタ
３０２・・・割り込み要因レジスタ
３０３・・・割り込みマスクレジスタ
３０４・・・割り込みクリアレジスタ
３０５・・・割り込み先ＣＰＵ指定レジスタ
４０１・・・メモリ空間
４０２・・・グローバルメモリ空間
４０３・・・割り込み発生レジスタ空間
４０４・・・ローカルメモリ空間
【発明の属する技術分野】
本発明は、ネットワークに接続された複数のコンピュータが協調して動作するクラスタシステム、クラスタシステムに使用するコンピュータ、コンピュータに実行させるためのプログラムに関する。
【０００２】
【従来の技術】
従来から、複数のコンピュータ（一般には、マルチプロセッサ型のコンピュータ）をネットワークで接続し、これらのコンピュータが協調して動作することにより処理能力の向上等を図ったクラスタシステムが開発されている（例えば、クラスタシステムについては、特開平７−１６０６５７号公報、特開平１１−６６０２２号公報、特開平２０００−２１５１８２号公報参照。また、マルチプロセッサ型コンピュータにおけるデータ伝送に関しては特開平１−１５４２７２号公報、特開平５−７３５１８号公報参照）。
【０００３】
図１４は、従来の一般的なクラスタシステムを示すブロック図である。図１４において、複数のコンピュータ（クラスタシステムにおいて、各コンピュータはノードと称される。）１、２がネットワーク３を介して接続されている。
ノード１、２は、各々、複数の中央処理装置（ＣＰＵ）４〜６、１３〜１５、ノードコントローラ８、１７、メインメモリ９、１８、入出力装置である入出力（Ｉ／Ｏ）コントローラ１１、２０、ネットワークアダプタ１２、２１を備えている。
【０００４】
ＣＰＵ４〜６及びノードコントローラ８はＣＰＵバス７に接続され、ＣＰＵ１３〜１５及びノードコントローラ１７はＣＰＵバス１６に接続されている。また、ノードコントローラ８、Ｉ／Ｏコントローラ１１及びネットワークアダプタ１２は、Ｉ／Ｏアダプタバス１０に接続されており、ノードコントローラ１７、Ｉ／Ｏコントローラ２０及びネットワークアダプタ２１は、Ｉ／Ｏアダプタバス１９に接続されている。
ネットワークアダプタ１２、２１は、各々、ノード間接続バス２２、２３を介してネットワーク３に接続されている。
【０００５】
ノードコントローラ８、１７は、各々、ＣＰＵバス７、１６およびメインメモリ９、１８のインタコネクト、Ｉ／Ｏアダプタバス１０、１９の制御を行っている。Ｉ／Ｏアダプタバス１０、１９には、各々、Ｉ／Ｏコントローラ１１、２０やネットワークアダプタ１２、２１以外にも磁気ディスク等の二次記憶装置（図示せず）が接続されている。前記二次記憶装置はＰＣＩ（Peripheral Component Interconnect）ボード及びＳＣＳＩ（Small Computer System Interface）を介してＩ／Ｏアダプタバス１０に接続されている。
複数のコンピュータ１、２は、ネットワークアダプタ１２、２１によって接続されている。
【０００６】
以上のように構成されたクラスタシステムにおいては、ネットワーク装置であるネットワークアダプタ１２、２１間ではパケットという単位でのデータの送受信が行われている。パケットは、ネットワーク接続装置の実装方法や構成するネットワーク自体の種類により、最長パケット長が決定されている。ネットワーク接続装置が、一般的に使用されているイーサネットワーク制御装置である場合は、最大パケット長は1500Byteとされている。このように、転送データを最大転送パケットに分割してデータ送信することをフラグメントと呼んでいる。
【０００７】
例えば、ＴＣＰ（Transmission Control Protocol）によってノード間でのデータ送信が行われる場合、そのデータ長が、ネットワーク接続装置が一度に送信できるサイズよりも大きい場合は、ネットワーク接続装置が送信できる最大パケット長にデータを区切り、パケットに分割して送信する。ＴＣＰではソフトウェア的に割り込みを行う手段が無く、各パケット終了毎にハードウェアで割り込みを発生するようにしているため、受信側ノードのネットワーク接続装置は、各パケットを受信する毎に、自ノード内のＣＰＵに対する割り込みを発生し、そのパケットが転送データの最終パケットであるか否かをを判断する割り込み処理を実行している。この際、ノード間のデータ転送量が大きい場合は、分割されるパケットも多数となり、パケット受信毎に発行される割り込みのうちの多くは無駄な割り込み処理となっているという問題があった。
【０００８】
また、二次記憶装置やＩ／Ｏコントローラ１１、２０が接続されているＩ／Ｏアダプタバス１０、１９を経由した、ネットワーク接続装置間のデータ送受信となるため、データの送信自身もオーバヘッドが大きいという問題があった。
そこで、図１５の従来例に示すように、Ｉ／Ｏアダプタバス１０、１９を介さずに、ノードコントローラ３３、３４を介して複数のノード３１、３２間を接続するクラスタシステムが開発されている。尚、図１５では、図１４と同一部分には同一符号を付している。
【０００９】
図１５に示すクラスタシステムにおいては、上記割り込みのオーバヘッドをなくすために、送信側ノードは、送信するデータとともにフラグと呼ばれる特別なデータも送信し、データ送信の完了を伝える方式（フラグ方式）を採用する場合が多い。このフラグ方式では、受信側ノードは、データを受信している間は繰り返しフラグのリード（ポーリング）を行い、ＴＲＵＥ（＝データ送信完了）を示すフラグを受信すると、データ受信完了と判断し、受信したデータを用いた処理を開始する。この方式は、上記割り込みのオーバヘッドの問題を解決することが出来、またデータ受信完了を即座に知ることが出来ることから、受信側でのデータ待ち状態にあるアプリケーションの応答を高速化することが可能になる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記フラグ方式を用いた場合には、受信側ノードでは、常にデータ待ち状態にあるアプリケーションが、フラグのポーリングを続けている必要があるために、受信側ノードのＣＰＵをある特定のアプリケーションがポーリングのために使用し、ＣＰＵ使用時間の無駄が発生するという問題がある。
【００１１】
また、上記２つの問題点に加え、クラスタシステムでは多数のノードがそれぞれデータの通信を行っていることから、あるノードの不具合により、別のノードに対して悪影響を及ぼす危険が存在している。高い可用性のあるクラスタシステムを構築するためには、最初に挙げた割り込み方式の場合においても、不具合が発生したノードからの割り込みをガードする機構（セキュリティ機構）が必要とされている。
そこで、冒頭のフラグメントによる割り込み処理のオーバヘッドの問題および、フラグ方式でのポーリングの問題、セキュリティ機構の確保を可能とする仕組みが必要とされていた。
【００１２】
本発明は、ノード間の割り込み伝達を低レイテンシに行うことを課題としている。また、本発明は、割り込みによるオーバヘッドを低減することを課題としている。さらに、本発明は、セキュリティの向上を図ることを課題としている。
【００１３】
【課題を解決するための手段】
本発明によれば、ネットワークに接続された複数のノードが協調して動作するクラスタシステムにおいて、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する割り込み発行元ノードと、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段を有する割り込み発行先ノードとを備えて成ることを特徴とするクラスタシステムが提供される。
【００１４】
割り込み発行元ノードは、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する。割り込み発行先ノードの制御手段は、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる。
【００１５】
ここで、前記所定構成要素を記憶手段で構成してもよい。
また、前記割り込み発行先ノードは、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を有し、前記制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信するように構成してもよい。
また、前記アクセス許容ノード情報記憶手段は、自己がアクセスを許容するノードを判別するための情報を設定した割り込みマスクレジスタによって構成されているようにしてもよい。
【００１６】
また、前記記憶手段は、前記メモリ空間における割り込み発行領域に関連付けた割り込み発生レジスタと、割り込み先ＣＰＵを表す情報が設定された割り込み先ＣＰＵ指定レジスタとを有し、前記割り込み発行元ノードは、前記割り込み発行領域に前記所定情報を発行することによって前記割り込み発生レジスタ宛に前記所定情報を送信し、前記割り込み発行先ノードの制御手段は、前記割り込み発生レジスタ宛に発行された前記所定情報を受信して、前記割り込み先ＣＰＵ指定レジスタに設定されたＣＰＵに対して前記割り込み命令を送信するように構成してもよい。
【００１７】
また、前記記憶手段は、更に、自己がアクセスを許容するノードを判別するための情報を設定した割り込みマスクレジスタを有し、前記割り込み発行先ノードの制御手段は、前記所定情報を受信した際、前記割り込みマスクレジスタの設定情報を参照して、前記割り込み発行元ノードがアクセスを許容するノードの場合に前記割り込み命令を送信するように構成してもよい。
また、前記記憶手段は、更に、割り込み発行元ノードの情報を格納するための割り込み要因レジスタを有し、前記割り込み発行先ノードの制御手段は、前記所定情報を受信した際、前記割り込み発行元ノードの情報を前記割り込み要因レジスタに格納し、前記ＣＰＵは、前記割り込み要因レジスタに格納された割り込み発行元ノードの情報を参照して割り込み処理を行うように構成してもよい。
【００１８】
また、前記割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記所定構成要素が関連付けられ、前記割り込み発行元ノードは、前記割り込み発行先ノードの前記所定構成要素に関連付けられた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの前記所定構成要素宛に前記所定情報を送信するように構成してもよい。
また、前記割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成され、前記割り込み発行元ノードは、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって前記指定した割り込み発行先ノードに前記所定情報を送信するように構成してもよい。
【００１９】
また、本発明によれば、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信することを特徴とするコンピュータが提供される。割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する。
【００２０】
ここで、前記所定構成要素を記憶手段で構成してもよい。
また、前記割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記所定構成要素が関連付けられ、前記割り込み発行先ノードの前記所定構成要素に関連付けられた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの前記所定構成要素宛に前記所定情報を送信するように構成してもよい。
【００２１】
また、前記割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成され、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって、前記指定した割り込み発行先ノードに前記所定情報を送信するように構成してもよい。
【００２２】
また、本発明によれば、自己用の所定構成要素宛の所定情報を受信して、自己のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段と、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を有し、前記制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信することを特徴とするコンピュータが提供される。制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信する。
【００２３】
ここで、前記所定構成要素を記憶手段によって構成するようにしてもよい。
また、前記アクセス許容ノード情報記憶手段は、自己がアクセスを許容するノードを判別するための情報を設定した割り込みマスクレジスタによって構成されているようにしてもよい。
また、前記記憶手段は、前記メモリ空間における割り込み発行領域に関連付けた割り込み発生レジスタと、割り込み先ＣＰＵを表す情報が設定された割り込み先ＣＰＵ指定レジスタとを有し、前記制御手段は、前記割り込み発生レジスタ宛に発行された前記所定情報を受信して、前記割り込み先ＣＰＵ指定レジスタに設定されたＣＰＵに対して前記割り込み命令を送信するように構成してもよい。
【００２４】
また、前記記憶手段は、更に、割り込み発行元ノードの情報を格納するための割り込み要因レジスタを有し、前記制御手段は、前記所定情報を受信した際、前記割り込み発行元ノードの情報を前記割り込み要因レジスタに格納し、前記ＣＰＵは、前記割り込み要因レジスタに格納された割り込み発行元ノードの情報を参照して割り込み処理を行うように構成してもよい。
【００２５】
また、本発明によれば、コンピュータを、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能させることを特徴とするプログラムが提供される。コンピュータは、プログラムを実行することにより、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能する。
【００２６】
ここで、コンピュータを、前記割り込み発行領域を他ノードから直接アクセス可能なグローバルメモリ空間に設けると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記所定構成要素を関連付け、前記割り込み発行先ノードの前記所定構成要素に関連付けた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの前記所定構成要素宛に前記所定情報を送信するよう機能させるようにプログラムを構成してもよい。
また、コンピュータを、前記割り込み発行領域を自ノードのみが直接アクセス可能なローカルメモリ空間に設けると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と前記所定情報を発行するための割り込み発生領域とによって構成し、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって指定した前記割り込み発行先ノードに前記所定情報を送信するよう機能させるようにプログラムを構成してもよい。
【００２７】
また、本発明によれば、コンピュータを、所定情報を受信した際、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させる制御手段として機能させることを特徴とするプログラムが提供される。コンピュータは、プログラムを実行することにより、所定情報を受信した際、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させる制御手段として機能する。
【００２８】
ここで、前記制御手段を、前記所定情報が自己の所定構成要素宛に送信されたものである場合に、前記許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させるように機能させるようにプログラムを構成してもよい。
【００２９】
【発明の実施の形態】
以下、図面を用いて、本発明の実施の形態に係るクラスタシステム、クラスタシステムに使用するコンピュータ及びコンピュータに実行させるためのプログラムについて説明する。
図１は、本発明の実施の形態に係るクラスタシステムの概要を示すブロック図である。図１において、マルチプロセッサ型の複数のコンピュータ（ノード）１０１〜１０４がノード間接続バス１１３を介してネットワーク１０５に接続されている。このように、複数のノード１０１〜１０４はネットワーク１０５によって接続され、クラスタシステムとして協調して動作する構成となっている。
【００３０】
ノード１０１〜１０４は各々同一構成のコンピュータで、図１では、ノード１０１、１０２の内部構成を概略示している。ノード１０１、１０２について説明すると、ノード１０１、１０２は、各々、複数の中央処理装置（ＣＰＵ）モジュール１０６及び１０７、１０９及び１１０、ノードコントローラ１０８、１１１を備えている。ノードコントローラ１０８、１１１は内部に制御手段としての割り込み制御回路を有しており、図１ではノードコントローラ１１１の割り込み制御回路１１２のみ図示している。
【００３１】
詳細は後述するが、図１に示すクラスタシステムにおいてノード間で割り込みを発生する場合の動作を概略説明すると、ノード１０１からノード１０２に対して割り込みを発行する場合には、割り込み発行元ノード１０１のＣＰＵモジュール１０６から所定情報（例えばストア命令）Ａを発行し、割り込み発行先ノード１０２の割り込み制御回路１１２は前記ストア命令を受信し、割り込み命令Ｂに変換してＣＰＵモジュール１０９に送信して割り込み処理を行なう。
【００３２】
図２は、図１に示したクラスタシステムの詳細ブロック図で、２台のノード２０１、２０２をネットワーク２０３で接続した構成を示している。
ノード２０１、２０２は同一構成のコンピュータで、各々、複数の中央処理装置（ＣＰＵ）２０４〜２０６、２１２〜２１４、ノードコントローラ２０８、２１６、メインメモリ２０９、２１７、入出力装置である入出力（Ｉ／Ｏ）コントローラ２１１、２１９を備えている。
【００３３】
ＣＰＵ２０４〜２０６及びノードコントローラ２０８はＣＰＵバス２０７に接続され、ＣＰＵ２１２〜２１４及びノードコントローラ２０８はＣＰＵバス２１５に接続されている。また、ノードコントローラ２０８及びＩ／Ｏコントローラ２１１はＩ／Ｏアダプタバス２１０に接続され、ノードコントローラ２１６及びＩ／Ｏコントローラ２１９はＩ／Ｏアダプタバス２１８に接続されている。ノードコントローラ２０８、２１６は、各々、ノード間接続バス２２１、２２２介してネットワーク２０３に接続されている。
【００３４】
ノードコントローラ２０８、２１６は、各ノード２０１、２０２におけるＣＰＵ２０４〜２０６、２１２〜２１４、メインメモリ２０９、２１７、入出力装置間のデータのやりとりや各ノード２０１、２０２内のコヒーレンシ処理等の制御を行っている。
ノードコントローラ２０８、２１６内部には、相手先ノードへの割り込みを転送する機能を有すると共に他ノードから受信したストア命令を割り込み命令に変換して自ノードのＣＰＵに送信する機能を有する割り込み制御回路が設けられている。図２には、ノードコントローラ２１６の割り込み制御回路２２０のみを示している。
【００３５】
また、図３に示すように、ノードコントローラ２１６内の割り込み制御回路２２０内部には、ノード間割り込みを制御するための複数のレジスタが設けられている。図３において、割り込み制御回路２２０内部には、ノード間の割り込み用のレジスタとして、割り込み発生レジスタ３０１、割り込み要因レジスタ３０２、割り込みマスクレジスタ３０３、割り込みクリアレジスタ３０４、割り込み先ＣＰＵ指定レジスタ３０５が設けられており、又、割り込み制御回路２２０は前記各レジスタ３０１〜３０５を制御する。
【００３６】
図４に示すように、各割り込み制御用レジスタ３０１〜３０５は、自ノードのメモリアドレス空間４０１にマッピングされており、各ノードのＣＰＵは、自ノード内のメモリ空間４０１における割り込み制御レジスタ３０１〜３０５空間部分にアクセスすることにより、各レジスタ３０１〜３０５へのアクセスを行うことが可能に構成されている。尚、ノード２０１、２０２において、各々、メインメモリ２０９、２１７やＩ／Ｏも、自ノードのメモリ空間４０１にマッピングされている。
【００３７】
割り込み制御用レジスタ３０１〜３０５のうち、割り込み発生レジスタ３０１を除く各レジスタ３０２〜３０５は、自ノード内で割り込みを行うためのメモリアドレス空間（ローカルメモリアドレス空間）４０４にマッピングされており、各ノードのＣＰＵは、自ノード内のメモリ空間４０４内の割り込み制御レジスタ空間４０６部分に対するアクセスを行うことにより、これらレジスタ３０２〜３０５へのアクセスが行えるように構成されている。
【００３８】
一方、上記ローカルメモリ空間４０４とは別に、全ノードに対して共通のグローバルメモリアドレス空間４０２が設けられており、各ノードに存在する割り込み制御レジスタ３０１〜３０５のうち、割り込み発生レジスタ３０１０〜３０１ｎに関しては、全ノード共通のグローバルメモリ空間４０２内の割り込み発生レジスタ空間４０３にマッピングされている。
即ち、割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノード用の所定構成要素（割り込み発生レジスタ３０１１〜３０１ｎ）が関連付けられている。
【００３９】
あるノードのＣＰＵは、自グローバル空間４０２の中の別ノードの割り込み発生レジスタ３０１１〜３０１ｎにマッピングされた割り込み発生レジスタ空間４０３に対してアクセスを行うことにより、直接、当該他のノード内に存在する割り込み発生レジスタにアクセスすることができるように構成されている。
ただし、ローカルメモリ空間４０４およびグローバルメモリ空間４０２にマッピングされた各ノード間割り込み制御レジスタ３０１〜３０５は、アクセス権（リードライト可、リード可、ライト可）が設定されており、本来、他ノードからの直接アクセスが行われてはならないレジスタ３０１〜３０５に対するアクセスが行われた場合は、受信側ノード内の割り込み制御回路２２０により検出することが可能となっている。
【００４０】
あるノードで、グローバルメモリ空間４０３を通して、あるノードの割り込み発生レジスタ３０１宛に、ノード間で予め定め割り込みを指示する所定情報が発行された場合、当該割り込み発生レジスタ３０１を実際に持つノード内では、割り込み制御回路２２０が前記所定情報を受信して割り込みメッセージを生成し、割り込み制御回路２２０内の割り込み先ＣＰＵ指定レジスタ３０５で指定されている自ノード内部の特定のＣＰＵへ送信する。
【００４１】
ここで、割り込み先ＣＰＵ指定レジスタ３０５には、割り込み先ＣＰＵを表す情報が予め設定されている。
また、割り込みマスクレジスタ３０３は、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を構成しており、該レジスタ３０３を持つノードに対してノード間割り込みを発生させることのできないノードの番号を保持している。もし、本来このノードへの割り込みを発生させることのできないノードから割り込み発生レジスタ３０１宛に割り込み指示情報を受信した場合でも、リモート割り込み制御回路２２０が割り込みマスクレジスタ３０３においてマスク指定されているノードからの割り込み要求であると判断した場合は、割り込み処理は行わない。
【００４２】
割り込み要因レジスタ３０２は、割り込み発生レジスタ３０１宛の割り込み指示情報を受信したときに、どのノードから発行された割り込み指示情報なのかを記録しておき、割り込み処理においてソフトウェアへ割り込み情報を提供している。割り込みクリアレジスタ３０４は、割り込み要因レジスタ３０２のクリアを行うためのレジスタであり、割り込み要因クリアレジスタ３０４にフラグを立てることにより、割り込み要因レジスタ３０２のクリアを実施する。
【００４３】
割り込み要因レジスタ３０２、割り込みマスクレジスタ３０３、割り込みクリアレジスタ３０４、割り込み先ＣＰＵ指定レジスタ３０５は、ローカルメモリ空間４０４にのみマッピングされており、自ノード内での直接アクセスは可能であるが、他ノードからの直接のアクセスはできないように構成されている。
尚、割り込み発生レジスタ３０１、割り込み要因レジスタ３０２、割り込みマスクレジスタ３０３、割り込みクリアレジスタ３０４、割り込み先ＣＰＵ指定レジスタ３０５は記憶手段を構成している。
【００４４】
図５〜図７は、ノード間割り込み発行時の動作を説明するためのブロック図である。
一般に、ノード間でデータ送信が完了した後には、データ送信が完了したことを通知するためにノード間割り込みが行われるため、図５〜図７の例では、ノード間割り込みが行われる場合の例として、ノード間のデータ転送の完了後に、データ転送完了をデータ受信ノードに通知して割り込みを行う場合の例を示している。尚、図５〜図７において、図２と同一部分には同一符号を付している。
【００４５】
また、図８は割り込み発行先ノードにおける割り込み処理を示すフローチャートである。
また、図９はノード間割り込みを発行するために、割り込み発行元ノードから発行先ノードへ送信される割り込み指示信号の構成を示す図である。図９において、前記割り込み指示信号は、パケットによって構成され、割り込み発行先ノード、割り込み発行元ノード、割り込み指示を表す所定の情報（本実施の形態ではストア命令）及び割り込み発行先ノードの割り込み発生レジスタを特定するアドレスを含むヘッダ部、並びにデータ部とを備えている。データ部にはデータは不要であるが、パケットの形式によってはダミーデータを含ませるようにしてもよい。
【００４６】
以下、図５〜図９を用いて又、必要に応じて図３及び図４を参照しながら、ノード間割り込みを発生させるための動作を中心に説明する。
先ず、図５において、ノード２０１がノード２０２に対するデータ転送を完了した後に、ノード２０１からノード２０２に対してノード間割り込みを送信するものとして説明する。即ち、ノード２０１が割り込み発行元ノード、ノード２０２が割り込み発行先ノード（ターゲットノード）として機能する例である。
【００４７】
この場合、ノード２０１では、ノード２０２に対するデータＣの送信完了後に、ノード２０２用の所定構成要素を関連付けた自己の割り込み発行領域に対して所定情報（例えば、ストア命令）を発行する。例えば、ＣＰＵ２０４は、自らがアクセス可能なグローバルメモリ空間４０２におけるノード２０２用の所定構成要素（ある割り込み発生レジスタ３０１）がマッピングされている割り込み発行領域（例えば、リモート割り込み制御レジスタ空間４０３のノード♯ｎ割り込み発生レジスタ空間３０１ｎ）に対するストア命令Ａを発行する。
前記ストア命令Ａはノードコントローラ２０８の割り込み制御回路（図示せず）によって、図９のパケット形式で、ノード間接続バス２２１を介してネットワーク２０３へ送出される。ネットワーク２０３へ送出された前記ストア命令Ａは、ノード間接続バス２２２を介してノード２０２の割り込み制御回路２２０で受信される（図６参照）。
【００４８】
このとき、ハードウェア制御により、ネットワークを伝送する信号は一つの経路を通るように保証されており、これにより、後から送信した信号が、先に送信した信号を追い越すことがないようにしている。即ち、ネットワーク２０３上で割り込み発生レジスタ３０１へのストア命令Ａよりも先行するノード２０１からノード２０２へのデータＣを、当該ストア命令Ａが追い越すことは許されず、ノード２０１のノードコントローラ２０８からネットワーク２０３を経て、ノード２０２へのノードコントローラ２１６内の割り込み発生レジスタ３０１までの経路上でのデータＣと、割り込み発生レジスタ３０１へのストア命令Ａのオーダリングは経路上のハードウェアがすべて保証するように構成されている。
【００４９】
割り込み制御回路２２０はノード２０１からのデータＣを受信して、メインメモリ２１７に格納する（図７参照）。
割り込み制御回路２２０は、ノード２０１からのデータＣをメインメモリ２１７に格納した後、ノード２０１から受信した自ノードの割り込み発生レジスタ３０１に対するストア命令Ａを受信すると（図８のステップＳ１）、割り込みマスクレジスタ３０３を参照し、ノード２０１が、ノード２０２のノード間割り込み生成権をもっているかをチェックする（ステップＳ２）。
もし、割り込みマスクレジスタ３０３に、ノード２０１がノード２０２に対する割り込みを発生させる権利を持たないと指定されている場合は、ノード２０２内の所定のＣＰＵに対して、アクセスを許容していないノードからのアクセスを受けた旨の警告を通知し（ステップＳ８）、受信したデータＡを廃棄して処理を終了する。
【００５０】
割り込み制御回路２２０は、ステップＳ２において、ノード２０２のマスクレジスタ３０４を参照して、ノード２０１がノード２０２に対する割り込み発生が許可されていると判断した場合は、割り込み要因レジスタ３０２に、ノード間割り込み要求のソース情報（ノード２０１に関する情報）を保存し（ステップＳ３）、且つ、割り込み制御回路２２０内の割り込み先ＣＰＵ指定レジスタ３０５で指定されているＣＰＵに対する割り込み信号Ｂを送信する（ステップＳ４及び図７参照）。
【００５１】
この場合、割り込み先ＣＰＵ指定レジスタ３０５でＣＰＵ２１３が指定されているとすると、ＣＰＵ２１３は割り込み信号Ｂを受け取ると、ＣＰＵ２１３内で割り込みハンドラからドライバがコールされる（ステップＳ５）。前記ドライバは、割り込み要因レジスタ３０２を参照して、どのノードから割り込みを受けたのかを判別し、対応する処理を行う（ステップＳ６）。ＣＰＵ２１３は、割り込み処理を完了した後、割り込み要因クリアレジスタ３０４にフラグを立てることにより、割り込み要因レジスタ３０２のクリアを実施する。以上の処理によって、ノード間の割り込みが行われる。
【００５２】
図１０は、本発明に係る他の実施の形態のブロック図であり、図２と同一部分には同一符号を付している。
図１０に示す実施の形態は、割り込み発行元ノード８０１および割り込み発行先ノード８０２におけるノードコントローラ８０３、８０５内の各々に、複数のノード間割り込み発行用レジスタが存在するシステムを示している。
即ち、割り込み発行元ノード８０１および割り込み発行先ノード８０２をネットワーク２０３で接続することによってクラスタシステムを構成し、ノードコントローラ８０３内に割り込み制御回路８０４を設けると共に、ノードコントローラ８０５内に割り込み制御回路８０６を設けている。割り込み制御回路８０４、８０６には、各々、複数のノード間割り込み発行用レジスタが設けられている。
【００５３】
図１１に示すように、割り込み発行元ノード８０１のノードコントローラ８０３に設けられた割り込み制御回路８０４内には、割り込み発行用レジスタとして、割り込み発生レジスタ９０１および割り込み発行先ノード指定レジスタ９０２が設けられている。割り込み制御回路８０４は割り込み発生レジスタ９０１および割り込み発行先ノード指定レジスタ９０２を制御する。
【００５４】
また、図１２に示すように、割り込み発行先ノード８０２のノードコントローラ８０５に設けられた割り込み制御回路８０６内には、割り込み要因レジスタ１００１、割り込みマスクレジスタ１００２、割り込み先ＣＰＵ指定レジスタ１００３、割り込み要因クリアレジスタ１００４が設けられている。割り込み制御回路８０５は、これらのレジスタ１００１〜１００４を制御する。
尚、ノード８０１、８０２は同一に構成されているものであるが、説明の都合上、ノード８０１は割り込み発行元ノードとして機能するため、その制御回路８０４は割り込み発行元としての機能に関する部分を示しており、ノード８０２は割り込み発行先ノードとして機能するため、その制御回路８０６は割り込み発行先としての機能に関する部分を示している。
【００５５】
ここで、割り込み発生レジスタ９０１は、実際に割り込みを発行する契機を与えるレジスタである。割り込み発行先ノード指定レジスタ９０２は、割り込み発行先のノード番号を指定するレジスタである。割り込みマスクレジスタ１００２は、どのノードに対して割り込みを許可するかを指定するレジスタであり、アプリケーションにより誤ったノードから割り込みが行われないように、ファームウェア等、下位レベルのプログラムにより設定されるレジスタである。割り込み要因レジスタ１００１、割り込み先ＣＰＵ指定レジスタ１００３および割り込み要因クリアレジスタ１００４は、前述した実施の形態における各レジスタと同一機能を有するレジスタである。
【００５６】
また、これらのレジスタ９０１、９０２、１００１〜１００４は、図１３に示すような各ノード８０１、８０２におけるローカルメモリアドレス空間１１０１にマッピングされアクセスされる。即ち、割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間１１０１に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成されている。
この場合、図２のシステムのようなグローバルメモリアドレス空間に割り込み制御レジスタをマッピングする必要がなく、すべて、他ノードからのアクセスは禁止され且つ自ノードのみが直接アクセス可能なローカルメモリ空間１１０１へのマッピングとなる。
【００５７】
ノード８０１からノード８０２に対して割り込みを発行する場合、ノード８０１では、例えばＣＰＵ２０４は、ローカルメモリ空間１１０１における割り込み発行先ノード指定レジスタ９０２に対する、ノード８０２を指定する情報の書き込み命令を発行し、次に、割り込み発生レジスタ９０１に対する所定情報（例えばストア命令）の書き込み命令を発行する。
前記ストア命令はノードコントローラ８０３の割り込み制御回路８０４によって、図９のパケット形式で、ノード間接続バス２２１を介してネットワーク２０３へ送出される。ネットワーク２０３へ送出された前記ストア命令Ａは、ノード間接続バス２２２を介して、ノード８０２の割り込み制御回路８０６で受信され、以下、前記実施の形態と同様の処理がノード８０２で行われる。
【００５８】
即ち、割り込み制御回路８０６は、割り込みマスクレジスタ１００２を参照して、ノード８０１が自ノード８０２に対する割り込み生成権を有する場合にのみ、割り込み要因レジスタ１００１にノード間割り込み要求のソース情報（ノード８０１に関する情報）を保存し、且つ、割り込み先ＣＰＵ指定レジスタ１００３で予め指定されている所定のＣＰＵに対して割り込み信号を送信する。前記ＣＰＵは、割り込み処理を完了した後、割り込み要因クリアレジスタ１００４にフラグを立てることにより、割り込み要因レジスタ１００１のクリアを実施する。以上の処理によって、ノード間の割り込みが行われる。
【００５９】
このように、割り込み発行元ノードにおいて、同様なノード間割り込み制御レジスタ群を実装した場合でも、図２の場合と同様に、各ノード８０１、８０２のＣＰＵ２０４〜２０６、２１２〜２１４が発行する所定情報（例えば、ストア命令）により、他ノードに対する割り込みを発行することが可能になる。
この場合、各ノードに設けられたレジスタ９０１、９０２、１００１〜１００４は、他ノードからの直接アクセスは不可で自ノードのみから直接アクセス可能なローカルメモリ空間１１０１にマッピングされるため、セキュリティが向上する。
【００６０】
ただし、図２に示した実施の形態の場合とは異なり、最初に割り込み発行先ノードを割り込み発行先ノード指定レジスタ９０２に対する書き込み命令を発行することによって指定した後に、ノード割り込み発行レジスタ９０１に対して実際に割り込みを発行するための書き込み命令を発行することから、一つのノード間割り込みを発行するためにレジスタに対して２度書き込み命令を発行する必要があり、レイテンシ的には図２のシステムの方が優れている。
【００６１】
以上述べたように本発明の実施の形態に係るクラスタシステムは、特に、割り込み発行先ノード用の所定構成要素（例えば、割り込み発行レジスタ）を自己のメモリアドレス空間４０２、１１０１における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報（例えば、ストア命令）を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する割り込み発行元ノードと、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段を有する割り込み発行先ノードとを備えている。また、本発明の実施の形態に係るクラスタシステムは、ネットワークに接続された複数のノードが協調して動作するクラスタシステムにおいて、ＣＰＵと第１の制御手段とを有し、割り込み発行先ノード用の所定構成要素（例えば、割り込み発行レジスタ）を自己のメモリアドレス空間４０２、１１０１における割り込み発行領域に関連付け、前記ＣＰＵが前記第１の制御手段に対して、前記割り込み発行領域に対する所定情報（例えば、ストア命令）の書き込み命令を発行することにより、前記制御手段が前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信する割り込み発行元ノードと、前記所定構成要素宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる第２の制御手段を有する割り込み発行先ノードとを備えていることを特徴としている。したがって、ノード間の割り込み伝達を低レイテンシに行うことが可能になり又、割り込みによるオーバヘッドを低減することが可能になる。
【００６２】
また、前記割り込み発行先ノードは、自己がアクセスを許容するノードを判別するための情報を予め設定したマスクレジスタ３０３を有し、制御回路は、前記所定情報を受信した際、マスクレジスタ３０３の設定情報を参照して、前記所定情報を送信した割り込み元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信するように構成しているので、セキュリティの向上を図ることが可能になる。
【００６３】
本発明の実施の形態に係るコンピュータは、特に、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように構成している。また、本発明の実施の形態に係るコンピュータは、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように構成している。また、本発明の実施の形態に係るコンピュータは、ＣＰＵと制御手段とを有し、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記ＣＰＵが前記制御手段に対して、前記割り込み発行領域に対する所定情報の書き込み命令を発行することにより、前記制御手段が前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように構成していることを特徴としている。したがって、ノード間の割り込み伝達を低レイテンシに行うことが可能なクラスタシステムを構築することが可能になり又、割り込みによるオーバヘッドを低減したクラスタシステムを構築することが可能になる。
【００６４】
また、本発明の実施の形態に係るコンピュータは、自己用の所定構成要素宛の所定情報を受信して、自己のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させる制御手段と、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を有し、前記制御手段は、前記所定情報を受信した際、前記アクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に、前記割り込み命令を送信するように構成している。したがって、セキュリティの高いクラスタシステムを構築することが可能になる。
【００６５】
本発明の実施の形態に係るプログラムは、特に、コンピュータを、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能させるように構成している。また、本発明の実施の形態に係るプログラムは、ＣＰＵ及び制御手段を有するコンピュータを、割り込み発行先ノード用の所定構成要素を自己のメモリ空間における割り込み発行領域に関連付け、前記ＣＰＵが前記制御手段に対して、前記割り込み発行領域に対する所定情報の書き込み命令を発行することにより、前記制御手段が前記割り込み発行先ノード用の前記所定構成要素宛に前記所定情報を送信するように機能させるように構成していることを特徴としている。したがって、ノード間の割り込み伝達を低レイテンシに行うことが可能なクラスタシステムを構築することが可能になり又、割り込みによるオーバヘッドを低減したクラスタシステムを構築することが可能になる。
【００６６】
また、本発明の実施の形態に係るプログラムは、コンピュータを、所定情報を受信した際、自己がアクセスを許容するノードを判別するための情報を記憶するアクセス許容ノード情報記憶手段を参照して、前記所定情報を送信した割り込み発行元ノードがアクセスを許容するノードの場合に割り込み命令を自己のＣＰＵに送信することにより、前記ＣＰＵに割り込みを発生させる制御手段として機能させるように構成している。したがって、セキュリティの高いクラスタシステムを構築することが可能になる。
尚、所定情報は、割り込み指令を表す情報であることを予めノード間で定めた情報であればよく、所定命令、例えば、ロード命令、ライト命令、リード命令などのメモリアクセス専用の所定命令も使用できる。
【００６７】
【発明の効果】
本発明によれば、コンピュータ間の割り込み伝達を低レイテンシに行うことが可能になる。
また、割り込みによるオーバヘッドを低減することが可能になる。
また、セキュリティの向上を図ることが可能になる。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係るクラスタシステムの概略ブロック図である。
【図２】 本発明の実施の形態に係るクラスタシステムの詳細ブロック図である。
【図３】 本発明の実施の形態に使用するレジスタ構成を示す図である。
【図４】 本発明の実施の形態に使用するメモリ空間を示す図である。
【図５】 本発明の実施の形態に係るクラスタシステムのブロック図である。
【図６】 本発明の実施の形態に係るクラスタシステムのブロック図である。
【図７】 本発明の実施の形態に係るクラスタシステムのブロック図である。
【図８】 本発明の他の実施の形態に係るクラスタシステムの処理を示すフローチャートである。
【図９】 本発明の他の実施の形態に係るクラスタシステムに使用するパケットを示す図である。
【図１０】 本発明の他の実施の形態に係るクラスタシステムのブロック図である。
【図１１】 本発明の実施の形態に使用するレジスタ構成を示す図である。
【図１２】 本発明の他の実施の形態に使用するレジスタ構成を示す図である。
【図１３】 本発明の他の実施の形態に使用するメモリ空間を示す図である。
【図１４】 従来のクラスタシステムを示すブロック図である。
【図１５】 従来のクラスタシステムを示すブロック図である。
【符号の説明】
１０１〜１０４、２０１、２０２、８０１、８０２・・・コンピュータ（ノード）
１０５、２０３・・・ネットワーク
１０６、１０７、１０９、１１０・・・ＣＰＵモジュール
１０８、１１１、８０３、８０５・・・ノードコントローラ
１１２、２２０、８０４、８０６・・・制御手段としての割り込み制御回路
１０４〜２０６、２１２〜２１４・・・ＣＰＵ
２０８、２１６、８０３、８０５・・・ノードコントローラ
２０９、２１７・・・メインメモリ
２１１、２１９・・・Ｉ／Ｏコントローラ
３０１・・・割り込み発生レジスタ
３０２・・・割り込み要因レジスタ
３０３・・・割り込みマスクレジスタ
３０４・・・割り込みクリアレジスタ
３０５・・・割り込み先ＣＰＵ指定レジスタ
４０１・・・メモリ空間
４０２・・・グローバルメモリ空間
４０３・・・割り込み発生レジスタ空間
４０４・・・ローカルメモリ空間
Claims (11)
- ネットワークに接続された複数のノードが協調して動作するクラスタシステムにおいて、
割り込み発行先ノード用の記憶手段における割り込み発生レジスタを、自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して所定情報を発行することにより、前記割り込み発生レジスタ宛に前記所定情報を送信する割り込み発行元ノードと、
前記割り込み発生レジスタ宛の前記所定情報を受信して、自ノード内のＣＰＵに対して割り込み命令を送信することにより、前記ＣＰＵに割り込みを発生させ、前記割り込み発行元ノードから、前記ネットワークに接続されたノード間接続バスを介してアクセスされる制御手段を有する割り込み発行先ノードとを備え、
前記記憶手段は、前記メモリ空間における割り込み発行領域に関連付けた前記割り込み発生レジスタと、割り込み先ＣＰＵを表す情報が設定された割り込み先ＣＰＵ指定レジスタとを有し、
前記割り込み発行元ノードは、前記割り込み発行領域に前記所定情報を発行することによって前記割り込み発生レジスタ宛に前記所定情報を送信し、前記割り込み発行先ノードの制御手段は、前記割り込み発生レジスタ宛に発行された前記所定情報を受信して、前記割り込み先ＣＰＵ指定レジスタに設定されたＣＰＵに対して前記割り込み命令を送信することを特徴とするクラスタシステム。 - 前記記憶手段は、更に、自己がアクセスを許容するノードを判別するための情報を設定した割り込みマスクレジスタを有し、
前記割り込み発行先ノードの制御手段は、前記所定情報を受信した際、前記割り込みマスクレジスタの設定情報を参照して、前記割り込み発行元ノードがアクセスを許容するノードの場合に前記割り込み命令を送信することを特徴とする請求項１記載のクラスタシステム。 - 前記記憶手段は、更に、割り込み発行元ノードの情報を格納するための割り込み要因レジスタを有し、
前記割り込み発行先ノードの制御手段は、前記所定情報を受信した際、前記割り込み発行元ノードの情報を前記割り込み要因レジスタに格納し、前記ＣＰＵは、前記割り込み要因レジスタに格納された割り込み発行元ノードの情報を参照して割り込み処理を行うことを特徴とする請求項２記載のクラスタシステム。 - 前記割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記割り込み発生レジスタが関連付けられ、
前記割り込み発行元ノードは、前記割り込み発行先ノードの前記割り込み発生レジスタに関連付けられた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの前記割り込み発生レジスタ宛に前記所定情報を送信することを特徴とする請求項１乃至３のいずれか一に記載のクラスタシステム。 - 前記割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成され、
前記割り込み発行元ノードは、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって前記指定した割り込み発行先ノードに前記所定情報を送信することを特徴とする請求項１乃至３のいずれか一に記載のクラスタシステム。 - ネットワークに接続された複数のノードが協調して動作するクラスタシステムにおいて使用するコンピュータにおいて、
割り込み発行先ノード用の、前記複数のノードにおける前記割り込み発行先ノード以外のノードと前記割り込み発行先ノードを接続するノード間接続バスを介してアクセスされる割り込み発生レジスタを自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して割り込みを発行するための所定情報を発行することにより、前記割り込み発行先ノード用の割り込み発生レジスタ宛に前記所定情報を送信して、前記割り込み発行先ノードに割り込みを発行することを特徴とするコンピュータ。 - 前記割り込み発行領域は他ノードから直接アクセス可能なグローバルメモリ空間に設けられると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記割り込み発生レジスタが関連付けられ、
前記割り込み発行先ノードの前記割り込み発生レジスタに関連付けられた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの割り込み発生レジスタ宛に前記所定情報を送信することを特徴とする請求項６記載のコンピュータ。 - 前記割り込み発行領域は、自ノードのみが直接アクセス可能なローカルメモリ空間に設けられると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と、前記所定情報を発行するための割り込み発生領域とによって構成され、
前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって、前記指定した割り込み発行先ノードに前記所定情報を送信することを特徴とする請求項６記載のコンピュータ。 - ネットワークに接続された複数のノードが協調して動作するクラスタシステムにおいて使用するコンピュータを、
割り込み発行先ノード用の、前記複数のノードにおける前記割り込み発行先ノード以外のノードと前記割り込み発行先ノードを接続するノード間接続バスを介してアクセスされる割り込み発生レジスタを自己のメモリ空間における割り込み発行領域に関連付け、前記割り込み発行領域に対して割り込みを発行するための所定情報を発行することにより、前記割り込み発行先ノード用の割り込み発生レジスタ宛に前記所定情報を送信して、前記割り込み発行先ノードに割り込みを発行するように機能させることを特徴とするプログラム。 - 前記コンピュータを、
前記割り込み発行領域を他ノードから直接アクセス可能なグローバルメモリ空間に設けると共に、前記割り込み発行領域には複数の割り込み発行先ノードの前記割り込み発生レジスタが関連付け、前記割り込み発行先ノードの前記割り込み発生レジスタに関連付けた割り込み発行領域に対して前記所定情報を発行することにより、対応する前記割り込み発行先ノードの割り込み発生レジスタ宛に前記所定情報を送信するように機能させることを特徴とする請求項９記載のプログラム。 - 前記コンピュータを、
前記割り込み発行領域を自ノードのみが直接アクセス可能なローカルメモリ空間に設けると共に、割り込み発行先ノードを指定するための割り込み発行先ノード指定領域と前記所定情報を発行するための割り込み発生領域とによって構成し、前記割り込み発行先ノード指定領域に割り込み発行先ノードを指定した後、前記割り込み発生領域に前記所定信号を発行することによって、前記指定した割り込み発行先ノードに前記所定情報を送信するように機能させることを特徴とする請求項９記載のプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001148687A JP3807250B2 (ja) | 2001-05-18 | 2001-05-18 | クラスタシステム、コンピュータ及びプログラム |
| EP02010156A EP1276045A3 (en) | 2001-05-18 | 2002-05-13 | Cluster system, computer and program |
| US10/145,881 US7058744B2 (en) | 2001-05-18 | 2002-05-16 | Cluster system, computer and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001148687A JP3807250B2 (ja) | 2001-05-18 | 2001-05-18 | クラスタシステム、コンピュータ及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002342299A JP2002342299A (ja) | 2002-11-29 |
| JP3807250B2 true JP3807250B2 (ja) | 2006-08-09 |
Family
ID=18993953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001148687A Expired - Fee Related JP3807250B2 (ja) | 2001-05-18 | 2001-05-18 | クラスタシステム、コンピュータ及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7058744B2 (ja) |
| EP (1) | EP1276045A3 (ja) |
| JP (1) | JP3807250B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8782654B2 (en) | 2004-03-13 | 2014-07-15 | Adaptive Computing Enterprises, Inc. | Co-allocating a reservation spanning different compute resources types |
| EP2341431A1 (en) | 2004-03-13 | 2011-07-06 | Adaptive Computing Enterprises, Inc. | System and method of providing a self-optimizing reservation in space of compute resources |
| US9753765B1 (en) * | 2004-03-22 | 2017-09-05 | Altera Corporation | Multi-processor integrated circuits |
| US20080294839A1 (en) * | 2004-03-29 | 2008-11-27 | Bell Michael I | System and method for dumping memory in computer systems |
| JP2005301436A (ja) * | 2004-04-07 | 2005-10-27 | Hitachi Ltd | クラスタシステムおよびクラスタシステムにおける障害回復方法 |
| US20070266388A1 (en) | 2004-06-18 | 2007-11-15 | Cluster Resources, Inc. | System and method for providing advanced reservations in a compute environment |
| US8176490B1 (en) | 2004-08-20 | 2012-05-08 | Adaptive Computing Enterprises, Inc. | System and method of interfacing a workload manager and scheduler with an identity manager |
| CA2586763C (en) | 2004-11-08 | 2013-12-17 | Cluster Resources, Inc. | System and method of providing system jobs within a compute environment |
| US8863143B2 (en) | 2006-03-16 | 2014-10-14 | Adaptive Computing Enterprises, Inc. | System and method for managing a hybrid compute environment |
| EP2362310B1 (en) | 2005-03-16 | 2017-10-04 | III Holdings 12, LLC | Automatic workload transfer to an on-demand center |
| US9231886B2 (en) | 2005-03-16 | 2016-01-05 | Adaptive Computing Enterprises, Inc. | Simple integration of an on-demand compute environment |
| US9225663B2 (en) | 2005-03-16 | 2015-12-29 | Adaptive Computing Enterprises, Inc. | System and method providing a virtual private cluster |
| EP1872249B1 (en) | 2005-04-07 | 2016-12-07 | Adaptive Computing Enterprises, Inc. | On-demand access to compute resources |
| WO2007055054A1 (ja) * | 2005-11-08 | 2007-05-18 | Sony Computer Entertainment Inc. | データ通信方法、コンピュータ及び情報記憶媒体 |
| JP2007206955A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP2008225906A (ja) * | 2007-03-13 | 2008-09-25 | Toyota Motor Corp | 情報処理システム及びその情報処理システムを構成するコア識別コントローラ |
| US8041773B2 (en) | 2007-09-24 | 2011-10-18 | The Research Foundation Of State University Of New York | Automatic clustering for self-organizing grids |
| US11720290B2 (en) | 2009-10-30 | 2023-08-08 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
| US10877695B2 (en) | 2009-10-30 | 2020-12-29 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
| JP2015210665A (ja) * | 2014-04-25 | 2015-11-24 | 株式会社野村総合研究所 | データ管理システム |
| JP6354387B2 (ja) | 2014-06-30 | 2018-07-11 | 富士通株式会社 | 情報処理装置、情報処理システム及び割込装置制御方法 |
| US10049064B2 (en) * | 2015-01-29 | 2018-08-14 | Red Hat Israel, Ltd. | Transmitting inter-processor interrupt messages by privileged virtual machine functions |
| CN105403265A (zh) * | 2015-12-16 | 2016-03-16 | 宁波水表股份有限公司 | 一种自动校正零点漂移的超声水表及其校正方法 |
| WO2017135950A1 (en) * | 2016-02-04 | 2017-08-10 | Hewlett Packard Enterprise Development Lp | Memory register interrupt based signaling and messaging |
| US11809888B2 (en) | 2019-04-29 | 2023-11-07 | Red Hat, Inc. | Virtual machine memory migration facilitated by persistent memory devices |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01154272A (ja) | 1987-12-10 | 1989-06-16 | Matsushita Electric Ind Co Ltd | マルチプロセッサ装置 |
| US5123094A (en) * | 1990-01-26 | 1992-06-16 | Apple Computer, Inc. | Interprocessor communications includes second CPU designating memory locations assigned to first CPU and writing their addresses into registers |
| JPH0573518A (ja) | 1991-09-18 | 1993-03-26 | Nec Corp | メモリマツプドｃｐｕシステム |
| US5485594A (en) * | 1992-07-17 | 1996-01-16 | International Business Machines Corporation | Apparatus and method using an atomic fetch and add for establishing temporary ownership of a common system resource in a multiprocessor data processing system |
| JPH07105031A (ja) * | 1993-09-20 | 1995-04-21 | Internatl Business Mach Corp <Ibm> | 多重プロセッサ・コンピュータ・システム内で割込み情報を伝えるための方法および装置 |
| JPH07160657A (ja) | 1993-12-08 | 1995-06-23 | Fujitsu Ltd | クラスタ間通信制御装置 |
| JP3701988B2 (ja) * | 1994-07-20 | 2005-10-05 | 富士通株式会社 | 並列計算機のプロセッサ要素内に実装される通信制御装置 |
| GB9505724D0 (en) * | 1995-03-21 | 1995-05-10 | Newbridge Networks Corp | ATM without traffic shaping |
| US5689713A (en) * | 1995-03-31 | 1997-11-18 | Sun Microsystems, Inc. | Method and apparatus for interrupt communication in a packet-switched computer system |
| US6295585B1 (en) * | 1995-06-07 | 2001-09-25 | Compaq Computer Corporation | High-performance communication method and apparatus for write-only networks |
| US6105071A (en) * | 1997-04-08 | 2000-08-15 | International Business Machines Corporation | Source and destination initiated interrupt system for message arrival notification |
| JP3087696B2 (ja) * | 1997-07-25 | 2000-09-11 | 日本電気株式会社 | 分散メモリ型マルチプロセッサ・システム制御方法およびコンピュータ読み取り可能な記録媒体 |
| JPH1166022A (ja) * | 1997-08-12 | 1999-03-09 | Hitachi Ltd | クラスタシステム |
| US6148361A (en) * | 1998-12-17 | 2000-11-14 | International Business Machines Corporation | Interrupt architecture for a non-uniform memory access (NUMA) data processing system |
| JP3482897B2 (ja) | 1999-01-20 | 2004-01-06 | 日本電気株式会社 | クラスタ型並列計算機システムおよびプロセッサ間バリア同期方法 |
| US6799317B1 (en) * | 2000-06-27 | 2004-09-28 | International Business Machines Corporation | Interrupt mechanism for shared memory message passing |
-
2001
- 2001-05-18 JP JP2001148687A patent/JP3807250B2/ja not_active Expired - Fee Related
-
2002
- 2002-05-13 EP EP02010156A patent/EP1276045A3/en not_active Withdrawn
- 2002-05-16 US US10/145,881 patent/US7058744B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7058744B2 (en) | 2006-06-06 |
| EP1276045A2 (en) | 2003-01-15 |
| EP1276045A3 (en) | 2006-02-01 |
| US20020174165A1 (en) | 2002-11-21 |
| JP2002342299A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3807250B2 (ja) | クラスタシステム、コンピュータ及びプログラム | |
| EP1422626B1 (en) | Multi-core communications module, data communications system incorporating a multi-core communications module, and data communications process | |
| US5682551A (en) | System for checking the acceptance of I/O request to an interface using software visible instruction which provides a status signal and performs operations in response thereto | |
| KR100958685B1 (ko) | Ｄｍａ 컨트롤러, 노드, 데이터 전송 제어 방법 및 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 | |
| US7817626B2 (en) | Storage subsystem | |
| US20100070675A1 (en) | Bridge, information processing system, and access control method | |
| KR20150067332A (ko) | 코어 간 통신 장치 및 방법 | |
| US20060236032A1 (en) | Data storage system having memory controller with embedded CPU | |
| JP4100256B2 (ja) | 通信方法および情報処理装置 | |
| US5507032A (en) | Multiprocessor I/O request control system forming device drive queue and processor interrupt queue from rows and cells of I/O request table and interrupt request table | |
| US5901328A (en) | System for transferring data between main computer multiport memory and external device in parallel system utilizing memory protection scheme and changing memory protection area | |
| KR20020009823A (ko) | 버스 시스템 및 그 버스 중재방법 | |
| JP4696199B2 (ja) | 転送ディスクリプタ用メモリを備えるｕｓｂホストコントローラ | |
| JPWO2010097925A1 (ja) | 情報処理装置 | |
| JP2001333137A (ja) | 自主動作通信制御装置及び自主動作通信制御方法 | |
| JP2591502B2 (ja) | 情報処理システムおよびそのバス調停方式 | |
| JP4856413B2 (ja) | 演算処理装置、情報処理装置、及び演算処理装置の制御方法 | |
| US7336657B2 (en) | Inter-nodal data transfer system and data transfer apparatus | |
| JPH0844662A (ja) | 情報処理装置 | |
| EP1990725B1 (en) | Central processing unit, central processing unit control method, and information processing system | |
| JP2000155738A (ja) | データ処理装置 | |
| JP2005208972A (ja) | コンピュータ装置及びシステム | |
| JP2001273191A (ja) | コンピュータシステム | |
| JP2922342B2 (ja) | 割込み制御装置 | |
| JP2984594B2 (ja) | マルチクラスタ情報処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050707 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060216 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060216 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140526 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |