JP4864210B2 - 作業グループサーバー実施の方法と装置 - Google Patents
作業グループサーバー実施の方法と装置 Download PDFInfo
- Publication number
- JP4864210B2 JP4864210B2 JP2000620492A JP2000620492A JP4864210B2 JP 4864210 B2 JP4864210 B2 JP 4864210B2 JP 2000620492 A JP2000620492 A JP 2000620492A JP 2000620492 A JP2000620492 A JP 2000620492A JP 4864210 B2 JP4864210 B2 JP 4864210B2
- Authority
- JP
- Japan
- Prior art keywords
- team
- server
- work group
- processor
- processors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1017—Server selection for load balancing based on a round robin mechanism
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1034—Reaction to server failures by a load balancer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
- Multi Processors (AREA)
Description
(発明の背景)
(関連出願)
この出願は、2000年4月11に特許されて現在は特許第6,049,823号である「A MULTI SERVER, INTERACTIVE, VIDEO−ON−DEMAND TELEVISION SYSTEM UTILIZING A DIRECT−ACCESS−ON−DEMAND WORKGROUP SEVER(ダイレクト−アクセス−オン−デマンド・作業グループサーバーを使用するマルチ・サーバー、インタラクティブ、ビデオ−オン−デマンド・テレビジョン・システム)」と題された1996年11月1日出願の特許出願番号を第08/742,741号とする特許出願の部分継続出願である1999年5月20日出願の暫定特許出願第60/135,318号からの優先権主張に基づく出願である。
【0002】
(発明の分野)
本発明は、概してサーバークラスターに関し、より詳細に述べれば、スケーラビリティのあるウェブ−ベースのイントラネット、エクストラネット、ならびにインターネットのミッション・クリティカルなアプリケーションに適応する各種サーバークラスターを構築するための作業グループサーバーアレーおよびそのアーキテクチャを実施する方法ならびに装置に関する。
【0003】
発明性のサーバー・アレーは、本出願人による「DIRECT−ACCESS TEAM/WORKGROUP SERVER SHARED BY TEAM/WORKGROUPED COMPUTERS WITHOUT USING A NETWORK OPERATING SYSTEM(ネットワーク・オペレーティング・システムを使用しないチーム/作業グループ化されたコンピュータによって共有されるダイレクト−アクセス・チーム/作業グループサーバー)」と題された特許第5,802,391に記述のあるような作業グループ−ベースのダイレクト−アクセス・サーバーおよびコントロール装置を備えたチーム/作業グループコンピューターを包含する。さらに、この発明性のサーバー・アレーは、作業グループ−サーバー−アレー−ベースのアーキテクチャを生み出し、それを使用して各種の高いアベイラビリティならびにスケーラビリティを有するミッション−クリティカルなサーバークラスターを構成することができる。
【0004】
革新的なインターネット・テクノロジの爆発は、アプリケーションの記述ならびに開発の方法に大きな影響を与えている。過去において一旦は静的な「ブローシャ・ウエア」であった数十万のインターネット・ウェブ・サイトも、トランザクション・ケイパビリティを伴った高度にインタラクティブなインターネットアプリケーションに迅速に移行しつつある。大会社の内部では、開発者がエンタープライズ・アプリケーションを大規模イントラネットに統合するためにウェブ・テクノロジを使用している。会社間においては、ビジネス・パートナーが安全なエクストラネットを構築して供給チェーンのストリームライニングおよび通信を向上させている。
【0005】
ウェブ−ベースのアプリケーションがインターネットおよびエンタープライズ・イントラネットならびにエクストラネット上に広がるに従って、それらが行う機能がますますミッション・クリティカルなものになって来ている。さらに、ビジネスはミッション・クリティカルなタスクへのウェブ・ベースのテクノロジの適用を続けていることから、そのアプリケーションに高度のアベイラビリティならびにスケーラビリティを持たせるために洗練されたアプローチを必要としている。
【0006】
高いスケーラビリティならびにアベイラビリティを達成するためのトレンドは、多くの協働するサーバー、つまりエンド・ユーザの要求するアプリケーションを届けるためのサーバークラスターを包含したシステムに向かっている。さらに、大規模ウェブ−ベースのサービスにも、アベイラビリティ、スケーラビリティ、信頼性、パフォーマンス、マネジメント、およびセキュリティ問題への適応を可能にするためサーバークラスターを構築するアーキテクチャが必要とされている。
【0007】
しかしながら、複数の個別のサーバーを使用することによって高いスケーラビリティ、高いアベイラビリティおよびミッション・クリティカルなウェブ−アプリケーション−ベースのサーバークラスターを構築するために使用可能な現在のテクノロジは、シングル−サーバー−ベースの3階層アーキテクチャ、つまりこれ以降においてSS−3アーキテクチャと呼ぶアーキテクチャを生み出す傾向にある。このSS−3アーキテクチャは、概して第1階層コンポーネント、すなわち負荷バランサ;第2階層コンポーネント、すなわちアプリケーション・サーバー;および、第3階層コンポーネント、すなわちデータベースサーバーおよびファイル・サーバーを必要とする。各個別のサーバーは、PCベース、スーパー−マイクロ−ベース、あるいはミニ−コンピュータ−ベースとすることが可能であり、WinNT(ウインドウズNT)、Solaris(ソラリス)、Linux(リナックス)およびUnix(ユニックス)等のオペレーティング・システムを使用する並行処理能力を伴う複数のCPUからなる。
【0008】
このように、SS−3アーキテクチャに基づいて、ウェブ−ベースのアプリケーションのためのアベイラビリティならびにスケーラビリティの高いサーバークラスターを構築することは可能である。しかしながら、これらのアーキテクチャは、同時に次に示す不利益をもたらす。
【0009】
1. 階層化されたそれぞれのコンポーネントに関連する問題
a) 負荷バランサ:すべての到来トラフィックを解析し、ウェブ−ベースの個別の各クエリ/要求を、アタッチされている有効な第2階層のアプリケーション・サーバーの1つにリダイレクトする。負荷バランサは、要求の特性および負荷バランスされたウェブ・アプリケーション・サーバーのアベイラビリティならびにスケーラビリティに基づいて、第2階層にある特定のウェブ−ベースのアプリケーション・サーバーに要求を分配する。この負荷バランサには、3つの基本的なタイプがある:すなわち、スイッチ、ソフトウエア・バランサ、およびアプライアンス・バランサである。しかしながら、上記の負荷バランサのいずれも、ストレスが大きくなるとインターネット接続が遅滞させる可能性を有する。
b) アプリケーション・サーバー:第1階層の負荷バランサから割り当てを受け、ウェブ−ベースのアプリケーションを実行し、アプリケーション指向データ検索のために第3階層のデータベースサーバーおよびファイル・サーバーとインターフェイスする。しかしながら、異なるハードウエアならびにソフトウエア構成に基づく各アプリケーション・サーバーが互いに異なる可能性は否定できず、負荷バランサのマネジメントの複雑化をもたらしている。それに加えて、各アプリケーション・サーバーがロイヤルティ−ベースおよび非ロイヤルティ−ベースのクエリをともに扱うため、セキュリティ基準のレベルが異なるコヒーレントでないプログラム・グループが作られることになる。さらにまた、ネットワーク−アクセス−ベースのセカンダリ・プロセッサーを含むときに限り、サーバーのプライマリ・プロセッサーに故障した場合に、このセカンダリ・プロセッサーが別のネットワーク−ベースのマネジメント・サーバーによってアクセスされ、トリガされてプライマリ・プロセッサーをリブートできるようになっていることを別にすれば、各アプリケーション・サーバーにリモート・ブート能力が備わっていない。
c) データベース/ファイル・サーバー:クライアントと見なされる第2階層にあるすべてのアプリケーション・サーバーからのデータベース/ファイル・クエリを処理するクライアント−サーバー−ベースのサーバーである。ロイヤルティ−ベースのトラフィックと非ロイヤルティ−ベースのトラフィックの間の区別がまったくないことから、ロイヤルティ−ベースならびに非ロイヤルティ−ベースのアプリケーション指向データがすべて1つの中央ファイル・サーバーにストアされ、同時発生のクエリが増大したときの潜在的なデータベース/ファイル検索のボトルネックをもたらしている。さらに、これらのファイル・サーバーならびにデータベースサーバーが、複数のSAN(ストレージ・エリア・ネットワーク)によりイネーブルされるストレージ・デバイスにリンクされる複数の分散型データベースサーバーおよびファイル・サーバーを含むデータ・センタとして実施された場合には、その種のデータ・センタをマネージするための複雑性が高くなる。これは、クライアント中心型サーバーならびにサーバー中心型サーバーのいずれにおいても複雑なデータベース・ソフトウエア・プログラムが必要になるという事実による。しかしながら、アプリケーション指向データとビジネスに敏感なデータを1つのデータ・センタにひとまとめにすることは、ファイアウォールのフィルタリングといった過剰のセキュリティ基準を呈示して、ウェブ−ベースのブラウジング・アクティビティによる破壊行為の潜在的なリスクから保護する必要を生じるため、理想的であるとは言えない。
【0010】
d) 階層間通信スイッチ:第1階層の負荷バランサと第2階層のアプリケーション・サーバーの間、およびアプリケーション・サーバーと第3階層のファイル・サーバーならびにデータベースサーバーの間において必要になる。すべてのコンポーネントがネットワーク−ベースであることから、サーバー間の通信はこれらの2つのスイッチを通じて処理され、不必要な階層間トラフィックのボトルネックならびにマネジメントのオーバーヘッドがもたらされている。
【0011】
e) 階層が多いことはコンポーネントが多いことを意味し、それがシングル−ポイント故障を招く:SS−3アーキテクチャに基づいたすべての負荷バランサ、アプリケーション・サーバー、ファイル・サーバーならびにデータベースサーバー、ルータおよびスイッチは、ミッション・クリティカルなアプリケーションが障害なく維持できるように障害迂回スキームを有する必要がある。包括的な障害迂回スキームを開発することは可能であったとしても、関係するハードウエア構成ならびにソフトウエア・プログラムが多すぎることから、その効率ならびにコスト効果は高くない。
【0012】
2. サーバー・クラスタ・マネジメント:
a) 階層間通信に関連する各コンポーネントの複雑性から、シングル−サーバー−ベースのサーバークラスターのモニタリングおよびマネジメントが複雑になる。単一のソフトウエアのアップグレードがソフトウエアの非互換性をもたらす傾向にあり、その背後には、関係するソフトウエアが多過ぎ、そのそれぞれもまた多様なベンダからのアップグレードを必要とするという事実がある。
【0013】
b)包括的なパフォーマンスは容易には最適化されない。SS−3アーキテクチャに基づいてサーバークラスターが構築された後は、少なくとも安定状態のオペレーションが円滑に扱われ、グリッチを招くことなくピーク時のオペレーションに適応できるという基準を満たすものとなっていなければならない。しかしながら、測定可能な分散型の小規模な最適ポイントがなく、その結果、安定状態のオペレーションのコントロールに不確定要素が追加され、ピーク時のオペレーションを扱う上で必要な測定を制限することになる。
【0014】
c)高速ウェブ・アクセスが一般に行われるようになり、同時に応じるべきデータベース中心型の要求が過剰になると、アベイラビリティが高くコスト効果の良好な線形スケーラビリティの維持が困難になる。現在のところ、ウェブ−ベースのクエリは56kbpsの狭帯域伝送レートに基づいて行われており、関連サービスは、ウェブ−ページ配信に集中している。しかしながら、一般的なデータ転送レートがケーブル・モデムないしはADSLの使用によって1Mbpsもしくはそれ以上に跳ね上がり、優勢なサービスの中心がパーソナル・データベース中心型のウェブ−ページ配信に移行すると、SS−3アーキテクチャでは高いアベイラビリティの維持が困難になる。これは、サーバークラスター内において20倍のトラフィックが生成されると、障害迂回負荷バランサの能力にストレスが掛かって階層間通信の間にボトルネックを生じ、さらにSS−3ベースのスケーラビリティにおけるリターンを過大に抑えるという事実による。
【0015】
(発明の要約)
シングル−サーバー−ベースのアーキテクチャに基づく上述したサーバークラスターは、大規模ウェブ−ベースのミッション・クリティカルなアプリケーションのためのアベイラビリティならびにスケーラビリティの高いソリューションを、効率的に、かつ良好なコスト効果をもって適切に提供することができない。
【0016】
本発明は、上記の欠点を解決するだけでなく、作業グループ−ベースのサーバー−アレーおよびそのアーキテクチャの構築における技術的な突破口を案出し、アベイラビリティならびにスケーラビリティの高いソリューションを効率的に、かつ良好なコスト効果をもって大規模ウェブ−ベースのミッション・クリティカルなアプリケーションに適応させることによってその目的を達成する。
【0017】
本発明は、以下において「チームプロセッサー」と呼ぶ複数のチーム/作業グループコンピューターを使用し、それが以下において「チームフレーム」と呼ぶ作業グループ−コンピュータ・フレーム内に、本出願人の特許第5,802,391号に記述されているように、以下において「チームサーバー」と呼ぶ複数の作業グループ−ベースのダイレクト−アクセス・サーバーとともに収められる。これらのビルディングブロックに基づいて、各種の作業グループサーバーアレー構成が実施される。
【0018】
本発明はさらに固有のモジュラー・作業グループ−ベースのコントロールおよびモニター装置を包含し、以下においてはそれを「チームパネル」と呼ぶが、それがローカルならびにリモートのモニタリングおよびリブート・マネジメント、タスク切り替え、負荷バランス、および障害迂回のコントロール機能を提供する。それに加えて、個々に構成された作業グループサーバーアレーへの適応が、単一の、もしくは互いにカスケード接続された複数の「チームパネル」によって得られる。
【0019】
さらに本発明は、複数の前述したチーム−ビルディング・ブロックを包含し、その結果、各種構成のための好ましい作業グループサーバーアレーを構築して多数の独特な根源的機能を提供することができる。好ましいデータ構造およびデータ・フローに基づけば、これらの根源的な機能には、限定する意図ではないが、内部/外部コントロールされるタスク切り替え、作業グループ−ベースの装置共有、負荷バランス、障害迂回、モニタリングならびにマネジメント、セキュリティならびにパフォーマンス測定が含まれる。
【0020】
本発明ならびにそれに関連するアーキテクチャは、不必要なネットワーク−アクセス−ベースのコンポーネントを除去し、それらを作業グループ−ベースのダイレクト−アクセス・コンポーネントに置き換え、それによって不必要なネットワーク・トラフィックを抑え、かつシングル−ポイント故障を低減することによって、従来のシングル−サーバー−ベースのアーキテクチャに内在する欠点を解決する。
【0021】
さらに、固有のアプリケーションに基づく複数の作業グループサーバーアレーを作業グループサーバークラスターとして形成可能であり、その結果、その特定のアプリケーションに基づく、高いアベイラビリティならびにスケーラビリティを持ったミッション・クリティカルなウェブ・サービスへの適応が可能になる。それに加えて、複数の各種アプリケーション−ベースの作業グループサーバークラスターを、直列ならびに並列両方の態様において構成可能であり、広帯域のサービスの質(QOS)を損なうこともなく非常に多くのユーザーに同時に適応するための大規模マルチ−アプリケーション・ウェブ−ベースのソリューションを提供することができる。
【0022】
前述した本発明の特徴ならびに利点をはじめ、追加のその特徴ならびに利点は、以下の図面を参照した好ましい実施態様の詳細な説明を通じて、より完全に理解されることとなろう。
【0023】
(好ましい実施態様の詳細な説明)
図1〜4に示した、作業グループサーバーアレー用の好ましいビルディングブロックとして使用されるチーム/作業グループコンピューターをベースにする本発明の好ましい実施態様を参照する。
【0024】
チーム/作業グループコンピューターは、作業グループのピア−ツー−ピア・リンクを介して互いに作業グループ化されたコンピュータのグループであり、すべて作業グループサーバーリンクを介して多数のダイレクト−アクセス作業グループサーバーに接続することができる。その詳細については、本出願人による「SINGLE CHASSIS MULTIPLE COMPUTER SYSTEM HAVING SEPARATE DISPLAYS AND KEYBOARDS WITH CROSS INTERCONNECT SWITCHING FOR WORK GROUP COORDINATOR(作業グループ・コーディネータのための相互接続切り替えを伴う分離されたディスプレイおよびキーボードを有する単一フレーム複数コンピューターシステム)」と題された特許第5,530,892号および本出願人による「DIRECT−ACCESS TEAM/WORKGROUP SERVER SHARED BY TEAM/WORKGROUPED COMPUTERS WITHOUT USING A NETWORK OPERATING SYSTEM(ネットワーク・オペレーティング・システムを使用しないチーム/作業グループ化されたコンピュータによって共有されるダイレクト−アクセス・チーム/作業グループサーバー)」と題された特許第5,802,391号に記載されている。それに加えて、上記特許のいずれにも記述されているように、それらが同一の物理レイヤのケーブリングを使用し、修正SCSI(スカジー)等のストレージ−ベースならびに通信ベース両方のデータ・リンク・プロトコルを実行する能力を有する場合には、作業グループのピア−ツー−ピア・リンクおよび作業グループのサーバー・リンクを互いに接続することが可能である。これらの作業グループ化されたコンピュータは、そのそれぞれを以下において「チームプロセッサー」と呼ぶが、同一もしくは異なるCPU/OSプラットフォームを基礎とし、またそれらのダイレクト−アクセス・サーバーは、そのそれぞれを以下において「チームサーバー」と呼ぶが、異なるオペレーティング・システムによってサポートされた同一のファイル・システムを用いてフォーマットすることができる。「チームサーバー」は、ディスク−ベース、テープ−ベース、および光学ベースのドライブを用いて実施することが可能なだけでなく、故障許容ディスク−アレーを用いて実施することができる。
【0025】
特定のOSに基づく各「チームプロセッサー」は、その特定のOS中心型の作業グループサーバーリンクのインターフェース・カード、つまり「チームサーバー」カードとともにインストールされ、すべての「チームサーバー」をダイレクト−アクセスのローカル・ドライブとして認識する。しかしながら、各「チームサーバー」は、ただ1つのプライマリ「チームプロセッサー」を有し、それが読み出し、書き込みおよびファイル生成に関して絶対的な優先権を持つ。さらに、1つの物理的ハードディスク・ドライブをはじめ、故障許容ディスクアレーは、パーティションを作成して複数の論理ドライブとしてフォーマットすることが可能であり、それぞれの論理ドライブを、それぞれ異なる「チームプロセッサー」をプライマリ・プロセッサーとしてコントロールすることができる。これらの「チームプロセッサー」がすべて内部ネットワークリンクに接続され、ネットワーク・オペレーティング・システムがインストールされている場合であっても、これらの「チームサーバー」は、「チームプロセッサー」全体を通じてネットワーク−アクセスが可能なドライブとしてマップされることがない。
【0026】
さらに、以下において「チームプロ」コンピュータと呼ぶところの高度に統合されたチーム/作業グループコンピューターは、複数の「チームプロセッサー」を包含し、そのすべてが本出願人による「CHASSIS FOR A MULTIPLE COMPUTER SYSTEM(複数コンピューターシステム用のフレーム)」と題された特許第5,577,205号に説明のあるように、1つの作業グループの「チームフレーム」内に収められている。「チームプロ」コンピュータは、さらにモニタリングおよびマネジメント装置、すなわち「チームパネル」を、1つのコンソール・モニタおよび1つのRAP(リモート−アクセス−ポート)ベースの装置を通じて各「チームプロセッサー」をコントロールし、それとインターフェイスするための手段として備えており、RAPベースの装置自体は、「SINGLE CHASSIS MULTIPLE COMPUTER SYSTEM HAVING SEPARATE DISPLAYS AND KEYBOARDS WITH CROSS INTERCONNECT SWITCHING FOR WORK GROUP COORDINATOR(作業グループ・コーディネータのための相互接続切り替えを伴う分離されたディスプレイおよびキーボードを有する単一フレーム複数コンピューターシステム)」と題された特許第5,530,892号に記載されているように、2つのシリアル・ポート、1つのキーボード、1つのシステムLED、1つのブザー、および1つのリセット・ボタンを備える。
【0027】
図1Aに示されるように、PC計算プラットフォームに基づく好ましいチーム/作業グループ・コンピュータ−ベースの「チームプロセッサー」は、概してワン−ウェイ、ツー−ウェイ、またはフォー−ウェイいずれかのIntel Pnetium(インテル・ペンティアム)CPUおよび128MBのRAMを実装したWinNT(ウインドウズNT)用PCIベースのマザーボード、フロッピーディスク・インターフェース・モジュール、IDEインターフェース・モジュール、VGAカード・モジュール、サウンド・カード・モジュール、USBモジュール、パラレル・インターフェース・モジュール、RAPモジュール、イーサネットを使用するネットワークリンクLANモジュール、イーサネットを使用する作業グループ・ピア‐ツー−ピア・リンク・モジュール、SCSIを使用する作業グループ・ピア‐ツー−ピア・リンク・モジュール、およびSCSIを使用する作業グループサーバーリンク・モジュールを包含している。さらに「チームプロセッサー」には、フロッピーディスク、IDEディスクおよび光ドライブ、VGAモニター、USBベースのディジタル・カメラ、マウス、ネットワーク・イーサネット−ベースのハブおよびスイッチ、SCSIディスク・ドライブおよびテープ・ドライブ、プリンターおよびスピーカーのセットといったモジュール−ベースの外部周辺ドライブおよび装置が備わっている。
【0028】
図1Bに示すように、好ましい作業グループコンピューターのフレーム、つまり「チームフレーム」は、4つのCPUカード−ベースの「チームプロセッサー」およびIDEベースのディスクならびに光ドライブ、SCSIドライブ等の多数のモジュール−ベースのドライブならびに装置、および「チームパネル」を収容する。同じ「チームフレーム」に、各種のモジュール−ベースのドライブおよび装置を伴う2つのマザーボード−ベースの「チームプロセッサー」を収容することもできる。さらに「チームフレーム」は、内部冗長電源、スマート電源マネジメント、熱交換可能なディスクおよびファン、および外部UPSを備えることができる。
【0029】
作業グループ化して作業グループサーバーアレーを構成できる個別の「チームプロセッサー」の最大数は、内部作業グループサーバーリンクによって制限される。作業グループサーバーリンクがSCSI−IIを使用している場合には、適性なデータ転送が保証される有効長は6メートルであり、アタッチできるノードの数は16までである。ここに少なくとも2つの「チームプロセッサー」を収容できる「チームフレーム」が使用されている理由があり、最初の「チームプロセッサー」が外部からのケーブルを拡張し、2番目のそれが外部接続用にケーブルを拡張することによって、より良好な作業グループ・ピア−ツー−ピア・リンク−ベースのSCSIケーブル・スキームがサポートされる。同一の「チームフレーム」に、SCSIケーブルをさらに短くして4つのCPUベースの「チームプロセッサー」を収容することもできる。現在のところ4つの異なるSCSI標準が存在し、FAST SCSI(ファースト・スカジー)から始まって、Ultra SCSI(ウルトラ・スカジー)、Ultra2(ウルトラ・ツー)LVD SCSIおよびUltra3(ウルトラ・スリー)LVD SCSIまでである。それぞれの標準には、ナロー(8ビット)構成とワイド(16ビット)構成の2つがある。したがって、好ましいSCSIの実施は、ケーブルを最長で12メートルまで延ばすことができる最大データ・レートが160MB/秒のウルトラ−ワイドLVD SCSIとなる。
【0030】
図1Cは、好ましい作業グループ・リンク統合を示しており、これを参照すると8つの好ましい「チームプロセッサー」がSCSIを使用する作業グループ・ピア−ツー−ピア・リンクによってリンクされ、4つのSCSIハードディスク−ベースの「チームサーバー」がSCSIを使用する作業グループサーバーリンクによってリンクされている。これらの「チームプロセッサー」および「チームサーバー」は、同一のSCSIケーブルの使用により互いに接続されている。このようにすることによって、すべての「チームプロセッサー」が別の「チームプロセッサー」、特に絶対優先権を有するプライマリ「チームプロセッサー」を巻き込むことなくダイレクトに各「チームサーバー」にアクセスすることができる。この図1Cに示されるように、各SCSIディスク−ベースの「チームサーバー」は、2つの論理ドライブを有し、各「チームプロセッサー」は、1つの論理ドライブに割り当てられ、絶対優先権を伴ってイネーブルされている。「チームサーバー」に対する別の非プライマリ「チームプロセッサー」によるアクセスは、読み出し専用の態様でのみ許可される。
【0031】
さらに図1Cを参照すると、イーサネット・ハブを備える「チームリンク」カードを介してイーサネットを使用する作業グループ・ピア−ツー−ピア・リンクが示されており、SCSIを使用する作業グループ・ピア−ツー−ピア・リンクが故障したとき、イーサネットを使用する作業グループ・ピア−ツー−ピア・リンクがそれに代わって通信を行い、あるいはその逆を行うことが可能になっている。イーサネットを使用する作業グループ・ピア−ツー−ピア・リンクを実施する主要な利点は、作業グループ内における「チームプロセッサー」間通信がネットワーク・トラフィックをはじめ、他の作業グループの「チームプロセッサー」間通信に悪影響を与えないことである。イーサネットを使用する作業グループ・ピア−ツー−ピア・リンクは、マップ済みドライブ−ベース、ソケット−ベース、およびセキュリティ暗号化/復号化ベースといった各種の「チームプロセッサー」間通信に適応できる。SCSI以外の等価ペリフェラル・バスについても、標準化されているかプロプラエタリであるかによらず、そのデータ−リンク・レイヤにストレージ−ベースのプロトコルおよび通信ベースのプロトコルを実施する能力がある限り、作業グループ・ピア−ツー−ピア・リンクおよび作業グループサーバーリンクを併合させることが可能な事実上のリンクとして採用することができる。しかしながら、構成によっては、作業グループサーバーリンクおよびイーサネットを使用する作業グループ・ピア−ツー−ピア・リンクが開設されている限り、適用可能なペリフェラル・バスのいずれかに基づく作業グループ・ピア−ツー−ピア・リンクが必要なくなることがある。
【0032】
図1Dは、好ましいバージョンの「チームパネル」を示しており、そこには4つの基本コントロール・ユニットおよび1つのメイン・コントロール・ユニットが備わり、RAP、VGA、USBおよびオーディオ・ポートを経由して最大で4つの「チームプロセッサー」が接続される。基本コントロール・ユニットは、1つのマイクロプロセッサーおよび、マイクロプロセッサーによってコントロールされて、別の基本コントロール・ユニットならびにメイン・コントロール・ユニットとリンクする共通のVGAバス、オーディオ・バス、USBバス上におけるVGA信号、オーディオ信号、およびUSB信号のフローを可能にする3つのスイッチが備わる。それに加えて、別の基本コントロール・ユニットおよびメイン・コントロール・ユニットに接続されているI2Cを使用する「チームパネル」ベースの通信リンクが備わり、また10個のインターフェイス信号のセットがフロント・パネルに供給されている。
【0033】
好ましいメイン・コントロール・ユニットは、故障許容用にデュアル・マイクロプロセッサーを備え、グループ化された「チームプロセッサー」間の作業グループ共有可能装置として分類されるキーボード、シリアル−ベースの装置およびプリンターを接続するための物理レイヤのインターフェイスを提供する。さらにメイン・コントロール・ユニットは、各作業グループ化された「チームプロセッサー」のバイタル・サイン、CPU負荷およびアクティビティを追跡するための各種のステータス・テーブルをはじめ、共通バスおよびペリフェラル装置を監視するための使用テーブルを維持しており、これらのテーブルをチェックして衝突のある使用がないことを確認した後、「チームプロセッサー」からの要求の実行をシーケンシャルに許可することができる。
【0034】
好ましいフロント・パネルは、2つのインタラクティブな押しボタンを備え、一方は、選択した「チームプロセッサー」による外部VGAベースのモニターの表示および外部キーボードならびにマウスのコントロールを選択するため、他方は選択した「チームプロセッサー」をリセットするために使用される。また、3セットのLEDが備わり、それぞれは電源オン/オフ、プライマリ・システム・ディスクのアクティビティ、および選択のイネーブルを示す。「チームパネル」機能ボードおよびフロント・パネルのいずれも、「チームフレーム」内に収容されて、容易に配置できるケーブリング・スキームが工夫されている。
【0035】
「チームパネル」をコントロールするデフォルトの「チームプロセッサー」を「チームマネジャー」と呼ぶ。「チームマネジャー」に対する作業グループの通信については、いずれの「チームプロセッサー」もまず、RAPのCOM2を介してそれにアタッチされたコントロール・ユニットにメッセージを送り、続いて当該コントロール・ユニットがI2Cプロトコル・ヘッダを用いてそのメッセージの再パックを行い、「チームパネル」のI2Cを使用する内部リンクを介してメイン・コントロール・ユニットに通知を行う。メイン・コントロール・ユニットがリンケージの発生を許可した後は、基本コントロール・ユニットによる「チームパネル」の内部I2Cリンクを介した「チームマネジャー」との直接的な通信が可能になり、それにより、たとえば、それにアタッチされた「チームプロセッサー」のカレント・ステータスをレポートすることができる。さらに、「チームパネル」の内部リンクを、SCSIおよびイーサネットを使用する作業グループ・ピア−ツー−ピア・リンクに対する代替通信リンクとして使用することもできる。また障害迂回の目的を満たすときには、COM1ベースのマウス装置をUSBベースのマウスに置き換える。つまり、RAPのCOM2が故障した場合には、RAPのCOM1に引き継ぎ、「チームプロセッサー」とそれにアタッチされた基本コントロール・ユニットの間のデータ通信を提供することができる。
【0036】
図1Eは、2つの「チームパネル」を互いにカスケード接続して8つの好ましい作業グループ「チームプロセッサー」を接続した状態を示す。第1の「チームパネル」つまりTP−408Mと第2の「チームパネル」つまりTP−408Cは、共通VGAバス、オーディオ・バス、USBバスおよびI2Cバスを介して接続されているが、TP−408Cにはメイン・コントロール・ユニットがなく、このためTP−408M内に備わるメイン・コントロール・ユニットがTP−408C内のすべての基本コントロール・ユニットを監視することになる。また第1の「チームパネル」をコントロールする「チームマネジャー」は、第2の「チームパネル」の「チームマネジャー」を兼ねる。「チームマネジャー」に対する通信については、第2の「チームパネル」のいずれの「チームプロセッサー」もまず、RAPのCOM2を介してそれにアタッチされたコントロール・ユニットにメッセージを送り、続いて当該コントロール・ユニットがI2Cプロトコル・ヘッダを用いてそのメッセージをパックしなおし、I2Cリンクを介して第1の「チームパネル」内のメイン・コントロール・ユニットに通知を行う。メイン・コントロール・ユニットがリンケージの発生を許可した後は、第2の「チームパネル」の基本コントロール・ユニットによる、「チームパネル」の内部I2Cリンクを介した第1の「チームパネル」の「チームマネジャー」との直接的な通信が可能になる。まったく同じシナリオに基づいて、任意の個別に構成された作業グループサーバーアレーへの適応が、単一「チームパネル」によって、あるいは互いにカスケード接続した複数の「チームパネル」によって得られる。各「チームパネル」のフロント・パネルは、各「チームフレーム」内に収容することも可能であるが、外部ボックスまで延長することも可能であり、その場合は複数の「チームパネル」のモニターおよびコントロールが容易になる。作業グループサーバーアレーのすべての「チームプロセッサー」を収容する複数の「チームフレーム」は、1つの「チームラック」内に収めることが可能であり、それにおいては、追加の「チームフレーム」内に追加の「チームサーバー」が収容可能であり、さらに、すべての「チームフレーム」間ケーブルをはじめ、すべての入りおよび出のケーブルを収容するケーブル分配ボックスを備えることができる。
【0037】
図2Aは、本発明システムの一実施態様に従った好ましい作業グループサーバーアレーを図示した機能ブロック図であり、8つの「チームプロセッサー」、4つのSCSIディスク−ベースの「チームサーバー」および2つのカスケード接続された「チームパネル」から構成され、それらが2つの「チームフレーム」に収容されており、さらにそれを1つの「チームラック」に収容することもできる。
【0038】
図2Bは、本発明システムの一実施態様に従った好ましい作業グループサーバーアレーを図示した機能ブロック図であり、4つの「チームプロセッサー」、2つのSCSIディスク−ベースの「チームサーバー」および1つの「チームパネル」から構成され、それらが1つの「チームフレーム」に収容されており、さらにそれを1つの「チームラック」に収容することもできる。
【0039】
図2Cは、本発明システムの一実施態様に従った好ましい作業グループサーバーアレーを図示した機能ブロック図であり、12の「チームプロセッサー」、デュアルSCSIチャンネルを使用する作業グループサーバーリンクによってリンクされた6つのSCSIディスク−ベースの「チームサーバー」、および3つのカスケード接続された「チームパネル」から構成され、それらが3つの「チームフレーム」に収容されており、さらにそれを1つの「チームラック」に収容することもできる。
【0040】
図3Aは、図2Aに示したような8つの「チームプロセッサー」を含む作業グループサーバーアレーを使用して各種の根源的な機能を実行するために設計された定義済みデータ・フローを伴う好ましい構成を図示している。この好ましい構成に基づけば、8つの「チームプロセッサー」を機能的に次の2つのグループに分類することができる:すなわち(1)アプリケーション/ファイル・サービス・プロセッサー(TP1〜TP4);(2)データベース/ファイルサービス/負荷バランス/ファイアウォール・プロセッサー(TP5〜TP8)である。各「チームプロセッサー」は、SCSIディスク‐ベースのプライマリ「チームサーバー」を有しており、そのそれぞれは、残り7つの「チームプロセッサー」に対して読み出し専用「チームサーバー」として動作させることが可能であり、以下においては、その場合の「チームサーバー」をセカンダリ「チームサーバー」と呼ぶ。つまり、ブート‐アップの間、各「チームプロセッサー」は1つのIDE−ベースのシステム・ドライブを認識するとともに、NOSマッピング・スキームを用いることなく作業グループのダイレクト−アクセス・サーバーとして機能する、1つのプライマリ「チームサーバー」および7つのセカンダリ「チームサーバー」を認識する。それに加えて、作業グループ化されたすべての「チームプロセッサー」によってアクセスされる上記のプライマリならびにセカンダリ「チームサーバー」は、複数の故障許容ディスクアレーおよび、2つのSCSIチャンネル上のトラフィックを分配するためのデュアル−チャンネル「チームサーバー」カードを用いても実施することができる。
【0041】
アプリケーション/ファイル・サービス−ベースの「チームプロセッサー」TP1〜TP4は、それぞれインターネットからのHTTP−ベースのアプリケーション指向ウェブ・クエリを処理してトランザクション・バッチ・ファイルを生成する能力を有し、それがシステムIDEドライブおよびそのプライマリ「チームサーバー」の両方に書き込まれる。データベース/ファイル・サービス−ベースの「チームプロセッサー」TP5〜TP8は、それぞれイントラネットおよびエクストラネットからのFTPベースまたはプロプラエタリのリアルタイムのソケット−ポート−ベースのデータベース指向ウェブ・クエリを取り扱い、システムIDEドライブおよびそのプライマリ「チームサーバー」の両方に書き込まれることになるトランザクション・バッチ・ファイルを生成する能力を有する。
【0042】
それとは別に、「チームプロセッサー」TP5およびTP7は、それぞれのプライマリ「チームサーバー」上にインストールされるアプリケーション固有作業グループデータベースをそれぞれ維持している。これら2つのデータベースは、基本的に、その日の最後には同一になる。TP5によってコントロールされるデータベースは、その日の間において、所定の時間周期(t)内に「チームサーバー1」〜「チームサーバー4」から生成された各バッチ・トランザクション・ファイルに基づいて更新される。TP7によってコントロールされるデータベースは、その日の最後において、その日の間に「チームサーバー1」〜「チームサーバー4」から生成されたすべてのバッチに基づいて更新される。TP6は、主としてイントラネットからのFTPベースのデータベース指向ウェブ・クエリを取り扱い、その結果、TP5による「チームサーバー6」からの検索およびt時間周期ごとのデータベースの更新が可能になる。またTP5は、イントラネットからの、プロプラエタリのリアルタイムのソケット−ポート−ベースのデータベース・クエリがあると、直ちにデータベースを更新する。TP8は、デフォルトの「チームプロセッサー」、つまりこれら2つの「チームパネル」をコントロールする「チームマネジャー」になる。
【0043】
好ましいサーバー−ペア構成を基礎とすることによって、以下においてWSAと呼ぶ、発明性の作業グループサーバーアレー用の多数の独特な機能的サービスを生み出すことが可能になる。
【0044】
WSAサーバーの調和およびスーパーバイザリ・サービスについての好ましい方法の1つは、「チームマネジャー」(TP8)が作業グループ化されたすべての「チームプロセッサー」を調和させ、マネジメント−ベースのアクティビティを生成するという形で実施することができる。このアクティビティには、各「チームプロセッサー」上にインストールされたOSによって生成することができる各「チームプロセッサー」のインベントリ、ディスク・スペースおよびCPU使用のモニターをはじめ、作業グループ化された「チームプロセッサー」のそれぞれにおいて生じ得る侵入、削除および故障の警告が含まれる。各「チームプロセッサー」は、恒常的にマネジメント−ベースのステータス情報をパックし、それをRAPのCOM2を介してそのコントロール・ユニットに渡し、コントロール・ユニットは、メイン・コントロール・ユニットに通知を行った後、「チームパネル」のI2Cリンクを介した、メイン・コントロール・ユニットからのインストラクションを送るためのOKを待機する。OK信号が受信されると、この特定の「チームプロセッサー」による、そのコントロール・ユニットから「チームマネジャー」のコントロール・ユニットへのダイレクト通信が可能になり、続いてRAPのCOM2を介して「チームマネジャー」にステータス情報が送られる。「チームマネジャー」は、常時、作業グループ化されたすべての「チームプロセッサー」に関するマネジメント−ベースのステータス・テーブルを維持している。
【0045】
WSAの内部フロント・パネル切り替えサービスに関係する好ましい方法の1つは、それ自体もしくは任意の「チームプロセッサー」からの、特定の「チームプロセッサー」がまだ機能しているか否かのチェックを求める要求があったとき、「チームマネジャー」がメイン・コントロール・ユニットにその要求を送り、それがさらに診断要求をその特定の「チームプロセッサー」に送るという形で実施することができる。応答がなければ、メイン・コントロール・ユニットは「チームマネジャー」のコントロール・ユニットに対して通知を送り、そこからRAPのCOM2を経由して「チームマネジャー」にその通知が送られる。その後「チームマネジャー」は、ネットワークリンクを介してLANベースのマネジメント・コンソールにアラーム・メッセージを送り、オペレータからの応答を待機する。オペレータは、「Carbon−Copy(カーボン−コピー)」または類似のソフトウエアを起動することによってマネジメント・コンソール・コンピュータを介して「チームマネジャー」のコントロールを引き継ぐことができる。それとは別に、「チームマネジャー」にはビデオ・キャプチャ・カードが備わり、共通VGAバスがNTSCコンバータに接続されているので、任意の「チームプロセッサー」のVGA表示を「チームマネジャー」のVGA表示内に再取り込みすることができる。したがってメイン・コントロール・ユニットに対して「選択」要求を送ることによって、「チームマネジャー」に、故障した「チームプロセッサー」のスクリーン表示を取り込むべくインストラクションを与えることが可能であり、それによって、続いて行われる「チームマネジャー」のコントロール・ユニットから故障した「チームプロセッサー」のコントロール・ユニットへの通信が可能になる。オペレータから故障した「チームプロセッサー」にキーボード入力を送り、それに応じた動作を得て、その後の解析のために「チームマネジャー」上に診断ファイルを保存することもできる。故障した「チームプロセッサー」をリセットするべきであるとオペレータが判断した場合には、故障した「チームプロセッサー」のコントロール・ユニットに「リセット」コマンドを送るように「チームマネジャー」に対してインストラクションを与える。その結果、この特定のコントロール・ユニットは、故障した「チームプロセッサー」に直接リンクされているリセット・ラインをトリガし、それをリセットする。ブート−アップ・プロセスは、「チームマネジャー」上での取り込み、表示および保存が可能であり、それによってオペレータは、リモート・マネジメント・コンソール・コンピュータのある場所において、ステップごとにブート−アップ・プロセスを監視し、インタラクションすることができる。それに加えて、技術要員は、保存済みの診断ファイルに基づいてさらに解析を行い、問題箇所を判断して解決策を引き出すができる。
【0046】
WSAの現場フロント・パネル切り替えサービスに関係する好ましい方法の1つは、VGAモニター、スピーカーのセット、キーボードおよびマウスといった「チームパネル」ベースの作業グループ装置を使用したいずれかの「チームプロセッサー」の監視、コントロールおよびリセットのための、ローカルの現場オペレータによる「チームフレーム」上のフロント・パネルの使用を可能にする形で実施することができる。パネル上の「選択」および「リセット」に関する押しボタン信号は、メイン・コントロール・ユニットに直接リンクされており、メイン・コントロール・ユニットは、いずれかの押しボタン要求があると、該当するときにはまず、使用テーブルをチェックして衝突する使用がないことを確認し、関連するLEDを点滅させる。押しボタンによるアクティブ化の意図がある場合には、ローカルのオペレータがそのボタンをさらに1回押してアクションをトリガすればよく、それにより関連するLEDがオンにセットされる。アクションが完了した後は、関連するLEDがオフにセットされる。
【0047】
WSAのリモート・フロント・パネル切り替えサービスに関係する好ましい方法の1つは、任意のリモート・コンピュータによって、暗号化されたプロプラエタリのアクセス・コードに基づく作業グループ−ベースのシリアル・リンクにアタッチされた外部モデムを介して、「チームマネジャー」もしくはいずれかの「チームプロセッサー」のコントロールを引き継ぐことを可能にする形で実施することができる。この通信が開設された後は、リモート・コンピュータが、LANベースのマネジメント・コンソール・コンピュータとまったく同じに、すべての機能を実行することができる。
【0048】
WSAの装置共有サービスに関係する好ましい方法の1つは、「チームマネジャー」ならびに他の任意の「チームプロセッサー」によるWSA内の周辺装置のアクセスを可能にする形で実施することができる。特定の「チームプロセッサー」がいずれかの周辺装置、たとえばプリンターへのアクセスを必要としているとき、その「チームプロセッサー」が、RAPのCOM2を介して要求メッセージをそのコントロール・ユニットに送ると、そのコントロール・ユニットが内部I2Cリンクを介してメイン・コントロール・ユニットに要求を送る。ステータス・テーブルおよび使用テーブルのチェックの後、使用可能であればメイン・コントロール・ユニットは、続いて行われるその特定のコントロール・ユニットからメイン・コントロール・ユニットへの通信を許可し、さらにメイン・コントロール・ユニットは、ビルトインのパラレル・インターフェースを介してデータをアタッチされたプリンターに中継する。別のシリアル・ポート装置用に同様のプロセスを実施することもできる。しかしながらUSB装置の場合は、特定の「チームプロセッサー」が、そのコントロール・ユニットにRAPのCOM2を介して要求を送り、それをそのコントロール・ユニットがメイン・コントロール・ユニットに送る。USB装置用の使用テーブルをチェックした後、使用可能であれば、メイン・コントロール・ユニットからそのコントロール・ユニットにOK信号が返され、それがボード上のUSBスイッチをオンにする。このようにすれば、その特定の「チームプロセッサー」上のUSBインターフェイスに、共通USBバスを介してビデオ・カメラ等の作業グループ−ベースのUSB装置を直接接続することが可能になる。
【0049】
WSAの障害迂回スキーム−ベースのサービスに関係する好ましい方法の1つは、「チームフレーム」、「チームパネル」、「チームプロセッサー」、「チームサーバー」等のWSA内のミッション・クリティカルなコンポーネントの故障許容あるいは障害迂回を可能にしてミッション・クリティカルなアプリケーションが中断しない形で実施することができる。
【0050】
「チームパネル」については、ミッション・クリティカルな機能がデュアル・マイクロプロセッサーを備えるそのメイン・コントロール・ユニットに関係しており、そのため最初の1つが故障しても次のプロセッサーがそれを引き継いで「チームマネジャー」にアラームを送ることが可能であり、さらにそれからマネジメント・コンソールに通知することができる。「チームフレーム」については、デュアル電源および外部UPSを備えていることから故障許容である。「チームプロセッサー」については、4つの障害迂回用グループ、すなわちTP1およびTP2、TP3およびTP4、TP5およびTP6、TP7およびTP8があり、各グループのメンバは他と同一のハードウエア構成を有している。つまり、各グループ内において一方が故障しても、他方がそれを引き継ぐことができる。したがって、たとえば「チームマネジャー」TP8が故障した場合には、TP7がそれを引き継いで「チームマネジャー」として機能する。さらに、TP1およびTP2からなるペアとTP3およびTP4からなるペアは、ともに障害迂回用のグループである。また、TP5およびTP6からなるペアとTP7およびTP8からなるペアも障害迂回用のグループである。したがって、TP1とTP2のペアが故障した場合にはTP3とTP4のペアがそれを引き継ぎ、逆の場合には逆の引き継ぎが行われる。TP5およびTP6からなるペアとTP7およびTP8からなるペアについてもまったく同じシナリオを適用できる。
【0051】
ファイル−サービス−ベースの「チームサーバー」については、8つの障害迂回用グループ、すなわち「チームプロセッサー1」のIDE1と「チームサーバー1」、IDE2と「チームサーバー2」、IDE3と「チームサーバー3」、IDE4と「チームサーバー4」、IDE5と「チームサーバー5」、IDE6と「チームサーバー6」、IDE7と「チームサーバー7」、IDE8と「チームサーバー8」である。したがって、「チームサーバー1」が故障しても、他の「チームプロセッサー」は「チームプロセッサー1」からIDE1の情報を取り出すことができる。IDE1が故障した場合に他の「チームプロセッサー」は、「チームサーバー1」から情報を直接取り出すことができる。これと同じシナリオが、残り7つの障害迂回用グループにも適用される。データベース−サービス−ベースの「チームサーバー」については、「チームサーバー5」上のデータベースがTP5によってコントロールされ、「チームサーバー7」上のデータベースがTP7によってコントロールされており、前述したように、これらは基本的に同じアプリケーション固有のデータベースである。しかしながら、データベースとTP5のペアが故障すると、データベースとTP7のペアが直ちに、「チームサーバー1」から「チームサーバー8」に収集された関連するすべてのバッチファイルに基づいて「チームプロセッサー7」によって更新され、瞬時にサービスの準備が整う。
【0052】
WSAのアプリケーション−ベースの負荷バランス・サービスに関係する好ましい方法の1つは、「チームパネル」を使用することによってWSA内のアプリケーション−ベースの「チームプロセッサー」の負荷バランスが得られるような形で実施することができる。ウェブ−ベースの環境においては、アプリケーション−ベースであり、かつクエリ−ベースである要求がHTTPプロトコルを使用するインターネットから到来する。到来したクエリ−ベースのトラフィックは、まずルータを通る。続いてこのルータは、すべての要求を「チームマネジャー」TP8に渡す。その後「チームマネジャー」は、到来するトラフィック負荷を内部FTPポートまたはプロプラエタリ・ポートを通じ、イーサネットを使用する作業グループ・ピア−ツー−ピア・リンクを介してTP1、TP2、TP3、およびTP4に分配することができる。ラウンド−ロビンの実施においては、各アプリケーション−ベースの「チームプロセッサー」のCPU使用および応答時間に基づいて、「チームマネジャー」(TP8)がラウンド−ロビン−ベースの負荷バランス・ステータス・テーブルを維持し、「チームパネル」のメイン・コントロール・ユニットが各種のバイタル・サイン・ステータス・テーブルを維持している。
【0053】
作業グループ化されたいずれの「チームプロセッサー」の場合にも、それにアタッチされているコントロール・ユニットに対し、RAPのCOM2を介して恒常的にバイタル・サインおよびそれに類似の信号が送られることから、コントロール・ユニットは、そのデータをパックしなおしてメイン・コントロール・ユニットに通知する。メイン・コントロール・ユニットがリンケージの発生を許可した後は、基本コントロール・ユニットがこのデータをメイン・コントロール・ユニットのメモリ・バッファ内にダウンロードすることが可能になり、それを各種のバイタル・サイン・ステータス・テーブルに割り当てることができる。これらのリアルタイム・ステータス・テーブルに基づいて、メイン・コントロール・ユニットは、故障が発生したか、あるいは過負荷となっている「チームプロセッサー」を検出することができる。これらのいずれかの状況が発生すると、メイン・コントロール・ユニットは、それを「チームマネジャー」にレポートする。過負荷状態の場合には、「チームマネジャー」は、直ちにラウンド−ロビン・シーケンスからの懸案の「チームプロセッサー」の除外を試み、メイン・コントロール・ユニットから、その特定の「チームプロセッサー」を再度ラウンド−ロビン・シーケンスに戻すことに関連した通知を再び受け取るまでそれを継続する。また、故障状態の場合においては、「チームマネジャー」が、作業グループ・ピア−ツー−ピア・リンクを介して懸案の「チームプロセッサー」との通信リンクの開設を試みる。応答がなければ、「チームマネジャー」からメイン・コントロール・ユニットに、RAPの「リセット」ラインを介した「チームプロセッサー」のリセットを通知し、その結果、部分的もしくは完全な回復および、それに従った動作がもたらされる。
【0054】
ラウンド−ロビン方式に加えて、「最少オープン接続」、「最短測定時間または応答時間」、「コンテンツ・タイプ」、「オープン接続数」といった別のインテリジェントアルゴリズムおよびアプリケーション・サーバーから収集されるその他の統計も利用することができる。「チームマネジャー」TP8は、作業グループ・ピア−ツー−ピア・リンクを介してこれらのタイプの情報を1つずつ収集し、故障した「チームプロセッサー」(1ないしは複数)を検出することが可能であることから、1つの特定の「チームプロセッサー」における過負荷を招くことなく、また故障した「チームプロセッサー」に負荷を渡すことなく各種のアルゴリズムをインテリジェントに実施することが可能になる。しかしながら、すべての「チームプロセッサー」の種類が同一であり、「チームマネジャー」が異常状態に基づく「チームパネル」のメイン・コントロール・ユニットからのインストラクションに応答するだけでよいときには、ラウンド−ロビン・アルゴリズムが最良の選択肢となり得る。
【0055】
WSAのファイルサービスおよびデータベースサービスに関係する好ましい方法の1つは、個々の「チームサーバー」上のファイルおよびデータベースに対して、「チームプロセッサー」から直接的にアクセスし、それらの間で共有できるようにする形で実施することができる。これは、ダイレクト−アクセス−ベースのセカンダリ「チームサーバー」用の「チームプロセッサー」に、それと同数の読み出し専用データベース・エンジンをインストールし、プライマリ「チームプロセッサー」に完全なデータベース・エンジン、つまり、そのプライマリ「チームサーバー」上のデータベースに対して適用される絶対的な優先権を有することができるデータベース・エンジンをインストールすることによって達成される。それに加えて、「チームマネジャー」(TP8)は、アタッチされたすべてのファシリティに関する一連のステータス・テーブルおよび使用テーブルを維持している。これらのテーブルの1つは、すべての「チームサーバー」上において二重書き込みによるデータの完全性の喪失が回避されるように、各「チームサーバー」のプライマリ「チームプロセッサー」の同時発生リストを維持している。しかしながら、個々の「チームサーバー」のプライマリ「チームプロセッサー」は、いずれも、障害迂回、異なる時間ゾーンにおける異なるオペレーション・ニーズ、アップグレードのための一時的なスーパーバイザリの変更等があったとき、別の「チームプロセッサー」に変更することが可能である。「チームマネジャー」は、常に、所定の時点において特定の「チームサーバー」を更新できる「チームプロセッサー」が1つだけとなることを保証する。
【0056】
WSAのセキュリティ・サービスに関係する好ましい方法の1つは、WSAへの許可のない侵入を検出する形で実施することができる。「チームマネジャー」TP8は、到来するすべての要求を受け取り、「チームプロセッサー」の間に負荷を分配することから、「チームマネジャー」にセキュリティ強化をおよびファイアウォール機能をインストールし、潜在的な外からの攻撃を防ぐことが必須になる。基本的に「チームマネジャー」TP8は、SSLベースまたはOSベースもしくはより高レベルのアプリケーション−ベースのアクセス暗号化セキュリティ測定を実施して、正当な要求を、イーサネットを使用する作業グループ・ピア−ツー−ピア・リンクを介してアプリケーション−ベースの「チームプロセッサー」にリダイレクトし、到来した要求を2つの異なるセキュリティ−ベースのゾーンに分離することによって疑問のある要求をフィルタ・アウトすることができる。各アプリケーション−ベースの「チームプロセッサー」は、アプリケーション固有のデータベースに対するアクセスを包含することがある応答を見つけ出し、コンテンツ暗号化のセキュリティ基準を用いて適正な内部IPアドレスを含めることによって、それを要求元に返す。これにより「チームマネジャー」はコンテンツを復号し、直前の要求を扱った適正な「チームプロセッサー」にそれをリダイレクトすることができる。このタイプの粘着性のポート・アプローチは、ソースIPアドレス等のファクタおよびユーザー認証装置の要求プロトコルまたは返されたクッキーに含まれる特殊な情報に基づいた持続型セッションとして知られ、安全に実施することが可能であり、ウェブ−ベースの電子商取引アプリケーション・サービスを効率的に行う上で欠くことができない。
【0057】
WSAの障害迂回サービスに関係する好ましい方法の1つは、多数のエージェント−ベースのマネジメント・ソフトウエア、つまり「チームソフト」を作成し、好ましい構成の定義済みデータ構造ならびにデータ・フローに基づいた上記の機能的サービスをすべて統合する形で実施することができる。現在の「チームマネジャー」のみが「チームソフト」のサーバー部分にインストールされ、残りの「チームプロセッサー」は「チームソフト」のクライアント部分にインストールされることになる。アクティブになっている「チームプロセッサー」が1つある間は、リモート・マネジメント・コンソール・コンピュータは、その「チームプロセッサー」をコントロールし、それを「チームマネジャー」として機能させることが可能であり、その結果、故障した「チームプロセッサー」があればそれをリブートして、本発明の作業グループサーバーアレーを正常機能に戻すことができる。「チームソフト」障害迂回機能に基づけば、各「チームプロセッサー」が、「チームマネジャー」を介して障害迂回用ペアの他方が生きているか否かについての検出を起動することができる。生きていなければ「チームプロセッサー」は、故障した他方がサービスを提供していたタスクを引き継ぐ。たとえば、TP5が故障したとすると、TP6に対して「チームマネジャー」が、「チームサーバー5」の優先権およびデータベースを更新するタスクを割り当てる。TP6が故障した場合には、TP5に対して「チームマネジャー」が、「チームサーバー6」の優先権を割り当て、TP6用のIPアドレスに代えてTP5用のIPアドレスを用いて到来した要求を通知することによって、TP6のトラフィックをTP5にリダイレクトする。また「チームソフト」には、自動修正アクションが組み込まれた作業グループ用の問題診断も含まれている。
【0058】
WSAのパフォーマンス測定サービスに関係する好ましい方法の1つは、いくつかの主要パラメータの値を調整することによってWSAにおける最適パフォーマンスの達成が可能になる形で実施することができる。本発明の作業グループサーバーアレーのパフォーマンスは、次の3つのファクタに基づいて決定される:すなわち(1)「チームマネジャー」のファイアウォール・オペレーション、(2)アプリケーション‐ベース「チームプロセッサー」の数、および(3)アプリケーション固有データベースのサイズである。「チームマネジャー」TP8にファイアウォール・オペレーションがインストールされている場合には、コンテンツ復号セキュリティおよび上位レイヤ・アクセス‐ベースのセキュリティを満たすための時間が過大になり、1分当たりの到来要求の数が減少する。しかしながら、この問題は、ネットワーク・レイヤのフィルタリングおよび上位レイヤのフィルタリングを実行することができるファイアウォール−ベースのルータをアタッチすることによって解決される。
【0059】
アプリケーション−ベースの「チームプロセッサー」の数が減少すると、1分当たりに送り出される応答の数が減少する。データベースについての考察と同様に、アプリケーション中心型のデータベースが非ロイヤルティ・トラフィックに基づいて構築されている場合には、場合によっては非ロイヤルティ・ベースのトラフィックを満たすために増加することがあるレディメードの情報だけを供給する傾向が生じる。その逆に、ロイヤルティ・トラフィックに基づいて構築されている場合には、データベースが格段に大きくなる。しかしながら、応答ページを形成するためにデータベースからデータを検索するときに要する時間は、別の「チームプロセッサー」に依存することなく「チームサーバー」上のデータベースに容易にアクセスできることから問題とならない。
【0060】
したがって、2つのシナリオが存在することになる:すなわち(1)非ロイヤルティ・アプリケーション−ベース、および(2)ロイヤルティ・アプリケーション−ベースである。非ロイヤルティ−ベース状況下においては、本発明の作業グループサーバーアレーの最適パフォーマンスが、アプリケーション−ベースの「チームプロセッサー」の数に依存する。計算パワーおよびサービスの複雑度に基づき、1つの「チームプロセッサー」が、送出する応答を抑え、許容可能なサービスの質(QOS)と考えられるサービスを低下させることなく処理することができる到来する要求の数はXである。つまり、4つの「チームプロセッサー」は、安定状態のオペレーションにおいて、到来する4X個の要求に適応することができる。ピーク時の非ロイヤルティ・トラフィックが6Xに跳ね上がったとしても、本発明の作業グループサーバーアレーは、TP6およびTP7をアプリケーション−ベースの「チームプロセッサー」に割り当て、「チームマネジャー」によって運用されるラウンド‐ロビン負荷バランス・アルゴリズムに加えることによって、ピーク時のオペレーションに適応することができる。
【0061】
さらに、図2Cに示した12個の「チームプロセッサー」をベースにする作業グループサーバーアレーにおいては、12個のうち8個がアプリケーション−ベースの「チームプロセッサー」であり、安定状態のオペレーションにおいて8X個の非ロイヤルティ・トラフィックに適応し、ピーク時オペレーションにおいては10X個のトラフィックに適応することができる。ただし到来するトラフィックが10X個を超える場合には、第2の作業グループサーバーアレーが必要になる。
【0062】
ロイヤルティ−ベース状況下においては、本発明の作業グループサーバーアレーの最適パフォーマンスが、アプリケーション−ベースの「チームプロセッサー」の数およびロイヤルティ−ベースのデータベースのサイズに依存する。このデータベースのサイズが過度に大きく、到来する要求がすべての「チームプロセッサー」が扱うことができる数を超えて生成された場合には、データベースのサイズを縮小して安定状態のオペレーション要件を満たす必要があり、超過分については第2の作業グループサーバーアレーに移す必要がある。たとえば12個の「チームプロセッサー」をベースにする作業グループサーバーアレーは、8X個のロイヤルティ・トラフィックに適応できるが、それは、アプリケーション中心データベース上にインストール可能なロイヤルティ−ベースのユーザー数Yに転化することができる。ピーク時の状況下において、Y人のユーザーが10X個のロイヤルティ−ベースのトラフィックを生成しても、許容可能なQOSを満たすことができる。
【0063】
本発明の作業グループサーバーアレーは、常にXおよびYの数の再調整を行い、「チームマネジャー」によって収集された情報に基づいて許容可能なサービスの質を確保している。つまり、本発明の作業グループサーバーアレーに関するパフォーマンス測定値は、パラメータXおよびYとなり、最適動作ポイントをはじめ、リソースの増加を必要とする問題の予測を導くことができる。
【0064】
より高い帯域幅のアプリケーションについては、サービスの程度が高くなり、それによってXおよびYの数が下がることが考えられる。しかしながら、本発明の作業グループサーバーアレーのQOSが損なわれることはない。
【0065】
ロイヤルティ−ベースのシナリオにおいて、より多くの到来する同一アプリケーションの要求に適応するため、図3Bに、それぞれが相互排他のデータベース・セグメントを有する複数のシングル−アプリケーション−ベースの作業グループサーバーアレーからなる作業グループサーバークラスターを示す。それぞれの作業グループサーバーアレーがQOSを満たすことから、全体的な作業グループサーバークラスターもまたQOS適合である。
【0066】
このようにして、第1の作業グループサーバーアレーからn番目の作業グループサーバーアレーまでを含む作業グループサーバークラスターによって、アベイラビリティならびにスケーラビリティの高い、ミッション・クリティカルなアプリケーションに適応することが可能になる。これがロイヤルティ−ベースであることから、ルータは、適正なIPアドレスに基づいて適正な到来トラフィックを適正な「チームマネジャー」に直ちに分配することが可能であり、この情報は、それらのブラウザの「クッキー」内、あるいはネットワーク・アクセスおよびユーザー認証に使用可能なチップ−ベースのスマート・カード内のいずれかにインストールされている。
【0067】
非ロイヤルティ−ベースの状況については、ルータは、URLをIPアドレスに変換するドメインネームサーバー(DNS)とともに、組み込みラウンド−ロビン機能を使用することによって、到来する負荷を非ロイヤルティ−ベースの作業グループサーバークラスターの複数の「チームマネジャー」に分配することができる。これを行う間に、非ロイヤルティ−ベースのトラフィックのための負荷バランスが実施され、この場合にもQOSが損なわれることがない。作業グループ・サーバー・クラスタ−ベースの負荷バランスだけでなくラウンド−ロビン−ベースのDNSに基づいたこの独特な方法は、すべてのウェブ・アプリケーションをマネージし、負荷バランスを得るだけの充分なパワーが要求され、階層間ネットワーク・スイッチの過負荷を招く不必要なネットワーク・トラフィックを生み出していたグローバルな負荷バランサを不要にするという明確な利点をもたらす。さらに、いずれかの「チームマネジャー」が故障した場合には、DNSからその「チームマネジャー」の障害迂回用ペアの他方にメッセージが送られ、DNSが、「チームマネジャー」のIPアドレスと障害迂回用の他方のIPアドレスをともに通知することから、それに対する割り当てが自動的に行われて、DNSから到来するトラフィックの引き継ぎ、および処理が行われる。
【0068】
ロイヤルティ−ベースおよび非ロイヤルティ−ベースのシナリオのいずれについても、ウェブ−ベースのアプリケーションが良好に定義されており、それに関連付けされたデータベースもまた良好に定義されているはずであることから、データベース・サーバー・プログラムは、複雑なインテリジェンスを組み込む必要がなく、高速かつ実行がシンプルである必要がある。データベース検索に要する時間は、XおよびYを大きな数とし、より良好なパフォーマンスを得るためにも、可能な限り短くあるべきである。
【0069】
ユーザー/サーファから到来する要求が多くの異なるウェブ−ベースのアプリケーションに関係すると考えられることから、複数の異なるアプリケーション−ベースの作業グループサーバークラスターをインストールする必要がある。図4は、アベイラビリティならびにスケーラビリティの高いミッション・クリティカルなイントラネット、エクストラネット、インターネットアプリケーションのための包括的なウェブ−サーバーの実施態様であり、直列および並列に連鎖させた複数の作業グループサーバークラスターが統合されて、理想的かつ安全な分散コンピューティング環境が作られている。
【0070】
ファイアウォール・ベースの作業グループサーバーアレーを使用するゾーン−ベースのセキュリティに加えて、異なる作業グループサーバークラスターの間における相互通信を、SSLベース、OSベース、またはアプリケーション−ベースのコンテンツおよびアクセス・セキュリティを伴うプロプラエタリ・ポートを使用することによって安全に実施することが可能であり、その結果、作業グループサーバークラスターのいずれに対するアクセスが、いかなる外来通信にも許されない。
【0071】
さらに、FC−ALまたは類似のリンクをすべての「チームマネジャー」のリンクに使用することによって、各作業グループサーバーアレーの「チームサーバー」を、ハードディスク−ベース、テープ−ベースあるいは光ディスク−ベースであるかによらず、すべてFCデバイスに変換することが可能になり、続いてそれを、SAN(ストレージ・エリア・ネットワーク)ベースのバックエンド・データベース・プロセッサーのいずれかを用いてアクセスし、維持することができる。このようにすると、バックエンド・データ中心のSANベースの高度なファイル・サーバーならびにデータベースサーバー用の、あらゆる作業グループサーバーアレーのアプリケーション中心型ファイルおよびデータベースサーバーまたはデータ・キャッシング・サーバーに、よりインテリジェントなデータベース・エンジンが備えられることになる。
【0072】
結論を述べれば、本発明は、次のような独特なコンポーネントを具体化する:すなわち(1)「チームプロセッサー」、(2)「チームサーバー」および「チームサーバー」カード、(3)「チームパネル」、(4)「チームリンク」カード、(5)「チームフレーム」、および(6)「チームラック」である。これらの独特なコンポーネントに基づき、本発明は、多くの独特な方法を採用して好ましい作業グループサーバーアレーを構成する。すなわちそれは、(1)WSAのサーバー−ペア方法、(2)WSAのマルチ作業グループ・リンク方法、(3)WSAのサーバー調整およびスーパーバイザリ方法、(4)WSAの内部、現場およびリモート「フロント・パネル」切り替え方法、(5)WSAの装置共有方法、(6)WSAのフェイル−セーフおよび回復方法、(7)WSAの負荷バランス方法、(8)WSAのファイル/データベース共有方法、(9)WSAのセキュリティ−ベースの方法、(10)WSAの「チームソフト」ベースのマネジメント方法、および(11)WSAの最適パフォーマンス測定方法である。さらに、これらの発明性の作業グループサーバーアレーに基づいて、本発明は多数の独特な方法を採用して好ましい作業グループサーバークラスター(WSC)を構築した。すなわちそれは(1)WSCの構成方法、(2)WSCの負荷バランス方法、(3)WSCのキャッシュ中心型データベース方法、(4)WSCのユーザー認証ロイヤルティ中心型の作業グループデータベース方法である。最後に、これらの発明性の作業グループサーバークラスターに基づき、本発明は、多数の独特な方法を使用して好ましい「フロント−オフィス」ウェブ−ベースのサーバー・ファームを構築した。すなわちそれは(1)複数WSCの直列連鎖方法、(2)複数WSCの並列連鎖方法、(3)直列連鎖および並列連鎖による複数WSCをストレージ・エリア・ネットワーク(SAN)を用いてリンクする方法である。
【0073】
以上から本発明が、作業グループサーバーアレーおよび、安全な分散コンピューティング環境において、アベイラビリティならびにスケーラビリティが高く、ミッション・クリティカルなサーバークラスターを構築するための、その関連アーキテクチャを提供することが理解されよう。
【0074】
当業者であれば、追加の利点ならびに修正が容易に明らかなものとなろう。したがって、本発明のより広い側面が、ここに示し、説明した具体的な詳細、代表として表した装置、および説明用の例に限定されることはない。換言すれば、出願人の包括的な発明思想の真意ならびに範囲から逸脱することなく、この種の詳細から離れることは可能である。本発明は、付随する特許請求の範囲によってのみ定義される。
【図面の簡単な説明】
【図1】A. 好ましい作業グループサーバーアレーを構築するための装置の1つとして好ましい作業グループ・プロセッサー、すなわち「チームプロセッサー」を示した機能ブロック図である。
B. 好ましい作業グループサーバーアレーを構築するための装置の1つとして好ましい作業グループコンピュータ・フレーム、すなわち複数の「チームプロセッサー」を収容できる「チームフレーム」を示した機能ブロック図である。
C. 好ましい統合化構成の1つを示した機能ブロック図であり、それには本発明の実施態様の1つとして、複数のリンクを介してネットワークされ作業グループ化された8つの好ましい「チームプロセッサー」をはじめ、4つの「チームサーバー」が包含される。
D. 好ましいモジュラー型の作業グループ−ベースのモニタリングおよびマネジメント、すなわち「チームパネル」を示した機能ブロック図であり、それには4つの基本コントロール・ユニット、デュアル・プロセッサーを伴う1つのメイン・コントロール・ユニットが包含され、フロント・パネルが組み込まれた「チームフレーム」に収容することができる「チームプロセッサー」を最大で4つまで接続することができる。
E. プライマリ「チームパネル」およびセカンダリ「チームパネル」をカスケード接続し8つの「チームプロセッサー」構成に適応するモジュラーを示した機能ブロック図である。
【図2】A. 本発明システムの一実施態様に従った好ましい作業グループサーバーアレーを示した機能ブロック図であり、8つの「チームプロセッサー」、4つのSCSIディスク−ベースの「チームサーバー」および2つのカスケード接続された「チームパネル」から構成され、それらすべてが2つの「チームフレーム」に収容されている。
B. 本発明システムの一実施態様に従った好ましい作業グループサーバーアレーを示した機能ブロック図であり、4つの「チームプロセッサー」、2つのSCSIディスク−ベースの「チームサーバー」および1つの「チームパネル」から構成され、それらすべてが1つの「チームフレーム」に収容されている。
C. 本発明システムの一実施態様に従った好ましい作業グループサーバーアレーを示した機能ブロック図であり、12の「チームプロセッサー」、デュアルSCSIチャンネルを使用してリンクされる6つのSCSIディスク‐ベースの「チームサーバー」、および3つのカスケード接続された「チームパネル」から構成され、それらすべてが3つの「チームフレーム」に収容されている。
【図3】A. 内部オペレーション、障害迂回、負荷バランス、セキュリティ、マネジメントおよび最適パフォーマンス測定とともに使用するための複数の根源的機能がすべてインストールされた、好ましい8つの「チームプロセッサー」サーバー・アレー上における好ましいデータ構造ならびにデータ・フローの方法の実施を示した機能ブロック図である。
B. 複数のシングル‐アプリケーションの作業グループサーバーアレーからなる作業グループサーバークラスターを示した機能ブロック図であり、それぞれは最適パフォーマンス測定に基づく相互排他データベース・セグメントを提供し、それにより高いアベイラビリティならびにスケーラビリといった相互作業グループ−ベースの根源的機能がインストールされる。
【図4】 各種セキュリティ・ゾーン−ベースのアプリケーション指向作業グループサーバークラスターおよび、FC−ALハブまたはFCスイッチを使用するバックエンド・データベース・サーバーの好ましい統合を示した機能ブロック図であり、好ましいデータ中心/ウェアハウス構成がウェブ−ベースのミッション・クリティカルな分散コンピューティング環境において作られる。
Claims (50)
- それぞれマルチCPU計算プラットフォームを具えた複数のチームプロセッサーを有しており、各プラットフォームはRAMと、モニター、音響スピーカー、アクセスポート、USB、ネットワークリンク、作業グループピア・ツー・ピアリンク、周辺ドライバーおよび作業グループサーバーリンクに接続するための各モジュールとを有しており、かつ各チームプロセッサーの作業グループサーバーリンクが、共有される複数の作業グループサーバーに接続されていることを特徴とするマルチプロセッサー・コンピューターシステム。
- 各作業グループサーバーが故障許容ディスクアレーであることを特徴とする請求項1に記載のシステム。
- さらに少なくとも1個のフレームを有しており、これに少なくとも4個のチームプロセッサーと少なくとも2個の作業グループサーバーが収容されていることを特徴とする請求項1に記載のシステム。
- 少なくとも8個のチームプロセッサーと少なくとも4個の作業グループサーバーとを有しており、各チームプロセッサーが各作業グループサーバーと接続されていることを特徴とする請求項1に記載のシステム。
- さらに複数の制御CPUを具えた少なくとも1個のチームパネルを有しており、各CPUが対応するチームプロセッサーに接続され、各CPUが複数スイッチを有していて、これらスイッチが対応するチームプロセッサーをUSB装置、モニター、音響スピーカー、キーボード、マウス、モデム、プリンターおよびシリアル装置に選択的に接続することを特徴とする請求項1に記載のシステム。
- さらに複数のチームパネルが互いに接続されて、より多数のチームプロセッサーを接続していることを特徴とする請求項5に記載のシステム。
- 少なくとも1個の追加的な制御CPUが第1の主制御ユニットと指定されており、分担バスへのアクセス、チームプロセッサーのための装置およびチームプロセッサー間の負荷バランスの管理を行うことを特徴とする請求項5に記載のシステム。
- さらに第1の主制御ユニットの故障バックアップモードのための第2の主制御ユニットを有していることを特徴とする請求項7に記載のシステム。
- いずれかのチームプロセッサーがチームパネルを制御するチームマネジャーとされていることを特徴とする請求項7に記載のシステム。
- 少なくとも1個の作業グループサーバーが主としてファイルサービスのアプリケーションに従事し、他の少なくとも1個の作業グループサーバーが主としてデータベースファイルサービスに従事していることを特徴とする請求項1に記載のシステム。
- ファイルサービスアプリケーション従事作業グループサーバーがアプリケーション指向の要求にサービスする能力を提供することを特徴とする請求項10に記載のシステム。
- データベースファイルサービス従事作業グループサーバーがデータベース指向の要求にサービスする能力を提供することを特徴とする請求項10に記載のシステム。
- 各作業グループサーバーが失敗を予防する措置のために周辺装置に書き込まれるバッチファイルを発生することを特徴とする請求項10に記載のシステム。
- 少なくとも他の作業グループサーバーが失敗を予防する措置のためにアプリケーションファイルとデータベースファイルを提供することを特徴とする請求項10に記載のシステム。
- 各チームプロセッサーが1個の作業グループサーバーを主たるものとして、残りの全ての作業グループサーバーを第2のものとして認識することを特徴とする請求項1に記載のシステム。
- 作業グループピア・ツー・ピアリンクがイーサネットまたはSCSIインターフェイスに基づいており、作業グループサーバーリンクがSCSIインターフェイスに基づいていることを特徴とする請求項1に記載のシステム。
- いずれかのチームプロセッサーがチームマネジャーとして指定されて、残りのチームプロセッサーの状態をモニターすることを特徴とする請求項1に記載のシステム。
- 各作業グループサーバーが少なくとも1個のチームプロセッサーに直接アクセスすることを特徴とする請求項1に記載のシステム。
- チームプロセッサーの複数のグループを有し、該チームプロセッサーのそれぞれがマルチCPU計算プラットフォームを具え、各グループは複数のチームプロセッサーを有してかつVGAモニター、キーボード、音響スピーカーおよびシリアルバスとの接続のためのチームパネルに接続されており、各グループは作業グループサーバーリンクに接続されており、複数の直接アクセス作業グループサーバーが作業グループサーバーリンクによりチームプロセッサーのグループに接続されており、該グループは作業グループピア・ツー・ピアリンクを介して作業グループイーサネットハブに接続され、該グループは作業グループイーサネットスイッチを介してローカルエリアネットワークに接続されていることを特徴とする作業グループサーバーアレーシステム。
- 各作業グループサーバーが故障許容ディスクアレーであることを特徴とする請求項19に記載のシステム。
- さらに1個のフレームが設けられており、これが少なくとも4個のチームプロセッサーと少なくとも2個の作業グループサーバーを収容していることを特徴とする請求項19に記載のシステム。
- 少なくとも8個のチームプロセッサーと少なくとも4個の作業グループサーバーが含まれていて、各チームプロセッサーが各作業グループサーバーと接続されていることを特徴とする請求項19に記載のシステム。
- 複数の制御CPUを具えた少なくとも1個のチームパネルが設けられており、各CPUが対応するチームプロセッサーと接続されており、各CPUが複数のスイッチと接続されており、これらのスイッチが対応するチームプロセッサーをUSB装置、モニター、音響スピーカー、キーボード、マウス、モデム、プリンターおよびシリアル装置に選択的に接続していることを特徴とする請求項19に記載のシステム。
- 複数のチームパネルが相互に接続されて、より多数のチームプロセッサーに接続されていることを特徴とする請求項23に記載のシステム。
- 制御CPUのうちの少なくとも1個が第1の主制御ユニットとして指定され、チームプロセッサーのための分担バスと装置へのアクセスおよびチームプロセッサー間の付加バランスの監視を行うことを特徴とする請求項23に記載のシステム。
- さらに第1の主制御ユニットの故障モードバックアップのための第2の主制御ユニットが設けられていることを特徴とする請求項25に記載のシステム。
- チームマネジャーとして指定されたいずれかのチームプロセッサーがチームパネルを制御することを特徴とする請求項25に記載のシステム。
- 少なくとも1個の作業グループサーバーが主としてアプリケーションファイルサービスに従事し、他の少なくとも1個の作業グループサーバーが主としてデータベースファイルサービスに従事することを特徴とする請求項19に記載のシステム。
- アプリケーションファイルサービスに従事する作業グループサーバーがアプリケーション指向の要求にサービスする機能を提供することを特徴とする請求項28に記載のシステム。
- データベースファイルサービスに従事する作業グループサーバーがデータベース指向の要求にサービスする機能を提供することを特徴とする請求項28に記載のシステム。
- 各作業グループサーバーが失敗を予防する措置のために周辺装置に書き込まれるバッチファイルを発生することを特徴とする請求項28に記載のシステム。
- 他の少なくとも1個の作業グループサーバーが失敗を予防する措置のためにアプリケーションファイルサービスおよびデータベースファイルサービスを提供することを特徴とする請求項28に記載のシステム。
- 各チームプロセッサーが1個の作業グループサーバーを主として残りの作業グループサーバーを第2のものとして認識することを特徴とする請求項19に記載のシステム。
- 作業グループピア・ツー・ピアリンクがイーサネットまたはSCSIに基づいており、作業グループサーバーリンクがSCSIインターフェイスに基づいていることを特徴とする請求項19に記載のシステム。
- 1個のチームプロセッサーがチームマネジャーとして指定されて、残りの各チームプロセッサーの状態をモニターすることを特徴とする請求項19に記載のシステム。
- 各作業グループサーバーが少なくとも1個のチームプロセッサーに直接アクセス可能であることを特徴とする請求項19に記載のシステム。
- 複数のチームプロセッサーを有しており、各チームプロセッサーがマルチCPU計算プラットフォームとチームプロセッサーを複数の共有される直接アクセスチームサーバーに接続する作業グループサーバーリンクとを有しているマルチプロセッサーコンピューターシステムにおいて:第1のチームプロセッサーをチームマネジャーとして選択し、該チームマネジャーを用いて全ての残りのチームプロセッサーの状態をモニターし、各チームプロセッサーがその状態をチームマネジャーに送り、該チームマネジャーがチームプロセッサーから受け取った状態情報に対応するマネジメント−ベースのステータステーブルを有していることを特徴とするチームサーバーの調整管理方法。
- 各チームプロセッサーがVGAリンクを介して共通のモニターに接続されており、さらにチームマネジャーを用いて各チームプロセッサーの診断をモニターし、チームマネジャーにより故障したチームプロセッサーのVGAリンクを取り込み、かつチームマネジャーによりチームプロセッサーをリセットすることを特徴とする請求項37に記載の方法。
- 負荷バランスのために少なくとも1個のチームプロセッサーを割り当て、データベースサービスのために少なくとも1個のチームプロセッサーを割り当て、かつアプリケーション特定サービスのために少なくとも1個のチームプロセッサーを割り当てることを特徴とする請求項37に記載の方法。
- チームプロセッサーを対にして、他の対のために1個のチームプロセッサーによる故障許容を提供することを特徴とする請求項37に記載の方法。
- コンピューターシステムがチームプロセッサーの状態をモニターする追加の装置を有していて、さらに該装置を用いてチームプロセッサーの状態をモニターし、該装置がチームプロセッサー間の負荷バランスの最終的な調整器(arbitrator)であって、かつチームマネジャーに指示してチームプロセッサー間の負荷分布を変更させて負荷バランスを行うことを特徴とする請求項37に記載の方法。
- 各チームプロセッサーには主サーバーとして1個の作業グループサーバーが付加されており、残りの作業グループサーバーは第2のサーバーとして付加されていることを特徴とする請求項19に記載のシステム。
- 選択されたチームプロセッサーのための各主サーバーが該チームプロセッサーへのデータベースアクセスの全機能を提供し、他の全てのチームプロセッサーへのリードオンリーデータベースアクセス機能を提供することを特徴とする請求項42に記載のシステム。
- あるチームプロセッサーはアプリケーションに基づいており、あるチームプロセッサーはデータベースに基づいており、かつある作業グループサーバーはアプリケーションに基づいたサーバーであり、あるものはデータベースサーバーであり、さらにアプリケーションに基づいたチームプロセッサーとサーバーとの数を調整する手段が設けられていて、入力交信のための挙動品質を最適なものとすることを特徴とする請求項19に記載のシステム。
- 複数の相互接続された作業グループサーバーアレーを有しており、該作業グループサーバーアレーは、チームプロセッサーの複数のグループを有し、該チームプロセッサーのそれぞれがマルチCPU計算プラットフォームを具えており、各グループが複数のチームプロセッサーを有してかつVGAモニター、キーボード、音響スピーカーおよびシリアルバスとの接続のためのチームパネルに接続されており、各グループが作業グループサーバーリンクに接続されており、複数の直接アクセス作業グループサーバーが作業グループサーバーリンクを介してチームプロセッサーのグループに接続されており、該グループは作業グループピア・ツー・ピアリンクを介して作業グループイーサネットハブに接続されており、該グループはまた作業グループイーサネットスイッチを介してローカルエリアネットワークに接続されていることを特徴とする作業グループサーバークラスター。
- さらにラウンドロビンサーバーが設けられていて、複数の作業グループサーバーアレー間の負荷をバランスさせることを特徴とする請求項45に記載のクラスター。
- 入力交信を分配するドメインネームサーバーが設けられていることを特徴とする請求項46に記載のクラスター。
- 各作業グループサーバーアレーが作業グループデータベースを与えて、これが作業グループサーバークラスター中の他の各作業グループサーバーアレーの作業グループデータベースと重複していることを特徴とする請求項45に記載のクラスター。
- 各作業グループサーバーアレーが独特な作業グループデータベースを提供することを特徴とする請求項45に記載のクラスター。
- 複数の追加的な作業グループサーバークラスターへの直列/並列接続により上方にスケール可能であり、これにより高いアベイラビリティかつミッション・クリティカルなアプリケーションが得られることを特徴とする請求項45に記載のクラスター。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13531899P | 1999-05-20 | 1999-05-20 | |
US60/135,318 | 1999-05-20 | ||
PCT/US2000/013595 WO2000072167A1 (en) | 1999-05-20 | 2000-05-17 | A method and apparatus for implementing a workgroup server array |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003500742A JP2003500742A (ja) | 2003-01-07 |
JP4864210B2 true JP4864210B2 (ja) | 2012-02-01 |
Family
ID=22467552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000620492A Expired - Fee Related JP4864210B2 (ja) | 1999-05-20 | 2000-05-17 | 作業グループサーバー実施の方法と装置 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP1114372A4 (ja) |
JP (1) | JP4864210B2 (ja) |
KR (1) | KR20010074733A (ja) |
CN (1) | CN1173281C (ja) |
AU (1) | AU5273800A (ja) |
CA (1) | CA2338025C (ja) |
WO (1) | WO2000072167A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7325030B2 (en) * | 2001-01-25 | 2008-01-29 | Yahoo, Inc. | High performance client-server communication system |
JP2005524884A (ja) * | 2001-08-10 | 2005-08-18 | サン・マイクロシステムズ・インコーポレーテッド | コンピュータシステム |
CN1320483C (zh) * | 2001-09-21 | 2007-06-06 | 泛伺服公司 | 用于在多节点环境中实施日志处理的系统和方法 |
US6567272B1 (en) * | 2001-11-09 | 2003-05-20 | Dell Products L.P. | System and method for utilizing system configurations in a modular computer system |
CN100334546C (zh) * | 2003-07-08 | 2007-08-29 | 联想(北京)有限公司 | 实现机群监控系统使用多种数据库系统的方法和装置 |
US7865326B2 (en) | 2004-04-20 | 2011-01-04 | National Instruments Corporation | Compact input measurement module |
KR100609082B1 (ko) * | 2004-07-16 | 2006-08-08 | 주식회사 세미라인 | 미션 크리티컬한 생산설비 관리장치 |
US7373433B2 (en) * | 2004-10-22 | 2008-05-13 | International Business Machines Corporation | Apparatus and method to provide failover protection in an information storage and retrieval system |
US8332925B2 (en) * | 2006-08-08 | 2012-12-11 | A10 Networks, Inc. | System and method for distributed multi-processing security gateway |
US20080319925A1 (en) * | 2007-06-21 | 2008-12-25 | Microsoft Corporation | Computer Hardware Metering |
US20080319910A1 (en) * | 2007-06-21 | 2008-12-25 | Microsoft Corporation | Metered Pay-As-You-Go Computing Experience |
JP5777649B2 (ja) | 2013-01-28 | 2015-09-09 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04148363A (ja) * | 1990-10-11 | 1992-05-21 | Toshiba Corp | マルチコンピュータシステム |
JPH04229356A (ja) * | 1990-04-30 | 1992-08-18 | Internatl Business Mach Corp <Ibm> | ロードバランスシステム |
JPH0756838A (ja) * | 1993-08-11 | 1995-03-03 | Toshiba Corp | 分散サーバ制御装置 |
US5530892A (en) * | 1993-03-16 | 1996-06-25 | Ht Research, Inc. | Single chassis multiple computer system having separate displays and keyboards with cross interconnect switching for work group coordinator |
US5612865A (en) * | 1995-06-01 | 1997-03-18 | Ncr Corporation | Dynamic hashing method for optimal distribution of locks within a clustered system |
JPH0981527A (ja) * | 1995-09-19 | 1997-03-28 | Internatl Business Mach Corp <Ibm> | 複数のホスト・コンピュータ・システムにより複数の記憶装置アレイを共有するシステム及び方法 |
JPH09160885A (ja) * | 1995-12-05 | 1997-06-20 | Hitachi Ltd | クラスタ型計算機装置の負荷分散方法 |
JPH1040226A (ja) * | 1996-04-30 | 1998-02-13 | Internatl Business Mach Corp <Ibm> | 分散コンピューティング環境におけるグループ・リーダ回復の方法 |
US5802391A (en) * | 1993-03-16 | 1998-09-01 | Ht Research, Inc. | Direct-access team/workgroup server shared by team/workgrouped computers without using a network operating system |
US5822531A (en) * | 1996-07-22 | 1998-10-13 | International Business Machines Corporation | Method and system for dynamically reconfiguring a cluster of computer systems |
US5875290A (en) * | 1997-03-27 | 1999-02-23 | International Business Machines Corporation | Method and program product for synchronizing operator initiated commands with a failover process in a distributed processing system |
JPH1165862A (ja) * | 1997-08-14 | 1999-03-09 | Nec Corp | マルチプロセッサ資源分割管理方式 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6049823A (en) * | 1995-10-04 | 2000-04-11 | Hwang; Ivan Chung-Shung | Multi server, interactive, video-on-demand television system utilizing a direct-access-on-demand workgroup |
US5748897A (en) * | 1996-07-02 | 1998-05-05 | Sun Microsystems, Inc. | Apparatus and method for operating an aggregation of server computers using a dual-role proxy server computer |
US5933596A (en) * | 1997-02-19 | 1999-08-03 | International Business Machines Corporation | Multiple server dynamic page link retargeting |
US6070191A (en) * | 1997-10-17 | 2000-05-30 | Lucent Technologies Inc. | Data distribution techniques for load-balanced fault-tolerant web access |
-
2000
- 2000-05-17 EP EP00937591A patent/EP1114372A4/en not_active Withdrawn
- 2000-05-17 CA CA002338025A patent/CA2338025C/en not_active Expired - Lifetime
- 2000-05-17 JP JP2000620492A patent/JP4864210B2/ja not_active Expired - Fee Related
- 2000-05-17 AU AU52738/00A patent/AU5273800A/en not_active Abandoned
- 2000-05-17 WO PCT/US2000/013595 patent/WO2000072167A1/en not_active Application Discontinuation
- 2000-05-17 KR KR1020017000934A patent/KR20010074733A/ko not_active Application Discontinuation
- 2000-05-17 CN CNB008009473A patent/CN1173281C/zh not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04229356A (ja) * | 1990-04-30 | 1992-08-18 | Internatl Business Mach Corp <Ibm> | ロードバランスシステム |
JPH04148363A (ja) * | 1990-10-11 | 1992-05-21 | Toshiba Corp | マルチコンピュータシステム |
US5530892A (en) * | 1993-03-16 | 1996-06-25 | Ht Research, Inc. | Single chassis multiple computer system having separate displays and keyboards with cross interconnect switching for work group coordinator |
US5802391A (en) * | 1993-03-16 | 1998-09-01 | Ht Research, Inc. | Direct-access team/workgroup server shared by team/workgrouped computers without using a network operating system |
JPH0756838A (ja) * | 1993-08-11 | 1995-03-03 | Toshiba Corp | 分散サーバ制御装置 |
US5612865A (en) * | 1995-06-01 | 1997-03-18 | Ncr Corporation | Dynamic hashing method for optimal distribution of locks within a clustered system |
JPH0981527A (ja) * | 1995-09-19 | 1997-03-28 | Internatl Business Mach Corp <Ibm> | 複数のホスト・コンピュータ・システムにより複数の記憶装置アレイを共有するシステム及び方法 |
JPH09160885A (ja) * | 1995-12-05 | 1997-06-20 | Hitachi Ltd | クラスタ型計算機装置の負荷分散方法 |
JPH1040226A (ja) * | 1996-04-30 | 1998-02-13 | Internatl Business Mach Corp <Ibm> | 分散コンピューティング環境におけるグループ・リーダ回復の方法 |
US5822531A (en) * | 1996-07-22 | 1998-10-13 | International Business Machines Corporation | Method and system for dynamically reconfiguring a cluster of computer systems |
US5875290A (en) * | 1997-03-27 | 1999-02-23 | International Business Machines Corporation | Method and program product for synchronizing operator initiated commands with a failover process in a distributed processing system |
JPH1165862A (ja) * | 1997-08-14 | 1999-03-09 | Nec Corp | マルチプロセッサ資源分割管理方式 |
Also Published As
Publication number | Publication date |
---|---|
CA2338025A1 (en) | 2000-11-30 |
CN1310821A (zh) | 2001-08-29 |
EP1114372A4 (en) | 2009-09-16 |
CA2338025C (en) | 2004-06-22 |
EP1114372A1 (en) | 2001-07-11 |
CN1173281C (zh) | 2004-10-27 |
AU5273800A (en) | 2000-12-12 |
KR20010074733A (ko) | 2001-08-09 |
JP2003500742A (ja) | 2003-01-07 |
WO2000072167A1 (en) | 2000-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6715100B1 (en) | Method and apparatus for implementing a workgroup server array | |
CN100544342C (zh) | 存储系统 | |
US7596616B2 (en) | Event notification method in storage networks | |
US8645542B2 (en) | Distributed intelligent virtual server | |
US7161935B2 (en) | Network fabric management via adjunct processor inter-fabric service link | |
US6665812B1 (en) | Storage array network backup configuration | |
US7844691B2 (en) | Scalable distributed storage and delivery | |
CA2406821C (en) | Switchable resource management in clustered computer system | |
US20030237016A1 (en) | System and apparatus for accelerating content delivery throughout networks | |
US7693970B2 (en) | Secured shared storage architecture | |
US20030154236A1 (en) | Database Switch enabling a database area network | |
US20030158933A1 (en) | Failover clustering based on input/output processors | |
US20060075191A1 (en) | Pooling and provisioning storage resources in a storage network | |
JP4864210B2 (ja) | 作業グループサーバー実施の方法と装置 | |
JP2006510976A5 (ja) | ||
EP1438675A1 (en) | Load balancing in a storage network | |
CA2414869A1 (en) | Method and apparatus for providing computer services | |
US7792917B2 (en) | Multiple network shared disk servers | |
Yang et al. | Building an adaptable, fault tolerant, and highly manageable web server on clusters of non-dedicated workstations | |
US7627650B2 (en) | Short-cut response for distributed services | |
Pakin et al. | VMI 2.0: A dynamically reconfigurable messaging layer for availability, usability, and management | |
CA2433564C (en) | A method and apparatus for implementing a workgroup server array | |
US7818606B1 (en) | Methods and apparatus for switch-initiated trespass decision making | |
US8171106B2 (en) | Per file system usage of networks | |
WO2006121448A1 (en) | A variable architecture distributed data processing and management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081209 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081216 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090109 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090119 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090209 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20091105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100301 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100528 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110622 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110629 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110722 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110729 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110822 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111017 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |