JPWO2014033843A1 - Grid configuration management system and grid configuration management method - Google Patents
Grid configuration management system and grid configuration management method Download PDFInfo
- Publication number
- JPWO2014033843A1 JPWO2014033843A1 JP2014532620A JP2014532620A JPWO2014033843A1 JP WO2014033843 A1 JPWO2014033843 A1 JP WO2014033843A1 JP 2014532620 A JP2014532620 A JP 2014532620A JP 2014532620 A JP2014532620 A JP 2014532620A JP WO2014033843 A1 JPWO2014033843 A1 JP WO2014033843A1
- Authority
- JP
- Japan
- Prior art keywords
- node
- grid
- status
- configuration
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
割り当て作業に時間を要することのないグリッド構成管理システムおよびグリッド構成管理方法を提供する。グリッドを構成するノードを管理するグリッド構成管理システムであって、グリッド管理装置は、ノードの設定状態を示すステータスとノードが割り当てられるグリッドとを対応付けたノード情報と、ステータスとステータスのノードに設定するための設定ファイルとを対応付けたリポジトリ情報と、を記憶する記憶部と、ノード情報のステータスが更新された場合に、更新されたステータスに応じた設定ファイルを取得する取得部と、取得部が取得した設定ファイルをノードに送信し、またはノードから設定ファイルに基づいてステータスに応じたノードの構成の設定が完了した旨を受信する配信部と、配信部がノードの構成の設定が完了した旨を受信した場合に、ノード情報のステータスを次の段階のステータスに更新し、ノードが割り当てられるグリッドを決定する管理部と、を備え、ノードは、グリッド管理装置から受け取った設定ファイルに基づいて、ノードをステータスに応じた構成に設定するエージェント部と、設定ファイルをグリッド管理装置から受け取り、またはノードの構成の設定が完了した旨をグリッド管理装置に送信する通信部と、を備える。A grid configuration management system and a grid configuration management method that do not require time for assignment work are provided. A grid configuration management system for managing nodes constituting a grid, wherein the grid management device sets node information in which a status indicating a node setting state is associated with a grid to which the node is assigned, and a status and a status node A storage unit for storing repository information in association with a configuration file for performing, an acquisition unit for acquiring a configuration file according to the updated status when the status of the node information is updated, and an acquisition unit Send the configuration file acquired by the node, or receive from the node that the configuration of the node configuration according to the status is completed based on the configuration file, and the distribution unit has completed the configuration of the node configuration Is received, the node information status is updated to the status of the next stage, and the node is assigned. And a management unit that determines a grid to be used, and the node receives from the grid management device an agent unit that sets the node in a configuration according to the status based on the configuration file received from the grid management device. Or a communication unit that transmits to the grid management device that the setting of the node configuration has been completed.
Description
本発明は、分散処理を行うグリッドの構成を管理するグリッド構成管理システムおよびグリッド構成管理方法に関するものである。 The present invention relates to a grid configuration management system and a grid configuration management method for managing the configuration of a grid that performs distributed processing.
一般に、分散処理を行うグリッドコンピューティング環境において、グリッドの処理能力を向上させるためには、そのグリッドに参加するノードを追加する必要がある。ノードを追加してグリッドの処理能力を向上させるものとして、例えば、特許文献1には、処理装置の仮想化技術を利用して、グリッド環境に対して要求されている処理能力の程度に応じてそのグリッドに対して資源を割り当てている。 In general, in a grid computing environment that performs distributed processing, in order to improve the processing capability of a grid, it is necessary to add nodes that participate in the grid. As an example of improving the processing capacity of a grid by adding a node, for example, Patent Document 1 uses the virtualization technology of a processing device according to the degree of processing capacity required for a grid environment. Resources are allocated to the grid.
上述した特許文献1に開示された技術では、グリッド環境に必要な処理能力を有したノードを割り当てることができるが、参加するグリッドにノードを割り当てる場合には、マシンのセットアップやそのグリッドに参加するための各種の設定等が多く、割り当て作業に時間を要してしまうという問題があった。 In the technique disclosed in Patent Document 1 described above, a node having a processing capability necessary for a grid environment can be allocated. However, when a node is allocated to a grid to participate, the machine is set up or the grid is joined. For this reason, there are many kinds of settings and the like, and there is a problem that time is required for assignment work.
本発明は、上記に鑑みてなされたものであって、割り当て作業に時間を要することのないグリッド構成管理システムおよびグリッド構成管理方法を提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide a grid configuration management system and a grid configuration management method that do not require time for assignment work.
上述した課題を解決し、目的を達成するために、本発明にかかるグリッド構成管理システムは、グリッドを構成するノードを管理するグリッド構成管理システムであって、グリッド管理装置は、前記ノードの設定状態を示すステータスと前記ノードが割り当てられるグリッドとを対応付けたノード情報と、前記ステータスと前記ステータスのノードに設定するための設定ファイルとを対応付けたリポジトリ情報と、を記憶する記憶部と、前記ノード情報のステータスが更新された場合に、更新された前記ステータスに応じた設定ファイルを取得する取得部と、前記取得部が取得した前記設定ファイルを前記ノードに送信し、または前記ノードから前記設定ファイルに基づいて前記ステータスに応じた前記ノードの構成の設定が完了した旨を受信する配信部と、前記配信部が前記ノードの構成の設定が完了した旨を受信した場合に、前記ノード情報のステータスを次の段階のステータスに更新し、前記ノードが割り当てられるグリッドを決定する管理部と、を備え、前記ノードは、前記グリッド管理装置から受け取った前記設定ファイルに基づいて、前記ノードを前記ステータスに応じた構成に設定するエージェント部と、前記設定ファイルを前記グリッド管理装置から受け取り、または前記ノードの構成の設定が完了した旨を前記グリッド管理装置に送信する通信部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, a grid configuration management system according to the present invention is a grid configuration management system that manages nodes constituting a grid, and the grid management device includes a setting state of the nodes. A storage unit that stores node information that associates a status indicating the node and a grid to which the node is assigned, and repository information that associates the status and a setting file for setting the node of the status, When the status of the node information is updated, an acquisition unit that acquires a setting file corresponding to the updated status, and transmits the setting file acquired by the acquisition unit to the node, or the setting from the node It is received that the setting of the configuration of the node according to the status is completed based on the file. And a management unit that updates a status of the node information to a status of the next stage and determines a grid to which the node is allocated when the distribution unit receives a notification that the configuration of the node is completed. An agent unit configured to set the node in a configuration according to the status based on the setting file received from the grid management device; and the node receives the setting file from the grid management device. Or a communication unit that transmits to the grid management device that the setting of the configuration of the node is completed.
また、本発明は、上記グリッド構成管理システムで行われるグリッド構成管理方法である。 The present invention is also a grid configuration management method performed by the grid configuration management system.
本発明によれば、割り当て作業に時間を要することのないグリッド構成管理システムおよびグリッド構成管理方法を提供することができる。 According to the present invention, it is possible to provide a grid configuration management system and a grid configuration management method that do not require time for assignment work.
以下に添付図面を参照して、本発明にかかるグリッド構成管理システムおよびグリッド構成管理方法の実施の形態を詳細に説明する。 Exemplary embodiments of a grid configuration management system and a grid configuration management method according to the present invention will be explained below in detail with reference to the accompanying drawings.
図1は、本発明の実施の形態におけるグリッド構成管理システム1000の構成例を示す図である。図1に示すように、グリッド構成管理システム1000は、グリッド管理装置100と、ユーザ環境に設けられたグリッド群200とを有して構成され、これらが互いにWAN(Wide Area Network)等の一般的なネットワークN1を介して接続されている。また、グリッド群200は、複数のグリッド210と、ノードプール220とを有して構成され、これらが互いにWAN あるいはLAN(Local Area Network)等の一般的なネットワークN2を介して接続されている。グリッド210は、グリッド210を構成するノード211を有し、ノードプール220はグリッド210に参加させるための割当用ノード221を有している。以下では、ノードプール220にあるノードとグリッド210に参加しているノードとを、それぞれノード211および割当用ノード221と呼ぶこととする。以下では、特に図示していないが、各装置は互いにデータを送受信するための通信部を有しているものとする。
FIG. 1 is a diagram showing a configuration example of a grid
図2は、グリッド管理装置100およびノードプール220の機能的な構成を示すブロック図である。グリッド管理装置100は、グリッド210が有しているノード211の構成を管理するサーバである。図2に示すように、グリッド管理装置100は、ノード管理部101と、グリッド管理部102と、監視部103と、構成情報生成部104と、監視データ収集部105と、構成情報配信部106と、ノード情報テーブル111と、グリッド情報テーブル112と、監視データ113と、構成情報114と、構成リポジトリ115とを有している。ノード管理部101と、グリッド管理部102と、監視部103と、構成情報生成部104と、監視データ収集部105と、構成情報配信部106は、グリッド管理装置100が有するCPU(Central Processing Unit)等の演算装置によって、その動作が制御される。これらの各部は、実際にはCPUがメモリ等の記憶媒体からこれらの機能を司るプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされるようになっている。また、ノード情報テーブル111と、グリッド情報テーブル112と、監視データ113と、構成情報114と、構成リポジトリ115は、HDD(Hard Disk Drive)等の記憶装置に記憶されている。
FIG. 2 is a block diagram illustrating the functional configuration of the
ノード管理部101は、システム管理者からキーボード等の入力装置(不図示)を介してノードプールへのノードの割り当て指示を受け付けると、割当用ノード221のノードプールに登録する。後述するように、割当用ノード221のノードプールに登録されると、ノード管理部101は、登録された旨を構成エージェント2212に送信し、構成エージェント2212から割当用ノード221のノード属性情報を受信する。そして、ノード管理部101は、そのノード属性情報をノード情報テーブル111に追加し、追加されたレコードのステータスを「新規登録中」に更新する。
When the
図3は、ノード情報テーブル111の構成例を示す図である。図3に示すように、ノード情報テーブル111は、ノード211を識別するためのモード名と、そのノードの状態を示すステータスと、そのノードが参加しているグリッドを示す参加グリッドと、そのノードの性能や設定を示すノード属性情報(例えば、アドレス、CPUの種類、メモリの容量、ソフトウェアの種類等の情報)とが対応付けられたノード情報が記憶されている。図3に示す例では、ノード名「node1.grid.org」で識別されるノード211は、新規登録中であり、ノード名「node2.grid.org」で識別されるノード211は、初期化された状態にあり、いずれも未だ参加グリッドは存在しないことを示している。
FIG. 3 is a diagram illustrating a configuration example of the node information table 111. As shown in FIG. 3, the node information table 111 includes a mode name for identifying the
また、ノード名「node3.grid.org」で識別されるノード211は、初期化されて現在グリッドG001で識別されるグリッド210に参加するための割当中であり、ノード名「node4.grid.org」で識別されるノード211は、参加のための割り当てが完了し、現在グリッドG001に参加している状態であることを示している。さらに、ノード名「node5.grid.org」で識別されるノード211は、グリッドG002で識別されるグリッド210からの割り当てが解除中であり、ノード名「node6.grid.org」で識別されるノード211は、「node4.grid.org」に参加しているノード211の場合と同様に、参加のための割り当てが完了し、現在グリッドG002に参加している状態であることを示している。このように、ノード情報テーブル111には、現時点でのノード211の状態がノード情報として記憶され、後述する処理を行うことによって、その状態が適宜更新されることとなる。
Further, the
例えば、後述する構成情報配信部106が割当用ノード221から更新後のノード属性情報を受け取ると、ノード管理部101はノード情報テーブル111にアクセスし、割当用ノード221のノード情報に対応する項目を更新する。具体的には、ノード管理部101は、割当用ノード221のノード情報の項目のうち、ノード属性情報、ステータス、参加グリッドを更新する。この更新によって、例えば、ノード管理部101は、割当用ノード221のステータスが「新規登録中」である場合には、次の段階のステータスである「初期化済み」に更新したり、あるいは割当用ノード221のステータスが「初期化済み」である場合には、次の段階のステータスである「割当中」に更新する。
For example, when the configuration
グリッド管理部102は、システム管理者からキーボード等の入力装置(不図示)を介してグリッド210の構成を示す情報(グリッド情報)の登録指示を受け付けると、グリッド情報をグリッド情報テーブル112に登録する。グリッド情報は、グリッド210の構成を管理するための情報である。
When the
図4は、グリッド情報テーブル112の構成例を示す図である。図4に示すように、グリッド情報テーブル112は、グリッド210を識別するためのグリッドIDと、グリッドを構成するノードのうちマスタとなる機器を示すマスタサーバと、そのグリッドを構成するノード211の数を示すノード数とが対応付けて記憶されている。図4に示す例では、グリッドID「G001」によって識別されるグリッドは、ノード名「node4.grid.org」によって識別されるノードをマスタサーバとし、10台のノードによって構成されていることを示している。同様に、グリッドID「G002」によって識別されるグリッドは、ノード名「node6.grid.org」によって識別されるノードをマスタサーバとし、20台のノードによって構成されていることを示している。グリッド情報テーブル112の各項目の値については、あらかじめシステム管理者等によって定められているものとする。
FIG. 4 is a diagram illustrating a configuration example of the grid information table 112. As shown in FIG. 4, the grid information table 112 includes a grid ID for identifying the
グリッド管理部102は、後述する構成情報配信部106が割当用ノード221から更新後のノード属性情報を受け取ると、グリッド情報テーブル112にアクセスし、ノード属性情報に含まれるマスタサーバ名をキーとして参加すべきグリッドを特定し、ノード情報テーブル111の参加グリッドを更新する。例えば、ノードのステータスが「割当中」である場合に生成された構成情報(図6右)によって割当用ノード221が設定されると、ノード属性情報にはマスタサーバ名「node4.grid.org」が含まれているため、グリッド管理部102は、このマスタサーバ名をキーとしてグリッド情報テーブル112にアクセスし、参加すべきグリッド「G001」を特定し、ノード情報テーブル111の参加グリッドをそのグリッド名に更新する。
When the configuration information distribution unit 106 (to be described later) receives the updated node attribute information from the
監視部103は、ノード211の稼働情報の統計(稼働統計情報)が記憶された監視データ113にアクセスし、その結果をグリッド管理装置100が有するディスプレイ等の表示装置(不図示)に表示させる。システム管理者は表示装置に表示された稼働統計情報を確認し、参加しているグリッド210やノード211の負荷等を確認することができる。
The
図5は、監視データ113の構成例を示す図である。図5に示すように、監視データ113は、ノード名と、CPU使用率と、メモリ使用量と、ディスク空き容量と、ノード属性情報とが対応付けて記憶されている。ノード名およびノード属性情報は、図3に示したノード情報テーブル111に格納されているものと同様のものである。CPU使用率、メモリ使用率、ディスク空き容量は、そのノードでこれらが使用されている割合や容量を示している。図5に示す例では、ノード名「node1.grid.org」で識別されるノード211は、新規登録中であり、CPU使用率が5パーセント、メモリ使用率が20パーセント、ディスクの空き容量が95GBであることを示している。
FIG. 5 is a diagram illustrating a configuration example of the
監視データ113は、後述する監視データ収集部105が、割当用ノード221にあらかじめインストールされている監視エージェント(後述)から送信された稼働情報を取得し、その稼働情報を監視データ113として登録することにより、各ノードの稼働情報が蓄積される。システム管理者は、監視データ113から稼働統計情報を確認することにより、グリッド210に対して最適な割当用ノード211を割り当てることができる。例えば、システム管理者は、あるグリッド全体のディスク容量が不足していると判断した場合には、最も空き容量が多いノードをそのグリッドに割り当てたり、あるいはこれとは逆にあるグリッドのCPU使用率が全体として低い場合には、そのグリッドのノードのステータスを「割当中」から「解除中」に移行させ、より少ない数のノードで各種の処理を行わせる。
As for the
構成情報生成部104は、割当用ノード211のステータス(初期化、割当、解除)に応じた構成情報114をノードごとに生成する。構成情報とは、割当用ノード211に設定すべきノードの構成を示す情報である。構成情報生成部104は、ノード管理部101によってノード情報テーブル111が更新されると、その時点の最新のノード情報をロード(読み出し)し、更新された後のノード情報に示された構成情報を生成する。
The configuration
図6は、構成情報114の例を示す図である。図6に示すように、構成情報114には、設定すべきノードを示すノード名と、そのノードが参加するグリッドのマスタサーバ名と、設定すべきノードの状態を示す構成タイプとが記載されている。図6に示す例では、ノード名「node1.grid.org」で識別されるノード211には、現時点ではマスタサーバ名は設定せず、初期化用の構成に設定することを表している。このノードの構成情報がこのような内容となっている理由は、図3に示したように、このノード(「node1.grid.org」)は、現在のステータスが「新規登録中」であり、初期化用の設定が必要となるためである。また、ノード名「node3.grid.org」で識別されるノード211には、マスタサーバ名「node4.grid.org」で識別されるノードをマスタサーバとして設定し、ノード割当用の構成に設定することを表している。このノードの構成情報がこのような内容となっている理由は、上述したように、このノード(「node3.grid.org」)は、現在のステータスが「割当中」であり、グリッドにノードを割り当てるための割当用の設定が必要となるためである。
FIG. 6 is a diagram illustrating an example of the
監視データ収集部105は、割当用ノード221にあらかじめインストールされている監視エージェント(後述)から送信された稼働情報を取得し、その稼働情報を監視データ113として登録し、蓄積させる。監視データ収集部105は、例えば、日次、週次等のあらかじめ定められたタイミングで稼働情報を取得し、そのデータをそのまま監視データ113として登録したり、あるいはある時点の平均値を算出し、そのデータを監視データ113として登録する。
The monitoring
構成情報配信部106は、構成情報生成部104が生成した構成情報114に含まれている構成タイプをキーとして構成リポジトリ115にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出し、抽出したこれらのファイル(更新用ファイル)を割当用ノード211に送信する。また、構成情報配信部106は、割当用ノード221から更新後のノード属性情報を受信する。
The configuration
図7は、構成リポジトリ115の構成例を示す図である。図7に示すように、構成リポジトリ115は、図3に示したノード情報テーブル111に含まれるステータスごとに、ディレクトリが設けられ、各ディレクトリには、割当用ノード221がそのステータスにある場合に必要な各種のプログラム、設定ファイル、スクリプトが記憶されている。図7において、例えば、割当用ノード221のステータスが「初期化」である場合には、グリッド210に参加するためのグリッドプログラムや監視エージェントを動作させるための監視プログラム、これらのプログラムを実行させるためのinitスクリプトが必要であることを示している。他のステータスの場合もこれと同様に各種のプログラム、設定ファイル、スクリプトが記憶されている。なお、図7では構成リポジトリ115の階層構造についてのみ記載しているが、実際にはこれらに対応付けてファイルやプログラム等の実体データが記憶されている。続いて、図2に戻って、ノードプール220、割当用ノード221について説明する。
FIG. 7 is a diagram illustrating a configuration example of the
ノードプール220は、グリッド210に割り当てられていないノードを退避させて管理するプールである。ノードプール220は、例えば、グリッド管理装置100の記憶部に、あらかじめ未割当ノード(割当用ノード221)を有したプールとして登録されており、システム管理者がその未割当ノードの中から割当用ノード221を選択し、選択したその割当用ノード221について、後述する各種の処理が実行される。
The
図2に示すように、ノードプール220は割当用ノード221を含んでいる。割当用ノード221は、現時点でグリッド210に参加していないノードである。割当用ノード221は、監視エージェント2211と、構成エージェント2212と、グリッドプログラム2213と、グリッド設定ファイル2214とを有している。なお、監視エージェント2211、構成エージェント2212、グリッドプログラム2213は、CPU等の演算装置によって、その動作が制御される。これらの各部は、実際にはCPUがメモリ等の記憶媒体からこれらの機能を司るプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされるようになっている。また、これらを実行するためのファイルやグリッド設定ファイル2214は、HDD等の記憶装置に記憶されている。
As shown in FIG. 2, the
監視エージェント2211は、割当用ノード221(グリッド210に割り当てられた後はノード211)の稼働情報を収集する。稼働情報は、図5に示した監視データ113と同様の情報である。
The
構成エージェント2211は、グリッド管理装置100からの指示に応じて割当用ノード221をグリッド210に参加させるための各種の設定あるいはその解除を行う。構成エージェント2211は、割当用ノード221がグリッド210に割り当てられる際に、ノード属性情報をグリッド管理装置100に送信する。また、構成エージェント2211は、構成情報配信部106から上述した更新用ファイルを受信すると、そのファイルに含まれる割当用ノード221に必要なプログラム、設定ファイル、スクリプト(例えば、グリッドプログラム2213、グリッド設定ファイル2214)を読み出して実行し、割当用ノード221内のソフトウェア構成や設定を更新する。構成エージェント2211は、割当用ノード221内のソフトウェア構成や設定を更新すると、更新後のノード属性情報をグリッド管理装置100の構成情報配信部106に送信する。
The
グリッドプログラム2213は、グリッド210に参加している他のグリッドと連携して種々のサービスを提供するためのプログラムである。また、グリッド設定ファイル2214は、割当用ノード221が割り当てられたグリッド210のマスタサーバ、アドレス等、そのノードがグリッドに参加するための各種の設定を行うためのファイルである。これらのプログラムやファイルは、HDD等の記憶装置に記憶される。続いて、グリッド構成管理システム1000で行われるグリッド構成管理処理について説明する。
The
図8は、グリッド構成管理処理の処理手順を示すフローチャートである。以下では、ノードがノードプールに登録された後、グリッドへの参加の設定が解除されるまでの処理手順について説明しているが、ノード情報テーブル111が更新された場合には、ステップS802以降の処理が実行される。 FIG. 8 is a flowchart showing the processing procedure of the grid configuration management process. The following describes the processing procedure from when a node is registered in the node pool to when the setting for participation in the grid is cancelled. However, if the node information table 111 is updated, step S802 and subsequent steps are performed. Processing is executed.
図8に示すように、グリッド構成管理処理では、システム管理者によって割当用ノード221が指定されると、ノード管理部101は、そのノードをノードプール220に登録する(ステップS801)。割当用ノード221がノードプールに登録されると、構成エージェント2212がノード属性情報を送信し、ノード管理部101は、そのノード属性情報を含むノード情報をノード情報テーブル111に追加し、追加されたノード情報のステータスを「新規登録中」に更新する。構成情報生成部104は、ステータスが更新されると、ノード情報テーブル111に記憶されているノード情報をロード(読み出し)し(ステップS802)、ロードした全てのノード情報について、ステップS804〜S818の各処理を繰り返す(ステップS803)。
As shown in FIG. 8, in the grid configuration management process, when the
構成情報生成部104は、ロードしたノード情報のステータスが「新規登録中」であるか否かを判定し(ステップS804)、ロードしたノード情報のステータスが「新規登録中」であると判定した場合(ステップS804;Yes)、「初期化用」の構成情報を生成し、構成情報配信部106は、構成情報に含まれる「構成タイプ」をキーとして構成リポジトリ115にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出する。そして、構成情報配信部106は、抽出したこれらの更新用ファイルを割当用ノード211に送信し、構成エージェント2212は、受信した更新用ファイルの設定等を反映する(ステップS805)。
The configuration
構成エージェント2212は、更新用ファイルの内容を反映すると、反映後の時点のノード属性情報を構成情報配信部106に送信し、構成情報配信部106がそのノード属性情報を受信する。構成情報配信部106がそのノード属性情報を受信すると、ノード管理部101はノード情報テーブル111にアクセスし、ノード情報を更新後のノード属性情報に書き換え、ノード情報テーブル111のステータスを「新規登録中」から「初期化済み」に更新する(ステップS806)。
When reflecting the contents of the update file, the
その後、構成エージェント2212は、更新用ファイルの内容を参照し、監視エージェントプログラム、グリッドプログラムをインストールし(ステップS807)、構成エージェント2212がこれらのプログラムのインストールを終了すると、再び構成情報配信部106がノード属性情報を受信し、ノード管理部101は、ノード情報テーブル111のステータスを「初期化済み」から「割当中」に更新する(ステップS808)。そして、ステータスが更新されると、構成情報生成部104は、再びノード情報テーブル111に記憶されているノード情報をロードし(ステップS802)、ロードした全てのノード情報について、ステップS804〜S818の各処理を繰り返す(ステップS803)。
Thereafter, the
構成情報生成部104は、ロードしたノード情報のステータスが「新規登録中」であるか否かを判定し(ステップS804)、ロードしたノード情報のステータスが「新規登録中」でないと判定した場合(ステップS804;No)、さらにロードしたノード情報のステータスが「割当中」であるか否かを判定する(ステップS809)。
The configuration
そして、構成情報生成部104は、ロードしたノード情報のステータスが「割当中」であると判定した場合(ステップS809;Yes)、「割当用」の構成情報を生成し、構成情報配信部106は、構成情報に含まれる「構成タイプ」をキーとして構成リポジトリ115にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出し、抽出したこれらの更新用ファイルを割当用ノード211に送信し、構成エージェント2212は、受信した更新用ファイルの設定等を反映する(ステップS810)。
When the configuration
構成エージェント2212は、更新用ファイルの内容を反映すると、そのノードのグリッド設定の更新、およびグリッドプログラムの起動を実行する(ステップS811)。そして、構成エージェント2212は、その時点のノード属性情報を構成情報配信部106に送信し、構成情報配信部106は、そのノード属性情報を受信する。構成情報配信部106がそのノード属性情報を受信すると、ノード管理部101はノード情報テーブル111にアクセスし、ノード情報を更新後のノード属性情報に書き換え、ノード管理部101がノード情報テーブル111のステータスを「割当中」から「割当済み」に更新する(ステップS812)。このとき、グリッド管理部102は、更新後のノード属性情報に含まれるマスタサーバ名をキーとして参加すべきグリッドを特定し、ノード情報テーブル111の参加グリッドを更新する。このステップS812が終了すると、割当用ノード221が、グリッド210のノード211として割り当てられた状態となり、設定されたグリッド210に参加し、他のノード210と共に各種の処理を実行する。
When reflecting the contents of the update file, the
その後、ノード管理部101が、システム管理者からグリッド210に参加していたノード211に対して割当解除の指示を受け付けると、構成情報生成部104は、再びノード情報テーブル111に記憶されているノード情報をロードし(ステップS802)、ロードした全てのノード情報について、ステップS804〜S818の各処理を繰り返す(ステップS803)。
After that, when the
構成情報生成部104は、ロードしたノード情報のステータスが「新規登録中」であるか否かを判定し(ステップS804)、ロードしたノード情報のステータスが「新規登録中」でないと判定した場合(ステップS804;No)、さらにロードしたノード情報のステータスが「割当中」であるか否かを判定し(ステップS809)、ロードしたノード情報のステータスが「割当中」でないと判定した場合(ステップS809;No)、さらにロードしたノード情報のステータスが「解除中」であるか否かを判定する(ステップS813)。この時点では、ノード211はグリッド210に参加していた状態であり、ノード情報のステータスは「割当中」となっているため、構成情報生成部104は、ロードしたノード情報のステータスが「解除中」でないと判定し(ステップS813;No)、ノード管理部101はノード情報のステータスを「解除中」に更新する(ステップS818)。
The configuration
その後、構成情報生成部104は、ステップS803に戻って、ステップS804、S809においてNo判定をし、さらにステップS813において構成情報生成部104は、ロードしたノード情報のステータスが「解除中」であると判定した場合(ステップS813;Yes)、「解除用」の構成情報を生成し、構成情報配信部106は、構成情報に含まれる「構成タイプ」をキーとして構成リポジトリ115にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出し、抽出したこれらの更新用ファイルを割当用ノード211に送信し、構成エージェント2212は、受信した更新用ファイルの設定等を反映する(ステップS814)。
After that, the configuration
構成エージェント2212は、更新用ファイルの内容を反映すると、ノード情報のステータスを「解除中」から「解除済み」に更新し(ステップS815)、グリッドプログラムの停止指示、グリッド設定の更新、グリッド用データ領域のクリア等、グリッド210からノード211を離脱させるための各種の設定を行う(ステップS816)。そして、構成エージェント2212は、その時点のノード属性情報を構成情報配信部106に送信し、構成情報配信部106は、そのノード属性情報を受信する。構成情報配信部106がそのノード属性情報を受信すると、ノード管理部101はノード情報テーブル111にアクセスし、ノード情報を更新後のノード属性情報に書き換え、ノード管理部101がノード情報テーブル111のステータスを「解除済み」から「初期化済み」に更新する(ステップS817)。以降、ノード管理部101が、システム管理者からグリッド210へのノード211に対する参加指示を受け付けると、構成情報生成部104は、再びノード情報テーブル111に記憶されているノード情報をロードし、ステップS802以降の各処理を繰り返す。
After reflecting the contents of the update file, the
なお、上述した例では、ステップS813において、ノード情報のステータスが「解除中」でないと判定した場合(ステップS813;No)、ステップS818においてノード管理部101が自動的にノード情報のステータスを「解除中」に更新しているが、ノード管理部101が解除指示を受け付けた際に、ノード情報をシステム管理者が手動で「解除中」に更新してもよい。この場合、上述したステップS818の実行を省略することができる。
In the above-described example, when it is determined in step S813 that the status of the node information is not “released” (step S813; No), the
図9は、上述したグリッド構成管理処理を行った場合におけるノードのステータスの遷移を示す図である。図9に示すように、割当用ノード221がノードプールに登録されると(NS1)、その割当用ノード221のノード情報のステータスが「新規登録中」に更新され、さらに初期化用の構成情報によって設定等が完了すると(NS2)、その割当用ノード221のノード情報のステータスが「初期化済み」に更新される。さらに、割当用の構成情報によって設定等が完了すると(NS3)、その割当用ノード221のノード情報のステータスが「割当中」に更新され、その後、グリッド設定の更新、およびグリッドプログラムが起動されると(NS4)、その割当用ノード221のノード情報のステータスが「割当済み」に更新される。そして、割当用ノード221は、ノード211としてグリッド210に参加する。
FIG. 9 is a diagram showing the transition of the status of the node when the grid configuration management process described above is performed. As shown in FIG. 9, when the
その後、グリッド210からグリッド211が割当解除の指示を受けてグリッドから離脱すると(NS5)、そのノード211のノード情報のステータスが「解除中」に更新され、さらに解除用の構成情報によって設定等が完了すると(NS6)、そのノード211のノード情報のステータスが「初期化済み」に更新され、そのノードが割当用ノード221として再びノードプールに登録され、他のグリッド210への再割り当てが可能な予備リソースとなる。
Thereafter, when the
このように、グリッド構成管理システム1000が図8に示したグリッド構成管理処理を行うことにより、作業に時間を要することのなく速やかにノードをグリッドに割り当てることができる。例えば、ノードを本システムに登録させると、その後グリッドに参加させる場合には、初期化済みの状態でノードプールにプーリングされるため、新たに登録作業を行うことなくグリッドへの割り当て作業を実行することができる。
As described above, the grid
また、その割り当て作業は、ノードのグリッドへの参加指示を受けた後は自動的にグリッドに参加するための設定等を行うので、迅速にノードをグリッドに参加させることができる。また、グリッドに参加しているノード、しいてはそのグリッドのリソースの使用状況等を迅速に判断することができ、速やかにグリッド全体として最適なリソース配置が可能となり、処理能力を向上させる要求にオンデマンドに対応することができるようになる。 In addition, since the assignment is automatically performed after receiving an instruction to join the node to the grid, the node can be quickly joined to the grid. In addition, it is possible to quickly determine the nodes participating in the grid, and the resource usage status of the grid, etc., and it is possible to quickly allocate resources optimally for the entire grid, which is a requirement to improve processing capacity. It becomes possible to respond to on-demand.
1000 グリッド構成管理システム
100 グリッド管理装置
101 ノード管理部
102 グリッド管理部
103 監視部
104 構成情報生成部
105 監視データ収集部
106 構成情報配信部
111 ノード情報テーブル
112 グリッド情報テーブル
113 監視データ
114 構成情報
115 構成リポジトリ
200 グリッド群200
210 グリッド
211 ノード
220 ノードプール
221 割当用ノード
2211 監視エージェント
2212 構成エージェント
2213 グリッドプログラム
2214 グリッド設定ファイル
N1、N2 ネットワーク。1000 Grid
210
Claims (11)
グリッド管理装置は、
前記ノードの設定状態を示すステータスと前記ノードが割り当てられるグリッドとを対応付けたノード情報と、前記ステータスと前記ステータスのノードに設定するための設定ファイルとを対応付けたリポジトリ情報と、を記憶する記憶部と、
前記ノード情報のステータスが更新された場合に、更新された前記ステータスに応じた設定ファイルを取得する取得部と、
前記取得部が取得した前記設定ファイルを前記ノードに送信し、または前記ノードから前記設定ファイルに基づいて前記ステータスに応じた前記ノードの構成の設定が完了した旨を受信する配信部と、
前記配信部が前記ノードの構成の設定が完了した旨を受信した場合に、前記ノード情報のステータスを次の段階のステータスに更新し、前記ノードが割り当てられるグリッドを決定する管理部と、を備え、
前記ノードは、
前記グリッド管理装置から受け取った前記設定ファイルに基づいて、前記ノードを前記ステータスに応じた構成に設定するエージェント部と、
前記設定ファイルを前記グリッド管理装置から受け取り、または前記ノードの構成の設定が完了した旨を前記グリッド管理装置に送信する通信部と、
を備えることを特徴とするグリッド構成管理システム。A grid configuration management system for managing nodes constituting a grid,
Grid management device
Stores node information in which a status indicating the setting state of the node is associated with a grid to which the node is allocated, and repository information in which the status is associated with a setting file for setting the node of the status. A storage unit;
An acquisition unit for acquiring a setting file corresponding to the updated status when the status of the node information is updated;
A distribution unit that transmits the setting file acquired by the acquisition unit to the node or receives a notification from the node that setting of the configuration of the node according to the status is completed based on the setting file;
A management unit that updates the status of the node information to the status of the next stage and determines the grid to which the node is allocated when the distribution unit receives the notification that the configuration of the node has been completed. ,
The node is
Based on the setting file received from the grid management device, an agent unit for setting the node to a configuration according to the status;
A communication unit that receives the setting file from the grid management device, or transmits to the grid management device that setting of the configuration of the node is completed;
A grid configuration management system comprising:
前記取得部は、前記ノード情報のステータスが初期化ステータスに更新された場合には前記リポジトリから初期化用の設定ファイルを取得し、前記ノード情報のステータスが割当ステータスに更新された場合には前記リポジトリから割当用の設定ファイルを取得し、前記ノード情報のステータスが解除ステータスに更新された場合には前記リポジトリから解除用の設定ファイルを取得し、
前記エージェント部は、前記初期化用の設定ファイル、または前記割当用の設定ファイル、または前記解除用の設定ファイルに定められた構成で前記ノードを設定する、
ことを特徴とする請求項1に記載のグリッド構成管理システム。The storage unit stores, as the status of the node information, an initialization status that initializes the node, an assignment status that assigns the node to a grid, and a release status that leaves the node from the grid,
The acquisition unit acquires a setting file for initialization from the repository when the status of the node information is updated to an initialization status, and when the status of the node information is updated to an allocation status, Obtain a configuration file for allocation from the repository, and when the status of the node information is updated to a cancellation status, acquire a configuration file for cancellation from the repository,
The agent unit sets the node in a configuration defined in the initialization setting file, the assignment setting file, or the release setting file;
The grid configuration management system according to claim 1.
ことを特徴とする請求項2に記載のグリッド構成管理システム。The acquisition unit acquires the setting file for initialization, the agent unit initializes the node, and when the node is initialized, the acquisition unit acquires the setting file for allocation and the agent Unit assigns the node to the grid, and when the node is assigned to the grid, the acquisition unit acquires the setting file for release, and the agent unit leaves the node from the grid, and the node Is removed from the grid, the acquisition unit acquires the initialization setting file again, the agent unit initializes the node, and the management unit manages the node in the initialized state. ,
The grid configuration management system according to claim 2.
前記管理部は、前記ノードの登録を受け付けて前記ノード情報のステータスを前記新規登録ステータスに更新し、
前記エージェント部は、前記ステータスが新規登録ステータスに更新された後は、前記ノードの初期化と前記ノードの割り当てと前記ノードの解除とを繰り返す、
ことを特徴とする請求項3に記載のグリッド構成管理システム。The storage unit stores, as the status of the node, a new registration status that is registered as a node that newly uses the grid configuration management system,
The management unit accepts registration of the node and updates the status of the node information to the new registration status,
The agent unit repeats the initialization of the node, the assignment of the node, and the release of the node after the status is updated to the new registration status.
The grid configuration management system according to claim 3.
前記エージェント部は、前記設定ファイルに基づいて前記ステータスに応じた前記ノードの構成の設定が完了した場合に、前記ノードの構成の設定が完了した状態のノード属性情報を出力し、
前記通信部は、前記ノードの構成の設定が完了した状態のノード属性情報を前記グリッド管理装置に送信し、
前記管理部は、前記記憶部に記憶されている前記ノード情報のノード属性情報を、前記ノードから受信したノード属性情報に更新する、
ことを特徴とする請求項1に記載のグリッド管理システム。The storage unit further stores node attribute information indicating performance and settings of the node as the node information,
When the setting of the configuration of the node corresponding to the status is completed based on the setting file, the agent unit outputs node attribute information in a state where the setting of the configuration of the node is completed,
The communication unit transmits node attribute information in a state where the configuration of the node is completed to the grid management device,
The management unit updates the node attribute information of the node information stored in the storage unit to the node attribute information received from the node;
The grid management system according to claim 1.
前記管理部は、それぞれの設定ファイルによって前記ノードが設定された都度、前記記憶部に記憶されている前記ノード情報のノード属性情報を、前記ノードから受信したノード属性情報に更新する、
ことを特徴とする請求項5に記載のグリッド管理システム。The agent unit has a configuration file for initialization acquired by the acquisition unit from the repository when the status of the node information is updated to an initialization status for initializing the node, or the status of the node information is a grid When the acquisition unit is updated to an allocation status that allocates the node to the allocation setting file acquired from the repository, or when the status of the node information is updated to a release status that leaves the node from the grid The node is set in a configuration defined in the setting file for cancellation acquired by the acquisition unit from the repository,
The management unit updates the node attribute information of the node information stored in the storage unit to the node attribute information received from the node every time the node is set by each setting file.
The grid management system according to claim 5.
前記記憶部は、前記ノードの稼働情報を記憶する監視データをさらに記憶し、
前記ノードの稼働情報を前記ノードから取得し、取得した前記稼働情報を前記監視データとして前記記憶部に蓄積させる収集部をさらに備える、
ことを特徴とする請求項1に記載のグリッド構成管理システム。The grid management device
The storage unit further stores monitoring data for storing operation information of the node,
Further comprising a collection unit that acquires the operation information of the node from the node, and accumulates the acquired operation information in the storage unit as the monitoring data;
The grid configuration management system according to claim 1.
ことを特徴とする請求項5に記載のグリッド構成管理システム。The collection unit acquires the CPU usage rate of the node, the memory usage rate of the node, and the disk capacity of the node as the operation information, and accumulates the acquired information in the storage unit as the monitoring data Let
The grid configuration management system according to claim 5.
前記ノードの設定状態を示すステータスと前記ノードが割り当てられるグリッドとを対応付けたノード情報のステータスが更新された場合に、更新された前記ステータスに対応付けられた前記ステータスのノードに設定するための設定ファイルを取得する取得ステップと、
取得された前記設定ファイルを前記ノードに送信するファイル送信ステップと、
グリッド管理装置から受け取った前記設定ファイルに基づいて、前記ノードを前記ステータスに応じた構成に設定する設定ステップと、
前記ノードの構成の設定が完了した旨を前記グリッド管理装置に送信する完了送信ステップと、
前記ノードの構成が完了した旨を受信した場合に、前記ノード情報のステータスを次の段階のステータスに更新し、前記ノードが割り当てられるグリッドを決定する更新決定ステップと、
を含むことを特徴とするグリッド構成管理方法。A grid configuration management method performed in a grid configuration management system for managing nodes constituting a grid,
When the status of the node information in which the status indicating the setting state of the node is associated with the grid to which the node is assigned is updated, the status is set to the node having the status associated with the updated status. An acquisition step for acquiring a configuration file;
A file transmission step of transmitting the acquired configuration file to the node;
A setting step for setting the node to a configuration according to the status based on the setting file received from the grid management device;
A completion transmission step of transmitting to the grid management device that the setting of the configuration of the node is completed;
An update determination step of updating the status of the node information to the status of the next stage when determining that the configuration of the node is completed, and determining a grid to which the node is assigned;
A grid configuration management method comprising:
前記設定ステップでは、前記初期化用の設定ファイル、または前記割当用の設定ファイル、または前記解除用の設定ファイルに定められた構成で前記ノードを設定する、
ことを特徴とする請求項9に記載のグリッド構成管理方法。In the acquisition step, an initialization setting file is acquired when the status of the node information is updated to an initialization status, and an allocation setting is acquired when the status of the node information is updated to an allocation status. Get the file, and if the status of the node information is updated to the release status, get the setting file for release,
In the setting step, the node is set with a configuration defined in the initialization setting file, the assignment setting file, or the release setting file.
The grid configuration management method according to claim 9.
ことを特徴とする請求項10に記載のグリッド構成管理方法。In the obtaining step, the setting file for initialization is obtained and the node is initialized in the setting step. When the node is initialized, the setting file for assignment is obtained in the obtaining step and the setting is performed. Assigning the node to the grid in the step, and acquiring the setting file for release in the obtaining step when the node is assigned to the grid, causing the node to leave the grid in the setting step, and Is removed from the grid, the setting file for initialization is acquired again in the acquisition step, the node is initialized in the setting step, and the node is managed in an initialized state.
The grid configuration management method according to claim 10.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/071733 WO2014033843A1 (en) | 2012-08-28 | 2012-08-28 | Grid configuration management system and grid configuration management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5965488B2 JP5965488B2 (en) | 2016-08-03 |
JPWO2014033843A1 true JPWO2014033843A1 (en) | 2016-08-08 |
Family
ID=50182693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014532620A Expired - Fee Related JP5965488B2 (en) | 2012-08-28 | 2012-08-28 | Grid configuration management system and grid configuration management method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5965488B2 (en) |
WO (1) | WO2014033843A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007200128A (en) * | 2006-01-27 | 2007-08-09 | Nec Corp | Computer system, management server, method for reducing computer setup time, and program |
JP2008123205A (en) * | 2006-11-10 | 2008-05-29 | Internatl Business Mach Corp <Ibm> | Job execution method, job execution system, and job execution program |
JP2010186255A (en) * | 2009-02-10 | 2010-08-26 | Fujitsu Ltd | Management program for grid computing |
-
2012
- 2012-08-28 JP JP2014532620A patent/JP5965488B2/en not_active Expired - Fee Related
- 2012-08-28 WO PCT/JP2012/071733 patent/WO2014033843A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007200128A (en) * | 2006-01-27 | 2007-08-09 | Nec Corp | Computer system, management server, method for reducing computer setup time, and program |
JP2008123205A (en) * | 2006-11-10 | 2008-05-29 | Internatl Business Mach Corp <Ibm> | Job execution method, job execution system, and job execution program |
JP2010186255A (en) * | 2009-02-10 | 2010-08-26 | Fujitsu Ltd | Management program for grid computing |
Non-Patent Citations (3)
Title |
---|
JPN6012050175; 三角 真、宮地利幸、知念賢一、篠田陽一: '実ノードを利用したネットワークシミュレーションにおけるノードへのOSの導入及びパラメータ設定機構の開' 情報処理学会研究報告 Vol.2004,No.9, 20040130, p.97, 社団法人情報処理学会 * |
JPN6012050176; 壬生亮太、小林泰三、大庭淳一、高見利也、上田将嗣、山元祐介、増原裕之、天野浩文、青柳 睦: 'グリッドミドルウェアの階層的管理機構によるNAREGIインストーラの設計と実装' 情報処理学会研究報告 Vol.2008,No.125, 20081209, pp.20〜21, 社団法人情報処理学会 * |
JPN6012050177; 白勢健一郎、松岡 聡、中田秀基: 'グリッド環境におけるモニタリングシステムの自律的構成' 情報処理学会研究報告 Vol.2005,No.19, 20050309, pp.3〜4, 社団法人情報処理学会 * |
Also Published As
Publication number | Publication date |
---|---|
JP5965488B2 (en) | 2016-08-03 |
WO2014033843A1 (en) | 2014-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10862760B2 (en) | Network functions virtualization | |
US10509680B2 (en) | Methods, systems and apparatus to perform a workflow in a software defined data center | |
JP5577412B2 (en) | Computer system, migration method and management server | |
US20200218580A1 (en) | Cloud platform system | |
US9116874B2 (en) | Virtual machine test system, virtual machine test method | |
JP5305626B2 (en) | Method and apparatus for managing resources of a central processing unit in a logically partitioned computing environment without accessing shared memory | |
US11093296B2 (en) | System, virtualization control apparatus, method for controlling a virtualization control apparatus, and program | |
US11496414B2 (en) | Interoperable cloud based media processing using dynamic network interface | |
JP5276632B2 (en) | Cluster system and software deployment method | |
JP2012525641A (en) | Application efficiency engine | |
US20180176289A1 (en) | Information processing device, information processing system, computer-readable recording medium, and information processing method | |
JP2015509253A (en) | Self-update functionality in distributed systems | |
JP2012208605A (en) | Virtual server id management system, integrated monitoring system, virtual server id management program, and integrated monitoring program | |
JP5352367B2 (en) | Virtual machine boot terminal and virtual machine boot program | |
US10437647B2 (en) | Cluster configuration with zero touch provisioning | |
KR20150108230A (en) | Cluster construction method and apparatus thereof | |
CN115145695B (en) | Resource scheduling method and device, computer equipment and storage medium | |
JP2019008454A (en) | Information processing system and resource allocation method | |
CN106550002B (en) | paas cloud hosting system and method | |
EP3721604B1 (en) | Automatic subscription management of computing services | |
JP5965488B2 (en) | Grid configuration management system and grid configuration management method | |
CN109032674B (en) | Multi-process management method, system and network equipment | |
US8984522B2 (en) | Relay apparatus and relay management apparatus | |
US11163600B2 (en) | Providing physical host state information to virtual machines deployed on the physical host | |
JP2014126940A (en) | Cloud configuration management support system, cloud configuration management support method and cloud configuration management support program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5965488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |