JPWO2019171704A1 - Management server, cluster system, cluster system control method, and program - Google Patents
Management server, cluster system, cluster system control method, and program Download PDFInfo
- Publication number
- JPWO2019171704A1 JPWO2019171704A1 JP2020504799A JP2020504799A JPWO2019171704A1 JP WO2019171704 A1 JPWO2019171704 A1 JP WO2019171704A1 JP 2020504799 A JP2020504799 A JP 2020504799A JP 2020504799 A JP2020504799 A JP 2020504799A JP WO2019171704 A1 JPWO2019171704 A1 JP WO2019171704A1
- Authority
- JP
- Japan
- Prior art keywords
- server
- script
- monitoring
- service providing
- providing server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013515 script Methods 0.000 claims abstract description 276
- 238000012544 monitoring process Methods 0.000 claims abstract description 175
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 42
- 230000005856 abnormality Effects 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 10
- 238000012546 transfer Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
- Debugging And Monitoring (AREA)
Abstract
現用系サーバ及び待機系サーバがクラスタウェアを有することに起因した問題の発生を回避することができるHAクラスタシステムを実現する。管理サーバ(1)は、所定のサービスを提供するサービス提供サーバの動作を監視するための監視スクリプトと、フェールオーバーについての前記サービス提供サーバの動作を制御するための制御スクリプトとを、前記サービス提供サーバに送信する処理を行う送信処理部(2)と、前記サービス提供サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記サービス提供サーバの動作状態を監視するサーバ監視処理部(3)と、前記監視スクリプトの前記実行結果が前記サービス提供サーバの異常を示す場合、前記制御スクリプトの実行を前記サービス提供サーバに要求するクラスタ制御処理部(4)とを有する。Realize an HA cluster system that can avoid the occurrence of problems caused by the active server and standby server having clusterware. The management server (1) provides the service with a monitoring script for monitoring the operation of the service providing server that provides a predetermined service and a control script for controlling the operation of the service providing server for failover. The transmission processing unit (2) that performs the process of transmitting to the server and the service providing server are requested to execute the monitoring script and return the execution result, and the operating state of the service providing server is determined based on the execution result. A server monitoring processing unit (3) to be monitored, and a cluster control processing unit (4) that requests the service providing server to execute the control script when the execution result of the monitoring script indicates an abnormality of the service providing server. Have.
Description
本発明は管理サーバ、クラスタシステム、クラスタシステムの制御方法、及びプログラムに関する。 The present invention relates to a management server, a cluster system, a control method of a cluster system, and a program.
サーバの監視に関する技術として様々技術が提案されている。例えば、特許文献1は、監視対象のコンピュータである監視対象サーバと、ジョブを監視するコンピュータであるジョブ監視サーバと、通信回線網を介してこのジョブ監視サーバと接続される遠隔監視サーバと、を備えるジョブ監視システムについて開示している。
Various technologies have been proposed as technologies related to server monitoring. For example,
ところで、サーバを監視する処理は、HA(High Availability:高可用性)クラスタシステムにおいても必要とされる。一般的に、HAクラスタシステムにおいては、現用系サーバと待機系サーバが、それぞれクラスタウェアを有している。そして、現用系サーバと待機系サーバがネットワーク経由で相互通信することで、HAクラスタシステムを構成する。このような構成のHAクラスタシステムでは、現用系サーバは自サーバで正常に業務サービスを提供できているかどうかを監視し、待機系サーバは自サーバが正常に業務サービスを引き継げるかどうかを監視する。 By the way, the process of monitoring the server is also required in the HA (High Availability) cluster system. Generally, in an HA cluster system, the active server and the standby server each have clusterware. Then, the active server and the standby server communicate with each other via the network to form an HA cluster system. In an HA cluster system with such a configuration, the active server monitors whether the local server can normally provide business services, and the standby server monitors whether the local server can take over the business services normally.
このような構成のHAクラスタシステムでは、業務サービス、アプリケーションソフトウェア、ミドルウェア、ハードウェアなどの監視を行うために、監視用エージェントプロセスを現用系サーバ及び待機系サーバに常駐することとなる。また、OS(Operating System)パニック発生時の対処やデータミラーリング等の機能を実現するためのエージェントもこれらのサーバに入れておく必要がある。すなわち、クラスタウェアを現用系サーバ及び待機系サーバにインストールしておく必要がある。 In an HA cluster system with such a configuration, in order to monitor business services, application software, middleware, hardware, etc., a monitoring agent process is resident on the active server and the standby server. In addition, it is necessary to put an agent in these servers to deal with an OS (Operating System) panic and to realize functions such as data mirroring. That is, it is necessary to install the clusterware on the active server and the standby server.
このように、上述したHAクラスタシステムを構築する場合には、管理対象のサーバ(現用系サーバ及び待機系サーバ)へのクラスタウェアのインストールが必要とされる。このため、クラスタシステムとなっていない既存のシステムをクラスタシステムへと変更する場合、クラスタウェアのインストール及びクラスタの構築により、サーバの再起動及びシステムの停止が発生してしまう。また、上述したHAクラスタシステムではクラスタウェアによる処理による負荷が過大となる恐れがある。
これに対し、特許文献1のジョブ監視システムは、HAクラスタシステムではない。このため、現用系サーバ及び待機系サーバがクラスタウェアを有することに起因した問題の発生を回避することができるHAクラスタシステムを実現するための技術が依然として求められている。As described above, when constructing the HA cluster system described above, it is necessary to install the clusterware on the managed server (active server and standby server). Therefore, when changing an existing system that is not a cluster system to a cluster system, the server is restarted and the system is stopped due to the installation of clusterware and the construction of a cluster. Further, in the above-mentioned HA cluster system, the load due to the processing by the clusterware may become excessive.
On the other hand, the job monitoring system of
そこで、本明細書に開示される実施形態が達成しようとする目的の1つは、現用系サーバ及び待機系サーバがクラスタウェアを有することに起因した問題の発生を回避することができるHAクラスタシステムを実現することができる管理サーバ、クラスタシステム、クラスタシステムの制御方法、及びプログラムを提供することにある。 Therefore, one of the objectives to be achieved by the embodiment disclosed in the present specification is an HA cluster system capable of avoiding the occurrence of problems caused by the active server and the standby server having clusterware. It is to provide a management server, a cluster system, a control method of the cluster system, and a program capable of realizing the above.
第1の態様にかかる管理サーバは、所定のサービスを提供するサービス提供サーバの動作を監視するための監視スクリプトと、フェールオーバーについての前記サービス提供サーバの動作を制御するための制御スクリプトとを、前記サービス提供サーバに送信する処理を行う送信処理手段と、前記サービス提供サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記サービス提供サーバの動作状態を監視するサーバ監視処理手段と、前記監視スクリプトの前記実行結果が前記サービス提供サーバの異常を示す場合、前記制御スクリプトの実行を前記サービス提供サーバに要求するクラスタ制御処理手段とを有する。 The management server according to the first aspect includes a monitoring script for monitoring the operation of the service providing server that provides a predetermined service and a control script for controlling the operation of the service providing server for failover. The transmission processing means that performs the process of transmitting to the service providing server and the service providing server are requested to execute the monitoring script and return the execution result, and the operating state of the service providing server is determined based on the execution result. It has a server monitoring processing means to be monitored, and a cluster control processing means that requests the service providing server to execute the control script when the execution result of the monitoring script indicates an abnormality of the service providing server.
第2の態様にかかるクラスタシステムは、所定のサービスを提供するための現用系サーバと、前記所定のサービスを提供するための待機系サーバと、前記現用系サーバ及び前記待機系サーバにおけるフェールオーバーを制御する管理サーバと、を備え、前記管理サーバは、前記現用系サーバの動作を監視するための第1の監視スクリプトと、フェールオーバーについての前記現用系サーバの動作を制御するための第1の制御スクリプトとを前記現用系サーバに送信する処理と、前記待機系サーバの動作を監視するための第2の監視スクリプトと、フェールオーバーについての前記待機系サーバの動作を制御するための第2の制御スクリプトとを前記待機系サーバに送信する処理とを行う送信処理手段と、前記現用系サーバ及び前記待機系サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記現用系サーバ及び前記待機系サーバの動作状態を監視するサーバ監視処理手段と、前記現用系サーバの前記監視スクリプトの前記実行結果が前記現用系サーバの異常を示す場合、前記第1の制御スクリプトの実行を前記現用系サーバに要求するとともに前記第2の制御スクリプトの実行を前記待機系サーバに要求するクラスタ制御処理手段とを有する。 The cluster system according to the second aspect performs failover between the active server for providing the predetermined service, the standby server for providing the predetermined service, and the active server and the standby server. The management server includes a management server to be controlled, and the management server has a first monitoring script for monitoring the operation of the active server and a first monitoring script for controlling the operation of the active server regarding failover. A process of transmitting the control script to the active server, a second monitoring script for monitoring the operation of the standby server, and a second monitoring script for controlling the operation of the standby server regarding failover. The transmission processing means that performs the process of transmitting the control script to the standby system server, the active system server, and the standby system server are requested to execute the monitoring script and return the execution result to the execution result. When the server monitoring processing means for monitoring the operating state of the active server and the standby server and the execution result of the monitoring script of the active server indicate an abnormality of the active server, the first It has a cluster control processing means that requests the active server to execute the control script and the standby server to execute the second control script.
第3の態様にかかるクラスタシステムの制御方法では、所定のサービスを提供するサービス提供サーバの動作を監視するための監視スクリプトと、フェールオーバーについての前記サービス提供サーバの動作を制御するための制御スクリプトとを、前記サービス提供サーバに送信し、前記サービス提供サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記サービス提供サーバの動作状態を監視し、前記監視スクリプトの前記実行結果が前記サービス提供サーバの異常を示す場合、前記制御スクリプトの実行を前記サービス提供サーバに要求する。 In the cluster system control method according to the third aspect, a monitoring script for monitoring the operation of the service providing server that provides a predetermined service and a control script for controlling the operation of the service providing server for failover. Is transmitted to the service providing server, the service providing server is requested to execute the monitoring script and return the execution result, and the operating state of the service providing server is monitored based on the execution result. When the execution result of the monitoring script indicates an abnormality of the service providing server, the service providing server is requested to execute the control script.
第4の態様にかかるプログラムは、所定のサービスを提供するサービス提供サーバの動作を監視するための監視スクリプトと、フェールオーバーについての前記サービス提供サーバの動作を制御するための制御スクリプトとを、前記サービス提供サーバに送信する処理を行う送信処理ステップと、前記サービス提供サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記サービス提供サーバの動作状態を監視するサーバ監視処理ステップと、前記監視スクリプトの前記実行結果が前記サービス提供サーバの異常を示す場合、前記制御スクリプトの実行を前記サービス提供サーバに要求するクラスタ制御処理ステップとをコンピュータに実行させる。 The program according to the fourth aspect includes a monitoring script for monitoring the operation of the service providing server that provides a predetermined service, and a control script for controlling the operation of the service providing server for failover. A transmission processing step for performing a process of transmitting to the service providing server, requesting the service providing server to execute the monitoring script and returning the execution result, and monitoring the operating state of the service providing server based on the execution result. When the server monitoring processing step to be performed and the execution result of the monitoring script indicate an abnormality of the service providing server, the computer is made to execute the cluster control processing step that requests the service providing server to execute the control script.
上述の態様によれば、現用系サーバ及び待機系サーバがクラスタウェアを有することに起因した問題の発生を回避することができるHAクラスタシステムを実現することができる管理サーバ、クラスタシステム、クラスタシステムの制御方法、及びプログラムを提供することができる。 According to the above-described aspect, the management server, cluster system, and cluster system that can realize an HA cluster system that can avoid the occurrence of problems caused by the active server and the standby server having clusterware. Control methods and programs can be provided.
<実施形態の概要>
実施形態の説明に先立って、本発明にかかる実施形態の概要を説明する。
図1は、実施形態の概要にかかる管理サーバ1の構成の一例を示すブロック図である。管理サーバ1は、送信処理部2と、サーバ監視処理部3と、クラスタ制御処理部4とを有する。管理サーバ1は、HAクラスタシステムを構成するサービス提供サーバ(図1において図示せず)と有線又は無線通信可能に接続される。なお、サービス提供サーバは、例えば、所定のサービスをクライアント装置(図示せず)に提供するサーバである。<Outline of Embodiment>
Prior to the description of the embodiment, the outline of the embodiment according to the present invention will be described.
FIG. 1 is a block diagram showing an example of the configuration of the
送信処理部2は、サービス提供サーバの動作を監視するための監視スクリプトと、サービス提供サーバの動作を制御するための制御スクリプトとを、サービス提供サーバに送信する処理を行う。
The
サーバ監視処理部3は、サービス提供サーバに対し、監視スクリプトの実行及び実行結果の返信を要求する。したがって、サービス提供サーバは、管理サーバ1から送信された監視スクリプトを実行し、当該サービス提供サーバの動作状態を確認し、確認結果を管理サーバ1に返信することとなる。そして、サーバ監視処理部3は、返信された実行結果に基づいてサービス提供サーバの動作状態を監視する。
The server
クラスタ制御処理部4は、監視スクリプトの実行結果がサービス提供サーバの異常を示す場合、フェールオーバーを行うための制御スクリプトの実行をサービス提供サーバに要求する。なお、クラスタ制御処理部4は、異常時おけるサービスの起動及び停止を含む一連の回復動作としてのフェールオーバーの制御に限らず、他の制御を行ってもよい。例えば、クラスタ制御処理部4は、正常時において、サービスの開始制御又はサービス移行(サービスの起動及び停止)制御を行ってもよい。
When the execution result of the monitoring script indicates an abnormality of the service providing server, the cluster
上述の管理サーバ1とサービス提供サーバを備えるHAクラスタシステムでは、管理サーバ1によってサービス提供サーバが異常状態であるか否かの判断が行われ、管理サーバ1によってフェールオーバーの実行が制御される。すなわち、管理サーバ1がネットワーク経由でサービス提供サーバのOS機能提供状態やサービス機能提供状態などを監視し、障害が検出された場合には、管理サーバ1がシステムの回復動作を制御することができる。このように、管理サーバ1にクラスタウェアが備えられ、サービス提供サーバはクラスタウェアを有さなくてもよい。これにより、HAクラスタシステムをエージェントレス方式で提供することができる。
In the HA cluster system including the
管理サーバ1を備えずサービス提供サーバにクラスタウェアを有するHAクラスタシステム(以下、比較例にかかるクラスタシステムと称す。)では、クラスタウェアのインストール及びクラスタの構築により、サービス提供サーバの再起動及びシステムの停止が発生しまう。そのため、既存環境を活用せず、完全に新規のクラスタ環境を構築してから新システムへと移行する傾向がある。
In an HA cluster system that does not have the
一方、エージェントレス型のクラスタウェアの場合、管理対象サーバ(すなわち、サービス提供サーバ)毎にクラスタウェアをインストールする必要がなく、管理サーバ1のみにインストールすればよい。このため、システム停止など既存環境に影響を与えない。そして、完全に新規の環境を構築することも必要なく、既存環境を有効活用できる。クラスタウェアのバージョンアップやメンテナンスが必要な場合でも、システム停止や管理対象サーバ毎のインストール作業が不要になる。その結果、導入及び運用のコストを抑えることが可能となる。したがって、メンテナンス及びシステム拡大も簡単に行える。
On the other hand, in the case of agentless clusterware, it is not necessary to install the clusterware for each managed server (that is, the service providing server), and it is sufficient to install it only on the
また、比較例にかかるクラスタシステムにおいては、定期的にサービス提供サーバ同士間の生存確認処理、監視プロセスを監視する死活監視処理が行われるため、サービス提供サーバに過大な負荷をかけてしまう恐れがある。このため、サービス提供サーバが備えるリソースが少ないと監視が失敗してしまい、障害が発生したと誤判定されることがある。 In addition, in the cluster system of the comparative example, the survival confirmation process between the service providing servers and the alive monitoring process for monitoring the monitoring process are performed periodically, so there is a risk that the service providing server will be overloaded. is there. Therefore, if the service providing server has few resources, monitoring may fail, and it may be erroneously determined that a failure has occurred.
これに対し、上述した管理サーバ1を有するHAクラスタシステムでは、高可用性を実現するための主な処理が管理サーバ1で行われるため、サービス提供サーバ(すなわち、クラスタサーバ)に与える負荷を抑制することができる。
On the other hand, in the HA cluster system having the
次に、実施の形態の詳細について説明する。
<実施の形態1>
図2は、実施の形態1にかかるHAクラスタシステム10の一例を示すブロック図である。また、図3は、運用管理サーバ100のハードウェア構成の一例を示すブロック図である。Next, the details of the embodiment will be described.
<
FIG. 2 is a block diagram showing an example of the
図2に示すように、HAクラスタシステム10は、運用管理サーバ100と、現用系業務サーバ200と、待機系業務サーバ300とを有している。現用系業務サーバ200及び待機系業務サーバ300は、所定の業務サービスを提供するためのサーバであり、運用管理サーバ100は、現用系業務サーバ200及び待機系業務サーバ300におけるフェールオーバーなどを制御するサーバである。
As shown in FIG. 2, the
運用管理サーバ100、現用系業務サーバ200、及び待機系業務サーバ300は、ネットワーク400に接続されている。また、運用管理サーバ100、現用系業務サーバ200、及び待機系業務サーバ300は、ネットワーク401によって相互に接続されている。
The
運用管理サーバ100は、図1の管理サーバ1に対応しており、現用系業務サーバ200及び待機系業務サーバ300は、上述のサービス提供サーバに対応している。なお、HAクラスタシステム10において、現用系業務サーバ200及び待機系業務サーバ300がクラスタサーバであり、フェールオーバーにより現用系と待機系の切り替えが行われる。すなわち、フェールオーバーにより、現用系業務サーバ200が待機系へと切り替わるとともに、待機系業務サーバ300が現用系へと切り替わる。
なお、以下の説明では、現用系業務サーバ200及び待機系業務サーバ300について、管理対象サーバと称すことがある。The
In the following description, the
ネットワーク400は、図示しないクライアント装置と接続可能なパブリックLAN(Local Area Network)である。現用系業務サーバ200は、ネットワーク400を介して業務サービスをクライアント装置に提供する。また、ネットワーク400は、現用系業務サーバ200による業務サービスの提供状態を運用管理サーバ100から監視するためにも用いられる。
ネットワーク401は、運用管理サーバ100、現用系業務サーバ200、及び待機系業務サーバ300を相互に接続するインタコネクトLANである。ネットワーク401は、運用管理サーバ100と現用系業務サーバ200若しくは待機系業務サーバ300との内部通信(サーバの監視、業務サービスの制御、クラスタの制御などで用いられる通信)に利用される。The
The network 401 is an interconnect LAN that interconnects the
図2に示すように、HAクラスタシステム10においては、運用管理サーバ100にクラスタウェア110が設けられている。クラスタウェア110は、クラスタ制御部111と、業務サービス制御部112と、サーバ監視部113と、内部監視部114と、スクリプト実行部115と、サーバ通信部116と、スクリプト記憶部117とを有する。
As shown in FIG. 2, in the
クラスタ制御部111は、HAクラスタシステム10を制御するための各種処理を行う。すなわち、クラスタ制御部111は、例えば、フェールオーバーの実行の制御などを行う。
業務サービス制御部112は、現用系業務サーバ200の業務サービス提供部201及び待機系業務サーバ300の業務サービス提供部301の起動及び停止を制御する。The
The business
サーバ監視部113は、現用系業務サーバ200及び待機系業務サーバ300の動作状態を監視する。例えば、サーバ監視部113は、現用系業務サーバ200において正常に業務サービスが提供されているか否か、現用系業務サーバ200及び待機系業務サーバ300においてハードウェア及びソフトウェアなどの異常が発生していないかを監視する。
The
内部監視部114(内部監視処理部とも称す)は、クラスタ制御部111、業務サービス制御部112、及びサーバ監視部113の動作状態を監視する。なお、内部監視部114は、クラスタ制御部111、業務サービス制御部112、及びサーバ監視部113の全てについて監視することが好ましいが、これらの一部のみの動作状態を監視してもよいし、他のユニットの動作状態を監視してもよい。
また、内部監視部114は、これらの動作状態が異常であることを検知した場合、他の装置、又は運用管理者などに対し、異常の発生を報知してもよい。これにより、HAクラスタシステム10の異常が発生した場合の所定の処理の実行、又は運用管理者による所定の運用が可能となる。
内部監視部114は、具体的には、クラスタ制御部111、業務サービス制御部112、及びサーバ監視部113のプロセスの死活監視を行う。The internal monitoring unit 114 (also referred to as an internal monitoring processing unit) monitors the operating states of the
Further, when the
Specifically, the
スクリプト実行部115は、スクリプト記憶部117に記憶されたスクリプトを実行する。例えば、スクリプト実行部115は、サーバ監視部113の要求により、現用系業務サーバ200及び待機系業務サーバ300を監視するためのスクリプトを実行する。また、例えば、スクリプト実行部115は、業務サービス制御部112の要求により、現用系業務サーバ200又は待機系業務サーバ300における業務サービス提供部201、301の起動又は停止を行うためのスクリプトを実行する。また、スクリプト実行部115は、設定ファイルからスクリプトを生成し、生成したスクリプトを所定の鍵により暗号化するなどの処理を行う。
The
サーバ通信部116は、他のサーバとの通信の確立処理及び切断処理などを行う。
スクリプト記憶部117は、スクリプト及びスクリプトを生成するための基になる設定ファイルなどを記憶する記憶領域である。The
The
現用系業務サーバ200は、業務サービス提供部201と、スクリプト実行部202と、スクリプト記憶部203とを有する。同様に、待機系業務サーバ300も、業務サービス提供部301と、スクリプト実行部302と、スクリプト記憶部303とを有する。
The working
業務サービス提供部201、301は、所定の業務サービスをネットワーク400を介して、ネットワーク400に接続されたクライアント装置(図示せず)に提供する。すなわち、業務サービス提供部201、301は、所定の業務サービスを提供するアプリケーションプログラムである。
The business
スクリプト実行部202は、運用管理サーバ100からの要求に応じて、スクリプト記憶部203に記憶されたスクリプトを実行する。同様に、スクリプト実行部302は、運用管理サーバ100からの要求に応じて、スクリプト記憶部303に記憶されたスクリプトを実行する。例えば、スクリプト実行部202は、現用系業務サーバ200の動作状態をチェックするスクリプト、業務サービス提供部201の起動又は停止を行うスクリプトを実行する。同様に、スクリプト実行部302は、待機系業務サーバ300の動作状態をチェックするスクリプト、業務サービス提供部301の起動又は停止を行うスクリプトを実行する。なお、スクリプト実行部202、302は、常駐プロセスではなく、運用管理サーバ100からの要求に応じて一時に作成され、スクリプト記憶部203、303のスクリプトを実行する。
スクリプト記憶部203、303は、運用管理サーバ100から受信したスクリプトを記憶する記憶領域である。The
The
図3に示すように、運用管理サーバ100は、例えば、ネットワークインタフェース150、メモリ151、及びプロセッサ152を含む。なお、運用管理サーバ100は、これ以外に、ハードディスクドライブなどの記憶装置を含んでもよい。
As shown in FIG. 3, the
ネットワークインタフェース150は、ネットワーク400、401を介した通信を行うために使用される。ネットワークインタフェース150は、例えば、ネットワークインタフェースカード(NIC)を含んでもよい。
The
メモリ151は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ151は、プロセッサ152から離れて配置されたストレージを含んでもよい。この場合、プロセッサ152は、図示されていない入出力インタフェースを介してメモリ151にアクセスしてもよい。
The
メモリ151は、例えば、プロセッサ152により実行される、1以上の命令を含むソフトウェア(コンピュータプログラム)などを格納するために使用される。
The
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、Compact Disc Read Only Memory(CD-ROM)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、Programmable ROM(PROM)、Erasable PROM(EPROM)、フラッシュROM、Random Access Memory(RAM))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 This program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), Compact Disc Read Only Memory (CD-ROM), CD- Includes R, CD-R / W, semiconductor memory (eg, mask ROM, Programmable ROM (PROM), Erasable PROM (EPROM), flash ROM, Random Access Memory (RAM)). The program may also be supplied to the computer by various types of transient computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
プロセッサ152は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ152は、複数のプロセッサを含んでもよい。プロセッサ152は、メモリ151からコンピュータプログラムを読み出して実行することで、クラスタ制御部111、業務サービス制御部112、サーバ監視部113、内部監視部114、スクリプト実行部115、及びサーバ通信部116の処理を行う。また、スクリプト記憶部117は、例えばメモリ151により実現される。
The
なお、現用系業務サーバ200及び待機系業務サーバ300も、図3に示した構成と同様のハードウェア構成となっている。このため、現用系業務サーバ200のプロセッサは、メモリからコンピュータプログラムを読み出して実行することで、業務サービス提供部201及びスクリプト実行部202の処理を行う。また、スクリプト記憶部203は、例えば現用系業務サーバ200のメモリにより実現される。同様に、待機系業務サーバ300のプロセッサは、メモリからコンピュータプログラムを読み出して実行することで、業務サービス提供部301及びスクリプト実行部302の処理を行う。また、スクリプト記憶部303は、例えば待機系業務サーバ300のメモリにより実現される。
The working
以下、図4から図8フローチャートを参照しつつ、HAクラスタシステム10の各構成要素の動作について説明する。
Hereinafter, the operation of each component of the
図4は、HAクラスタシステム10におけるクラスタの構築処理の動作の流れを示すフローチャートである。この構築処理により、各サーバに、スクリプトが配置される。以下、図4を参照しつつ動作の流れについて説明する。
FIG. 4 is a flowchart showing an operation flow of the cluster construction process in the
ステップ100(S100)において、運用管理者は、運用管理サーバ100のGUI(Graphical User Interface)を介して、クラスタ構築に必要とされる監視に関する設定情報などを入力する。具体的には、運用管理者は、監視対象(サーバ名、業務サービス、ディスク、プロセッサなど)、監視設定(インタバール、タイムアウト、リトライ回数など)、障害発生時の対処(プロセス再起動、フェールオーバー、サーバ再起動など)などを、指定する。
In step 100 (S100), the operation manager inputs setting information related to monitoring required for cluster construction via the GUI (Graphical User Interface) of the
次に、ステップ101(S101)において、クラスタ制御部111は、GUIからの入力を受け付けると、入力内容に従った設定ファイルの作成をスクリプト実行部115に要求する。そして、ステップ102(S102)において、スクリプト実行部115は、設定ファイル生成用の所定のスクリプトを実行することにより、入力内容を基づく設定ファイルを作成し、スクリプト記憶部117に格納する。
Next, in step 101 (S101), when the
次に、ステップ103(S103)において、クラスタ制御部111は、スクリプト実行部115に、設定ファイルに従った処理を実行するためのスクリプトの生成を要求する。そして、スクリプト実行部115は、スクリプト生成用の所定のスクリプトを実行する。これにより、ステップ104(S104)において、スクリプト実行部115は、スクリプト記憶部117から設定ファイルを取得し、ステップ105(S105)において、設定ファイルに従った処理を実行可能なスクリプトを生成する。スクリプト実行部115は、生成したスクリプトをスクリプト記憶部117に記憶する。
Next, in step 103 (S103), the
次に、ステップ106(S106)において、クラスタ制御部111は、ステップ105で生成された管理対象サーバ向けのスクリプトの転送をスクリプト実行部115に要求する。スクリプト実行部115は、転送用の所定のスクリプトを実行することにより、以下のようにスクリプトを管理対象サーバ(現用系業務サーバ200及び待機系業務サーバ300)に転送する。
スクリプト実行部115は、ステップ107(S107)において、スクリプト記憶部117から管理対象サーバ向けのスクリプトを取得し、ステップ108(S108)において、所定の秘密鍵を使ってスクリプトを暗号化する。そして、スクリプト実行部115は、ステップ109(S109)において、暗号化したスクリプトを管理対象サーバに転送する。Next, in step 106 (S106), the
In step 107 (S107), the
現用系業務サーバ200は、受信したスクリプトをスクリプト記憶部203に記憶し、待機系業務サーバ300は、受信したスクリプトをスクリプト記憶部303に記憶する。したがって、本実施の形態では、管理対象サーバにおけるスクリプトの実行のたびに、スクリプトの転送を行う必要がなく、スクリプトの実行までに要する時間を抑制することができる。また、管理対象サーバでは暗号化されたスクリプトが記憶されるため、セキュリティを担保できる。
The
このように、クラスタ制御部111及びスクリプト実行部115は、図1の送信処理部2に対応している。すなわち、クラスタ制御部111及びスクリプト実行部115は、管理対象サーバの動作(管理対象サーバの状態)を監視するための監視スクリプトを、管理対象サーバに送信する処理を行う。また、クラスタ制御部111及びスクリプト実行部115は、フェールオーバーについての管理対象サーバの動作(例えば、業務サービス提供部201、301の起動、停止など)を制御するための制御スクリプトを、管理対象サーバに送信する処理を行う。
As described above, the
なお、クラスタの設定を変更する場合、クラスタ制御部111は、変更内容を基づいて設定ファイルを更新するようスクリプト実行部115に要求する。これに対し、スクリプト実行部115は、上記と同様の処理を行い、再度、暗号化されたスクリプトを管理対象サーバに転送する。
When changing the cluster settings, the
図5は、HAクラスタシステム10におけるクラスタの起動の動作の流れを示すフローチャートである。以下、図5を参照しつつ動作の流れについて説明する。
FIG. 5 is a flowchart showing a flow of operation for starting a cluster in the
ステップ200(S200)において、内部監視部114は、クラスタ制御部111の動作状態の監視を開始する。すなわち、内部監視部114は、クラスタ制御部111のプロセスの死活監視を開始する。
In step 200 (S200), the
次に、ステップ201(S201)において、クラスタ制御部111は、業務サービス制御部112を起動する。すなわち、クラスタ制御部111は、業務サービス制御部112のプロセスを開始させる。
業務サービス制御部112が起動すると、ステップ202(S202)において、内部監視部114は、業務サービス制御部112の動作状態の監視を開始する。すなわち、内部監視部114は、業務サービス制御部112のプロセスの死活監視を開始する。Next, in step 201 (S201), the
When the business
次に、ステップ203(S203)において、クラスタ制御部111は、業務サービス制御部112に対し、現用系業務サーバ200における業務サービス提供部201の起動を要求する。
ステップ204(S204)において、業務サービス制御部112は、スクリプト実行部115に対し、現用系業務サーバ200における業務サービス提供部201の起動を要求する。
ステップ205(S205)において、スクリプト実行部115は、業務サービス提供部201の起動を現用系業務サーバ200に要求するスクリプトを実行することにより、現用系業務サーバ200にこれを要求する。Next, in step 203 (S203), the
In step 204 (S204), the business
In step 205 (S205), the
ステップ206(S206)において、運用管理サーバ100から要求を受けた現用系業務サーバ200のスクリプト実行部202は、業務サービス提供部201の起動用のスクリプトをスクリプト記憶部203から取得する。なお、業務サービス提供部201の起動用のスクリプトは、図4に示した処理により予めスクリプト記憶部203に記憶されている。
ステップ207(S207)において、現用系業務サーバ200のスクリプト実行部202は、取得したスクリプトを実行することにより、業務サービス提供部201を起動する。これにより、現用系業務サーバ200からクライアント装置(ユーザ)へのネットワーク400を介した業務サービスの提供が開始される(ステップ208(S208))。In step 206 (S206), the
In step 207 (S207), the
業務サービス提供部201の起動を要求した運用管理サーバ100のクラスタ制御部111は、ステップ209(S209)において、サーバ監視部113を起動する。すなわち、クラスタ制御部111は、サーバ監視部113のプロセスを開始させる。
サーバ監視部113が起動すると、ステップ210(S210)において、内部監視部114は、サーバ監視部113の動作状態の監視を開始する。すなわち、内部監視部114は、サーバ監視部113のプロセスの死活監視を開始する。In step 209 (S209), the
When the
図6は、HAクラスタシステム10における監視動作の流れを示すフローチャートである。以下、図6を参照しつつ動作の流れについて説明する。なお、継続的に監視を行うため、図6に示される動作は繰り返し実行される。
FIG. 6 is a flowchart showing the flow of the monitoring operation in the
ステップ300(S300)において、サーバ監視部113は、現用系業務サーバ200による業務サービスの提供状態を確認するための処理をスクリプト実行部115に要求する。具体的には、現用系業務サーバ200の業務サービス提供部201によって提供される業務サービスにネットワーク400を介して運用管理サーバ100からアクセスできるか否かを確認する処理をスクリプト実行部115に要求する。
ステップ301(S301)において、スクリプト実行部115は、業務サービスの提供状態の確認用の所定のスクリプトを実行することにより、業務サービスへのアクセスパスを確認する。これにより、ネットワーク400経由で正常に現用系業務サーバ200の業務サービスにアクセスできるか否かが確認される。In step 300 (S300), the
In step 301 (S301), the
また、HAクラスタシステム10においては、運用管理サーバ100からのネットワーク401経由の要求に応じて、現用系業務サーバ200及び待機系業務サーバ300における監視用のスクリプトの実行が行われる。
具体的には、まず、ステップ302(S302)において、サーバ監視部113は、管理対象サーバ(現用系業務サーバ200及び待機系業務サーバ300)の動作状態の確認をスクリプト実行部115に要求する。
ステップ303(S303)において、スクリプト実行部115は、動作確認を要求するための所定のスクリプトを実行することにより、管理対象サーバ(現用系業務サーバ200及び待機系業務サーバ300)に対し、動作状態の確認を要求する。すなわち、スクリプト実行部115は、現用系業務サーバ200に対し、現用系業務サーバ200の監視用のスクリプトの実行を要求し、待機系業務サーバ300に対し、待機系業務サーバ300の監視用のスクリプトの実行を要求する。Further, in the
Specifically, first, in step 302 (S302), the
In step 303 (S303), the
ステップ304(S304)において、管理対象サーバ(現用系業務サーバ200及び待機系業務サーバ300)は、監視用のスクリプトを実行することにより、自装置の状態を確認する。すなわち、運用管理サーバ100から要求を受けた現用系業務サーバ200のスクリプト実行部202は、監視用のスクリプトをスクリプト記憶部203から取得する。そして、現用系業務サーバ200のスクリプト実行部202は、取得したスクリプトを実行することにより、現用系業務サーバ200の動作状態を確認する。同様に、運用管理サーバ100から要求を受けた待機系業務サーバ300のスクリプト実行部302は、監視用のスクリプトをスクリプト記憶部303から取得する。そして、待機系業務サーバ300のスクリプト実行部302は、取得したスクリプトを実行することにより、待機系業務サーバ300の動作状態を確認する。なお、監視用のスクリプトは、図4に示した処理により予めスクリプト記憶部203、303に記憶されている。
監視用のスクリプトの実行により、管理対象サーバのハードウェア及びソフトウェアなどの状態情報が取得される。具体的には、例えば、アプリケーションのプロセスの死活状態、ディスクへのアクセスパスの動作状態、LANケーブルのリンク状態、NICの状態などの状態情報が取得される。スクリプト実行部202、302は、監視用のスクリプトの実行結果、すなわち管理対象サーバの状態情報を運用管理サーバ100に送信し、運用管理サーバ100のスクリプト実行部115によってこれが取得される(ステップ305(S305))。In step 304 (S304), the managed server (
By executing the monitoring script, the status information of the hardware and software of the managed server is acquired. Specifically, for example, status information such as the life-and-death status of the application process, the operating status of the access path to the disk, the link status of the LAN cable, and the NIC status is acquired. The
ステップ306(S306)において、スクリプト実行部115は、ステップ301において得られた結果及びステップ305において得られた結果を、監視情報として、サーバ監視部113に出力する。
次に、ステップ307(S307)においては、サーバ監視部113は、ステップ306で取得した監視情報に基づいて、管理対象サーバが正常であるか否か、すなわち障害が発生していないか否かを判定する。なお、ステップ307における判定は、監視情報の分析(例えば、管理対象サーバが正常である場合に期待される監視結果と、実際の監視結果との比較)によって行われてもよい。In step 306 (S306), the
Next, in step 307 (S307), the
このように、サーバ監視部113及びスクリプト実行部115は、図1のサーバ監視処理部3に相当する。すなわち、サーバ監視部113及びスクリプト実行部115は、管理対象サーバに対し、監視用のスクリプトの実行及び実行結果の返信を要求し、この実行結果に基づいて管理対象サーバの動作状態を監視する。
As described above, the
図7は、HAクラスタシステム10におけるフェールオーバー動作を示すフローチャートである。HAクラスタシステム10は、現用系業務サーバ200に障害が発生した場合、以下のような処理を行う。すなわち、図6のステップ307において、現用系業務サーバ200の障害が検出された場合、HAクラスタシステム10は以下のような処理を行う。以下、図7を参照しつつ動作の流れについて説明する。
FIG. 7 is a flowchart showing a failover operation in the
ステップ400(S400)において、現用系業務サーバ200に障害が発生したことを検知したサーバ監視部113は、クラスタ制御部111に異常の発生を通知する。
次にステップ401(S401)において、異常の発生の通知を受けたクラスタ制御部111は、待機系業務サーバ300が正常に業務サービスを引き継げるかどうかの確認をサーバ監視部113に要求する。サーバ監視部113は、図6のステップ307で得られた待機系業務サーバ300の状態に基づいて、待機系業務サーバ300が正常に業務サービスを引き継げるかどうかを判定する。サーバ監視部113は、待機系業務サーバ300が正常である場合、待機系業務サーバ300が正常に業務サービスを引き継げると判定する。In step 400 (S400), the
Next, in step 401 (S401), the
待機系業務サーバ300が正常に業務サービスを引き継げる場合、クラスタ制御部111は、業務サービス制御部112にフェールオーバーを要求する。具体的には、以下のような処理が行われ、現用系業務サーバ200による業務サービスの提供から、待機系業務サーバ300による業務サービスの提供へとシステムの状態が切替えられる。
When the
ステップ402(S402)において、クラスタ制御部111は、業務サービス制御部112に、現用系業務サーバ200による業務サービスの提供を停止する制御を要求する。これに対し、業務サービス制御部112は、ステップ403(S403)において、スクリプト実行部115に対し、現用系業務サーバ200における業務サービス提供部201の停止を要求する。
ステップ404(S404)において、スクリプト実行部115は、業務サービス提供部201の停止を現用系業務サーバ200に要求するスクリプトを実行することにより、現用系業務サーバ200にこれを要求する。すなわち、スクリプト実行部115は、現用系業務サーバ200に対し、業務サービス提供部201の停止のためのスクリプトの実行を要求する。
そして、ステップ405(S405)において、要求を受けた現用系業務サーバ200のスクリプト実行部202は、業務サービス提供部201を停止するためのスクリプトを実行する。すなわち、運用管理サーバ100から要求を受けた現用系業務サーバ200のスクリプト実行部202は、業務サービス提供部201の停止用のスクリプトをスクリプト記憶部203から取得する。そして、現用系業務サーバ200のスクリプト実行部202は、取得したスクリプトを実行することにより、現用系業務サーバ200による業務サービスの提供を停止する。なお、停止用のスクリプトは、図4に示した処理により予めスクリプト記憶部203に記憶されている。In step 402 (S402), the
In step 404 (S404), the
Then, in step 405 (S405), the
また、ステップ406(S406)において、クラスタ制御部111は、業務サービス制御部112に、待機系業務サーバ300による業務サービスの提供を開始する制御を要求する。これに対し、業務サービス制御部112は、ステップ407(S407)において、スクリプト実行部115に対し、待機系業務サーバ300における業務サービス提供部301の起動を要求する。
ステップ408(S408)において、スクリプト実行部115は、業務サービス提供部301の起動を待機系業務サーバ300に要求するスクリプトを実行することにより、待機系業務サーバ300にこれを要求する。すなわち、スクリプト実行部115は、待機系業務サーバ300に対し、業務サービス提供部301の起動のためのスクリプトの実行を要求する。
そして、ステップ409(S409)において、要求を受けた待機系業務サーバ300のスクリプト実行部302は、業務サービス提供部301を起動するためのスクリプトを実行する。すなわち、運用管理サーバ100から要求を受けた待機系業務サーバ300のスクリプト実行部302は、業務サービス提供部301の起動用のスクリプトをスクリプト記憶部303から取得する。そして、待機系業務サーバ300のスクリプト実行部302は、取得したスクリプトを実行することにより、待機系業務サーバ300による業務サービスの提供を開始する。なお、起動用のスクリプトは、図4に示した処理により予めスクリプト記憶部303に記憶されている。
このようにして、待機系業務サーバ300からの業務サービスの提供を可能とし、フェールオーバーを完了する。Further, in step 406 (S406), the
In step 408 (S408), the
Then, in step 409 (S409), the
In this way, the business service can be provided from the
このように、クラスタ制御部111、業務サービス制御部112、及びスクリプト実行部115は、図1のクラスタ制御処理部4に相当する。すなわち、クラスタ制御部111、業務サービス制御部112、及びスクリプト実行部115は、現用系業務サーバ200が異常である場合、フェールオーバーを行うためのスクリプトの実行を管理対象サーバに要求する。
As described above, the
図8は、HAクラスタシステム10におけるスクリプトの実行に関する動作を示すフローチャートである。なお、図8において、上段は、運用管理サーバ100が管理対象サーバにスクリプトを実行させる際の動作の流れを示し、下段は、運用管理サーバ100においてスクリプトを実行する際の動作の流れを示す。以下、図8を参照しつつ動作の流れについて説明する。
FIG. 8 is a flowchart showing an operation related to script execution in the
まず、運用管理サーバ100が管理対象サーバ(現用系業務サーバ200及び待機系業務サーバ300)にスクリプトを実行させる際の動作(リモート実行の動作)の流れを説明する。
ステップ500(S500)において、運用管理サーバ100のスクリプト実行部115は、サーバ通信部116に、管理対象サーバへの通信セッションの確立を要求する。これに対し、ステップ501(S501)において、サーバ監視部113は、管理対象サーバ、すなわち、現用系業務サーバ200又は待機系業務サーバ300への通信セッションを確立する。なお、図6のステップ301による処理が行われる場合、サーバ通信部116は、ネットワーク400(パブリックLAN)での通信セッションを確立する。それ以外の場合は、サーバ通信部116は、ネットワーク401(インタコネクトLAN)での通信セッションを確立する。First, the flow of the operation (remote execution operation) when the
In step 500 (S500), the
次に、ステップ502(S502)において、業務サービス制御部112又はサーバ監視部113からの要求に従い、スクリプト実行部115は、管理対象サーバのスクリプト実行部202又は302に対し、スクリプトの実行を要求する。このとき、スクリプト実行部115は、暗号化されてスクリプト記憶部203、303に記憶されているスクリプトの復号に必要な鍵を送信する。
Next, in step 502 (S502), the
ステップ503(S503)において、スクリプト実行部202、302は、スクリプト記憶部203、303からスクリプトを取得する。そして、ステップ504(S504)において、受信した鍵を用いて、スクリプトを復号し、ステップ505(S505)において、復号したスクリプトを実行する。その後、ステップ506(S506)において、スクリプト実行部202、302は、スクリプトの実行結果を運用管理サーバ100のスクリプト実行部115に送信する。
In step 503 (S503), the
次に、ステップ507(S507)において、実行結果を管理対象サーバから取得したスクリプト実行部115は、サーバ通信部116に、管理対象サーバへの通信セッションの切断を要求する。これに対し、ステップ508(S508)において、サーバ監視部113は、管理対象サーバへの通信セッションを切断する。なお、実行結果を取得したスクリプト実行部115は、要求元である業務サービス制御部112又はサーバ監視部113に実行結果を出力する。
このように、本実施の形態では、運用管理サーバ100から管理対象サーバへのリモートログインによるスクリプトの実行が行われる。なお、リモートログインでは、SSH(Secure Shell)が用いられてもよい。Next, in step 507 (S507), the
As described above, in the present embodiment, the script is executed by remote login from the
次に、運用管理サーバ100においてスクリプトを実行する際の動作(ローカル実行の動作)の流れを説明する。この場合、図8の下段に示されるように、通信セッション確立、切断、スクリプトの復号などの処理は行われず、スクリプト記憶部117にあるスクリプトが実行される。すなわち、ステップ550(S550)において、スクリプト実行部115は、スクリプト記憶部117から実行対象のスクリプトを取得する。そして、ステップ551(S551)において、スクリプト実行部115は、取得したスクリプトを実行する。このような処理により、運用管理サーバ100におけるクラスタウェア110のプロセス監視(内部監視部114による監視)などが実行される。この場合、スクリプト実行部115の実行結果は、要求元の内部監視部114に出力される。
Next, the flow of the operation (local execution operation) when the script is executed on the
以上、実施の形態1について説明した。実施の形態1にかかるHAクラスタシステム10では、運用管理サーバ100に、上述したクラスタウェア110が設けられており、管理対象サーバは、クラスタウェア110からの要求によりスクリプトの実行及び実行結果の返信を行う。このため、管理対象サーバがクラスタウェアを有することに起因した問題(例えば、既存環境を有効活用できない、クラスタウェアの処理負荷がかかるなどの問題)の発生を回避することができる。
The first embodiment has been described above. In the
また、HAクラスタシステム10では、図6を用いて説明したように、運用管理サーバ100は、クライアント装置に対して業務サービスを提供するために利用されるネットワーク400を介して、管理対象サーバによる業務サービスの提供状態を監視する。そして、運用管理サーバ100は、そのような監視により、管理対象サーバにより業務サービスが正常に提供されていないことを検出した場合、フェールオーバーについての管理対象サーバの動作を制御するためのスクリプトの実行を管理対象サーバに要求する。
ところで、業務サービスを提供できているかを判断するのが提供元のサーバである場合、実際に外部のクライアント装置に対し、ネットワーク400経由で正常に業務サービスを提供できているかを確実に判定できない。
これに対し、HAクラスタシステム10は、実際の外部のクライアント装置と同等のアクセスが行われるため、業務サービスが正常に提供できているか否かをより正確に判定することができる。Further, in the
By the way, when it is the server of the provider that determines whether or not the business service can be provided, it cannot be reliably determined whether or not the business service can be normally provided to the external client device via the
On the other hand, since the
<実施の形態2>
次に、実施の形態2について説明する。なお、以下の説明では、実施の形態1と重複する構成、動作については説明を割愛する。本実施の形態では、管理対象サーバが備えるBMC(Baseboard Management Controller)に対する処理を運用管理サーバが行う点で、上述の実施の形態と異なっている。<
Next, the second embodiment will be described. In the following description, the description of the configuration and operation overlapping with the first embodiment will be omitted. This embodiment is different from the above-described embodiment in that the operation management server performs processing on the BMC (Baseboard Management Controller) included in the managed server.
図9は、実施の形態2にかかるHAクラスタシステム20の一例を示すブロック図である。図9に示すように、現用系業務サーバ200はBMC204を備え、同様に、待機系業務サーバ300は、BMC304を備えている。BMC204、304は、OSとは独立に動作して、プロセッサ、メモリなどといったサーバを構成するハードウェアの監視機能と、サーバの起動及び停止の制御などを行う。BMC204、304は、例えばIPMI(Intelligent Platform Management Interface)規格に準拠しており、BMCとの通信用のLAN(BMC LAN)であるネットワーク402に接続されている。BMC204、304は、ハードウェア障害等のために管理対象サーバのOSがダウンしている際においても、障害通報機能およびリモートコントロール機能を運用管理サーバ100に提供する。
管理対象サーバのOSがダウンした場合、運用管理サーバ100からネットワーク401経由で管理対象サーバにスクリプトを実行させることにより管理対象サーバを監視及び制御することが不可能になる。そのような場合であっても、管理対象サーバにBMCが搭載されている本実施の形態においては、図10に示すように、運用管理サーバ100からネットワーク402経由で管理対象サーバを監視・制御(死活監視、強制停止など)することができる。FIG. 9 is a block diagram showing an example of the
When the OS of the managed server goes down, it becomes impossible to monitor and control the managed server by causing the managed server to execute a script from the
図10は、HAクラスタシステム20におけるBMCを用いたサーバ監視及びサーバ制御の動作を示すフローチャートである。以下、図10を参照しつつ動作の流れについて説明する。
FIG. 10 is a flowchart showing the operation of server monitoring and server control using BMC in the
ステップ600(S600)において、サーバ監視部113は、管理対象サーバ(現用系業務サーバ200及び待機系業務サーバ300)の動作状態の確認をスクリプト実行部115に要求する。
ステップ601(S601)において、スクリプト実行部115は、管理対象サーバの状態情報を要求するための所定のスクリプトを実行する。すなわち、スクリプト実行部115は、BMC204、304から管理対象サーバの動作状態を取得するためのコマンド(監視用のIPMIコマンド)をネットワーク402経由で送信する。In step 600 (S600), the
In step 601 (S601), the
ステップ602(S602)において、コマンドを受信したBMC204、304は、ハードウェアの各種情報(CPU情報、メモリ情報、OS状態等)である監視情報(状態情報とも称す)を取得する。
そして、ステップ603(S603)において、BMC204、304は、運用管理サーバ100に監視情報を送信する。
ステップ604(S604)において、BMC204、304から監視情報を取得した運用管理サーバ100のスクリプト実行部115は、監視情報をサーバ監視部113に出力する。
ステップ605(S605)において、サーバ監視部113は、ステップ604で取得した監視情報を分析し、管理対象サーバの状態を確認する。すなわち、サーバ監視部113は、管理対象サーバが正常であるか否か、すなわち障害が発生していないか否かを判定する。In step 602 (S602), the
Then, in step 603 (S603), the
In step 604 (S604), the
In step 605 (S605), the
ステップ605においてサーバ監視部113が管理対象サーバの異常を検出した場合、ステップ606(S606)において、サーバ監視部113は、クラスタ制御部111に管理対象サーバにおける異常の発生を通知する。
ステップ607(S607)において、通知を受けたクラスタ制御部111は、スクリプト実行部115に、障害発生時の処理(管理対象サーバの再起動等)を要求する。
ステップ608(S608)において、スクリプト実行部115は、障害発生時の処理をBMC204、304に要求するための所定のスクリプトを実行する。すなわち、スクリプト実行部115は、例えば、BMC204、304に管理対象サーバの電源オフコマンド又は電源オンコマンド(電源制御用のIPMIコマンド)をネットワーク402経由で送信する。
ステップ609(S609)において、コマンドを受信したBMC204、304は、管理対象サーバの電源制御を行う。これにより、例えば、障害発生時の処理として、障害が発生した管理対象サーバの再起動が行われる。または、例えば、障害発生時の処理として、障害が発生した現用系業務サーバ200の停止及び待機系業務サーバ300の起動が行われる。なお、待機系業務サーバ300が停止している状態において現用系業務サーバ200の障害を検出した場合、現用系業務サーバ200を電源オフにし、待機系業務サーバ300を電源オンにすれば、IP(Internet Protocol)アドレス等の衝突が発生しない。すなわち、クライアント装置からの接続の切り替えが不要になる。When the
In step 607 (S607), the
In step 608 (S608), the
In step 609 (S609), the
ステップ609におけるBMC204、304による処理が行われると、ステップ610(S610)において、処理の実行結果が運用管理サーバ100のスクリプト実行部115に返信される。また、ステップ611(S611)において、クラスタ制御部111は、この実行結果をスクリプト実行部115から取得する。
When the processing by
このように、本実施の形態では、運用管理サーバ100は、管理対象サーバのBMCに対し、管理対象サーバの状態情報の返信を要求し、この状態情報に基づいて管理対象サーバの状態を監視する。そして、運用管理サーバ100は、管理対象サーバの異常を示す状態情報がBMCから得られた場合、BMCに対し管理対象サーバの電源制御を要求する。このような構成によれば、管理対象サーバにおいて監視用又は制御用のスクリプトが実行できないような状況において、適切に対応することができる。
As described above, in the present embodiment, the
<実施の形態3>
次に、実施の形態3について説明する。本実施の形態は、業務サービスを提供するサーバのいずれかが運用管理サーバとしても用いられる点で、実施の形態1と異なっている。以下、実施の形態1と異なる点について説明し、実施の形態1と同様の構成及び動作に関しては説明を割愛する。<
Next, the third embodiment will be described. This embodiment is different from the first embodiment in that any of the servers that provide business services is also used as an operation management server. Hereinafter, the points different from those of the first embodiment will be described, and the description of the same configuration and operation as that of the first embodiment will be omitted.
図11は、実施の形態3にかかるHAクラスタシステム30の一例を示すブロック図である。図11に示すように、HAクラスタシステム30は、運用管理・待機系業務サーバ500と、現用系業務サーバ200とを有している。図11に示すように、運用管理・待機系業務サーバ500は、クラスタウェア110の他に業務サービス提供部120を有する点で、実施の形態1にかかる運用管理サーバ100と異なる。すなわち、運用管理・待機系業務サーバ500は、実施の形態1にかかる運用管理サーバ100において、業務サービス提供部120が追加されたサーバともいえる。業務サービス提供部120は、上述した業務サービス提供部201、301と同様の動作を行う。
FIG. 11 is a block diagram showing an example of the
なお、本実施の形態において、運用管理・待機系業務サーバ500が自サーバを監視する際、サーバ監視部113は、図8の下段に示した動作と同様に、スクリプト実行部115に対し、スクリプト記憶部117のスクリプトをローカルで実行するよう要求する。また、業務サービス提供部120を起動又は停止する際も、図8の下段に示した動作と同様に、スクリプト実行部115に対し、スクリプト記憶部117のスクリプトをローカルで実行するよう要求する。
In the present embodiment, when the operation management /
このように、運用管理を行うサーバが業務サービス提供部120を有することにより、当該サーバを運用管理だけでなく、待機系のサーバとしても利用することができる。また、このような構成によれば、待機系のサーバとして用意するサーバの台数を削減することもできるため、システムの導入コストを抑制することができる。
As described above, since the server that performs operation management has the business
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態3において、実施の形態2で説明したBMCを用いた制御が行われてもよい。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. For example, in the third embodiment, the control using the BMC described in the second embodiment may be performed.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the invention of the present application has been described above with reference to the embodiments, the invention of the present application is not limited to the above. Various changes that can be understood by those skilled in the art can be made within the scope of the invention in the configuration and details of the invention of the present application.
この出願は、2018年3月6日に出願された日本出願特願2018−39390を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2018-39390 filed on March 6, 2018, and the entire disclosure thereof is incorporated herein by reference.
1 管理サーバ
2 送信処理部
3 サーバ監視処理部
4 クラスタ制御処理部
10、20、30 HAクラスタシステム
100 運用管理サーバ
110 クラスタウェア
111 クラスタ制御部
112 業務サービス制御部
113 サーバ監視部
114 内部監視部
115、202、302 スクリプト実行部
116 サーバ通信部
117、203、303 スクリプト記憶部
120、201、301 業務サービス提供部
150 ネットワークインタフェース
151 メモリ
152 プロセッサ
200 現用系業務サーバ
300 待機系業務サーバ
400、401、402 ネットワーク
500 運用管理・待機系業務サーバ1
Claims (9)
前記サービス提供サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記サービス提供サーバの動作状態を監視するサーバ監視処理手段と、
前記監視スクリプトの前記実行結果が前記サービス提供サーバの異常を示す場合、前記制御スクリプトの実行を前記サービス提供サーバに要求するクラスタ制御処理手段と
を有する管理サーバ。Performs a process of transmitting a monitoring script for monitoring the operation of the service providing server that provides a predetermined service and a control script for controlling the operation of the service providing server regarding failover to the service providing server. Transmission processing means and
A server monitoring processing means that requests the service providing server to execute the monitoring script and return the execution result, and monitors the operating state of the service providing server based on the execution result.
A management server having a cluster control processing means that requests the service providing server to execute the control script when the execution result of the monitoring script indicates an abnormality of the service providing server.
前記クラスタ制御処理手段は、さらに、前記サービス提供サーバにより前記所定のサービスが正常に提供されていない場合、前記制御スクリプトの実行を前記サービス提供サーバに要求する
請求項1に記載の管理サーバ。The server monitoring processing means further monitors the provision status of the predetermined service by the service providing server via the network used by the service providing server to provide the predetermined service to the client device. And
The management server according to claim 1, wherein the cluster control processing means further requests the service providing server to execute the control script when the predetermined service is not normally provided by the service providing server.
前記サーバ監視処理手段は、さらに、前記サービス提供サーバの前記BMCに対し、前記サービス提供サーバの状態情報の返信を要求し、該状態情報に基づいて前記サービス提供サーバの状態を監視し、
前記クラスタ制御処理手段は、前記サービス提供サーバの異常を示す状態情報が前記BMCから得られた場合、前記BMCに対し前記サービス提供サーバの電源制御を要求する
請求項1又は2に記載の管理サーバ。The service providing server is a server provided with a BMC (Baseboard Management Controller).
The server monitoring processing means further requests the BMC of the service providing server to return the state information of the service providing server, and monitors the state of the service providing server based on the state information.
The management server according to claim 1 or 2, wherein the cluster control processing means requests the BMC to control the power supply of the service providing server when state information indicating an abnormality of the service providing server is obtained from the BMC. ..
請求項1乃至3のいずれか1項に記載の管理サーバ。The management server according to any one of claims 1 to 3, further comprising an internal monitoring processing means for monitoring the operating state of at least one of the server monitoring processing means or the cluster control processing means.
請求項1乃至4のいずれか1項に記載の管理サーバ。The management server according to any one of claims 1 to 4, further comprising a service providing means for providing the predetermined service.
前記所定のサービスを提供するための待機系サーバと、
前記現用系サーバ及び前記待機系サーバにおけるフェールオーバーを制御する管理サーバと、
を備え、
前記管理サーバは、
前記現用系サーバの動作を監視するための第1の監視スクリプトと、フェールオーバーについての前記現用系サーバの動作を制御するための第1の制御スクリプトとを前記現用系サーバに送信する処理と、前記待機系サーバの動作を監視するための第2の監視スクリプトと、フェールオーバーについての前記待機系サーバの動作を制御するための第2の制御スクリプトとを前記待機系サーバに送信する処理とを行う送信処理手段と、
前記現用系サーバ及び前記待機系サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記現用系サーバ及び前記待機系サーバの動作状態を監視するサーバ監視処理手段と、
前記現用系サーバの前記監視スクリプトの前記実行結果が前記現用系サーバの異常を示す場合、前記第1の制御スクリプトの実行を前記現用系サーバに要求するとともに前記第2の制御スクリプトの実行を前記待機系サーバに要求するクラスタ制御処理手段と
を有する
クラスタシステム。A working server for providing a given service and
A standby server for providing the prescribed service and
The management server that controls failover in the active server and the standby server,
With
The management server
A process of transmitting a first monitoring script for monitoring the operation of the active server and a first control script for controlling the operation of the active server regarding failover to the active server. A process of transmitting a second monitoring script for monitoring the operation of the standby server and a second control script for controlling the operation of the standby server regarding failover to the standby server. Transmission processing means to be performed and
A server monitoring process that requests the active server and the standby server to execute the monitoring script and return the execution result, and monitors the operating status of the active server and the standby server based on the execution result. Means and
When the execution result of the monitoring script of the working server indicates an abnormality of the working server, the working server is requested to execute the first control script and the second control script is executed. A cluster system that has the cluster control processing means required for the standby server.
前記クラスタ制御処理手段は、さらに、前記現用系サーバにより前記所定のサービスが正常に提供されていない場合、前記第1の制御スクリプトの実行を前記現用系サーバに要求するとともに前記第2の制御スクリプトの実行を前記待機系サーバに要求する
請求項6に記載のクラスタシステム。The server monitoring processing means further monitors the provision status of the predetermined service by the active server via the network used by the active server to provide the predetermined service to the client device. And
The cluster control processing means further requests the active server to execute the first control script and the second control script when the predetermined service is not normally provided by the active server. The cluster system according to claim 6, which requests the standby server to execute the above.
前記サービス提供サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記サービス提供サーバの動作状態を監視し、
前記監視スクリプトの前記実行結果が前記サービス提供サーバの異常を示す場合、前記制御スクリプトの実行を前記サービス提供サーバに要求する
クラスタシステムの制御方法。A monitoring script for monitoring the operation of the service providing server that provides a predetermined service and a control script for controlling the operation of the service providing server regarding failover are transmitted to the service providing server.
The service providing server is requested to execute the monitoring script and return the execution result, and the operating state of the service providing server is monitored based on the execution result.
A method of controlling a cluster system that requests the service providing server to execute the control script when the execution result of the monitoring script indicates an abnormality of the service providing server.
前記サービス提供サーバに対し、前記監視スクリプトの実行及び実行結果の返信を要求し、該実行結果に基づいて前記サービス提供サーバの動作状態を監視するサーバ監視処理ステップと、
前記監視スクリプトの前記実行結果が前記サービス提供サーバの異常を示す場合、前記制御スクリプトの実行を前記サービス提供サーバに要求するクラスタ制御処理ステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。Performs a process of transmitting a monitoring script for monitoring the operation of the service providing server that provides a predetermined service and a control script for controlling the operation of the service providing server regarding failover to the service providing server. Transmission processing step and
A server monitoring processing step that requests the service providing server to execute the monitoring script and return the execution result, and monitors the operating state of the service providing server based on the execution result.
When the execution result of the monitoring script indicates an abnormality of the service providing server, a non-temporary program containing a program for causing the computer to execute the cluster control processing step requesting the service providing server to execute the control script is stored. Computer readable medium.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018039390 | 2018-03-06 | ||
JP2018039390 | 2018-03-06 | ||
PCT/JP2018/046574 WO2019171704A1 (en) | 2018-03-06 | 2018-12-18 | Management server, cluster system, cluster system control method, and non-transitory computer-readable medium for storing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2019171704A1 true JPWO2019171704A1 (en) | 2021-02-04 |
Family
ID=67846939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504799A Pending JPWO2019171704A1 (en) | 2018-03-06 | 2018-12-18 | Management server, cluster system, cluster system control method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2019171704A1 (en) |
WO (1) | WO2019171704A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112333244A (en) * | 2020-10-16 | 2021-02-05 | 济南浪潮数据技术有限公司 | Cluster mutual trust method, system, equipment and computer readable storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07253956A (en) * | 1994-03-15 | 1995-10-03 | Fujitsu Ltd | Computer supervisory system |
JP2005209191A (en) * | 2004-01-20 | 2005-08-04 | Internatl Business Mach Corp <Ibm> | Remote enterprise management of high availability system |
JP2008293245A (en) * | 2007-05-24 | 2008-12-04 | Hitachi Ltd | Failover method, computer system, management server, and setting method for stand-by server |
JP2011191854A (en) * | 2010-03-12 | 2011-09-29 | Hitachi Ltd | Computer system, control method of computer system, and program |
JP2017033486A (en) * | 2015-08-06 | 2017-02-09 | 日本電気株式会社 | Information processing apparatus, management terminal, information management system, information management method, and program |
JP2017129935A (en) * | 2016-01-18 | 2017-07-27 | キヤノン株式会社 | Server system, and method and program for controlling server system |
-
2018
- 2018-12-18 JP JP2020504799A patent/JPWO2019171704A1/en active Pending
- 2018-12-18 WO PCT/JP2018/046574 patent/WO2019171704A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07253956A (en) * | 1994-03-15 | 1995-10-03 | Fujitsu Ltd | Computer supervisory system |
JP2005209191A (en) * | 2004-01-20 | 2005-08-04 | Internatl Business Mach Corp <Ibm> | Remote enterprise management of high availability system |
JP2008293245A (en) * | 2007-05-24 | 2008-12-04 | Hitachi Ltd | Failover method, computer system, management server, and setting method for stand-by server |
JP2011191854A (en) * | 2010-03-12 | 2011-09-29 | Hitachi Ltd | Computer system, control method of computer system, and program |
JP2017033486A (en) * | 2015-08-06 | 2017-02-09 | 日本電気株式会社 | Information processing apparatus, management terminal, information management system, information management method, and program |
JP2017129935A (en) * | 2016-01-18 | 2017-07-27 | キヤノン株式会社 | Server system, and method and program for controlling server system |
Non-Patent Citations (2)
Title |
---|
楠 正憲: "「ネットワーク 行く年来る年 総点検 1章 予防編 ネットワークトラブル備えあれば憂いなし」", SOFTWAREDESIGN, vol. 第135号, JPN6019010312, 18 January 2002 (2002-01-18), pages 18 - 27, ISSN: 0004702074 * |
高 尚昊 他: "「OpenFlowにおけるネットワーク状況に適応的なコントローラ冗長化手法の提案」", 電気学会研究会資料, vol. IIS-15-36, JPN6019010313, 16 March 2015 (2015-03-16), pages 69 - 74, ISSN: 0004702075 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019171704A1 (en) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9792188B2 (en) | Remote cable access point reset | |
JP4434168B2 (en) | On-demand client service system, management method thereof, and program | |
US8112518B2 (en) | Redundant systems management frameworks for network environments | |
US8782462B2 (en) | Rack system | |
US10958539B1 (en) | Network function virtualization compute element image upgrade | |
EP2637102B1 (en) | Cluster system with network node failover | |
JP2007233586A (en) | Duplex controller and duplex control method | |
JP6866927B2 (en) | Cluster system, cluster system control method, server device, control method, and program | |
CN107071189B (en) | Connection method of communication equipment physical interface | |
JPWO2019171704A1 (en) | Management server, cluster system, cluster system control method, and program | |
JP6838334B2 (en) | Cluster system, server, server operation method, and program | |
JP2015158773A (en) | Operation verification device for virtual apparatus, operation verification system for virtual apparatus, and program | |
JP6951014B2 (en) | Communication control devices, communication systems, communication control methods, and programs | |
JP6368157B2 (en) | Communication system and control method thereof | |
WO2017163665A1 (en) | Communication processing system, communication processing method, communication processing device, communication management device, and control methods and control programs therefor | |
JP2019153055A (en) | Cluster system, information processing apparatus, cluster monitoring method, and cluster monitoring program | |
US9880855B2 (en) | Start-up control program, device, and method | |
US11556324B2 (en) | Management apparatus and management method | |
JP2010219803A (en) | Quarantine system, quarantine management device, quarantine method, and program | |
JP2013156963A (en) | Control program, control method, information processing apparatus, and control system | |
JP6801919B2 (en) | Sales management system, transmission method, and program | |
JP2019197352A (en) | Service continuing system and service continuing method | |
JP5755352B1 (en) | Monitoring and control apparatus, communication system, and system switching method | |
JP7225322B2 (en) | Terminal device, data transfer system, data transfer method, and program | |
JP2023130042A (en) | Monitored apparatus, and processing method in monitored apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200817 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210909 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220208 |