JP7106953B2 - サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステム - Google Patents

サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステム Download PDF

Info

Publication number
JP7106953B2
JP7106953B2 JP2018075159A JP2018075159A JP7106953B2 JP 7106953 B2 JP7106953 B2 JP 7106953B2 JP 2018075159 A JP2018075159 A JP 2018075159A JP 2018075159 A JP2018075159 A JP 2018075159A JP 7106953 B2 JP7106953 B2 JP 7106953B2
Authority
JP
Japan
Prior art keywords
server
synchronous
asynchronous
servers
backup servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018075159A
Other languages
English (en)
Other versions
JP2019185371A (ja
Inventor
直樹 橋本
隆志 ▲徳▼田
大介 二宮
和博 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018075159A priority Critical patent/JP7106953B2/ja
Priority to US16/364,380 priority patent/US11232007B2/en
Publication of JP2019185371A publication Critical patent/JP2019185371A/ja
Application granted granted Critical
Publication of JP7106953B2 publication Critical patent/JP7106953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2033—Failover techniques switching over of hardware resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2041—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with more than one idle spare processing component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074—Asynchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2076—Synchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/184—Distributed file systems implemented as replicated file system
    • G06F16/1844—Management specifically adapted to replicated file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Hardware Redundancy (AREA)
  • Retry When Errors Occur (AREA)

Description

本発明は、サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステムに関する。
複数のノード、例えば複数のＤＢ（Database）サーバにより多重化環境を構成するクラスタシステムでは、クラスタシステムを構成するノード数に見合った可用性向上を実現するために、マルチ同期スタンバイ機能が用いられることがある。
マルチ同期スタンバイ機能は、プライマリサーバ、及び、１以上のスタンバイサーバをそなえる多重化環境において、ノードに異常が発生した場合にクラスタ構成を再構築する技術である。マルチ同期スタンバイ機能において採用される手法としては、例えば、フェイルオーバ及びフォールバック等が知られている。
フェイルオーバは、プライマリサーバが故障した場合に、いずれかのスタンバイサーバをプライマリサーバに切り替えて、新プライマリサーバで業務を継続する手法である。フェイルオーバでは、プライマリサーバが故障する都度、アクティブなスタンバイサーバが無くなるまで、スタンバイサーバからプライマリサーバへの切り替えが行なわれる。
なお、スタンバイサーバをプライマリサーバに「切り替える」とは、スタンバイサーバとして動作するノードに対して、プライマリサーバとして動作するように機能を切り替える（制御する）ことを意味してよい。
フォールバックは、スタンバイサーバが故障した場合に、故障したスタンバイサーバを縮退し、残りのスタンバイサーバによってＤＢの冗長化を担保する手法である。
マルチ同期スタンバイ機能を採用するクラスタシステムの可用性は、スタンバイサーバ数の増加に比例して向上する。
特開２００６－３０９４３９号公報 特開２０１６－５１４４８号公報 特開２０１３－３７４３３号公報 特開２０１１－１４１６０９号公報
ところで、端末によるクラスタシステムに対するＤＢの更新業務においてプライマリサーバのＤＢが更新されると、プライマリサーバは当該更新をスタンバイサーバのＤＢに反映させるための同期処理を行なう。
このため、スタンバイサーバ数を増加させることにより、クラスタシステムの可用性が向上する一方、プライマリサーバによる同期処理の処理負荷は増加し、ＤＢの更新性能が低下することがあり、効率良くサーバの切り替えを行なうことが困難な場合がある。
１つの側面では、本発明は、効率良くサーバの切り替えを実施することを目的とする。
１つの側面では、サーバシステムにおけるサーバ切り替えプログラムは、以下の処理をプライマリサーバのコンピュータに実行させてよい。なお、サーバシステムは、プライマリサーバと、前記プライマリサーバのデータを同期方式でバックアップする複数の同期型バックアップサーバと、前記プライマリサーバのデータを非同期でバックアップする複数の非同期型バックアップサーバとを含む。前記処理は、前記サーバシステム内の１又は複数のサーバにおける障害により前記同期型バックアップサーバの数が減少する場合に、前記非同期型バックアップサーバの前記プライマリサーバに対する同期状態に基づいて、前記複数の非同期型バックアップサーバから１又は複数の非同期型バックアップサーバを特定し、特定した前記１又は複数の非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なってよい。
１つの側面では、効率良くサーバの切り替えを実施することができる。
一実施形態に係るクラスタシステムの構成例を示すブロック図である。 一実施形態に係るノードの構成例を示すブロック図である。 ノード情報の一例を示す図である。 一実施形態に係るＤＢインスタンスの状態遷移の一例を示す図である。 一実施形態に係る同期スタンバイサーバの動作例を示すフローチャートである。 図５に示す同期スタンバイサーバの動作例を説明する図である。 図５に示す同期スタンバイサーバの動作例を説明する図である。 一実施形態に係るプライマリサーバの動作例を示すフローチャートである。 図８に示すプライマリサーバの動作例を説明する図である。 一実施形態に係るコンピュータのハードウェア構成例を示す図である。 一実施形態に係るクラスタシステムの構成例を示すブロック図である。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
〔１〕一実施形態
〔１－１〕クラスタシステムの構成例
図１は、一実施形態の一例としてのクラスタシステム１の構成例を示すブロック図である。図１に示すように、クラスタシステム１は、サーバシステムの一例であり、例示的に、クラスタを構成する複数（図１の例では７台）のノード２と、１以上（図１の例では１台）のノード３と、をそなえてよい。
複数のノード２の各々は、例えば、データベース管理システム（ＤＢＭＳ；Database Management System）等のソフトウェアがインストールされたＤＢサーバであり、マルチ同期スタンバイ機能を用いてよい。複数のノード２において実行されるＤＢＭＳにより、ＤＢの多重化環境が実現されてよい。
複数のノード２間は、インターコネクト、例えばＬＡＮ（Local Area Network）等のネットワーク１ａにより、相互に通信可能に接続されてよい。
ノード２は、プライマリサーバ、１以上の同期スタンバイサーバ、及び、１以上の非同期スタンバイサーバ、のいずれか１つの種別の機能（役割）を可変的に割り当てられ、割り当てられた種別のサーバとして動作してよい。
図１の例では、１台のノード２Ａ－１がプライマリサーバとして動作し、３台のノード２Ｂ－１～２Ｂ－３が同期スタンバイサーバとして動作し、３台のノード２Ｃ－１～２Ｃ－３が非同期スタンバイサーバとして動作するものとする。
以下の説明において、プライマリサーバとして動作するノード２を「ノード２Ａ」又は「プライマリサーバ２Ａ」と表記する場合がある。また、同期スタンバイサーバとして動作するノード２を「ノード２Ｂ」又は「同期サーバ２Ｂ」と表記する場合がある。さらに、非同期スタンバイサーバとして動作するノード２を「ノード２Ｃ」又は「非同期サーバ２Ｃ」と表記する場合がある。また、ノード２を「サーバ２」又は「ＤＢサーバ２」と表記する場合がある。
プライマリサーバ２Ａは、ＤＢのマスタデータを管理する運用系ノードの一例である。プライマリサーバ２Ａは、ＤＢの更新業務に応じて、プライマリサーバ２Ａが有するＤＢの更新処理を行なう。ＤＢの更新業務は、例えば、図１に示す端末４が、ネットワーク５及びノード３を経由してプライマリサーバ２Ａにアクセスすることで実行されてよい。
また、プライマリサーバ２Ａは、ＤＢの更新処理に加えて、クラスタを構成するノード２に対する同期処理を行なう。一例として、プライマリサーバ２Ａは、同期処理において、更新処理に係る更新結果の情報（例えばＷＡＬ等のログ）を、同期サーバ２Ｂ及び非同期サーバ２Ｃに対して送信（例えばブロードキャスト）してよい。
ＷＡＬは、Write Ahead Logging（ログ先行書き込み）の略称であり、ＤＢへの書き込みに先立って書き出されるトランザクションのログである。以下、同期処理がＷＡＬを用いて行なわれるものとして説明する。
１以上の同期サーバ２Ｂは、運用系ノードの予備である待機系ノード群であって、プライマリサーバ２Ａのデータを同期方式でバックアップする１又は複数の同期型バックアップサーバの一例である。各同期サーバ２Ｂは、プライマリサーバ２ＡからＷＡＬを受信すると、ログの転送が完了したことを示す応答（ログ転送完了応答）をプライマリサーバ２Ａに送信してよい。
なお、ログ転送応答は、例えば、同期サーバ２ＢがＷＡＬを受信したことを示す応答として、同期サーバ２ＢがＷＡＬを受信したタイミングで送信されてもよい。或いは、ログ転送応答は、例えば、同期サーバ２Ｂが受信したＷＡＬを用いて同期サーバ２ＢのＤＢの更新処理を完了したタイミングで送信されてもよい。
プライマリサーバ２Ａは、ＷＡＬの送信先のノード２のうち、全ての同期サーバ２Ｂからログ転送完了応答を受信した場合に、同期処理が完了したと判断し、同期処理のトランザクションを終了してよい。これにより、プライマリサーバ２Ａと同期サーバ２Ｂとの間のデータ同期（データの同一性）を保証できる。
１以上の非同期サーバ２Ｃは、待機系ノード群の予備である非同期待機系ノード群であって、プライマリサーバ２Ａのデータを非同期でバックアップする１又は複数の非同期型バックアップサーバの一例である。各非同期サーバ２Ｃは、プライマリサーバ２ＡからＷＡＬを受信すると、受信したＷＡＬを用いて非同期サーバ２ＣのＤＢの更新処理を行なってよい。
プライマリサーバ２Ａは、ＷＡＬの送信先のノード２のうち、非同期サーバ２Ｃについては、非同期サーバ２Ｃからの応答を待たずに、全ての同期サーバ２Ｂから応答を受信したことを以って、同期処理のトランザクションを終了してよい。なお、各非同期サーバ２Ｃについては、ＷＡＬを受信した場合におけるプライマリサーバ２Ａに対するログ転送完了応答の送信を不要としてもよい。
プライマリサーバ２Ａは、同期処理において、同期サーバ２Ｂに対してはログ転送完了応答の受信待ちを行なうため、同期サーバ２Ｂの台数が増加するほど、プライマリサーバ２Ａの処理負荷が高まり、更新処理に利用可能なリソースが減少するため、更新処理のレスポンスが不安定になるリスクが増加する。
そこで、一実施形態に係るクラスタシステム１においては、稼働する同期サーバ２Ｂの台数が、更新業務の性能要件と同時障害耐久性とのバランスを考慮した最適な上限数（台数）に調整され、決定されてよい。これにより、プライマリサーバ２Ａの処理負荷の増加を低減でき、更新処理に利用可能なリソースの減少を抑制できるため、更新処理において安定したレスポンスが確保できる。
プライマリサーバ２Ａ、同期サーバ２Ｂ、及び非同期サーバ２Ｃ等のノード２の詳細については後述する。
なお、端末４或いは図示しない他の端末は、例えば、ネットワーク５及びノード３を経由して同期サーバ２Ｂに対してアクセスすることで、ＤＢの参照業務を実行してよい。また、マルチ同期スタンバイ機能における、ＤＢ多重化環境の連携は、同期サーバ２Ｂ以外のノード２（例えば非同期サーバ２Ｃ）であれば可能である。
ノード３は、例えばアプリケーション（Application；以下、「ＡＰ」と表記する）サーバである。ノード３は、端末４或いは他の端末に対するクラスタシステム１へのインタフェース（Interface；ＩＦ）を提供してよい。以下の説明において、ノード３を「ＡＰサーバ３」と表記する場合がある。
ＡＰサーバ３と複数のノード２の各々との間は、ネットワーク１ｂにより相互に通信可能に接続されてよい。ネットワーク１ｂは、ネットワーク１ａと同一の、又は、異なるインターコネクト、例えばＬＡＮ等であってよい。
ＡＰサーバ３は、更新業務のアクセス先であるプライマリサーバ２Ａ、及び、参照業務のアクセス先である同期サーバ２Ｂを、複数のノード２の中から特定し、端末４或いは他の端末からのアクセスの接続先を、特定したノード２に切り替えてよい。例えば、ＡＰサーバ３は、ノード２からノード情報２１２（図２参照）を参照又は受信し、ノード情報２１２に基づいて、各ノード２の「プライマリ」、「同期スタンバイ」、「非同期スタンバイ」等の動作モード（同期属性）を判定してよい。
端末４は、クラスタシステム１が提供するＤＢの利用者が使用するコンピュータである。端末４としては、ユーザＰＣ（Personal Computer）、サーバ、スマートホン、或いはタブレット等の情報処理装置が挙げられる。
ネットワーク５は、例えば、ＬＡＮ或いはＷＡＮ（Wide Area Network）、又はこれらの組み合わせを含む、インターネット及びイントラネットの少なくとも一方であってよい。また、ネットワーク５は、ＶＰＮ（Virtual Private Network）等の仮想ネットワークを含んでもよい。なお、ネットワーク５は、有線ネットワーク及び無線ネットワークの一方又は双方により形成されてよい。
〔１－２〕ＤＢサーバの構成例
次に、図２を参照して、ＤＢサーバ２としてのノード２の構成例について説明する。なお、図１に示す各ノード２は、動作モードの切り替えによって、プライマリサーバ２Ａ、同期サーバ２Ｂ、及び非同期サーバ２Ｃのいずれとして動作可能であるため、以下、これらのサーバ２Ａ～２Ｃの機能を包含した機能構成例を説明する。なお、クラスタの構成や環境、運用等によって、各ノード２がそなえる機能構成は、サーバ２Ａ～２Ｃのうちの１つ又は２つを実現するための機能構成に制限されてもよい。
図２に示すように、ノード２は、例示的に、ＤＢ２１、ＤＢ制御部２２、同期制御部２３、及び、切替制御部２４をそなえてよい。
ＤＢ２１は、クラスタシステム１が提供するデータベースであり、業務データ等のユーザデータ２１１を格納してよい。なお、プライマリサーバ２ＡのＤＢ２１が格納するユーザデータ２１１は、マスタデータとして扱われてよく、同期サーバ２Ｂ又は非同期サーバ２Ｃが格納するユーザデータ２１１は、マスタデータの同期バックアップ又は非同期バックアップとして扱われてよい。
また、一実施形態に係るＤＢ２１は、ＤＢ制御部２２、同期制御部２３、及び、切替制御部２４の処理に用いられる情報として、例えば、ノード情報２１２及び優先度情報２１３を格納してよい。
なお、ＤＢ２１としては、メモリ、例えばＲＡＭ（Random Access Memory）等の揮発性メモリ、並びに、記憶部、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の記憶装置、の一方又は双方が挙げられる。ユーザデータ２１１、ノード情報２１２、及び優先度情報２１３は、１つのＤＢ２１に格納されてもよいし、複数のＤＢ２１（図示省略）に分散して格納されてもよい。また、ノード情報２１２、及び優先情報２１３はＤＢに格納されなくてもよい。
ＤＢ制御部２２は、ＤＢ２１に関する種々の制御を行なう。
例えば、プライマリサーバ２ＡのＤＢ制御部２２は、更新業務において、端末４からの更新指示に基づくＷＡＬ等のログの生成、及び、更新指示に基づくユーザデータ２１１の更新処理（例えばデータの追加、削除、或いは更新）を行なってよい。
また、同期サーバ２Ｂ及び非同期サーバ２ＣのＤＢ制御部２２は、それぞれ、同期制御部２３がプライマリサーバ２Ａから受信したＷＡＬに基づき、同期サーバ２Ｂ及び非同期サーバ２ＣのＤＢ２１に格納されたユーザデータ２１１の更新処理を行なってよい。
同期制御部２３は、ノード２間のデータ同期に関する種々の制御を行なう。
例えば、プライマリサーバ２Ａの同期制御部２３は、更新指示に応じて同期処理を開始し、ＤＢ制御部２２が生成したＷＡＬを、同期サーバ２Ｂ及び非同期サーバ２Ｃに送信（例えばブロードキャスト）してよい。また、同期制御部２３は、各同期サーバ２Ｂからの転送完了応答の受信を待ち受け、全ての同期サーバ２Ｂから転送完了応答を受信すると、同期処理を終了してよい。
なお、プライマリサーバ２Ａは、例えば、ＤＢ２１に格納されたノード情報２１２（図２参照）を参照することで、複数のノード２の各々の動作モードが同期サーバ２Ｂ及び非同期サーバ２Ｃのいずれかであるのかを判定してよい。
図３は、ノード情報２１２の一例を示す図である。図３に示すように、ノード情報２１２は、例示的に、ノード２を識別するための識別情報、及び、当該ノード２の動作モードの項目を含んでよい。なお、ノード情報２１２は、ＤＢＭＳにより管理されてよく、動作モードの更新は、例えば、マルチ同期スタンバイ機能におけるフェイルオーバやフォールバックの実行に応じて更新されてよい。
なお、ノード情報２１２において、「プライマリ」の情報（エントリ）は省略されてもよい。プライマリサーバ２Ａ、並びに、同期サーバ２Ｂ及び非同期サーバ２Ｃの動作モードは、ＤＢの状態、例えば、ＰｏｓｔｇｒｅＳＱＬの場合にはＤＢにおける“recovery.conf”の有無によって決定（判断）されてもよい。“recovery.conf”は、リカバリに関する設定ファイルであり、例えば同期サーバ２Ｂ及び非同期サーバ２Ｃのようなスレーブのノード２に設定される。従って、各ノード２は、“recovery.conf”が存在しないノード２の動作モードを「プライマリ」と判断してもよい。
同期サーバ２Ｂ及び非同期サーバ２Ｃの同期制御部２３は、同期処理として、ＷＡＬの受信を待ち受け、プライマリサーバ２ＡからＷＡＬを受信すると、受信したＷＡＬをＤＢ制御部２２に出力し、ＤＢ制御部２２に更新処理を実行させてよい。また、同期サーバ２Ｂの同期制御部２３は、ＷＡＬを受信したタイミングで、或いは、ＤＢ制御部２２による更新処理が完了したタイミングで、プライマリサーバ２Ａに対して、転送完了応答を送信してよい。
切替制御部２４は、ノード２の動作モードの切り替えに関する種々の制御を行なう。例えば、切替制御部２４は、フェイルオーバやフォールバックにおいて、障害の発生したノード２を縮退する際に、縮退先（切替先）のノード２を決定してよい。
図４は、一実施形態に係るＤＢインスタンスの状態遷移（動作モードの切り替え）の一例を示す図である。
図４に示すように、切替制御部２４は、ノード２の障害或いは電源ＯＦＦ制御等に応じて、ノード２の状態を「プライマリ」、「同期スタンバイ」、或いは「非同期スタンバイ」から「停止」に切り替えてよい。また、切替制御部２４は、ノード２の障害復旧、組み込み、或いは電源ＯＮ制御等に応じて、ノード２の状態を「停止」から「プライマリ」、「同期スタンバイ」、或いは「非同期スタンバイ」に切り替えてよい。
また、切替制御部２４は、「プライマリ」の状態であるノード２の障害或いは電源ＯＦＦ制御等に応じて、「同期スタンバイ」の状態である複数のノード２のうちのいずれか１つのノード２を選択して、「プライマリ」の状態に切り替えてよい。
「同期スタンバイ」から「プライマリ」への昇格では、状態（動作モード）の再構築による更新業務への影響を抑制するために、例えば、到達ＷＡＬが最新である同期サーバ２Ｂが優先的に切替対象のノード２として選択されてよい。
さらに、切替制御部２４は、「同期スタンバイ」の状態であるノード２と、「非同期スタンバイ」の状態であるノード２と、の間で、優先順に基づく状態の再構築が実行されてよい。
例えば、切替制御部２４は、「同期スタンバイ」の状態であるノード２の障害の発生や「プライマリ」への昇格等に応じて、「非同期スタンバイ」の状態である１つのノード２を、「同期スタンバイ」の状態に切り替えてよい（昇格させてよい）。換言すれば、切替制御部２４は、減少した「同期スタンバイ」の状態であるノード２の数と同じ数の「非同期スタンバイ」の状態であるノード２を、「同期スタンバイ」の状態に切り替える。このとき、切替制御部２４は、動作モードの切り替え対象となるノード２として、到達ＷＡＬが最新に近いノード２を選択してよい。
なお、切替制御部２４は、「同期スタンバイ」の状態であるノード２のうちの、到達ＷＡＬが古い等の同期性能の低いノード２を、「非同期スタンバイ」の状態に切り替えてもよい（降格させてもよい）。この場合、切替制御部２４は、「非同期スタンバイ」の状態であるノード２のうちの、「非同期スタンバイ」の状態への切替対象のノード２よりも到達ＷＡＬが新しいノード２を、「同期スタンバイ」の状態に切り替えてもよい。
上述した切替制御部２４による処理は、例えば、プライマリサーバ２Ａが正常であれば、プライマリサーバ２Ａ（プライマリサーバ２Ａが切り替わった場合は切替後のプライマリサーバ２Ａ）の切替制御部２４が実行してよい。一方、プライマリサーバ２Ａに障害が発生した場合には、複数の同期サーバ２Ｂの切替制御部２４が協働して上述した処理を実行してよい。
なお、一実施形態に係るクラスタシステム１は、同時障害耐久性を確保するために、複数のノード２に障害が発生した場合には、障害が発生したノード２数や障害が発生したノード２の動作モードに基づいて、上述した処理を組み合わせて実施してよい。
例えば、複数の同期サーバ２Ｂに障害が発生した場合には、プライマリサーバ２Ａの切替制御部２４は、到達ＷＡＬが最新に近い順に、障害の発生した同期サーバ２Ｂの数に相当する（同じ数の）非同期サーバ２Ｃを同期サーバ２Ｂに切り替えてよい。
また、プライマリサーバ２Ａと、１以上の同期サーバ２Ｂとに障害が発生した場合には、以下の（ｉ）及び（ii）の手順により切り替え制御を行なってよい。
（ｉ）上述のように、複数の同期サーバ２Ｂの切替制御部２４が協働して、１つの同期サーバ２Ｂを新たなプライマリサーバ２Ａに昇格させる。
（ii）新たなプライマリサーバ２Ａが、到達ＷＡＬが最新に近い順に、障害の発生した１以上の同期サーバ２Ｂの数に“１”（上記（ｉ）で減少した同期サーバ２Ｂの数）を加算した数に相当する非同期サーバ２Ｃを同期サーバ２Ｂに切り替える。
なお、切替制御部２４は、例えば、ＤＢ２１に格納された優先度情報２１３（図２参照）を参照することで、各ノード２の各々のＷＡＬ（到達ＷＡＬ）の情報を取得してよい。
優先度情報２１３は、自身のノード２のプライマリサーバ２Ａに対する同期状態を示す情報の一例である。プライマリサーバ２Ａに対する同期状態は、ＷＡＬの情報に基づいて決定されてよい。例えば、優先度情報２１３には、ＷＡＬごとに異なる（例えばシーケンシャルに増加する）番号部分を含むＷＡＬ番号が設定されてよい。ＷＡＬ番号は、例えば、ＷＡＬのファイル名等であってよい。なお、優先度情報２１３として、ＷＡＬ自体が用いられてもよく、この場合、優先度情報２１３（ＷＡＬ）は、ユーザデータ２１１の一部として管理されてもよい。
ＷＡＬは、ＷＡＬ番号における上記の番号部分が大きいＷＡＬほど、新しいＷＡＬである。このため、ＷＡＬ番号が最新に近いノード２ほど、レイテンシが低く転送効率の良いノード２であり、縮退先としての優先度の高いノード２であるといえる。
このように、一実施形態に係るクラスタシステム１によれば、ノード２の縮退や組み込みのタイミングで、「同期スタンバイ」及び「非同期スタンバイ」の状態であるノード２を再構築することで、クラスタシステム１の高可用性を維持することができる。一実施形態において、プライマリサーバ２Ａの切り替えは、フェイルオーバ（或いは計画的な手動切り替え）によって実施されるため、縮退の際の参照業務の無停止を実現できる。
また、「同期スタンバイ」のノード２からの縮退先となる「非同期スタンバイ」のノード２の選定ルールについて、例えば、縮退先候補のノード２を最新のＷＡＬが適用済みのノード２に制限する等の優先度を設けたチューニングを行なうことができる。これにより、「同期スタンバイ」及び「非同期スタンバイ」のノード２のそれぞれの運用要件（例えば参照業務の優先度等）を満たした運用を実現可能とすることができる。
さらに、切替制御部２４は、同期サーバ２Ｂが更新業務に影響を与えるＷＡＬ転送のレイテンシに基づいた評価によって、フェイルオーバ等に応じて非同期サーバ２Ｃを同期サーバ２Ｂに昇格させる場合の優先順位を決定する。例えば、回線性能の安定しないクラウド環境等においてクラスタシステム１が実施される場合、このようなベストエフォート方式により各ノード２の動作モードを最適化することが効果的である。
なお、上述した説明においては、フェイルオーバが行なわれるタイミングで、ＷＡＬ到達順序が最新に近い非同期サーバ２Ｃを同期サーバ２Ｂに切り替えるものとしたが、これに限定されるものではない。
例えば、過去の統計情報に基づいて、レイテンシが低い非同期サーバ２Ｃを、フェイルオーバが行なわれるタイミングで同期サーバ２Ｂに切り替えてもよい。過去の統計情報としては、例えば、過去の特定の期間における各ノード２のスループット（単位時間当たりの処理量等）、ＣＰＵ（Central Processing Unit）使用率、ＷＡＬ到達時刻、等の種々の情報が含まれてよい。過去の統計情報は、例えば、優先度情報２１３としてＤＢ２１に格納されてもよい。
これにより、過去の統計情報に基づき負荷の大きい非同期サーバ２Ｃを、同期サーバ２Ｂに切り替える対象から除外することができ、クラスタシステム１の性能低下を抑制できる。また、ノード２の台数に比例した可用性を実現するために、同期処理の処理負荷が小さい非同期サーバ２Ｃを利用できる。このため、プライマリサーバ２Ａにおける同期処理の処理負荷の増加を低減しつつ、同期サーバ２Ｂの台数を制限することによる可用性の低下を抑制できる。
また、上述した説明においては、フェイルオーバが行なわれるタイミングにおいて、切替制御部２４がノード２の動作モードを切り替えるものとしたが、これに限定されるものではない。
例えば、切替制御部２４は、一定間隔で同期サーバ２Ｂを入れ替えてもよい。一例として、切替制御部２４は、上述した「同期スタンバイ」から「非同期スタンバイ」への切り替え（降格）処理と、「非同期スタンバイ」から「同期スタンバイ」への切り替え（昇格）処理とのセットを、定期的に実行してもよい。
これにより、クラスタシステム１の運用中に処理負荷の増加等によりレイテンシが低下した同期サーバ２Ｂと、当該同期サーバ２ＢよりもＷＡＬのレイテンシが低い非同期サーバ２Ｃと、を入れ替えることができ、性能低下を抑制できる。
また、一実施形態においては、障害の発生した同期サーバ２Ｂの数に相当する非同期サーバ２Ｃを同期サーバ２Ｂとして動作するように制御する例について説明したが、これに限定するものではない。障害の発生した同期サーバ２Ｂの数と、同期サーバ２Ｂに昇格する非同期サーバ２Ｃの数とは、一致しなくてもよい。
例えば、プライマリサーバ２Ａの切替制御部２４は、同期サーバ２Ｂに障害が発生した場合であっても、クラスタシステム１において稼働する同期サーバ２Ｂの数が所定数よりも多い場合には、非同期サーバ２Ｃから同期サーバ２Ｂへの切り替えを抑制してもよい。このように、切替制御部２４による処理は、同期サーバ２Ｂの数が減少する場合であって、かつ、減少後の同期サーバ２Ｂの数が所定数となる場合に実行されてもよい。
〔１－３〕動作例
次に、図５～図９を参照して、上述の如く構成されたクラスタシステム１の動作例を説明する。
〔１－３－１〕プライマリサーバに障害が発生した場合の動作例
まず、図５～図７を参照して、プライマリサーバ２Ａ－１に障害が発生した場合の動作例を、同期サーバ（同期スタンバイサーバ）２Ｂ－１～２Ｂ－３の動作に着目して説明する。
図５に例示するように、プライマリサーバ２Ａ－１（図６参照）にサーバダウンを伴う障害が発生したことを、同期サーバ２Ｂ（及び非同期サーバ２Ｃ）が検出する（ステップＳ１；図６の矢印（１）参照）。なお、クラスタシステム１においてノード２の障害発生を他のノード２が検出する手法は、既知の種々の手法により実現されてよい。
各同期サーバ２Ｂ－１～２Ｂ－３の切替制御部２４は、プライマリサーバ２Ａの障害発生を検出すると、同期サーバ２Ｂ－１～２Ｂ－３間で、ＷＡＬ状態を比較する（ステップＳ２；図６の矢印（２）参照）。
例えば、各同期サーバ２Ｂの切替制御部２４は、自身のノード２の優先度情報２１３を他の同期サーバ２Ｂに対して送信するとともに、当該優先度情報２１３と、他の同期サーバ２Ｂから受信する他のノード２の優先度情報２１３とを比較してよい。なお、同期サーバ２Ｂは、例えばノード情報２１２を参照することで、他の同期サーバ２Ｂを特定してよい。
そして、各同期サーバ２Ｂの切替制御部２４は、ＷＡＬ状態の比較の結果、自身のノード２のＷＡＬ状態が最新を示すか（例えば最新のＷＡＬが適用されているか）否かを判定する（ステップＳ３）。
自身のノード２のＷＡＬ状態が最新ではない場合（ステップＳ３でＮｏ）、当該ノード２においては、処理が終了する。
一方、自身のノード２のＷＡＬ状態が最新である場合（ステップＳ３でＹｅｓ）、当該ノード２が新たなプライマリサーバ２Ａ－２（図６参照）に昇格する（ステップＳ４；図６の矢印（３）参照）。
図６の例では、ノード２Ｂ－１のＷＡＬ番号が“１０”であり、ノード２Ｂ－２及び２Ｂ－３のＷＡＬ番号がそれぞれ“９”であるため、ＷＡＬ番号の大きい（最新である）ノード２Ｂ－１がプライマリサーバ２Ａ－２に昇格する。
なお、最新のＷＡＬが適用されている同期サーバ２Ｂが複数存在する場合（切替候補が複数存在する場合）、同期サーバ２Ｂ間で予め共有されたルールに基づき、これらの切替候補の中のいずれか１つの同期サーバ２Ｂがプライマリサーバ２Ａ－２に昇格してよい。ルールとしては、例示的に、以下のいずれかが挙げられる。
・ノード情報２１２に含まれるノード２の識別情報の番号が小さい（例えば最小である）ノード２がプライマリサーバ２Ａ－２に昇格する。
・最新のＷＡＬの受信時刻が先である（例えば最先である）ノード２がプライマリサーバ２Ａ－２に昇格する。
・過去の統計に基づくＷＡＬの転送効率が良い（例えば最良である）ノード２がプライマリサーバ２Ａ－２に昇格する。
自身のノード２を含む複数のノード２に最新のＷＡＬが適用されていると判断したノード２の各々は、自身のノード２が、上記のいずれかのルールに基づきプライマリサーバ２Ａ－２への昇格対象となるか否かを判定してよい。この場合、昇格対象となるノード２がステップＳ３のＹｅｓのルートに従ってプライマリサーバ２Ａ－２に昇格する。一方、昇格対象とはならないノード２については、ステップＳ３のＮｏのルートに従って、処理が終了する。
なお、ＷＡＬの受信時刻や過去の統計等の情報は、マルチ同期スタンバイ機能によってノード２間で共有されていてもよい。或いは、ステップＳ２において、各同期サーバ２Ｂの切替制御部２４は、自身のノード２におけるＷＡＬの受信時刻や過去の統計等の情報を、自身の優先度情報２１３とともに他のノード２に送信してもよい。
次いで、プライマリサーバ２Ａ－２に昇格したノード２の切替制御部２４は、非同期サーバ２Ｃ－１～２Ｃ－３のＷＡＬ状態を比較する（ステップＳ５；図７の矢印（４）参照）。例えば、プライマリサーバ２Ａ－２の切替制御部２４は、ノード情報２１２に基づき特定される非同期サーバ２Ｃ－１～２Ｃ－３の各々に対して優先度情報２１３の取得要求を送信し、各非同期サーバ２Ｃから受信した優先度情報２１３を比較してよい。
プライマリサーバ２Ａ－２の切替制御部２４は、ＷＡＬ状態の比較の結果、ＷＡＬ状態が最新に近い（例えば最新に近いＷＡＬが適用されている）非同期サーバ２Ｃを特定する。そして、プライマリサーバ２Ａ－２の切替制御部２４は、ＷＡＬ状態が最新に近い非同期サーバ２Ｃを、新たな同期サーバ２Ｂ－４（図７参照）に昇格させ（ステップＳ６；図７の矢印（５）参照）、処理が終了する。
図７の例では、ノード２Ｃ－１及び２Ｃ－２のＷＡＬ番号がそれぞれ“８”であり、ノード２Ｃ－３のＷＡＬ番号が“９”であるため、ＷＡＬ番号の大きい（最新に近い）ノード２Ｃ－３が同期サーバ２Ｂ－４に昇格する。
なお、ＷＡＬ番号が最新に近い非同期サーバ２Ｃが複数存在する場合（切替候補が複数存在する場合）、プライマリサーバ２Ａ－２の切替制御部２４は、これらの切替候補の中のいずれか１つの非同期サーバ２Ｃを同期サーバ２Ｂに昇格させてよい。昇格させる基準は、同期サーバ２Ｂからプライマリサーバ２Ａへの昇格の判定に用いる上述したルールと同様であってよい。
上述したノード２の動作モードの切り替えの結果は、例えば、各ノード２で実行されるマルチ同期スタンバイ機能により、ノード情報２１２に反映されてよい。また、優先度情報２１３の一例であるＷＡＬ番号についても、プライマリサーバ２Ａによる更新処理、及び、各ノード２による同期処理の実行に応じて更新されてよい。
〔１－３－２〕同期スタンバイサーバに障害が発生した場合の動作例
次に、図８及び図９を参照して、同期サーバ（同期スタンバイサーバ）２Ｂ－１に障害が発生した場合の動作例を、プライマリサーバ２Ａ－１の動作に着目して説明する。
図８に例示するように、同期サーバ２Ｂ－１（図９参照）にサーバダウンを伴う障害が発生したことを、プライマリサーバ２Ａ－１が検出する（ステップＳ１１；図９の矢印（１）参照）。
プライマリサーバ２Ａ－１の切替制御部２４は、非同期サーバ２Ｃ－１～２Ｃ－３のＷＡＬ状態を比較する（ステップＳ１２；図９の矢印（２）参照）。例えば、プライマリサーバ２Ａ－１の切替制御部２４は、ノード情報２１２に基づき特定される非同期サーバ２Ｃ－１～２Ｃ－３の各々に対して優先度情報２１３の取得要求を送信し、各非同期サーバ２Ｃから受信した優先度情報２１３を比較してよい。
プライマリサーバ２Ａ－１の切替制御部２４は、ＷＡＬ状態の比較の結果、ＷＡＬ状態が最新に近い（例えば最新に近いＷＡＬが適用されている）非同期サーバ２Ｃを特定する。そして、プライマリサーバ２Ａ－１の切替制御部２４は、ＷＡＬ状態が最新に近い非同期サーバ２Ｃを、新たな同期サーバ２Ｂ－４（図９参照）に昇格させ（ステップＳ１３；図９の矢印（３）参照）、処理が終了する。
図９の例では、ノード２Ｃ－１及び２Ｃ－２のＷＡＬ番号がそれぞれ“８”であり、ノード２Ｃ－３のＷＡＬ番号が“９”であるため、ＷＡＬ番号の大きい（最新に近い）ノード２Ｃ－３が同期サーバ２Ｂ－４に昇格する。
なお、ＷＡＬ番号が最新に近い非同期サーバ２Ｃが複数存在する場合（切替候補が複数存在する場合）、プライマリサーバ２Ａ－１の切替制御部２４は、これらの切替候補の中のいずれか１つの非同期サーバ２Ｃを同期サーバ２Ｂに昇格させてよい。昇格させる基準は、同期サーバ２Ｂからプライマリサーバ２Ａへの昇格の判定に用いる上述したルールと同様であってよい。
以上のように、プライマリサーバ２Ａとして動作するノード２の切替制御部２４は、以下の処理を行なう制御部又は第１制御部の一例である。当該処理は、クラスタシステム１内の１又は複数のノード２における障害により同期サーバ２Ｂの数が減少する場合に、１又は複数の非同期サーバ２Ｃを同期サーバ２Ｂとして動作するように制御を行なう、ことを含んでよい。
〔１－４〕ハードウェア構成例
次に、図１０を参照して、一実施形態に係るノード２及びノード３のハードウェア構成例について説明する。ノード２及びノード３は、互いに同様のハードウェア構成をそなえてよいため、以下、これらの一例としてコンピュータ１０を例に挙げて、コンピュータ１０のハードウェア構成例について説明する。
図１０に示すように、コンピュータ１０は、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ（Interface）部１０ｄ、Ｉ／Ｏ（Input / Output）部１０ｅ、及び読取部１０ｆをそなえてよい。
プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）が用いられてもよい。なお、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
メモリ１０ｂは、種々のデータやプログラム等の情報を格納するハードウェアの一例である。メモリ１０ｂとしては、例えばＲＡＭ等の揮発性メモリが挙げられる。
記憶部１０ｃは、種々のデータやプログラム等の情報を格納するハードウェアの一例である。記憶部１０ｃとしては、例えばＨＤＤ等の磁気ディスク装置、ＳＳＤ等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。
なお、図２に示すノード２のＤＢ２１は、例えば、ノード２のメモリ１０ｂ及び記憶部１０ｃの少なくとも一方の記憶領域により実現されてもよい。
また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇを格納してよい。プロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図１に示すプライマリサーバ２Ａ、同期サーバ２Ｂ、非同期サーバ２Ｃ、又は、ＡＰサーバ３としての機能を実現できる。
例えば、ノード２においては、ノード２のプロセッサ１０ａが、記憶部１０ｃに格納されたプログラム（サーバ切り替えプログラム）１０ｇをメモリ１０ｂに展開して演算処理を実行することで、動作モードに応じたノード２の機能を実現できる。当該機能は、ＤＢ制御部２２、同期制御部２３、及び切替制御部２４の機能を含んでよい。
また、ＡＰサーバ３においては、ＡＰサーバ３のプロセッサ１０ａが、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して演算処理を実行することで、ＡＰサーバ３としての機能を実現できる。
ＩＦ部１０ｄは、ネットワーク１ａ、１ｂ、又は５との間の接続及び通信の制御等を行なう通信インタフェースの一例である。例えば、ＩＦ部１０ｄは、ＬＡＮ、或いは、光通信（例えばＦＣ（Fibre Channel；ファイバチャネル））等に準拠したアダプタを含んでよい。
例えば、ノード２のプログラム１０ｇは、当該通信インタフェース及びネットワーク１ｂ（或いは管理用ネットワーク）を介して、ネットワーク５からコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。また、例えば、ノード３のプログラム１０ｇは、当該通信インタフェースを介して、ネットワーク５からコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。
Ｉ／Ｏ部１０ｅは、マウス、キーボード、又は操作ボタン等の入力部、並びに、タッチパネルディスプレイ、ＬＣＤ（Liquid Crystal Display）等のモニタ、プロジェクタ、又はプリンタ等の出力部、の一方又は双方を含んでよい。
読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。
記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等が挙げられる。なお、ＣＤとしては、例示的に、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等が挙げられる。また、ＤＶＤとしては、例示的に、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等が挙げられる。
上述したコンピュータ１０のハードウェア構成は例示である。従って、コンピュータ１０内でのハードウェアの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。
〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
例えば、図２に示すＤＢ制御部２２、同期制御部２３、及び、切替制御部２４の少なくとも１つの機能を併合してもよく、或いは、分割してもよい。
また、図１０に示すコンピュータ１０のプロセッサ１０ａは、シングルプロセッサやシングルコアプロセッサに限定されるものではなく、マルチプロセッサやマルチコアプロセッサであってもよい。
さらに、一実施形態において、クォーラム構成が採用されてもよい。クォーラム構成は、例えば、プライマリサーバ２ＡがＤＢ多重化環境内で唯一となるように、ノード群を複数発生させないようにするマルチノードクラスタ構成の技術である。
図１１に例示するように、ネットワーク１ａの障害（例えば回線の分断）により、クラスタシステム１がノード群１Ａとノード群１Ｂとに分断された場合を考える。なお、ノード群１Ａには、プライマリサーバ２Ａ、同期サーバ２Ｂ－１及び２Ｂ－２、並びに、非同期サーバ２Ｃ－１及び２Ｃ－２とが含まれる。また、ノード群１Ｂには、同期サーバ２Ｂ－３及び非同期サーバ２Ｃ－３が含まれる。
このような例において、ノード群１Ｂでは、同期サーバ２Ｂ－３の切替制御部２４が、プライマリサーバ２Ａに昇格してしまうと、ノード群１Ａのプライマリサーバ２Ａと合わせて、クラスタシステム１に２つのプライマリサーバ２Ａが存在することになる。
このような事態を回避するために、例えば、各ノード２は、クラスタシステム１を構成するノード２の数の過半数以上のノードと通信できなくなった場合、自身のノード２がクォーラムが不成立なノード群に属していると判断し、クラスタ構成から離脱してよい。
図１１の例では、ノード群１Ｂの同期サーバ２Ｂ－３及び非同期サーバ２Ｃ－３の各々は、クラスタシステム１を構成する７台の過半数以上である、４台のノード２と通信できなくなったため、クラスタ構成から離脱する。
一方、ノード群１Ａのプライマリサーバ２Ａは、４台のノードと通信できるため、２台の同期サーバ２Ｂがダウンしたと判断し、２台の非同期サーバ２Ｃを同期サーバ２Ｂに切り替える制御を行なってよい。
なお、離脱状態においては、プライマリサーバ２Ａは切り替えが行なわれず、同期サーバ２Ｂ及び非同期サーバ２Ｃは昇格等の動作モードの変更対象とはならない。なお、ネットワーク１ａの復旧により通信が回復した場合、離脱状態のノード２は、クォーラム構成へ再参入してよい。
また、クラスタシステム１を構成するノード２の数が偶数の場合には、いずれかのノード２を、ユーザデータ２１１を格納するＤＢ２１が存在しない（同期対象外とする）裁定サーバとして動作させることにより、クォーラム構成を実現できる。
〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
プライマリサーバと、前記プライマリサーバのデータを同期方式でバックアップする１又は複数の同期型バックアップサーバと、前記プライマリサーバのデータを非同期でバックアップする１又は複数の非同期型バックアップサーバとを含むサーバシステムにおけるサーバ切り替えプログラムであって、
前記サーバシステム内の１又は複数のサーバにおける障害により前記同期型バックアップサーバの数が減少する場合に、１又は複数の前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、
処理をコンピュータに実行させることを特徴とする、サーバ切り替えプログラム。
（付記２）
前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御する際、減少する同期型バックアップサーバの数と同じ数の非同期型バックアップサーバを同期型バックアップサーバとして動作するように制御する、処理を前記コンピュータに実行させることを特徴とする、付記１に記載のサーバ切り替えプログラム。
（付記３）
前記制御は、前記同期型バックアップサーバの数が減少する場合であって、かつ、減少後の前記同期型バックアップサーバの数が所定数となる場合に実行される、ことを特徴とする、付記１に記載のサーバ切り替えプログラム。
（付記４）
前記非同期型バックアップサーバを前記同期型バックアップサーバへ切り替える際、前記非同期型バックアップサーバの前記プライマリサーバに対する同期状態に基づいて切り替える処理を前記コンピュータに実行させることを特徴とする、付記１～３のいずれか１項に記載のサーバ切り替えプログラム。
（付記５）
前記プライマリサーバに対する同期状態は、ＷＡＬ（Write Ahead Logging）の情報に基づいて決定されることを特徴とする、付記４に記載のサーバ切り替えプログラム。
（付記６）
前記プライマリサーバにおける障害が発生した場合に、１又は複数の前記同期型バックアップサーバのうちのいずれか１つの同期型バックアップサーバを、新たなプライマリサーバとして動作するように制御を行ない、
１又は複数の前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、
処理を前記コンピュータに実行させることを特徴とする、付記１～５のいずれか１項に記載のサーバ切り替えプログラム。
（付記７）
プライマリサーバと、前記プライマリサーバのデータを同期方式でバックアップする１又は複数の同期型バックアップサーバと、前記プライマリサーバのデータを非同期でバックアップする１又は複数の非同期型バックアップサーバとを含むサーバシステムにおけるサーバ切り替え方法であって、
前記プライマリサーバのプロセッサが、前記サーバシステム内の１又は複数のサーバにおける障害により前記同期型バックアップサーバの数が減少する場合に、１又は複数の前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、ことを特徴とする、サーバ切り替え方法。
（付記８）
前記プロセッサが、前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御する際、減少する同期型バックアップサーバの数と同じ数の非同期型バックアップサーバを同期型バックアップサーバとして動作するように制御する、ことを特徴とする、付記７に記載のサーバ切り替え方法。
（付記９）
前記制御は、前記同期型バックアップサーバの数が減少する場合であって、かつ、減少後の前記同期型バックアップサーバの数が所定数となる場合に実行される、ことを特徴とする、付記７に記載のサーバ切り替え方法。
（付記１０）
前記プロセッサが、前記非同期型バックアップサーバを前記同期型バックアップサーバへ切り替える際、前記非同期型バックアップサーバの前記プライマリサーバに対する同期状態に基づいて切り替えることを特徴とする、付記７～９のいずれか１項に記載のサーバ切り替え方法。
（付記１１）
前記プライマリサーバに対する同期状態は、ＷＡＬ（Write Ahead Logging）の情報に基づいて決定されることを特徴とする、付記１０に記載のサーバ切り替え方法。
（付記１２）
前記プロセッサが、
前記プライマリサーバにおける障害が発生した場合に、１又は複数の前記同期型バックアップサーバのうちのいずれか１つの同期型バックアップサーバを、新たなプライマリサーバとして動作するように制御を行ない、
１又は複数の前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、
ことを特徴とする、付記７～１１のいずれか１項に記載のサーバ切り替え方法。
（付記１３）
プライマリサーバと、
前記プライマリサーバのデータを同期方式でバックアップする１又は複数の同期型バックアップサーバと、
前記プライマリサーバのデータを非同期でバックアップする１又は複数の非同期型バックアップサーバと、をそなえ、
前記プライマリサーバは、
前記サーバシステム内の１又は複数のサーバにおける障害により前記同期型バックアップサーバの数が減少する場合に、１又は複数の前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、ことを特徴とする、サーバ切り替えシステム。
（付記１４）
前記プライマリサーバは、前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御する際、減少する同期型バックアップサーバの数と同じ数の非同期型バックアップサーバを同期型バックアップサーバとして動作するように制御する、ことを特徴とする、付記１３に記載のサーバ切り替えシステム。
（付記１５）
前記制御は、前記同期型バックアップサーバの数が減少する場合であって、かつ、減少後の前記同期型バックアップサーバの数が所定数となる場合に実行される、ことを特徴とする、付記１３に記載のサーバ切り替えシステム。
（付記１６）
前記プライマリサーバが、前記非同期型バックアップサーバを前記同期型バックアップサーバへ切り替える際、前記非同期型バックアップサーバの前記プライマリサーバに対する同期状態に基づいて切り替えることを特徴とする、付記１３～１５のいずれか１項に記載のサーバ切り替えシステム。
（付記１７）
前記プライマリサーバに対する同期状態は、ＷＡＬ（Write Ahead Logging）の情報に基づいて決定されることを特徴とする、付記１６に記載のサーバ切り替えシステム。
（付記１８）
前記プライマリサーバが、
前記プライマリサーバにおける障害が発生した場合に、１又は複数の前記同期型バックアップサーバのうちのいずれか１つの同期型バックアップサーバを、新たなプライマリサーバとして動作するように制御を行ない、
１又は複数の前記非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、
ことを特徴とする、付記１３～１７のいずれか１項に記載のサーバ切り替えシステム。
１ クラスタシステム
１ａ、１ｂ、５ ネットワーク
２、３ ノード
２Ａ、２Ａ－１、２Ａ－２ プライマリサーバ
２Ｂ、２Ｂ－１～２Ｂ－４ 同期スタンバイサーバ
２Ｃ、２Ｃ－１～２Ｃ－３ 非同期スタンバイサーバ
２１ ＤＢ
２１１ ユーザデータ
２１２ ノード情報
２１３ 優先度情報
２２ ＤＢ制御部
２３ 同期制御部
２４ 切替制御部
４ 端末

Claims (7)

  1. プライマリサーバと、前記プライマリサーバのデータを同期方式でバックアップする複数の同期型バックアップサーバと、前記プライマリサーバのデータを非同期でバックアップする複数の非同期型バックアップサーバとを含むサーバシステムにおけるサーバ切り替えプログラムであって、
    前記サーバシステム内の１又は複数のサーバにおける障害により前記同期型バックアップサーバの数が減少する場合に、前記非同期型バックアップサーバの前記プライマリサーバに対する同期状態に基づいて、前記複数の非同期型バックアップサーバから１又は複数の非同期型バックアップサーバを特定し、特定した前記１又は複数の非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、
    処理を前記プライマリサーバのコンピュータに実行させることを特徴とする、サーバ切り替えプログラム。
  2. 前記特定する処理は、減少する同期型バックアップサーバの数と同じ数の非同期型バックアップサーバを特定する処理を含むことを特徴とする、請求項１に記載のサーバ切り替えプログラム。
  3. 前記制御は、前記同期型バックアップサーバの数が減少する場合であって、かつ、減少後の前記同期型バックアップサーバの数が所定数となる場合に実行される、ことを特徴とする、請求項１に記載のサーバ切り替えプログラム。
  4. 前記プライマリサーバに対する同期状態は、ＷＡＬの情報に基づいて決定されることを特徴とする、請求項１に記載のサーバ切り替えプログラム。
  5. 前記プライマリサーバにおける障害が発生した場合に、前記複数の同期型バックアップサーバのうちのいずれか１つの同期型バックアップサーバを、新たなプライマリサーバとして動作するように制御を行ない、
    前記 複数の非同期型バックアップサーバのうちの少なくとも１つを前記同期型バックアップサーバとして動作するように制御を行なう、
    処理を前記コンピュータに実行させることを特徴とする、請求項１～４のいずれか１項に記載のサーバ切り替えプログラム。
  6. プライマリサーバと、前記プライマリサーバのデータを同期方式でバックアップする複数の同期型バックアップサーバと、前記プライマリサーバのデータを非同期でバックアップする複数の非同期型バックアップサーバとを含むサーバシステムにおけるサーバ切り替え方法であって、
    前記プライマリサーバのプロセッサが、前記サーバシステム内の１又は複数のサーバにおける障害により前記同期型バックアップサーバの数が減少する場合に、前記非同期型バックアップサーバの前記プライマリサーバに対する同期状態に基づいて、前記複数の非同期型バックアップサーバから１又は複数の非同期型バックアップサーバを特定し、特定した前記１又は複数の非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、ことを特徴とする、サーバ切り替え方法。
  7. プライマリサーバと、
    前記プライマリサーバのデータを同期方式でバックアップする複数の同期型バックアップサーバと、
    前記プライマリサーバのデータを非同期でバックアップする複数の非同期型バックアップサーバと、をそなえるサーバシステムにおいて、
    前記プライマリサーバは、
    前記サーバシステム内の１又は複数のサーバにおける障害により前記同期型バックアップサーバの数が減少する場合に、前記非同期型バックアップサーバの前記プライマリサーバに対する同期状態に基づいて、前記複数の非同期型バックアップサーバから１又は複数の非同期型バックアップサーバを特定し、特定した前記１又は複数の非同期型バックアップサーバを前記同期型バックアップサーバとして動作するように制御を行なう、ことを特徴とする、サーバ切り替えシステム。
JP2018075159A 2018-04-10 2018-04-10 サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステム Active JP7106953B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018075159A JP7106953B2 (ja) 2018-04-10 2018-04-10 サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステム
US16/364,380 US11232007B2 (en) 2018-04-10 2019-03-26 Server system and method of switching server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018075159A JP7106953B2 (ja) 2018-04-10 2018-04-10 サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステム

Publications (2)

Publication Number Publication Date
JP2019185371A JP2019185371A (ja) 2019-10-24
JP7106953B2 true JP7106953B2 (ja) 2022-07-27

Family

ID=68097222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018075159A Active JP7106953B2 (ja) 2018-04-10 2018-04-10 サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステム

Country Status (2)

Country Link
US (1) US11232007B2 (ja)
JP (1) JP7106953B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068351B2 (en) * 2018-11-19 2021-07-20 International Business Machines Corporation Data consistency when switching from primary to backup data storage
US10817157B2 (en) 2018-12-20 2020-10-27 Nutanix, Inc. User interface for database management services
US11010336B2 (en) 2018-12-27 2021-05-18 Nutanix, Inc. System and method for provisioning databases in a hyperconverged infrastructure system
US11816066B2 (en) 2018-12-27 2023-11-14 Nutanix, Inc. System and method for protecting databases in a hyperconverged infrastructure system
US11234142B2 (en) * 2020-01-16 2022-01-25 Allied Telesis Holdings Kabushiki Kaisha System and method for single-channel architecture for immediate access point redundancy
US11604705B2 (en) 2020-08-14 2023-03-14 Nutanix, Inc. System and method for cloning as SQL server AG databases in a hyperconverged system
US11907167B2 (en) 2020-08-28 2024-02-20 Nutanix, Inc. Multi-cluster database management services
US11640340B2 (en) * 2020-10-20 2023-05-02 Nutanix, Inc. System and method for backing up highly available source databases in a hyperconverged system
US11604806B2 (en) 2020-12-28 2023-03-14 Nutanix, Inc. System and method for highly available database service
US11892918B2 (en) * 2021-03-22 2024-02-06 Nutanix, Inc. System and method for availability group database patching
US12105683B2 (en) 2021-10-21 2024-10-01 Nutanix, Inc. System and method for creating template for database services

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009599A (ja) 2001-03-07 2009-01-15 Oracle Internatl Corp 故障後、どこで回復するかについての情報を管理する方法、故障後、回復するための方法、および、多数のキャッシュを含むシステムにおける故障の後、データ項目の現在のバージョンを回復させるための方法
JP2012185560A (ja) 2011-03-03 2012-09-27 Nec Corp クラスタシステムおよびその制御方法
JP2014154056A (ja) 2013-02-13 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 冗長化システムおよび現用機決定方法
JP2015191246A (ja) 2014-03-27 2015-11-02 株式会社Ｎｔｔドコモ 通信システムおよび管理方法
JP2016206865A (ja) 2015-04-21 2016-12-08 株式会社日立製作所 多重化計算機の記憶領域一致化装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065540B2 (en) 1998-11-24 2006-06-20 Oracle International Corporation Managing checkpoint queues in a multiple node system
JP4371724B2 (ja) * 2003-07-03 2009-11-25 株式会社日立製作所 記憶システム及び記憶装置システム
JP2006309439A (ja) 2005-04-27 2006-11-09 Fujitsu Ltd フレキシブルクラスタシステム
US7650369B2 (en) * 2006-03-30 2010-01-19 Fujitsu Limited Database system management method and database system
JP5282046B2 (ja) 2010-01-05 2013-09-04 株式会社日立製作所 計算機システム及びその可用化方法
US8713288B2 (en) * 2010-06-17 2014-04-29 Hitachi, Ltd. Storage system comprising multiple microprocessors and method for sharing processing in this storage system
JP5817308B2 (ja) 2011-08-04 2015-11-18 富士通株式会社 サーバ、サーバシステムおよびサーバの冗長切り替え方法
US9015373B2 (en) * 2012-05-17 2015-04-21 Hitachi, Ltd. Storage apparatus and method of controlling storage apparatus
JP2016051448A (ja) 2014-09-02 2016-04-11 富士通株式会社 仮想機械管理装置、仮想機械管理方法及び情報処理システム
US10338851B1 (en) * 2018-01-16 2019-07-02 EMC IP Holding Company LLC Storage system with consistent termination of data replication across multiple distributed processing modules
US11308125B2 (en) * 2018-03-27 2022-04-19 EMC IP Holding Company LLC Storage system with fast recovery and resumption of previously-terminated synchronous replication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009599A (ja) 2001-03-07 2009-01-15 Oracle Internatl Corp 故障後、どこで回復するかについての情報を管理する方法、故障後、回復するための方法、および、多数のキャッシュを含むシステムにおける故障の後、データ項目の現在のバージョンを回復させるための方法
JP2012185560A (ja) 2011-03-03 2012-09-27 Nec Corp クラスタシステムおよびその制御方法
JP2014154056A (ja) 2013-02-13 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 冗長化システムおよび現用機決定方法
JP2015191246A (ja) 2014-03-27 2015-11-02 株式会社Ｎｔｔドコモ 通信システムおよび管理方法
JP2016206865A (ja) 2015-04-21 2016-12-08 株式会社日立製作所 多重化計算機の記憶領域一致化装置

Also Published As

Publication number Publication date
US11232007B2 (en) 2022-01-25
JP2019185371A (ja) 2019-10-24
US20190310926A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
JP7106953B2 (ja) サーバ切り替えプログラム、サーバ切り替え方法、及びサーバ切り替えシステム
CN109729129B (zh) 存储集群系统的配置修改方法、存储集群及计算机系统
US9769259B2 (en) Network storage systems having clustered RAIDs for improved redundancy and load balancing
JP5192226B2 (ja) 待機系計算機の追加方法、計算機及び計算機システム
US8521983B2 (en) Program, apparatus and method for managing data allocation of distributed storage system including storage nodes
CN100383749C (zh) 远程复制方法及远程复制系统
JP5165206B2 (ja) バックアップシステムおよびバックアップ方法
US20120054441A1 (en) Storage system, control apparatus and control method thereof
JP2019191843A (ja) 接続制御プログラム、接続制御方法、及び接続制御装置
JP6040612B2 (ja) ストレージ装置、情報処理装置、情報処理システム、アクセス制御方法、およびアクセス制御プログラム
JP6136629B2 (ja) ストレージ制御装置，ストレージシステム，および制御プログラム
JP4693540B2 (ja) データベース再構成装置、およびデータベース再構成プログラム
JP2021026659A (ja) ストレージシステム及びリソース割当て制御方法
CN111124250A (zh) 用于管理存储空间的方法、设备和计算机程序产品
JP2018073231A (ja) ストレージシステムおよびストレージ装置
JP2009026091A (ja) 接続管理プログラム、接続管理方法および情報処理装置
US8621260B1 (en) Site-level sub-cluster dependencies
US10365923B2 (en) Information processing device, information processing system, and control method
JP2017004502A (ja) 情報システムおよびアップデート方法
US11755438B2 (en) Automatic failover of a software-defined storage controller to handle input-output operations to and from an assigned namespace on a non-volatile memory device
WO2017098591A1 (ja) 計算機及びストレージ装置を有するシステム、及びシステムの制御方法
JP6012479B2 (ja) 情報処理システム、制御方法および制御プログラム
JP6398727B2 (ja) 制御装置，ストレージ装置及び制御プログラム
JP2017010102A (ja) 二重系システム
JP2019128680A (ja) 情報処理装置，情報処理システムおよび制御プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R150 Certificate of patent or registration of utility model

Ref document number: 7106953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150