JP4842210B2 - フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法 - Google Patents

フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法 Download PDF

Info

Publication number
JP4842210B2
JP4842210B2 JP2007137722A JP2007137722A JP4842210B2 JP 4842210 B2 JP4842210 B2 JP 4842210B2 JP 2007137722 A JP2007137722 A JP 2007137722A JP 2007137722 A JP2007137722 A JP 2007137722A JP 4842210 B2 JP4842210 B2 JP 4842210B2
Authority
JP
Japan
Prior art keywords
server
logical partition
memory
spare
active server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007137722A
Other languages
English (en)
Other versions
JP2008293245A (ja
Inventor
康人 西井
良史 高本
恵介 畑崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007137722A priority Critical patent/JP4842210B2/ja
Priority to US11/872,960 priority patent/US7779297B2/en
Publication of JP2008293245A publication Critical patent/JP2008293245A/ja
Application granted granted Critical
Publication of JP4842210B2 publication Critical patent/JP4842210B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2046Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share persistent storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/2025Failover techniques using centralised failover control functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2038Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Description

本発明は、外部のディスク装置からブートするサーバを備える計算機システムにおけるフェイルオーバ方法に関し、より詳細には、フェイルオーバを実行する時間を短縮できる方法に関するものである。
サーバが外部のディスクアレイ装置を利用して起動する計算機システムでは、一般的に、ディスクアレイ装置は、ファイバチャネルやファイバチャネルスイッチを介して複数のサーバと接続される。サーバのブートディスクは、ディスクアレイ装置に備えられた領域に存在する。そのため、計算機システム内の任意のサーバが用いるブートディスクは、計算機システム内の別のサーバから参照可能である。
このような計算機システムにおいて、例えば、複数のサーバがネットワーク上の外部ディスク装置に接続され、サーバは外部ディスク装置からオペレーティングシステムをブートする計算機システムにおいて、業務を稼動しているサーバ(現用サーバ)に障害が発生した場合に、その業務を稼動中でないサーバ(予備サーバ)へと引き継ぐ際に、現用サーバの障害発生を検知し、計算機システム内において現用サーバと同じハードウェア構成を持つ業務を稼動中でないサーバを検索し、検索の結果発見したサーバから外部ディスク装置へのアクセスを可能として、そのサーバを外部ディスク装置から起動させることによって業務の引き継ぎを行う方法が公開されている(例えば、特許文献1参照。)。なお、障害が発生した現用サーバでの業務を他のサーバに引き継ぐことを、フェイルオーバと呼ぶ。
なお、障害が発生した場合に予備サーバを起動させるフェイルオーバを、コールドスタンバイと呼ぶ。
一方、計算機システムの導入コストを低減する方法として、単一のサーバを複数の論理区画に分割して複数のサーバとして機能させ、複数の業務を単一のサーバに統合する技術がある。例えば、CPU、メモリ、I/O機器等を論理的に分割して、これらを個々の論理区画に割り当てることによって、複数の論理区画のそれぞれが一つのサーバとして動作する。
これらの技術を組み合わせることで、複数の業務を実行させる計算機システムの導入コストをより低減することができる。
特開2006−163963号公報
前述のようなコールドスタンバイでは、現用サーバの障害を検知した後に予備サーバを起動するため、サーバの起動から業務再開までのタイムラグが発生する。
サーバは、起動されてから業務を再開するまでにいくつかのステップを踏む必要がある。具体的には、サーバの起動が開始されると、まずハードウェアを初期化する。ハードウェアの初期化では、サーバと外部の装置を接続するためのネットワークインタフェースカードやホストバスアダプタなどのI/Oデバイスの初期化、メモリのチェック及び初期化、CPUの初期化等を実行する。次に、サーバは、オペレーティングシステムを起動する。最後に、サーバは、業務プログラムを起動し、業務を再開する。
特に、ハードウェアを初期化する時間は、I/Oデバイス数やメモリ容量が増加するにつれて増加する。また、近年、サーバが備えるCPU数やメモリ容量は増加する傾向にある。そのため、これらCPUやメモリのチェック及び初期化のための時間が増加するようになってきた。
従って、コールドスタンバイのように、業務を引き継ぐために新たにサーバを起動するフェイルオーバでは、業務再開までに要する時間が増加する。これに対して、障害発生から業務再開までの時間を短縮することが課題となっている。
本発明は、このような課題を解決するために、現用サーバに障害が発生した場合に、高速なフェイルオーバ方法を提供するための方法を提供することを目的とする。
本発明の一実施態様によると、業務を実行するためのアプリケーションを実行する現用サーバと、前記現用サーバの起動ディスクを備えるディスクアレイ装置と、前記現用サーバに障害が発生した場合に当該現用サーバによって実行されるアプリケーションを実行して前記業務を引き継ぐ予備サーバと、前記現用サーバ及び予備サーバを管理する管理サーバと、を備える計算機システムにおけるフェイルオーバ方法であって、前記予備サーバは、第1のプロセッサ及び第1のメモリを備え、前記第1のメモリに格納されたプログラムによって前記第1のプロセッサを論理的に分割し、前記論理的に分割された第1のプロセッサを割り当てることによって論理区画が構成され、前記フェイルオーバ方法は、前記管理サーバが、前記現用サーバの構成情報を取得し、前記取得された構成情報に基づいて、前記予備サーバに前記現用サーバに対応する構成(同じ構成)を備える論理区画を構成する第1のステップと、前記予備サーバが、前記構成された論理区画を起動する第2のステップと、前記起動された論理区画が所定の状態となった場合に、前記予備サーバが、前記論理区画への前記第1のプロセッサの割り当てを停止し、前記論理区画の動作を停止させる第3のステップと、前記管理サーバが、前記現用サーバに発生した障害を検出する第4のステップと、前記現用サーバに発生した障害が検出された場合に、前記管理サーバが、前記障害が検出された現用サーバを停止させる第5のステップと、前記管理サーバが、前記障害が発生した現用サーバに対応した構成(同じ構成)を備える論理区画を検索する第6のステップと、前記管理サーバが、前記検索された論理区画への前記第1のプロセッサの割り当てを要求し、前記論理区画の起動を再開させる第7のステップと、を含み、前記第3のステップにおける前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態であることを特徴とする。
本発明によると、サーバに障害が発生した場合に、当該サーバの業務を引き継ぐ論理区画を短時間で起動でき、フェイルオーバの処理に要する時間を短縮することができる。
以下、本発明の実施の形態を、図面を参照して説明する。
<第1実施形態>
図1は、本発明の第1の実施の形態の計算機システムの構成ブロック図である。
計算機システムは、管理サーバ101、管理対象サーバ103、予備サーバ104及びディスクアレイ装置105によって構成される。なお、管理対象サーバ103は、N個の現用サーバ102A〜102Nによって構成されている。
管理対象サーバ103が備える各現用サーバ102(102A〜102N)は、業務を実行するためのアプリケーションを実行している。なお、以降は現用サーバ102とのみ表記する。
管理サーバ101は、各現用サーバ102及び予備サーバ104に対して、ネットワークを経由して状態を監視する。また、各現用サーバ102及び予備サーバ104を設定するための命令を発行する。
予備サーバ104は、少なくとも一つの現用サーバ102に障害が発生した場合に、障害が発生した現用サーバ102での業務を引き継ぐための論理的なサーバである論理区画401を備える。
現用サーバ102は、I/O機器であるネットワークインタフェースカード(NIC)122、ホストバスアダプタ(HBA)121及びBMC(Baseboard Management Controller)123を備える。
NIC122は、ネットワークに接続され、ネットワークを介して管理サーバ101及び予備サーバと通信可能に構成されている。
HBA121は、ファイバチャネルに接続され、ファイバチャネルを介してディスクアレイ装置105と通信可能に構成されている。
BMC123は、ネットワークに接続され、ネットワークを介して、管理サーバ101と通信可能に構成される。
管理サーバ101は、フェイルオーバ処理部110及びNIC112を備える。
フェイルオーバ処理部110は、現用サーバ102のBMC123及び予備サーバ104のBMC143に対して、障害通知の受信、電源の制御、論理区画構成処理部140に対する論理区画の制御等を実行する。なお、NIC112は、現用サーバ102のNIC121と同じ機能を備える。
予備サーバ104は、論理区画構成処理部140、HBA141、NIC142及びBMC143を備える。なお、HBA141、NIC142及びBMC143は、それぞれ、現用サーバ102のHBA121、NIC122及びBMC123と同じ機能を備える。
論理区画構成処理部140は、一つ以上の論理区画401を備える。この論理区画401の各々が、一つのサーバとして稼動する。
管理サーバ101は、現用サーバ102に障害が発生した場合に、障害が発生した現用サーバ102が実行する業務を論理区画401に切り替える。この論理区画401が、障害が発生した現用サーバの業務を引き継ぐ。このように、現用サーバ102の業務を論理区画401が引き継ぐための処理が、サーバの切り替えである。
ディスクアレイ装置105は、二つ以上のディスク装置151を備える。ディスクアレイ装置105は、これらディスク装置によって一つ以上の論理ディスク装置を構成する。
現用サーバ102は、このディスクアレイ装置105に構成された論理ディスク装置の所定の領域が、起動ディスクとして予め設定されている。管理サーバ101は、各現用サーバ102の起動ディスクの情報を予め格納している。
図2は、本発明の第1の実施の形態の現用サーバ102の構成ブロック図である。
現用サーバ102は、メモリ201と、一つ以上のCPU202(202A、202B)と、I/Oデバイス203と、BMC123とを備える。
メモリ201は、プログラムやデータを格納する。CPU202は、メモリ201に格納されたプログラムを実行する。I/Oデバイス203は、外部の装置とネットワークを介して接続するための一つ以上のインターフェース(HBA121及びNIC122)を備える。
HBA121は、ファイバチャネルでの通信において通信相手を特定するためのユニークな識別子であるWWN(World Wide Name)を格納している。NIC122は、ネットワーク内でのユニークなデバイス識別子であるMAC(Media Access Control address)アドレスを格納している。
図2に示す例では、現用サーバ102には、二つのNIC122と二つのHBA121とが備えられており、NIC122には、それぞれ、識別子「MAC1」「MAC2」が設定され、HBA121には、それぞれ、識別子「WWN1」「WWN2」が設定されていることを示す。
BMC123は、障害検出部206を備え、管理サーバ101と、ハードウェアの監視及び制御のための通信を実行する。
障害検出部206は、現用サーバ102が備えるハードウェアに発生した異常を検知する。
BMC123は、障害検出部206によって検出された異常を、ネットワークを介して管理サーバ101に通知する。また、BMC123は、ネットワークを介した管理サーバ101による遠隔制御によって、現用サーバ102の電源のON/OFFを制御する。
なお、図2では、二つのCPUと、二つのHBA121と、二つのNIC122とを備える現用サーバ102を例示した。これらハードウェアは、当該現用サーバ102の機能や性能に応じて任意に構成することができる。
また、図1において、管理対象サーバ103は、複数の現用サーバ102を備えるが、管理対象サーバ103を図2と同等の構成として、この図2のように構成された管理対象サーバ103に複数の論理区画を設定して、これら論理区画のそれぞれが現用サーバ102として構成されていてもよい。
図3は、本発明の第1の実施の形態の管理サーバ101の構成ブロック図である。
管理サーバ101は、メモリ303と、CPU302と、記憶装置(HDD)310と、NIC112とを備える。
メモリ303は、フェイルオーバプログラム301を実行可能に格納する。CPU302がこのフェイルオーバプログラム301を実行することによって、フェイルオーバ処理部110が構成される。なお、フェイルオーバ処理部110は、プログラムではなく、半導体回路などの専用のハードウェアによって構成されていてもよい。
なお、図3では、一つのCPUと、一つのNIC122とを備える管理サーバ101を例示した。これらハードウェアは、当該管理サーバ101の機能や性能に応じて任意に構成することができる。
図4は、本発明の第1の実施の形態の予備サーバ104の構成ブロック図である。
予備サーバ104は、メモリ404、サーバ管理インターフェース(I/F)402、CPU403、BMC141、NIC142及びHBA143を備える。
メモリ404は、論理区画構成プログラム410を実行可能に格納する。CPU403がこの論理区画構成プログラム410を実行することによって、論理区画構成処理部140が構成される。なお、論理区画構成処理部140は、プログラムではなく、半導体回路などの専用のハードウェアによって構成されていてもよい。
論理区画構成処理部140は、一つ以上の論理区画401を構成する。図4に示す例では、N個の論理区画401A〜401Nが構成されている。
論理区画401は、それぞれオペレーティングシステム(OS)411を実行する。また、論理区画401は、OS411の起動を制御し、OS411からのハードウェアに対するI/O処理を制御するEFI(Extensible Firmware Interface)416を備える。
EFI416は、OS411を格納する場所、すなわち、ディスクアレイ装置105の所定の論理ディスク装置を指定する機能、複数のOS411の中から起動方法に優先順位を付けて管理する機能、及び、OS411の起動を途中で停止する機能等を備える。
サーバ管理インターフェース(I/F)402は、論理区画構成処理部140による論理区画の構成を制御する。また、論理区画401からのI/O命令を、実際のハードウェア(HBA143及びNIC142)に割り当てる。
サーバ管理I/F402は、CPU割当開始部412と、CPU割当停止部413と、I/O監視部414と、メモリ変換部415とを備える。
CPU割当開始部412は、構成された論理区画401に対してCPUリソースの割り当ての開始を指示する。CPU割当停止部413は、論理区画401のCPUリソースの割り当ての停止を指示する。
I/O監視部414は、論理区画401からのI/Oの有無を監視する。メモリ変換部415は、予備サーバ104のメモリ404と論理区画401が実際に使用するメモリ(仮想メモリ)とを管理する。
なお、図4では、一つのCPUと、一つのNIC142と、一つのBMC143とを備える予備サーバ104を例示した。これらハードウェアは、当該予備サーバ104の機能や性能に応じて任意に構成することができる。
なお、メモリ404は、予備サーバ104に構成される論理区画401が必要とするメモリ領域を備えている必要がある。例えば、論理区画401Aが2GBの記憶領域を必要とし、論理区画401Bが2GBの記憶領域を必要とする場合、メモリ404は、最低4GBの記憶領域を備える必要がある。なお、論理区画401が使用するメモリは、管理サーバ101のフェイルオーバ処理部110のメモリ変換部504(図5参照)によって管理される。
図5は、本発明の第1の実施の形態のフェイルオーバ処理部110の構成を示す論理ブロック図である。
前述したように、フェイルオーバ処理部110は、管理サーバ101において、CPU302がフェイルオーバプログラム301を実行することによって構成される。
フェイルオーバ処理部110は、メモリ変換テーブル501と、サーバ管理テーブル502と、ハードウェア(H/W)構成情報管理テーブル503と、メモリ変換部504と、サーバ管理部505と、予備構築部506と、障害受信部507と、OS起動監視部508とを備える。
メモリ変換テーブル501は、図12を参照して後述するが、予備サーバ104が備えるメモリアドレス(実メモリアドレス)と論理区画401に設定される仮想メモリアドレスとの対応関係を格納する。
サーバ管理テーブル502は、図10を参照して後述するが、現用サーバ102と論理区画401との対応関係及び切り替えの発生状態を格納する。
H/W構成情報管理テーブル503は、図11を参照して後述するが、管理サーバ101によって取得された、現用サーバ102が備えるハードウェア構成及び現用サーバ102の状態であるH/W構成情報を格納する。
メモリ変換部504は、メモリ変換テーブル501を用いて、仮想メモリアドレスと実メモリアドレスとの対応関係を管理する。また、予備サーバ104にこの対応関係を指示する。
サーバ管理部505は、現用サーバ102の状態監視及び電源制御を実行する。
予備構築部506は、現用サーバ102と同等の構成の論理区画を予備サーバ104に構成する。
障害受信部507は、現用サーバ102で発生した障害を受信する。
OS起動監視部508は、予備サーバ104の各論理区画401のOS411の起動を監視する。
フェイルオーバ処理部110は、これら各テーブル及び各部によって、以降に説明するサーバ切り替え処理を実行する。
図6は、本発明の第1の実施の形態のサーバ切り替え処理のシーケンス図である。
この図6に示す処理は、現用サーバ102、管理サーバ101のフェイルオーバ処理部110及び予備サーバ104の論理区画構成処理部140によって実行される。
まず、管理サーバ101において、フェイルオーバ処理部110の予備構築部506が予備構築処理を実行する(S621)。なお、この処理は図7で後述する。
この予備構築処理によって、管理対象サーバ103に含まれる現用サーバ102に対応する論理区画401が、予備サーバ104に構成される。
予備構築処理が終了した後、現用サーバ102において障害が発生した場合は、現用サーバ102のBMC123に備えられた障害検出部206が、この障害の発生を検出する。検出された障害は、ネットワークを介して管理サーバ101のフェイルオーバ処理部110に通知される(S611)。
管理サーバ101において、フェイルオーバ処理部110の障害受信部507は、障害検出部206によって通知された障害の発生を受信する(S622)。フェイルオーバ処理部110のサーバ管理部505は、障害検出部206によって受信された障害の発生元の現用サーバ102を停止させる(S623)。具体的には、サーバ管理部505は、障害発生元の現用サーバ102のBMC123に、現用サーバをシャットダウンする要求を、ネットワークを介して送信する。
現用サーバ102は、管理サーバ101のフェイルオーバ処理部110からの要求を受信すると、現用サーバ102の電源をOFFにする処理を実行して、現用サーバ102を停止する(S612)。
次に、管理サーバ101において、フェイルオーバ処理部110のサーバ管理部505は、停止した現用サーバ102に対応する論理区画401をサーバ管理テーブル502から検索する(S624)。
次に、サーバ管理部505は、メモリ変換部504に、停止した現用サーバ102に対応する論理区画401のメモリ変換の解除を要求する(S625)。
メモリ変換が解除されることによって、予備サーバ104の論理区画401のメモリ変換が解除され、論理区画401が起動可能な状態に設定される(S631)。
なお、このステップS625及びステップS631の処理は、図9で後述する。
次に、メモリ変換部504は、ステップS625の処理によって解除された結果をメモリ変換テーブル501に登録して、メモリ変換テーブル501の内容を更新する(S626)。
メモリ変換の解除が完了すると、サーバ管理部505は、予備サーバ104に対して、停止した現用サーバ102に対応する論理区画401へのCPUリソースの割り当て開始を要求する(S627)。
予備サーバ104において、サーバ管理I/F402のCPU割当開始部412は、サーバ管理部505によって要求された論理区画401へのCPUリソースの割り当てを開始する(S632)。これによって、論理区画401の起動が開始する(S633)。論理区画401が起動することによって、停止した現用サーバ102で実行されていた業務が、この論理区画401に切り替えられ、業務が再開される(S634)。
以上の処理によって、管理対象サーバ103の現用サーバ102に障害が発生した場合に、予備サーバ104に構築された論理区画401に切り替えることによって、現用サーバ102が処理していた業務が再開される。
図7は、本発明の第1の実施の形態の図6のステップS621の予備構築処理のフローチャートである。
この図7に示す処理は、管理サーバ101において、フェイルオーバ処理部110の予備構築部506によって実行される。この処理は、例えば、図1に示す計算機システムが新規に構成されたとき、又は、計算機システムの構成が変更されたときに実行される。
まず、予備構築部506は、管理対象サーバ103に含まれる全ての現用サーバ102のハードウェア構成情報(H/W構成情報)を取得する(S701)。
なお、H/W構成情報は、現用サーバ102の識別子、現用サーバ102が備えるCPUの数、CPUの識別子、メモリの容量、NICのMACアドレス及びHBAのWWN等を含んだ情報である。
このステップS701の処理では、予備構築部506は、管理対象サーバ103に含まれる各現用サーバ102について、BMC123にH/W構成情報の取得を要求する。現用サーバ102のBMC123は、要求に基づいて、自身のH/W構成情報を要求元の管理サーバ101宛に送信する。
なお、管理サーバ101は、計算機システムに含まれる各サーバ(管理対象サーバ103、現用サーバ102、予備サーバ104及びディスクアレイ装置105等)の情報を予めメモリ303に格納している。予備構築部506は、格納された情報から、管理対象サーバ103に含まれる全ての現用サーバ102からH/W構成情報を取得する。
次に、予備構築部506は、管理対象サーバ103の現用サーバ102を一つ選び、選ばれた現用サーバ102から取得されたH/W構成情報、及び、選ばれた現用サーバ102のサーバ識別子を、H/W構成情報管理テーブル503(図11参照)の新たなエントリとして登録して、H/W構成情報管理テーブル503の内容を更新する(S702)。
次に、予備構築部506は、H/W構成情報管理テーブル503に新たに登録されたエントリに対応する論理区画401を作成するように、予備サーバ104に要求する(S703)。
予備サーバ104の論理区画構成処理部140は、予備構築部506からの要求を受けて、各H/W構成情報に対応する論理区画401を作成する。このとき、論理区画構成処理部140は、論理区画401の一意の論理区画識別子を設定する。
次に、予備構築部506は、論理区画構成処理部140によって設定された論理区画識別子とサーバ識別子との対応関係を、サーバ管理テーブル502に登録する(S704)。サーバ管理部505は、このサーバ管理テーブル502に登録された情報によって、現用サーバ102と論理区画401との対応関係を取得することができる。
次に、予備構築部506は、メモリ変換部504にメモリ変換を要求する(S705)。メモリ変換とは、予備サーバ104に構成された論理区画401が使用するメモリに関して、論理区画401が待機している場合に、一時的に他のメモリ空間に置き換えることである。
予備構築部506によってメモリ変換が要求されると、メモリ変換部504は、メモリ変換テーブル501を参照して、論理区画401に設定されているメモリ空間(実メモリアドレス)を、一時的に、他のメモリ空間のアドレス(仮想メモリアドレス)に置き換えるためのメモリ変換処理を実行する。このメモリ変換処理によって、予備サーバ104の論理区画の実メモリアドレスが、仮想メモリアドレスに変換される(S711)。
なお、このステップS705及びS711の処理は、図9で後述する。
メモリ変換部504によるメモリ変換処理が終了すると、予備構築部506は、予備サーバ104の論理区画401の起動を要求する(S706)。予備サーバ104の論理区画構成処理部140は、この要求を受けて、論理区画401の起動を開始させる(S712)。
予備サーバ104の論理区画構成処理部140は、まず、論理区画401によって利用されるハードウェアを初期化する。具体的には、論理区画構成処理部140は、CPU403に処理を割り当てる処理、メモリ404の領域を割り当てる処理、NIC142にMACアドレスを割り当てる処理、HBA141にWWNを割り当てる処理等を実行する。
このハードウェアの初期化が完了すると、論理区画401内にEFI416が構成される。このEFI416は、ディスクアレイ装置105の所定の領域からOSの読み込みを開始する。
このOSの読み込みに先立って、予備構築部506は、OS起動監視部508にOS起動監視処理の実行を要求する(S707)。OS起動監視部508は、論理区画401の状態を監視し、論理区画401によって、OSが格納されているディスクアレイ装置105の所定の領域に対するI/O処理があった場合に、論理区画401の動作を停止させる。予備サーバ104の論理区画構成処理部140は、この処理によって、論理区画401がOSを読み込む直前の状態で当該論理区画401へのCPUリソースの割り当てを停止して、待機状態に設定する(S713)。
現用サーバ102による業務の運用に際して、OSの内容は、バージョンアップやパッチの適用等によって変化している。そのため、現用サーバ102から論理区画401に処理を切り替えるときに、あらためてOSを読み込むようにすれば、常に最新の状態で業務の引き継ぎが可能となる。
なお、このステップS707及びS713の処理は、図8で後述する。
以上のステップS702からS707の処理によって、予備サーバ104に、現用サーバ102に対応する論理区画401が作成される。作成された論理区画401は、OSを読み込む直前の状態で停止されて、待機している。
なお、本実施の形態では、一つの予備サーバ104に、現用サーバ102の台数分の論理区画401を構成したが、予備サーバ104を複数備えて、これら複数の予備サーバ104に、各現用サーバ102に対応する論理区画401を分散して構成してもよい。
次に、予備構築部506は、管理対象サーバ103に含まれる全ての現用サーバ102に対して、前記ステップS702からS707の処理が終了したか否かを判定する(S708)。
未だ処理が終了していない現用サーバ102があれば、処理が終了していない現用サーバ102について、ステップS702からS707の処理を実行する。管理対象サーバ103中の全ての現用サーバ102の処理が終了していれば、本フローチャートの処理を終了する。
このように、図7の処理によって、管理対象サーバ103に含まれる現用サーバ102と同等の構成を備える論理区画401が作成される。作成された論理区画401は、管理対象サーバ103のいずれかの現用サーバ102に障害が発生した場合に、その現用サーバ102の業務を引き継ぐために使用される。
特に、ステップS711のメモリ変換処理によって、現用サーバ102に障害が発生して論理区画401のOSを起動するまでは、論理区画401は、仮想メモリアドレスが割り当てられるので、論理区画401によって確保されるメモリ量を削減できる。
また、現用サーバ102に障害が発生して、現用サーバ102に対応する論理区画401に切り替える(フェイルオーバする)場合に、論理区画401の起動に関する処理、例えばハードウェアの初期化処理が既に完了しているため、フェイルオーバを高速に実行することができる。
図8は、本発明の第1の実施の形態の管理サーバ101のフェイルオーバ処理部110のOS起動監視部508によって実行されるOS起動監視処理のフローチャートである。
図7のステップS713において、フェイルオーバ処理部110のサーバ管理部505がOS監視処理の実行を要求したときに、OS起動監視部508が本フローチャートの処理を実行する。
まず、OS起動監視部508は、予備サーバ104の論理区画401に対するI/O監視を要求する(S801)。
具体的には、OS起動監視部508は、予備サーバ104のサーバ管理I/Fに対して、論理区画401の識別子を指定して、指定された論理区画401のI/O処理の監視を要求する。
予備サーバ104のサーバ管理I/F402は、BMC143を介してI/O処理の監視要求を受信する。
サーバ管理I/F402のI/O監視部414は、指定された論理区画が発行するI/O処理の監視を開始する(S811)。I/O監視部414は、論理区画401から発行されたI/O処理の有無を判定する。I/O処理の発行があった場合は、そのI/O処理によって要求される内容を取得して、ステップS812の処理を実行する。
I/O監視部414は、指定された論理区画401によって発行されたI/O処理が、その論理区画401によって起動されるOSを格納するディスク領域に対する読み込み要求であるか否かを判定する(S812)。
ステップS812において、論理区画401によって起動されるOSを格納するディスク領域に対するI/O処理がない場合は、I/O監視部414は、ステップS812の処理を繰り返す。論理区画401によって起動されるOSを格納するディスク領域へのI/O処理があったと判定した場合は、ステップS813の処理を実行する。
ステップS813において、I/O監視部414は、論理区画401によって起動されるOSを格納するディスク領域へのI/O処理の発行があった旨を、BMC143を介して管理サーバ101宛に送信する。
管理サーバ101において、OS起動監視部508は、論理区画401によって起動されるOSを格納するディスク領域へのI/O処理の発行があった旨を受信すると(S802)、ステップS803に移行する。
ステップS803では、OS起動監視部508は、予備サーバ104のサーバ管理I/F402に対して、論理区画401へのCPUリソースの割り当てを停止する要求を送信する(S803)。
予備サーバ104において、サーバ管理I/F402のCPU割当停止部413は、CPUリソースの割り当てを停止する要求を受信すると、指定された論理区画401のCPUリソースの割り当てを停止する(S814)。
CPU割当停止部413によって、指定された論理区画401へのCPUの時分割のリソースの割り当てを0にすることにより、論理区画401の動作が停止する(S815)。
このように、図8の処理によって、論理区画401について、ハードウェアの初期化が完了し、OSを起動する直前の状態で停止させることができる。
このようにすることによって、フェイルオーバ時に、論理区画401のハードウェアの初期化を実行する必要がないので、いわゆるコールドスタートと比較すると、サーバの切り替えが高速に実行できる。
特に、現用サーバ102が必要とするメモリの容量が大きい場合は、予備側のサーバをコールドスタートするとメモリの初期化に要する時間が長くなる。また、NIC142やHBA141等のインターフェースの初期化に要する処理時間も必要となる。本発明の実施の形態では、予備側のサーバを論理区画401として、ハードウェアの初期化が完了した段階で停止しておくので、ハードウェアの初期化に要する時間を短縮することができる。
なお、この図8の処理では、論理区画401によるI/O処理の発行によってOSが格納されているディスク装置への読み込みを検出したが、論理区画401が備えるEFI416によって、OSの読み込みを検出してもよい。具体的には、論理区画401の起動が要求され(図7のステップS706)、論理区画401のハードウェアの初期化が完了した時点で、EFI416がOSが格納されているディスク装置への読み込みを開始する。この読み込みの開始をサーバ管理I/F402によって、管理サーバ101に報告するようにしてもよい。
また、EFI416が、OSを読み込む処理を開始する状態となったことをサーバ管理I/F402に対して報告し、サーバ管理I/F402からの応答があった場合にOSの読み込みを開始するように、EFI416を予め設定しておいてもよい。
また、本実施形態では、論理区画401によるOSへの読み込みの直前で停止させたが、停止させるタイミングは、OSの起動に限られない。例えば、OSが起動した後、業務を実行するアプリケーションが起動する直前のタイミングで、論理区画401を停止させてもよい。
図9は、本発明の第1の実施の形態の図6のステップS625及び図7のステップS705において、メモリ変換部504によって実行されるメモリ変換処理のフローチャートである。
まず、メモリ変換部504は、サーバ管理部505又は予備構築部506からの要求が何であるかを判定する(S901)。
要求がメモリ変換要求であればステップS902に移行する。要求がメモリ変換解除要求であればステップS911に移行する。
ステップS902では、メモリ変換部504は、メモリ変換テーブル501に、要求によって指定された論理区画401の識別子と仮想メモリアドレスと実メモリアドレスとを登録する。
次に、メモリ変換部504は、ステップS902において登録されたメモリ変換テーブル501のエントリの変換状態を「変換中」に設定する(S903)。
次に、メモリ変換部504は、予備サーバ104に対して、指定された論理区画401のメモリ変換を要求する(S904)。
具体的には、メモリ変換部504は、論理区画401の識別子と仮想メモリアドレスと実メモリアドレスとを指定して、予備サーバ104にメモリ変換を要求する。予備サーバ104において、サーバ管理I/F402のメモリ変換部415は、要求された論理区画401に、仮想メモリアドレスを割り当てる。
以上のステップS902からS904の処理によって、論理区画401のメモリ空間が、仮想メモリアドレスとして設定される。
一方、ステップ911では、メモリ変換部504は、要求によって指定された論理区画401について、予備サーバ104に対して、メモリ変換の解除を要求する。
具体的には、メモリ変換部504は、論理区画401の識別子を指定して、予備サーバ104にメモリ変換の解除を要求する。予備サーバ104において、サーバ管理I/F402のメモリ変換部415は、要求された論理区画401に割り当てられた仮想メモリアドレスを、実メモリアドレスに変更する。
次に、メモリ変換部504は、メモリ変換テーブル501の、指定された論理区画401のエントリの実メモリアドレスを、予備サーバ104において論理区画が実際に使用する実メモリアドレスに変更する(S912)。
次に、メモリ変換部504は、メモリ変換テーブル501の変換状態を「解除済み」に変更する(S913)。
以上のステップS911からS913の処理によって、論理区画401のメモリ空間が、実メモリアドレスとして設定される。
図10は、本発明の第1の実施の形態のサーバ管理テーブル502の一例の説明図である。
サーバ管理テーブル502は、フェイルオーバ処理部110によって管理される、管理対象サーバ103に含まれる現用サーバ102と、フェイルオーバによって切り替える論理区画401との対応関係及び切り替えの発生の有無を格納する。
サーバ管理テーブル502は、三つのカラムを含む。
カラム1001は、現用サーバ102の識別子を格納する。サーバ識別子は、計算機システム内で現用サーバ102を一意に特定する情報である。サーバ識別子は、例えば、現用サーバのシリアル番号を用いるとよい。
カラム1002は、論理区画401の論理区画識別子を格納する。論理区画識別子は、予備サーバ104に構成された論理区画401を一意に特定できる情報である。例えば、論理区画401の生成時に、論理区画構成処理部140によって付与された一意な識別子を用いるとよい。
カラム1003は、現用サーバ102がフェイルオーバによって切り替えられた否かの状態を格納する。カラム1001に登録されている現用サーバ102に障害が発生し、フェイルオーバが実行されて、現用サーバ102に業務が論理区画401に切り替えられた場合に、切り替え状態が「True」に設定される。一方、カラム1001に登録されている現用サーバ102に障害が発生しても、フェイルオーバが未だ実行されていない場合は、切り替え状態が「False」に設定される。
図10に示す例では、サーバ識別子S1で示される現用サーバ102は、論理区画識別子L1で示される論理区画401と対応付けられており、切り替え状態は「False」、つまり、未だ切り替えが発生していないことを示す。
また、サーバ識別子S2で示される現用サーバ102は、論理区画識別子L2で示される論理区画401と対応付けられており、切り替え状態は「True」、つまり、切り替えが発生していることを示す。
図11は、本発明の第1の実施の形態のH/W構成情報管理テーブル503の一例の説明図である。
H/W構成情報管理テーブル503は、フェイルオーバ処理部110によって管理される現用サーバ102のH/W構成情報を格納する。
前述のように、予備構築部506は、管理対象サーバ103に含まれる全ての現用サーバ102についてH/W構成情報を取得して、取得されたH/W構成情報を、現用サーバ102の識別子ごとにH/W構成情報管理テーブル503に登録する。
H/W構成情報管理テーブル503は、四つのカラムを含む。
カラム1101は、サーバ識別子を格納する。このサーバ識別子は、図10のサーバ識別子と同じである。
カラム1102は、現用サーバ102のCPU情報を格納する。CPU情報は、CPUの数とCPUの識別子とを含む。
カラム1102内のカラム1121は、現用サーバに搭載されているCPUの数を格納する。
カラム1102内のカラム1122は、CPUの識別子を格納する。CPU識別子は、現用サーバ102内のCPUを一意に特定できる情報である。CPU識別子は、例えば、CPUのスロット番号を用いるとよい。
なお、CPUのスロット単位、すなわち、物理的に区分されたCPUのそれぞれをCPU識別子の単位としたが、これは、管理単位がCPU単体に限定されることを意味しているわけではない。障害を検知できる粒度や、論理区画への割当単位などを考慮して、管理単位を適宜変更してもよい。例えば、CPUに含まれるCPUのコアを単位としてもよい。
カラム1103は、メモリ情報を格納する。メモリ情報は、メモリの総容量とメモリ識別子とメモリ識別子ごとの容量とを含む。
カラム1103内のカラム1131は、現用サーバに搭載されている全てのメモリの記憶領域の容量を格納する。
カラム1103内のカラム1132は、メモリ識別子を格納する。メモリ識別子は、現用サーバ102内で区分されたそれぞれのメモリを一意に特定できる情報である。メモリ識別子は、例えば、メモリのスロット番号を用いるとよい。
カラム1103内のカラム1133は、メモリ識別子ごとの記憶領域の容量を格納する。
なお、メモリ情報は、メモリのスロット単位、すなわち、物理的に区分されたメモリのそれぞれをメモリ識別子の単位としたが、これは、管理単位がメモリ単体に限定されることを意味しているわけではない。障害を検知できる粒度や、論理区画への割当単位などを考慮して管理単位を適宜変更してもよい。例えば、メモリバンク単位としてもよい。
カラム1104は、現用サーバ102が備えるI/O機器(NIC、HBA)の情報を格納する。
カラム1104内のカラム1141は、NICのMACアドレスを格納する。
カラム1104内のカラム1142は、HBAのWWNを格納する。
なお、現用サーバ102がNICやHBA以外のI/O機器を備えている場合は、カラム1104に、その他のI/O機器の情報を格納してもよい。
図11に示す例では、サーバ識別子S1で示される現用サーバ102は、二つのCPU「CPU1」と「CPU2」とを備えている。この現用サーバ102のメモリの総容量は、2GBであり、メモリ識別子「Mem1」には1GBの容量が割り当てられ、メモリ識別子「Mem2」には1GBの容量がそれぞれ割り当てられている。また、この現用サーバ102は、識別子「MAC1」で示されるNIC122と、識別子「WWN1」で示されるHBA121とが備えられている。
図12は、本発明の第1の実施の形態のメモリ変換テーブル501の構成の一例の説明図である。
メモリ変換テーブル501は、フェイルオーバ処理部110によって管理される論理区画401の仮想メモリアドレスの状態を格納する。
メモリ変換テーブル501は、四つのカラムを含む。
カラム1201は、論理区画401の論理区画識別子を格納する。この論理区画識別子は、図10の論理区画識別子と同じである。
カラム1202は、論理区画401に設定される仮想メモリアドレスを格納する。
カラム1203は、論理区画401の実メモリアドレスを格納する。
カラム1204は、論理区画401のメモリアドレスが、仮想メモリアドレスに変換されているかを示す情報である変換状態を格納する。
例えば、論理区画識別子L0で示される論理区画401は、仮想メモリアドレスとして「0x0000−0xFFFF」のメモリアドレスが割り当てられ、実メモリアドレスとして「0x00000−0x000FF」が割り当てられる。そして、この論理区画401は、変換状態が「変換中」である。従って、この論理区画401には、仮想メモリアドレスが割り当てられていることが示されている。
図13は、本発明の第1の実施の形態のメモリ変換処理によるメモリ変換の説明図である。
本発明の実施の形態は、予備サーバ104に複数の論理区画401が作成される。そのため、管理対象サーバ103に含まれる現用サーバ102に対応する論理区画401について、各論理区画が必要とするメモリを全て割り当てると、予備サーバ104が必要とするメモリの量が増加してしまう。状況によっては、予備サーバ104のメモリが不足してしまう。
そこで、本発明の実施の形態では、論理区画401が必要とする実メモリアドレスに対して、仮想メモリアドレスを割り当てて、論理区画401が待機している場合に、予備サーバ104のメモリの使用量を抑える。
図13(A)は、予備サーバ104の論理区画401のメモリ構成を示す。
図6のステップS611の予備構築処理によって、予備サーバ104に論理区画が作成される。各論理区画401は、それぞれ2GBの実メモリアドレスが設定される。
このとき、論理区画401は、未だOSやアプリケーションプログラム等が稼動していないため、設定したメモリアドレスの容量の全てを必要としない。そこで、これら論理区画401が待機している場合に必要とする最小限のメモリ(ここでは10MB)を、仮想メモリアドレスとして設定する。
図13(A)の例では、三つの論理区画(L0、L1、L2)が設定され、それぞれ10MBの容量の仮想メモリアドレスが設定されている状態のメモリレイアウトを示す。従って、これら三つの論理区画によって使用されるメモリの総容量は30MBで済む。
図13(B)は、現用サーバ102に障害が発生し、フェイルオーバによって論理区画L0に切り替えられた状態のメモリレイアウトを示す。
論理区画L0は、待機中にメモリ変換されて仮想メモリアドレスが設定されていたが、切り替え処理によってメモリ変換が解除されて、論理区画L0が必要とする全てのメモリ容量である2GBの実メモリアドレスが設定される。なお、この場合にも、待機中の他の論理区画401は、仮想メモリアドレスが設定されている。
このようにすることによって、現用サーバ102の切り替え対象となる論理区画401を備える予備サーバ104のメモリ容量を抑えることができる。
図14は、本発明の第1の実施の形態の管理サーバ101におけるユーザインターフェースの一例の説明図である。
このユーザインターフェース(ユーザI/F)1401は、管理サーバ101が備えるディスプレイ、又は、ネットワークを介して管理サーバ101での設定を実行可能な端末に表示される。管理者は、このユーザI/Fを用いて予備サーバ104の論理区画401の設定状態を確認し、必要ならば設定を変更することができる。
管理者は、画面1402において、設定されている論理区画401の設定状態(スペック)を確認することができる。
画面1402は、CPUの数と各CPUのクロックとを確認する画面1411、メモリの容量を確認する画面1412、I/O機器の数と設定を確認する画面1413とを備える。I/O機器の設定は、例えば、NIC122の通信速度とMACアドレスとが表示される。
画面1403は、論理区画401を、どのような状態で停止させるかを設定するための画面である。
前述のように、フェイルオーバ処理部110によって、論理区画401は、OSを読み込む直前の状態で停止される。これに対して、管理者の設定によって、その他の状態でOSの起動を停止させておくことができる。
画面1421は、論理区画401の起動を停止させるメモリ容量の上限値を設定する。
前述の図7のステップS707のOS起動監視処理において、論理区画401が起動してOSを読み込もうとしたときに論理区画を停止させた。これに対して、論理区画401が起動する過程で、論理区画401によって使用されるメモリ容量が、画面1421で設定されたメモリ容量を超えたときに、論理区画を停止するように設定することができる。
画面1422は、論理区画401で起動を許可するソフトウェアを設定する。
前述の図7のステップS707のOS起動監視処理において、論理区画401が起動してOSを読み込もうとしたときに論理区画401を停止させた。これに対して、OSや他のソフトウェアを読み込んで起動した後に、論理区画401を停止させるように設定することができる。図14では、例として、OS、データベースサーバ及びアプリケーションサーバの起動を許可するかを設定することができる。
画面1431は、画面1421及び画面1422で設定した内容を論理区画401に適用するか否かを設定するための画面である。
設定用ボックス1432に「○」を設定することによって、その設定用ボックス1432に対応する項目が適用される。設定用ボックス1432に「×」を設定することによって、その設定用ボックスに対応する項目が非適用となる。
実行ボタン1441は、全ての項目を設定した後、この実行ボタン1441をクリックすることによって、設定された内容が論理区画401に反映される。
図14に示す例では、メモリ容量上限を512MBに設定し、OS及びデータベースサーバの起動を許可していることが示されている。
このように設定した結果、図6に示す予備構築処理において、論理区画401によって使用されるメモリ容量が512MBに達し、OSが起動し、かつ、データベースサーバが起動した時点で論理区画401を停止させる。この場合は、現用サーバ102に障害が発生し、図14に示すように設定された論理区画401に切り替えるときに、設定されたOS及びデータベースサーバが既に起動を完了しているため、業務の再開に要する時間を短縮することができる。
本発明の第1の実施の形態は、以上のように構成することによって、予備サーバ104に、現用サーバ102に障害が発生した場合の代替となる論理区画401を設定する。この論理区画401は、管理サーバ101によって、ハードウェアに関する初期か設定を終え、ディスクアレイ装置105に格納されているOSを読み込む直前で停止される。そのため、代替となるサーバを一から起動するコールドスタートと比較して、起動時間が短時間で済み、フェイルオーバ処理に掛かる時間を短縮することができる。
また、複数の現用サーバ102に対して、予備サーバ104に論理区画を構成するので、予備サーバ104が少ない台数(例えば、一つ)で済むため、計算機システムの導入コスト及び運用コストを低減することができる。
<第2実施形態>
次に、本発明の第2の実施の形態を説明する。
前述の第1の実施の形態では、論理区画401は、OSを読み込む直前の状態で停止される。これに対して、第2の実施の形態では、論理区画401によって使用されるメモリ容量が所定値を超えた場合に、論理区画401を停止する。
図15は、本発明の第2の実施の形態のOS起動監視処理のフローチャートである。
前述の第1の実施の形態の図7のステップS713において、フェイルオーバ処理部110のサーバ管理部505がOS監視処理の実行を要求したときに、OS起動監視部508が本フローチャートの処理を実行する。
まず、OS起動監視部508は、予備サーバ104の論理区画401に対するメモリ監視を要求する(S1501)。
具体的には、OS起動監視部508は、予備サーバ104のサーバ管理I/F402に対して、論理区画401の識別子を指定して、指定された論理区画401のメモリ使用量の監視を要求する。
予備サーバ104のサーバ管理I/F402は、BMC143を介してメモリ監視要求を受信する。
サーバ管理I/F402のI/O監視部414は、指定された論理区画401によって使用されるメモリ容量の監視を開始する(S1511)。
I/O監視部414は、指定された論理区画401によって使用されているメモリ容量が増加したか否かを判定する(S1512)。
論理区画401のメモリ使用量が増加した場合は、ステップS1513に移行し、論理区画401によって使用されているメモリ容量を、BMC143を介して、管理サーバ101宛に送信する。メモリ使用量が増加していない場合は、I/O監視部414は、ステップS1512の処理を繰り返す。
管理サーバ101において、OS起動監視部508は、予備サーバ104から送信された論理区画401のメモリ使用量を受信する。そして、論理区画401のメモリ使用量が、予め設定されたメモリ使用量を超えたか否かを判定する(S1502)。論理区画401のメモリ使用量が、予め設定されたメモリ使用量を超えたと判定した場合は、ステップS1503に移行する。論理区画401のメモリ使用量が、予め設定されたメモリ使用量を超えていない場合は、ステップS1502の処理を繰り返す。
ステップS1503では、OS起動監視部508は、予備サーバ104のサーバ管理I/F402に対して、論理区画401へのCPUリソース割り当てを停止する要求を送信する。
予備サーバ104において、サーバ管理I/F402のCPU割当停止部413は、CPUリソース割り当てを停止する要求を受信すると、指定された論理区画401のCPUリソース割り当てを停止する(S1514)。
CPU割当停止部413によって、論理区画401へのCPUの時分割の割り当てを0にすることにより、論理区画401の動作が停止する(S1515)。
このように、本発明の第2の実施の形態では、OSを起動する直前ではなく、論理区画401のメモリ使用量が所定値を超えたときに停止させる。そのため、第1の実施の形態と同様に、ハードウェアの初期化に要する時間を短縮することができる。さらに、予備サーバ104の設定される各論理区画401のメモリ使用量の上限を規定することができるので、予備サーバ104における論理区画401の管理をより効率的に実行することができる。
<第3実施形態>
次に、本発明の第3の実施の形態を説明する。
前述の第1の実施の形態では、論理区画401はEFI416を備えていた。これに対して、第3の実施の形態では、論理区画401はレガシーのBIOSを備える。
図16は、本発明の第3の実施の形態の予備サーバ104の構成ブロック図である。
論理区画401は、OS411の起動を制御したり、OS411からのハードウェアに対する処理を制御するBIOS(Basic Input/Output System)1601を備える。
BIOS1601は、OS411を格納するディスクアレイ装置105の所定の論理ディスク装置を指定する機能を備える。
このように、本発明の第3の実施の形態では、論理区画401がEFI416に代えてBIOS1601を備える。このように構成した場合にも、前述の第1及び第2の実施の形態と同様の処理を実行することができ、ハードウェアの初期化に要する時間を短縮することができる。
本発明の第1の実施の形態の計算機システムの構成ブロック図である。 本発明の第1の実施の形態の現用サーバの構成ブロック図である。 本発明の第1の実施の形態の管理サーバの構成ブロック図である。 本発明の第1の実施の形態の予備サーバの構成ブロック図である。 本発明の第1の実施の形態のフェイルオーバ処理部の構成ブロック図である。 本発明の第1の実施の形態のサーバ切り替え処理のシーケンス図である。 本発明の第1の実施の形態の予備構築処理のフローチャートである。 本発明の第1の実施の形態のOS起動監視処理のフローチャートである。 本発明の第1の実施の形態のメモリ変換処理のフローチャートである。 本発明の第1の実施の形態のサーバ管理テーブルの一例の説明図である。 本発明の第1の実施の形態のH/W構成情報管理テーブルの一例の説明図である。 本発明の第1の実施の形態のメモリ変換テーブルの構成の一例の説明図である。 本発明の第1の実施の形態のメモリ変換処理によるメモリ変換の説明図である。 本発明の第1の実施の形態の管理サーバにおけるユーザインターフェースの一例の説明図である。 本発明の第2の実施の形態のOS起動監視処理のフローチャートである。 本発明の第3の実施の形態の予備サーバの構成ブロック図である。
符号の説明
101 管理サーバ
102 現用サーバ
103 管理対象サーバ
104 予備サーバ
105 ディスクアレイ装置
110 フェイルオーバ処理部
121、141 HBA
112、122、142 NIC
123、143 BMC
140 論理区画構成処理部

Claims (17)

  1. 業務を実行するためのアプリケーションを実行する現用サーバと、前記現用サーバの起動ディスクを備えるディスクアレイ装置と、前記現用サーバに障害が発生した場合に当該現用サーバによって実行されるアプリケーションを実行して前記業務を引き継ぐ予備サーバと、前記現用サーバ及び予備サーバを管理する管理サーバと、を備える計算機システムにおけるフェイルオーバ方法であって、
    前記予備サーバは、第1のプロセッサ及び第1のメモリを備え、前記第1のメモリに格納されたプログラムによって前記第1のプロセッサを論理的に分割し、前記論理的に分割された第1のプロセッサを割り当てることによって論理区画が構成され、
    前記フェイルオーバ方法は、
    前記管理サーバが、前記現用サーバの構成情報を取得し、前記取得された構成情報に基づいて、前記予備サーバに前記現用サーバに対応する構成を備える論理区画を構成する第1のステップと、
    前記予備サーバが、前記構成された論理区画を起動する第2のステップと、
    前記起動された論理区画が所定の状態となった場合に、前記予備サーバが、前記論理区画への前記第1のプロセッサの割り当てを停止し、前記論理区画の動作を停止させる第3のステップと、
    前記管理サーバが、前記現用サーバに発生した障害を検出する第4のステップと、
    前記現用サーバに発生した障害が検出された場合に、前記管理サーバが、前記障害が検出された現用サーバを停止させる第5のステップと、
    前記管理サーバが、前記障害が発生した現用サーバに対応した構成を備える論理区画を検索する第6のステップと、
    前記管理サーバが、前記検索された論理区画への前記第1のプロセッサの割り当てを要求し、前記論理区画の起動を再開させる第7のステップと、
    を含み、
    前記第3のステップにおける前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態であることを特徴とするフェイルオーバ方法。
  2. 前記第3のステップにおける前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態ではなく、前記論理区画によって使用されたメモリの容量が所定の容量となった状態であることを特徴とする請求項1に記載のフェイルオーバ方法。
  3. 前記第3のステップにおける前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態ではなく、前記論理区画によって前記業務を実行する少なくとも一つのアプリケーションの起動が完了した状態であることを特徴とする請求項1に記載のフェイルオーバ方法。
  4. 前記第1のステップは、前記管理サーバが、前記構成された論理区画によって使用されるメモリ領域を、前記論理区画が待機している状態において必要とするメモリ領域に変更するステップを含み、
    前記第7のステップは、前記管理サーバが、前記変更されたメモリ領域を、前記構成された論理区画によって使用されるメモリ領域に変更することを特徴とする請求項1から3のいずれか一つに記載のフェイルオーバ方法。
  5. 前記現用サーバは、
    第2のプロセッサ及び第2のメモリを備え、
    前記第2のメモリに格納されたプログラムによって前記第2のプロセッサを論理的に分割し、前記論理的に分割された第2のプロセッサを割り当てることによって現用サーバの論理区画が構成され、
    前記構成された現用サーバの論理区画において、前記業務を実行するためのアプリケーションが実行されることを特徴とする請求項1から4のいずれか一つに記載のフェイルオーバ方法。
  6. 業務を実行するためのアプリケーションを実行する現用サーバと、前記現用サーバの起動ディスクを備えるディスクアレイ装置と、前記現用サーバに障害が発生した場合に当該現用サーバによって実行されるアプリケーションを実行して前記業務を引き継ぐ予備サーバと、前記現用サーバ及び予備サーバを管理する管理サーバと、を備える計算機システムにおいて、
    前記予備サーバは、第1のプロセッサ及び第1のメモリを備え、前記第1のメモリに格納されたプログラムによって前記第1のプロセッサを論理的に分割し、前記論理的に分割された第1のプロセッサを割り当てることによって論理区画が構成され、
    前記管理サーバは、前記現用サーバに障害が発生した場合に当該現用サーバが実行する業務を予備サーバに引き継がせるフェイルオーバを実行するフェイルオーバ処理部を備え、
    前記フェイルオーバ処理部は、
    前記現用サーバの構成情報を取得し、前記取得された構成情報に基づいて、前記予備サーバに前記現用サーバに対応する構成を備える論理区画を構成し、
    前記予備サーバに、前記構成された論理区画を起動させ、
    前記予備サーバによって起動された論理区画が所定の状態となった場合に、前記予備サーバに、前記論理区画への前記第1のプロセッサの割り当てを停止させて、前記論理区画の動作を停止させ、
    前記現用サーバに発生した障害が検出された場合に、前記障害が検出された現用サーバを停止させ、
    前記障害が発生した現用サーバに対応した構成を備える論理区画を検索し、
    前記検索された論理区画への前記第1のプロセッサの割り当て要求をし、前記論理区画の起動を再開させ、
    前記起動が完了された論理区画は、前記障害が発生した現用サーバが実行するアプリケーションを実行させて、前記現用サーバが実行する業務を引き継ぎ、
    前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態であることを特徴とする計算機システム。
  7. 前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態ではなく、前記論理区画によって使用されたメモリの容量が所定の容量となった状態であることを特徴とする請求項6に記載の計算機システム。
  8. 前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態ではなく、前記論理区画によって前記業務を実行する少なくとも一つのアプリケーションの起動が完了した状態であることを特徴とする請求項6に記載の計算機システム。
  9. 前記フェイルオーバ処理部は、
    前記論理区画を構成する場合に、前記構成された論理区画によって使用されるメモリ領域を、前記論理区画が待機している状態において必要とするメモリ領域に変更し、
    前記論理区画の起動を完了させる場合に、前記変更されたメモリ領域を、前記構成された論理区画によって使用されるメモリ領域に変更することを特徴とする請求項6から8のいずれか一つに記載の計算機システム。
  10. 前記現用サーバは、
    第2のプロセッサ及び第2のメモリを備え、
    前記第2のメモリに格納されたプログラムによって前記第2のプロセッサを論理的に分割し、前記論理的に分割された第2のプロセッサを割り当てることによって現用サーバの論理区画が構成され、
    前記構成された現用サーバの論理区画において、前記業務を実行するためのアプリケーションが実行されることを特徴とする請求項6から9のいずれか一つに記載の計算機システム。
  11. 業務を実行するためのアプリケーションを実行する現用サーバと、前記現用サーバの起動ディスクを備えるディスクアレイ装置と、前記現用サーバに障害が発生した場合に当該現用サーバによって実行されるアプリケーションを実行して前記業務を引き継ぐ予備サーバと、を備える計算機システムに備えられ、前記現用サーバ及び前記予備サーバを管理する管理サーバであって、
    前記予備サーバは、第1のプロセッサ及び第1のメモリを備え、前記第1のメモリに格納されたプログラムによって前記第1のプロセッサを論理的に分割し、前記論理的に分割された第1のプロセッサを割り当てることによって論理区画が構成され、
    前記管理サーバは、前記現用サーバに障害が発生した場合に当該現用サーバが実行する業務を予備サーバに引き継がせるフェイルオーバを実行するフェイルオーバ処理部を備え、
    前記フェイルオーバ処理部は、
    前記現用サーバの構成情報を取得し、前記取得された構成情報に基づいて、前記予備サーバに前記現用サーバに対応する構成を備える論理区画を構成し、
    前記予備サーバに、前記構成された論理区画を起動させ、
    前記予備サーバによって起動された論理区画が所定の状態となった場合に、前記予備サーバに、前記論理区画への前記第1のプロセッサの割り当てを停止させて、前記論理区画の動作を停止させ、
    前記現用サーバに発生した障害が検出された場合に、前記障害が検出された現用サーバを停止させ、
    前記障害が発生した現用サーバに対応した構成を備える論理区画を検索し、
    前記検索された論理区画への前記第1のプロセッサの割り当てを要求し、前記論理区画の起動を再開させ、
    前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態であることを特徴とする管理サーバ。
  12. 前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態ではなく、前記論理区画によって使用されたメモリの容量が所定の容量となった状態であることを特徴とする請求項11に記載の管理サーバ。
  13. 前記所定の状態は、オペレーティングシステムの起動監視部が、前記起動された前記論理区画によって前記起動ディスクへの読み出し要求が発生したことを受信した状態ではなく、前記論理区画によって前記業務を実行する少なくとも一つのアプリケーションの起動が完了した状態であることを特徴とする請求項11に記載の管理サーバ。
  14. 前記フェイルオーバ処理部は、
    前記論理区画を構成する場合に、前記構成された論理区画によって使用されるメモリ領域を、前記論理区画が待機している状態において必要とするメモリ領域に変更し、
    記論理区画の起動を完了させる場合に、前記変更されたメモリ領域を、前記構成された論理区画によって使用されるメモリ領域に変更することを特徴とする請求項11から13のいずれか一つに記載の管理サーバ。
  15. 前記現用サーバは、
    第2のプロセッサ及び第2のメモリを備え、
    前記第2のメモリに格納されたプログラムによって前記第2のプロセッサを論理的に分割し、前記論理的に分割された第2のプロセッサを割り当てることによって現用サーバの論理区画が構成され、
    前記構成された現用サーバの論理区画において、前記業務を実行するためのアプリケーションが実行されることを特徴とする請求項11から14のいずれか一つに記載の管理サーバ。
  16. 業務を実行するためのアプリケーションを実行する現用サーバと、前記現用サーバの起動ディスクを備えるディスクアレイ装置と、前記サーバに障害が発生した場合に当該現用サーバによって実行されるアプリケーションを実行して前記業務を引き継ぐ予備サーバと、前記現用サーバ及び予備サーバを管理する管理サーバと、を備える計算機システムにおける、予備サーバの設定方法であって、
    前記予備サーバは、第1のプロセッサ及び第1のメモリを備え、前記第1のメモリに格納されたプログラムによって前記第1のプロセッサを論理的に分割し、前記論理的に分割された第1のプロセッサを割り当てることによって論理区画が構成され、
    前記管理サーバが、前記サーバの構成情報を取得し、前記取得された構成情報に基づいて、前記予備サーバに前記サーバに対応する構成を備える論理区画を構成する第1のステップと、
    前記予備サーバが、前記構成された論理区画を起動する第2のステップと、
    前記起動された論理区画によって前記起動ディスクへの読み出し要求が発生した場合に、前記予備サーバが、前記論理区画への前記第1のプロセッサの割り当てを停止して、前記論理区画の動作を停止させる第3のステップと、
    を実行することを特徴とする予備サーバの設定方法。
  17. 前記第1のステップは、前記管理サーバが、前記構成された論理区画によって使用されるメモリ領域を、前記論理区画が待機している状態において必要とするメモリ領域に変更するステップを含むことを特徴とする請求項16に記載の予備サーバの設定方法。
JP2007137722A 2007-05-24 2007-05-24 フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法 Expired - Fee Related JP4842210B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007137722A JP4842210B2 (ja) 2007-05-24 2007-05-24 フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法
US11/872,960 US7779297B2 (en) 2007-05-24 2007-10-16 Fail-over method, computer system, management server, and backup server setting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007137722A JP4842210B2 (ja) 2007-05-24 2007-05-24 フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法

Publications (2)

Publication Number Publication Date
JP2008293245A JP2008293245A (ja) 2008-12-04
JP4842210B2 true JP4842210B2 (ja) 2011-12-21

Family

ID=40073509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007137722A Expired - Fee Related JP4842210B2 (ja) 2007-05-24 2007-05-24 フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法

Country Status (2)

Country Link
US (1) US7779297B2 (ja)
JP (1) JP4842210B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7937616B2 (en) * 2005-06-28 2011-05-03 International Business Machines Corporation Cluster availability management
JP5068056B2 (ja) * 2006-10-11 2012-11-07 株式会社日立製作所 障害回復方法、計算機システム及び管理サーバ
JP4923990B2 (ja) 2006-12-04 2012-04-25 株式会社日立製作所 フェイルオーバ方法、およびその計算機システム。
US8134915B2 (en) * 2007-12-12 2012-03-13 Cisco Technology, Inc. Method and apparatus for providing network redundancy
US7886183B2 (en) * 2008-08-07 2011-02-08 Symantec Operating Corporation Providing fault tolerant storage system to a cluster
JP4572250B2 (ja) 2008-09-11 2010-11-04 株式会社日立製作所 計算機切り替え方法、計算機切り替えプログラム及び計算機システム
US8452731B2 (en) * 2008-09-25 2013-05-28 Quest Software, Inc. Remote backup and restore
US8677342B1 (en) * 2008-10-17 2014-03-18 Honeywell International Inc. System, method and apparatus for replacing wireless devices in a system
JP5487951B2 (ja) 2009-12-22 2014-05-14 富士通株式会社 運用管理プログラム、運用管理装置および運用管理方法
US8234515B2 (en) * 2010-04-01 2012-07-31 Accenture Global Services Limited Repurposable recovery environment
US9092474B2 (en) 2010-10-12 2015-07-28 Sap Se Incremental conversion of database objects during upgrade of an original system
US8984514B2 (en) 2010-11-30 2015-03-17 Sap Se Modifying scheduled execution of object modification methods associated with database objects
US8527471B2 (en) 2010-12-27 2013-09-03 Sap Ag Shadow system mirroring of an original system during uptime of an upgrade process
US9626390B2 (en) * 2010-12-27 2017-04-18 Sap Se Shadow system start during upgrade of an original system
JP5817308B2 (ja) * 2011-08-04 2015-11-18 富士通株式会社 サーバ、サーバシステムおよびサーバの冗長切り替え方法
US9213728B2 (en) 2011-12-14 2015-12-15 Sap Se Change data capturing during an upgrade
JP5549688B2 (ja) * 2012-01-23 2014-07-16 日本電気株式会社 情報処理システム、及び、情報処理システムの制御方法
JP6024138B2 (ja) * 2012-03-21 2016-11-09 日本電気株式会社 クラスタシステム
US8832490B2 (en) * 2012-05-11 2014-09-09 Unisys Corporation Server control automation
US9201740B2 (en) * 2012-11-22 2015-12-01 Hitachi, Ltd. Computer system, cluster management method, and management computer
JP6070282B2 (ja) * 2013-03-04 2017-02-01 富士通株式会社 仮想マシン管理装置、方法及びプログラム
WO2015037103A1 (ja) 2013-09-12 2015-03-19 株式会社日立製作所 サーバシステム、計算機システム、サーバシステムの管理方法、及びコンピュータ読み取り可能な記憶媒体
US20150269029A1 (en) * 2014-03-20 2015-09-24 Unitrends, Inc. Immediate Recovery of an Application from File Based Backups
US9454439B2 (en) 2014-05-28 2016-09-27 Unitrends, Inc. Disaster recovery validation
US9448834B2 (en) 2014-06-27 2016-09-20 Unitrends, Inc. Automated testing of physical servers using a virtual machine
WO2019171704A1 (ja) * 2018-03-06 2019-09-12 日本電気株式会社 管理サーバ、クラスタシステム、クラスタシステムの制御方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
KR102062097B1 (ko) * 2018-06-27 2020-06-23 송암시스콤 주식회사 자동복구기능을 탑재한 이중화 구조의 버스정보안내단말기
US11385975B2 (en) 2019-11-27 2022-07-12 Amazon Technologies, Inc. Systems and methods for enabling a highly available managed failover service
US11397651B2 (en) * 2020-03-27 2022-07-26 Amazon Technologies, Inc. Managing failover region availability for implementing a failover service
US11411808B2 (en) * 2020-03-27 2022-08-09 Amazon Technologies, Inc. Managing failover region availability for implementing a failover service
US11397652B2 (en) * 2020-03-27 2022-07-26 Amazon Technologies, Inc. Managing primary region availability for implementing a failover from another primary region
US11902089B2 (en) * 2020-12-18 2024-02-13 Dell Products L.P. Automated networking device replacement system
US11709741B1 (en) 2021-03-29 2023-07-25 Amazon Technologies, Inc. Systems and methods for enabling a failover service for block-storage volumes
CN114697198A (zh) * 2022-04-18 2022-07-01 北京嗨学网教育科技股份有限公司 云灾备服务器的实现方法、启用方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02112034A (ja) * 1988-10-21 1990-04-24 Nec Corp コールド待機によるcpu二重化方式
JP3768775B2 (ja) * 2000-04-27 2006-04-19 三菱電機株式会社 バックアップ装置及びバックアップ方法
JP4119162B2 (ja) * 2002-05-15 2008-07-16 株式会社日立製作所 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム
JP2005250839A (ja) * 2004-03-04 2005-09-15 Nomura Research Institute Ltd 耐障害性システム
JP4462024B2 (ja) * 2004-12-09 2010-05-12 株式会社日立製作所 ディスク引き継ぎによるフェイルオーバ方法
JP4701929B2 (ja) 2005-09-02 2011-06-15 株式会社日立製作所 ブート構成変更方法、管理サーバ、及び計算機システム
JP5068056B2 (ja) * 2006-10-11 2012-11-07 株式会社日立製作所 障害回復方法、計算機システム及び管理サーバ
JP4923990B2 (ja) * 2006-12-04 2012-04-25 株式会社日立製作所 フェイルオーバ方法、およびその計算機システム。

Also Published As

Publication number Publication date
JP2008293245A (ja) 2008-12-04
US20080294933A1 (en) 2008-11-27
US7779297B2 (en) 2010-08-17

Similar Documents

Publication Publication Date Title
JP4842210B2 (ja) フェイルオーバ方法、計算機システム、管理サーバ及び予備サーバの設定方法
US7802127B2 (en) Method and computer system for failover
JP4487920B2 (ja) ブート制御方法および計算機システム並びにその処理プログラム
US8069368B2 (en) Failover method through disk takeover and computer system having failover function
US9912535B2 (en) System and method of performing high availability configuration and validation of virtual desktop infrastructure (VDI)
US20090132683A1 (en) Deployment method and system
JP2016508647A (ja) マルチコアアーキテクチャでのリソース分離を支援するための方法およびシステム
US9639486B2 (en) Method of controlling virtualization software on a multicore processor
JP5149732B2 (ja) 仮想計算機システム
JP5476481B2 (ja) ノード故障の対処
JP5316616B2 (ja) 業務引き継ぎ方法、計算機システム、及び管理サーバ
JP5267544B2 (ja) ディスク引き継ぎによるフェイルオーバ方法
JP6035993B2 (ja) 情報処理装置、装置管理方法および装置管理プログラム
JP5321658B2 (ja) フェイルオーバ方法、およびその計算機システム。
US20220357976A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium storing information processing program
WO2016110951A1 (ja) 計算機システム、ライセンス管理方法、及び、管理計算機
JP4877368B2 (ja) ディスク引き継ぎによるフェイルオーバ方法
WO2014045453A1 (ja) 環境変数保存方法、情報処理装置およびプログラム
JP2012160194A (ja) 計算機、仮想化機構、および仮想計算機の起動管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111005

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees