JP6090335B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6090335B2
JP6090335B2 JP2014557217A JP2014557217A JP6090335B2 JP 6090335 B2 JP6090335 B2 JP 6090335B2 JP 2014557217 A JP2014557217 A JP 2014557217A JP 2014557217 A JP2014557217 A JP 2014557217A JP 6090335 B2 JP6090335 B2 JP 6090335B2
Authority
JP
Japan
Prior art keywords
system board
partition
information
configuration
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014557217A
Other languages
English (en)
Other versions
JPWO2014112042A1 (ja
Inventor
義明 吉川
義明 吉川
郁朗 藤原
郁朗 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2014112042A1 publication Critical patent/JPWO2014112042A1/ja
Application granted granted Critical
Publication of JP6090335B2 publication Critical patent/JP6090335B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/2025Failover techniques using centralised failover control functionality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/2028Failover techniques eliminating a faulty processor or activating a spare
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/203Failover techniques using migration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2041Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with more than one idle spare processing component
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2048Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share neither address space nor persistent storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Description

本発明は、情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラムに関する。
基幹システムで運用されるサーバでは、高い可用性や柔軟なリソース運用が要求される。例えば、システムの高可用性を実現するための機能の一つとしてReservedSB(System Board)機能がある。
ReservedSB機能を有するサーバには、筐体内に予備のシステムボード(System Board:SB)が実装されている。ReservedSB機能は、運用中のシステムボードに障害が発生した場合、障害が発生したシステムボードを自立的に切り離し、予備のシステムボードを短時間で組み込むことで、障害が発生したシステムボードを新しいシステムボードに切替える。ここで、システムボードとはCPU(Central Processing Unit)とメモリを搭載しているボードである。また、障害発生時に切替え先の対象となる予備のシステムボードをReservedSBと呼ぶ。
ReservedSB機能を利用すると、システムボード上でハードウェア障害が発生した場合、システムボード資源が減少せず、障害発生前と同じ状態での早期復旧が可能である。
また、可用性を向上させる技術として、1つの筐体内を複数の論理システムに分割し複数のサーバを格納しているように取り扱う技術がある。具体的には、1つの筐体内をシステムボード及びI/O(Input/Output)ユニットの組(以下では、この組を「パーティション」と呼ぶ。)に分割し、分割した各パーティションを1つ論理システムとして独立して動作させる機能である。各パーティションにはOS(Operation System)及びアプリケーションなどのソフトウェア資源、並びに、システムボード及びI/Oユニットなどのハードウェア資源が含まれる。ここで、1つのパーティションの中には、複数のシステムボードが含まれていてもよいし、複数のI/Oユニットが含まれていてもよい。また、I/Oユニットには、ハードディスク及びネットワークカードなどが含まれる。このように、パーティション構成を採用しておけば、あるパーティションに障害が発生しても他のパーティションには影響が及ばない。
さらに、上述したパーティション構成とReservedSB機能とを組み合わせることで、より可用性の高いシステムを構築することが考えられる。
例えば、ある1つの筐体内部に複数のパーティションを作成して運用系とし、さらにパーティションとして構成されていないシステムボードやI/Oユニットを待機系とする。ここで、運用系のシステムボードに切替え先となるシステムボードであるReservedSBを割り当てて置く。このReservedSBは、待機系のシステムボードでもよいし、ReservedSBが割り当てられるシステムボードを含むパーティション以外の他のパーティションに複数のシステムボードが含まれる場合、その内の一つのシステムボードであってもよい。そして、あるパーティションのシステムボードに故障が発生した場合、その故障したシステムボードに割り当てられているReservedSBに切替えてパーティションの運用を継続することが考えられる。ここで、例えば、ReservedSBが他のパーティションに含まれるシステムボードの場合には、ReservedSBをそのパーティションから分離させ、故障が発生したシステムボードと切替えて運用を継続することが考えられる。
このように、パーティション構成とReservedSB機能とを組み合わせたシステムにおいては、システムボードの切替えが発生した後、故障したシステムボードの保守交換を行った場合、障害発生前のパーティションの構成に復帰させることが考えられる。これには、次のような理由がある。まず、当初設定した運用ポリシーの構成でシステムを運用させることが好ましい場合がある。例えば、複数の筐体で同じ運用ポリシーでパーティションを構成している場合に、故障が発生した筐体だけ構成が異なってしまっては、管理上の不便が生じてしまうおそれがある。また、ReservedSBとして使用する予備のシステムボードは、短時間での復旧を実現するための一次的な代用品であり、継続して使用し続けるには十分なスペックが無いことが考えられる。さらには、他のパーティションのシステムボードに切替えを行った場合には、他のパーティションのパフォーマンスが下がった状態が継続してしまうおそれがある。
システム構成の変更に関する従来技術として、起動時からシステム構成に変更があった場合、変更後のシステム構成が過去に採用した構成であれば、システム構成に関する情報を再度生成せずに過去の情報を利用する技術がある(例えば、特許文献1参照)。
特開平5−108534号公報
しかしながら、単にパーティション構成とReservedSB機能とを組み合わせた場合、ReservedSBの設定情報やパーティションの構成情報は、システムボードの切替えが発生した後に残らない。そのため、管理者はシステムボードの切替え発生後、故障したシステムボードの修理を行い、障害発生前のパーティションの構成に復帰させるために次のような作業を行っていた。まず、管理者は、システムイベントログを解析するなどしてReservedSBの設定情報やパーティションの構成情報を取得する。そして、取得した情報を用いて、管理者は、修理を行ったシステムボードを元のパーティションに組み込む。さらに、管理者は、障害発生前の設定状態になるようにReservedSBの再設定を行う。以上の作業を行うことで、障害発生前の状態に戻すことができる。
このように、システムイベントログの解析、パーティションの再構成及びReservedSBの再設定を行うことは煩雑であり、また、作業過程において人為的ミスが発生するおそれもある。
また、システム構成に関する情報として過去の情報を利用する従来技術ではパーティションの構成などは考慮されておらず、障害復旧後にパーティションの再構成及びResevedSBの再設定を自動で行うことは困難である。
開示の技術は、上記に鑑みてなされたものであって、パーティションを有するシステムを障害発生前の構成に自動的に戻す情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラムを提供することを目的とする。
本願の開示する情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラムは、一つの態様において、構成部は、一つの筐体の中に搭載された、CPU及びメモリを搭載するシステムボードと、I/Oデバイスを搭載するI/Oユニットとの組合せであるパーティションの構成及び前記パーティションに対する予備のシステムボードの割り当てを行う。切替部は、障害が発生した障害発生システムボードがある場合に、前記障害発生システムボードを、前記障害発生システムボードを含むパーティションに割り当てられた予備のシステムボードに切替え、且つ、前記障害発生システムボードと切替先の前記予備のシステムボードとの対応を示す切替後構成情報を生成する。再設定部は、自己による前記パーティションの構成及び前記予備のシステムボードの割り当てを示す前記障害の発生前のパーティションの障害前構成情報を記憶し、前記切替部によるシステムボードの切替えが行われた後、前記障害発生システムボードが復旧した場合、前記切替後構成情報に含まれる前記障害発生システムボードの情報と切替先の前記予備のシステムボードの情報の中に、復旧した前記障害発生システムボードの情報及び復旧した前記障害発生システムボードに対応する前記予備のシステムボードの情報が存在する場合、復旧した前記障害発生システムボードが前記予備のシステムボードに切り替わっていると判定し、前記障害前構成情報を基に、前記パーティションの構成及び前記予備のシステムボードの割り当てを再設定する。
本願の開示する情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラムの一つの態様によれば、パーティションを有するシステムを障害発生前の構成に自動的に戻すことができるという効果を奏する。
図1は、実施例に係る情報処理システムの構成図である。 図2は、サーバ管理装置のブロック図である。 図3は、パーティション構成の一例の図である。 図4は、パーティション構成情報の一例の図である。 図5は、ReservedSB機能によるシステムボードの切替えを説明するための図である。 図6は、切替後情報の一例の図である。 図7は、2つのシステムボードに障害が発生した場合の切替後情報の一例の図である。 図8は、実施例に係る情報処理システムにおけるパーティション構成及びリザーブSBの設定のフローチャートである。 図9は、実施例に係る情報処理システムにおけるReservedSB機能の処理のフローチャートである。 図10は、実施例に係る情報処理システムにおける障害復旧時の処理のフローチャートである。 図11は、サーバ管理装置のハードウェア構成図である。
以下に、本願の開示する情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラムが限定されるものではない。
図1は、実施例に係る情報処理システムの構成図である。図1に示すように、本実施例に係る情報処理システムは、サーバ管理装置1及びサーバ2を有する。ここで、本実施例では、サーバ2を1台のみ記載しているが、サーバ管理装置1は、複数のサーバ2を同時に管理することも可能である。
サーバ2は、システムボード201〜204、I/O(Input/Output)スイッチ220及びIOU(Input Output Unit)211〜214を有している。
システムボード201〜204は、それぞれ、CPU(Central Processing Unit)21及びメモリ22を有している。図中では、分かり易いように、システムボードを「SB」として表している。本実施例では、システムボード201〜204のそれぞれは、複数のCPU21及びメモリ22を有している。また、本実施例では、サーバ2の中に4つのシステムボード201〜204が搭載されている構成で説明するが、システムボードの数は複数であればこれに限らない。以下では、システムボード201〜204のそれぞれを区別しない場合、単に「システムボード200」と表す。
IOU211〜214は、ハードディスクドライブやPCI(Peripheral Component Interconnect)カードなどのI/Oデバイス23を搭載した装置である。以下では、IOU211〜214のそれぞれを区別しない場合、単に「IOU210」と表す。
I/Oスイッチ220は、システムボード200とIOU210とを接続するスイッチである。I/Oスイッチ220が特定のシステムボードと特定のIOUとを接続するように切り替わることで、特定のシステムボード上のCPU21と接続された特定のIOU上のI/Oデバイス23とがバスで接続される。これにより、CPU21は、接続先のIOU上のI/Oデバイス23を利用することができるようになる。例えば、I/Oスイッチ220が、システムボード201とIOU211とを接続するように切り替わった場合、システムボード201上のCPU21は、IOU211上のI/Oデバイス23を利用することが可能となる。
サーバ管理装置1は、管理者からの指示によるサーバ2の構成や、障害発生時のサーバ2の障害復旧などといったサーバ2の管理を行う。サーバ管理装置1は、サーバ2に搭載された各システムボード200、I/Oスイッチ220及び各IOU210のそれぞれと接続されている。ただし、図1では、分かり易いように接続をまとめて、サーバ管理装置1とサーバ2とが接続しているように表している。次に、図2を参照して、サーバ管理装置1について詳細に説明する。図2は、サーバ管理装置のブロック図である。
図2に示すように、本実施例に係るサーバ管理装置1は、再設定部11、監視部12、切替部13、構成部14及び記憶部15を有している。
記憶部15は、不揮発性の記憶部であり、例えば、NVRAM(Non Volatile Random Access Memory)などである。
構成部14は、管理者からパーティション構成情報、リザーブSB情報及び自動復旧の指示の入力を受ける。例えば、管理者は、サーバ管理装置1のユーザインタフェース(不図示)又はネットワークを介してサーバ管理装置1に接続された端末を用いてパーティション構成情報、リザーブSB情報及び自動復旧の指示の入力を行う。パーティション構成情報には、システムボード200のうちのどれとIOU210のうちのどれとを組とするかという情報が含まれている。また、リザーブSB情報には、各パーティションに含まれるシステムボード200が故障したときのReservedSB機能により切替え先となるシステムボード(以下では、「リザーブSB」という。)の情報が含まれている。さらに、自動復旧の指示には、ReservedSB機能を用いてシステムボード200の切替えが発生した後、障害が発生したシステムボード200を修理又は交換などの障害対応を行った場合に、切替え前の構成に戻すか否かの指示が含まれる。そして、構成部14は、管理者から指示されたパーティション構成及び指定されたリザーブSBを有するように、システムボード200、I/Oスイッチ220及びIOU210を構成する。さらに、自動復旧を行う指示を受けた場合、構成部14は、記憶部15における自動復旧フラグをオンにする。例えば、自動復旧フラグとして、記憶部15における所定のビットを用いてもよい。さらに、構成部14は、パーティションの構成及びリザーブSBの設定の情報を切替部13に通知する。
例えば、本実施例では、構成部14は、パーティションの構成としてシステムボード201とIOU211とが1つのパーティションを構成し、システムボード202とIOU212と1つのパーティションを構成するというパーティション構成情報の入力を受ける。また、構成部14は、リザーブSB情報として、システムボード203及びシステムボード204を、パーティション301のシステムボード201のリザーブSBとする情報の入力を受ける。さらに、構成部14は、リザーブSB情報として、システムボード203及びシステムボード204をパーティション302のシステムボード202のリザーブSBとする情報の入力を受ける。
図3は、パーティション構成の一例の図である。この場合、構成部14は、図3に示すように、システムボード201及びIOU211でパーティション301を構成する。例えば、構成部14は、システムボード201とIOU211とを接続するようにI/Oスイッチ220を制御する。さらに、構成部14は、システムボード201のCPU21に対して、IOU211のI/Oデバイス23のみを使用するように指示する。同様に、構成部14は、システムボード202及びIOU212でパーティション302を構成する。ここで、システムボード203及び204、並びに、IOU213及び214はパーティションの構成要素として割り当てられていない。パーティションに割り当てられていないシステムボードやIOUは処理を行わない。この状態では、システムボード203及び204、並びに、IOU213及び214は、運用に用いられない機器である。すなわち、パーティション301及び302に割り当てられた各機器は実際の運用に用いられる運用系であるのに対して、待機系400で表される一点鎖線で囲われた機器は待機系の機器となる。待機系400に含まれる機器は、例えば、運用系の機器が故障した場合等に、故障した機器の代替として動作することができる。また、構成部14は、システムボード203及びシステムボード204が、システムボード201及びシステムボード202のリザーブSBであることを記憶しておく。以下では、パーティション301及びパーティション302を区別しない場合、単に「パーティション300」と表す。
さらに、構成部14は、管理者から入力されたパーティション構成情報を用いて予め決められたフォーマットに従いテーブルを作成し、記憶部15にパーティション構成情報151として格納する。例えば、本実施例では、構成部14は、図4のテーブル500を作成し、作成したテーブル500をパーティション構成情報151として記憶部15に格納する。図4は、パーティション構成情報の一例の図である。
ここで、図4で示されるパーティション構成情報について説明する。テーブル500の左端の欄に各パーティションの情報を表している。ここで、パーティション301は、図3におけるシステムボード201及びIOU211を含むパーティションである。また、パーティション302は、図3におけるシステムボード202及びIOU212を含むパーティションである。また、フリーは図3における待機系400を表している。そして、構成部14は、各パーティション又はフリーの行の中で、それらを構成するシステムボード及びIOUの欄を「on」とする。例えば、パーティション301はシステムボード201及びIOU211を含むパーティションであるので、構成部14は、システムボード201及びIOU211を示す欄501及び欄502を「on」とする。さらに、構成部14は、各パーティションの行の中で、そのパーティションに含まれるシステムボードのリザーブSBとなっているシステムボードの欄に「R」を記載する。例えば、パーティション301はシステムボード203及びシステムボード204がリザーブSBとなっているので、構成部14は、システムボード203及びシステムボード204を示す欄503及び欄504に「R」を記載する。また、待機系400には、システムボード203、システムボード204、IOU213及びIOU214が含まれるので、構成部14は、フリーの行の中でシステムボード203、システムボード204、IOU213及びIOU214を示す欄を「on」とする。構成部14は、このようにして構成したテーブル500を記憶部15にパーティション構成情報151として格納する。
ここで、ReservedSB機能におけるパーティション構成の設定ルールの一例について説明する。1つ目のルールは、パーティション内に1つ以上のシステムボードを含むというルールである。2つ目のルールは、パーティション内に1つ以上のIOUを含むというルールである。本実施例では、以上の2つのルールに従いパーティションを構成している。
また、ReservedSB機能におけるリザーブSBの設定ルールの一例について説明する。1つ目のルールは、あるシステムボードに対するリザーブSBとしては、そのシステムボードが属しているパーティションに属していないシステムボードならどれでもリザーブSBにすることができるというルールである。2つ目のルールは、1つのリザーブSBを複数のパーティションのリザーブSBとすることができるというルールである。3つ目のルールは、1つのパーティションに対して複数のリザーブSBを設定することができるというルールである。本実施例では、以上の3つのルールに従いリザーブSBを設定している。
図2に戻って説明を続ける。切替部13は、パーティション構成及びリザーブSBの設定の情報を構成部14から受信する。切替部13は、システムボード200のいずれかに障害が発生した場合、障害検出の通知を監視部12から受ける。そして、切替部13は、ReservedSB機能により、障害が発生したシステムボード200をパーティション300から切り離し、代わりにそのシステムボード200のリザーブSBをそのパーティション300の中に組み込み、新たにパーティション300を生成する。この時、切替部13は、故障したシステムボード200を含むパーティション300のリブートを行い、新しいパーティション300の構成で起動させる。ここで、本実施例では、切替部13は、構成部14から受信したパーティション構成及びリザーブSBの設定の情報を用いてReservedSB機能によるシステムボードの切替えを行っているが、パーティション構成情報151を用いてもよい。
ReservedSB機能によりシステムボード200の切替えが発生する条件としては、例えば以下のような3つの条件がある。システムボードが故障した場合。システムボード上のCPUが1つでも故障した場合。システムボード上のメモリが1枚でも故障した場合。本実施例では、上述した3つの条件の場合に、システムボードの切替えが発生する。
さらに、ReservedSB機能によりシステムボード200の切替えのルールの一例としては、以下のようなものがある。
まず、あるシステムボードが複数のパーティションのリザーブSBとして設定されており、複数のパーティションが同時に故障した場合には、若番のパーティションのシステムボードを優先して切替える。ここで、パーティションには番号が振られているものとし、本実施例では、図3におけるパーティションの符号がパーティションの番号にあたるものとする。また、あるパーティション内の複数のシステムボードが故障した場合、若番のシステムボードを優先して切替える。ここで、システムボードにはシステムボード番号が振られているものとし、本実施例では、図3における各システムボードの符号がシステムボード番号にあたるものとする。
また、切替え先のシステムボードの決定は以下のような方法で行われる。あるパーティションに複数のリザーブSBを設定した場合、どのパーティションにも属さないリザーブSBがある場合には、その中のリザーブSB番号の大きいリザーブSBを優先して切替える。ここで、本実施例では、リザーブSB番号は、システムボード番号を用いるものとする。また、あるパーティションに複数のリザーブSBを設定した場合、パーティションに組み込まれたリザーブSBしか存在しない場合、その中でパーティションの電源がオフになっているパーティションの中のリザーブSB番号の大きいリザーブSBを優先して切替える。もし、電源がONのパーティションしかない場合、その中でリザーブSB番号の大きいリザーブSBを優先して切替える。
ここで、図5を参照して、システムボード202に障害が発生した場合について説明する。図5は、ReservedSB機能によるシステムボードの切替えを説明するための図である。図5の左側は故障発生時のサーバ2の状態を表しており、図5の右側はReservedSB機能によるシステムボードの切替えが行われた後のサーバ2の状態を表している。図5の右側のようにシステムボード202に故障が発生すると、切替部13は、パーティション302をリブートさせるため、パーティション302を一度シャットダウンする。そして、切替部13は、パーティション302の構成を一度解除する。そして、切替部13は、システムボード202のリザーブSBとしてシステムボード203及びシステムボード204が割り当てられていることを確認する。次に、切替部13は、システムボード203及びシステムボード204のうちSB番号の大きいシステムボード204を切替え先のシステムボードとして選択する。そして、切替部13は、システムボード204とIOU212とを組としてパーティション302を再度作成し、ブートさせる。具体的には、切替部13は、システムボード204及びIOU212を接続するようにI/Oスイッチ220を切り替え、さらに、システムボード204に対してIOU212のI/Oデバイス23を使用するように指示してブートさせる。これにより、図5の右側のように、パーティション302は、システムボード202が切り離され、システムボード204及びIOU212を含むパーティションとして運用が継続される。
さらに、切替部13は、システムボード200の切替によるパーティション300の構成変更を行った後、自動復旧フラグを確認する。そして、自動復旧フラグがオンになっていれば、切替部13は、切替え後の各ボードの状態を示す情報である切替後情報152を作成し、作成した切替後情報152を記憶部15に格納する。切替後情報152は、例えば、図6で示すテーブル600のような形式で保存される。図6は、切替後情報の一例の図である。
ここで、図6で示される切替後情報について説明する。切替部13は、記憶部15に格納してあるパーティション構成情報151の複製を作成する。そして、切替部13は、切替後情報152の複製のうち障害が発生したシステムボード200を含むパーティション300の行の中の、障害が発生したシステムボード200の欄に「failed」と記載する。さらに、切替部13は、障害が発生したシステムボード200のフリーに対応する欄を「on」にする。また、切替部13は、障害が発生したシステムボード200を含むパーティション300の行の中の、切替先としたシステムボード200の欄を「on」にする。そして、切替部13は、切替先としたシステムボード200の他のシステムボード200に対するリザーブSB設定を表す「R」の記載を削除する。
例えば、パーティション302のシステムボード202に障害が発生し、システムボード204に切り替わった場合で説明する。切替部13は、図4のテーブル500の複製を作成し、図6のテーブル600のようにパーティション302のシステムボード202の欄601に「failed」を記載する。さらに、切替部13は、システムボード202のフリーの欄602を「on」にする。また、切替部13は、パーティション302のシステムボード204の欄603を「on」にする。さらに、切替部13は、システムボード204のパーティション301に対応する欄604を削除し、システムボード204のパーティション301及びパーティション302に対するリザーブSBとしての設定を解除する。そして、切替部13は、このようにして作成したテーブル600を切替後情報152として記憶部15に格納する。
監視部12は、システムボード200における障害の発生を監視している。また、監視部12は、障害が発生したシステムボード200の修理又は交換などの障害対応が行われ正常な状態に戻ったかを監視している。以下では、障害対応が行われ障害が発生したシステムボード200が正常な状態に戻ることを「障害復旧」と言う。
監視部12は、システムボード200に障害が発生すると、障害の通知と共に障害が発生したシステムボード200の情報を構成部14へ送る。
また、監視部12は、システムボード200が障害復旧すると、障害復旧の通知と共に、障害復旧がなされたシステムボード200の情報を再設定部11へ送信する。
再設定部11は、障害復旧の通知を監視部12から受ける。そして、再設定部11は、記憶部15における自動復旧フラグがオンになっているか否かを確認する。
自動復旧フラグがオンの場合、再設定部11は、記憶部15に格納されている切替後情報152を確認する。そして、再設定部11は、切替後情報152を用いて、障害復旧がなされたシステムボード200がReservedSB機能によってリザーブSBに切替えられたシステムボードか否かを判定する。例えば、切替後情報152が図6のテーブル600のフォーマットの場合、再設定部11は、障害復旧がなされたシステムボード200の列にfailedの記載があれば、システムボード200がリザーブSBに切替えられたシステムボードであると判定する。これに対して、障害復旧がなされたシステムボード200の列にfailedの記載がない場合、再設定部11は、システムボード200がリザーブSBに切替えられたシステムボードでないと判定する。
次に、障害復旧がなされたシステムボード200がリザーブSBに切替えられたシステムボードの場合、再設定部11は、以下の動作を行う。再設定部11は、障害復旧がなされたシステムボード200がリザーブSBに切替えられたシステムボードであることを示す情報を切替後情報152から削除する。具体的には、再設定部11は、障害復旧がなされたシステムボード200の列からfailedの記載を削除する。次に、再設定部11は、他のリザーブSBに切替えられたシステムボード200で障害復旧がなされていないシステムボードがあるか否かを判定する。具体的には、再設定部11は、failedが記載されたシステムボードが切替後情報152にあるか否かを判定する。failedが記載されたシステムボードがない場合、再設定部11は、リザーブSBに切替えられたシステムボード200全てが障害復旧されたと判定する。
リザーブSBに切替えられたシステムボード200全てが障害復旧されている場合、再設定部11は、パーティション構成情報151からリザーブSBへの切替えが行われる前の構成情報を取得する。そして、再設定部11は、取得したパーティション構成及びリザーブSBの設定になるように、システムボード200、I/Oスイッチ220及びIOU210を再構成する。これにより、サーバ2のパーティション構成及びリザーブSBの設定は、リザーブSBへのシステムボードの切替えが発生する前の状態に復旧する。
一方、リザーブSBに切替えられたシステムボード200の中で障害復旧されていないものがある場合、再設定部11は、残りのリザーブSBに切替えられたシステムボード200の障害復旧がなされるまで待機する。すなわち、リザーブSBへのシステムボードの切替えが発生する前の状態への復旧は行われず、リザーブSBへ切替えられたパーティション300はそのまま運用が継続される。
パーティション構成及びリザーブSBの設定の後、再設定部11は、切替後情報152を削除する。パーティション構成及びリザーブSBの設定において、再設定部11は、再構成を行うパーティション300のリブートを行う。
例えば、切替後情報152が図6のテーブル600の状態の場合、システムボード202の障害復旧がなされると、再設定部11は、欄601のfailedの記載を削除する。この場合、他にfailedの記載は無いため、再設定部11は、リザーブSBに切替えられたシステムボード200の全てが障害復旧されていると判定する。そして、再設定部11は、図4のテーブル500を参照し、パーティション302からシステムボード204を切り離し、システムボード202とIOU212とでパーティション302を再構成する。さらに、再設定部11は、システムボード204をパーティション301及びパーティション302のリザーブSBとして再度設定し直す。
ここで、以上では、システムボード202のみに障害が発生した場合で説明したが、障害復旧を行う前に他のシステムボードに障害が発生するなど、複数のシステムボードに障害が発生することも考えられる。そこで、複数のシステムボードに障害が発生した場合の動作について説明する。例えば、システムボード202に障害が発生し切替後情報152が図6のテーブル600の状態で、さらにシステムボード201に障害が発生した場合で説明する。
その場合、切替部13は、図6のテーブル600を図7のように修正する。図7は、2つのシステムボードに障害が発生した場合の切替後情報の一例の図である。切替部13は、図7のテーブル600のように、パーティション301のシステムボード201の欄605に「failed」を記載する。さらに、切替部13は、システムボード201のフリーの欄606を「on」にする。また、切替部13は、パーティション301のシステムボード203の欄607を「on」にする。さらに、切替部13は、システムボード203のパーティション302に対応する欄608を削除し、システムボード203のパーティション301及びパーティション302に対するリザーブSBとしての設定を解除する。そして、切替部13は、このようにして作成した図7に示すテーブル600を切替後情報152として記憶部15に格納する。
切替後情報152が図7のテーブル600の状態で、システムボード202の障害復旧がなされた場合、再設定部11は、システムボード202のfailedの記載をテーブル600から削除する。しかし、システムボード201のfailedの記載がまだ残っている。そこで、再設定部11は、システムボード201の障害復旧がなされるまで待機する。すなわち、パーティション302は、システムボード202の組み込みを行うことなく、システムボード204とIOU212とを含む状態で運用が継続される。その後、システムボード201の障害復旧がなされた場合、再設定部11は、システムボード201のfailedの記載をテーブル600から削除する。これにより、テーブル600にはfailedの記載が全て無くなり、リザーブSBに切替えられたシステムボードは全て障害復旧がなされたことになる。この状態になると、再設定部11は、図4のテーブル500を参照し、パーティション302からシステムボード204を切り離し、システムボード202とIOU212とでパーティション302を再構成する。また、再設定部11は、パーティション301からシステムボード203を切り離し、システムボード201とIOU211とでパーティション301を再構成する。さらに、再設定部11は、システムボード203及びシステムボード204をパーティション301及びパーティション302のリザーブSBとして再度設定し直す。
このように、本実施例に係るサーバ管理装置1は、リザーブSBに切替えられたシステムボードの全ての障害復旧がなされた後に、パーティション構成及びリザーブSBの設定を復旧する。
次に、図8を参照して、本実施例に係る情報処理システムにおけるパーティション構成及びリザーブSBの設定の流れについて説明する。図8は、実施例に係る情報処理システムにおけるパーティション構成及びリザーブSBの設定のフローチャートである。
構成部14は、管理者からの入力に従い、パーティションの構成及びリザーブSBの設定を実施する(ステップS101)。
次に、構成部14は、自動復旧機能を使用するか否かを管理者からの入力を基に判定する(ステップS102)。
自動復旧機能を使用する場合(ステップS102:肯定)、構成部14は、自動復旧フラグをオンにする(ステップS103)。
次に、構成部14は、既存のパーティション構成情報151が記憶部15に格納されているか否かを判定する(ステップS104)。既存のパーティション構成情報151が存在しない場合(ステップS104:否定)、構成部14は、パーティション構成情報151を作成し、記憶部15に格納する(ステップS105)。
これに対して、既存のパーティション構成情報151が存在する場合(ステップS104:肯定)、構成部14は、管理者に指示された構成でパーティション構成情報151を更新する。さらに、切替後情報152が記憶部15に格納されている場合には、構成部14は、その切替後情報152を削除する(ステップS106)。
一方、自動復旧機能を使用しない場合(ステップS102:否定)、構成部14は、自動復旧フラグをオフに設定する(ステップS107)。次に、構成部14は、記憶部15にパーティション構成情報151や切替後情報152が格納されていれば、それらを削除する(ステップS108)。
その後、サーバ2は、設定されたパーティション構成で運用を継続する(ステップS109)。
次に、図9を参照して、本実施例に係る情報処理システムにおけるReservedSB機能の処理の流れについて説明する。図9は、実施例に係る情報処理システムにおけるReservedSB機能の処理のフローチャートである。
切替部13は、障害発生の通知を監視部12から受けて、ReservedSB機能を用いて、障害が発生したシステムボード200を含むパーティション300の構成を変更してリブートする(ステップS201)。この時、切替部13は、ReservedSB機能を用いて、障害が発生したシステムボード200を対応するリザーブSBへ切り替える。
そして、切替部13は、自動復旧フラグがオンになっているか否かを判定する(ステップS202)。自動復旧フラグがオフの場合(ステップS202:否定)、サーバ2は、ステップS206へ進む。
これに対して、自動復旧フラグがオンの場合(ステップS202:肯定)、切替部13は、切替後情報152が記憶部15にすでに存在しているか否かを判定する(ステップS203)。切替後情報152が存在していない場合(ステップS203:否定)、切替部13は、障害が発生したシステムボード200及び切替先となったリザーブSBの情報を含む切替後情報152を作成し、作成した切替後情報152を記憶部15に保存する(ステップS204)。
一方、切替後情報152が既に存在している場合(ステップS203:肯定)、切替部13は、既にある情報に加えて、今回障害が発生したシステムボード200及び切替先となったリザーブSBの情報を含む切替後情報152を作成し、作成した切替後情報152を記憶部15に保存する(ステップS205)。
その後、サーバ2は、ReservedSB機能によりシステムボードが切替えられたパーティション構成で運用を継続する(ステップS206)。
ここで、図9は、障害復旧が行われたときに行われる一連の処理であり、障害復旧が何度か行われる場合には、図9のフローで示される処理が都度実行される。
次に、図10を参照して、本実施例に係る情報処理システムにおける障害復旧時の処理の流れについて説明する。図10は、実施例に係る情報処理システムにおける障害復旧時の処理のフローチャートである。
監視部12は、システムボード200の障害復旧を検出する(ステップS301)。そして、監視部12は、障害復旧を再設定部11へ通知する。
再設定部11は、自動復旧フラグがオンか否かを判定する(ステップS302)。自動復旧フラグがオフの場合(ステップS302:否定)、サーバ2は、ステップS311へ進む。
これに対して、自動復旧フラグがオンの場合(ステップS302:肯定)、再設定部11は、記憶部15に格納されている切替後情報152を確認する(ステップS303)。そして、再設定部11は、障害復旧がなされたシステムボードがfailedか否か、すなわちリザーブSBへ切り替わったシステムボード200か否かを判定する(ステップS304)。障害復旧がなされたシステムボード200がfailedでない場合(ステップS304:否定)、サーバ2は、ステップS311へ進む。
これに対して、障害復旧がなされたシステムボード200がfailedの場合(ステップS304:肯定)、再設定部11は、切替後情報152の中の障害復旧がなされたシステムボード200のfailedを削除する(ステップS305)。
次に、再設定部11は、切替後情報152にfailedのシステムボードがあるか否かを判定する(ステップS306)。failedのシステムボードがある場合(ステップS306:肯定)、サーバ2は、ステップS311へ進む。
これに対して、failedのシステムボードがない場合(ステップS306:否定)、再設定部11は、管理者に自動復旧を実行するか否かを確認する(ステップS307)。例えば、再設定部11は、サーバ2のモニタなどに自動復旧の実行の確認メッセージを表示させる。
再設定部11は、管理者からの指示を受けて、自動復旧を実行するか否かを判定する(ステップS308)。自動復旧を実行しない場合(ステップS308:否定)、再設定部11は、ステップS310へ進む。
一方、自動復旧を実行する場合(ステップS308:肯定)、再設定部11は、パーティション構成情報151を用いて、ReservedSB機能によるシステムボード切替え実行前のパーティション構成に戻す(ステップS309)。
その後、再設定部11は、切替後情報152を記憶部15から削除する(ステップS310)。
サーバ2は、この時点のパーティション構成で運用を継続する(ステップS311)。
以上に説明したように、本実施例に係るサーバ管理装置は、ReservedSB機能が動作しパーティションの構成が変わった後に、障害が発生したシステムボードの障害復旧がなされた場合、障害発生前の状態にパーティションの構成を戻すことができる。すなわち、本実施例に係るサーバ管理装置は、当初設定した運用ポリシーの構成に自動的に戻すことができる。これにより、障害発生前の状態にパーティションの構成を戻すための管理者の手間を軽減することができ、且つ、人為的ミスを軽減して正確にパーティションの構成を戻すことが可能となる。
また、以上の説明では、リザーブSBに切り替わった全てのパーティションにおいて障害が発生したシステムボードの障害復旧が完了した後に、パーティションの構成を戻すことを行っている。これに対して、他の方法として、システムボードの障害復旧が完了したパーティション毎に構成を戻すとしてもよい。例えば、図3において、パーティション301とパーティション302の双方に障害が発生している状態で、パーティション301のシステムボードの交換が行われた場合に、パーティション301のみを障害発生前の状態に戻してもよい。そして、その後、パーティション302のシステムボードの交換が行われたときに、パーティション302を障害発生前の状態に戻すとしてもよい。この場合、構成部14は、各障害発生時におけるパーティション情報を順次記憶しておき、システムボードの障害復旧が行われた場合に、対応する障害発生時のパーティション情報を用いてパーティション構成を戻すなどの処理を行ってもよい。
(ハードウェア構成)
次に、図11を参照して、サーバ管理装置1のハードウェア構成について説明する。図11は、サーバ管理装置のハードウェア構成図である。
サーバ管理装置1は、LAN(Local Area Network)ポート901、メモリ902、CPU903、COM(COMmunication Port)ポート904、NVRAM905、ハードディスク906及びバッテリ907を有している。
バッテリ907は、NVRAM905に電力を供給する。
LANポート901、メモリ902、COMポート904及びNVRAM905はバスでCPU903に接続されている。
LANポート901は、ネットワークのインタフェースであり、ネットワークケーブルを介してサーバ2と接続する。サーバ管理装置1は、LANポート901を介してサーバ2との情報の送受信を行う。
COMポート904は、スキャナやモデム等を接続するインタフェースである。
NVRAM905は、不揮発性のRAMであり、図2に例示した記憶部15などの機能を実現する。
CPU903、メモリ902及びハードディスク906は、図2に例示した再設定部11、監視部12及び構成部14などの機能を実現する。
具体的には、ハードディスク906は、再設定部11、監視部12、切替部13及び構成部14などの機能を実現するプログラム等の各種プログラムを格納している。そして、CPU903は、ハードディスク906から各種プログラムを読み出し、メモリ902上に展開して、上述の各機能を実現するプロセスを生成する。
1 サーバ管理装置
2 サーバ
11 再設定部
12 監視部
13 切替部
14 構成部
15 記憶部
21 CPU
22 メモリ
23 I/Oデバイス
151 パーティション構成情報
152 切替後情報
201〜204 システムボード
211〜214 IOU
220 I/Oスイッチ

Claims (2)

  1. 一つの筐体の中に搭載された、CPU及びメモリを搭載するシステムボードと、I/Oデバイスを搭載するI/Oユニットとの組合せであるパーティションの構成及び前記パーティションに対する予備のシステムボードの割り当てを行う構成部と、
    障害が発生した障害発生システムボードがある場合に、前記障害発生システムボードを、前記障害発生システムボードを含むパーティションに割り当てられた予備のシステムボードに切替え、且つ、前記障害発生システムボードと切替先の前記予備のシステムボードとの対応を示す切替後構成情報を生成する切替部と、
    自己による前記パーティションの構成及び前記予備のシステムボードの割り当てを示す前記障害の発生前のパーティションの障害前構成情報を記憶し、前記切替部によるシステムボードの切替えが行われた後、前記障害発生システムボードが復旧した場合、前記切替後構成情報に含まれる前記障害発生システムボードの情報と切替先の前記予備のシステムボードの情報の中に、復旧した前記障害発生システムボードの情報及び復旧した前記障害発生システムボードに対応する前記予備のシステムボードの情報が存在する場合、復旧した前記障害発生システムボードが前記予備のシステムボードに切り替わっていると判定し、前記障害前構成情報を基に、前記パーティションの構成及び前記予備のシステムボードの割り当てを再設定する再設定部と
    を備えたことを特徴とする情報処理装置。
  2. 前記再設定部は、前記切替後構成情報に含まれる前記障害発生システムボードの情報と切替え先の前記予備のシステムボードの情報の中に、復旧した前記障害発生システムボードの情報及び復旧した前記障害発生システムボードに対応する前記予備のシステムボードの情報が存在する場合、復旧した前記障害発生システムボードが前記予備のシステムボードに切り替わっていると判定し、さらに、前記予備のシステムボードに切り替わり復旧されていない障害発生システムボードを示す情報が他に無い場合に、前記障害前構成情報を基にパーティションの構成及び予備のシステムボードの割り当ての再設定を行うことを特徴とする請求項に記載の情報処理装置。
JP2014557217A 2013-01-15 2013-01-15 情報処理装置 Expired - Fee Related JP6090335B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/050594 WO2014112042A1 (ja) 2013-01-15 2013-01-15 情報処理装置、情報処理装置制御方法及び情報処理装置制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2014112042A1 JPWO2014112042A1 (ja) 2017-01-19
JP6090335B2 true JP6090335B2 (ja) 2017-03-08

Family

ID=51209168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014557217A Expired - Fee Related JP6090335B2 (ja) 2013-01-15 2013-01-15 情報処理装置

Country Status (3)

Country Link
US (1) US20150301911A1 (ja)
JP (1) JP6090335B2 (ja)
WO (1) WO2014112042A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069900A (ko) * 2018-12-07 2020-06-17 한국항공우주연구원 인공위성 내 소프트웨어 기반 재설정 유닛

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0199396A (ja) * 1987-10-13 1989-04-18 Toshiba Corp 電子交換機システム
JP3448197B2 (ja) * 1997-03-10 2003-09-16 富士通株式会社 情報処理装置
JP4568764B2 (ja) * 2006-01-31 2010-10-27 富士通株式会社 システム監視装置の制御方法、プログラム及びコンピュータシステム
WO2008004275A1 (fr) * 2006-07-04 2008-01-10 Fujitsu Limited Programme, procédé et dispositif de reprise sur sinistre
JP5068056B2 (ja) * 2006-10-11 2012-11-07 株式会社日立製作所 障害回復方法、計算機システム及び管理サーバ
EP2161663B1 (en) * 2007-06-01 2014-04-16 Fujitsu Limited Information processing apparatus and method for reconfiguring information processing apparatus
JP2010086363A (ja) * 2008-10-01 2010-04-15 Fujitsu Ltd 情報処理装置及び装置構成組み換え制御方法
JP5287974B2 (ja) * 2009-03-06 2013-09-11 富士通株式会社 演算処理システム、再同期方法、およびファームプログラム
CN101635646B (zh) * 2009-06-24 2012-11-28 中兴通讯股份有限公司 主/备板卡的倒换方法及系统
JP5447532B2 (ja) * 2009-11-24 2014-03-19 富士通株式会社 情報処理装置
JP5522178B2 (ja) * 2009-12-07 2014-06-18 富士通株式会社 情報システム
JP5515766B2 (ja) * 2010-01-20 2014-06-11 富士通株式会社 情報処理装置、情報処理装置のハードウェア設定方法及びそのプログラム
EP2693291A1 (en) * 2011-03-30 2014-02-05 Fujitsu Limited Information processing device, control method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069900A (ko) * 2018-12-07 2020-06-17 한국항공우주연구원 인공위성 내 소프트웨어 기반 재설정 유닛
KR102154245B1 (ko) 2018-12-07 2020-09-09 한국항공우주연구원 인공위성 내 소프트웨어 기반 재설정 유닛

Also Published As

Publication number Publication date
WO2014112042A1 (ja) 2014-07-24
US20150301911A1 (en) 2015-10-22
JPWO2014112042A1 (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
US7802127B2 (en) Method and computer system for failover
EP3253028B1 (en) Method for managing instance node and management device
EP2088508A2 (en) Storage subsystem and control method thereof
CN116881053B (zh) 数据处理方法及交换板、数据处理系统、数据处理装置
JP2008097276A (ja) 障害回復方法、計算機システム及び管理サーバ
JP2008310489A (ja) I/oデバイス切り替え方法
JP4491482B2 (ja) 障害回復方法、計算機、クラスタシステム、管理計算機及び障害回復プログラム
CN104679610B (zh) 计算机系统的管理方法和装置
CN103856357A (zh) 一种堆叠系统故障处理方法及堆叠系统
EP3471339B1 (en) Method and enabling device for starting physical device
CN107291653B (zh) 一种多处理器系统及配置多处理器系统的方法
CN109358982B (zh) 硬盘自愈装置、方法以及硬盘
JP6090335B2 (ja) 情報処理装置
CN117112317A (zh) 故障处理系统、方法、电子设备及存储介质
CN114124803B (zh) 设备管理方法、装置、电子设备及存储介质
CN113742142A (zh) 存储系统管理sata硬盘的方法及存储系统
CN114690618A (zh) 飞控计算机备份切换方法、装置、设备及存储介质
US10516625B2 (en) Network entities on ring networks
CN112269693A (zh) 一种节点自协调方法、装置和计算机可读存储介质
JP5299283B2 (ja) 情報処理装置及び情報処理システム並びにそれらの制御方法
CN117909117A (zh) 故障修复方法、装置、非易失性存储介质及计算机设备
CN114328036A (zh) 一种硬件故障检测方法、系统及相关设备
JP4061549B2 (ja) ネットワークコンピュータシステム
US20070201387A1 (en) Information processing device, communication load distribution method
JP6554801B2 (ja) 冗長通信装置及びその制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170123

R150 Certificate of patent or registration of utility model

Ref document number: 6090335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees