JP5531487B2 - Server system and server system management method - Google Patents

Server system and server system management method Download PDF

Info

Publication number
JP5531487B2
JP5531487B2 JP2009177288A JP2009177288A JP5531487B2 JP 5531487 B2 JP5531487 B2 JP 5531487B2 JP 2009177288 A JP2009177288 A JP 2009177288A JP 2009177288 A JP2009177288 A JP 2009177288A JP 5531487 B2 JP5531487 B2 JP 5531487B2
Authority
JP
Japan
Prior art keywords
information
server
virtual
management module
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009177288A
Other languages
Japanese (ja)
Other versions
JP2011034161A (en
Inventor
亮文 松熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009177288A priority Critical patent/JP5531487B2/en
Publication of JP2011034161A publication Critical patent/JP2011034161A/en
Application granted granted Critical
Publication of JP5531487B2 publication Critical patent/JP5531487B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ブレードサーバ等に代表される複数のサーバからなるサーバシステム及びその管理方法に関する。   The present invention relates to a server system including a plurality of servers represented by a blade server and the like, and a management method thereof.

従来、コンピュータ同士をローカルエリアネットワークで接続したシステムにおいて、通信制御ボードの故障などによりボード交換を行った場合は、変更後のMACアドレスをローカルエリアネットワークに接続している全コンピュータに通知する必要があった。   Conventionally, in a system where computers are connected to each other via a local area network, if the board is replaced due to a failure of the communication control board, it is necessary to notify all computers connected to the local area network of the changed MAC address. there were.

これに対し、特許文献1には、通信制御ボード交換によりMACアドレスが変更となったとき、交換前のMACアドレスと交換後のMACアドレスを両方とも使用可能とする技術が開示されている。このようなMACアドレス管理方式においては、他コンピュータがMACアドレス変更を意識する必要がなくなる。   On the other hand, Patent Document 1 discloses a technique that allows both the MAC address before replacement and the MAC address after replacement to be used when the MAC address is changed by replacing the communication control board. In such a MAC address management system, it is not necessary for another computer to be aware of the MAC address change.

特開平10−65702号公報JP-A-10-65702

ところで、サーバシステムにおいても、あるサーバが故障した場合に上述と同様な問題が生ずる。すなわち、例えば、サーバシステムを冗長構成で運用している場合には、故障サーバを待機サーバに切り替えた後、故障サーバを交換する。しかしながら、待機サーバのハードウェア固有情報は、故障サーバのハードウェア固有情報とは異なるものである。このため、これらの情報に依存したアプリケーションソフトウェアや、外部の管理ソフトウェアは、待機サーバでの運用開始前に再インストールや再設定が必要になる場合がある。ここで、ハードウェア固有情報とは、シリアル番号、UUID(汎用一意識別子、Universally Unique Identifier)、MACアドレス(Media Access Control address)、WWPN(World Wide Port Name)等を示す。   By the way, also in a server system, when a certain server fails, the problem similar to the above arises. That is, for example, when the server system is operated in a redundant configuration, the failed server is replaced after being switched to the standby server. However, the hardware specific information of the standby server is different from the hardware specific information of the failed server. For this reason, application software that depends on this information and external management software may need to be reinstalled or reconfigured before starting operation on the standby server. Here, the hardware specific information indicates a serial number, UUID (Universally Unique Identifier), MAC address (Media Access Control address), WWPN (World Wide Port Name), and the like.

また、冗長構成でないシステムの場合においても、故障サーバは、新規サーバとは異なるハードウェア固有情報を有しているため、故障前のOS(Operating System)やシステム管理の環境を、そのままでは利用できない場合がある。すなわち、サーバが故障した際に、故障したサーバを交換すると、様々なハードウェア固有情報が変更になるため、それらを参照して動作する管理ソフトウェア及びアプリケーションソフトウェアの動作に影響が出ないように、これらのソフトウェアの設定を変更したり、ソフトウェアを再インストールしたりする必要がある。このような、故障サーバを交換する際のアプリケーションソフトウェア、外部の管理ソフトウェアの再インストール、再設定といった煩雑なプロセスを簡略化することが望まれている。   Further, even in the case of a non-redundant system, the failed server has hardware-specific information different from that of the new server, so the OS (Operating System) and system management environment before the failure cannot be used as they are. There is a case. In other words, when a server fails, if the failed server is replaced, various hardware-specific information changes, so that the operations of the management software and application software that operate by referring to them are not affected. You need to change these software settings or reinstall the software. It is desired to simplify such complicated processes such as application software when replacing a failed server, reinstallation of external management software, and resetting.

本発明は、このような問題点を解決するためになされたものであり、故障サーバの交換を容易にすることができるサーバシステム及びその管理方法を提供することを目的とする。   The present invention has been made to solve such problems, and an object of the present invention is to provide a server system and a management method thereof that can facilitate replacement of a failed server.

本発明に係るサーバシステムは、複数のサーバと、前記複数のサーバを管理する管理モジュールとを有する。管理モジュールは、全サーバに対する仮想的なハードウェアの固有情報を示す仮想HW情報と、当該仮想HW情報を各サーバに割り当てるための紐付け情報とを管理する機能を備える。また、サーバは、前記管理モジュールにより割り当てされた前記仮想HW情報を格納する仮想HW情報格納部を有し、前記仮想HW情報に基づき、システム管理BIOS(Basic Input/Output System)情報を生成する機能を備える。   The server system according to the present invention includes a plurality of servers and a management module that manages the plurality of servers. The management module has a function of managing virtual HW information indicating virtual hardware specific information for all servers and association information for assigning the virtual HW information to each server. The server has a virtual HW information storage unit that stores the virtual HW information allocated by the management module, and generates system management BIOS (Basic Input / Output System) information based on the virtual HW information. Is provided.

本発明に係るサーバシステムの管理方法は、複数のサーバを有するサーバシステムの管理方法である。先ず、全サーバに対し、仮想的なハードウェアの固有情報を示す仮想HW情報と、当該仮想HW情報を各サーバに割り当てるための紐付け情報とを生成する。次いで、全サーバに対し、前記紐付け情報に従って、前記仮想HW情報を転送する。そして、各サーバは、転送された仮想HW情報に基づき、システム管理BIOS(Basic Input/Output System)情報を生成する。   The server system management method according to the present invention is a server system management method having a plurality of servers. First, virtual HW information indicating virtual hardware specific information and association information for assigning the virtual HW information to each server are generated for all servers. Next, the virtual HW information is transferred to all servers according to the association information. Each server generates system management BIOS (Basic Input / Output System) information based on the transferred virtual HW information.

本発明によれば、故障サーバの交換を容易にすることができるサーバシステム及びその管理方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the server system which can make easy replacement | exchange of a failure server, and its management method can be provided.

本発明の実施の形態にかかるサーバシステムの概略構成を示す図である。It is a figure which shows schematic structure of the server system concerning embodiment of this invention. 本発明の実施の形態1にかかるブレードサーバシステムを示す図である。It is a figure which shows the blade server system concerning Embodiment 1 of this invention. 本発明の実施の形態にかかるサーバシステムにおいて、仮想HW情報を生成し、各ブレードサーバに反映するまでの手順を示すシーケンス図である。In the server system concerning an embodiment of the invention, it is a sequence figure showing a procedure until virtual HW information is generated and it reflects in each blade server. 本発明の実施の形態にかかるサーバシステムのブレードサーバ交換時の動作を示すシーケンス図である。It is a sequence diagram which shows the operation | movement at the time of blade server replacement | exchange of the server system concerning embodiment of this invention. 本発明の実施の形態にかかるサーバシステムの障害発生時の動作を説明するシーケンス図であるIt is a sequence diagram explaining operation | movement at the time of the failure generation of the server system concerning embodiment of this invention. 本発明の実施の形態2にかかるブレードサーバシステムを示す図である。It is a figure which shows the blade server system concerning Embodiment 2 of this invention.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ブレードサーバシステムに適用したものであるが、本発明は、ブレードサーバシステムに限らず、例えばラックマウント型サーバやタワー型サーバなど、他のサーバシステムにも同様に適用することができる。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to a blade server system. However, the present invention is not limited to a blade server system, and the same applies to other server systems such as a rack mount server and a tower server. Can be applied to.

先ず、本発明の概要について説明する。図1は、本発明の実施の形態にかかるサーバシステムの概略構成を示す図である。図1に示すように、ブレードサーバシステム100は、複数のブレードサーバ300と、複数のブレードサーバ300を管理する管理モジュール200とを有する。   First, the outline of the present invention will be described. FIG. 1 is a diagram showing a schematic configuration of a server system according to an embodiment of the present invention. As illustrated in FIG. 1, the blade server system 100 includes a plurality of blade servers 300 and a management module 200 that manages the plurality of blade servers 300.

管理モジュール200は、全ブレードサーバに対する仮想的なハードウェアの固有情報を示す仮想HW情報と、当該仮想HW情報を各ブレードサーバに割り当てるための紐付け情報とを管理する機能を備える。ハードウェア固有情報とは、シリアル番号、UUID、MACアドレス、WWPN(World Wide Port Name)等であり、仮想HW情報とは、このハードウェア固有情報に代わる仮想的な情報である。紐付け情報には、各ブレードサーバが格納されるスロットの位置情報などを含み、この紐付け情報を使用して、管理モジュール200は、仮想HW情報を各ブレードサーバに転送する。   The management module 200 has a function of managing virtual HW information indicating virtual hardware specific information for all blade servers and linking information for assigning the virtual HW information to each blade server. The hardware specific information is a serial number, UUID, MAC address, WWPN (World Wide Port Name), and the like, and the virtual HW information is virtual information that replaces the hardware specific information. The association information includes position information of the slot in which each blade server is stored, and using this association information, the management module 200 transfers the virtual HW information to each blade server.

ブレードサーバ300は、管理モジュール200により割り当てされた仮想HW情報を格納する仮想HW情報格納部304を有する。そして、この割り当てられた仮想HW情報に基づき、システム管理BIOS(Basic Input/Output System)情報(以下、SMBIOS(System Management BIOS)情報という。)を生成する機能を備える。   The blade server 300 includes a virtual HW information storage unit 304 that stores virtual HW information allocated by the management module 200. A function of generating system management BIOS (Basic Input / Output System) information (hereinafter referred to as SMBIOS (System Management BIOS) information) is provided based on the allocated virtual HW information.

つまり、本実施の形態においては、各ブレードサーバ300のハードウェア固有情報を仮想化する。管理モジュール200は、ブレードサーバ300のハードウェア固有情報の代わりに仮想HW情報を生成して一括管理する。任意の仮想HW情報を、各ブレードサーバ300に設定することにより、アプリケーションソフトウェアや外部の管理ソフトウェア、及びOSに対し、ハードウェアを仮想化することができる。   That is, in this embodiment, the hardware specific information of each blade server 300 is virtualized. The management module 200 generates virtual HW information instead of the hardware specific information of the blade server 300 and manages it collectively. By setting arbitrary virtual HW information in each blade server 300, hardware can be virtualized for application software, external management software, and OS.

通常、ブレードサーバ300上のOSやOS上で動作するアプリケーションソフトウェアは、SMBIOS情報からハードウェア固有情報(シリアル番号、UUID等)を取得している。このSMBIOS情報は、各ブレードサーバ300のBIOSが生成している。本実施の形態においては、管理モジュール200がシステム内のすべてのサーバに対する仮想HW情報を生成、管理する機能を有している。仮想HW情報は、各ブレードサーバ300のBIOSとの間で直接、又は別のモジュールを介して受け渡しが可能となっている。更に、各ブレードサーバ300のBIOSは、受け取った仮想HW情報を元にSMBIOS情報を生成する機能を有する。各ブレードサーバ300のBIOSは、通常のHW情報ではなく、仮想HW情報を元にSMBIOSを生成するため、サーバの故障時サーバを取り換えても、当該仮想HW情報はそのまま使用することが可能である。   Normally, the OS on the blade server 300 and the application software running on the OS acquire hardware specific information (such as a serial number and UUID) from the SMBIOS information. This SMBIOS information is generated by the BIOS of each blade server 300. In the present embodiment, the management module 200 has a function of generating and managing virtual HW information for all servers in the system. The virtual HW information can be exchanged directly with the BIOS of each blade server 300 or via another module. Further, the BIOS of each blade server 300 has a function of generating SMBIOS information based on the received virtual HW information. The BIOS of each blade server 300 generates the SMBIOS based on the virtual HW information, not the normal HW information. Therefore, even if the server at the time of the server failure is replaced, the virtual HW information can be used as it is. .

このように、システム内全てのブレードサーバ300に対し、仮想的なHW情報を適用して運用し、故障時に待機ブレードに切り替える際に、同じ仮想HW情報を待機ブレードに対しても適用することで、故障時のブレードサーバ300の交換を容易にする。すなわち、サーバが入れ替わっても同一の仮想HW情報を使用することで、アプリケーションソフトウェアや、外部の管理ソフトウェアは、待機サーバでの運用開始前に再インストールや再設定が不要となる。   In this way, by applying the virtual HW information to all blade servers 300 in the system, and operating the standby blade in the event of a failure, the same virtual HW information is also applied to the standby blade. The blade server 300 can be easily replaced at the time of failure. That is, by using the same virtual HW information even if the server is replaced, the application software and the external management software do not need to be reinstalled or reset before starting operation on the standby server.

発明の実施の形態1.
図2は、本発明の実施の形態1にかかるブレードサーバシステムを示す図である。ブレードサーバシステム100は、システム全体の制御や障害監視等を行う管理モジュール200、及び複数のブレードサーバ300を有する。また、本実施の形態においては、管理ソフトウェア401による障害監視及び運用管理を行う管理サーバ400が、管理モジュール200及びブレードサーバ300とネットワーク経由で通信可能となっている。
Embodiment 1 of the Invention
FIG. 2 is a diagram illustrating the blade server system according to the first embodiment of the present invention. The blade server system 100 includes a management module 200 that performs overall system control, fault monitoring, and the like, and a plurality of blade servers 300. In this embodiment, the management server 400 that performs fault monitoring and operation management by the management software 401 can communicate with the management module 200 and the blade server 300 via a network.

管理モジュール200は、仮想HW情報201と、この仮想HW情報201を各ブレードサーバ300に割り当てるための紐付け情報202とを有する。   The management module 200 includes virtual HW information 201 and association information 202 for assigning the virtual HW information 201 to each blade server 300.

ブレードサーバ300は、割り当てられた仮想HW情報を格納する仮想HW情報格納部位304と、本来のハードウェア固有情報を格納するHW情報格納部305と、後述するSMBIOS情報生成結果が格納されるSMBIOS情報生成結果格納部306とを有する。また、サーバ内部の障害監視や電源制御等を行うマネジメントコントローラ(以下、BMC(Baseboard Management Controller)という。)301を有する。更に、ブレードサーバ300に接続されたディスクドライブ、キーボード、又はビデオカード等の周辺機器を制御するプログラム群(以下、BIOS)302を有する。BIOS302は、SMBIOS情報を生成する。更に、ブレードサーバ300上で稼働するOS308を有する。OS308は、アプリケーションソフトウェアを動作させるインターフェースAPI(アプリケーションプログラミング・インタフェース)を有する。   The blade server 300 includes a virtual HW information storage part 304 that stores assigned virtual HW information, an HW information storage unit 305 that stores original hardware-specific information, and SMBIOS information in which SMBIOS information generation results described later are stored. A generation result storage unit 306. In addition, a management controller (hereinafter referred to as a BMC (Baseboard Management Controller)) 301 that performs failure monitoring and power control inside the server is included. Furthermore, a program group (hereinafter referred to as BIOS) 302 for controlling peripheral devices such as a disk drive, a keyboard, or a video card connected to the blade server 300 is provided. The BIOS 302 generates SMBIOS information. Furthermore, it has OS308 which operate | moves on the blade server 300. FIG. The OS 308 has an interface API (application programming interface) that operates application software.

管理モジュール200は、ネットワーク又はシリアル接続等により、ブレードサーバ300上のBMC301と通信可能となっている。管理モジュール200は、BMC301を介して仮想HW情報格納部304にアクセスすることができる。管理モジュール200は、ブレードサーバ300に割り付けられる仮想HW情報が、他のブレードサーバ300に割り付けされる仮想HW情報を重複しないように、紐付け情報202を生成し、管理する機能を有する。   The management module 200 can communicate with the BMC 301 on the blade server 300 through a network or a serial connection. The management module 200 can access the virtual HW information storage unit 304 via the BMC 301. The management module 200 has a function of generating and managing the association information 202 so that the virtual HW information assigned to the blade server 300 does not overlap the virtual HW information assigned to the other blade server 300.

ブレードサーバ300のBMC301は、仮想HW情報格納部304に接続される。BMC301は、管理モジュール200及びBIOS302と通信可能であり、これにより、管理モジュール200及びBIOS302は、仮想HW情報格納部304へアクセスすることができる。   The BMC 301 of the blade server 300 is connected to the virtual HW information storage unit 304. The BMC 301 can communicate with the management module 200 and the BIOS 302, whereby the management module 200 and the BIOS 302 can access the virtual HW information storage unit 304.

管理サーバ400上の管理ソフトウェア401は、OS308上で扱われる仮想HW情報を参照して、各ブレードサーバ300を管理している。なお、管理サーバ400と管理モジュール200、管理モジュール200とBMC301の間の通信インターフェースは、特に規定されない。   The management software 401 on the management server 400 manages each blade server 300 with reference to virtual HW information handled on the OS 308. Note that the communication interface between the management server 400 and the management module 200 and between the management module 200 and the BMC 301 is not particularly defined.

次に、仮想HW情報を各ブレードサーバ300に設定する方法について説明する。図3は、仮想HW情報を生成し、各ブレードサーバ300に反映するまでの手順を示すシーケンス図である。   Next, a method for setting the virtual HW information in each blade server 300 will be described. FIG. 3 is a sequence diagram showing a procedure for generating virtual HW information and reflecting it on each blade server 300.

ユーザは、仮想HW情報201を作成して、管理モジュール200に保存する。仮想HW情報201を作成するためのユーザインターフェースは、管理モジュール200が有している。   The user creates virtual HW information 201 and stores it in the management module 200. The management module 200 has a user interface for creating the virtual HW information 201.

ユーザは、管理モジュール200のユーザインターフェースを使用し、保存されている仮想HW情報201をブレードサーバ300に割り当てる(ステップS101)。管理モジュール200は、ユーザ指示の仮想HW情報201が他のブレードサーバ300の仮想HW情報201と重複がないことを確かめる(ステップS102)。   The user assigns the stored virtual HW information 201 to the blade server 300 using the user interface of the management module 200 (step S101). The management module 200 confirms that the virtual HW information 201 specified by the user does not overlap with the virtual HW information 201 of other blade servers 300 (step S102).

そして、仮想HW情報201に重複がなかった場合、管理モジュール200は、ユーザ指示に従い、紐付け情報202を生成する(ステップS103)。そして、管理モジュール200は、紐付け情報202にしたがって、各ブレードサーバ300のBMC301に仮想HW情報201を転送する(ステップS104)。BMC301は、受信した仮想HW情報201を仮想HW情報格納部304に格納する(ステップS105)。BMC301は、管理モジュール200に仮想HW情報201の受信が完了したことを知らせる受信完了通知を送信する(ステップS106)。   If there is no overlap in the virtual HW information 201, the management module 200 generates the association information 202 according to the user instruction (step S103). Then, the management module 200 transfers the virtual HW information 201 to the BMC 301 of each blade server 300 according to the association information 202 (Step S104). The BMC 301 stores the received virtual HW information 201 in the virtual HW information storage unit 304 (step S105). The BMC 301 transmits a reception completion notification notifying the management module 200 that reception of the virtual HW information 201 has been completed (step S106).

次に、ユーザは、管理モジュール200のインターフェースを使用して、ブレードサーバ300の電源ONをBMC301に指示する(ステップS107)。管理モジュール200は、指示されたブレードサーバ300の電源ONをBMC301に指示する(ステップS108)。これにより、BMC301は、ブレードサーバ300の電源をONする(ステップS109)。   Next, the user uses the interface of the management module 200 to instruct the BMC 301 to turn on the blade server 300 (step S107). The management module 200 instructs the BMC 301 to power on the instructed blade server 300 (step S108). As a result, the BMC 301 turns on the blade server 300 (step S109).

電源ONされると、BIOS302は、BMC301に対し、仮想HW情報201を要求する(ステップS110)。BMC301は、仮想HW情報格納部304を参照し、仮想HW情報201が存在する場合には、BIOS302に仮想HW情報201を転送する。なお、仮想HW情報201が存在しない場合は、HW情報格納部305を参照し、本来のHW情報をBIOS302に転送する(ステップS111)。   When the power is turned on, the BIOS 302 requests the virtual HW information 201 from the BMC 301 (step S110). The BMC 301 refers to the virtual HW information storage unit 304 and transfers the virtual HW information 201 to the BIOS 302 when the virtual HW information 201 exists. If the virtual HW information 201 does not exist, the HW information storage unit 305 is referred to and the original HW information is transferred to the BIOS 302 (step S111).

BIOS302は、受け取った仮想HW情報201を基にSMBIOS情報303を生成する(ステップS112)。BIOS302は、SMBIOS情報303が正常に生成することができたか否かの結果をBMC301に転送する(ステップS113)。BMC301は、SMBIOS情報生成結果306をSMBIOS情報生成結果格納部307に格納する(ステップS114)。最後に、BIOS302は、SMBIOS情報生成結果306を情報生成結果格納部307に格納したことを、管理モジュール200に通知する(ステップS115)。   The BIOS 302 generates SMBIOS information 303 based on the received virtual HW information 201 (step S112). The BIOS 302 transfers the result of whether or not the SMBIOS information 303 has been normally generated to the BMC 301 (step S113). The BMC 301 stores the SMBIOS information generation result 306 in the SMBIOS information generation result storage unit 307 (step S114). Finally, the BIOS 302 notifies the management module 200 that the SMBIOS information generation result 306 has been stored in the information generation result storage unit 307 (step S115).

次に、故障したブレードサーバ300を交換する場合の動作について説明する。図4は、ブレードサーバ交換時の動作を示すシーケンス図である。先ず、管理モジュール200は、交換ブレードサーバ310が搭載されたことを検知する(ステップS201)。管理モジュール200は、各ブレードの実装検出や障害検出等のRAS(Reliability(信頼性)、Availability(可用性)、Serviceability(保守性、サービス性))機能を有する。そして、管理モジュール200は、交換されたスロットに対する紐付け情報202が存在するか否かを確認する(ステップS202)。交換ブレードサーバ310が搭載されたスロットの紐付け情報202が存在する場合は、その紐付け情報202にしたがって、搭載された交換ブレードサーバ310のBMC301に、仮想HW情報201を転送する。以降の動作は、上述のS105以降と同様である。   Next, an operation when replacing the failed blade server 300 will be described. FIG. 4 is a sequence diagram showing an operation at the time of blade server replacement. First, the management module 200 detects that the replacement blade server 310 is installed (step S201). The management module 200 has RAS (Reliability, Availability, Serviceability) functions such as mounting detection and failure detection of each blade. Then, the management module 200 confirms whether or not the association information 202 for the exchanged slot exists (step S202). If the link information 202 of the slot in which the replacement blade server 310 is mounted exists, the virtual HW information 201 is transferred to the BMC 301 of the mounted replacement blade server 310 according to the link information 202. Subsequent operations are the same as those after S105 described above.

次に、障害発生時に待機ブレードに運用を切り替える場合の動作について説明する。図5は、障害発生時の動作を説明するシーケンス図である。冗長システムには、障害発生時に、切り替えることができる予備のブレードサーバ(待機ブレードサーバ)が搭載されている。あるブレードサーバで障害が発生した場合、この障害が発生したブレードサーバに代えて、待機ブレードサーバを起動させる。   Next, the operation for switching the operation to the standby blade when a failure occurs will be described. FIG. 5 is a sequence diagram for explaining the operation when a failure occurs. The redundant system is equipped with a spare blade server (standby blade server) that can be switched when a failure occurs. When a failure occurs in a certain blade server, a standby blade server is activated instead of the blade server in which the failure has occurred.

先ず、管理ソフトウェア401が管理モジュール200に、待機ブレードサーバへの切り替えを要求する(ステップS301)。管理モジュール200は、管理ソフトウェア401の要求に従い、紐付け情報202を変更する(ステップS302)。そして、管理モジュール200は、変更した紐付け情報202を参照し、待機ブレードサーバ310のBMC301に、仮想HW情報201を転送する(ステップS303)。BMC301は、受信した仮想HW情報201を仮想HW情報格納部304に格納する(ステップS304)。BMC301は、管理モジュール200に仮想HW情報201の受信が完了したことを知らせる受信完了通知を送信する(ステップS305)。これを受け取った管理モジュール200は、サーバ切換え準備が完了したことを管理ソフトウェア401に通知する。以降のステップは、上述のステップS108以降のステップと同様である。   First, the management software 401 requests the management module 200 to switch to a standby blade server (step S301). The management module 200 changes the association information 202 in accordance with the request from the management software 401 (step S302). Then, the management module 200 refers to the changed association information 202 and transfers the virtual HW information 201 to the BMC 301 of the standby blade server 310 (step S303). The BMC 301 stores the received virtual HW information 201 in the virtual HW information storage unit 304 (step S304). The BMC 301 transmits a reception completion notification notifying the management module 200 that reception of the virtual HW information 201 is completed (step S305). Upon receiving this, the management module 200 notifies the management software 401 that the server switching preparation has been completed. The subsequent steps are the same as the steps after step S108 described above.

以上説明したように、本実施の形態においては、各ブレードサーバ300に対し、仮想HW情報201を設定する。このことにより、サーバの故障交換や待機ブレードサーバへの切換え時のハードウェア固有情報の変化に伴う、システムの設定変更が不要になる。例えば、待機系への切換え時には、故障サーバが使用していた仮想HW情報201と同じ仮想HW情報201を待機ブレードサーバに設定することができる。よって、OS、管理ソフト、アプリケーションソフトウェア等、この仮想HW情報201を使用していた各ソフトウェアの設定を変更する必要がない。また、故障サーバを交換する場合には、単に交換サーバを搭載するのみで、交換後のサーバは、故障サーバが使用していた仮想HW情報201を有するサーバとして動作することができる。したがって、同様に、OS、管理ソフト、アプリケーションソフトウェア等の設定変更が不要である。   As described above, in the present embodiment, the virtual HW information 201 is set for each blade server 300. This eliminates the need to change the system settings associated with changes in hardware-specific information during server fault replacement or switching to a standby blade server. For example, when switching to the standby system, the same virtual HW information 201 as the virtual HW information 201 used by the failed server can be set in the standby blade server. Therefore, it is not necessary to change the setting of each software using the virtual HW information 201 such as OS, management software, application software, and the like. In addition, when replacing a failed server, simply installing the replacement server, the replaced server can operate as a server having the virtual HW information 201 used by the failed server. Accordingly, similarly, it is not necessary to change settings of the OS, management software, application software, and the like.

なお、実施の形態1においては、ブレードサーバの例について説明したが、ラックサーバやタワー型サーバ等であっても、同様に構成することができる。すなわち、サーバの形態は任意である。   In the first embodiment, an example of a blade server has been described. However, a rack server, a tower type server, and the like can be similarly configured. That is, the form of the server is arbitrary.

また、実施の形態1においては、管理サーバ400及び管理ソフトウェア401により、外部からサーバシステムを管理するものとして説明したが、これらを設けることなく、管理モジュール200が独自で管理を行うようにしてもよい。   In the first embodiment, the server system is externally managed by the management server 400 and the management software 401. However, the management module 200 may manage the server system independently without providing them. Good.

さらに、実施の形態1においては、1つのブレードサーバ筐体によりシステムを構成する例について説明したが、複数の筐体を含むシステムとすることもできる。その場合、筐体毎の管理モジュール200が連携し、筐体間の仮想HW情報201の移動や、重複排除処理等を行えばよい。次に、このような複数の筐体を含むシステムについて説明する。   Furthermore, in the first embodiment, the example in which the system is configured by one blade server casing has been described. However, a system including a plurality of casings may be used. In that case, the management module 200 for each case may cooperate to perform the movement of the virtual HW information 201 between the cases, the deduplication process, and the like. Next, a system including a plurality of such cases will be described.

発明の実施の形態2.
図6は、本発明の実施の形態2にかかるブレードサーバシステムを示す図である。なお、図6に示す本実施の形態において、図2に示す実施の形態1と同一の構成要素には同一の符号を付し、その詳細な説明は省略する。
Embodiment 2 of the Invention
FIG. 6 is a diagram showing a blade server system according to the second exemplary embodiment of the present invention. In the present embodiment shown in FIG. 6, the same components as those in the first embodiment shown in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.

本実施の形態にかかるブレードサーバは、複数のブレードサーバ筐体を有する。各ブレードサーバ筐体は、それぞれ管理モジュール200を有している。各管理モジュール200は、それぞれ自筐体内の仮想HW情報201と、その紐付け情報202とを有する。紐付け情報202は、ブレードのスレッド位置情報の他に、筐体を識別するための情報(212、・・・、2x2)が付加される。本実施の形態においては、いずれか管理モジュール200がマスタ管理モジュール210となり、仮想HW情報201及び紐付け情報202を一元管理するものとする。なお、全ての管理モジュール200で紐付け情報202を共有管理するようにしてもよい。   The blade server according to the present embodiment has a plurality of blade server housings. Each blade server housing has a management module 200. Each management module 200 has virtual HW information 201 in its own housing and its linking information 202. The association information 202 includes information (212,..., 2 × 2) for identifying the casing in addition to the blade thread position information. In this embodiment, any one of the management modules 200 becomes the master management module 210, and the virtual HW information 201 and the association information 202 are centrally managed. Note that the link information 202 may be shared and managed by all the management modules 200.

マスタ管理モジュール200は、一元管理されている紐付け情報202を参照し、システム全体で仮想HW情報201が重複設定されていないか否かをチェックする。各スレーブ管理モジュール220は、仮想HW情報201の設定を行った場合、行った設定内容、すなわち仮想HW情報201及び設定対象のサーバ搭載位置情報をマスタ管理モジュール210に転送する。マスタ管理モジュール210は、スレーブ管理モジュール220から受信した設定内容を基に、一元管理している紐付け情報202を更新する。   The master management module 200 refers to the association information 202 that is centrally managed, and checks whether or not the virtual HW information 201 is duplicated in the entire system. When each of the slave management modules 220 sets the virtual HW information 201, the slave management module 220 transfers the set contents, that is, the virtual HW information 201 and the server mounting position information to be set to the master management module 210. Based on the setting content received from the slave management module 220, the master management module 210 updates the association information 202 that is centrally managed.

本実施の形態においても、実施の形態1と同様の効果を奏する。すなわち、サーバが交換になったり、待機サーバと入れ替わったりする場合であっても、必要に応じて紐付け情報202を変更するのみで、元の仮想HW情報201をそのまま流用することができる。したがって、故障サーバを交換する際のアプリケーションソフトウェア、外部の管理ソフトウェアの再インストール、再設定といった煩雑なプロセスが不要となる。   Also in this embodiment, the same effects as those of the first embodiment are obtained. That is, even when the server is replaced or replaced with a standby server, the original virtual HW information 201 can be used as it is only by changing the association information 202 as necessary. Therefore, a complicated process such as re-installation and resetting of application software and external management software when replacing a failed server is not required.

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。   It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

100 ブレードサーバシステム
200 管理モジュール
201 仮想HW情報
202 紐付け情報
210 マスタ管理モジュール
220 スレーブ管理モジュール
300 ブレードサーバ
310 交換ブレードサーバ
301 BMC
302 BIOS
303 SMBIOS情報
304 仮想HW情報格納部
305 HW情報格納部
308 OS
401 管理ソフトウェア
400 管理サーバ
DESCRIPTION OF SYMBOLS 100 Blade server system 200 Management module 201 Virtual HW information 202 Linking information 210 Master management module 220 Slave management module 300 Blade server 310 Replacement blade server 301 BMC
302 BIOS
303 SMBIOS information 304 Virtual HW information storage unit 305 HW information storage unit 308 OS
401 management software 400 management server

Claims (17)

複数のサーバと、
前記複数のサーバを管理する管理モジュールとを有し、
前記管理モジュールは、全サーバに対する仮想的なハードウェアの固有情報を示す仮想HW情報と、当該仮想HW情報を各サーバに割り当てるための紐付け情報とを管理する機能を備え、
前記サーバは、前記管理モジュールにより割り当てされた前記仮想HW情報を格納する仮想HW情報格納部を有し、前記仮想HW情報に基づき、システム管理BIOS(Basic Input/Output System)情報を生成する機能を備え
前記サーバは、前記管理モジュールにより割り当てされた前記仮想HW情報を格納する仮想HW情報格納部と、前記サーバに固有のハードウェア情報であるハードウェア固有情報を格納するHW情報格納部と、を備え、前記仮想HW情報格納部内に前記仮想HW情報がある場合には前記仮想HW情報に基づき、システム管理BIOS(Basic Input/Output System)情報を生成し、前記仮想HW情報格納部内に前記仮想HW情報がない場合には前記HW情報格納部内の前記ハードウェア固有情報に基づいてシステム管理BIOS(Basic Input/Output System)情報を生成する、サーバシステム。
Multiple servers,
A management module for managing the plurality of servers,
The management module has a function of managing virtual HW information indicating virtual hardware specific information for all servers and association information for assigning the virtual HW information to each server,
The server has a virtual HW information storage unit that stores the virtual HW information allocated by the management module, and has a function of generating system management BIOS (Basic Input / Output System) information based on the virtual HW information. Prepared ,
The server includes a virtual HW information storage unit that stores the virtual HW information allocated by the management module, and an HW information storage unit that stores hardware specific information that is hardware information specific to the server. When there is the virtual HW information in the virtual HW information storage unit , system management BIOS (Basic Input / Output System) information is generated based on the virtual HW information, and the virtual HW information is stored in the virtual HW information storage unit A server system that generates system management BIOS (Basic Input / Output System) information based on the hardware-specific information in the HW information storage unit when there is no such information .
前記管理モジュールは、ネットワーク及び/又はシリアル接続により、前記サーバ内部の障害監視及び/又は電源制御を行うマネジメントコントローラと通信可能である、請求項1記載のサーバシステム。   The server system according to claim 1, wherein the management module can communicate with a management controller that performs fault monitoring and / or power control inside the server via a network and / or serial connection. 前記サーバは、当該サーバに接続する周辺機器を制御するプログラム群を有し、
前記サーバの前記マネジメントコントローラは、前記管理モジュール及び前記プログラム群と通信可能であり、
前記管理モジュール及び前記プログラム群は、前記マネジメントコントローラを介して前記仮想HW情報格納部へアクセス可能である、請求項記載のサーバシステム。
The server has a program group for controlling peripheral devices connected to the server,
The management controller of the server can communicate with the management module and the program group,
The server system according to claim 2 , wherein the management module and the program group are accessible to the virtual HW information storage unit via the management controller.
前記サーバの前記プログラム群は、前記仮想HW情報格納部の前記仮想HW情報を参照し、前記システム管理BIOSを生成する、請求項3記載のサーバシステム。   The server system according to claim 3, wherein the program group of the server generates the system management BIOS by referring to the virtual HW information in the virtual HW information storage unit. 前記管理モジュールは、前記サーバに割り当てられる前記仮想HW情報が、サーバ間で重複しないように、前記紐付け情報を生成し、管理する機能を有する、請求項1乃至4のいずれか1項記載のサーバシステム。   5. The management module according to claim 1, wherein the management module has a function of generating and managing the association information so that the virtual HW information allocated to the server does not overlap between servers. Server system. 前記サーバ及び管理モジュールとネットワーク経由で通信可能な、システムの障害監視及び/又は運用管理を行う管理サーバを更に有する、請求項1乃至5のいずれか1項記載のサーバシステム。   The server system according to any one of claims 1 to 5, further comprising a management server that can communicate with the server and the management module via a network, and that performs system fault monitoring and / or operation management. 前記複数のサーバは、ブレードサーバ、ラックマウント型サーバ、又はタワー型サーバである、請求項1乃至6のいずれか1項記載のサーバシステム。   The server system according to any one of claims 1 to 6, wherein the plurality of servers are blade servers, rack mount servers, or tower servers. 各サーバは、スロットに格納され、
前記紐付け情報は、前記仮想HW情報を前記スロットに割り当てるためのスロット位置情報を有し、
前記管理モジュールは、新たなサーバである交換サーバが搭載されたことを検知すると、搭載されたスロットに対する紐付け情報に従って、前記仮想HW情報を当該交換サーバに転送する、請求項1乃至7のいずれか1項記載のサーバシステム。
Each server is stored in a slot
The association information includes slot position information for assigning the virtual HW information to the slot,
The management module, when detecting that a replacement server, which is a new server, is mounted, transfers the virtual HW information to the replacement server according to the association information for the mounted slot. The server system according to claim 1.
各サーバは、スロットに格納され、
前記紐付け情報は、前記仮想HW情報を前記スロットに割り当てるためのスロット位置情報を有し、
前記管理モジュールは、現在のサーバから待機サーバに変更する場合、前記紐付け情報のスロット位置情報を、現在のサーバが格納されたスロットから待機サーバが格納されたスロットのスロット位置情報に変更し、当該変更した紐付け情報に従い前記仮想HW情報を前記待機サーバに転送する、請求項1乃至8のいずれか1項記載のサーバシステム。
Each server is stored in a slot
The association information includes slot position information for assigning the virtual HW information to the slot,
When the management module changes from the current server to the standby server, the slot information of the association information is changed from the slot where the current server is stored to the slot position information of the slot where the standby server is stored, The server system according to claim 1, wherein the virtual HW information is transferred to the standby server according to the changed association information.
複数のブレードサーバ筐体を有し、
各管理モジュールは、各ブレードサーバ毎に配置され、
前記紐付き情報は、ブレードのスロット位置を示すスロット位置情報と、いずれのブレード筐体かを示す筐体識別情報とを有する、請求項1乃至9のいずれか1項記載のサーバシステム。
Having multiple blade server enclosures,
Each management module is arranged for each blade server,
The server system according to any one of claims 1 to 9, wherein the association information includes slot position information indicating a slot position of a blade and case identification information indicating which blade case.
前記仮想HW情報及び紐付け情報を一元管理するマスタ管理モジュールを有し、
マスタ管理モジュール以外の管理モジュールであるスレーブ管理モジュールは、設定した自己のブレードサーバにおける前記仮想HW情報及び紐付け情報を、前記マスタ管理モジュールに転送し、
前記マスタ管理モジュールは、受信情報に基づき前記仮想HW情報に重複がないかチェックする、請求項10記載のサーバシステム。
A master management module for centrally managing the virtual HW information and the association information;
The slave management module, which is a management module other than the master management module, transfers the virtual HW information and the association information in the set blade server to the master management module,
The server system according to claim 10, wherein the master management module checks whether the virtual HW information is duplicated based on received information.
前記紐付き情報は、全管理モジュール間で共有管理する、請求項10記載のサーバシステム。   The server system according to claim 10, wherein the association information is shared and managed among all management modules. 前記スレーブ管理モジュールは、前記紐付き情報を更新した場合は、当該更新した紐付き情報を前記マスタ管理モジュールに転送する、請求項11記載のサーバシステム。   The server system according to claim 11, wherein, when the association information is updated, the slave management module transfers the updated association information to the master management module. 複数のサーバを有するサーバシステムの管理方法であって、
全サーバに対し、仮想的なハードウェアの固有情報を示す仮想HW情報と、当該仮想HW情報を各サーバに割り当てるための紐付け情報を生成し、
全サーバに対し、前記紐付け情報に従って、前記仮想HW情報を転送し、
各サーバは、転送された前記仮想HW情報が存在する場合には前記仮想HW情報に基づき、システム管理BIOS(Basic Input/Output System)情報を生成し、前記仮想HW情報が存在しない場合には前記サーバに固有のハードウェア情報であるハードウェア固有情報に基づいてシステム管理BIOS(Basic Input/Output System)情報を生成する、サーバシステムの管理方法。
A method for managing a server system having a plurality of servers,
For all servers, generate virtual HW information indicating virtual hardware specific information, and link information for assigning the virtual HW information to each server,
Transfer the virtual HW information to all servers according to the linking information,
Each server is transferred when said virtual HW information exists on the basis of the virtual HW information, generates a System Management BIOS (Basic Input / Output System) information, wherein when the virtual HW information does not exist the A server system management method for generating system management BIOS (Basic Input / Output System) information based on hardware specific information which is hardware information specific to a server.
前記サーバに接続する周辺機器を制御するプログラム群は、前記サーバ内部の障害監視及び/又は電源制御を行うマネジメントコントローラを介して、前記仮想HW情報が格納された仮想HW情報格納部にアクセスし、
前記プログラム群は、前記仮想HW情報格納部の前記仮想HW情報を参照し、前記システム管理BIOSを生成する、請求項14記載のサーバシステムの管理方法。
A program group for controlling peripheral devices connected to the server accesses a virtual HW information storage unit in which the virtual HW information is stored, via a management controller that performs fault monitoring and / or power control inside the server,
The server system management method according to claim 14, wherein the program group refers to the virtual HW information in the virtual HW information storage unit and generates the system management BIOS.
各サーバは、スロットに格納され、
前記紐付け情報は、前記仮想HW情報を前記スロットに割り当てるためのスロット位置情報を有し、
新たなサーバである交換サーバが搭載されたことを検知すると、搭載されたスロットに対する前記紐付け情報に従って、前記仮想HW情報を当該交換サーバに転送する、請求項14又は15項記載のサーバシステムの管理方法。
Each server is stored in a slot
The association information includes slot position information for assigning the virtual HW information to the slot,
The server system according to claim 14 or 15, wherein when detecting that a replacement server which is a new server is mounted, the virtual HW information is transferred to the replacement server according to the association information for the mounted slot. Management method.
各サーバは、スロットに格納され、
前記紐付け情報は、前記仮想HW情報を前記スロットに割り当てるためのスロット位置情報を有し、
現在のサーバから待機サーバに変更する場合、前記紐付け情報の前記スロット位置情報を、現在のサーバが格納されたスロットから待機サーバが格納されたスロットの位置情報に変更し、
当該変更した紐付け情報に従い前記仮想HW情報を前記待機サーバに転送する、請求項14乃至16のいずれか1項記載のサーバシステムの管理方法。
Each server is stored in a slot
The association information includes slot position information for assigning the virtual HW information to the slot,
When changing from the current server to the standby server, the slot position information of the association information is changed from the slot where the current server is stored to the position information of the slot where the standby server is stored,
The server system management method according to any one of claims 14 to 16, wherein the virtual HW information is transferred to the standby server according to the changed association information.
JP2009177288A 2009-07-30 2009-07-30 Server system and server system management method Expired - Fee Related JP5531487B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009177288A JP5531487B2 (en) 2009-07-30 2009-07-30 Server system and server system management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009177288A JP5531487B2 (en) 2009-07-30 2009-07-30 Server system and server system management method

Publications (2)

Publication Number Publication Date
JP2011034161A JP2011034161A (en) 2011-02-17
JP5531487B2 true JP5531487B2 (en) 2014-06-25

Family

ID=43763201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009177288A Expired - Fee Related JP5531487B2 (en) 2009-07-30 2009-07-30 Server system and server system management method

Country Status (1)

Country Link
JP (1) JP5531487B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170063641A1 (en) * 2015-08-26 2017-03-02 Hon Hai Precision Industry Co., Ltd. Server management system and method
US10172167B2 (en) 2015-06-12 2019-01-01 Samsung Electronics Co., Ltd Electronic device and connection method thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5549688B2 (en) * 2012-01-23 2014-07-16 日本電気株式会社 Information processing system and method for controlling information processing system
JP5773166B2 (en) * 2012-04-05 2015-09-02 株式会社日立製作所 Computer control method, computer and computer system
WO2014091535A1 (en) * 2012-12-10 2014-06-19 株式会社日立製作所 Computer system and encryption method of recording unit
CN109327492A (en) * 2017-08-01 2019-02-12 联想企业解决方案(新加坡)有限公司 server identification device and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217225A (en) * 2007-03-01 2008-09-18 Hitachi Ltd Blade server system
JP4964666B2 (en) * 2007-05-14 2012-07-04 株式会社日立製作所 Computer, program and method for switching redundant communication paths
JP4744480B2 (en) * 2007-05-30 2011-08-10 株式会社日立製作所 Virtual computer system
JP2009118063A (en) * 2007-11-05 2009-05-28 Oki Electric Ind Co Ltd Redundant system, method, program and server

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10172167B2 (en) 2015-06-12 2019-01-01 Samsung Electronics Co., Ltd Electronic device and connection method thereof
US20170063641A1 (en) * 2015-08-26 2017-03-02 Hon Hai Precision Industry Co., Ltd. Server management system and method
CN106484031A (en) * 2015-08-26 2017-03-08 鸿富锦精密工业(深圳)有限公司 Server management system and method

Also Published As

Publication number Publication date
JP2011034161A (en) 2011-02-17

Similar Documents

Publication Publication Date Title
JP4448878B2 (en) How to set up a disaster recovery environment
US8948000B2 (en) Switch fabric management
JP6272958B2 (en) Physical network security device and control method thereof
US8856776B2 (en) Updating firmware without disrupting service
US7472308B2 (en) Storage switch system, storage switch method, management server, management method, and management program
JP5531487B2 (en) Server system and server system management method
US9298566B2 (en) Automatic cluster-based failover handling
US8032786B2 (en) Information-processing equipment and system therefor with switching control for switchover operation
JP5915086B2 (en) Switching control device, switching control method, information processing device, and switching control program
JP2008123412A (en) Computer system, system software upgrade method, and first server device
JP5561622B2 (en) Multiplexing system, data communication card, state abnormality detection method, and program
JP2010233006A (en) Server system, collective server apparatus, and mac address management method
CN110166355B (en) Message forwarding method and device
EP2360614B1 (en) Information processing device and hardware setting method for said information processing device
WO2012020481A1 (en) Management device, information processing device, control method and control program
US20170206110A1 (en) Computer System for BMC resource management
EP3648405B1 (en) System and method to create a highly available quorum for clustered solutions
JP2007304845A (en) Virtual computer system and software update method
JP2008015803A (en) Blade type computer management system
US20140317247A1 (en) Computer system, method for starting a server computer, server computer, management station, and use
JP6148039B2 (en) Information processing apparatus, BMC switching method, BMC switching program
JP2009075710A (en) Redundant system
JP5353378B2 (en) HA cluster system and clustering method thereof
US20220215001A1 (en) Replacing dedicated witness node in a stretched cluster with distributed management controllers
CN113986358B (en) Bare metal example installation method, device and equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R150 Certificate of patent or registration of utility model

Ref document number: 5531487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees