JP5613578B2 - Virtualization environment resource management configuration change system and program - Google Patents
Virtualization environment resource management configuration change system and program Download PDFInfo
- Publication number
- JP5613578B2 JP5613578B2 JP2011019545A JP2011019545A JP5613578B2 JP 5613578 B2 JP5613578 B2 JP 5613578B2 JP 2011019545 A JP2011019545 A JP 2011019545A JP 2011019545 A JP2011019545 A JP 2011019545A JP 5613578 B2 JP5613578 B2 JP 5613578B2
- Authority
- JP
- Japan
- Prior art keywords
- resource
- configuration change
- management
- information
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stored Programmes (AREA)
Description
本発明は、クラウドコンピューティング等の仮想化環境のコンピュータシステム・情報処理の技術に関し、特に、仮想化環境の仮想サーバのリソースを管理する技術、仮想化環境の仮想サーバの構成変更をスケジューリングする技術、等に関する。 The present invention relates to a computer system / information processing technology in a virtual environment such as cloud computing, and in particular, a technology for managing resources of a virtual server in a virtual environment, and a technology for scheduling a configuration change of a virtual server in a virtual environment. , Etc.
仮想化技術を利用したコンピュータシステムでは、仮想サーバに対するCPU(プロセッサ)、メモリ等のリソース(ハードウェアリソース)(その割当)を柔軟に変更することができる。また、この技術(リソース管理)に基づき、仮想サーバの構成変更をスケジューリングし、仮想サーバの構成変更の管理を行うことが考えられる。 In a computer system using a virtualization technology, resources (hardware resources) (allocation thereof) such as a CPU (processor) and a memory for a virtual server can be flexibly changed. Further, based on this technique (resource management), it is conceivable to schedule the configuration change of the virtual server and manage the configuration change of the virtual server.
上記に係わる先行技術例として、特開2007-148469号公報(特許文献1)に記載の技術がある。 As a prior art example related to the above, there is a technique described in JP 2007-148469 A (Patent Document 1).
特許文献1では、仮想リソース管理者が仮想環境のハードウェアリソースの登録を行い、仮想マシン管理者が仮想サーバの構成変更の登録を行う技術が記載されている。 Patent Document 1 describes a technique in which a virtual resource administrator registers hardware resources in a virtual environment, and a virtual machine administrator registers a configuration change of a virtual server.
前記特許文献1に記載の技術では、登録された構成変更が変更処理実施前にキャンセルされたり、電源が入っていない仮想サーバが存在したりすると、実際のハードウェアリソースには空きが発生し、効率的にハードウェアリソースが利用できていない可能性がある。 In the technique described in Patent Document 1, if a registered configuration change is canceled before the change process is performed or there is a virtual server that is not turned on, an actual hardware resource is vacant, Hardware resources may not be used efficiently.
上記のように従来技術では、仮想化環境(仮想サーバ)のリソース、及び構成変更に関して、効率性の点で改善の余地がある。 As described above, in the related art, there is room for improvement in terms of efficiency with respect to the resources of the virtual environment (virtual server) and the configuration change.
以上を鑑み、本発明の主な目的は、仮想化環境(仮想サーバ)のリソースの管理(割当や利用状況の把握・予測・予約など)、及び当該リソース管理に基づく仮想サーバの構成変更の管理(登録・取消・スケジューリング等)に係わり、仮想化環境のリソースを効率的に利用することができ、またより多くの仮想サーバを使用可能にできる技術を提供することである。 In view of the above, the main object of the present invention is to manage resources in a virtual environment (virtual server) (such as allocation, use status grasping / prediction / reservation), and management of virtual server configuration changes based on the resource management. It is related to (registration / cancellation / scheduling, etc.), and is to provide a technology that can efficiently use resources of a virtual environment and can use more virtual servers.
上記目的を達成するため、本発明の代表的な形態は、仮想化環境(仮想サーバ)のリソースの管理(割当や利用状況の把握・予測・予約など)、及び当該リソース管理に基づく仮想サーバの構成変更の管理(登録・取消・スケジューリング等)に係わる、コンピュータシステム(仮想化環境リソース管理構成変更システム)及びプログラム等であって、以下に示す構成を有することを特徴とする。 In order to achieve the above object, a representative form of the present invention is to manage resources of a virtual environment (virtual server) (such as allocation, use status grasping / prediction / reservation), and a virtual server based on the resource management. A computer system (virtual environment resource management configuration change system), a program, etc. related to configuration change management (registration, cancellation, scheduling, etc.), characterized by having the following configuration.
本発明のシステムでは、仮想化環境(仮想サーバ)のリソース管理及び構成変更管理の情報処理において、過去(実績)の仮想サーバのリソースの使用量などの情報をもとに、将来の仮想サーバのリソースの使用量などを予測し、これをもとに効率的に仮想サーバのリソース(その割当)を予約し、対応して仮想サーバの構成変更(そのスケジューリング)を行う。 In the system of the present invention, in the information processing of the resource management and configuration change management of the virtual environment (virtual server), based on the information such as the resource usage of the past (actual) virtual server, the future virtual server The amount of resource used is predicted, based on which the virtual server resource (its allocation) is efficiently reserved, and the configuration of the virtual server is changed (scheduled) accordingly.
本システムでは、仮想化環境のリソース(ハードウェアリソース)の使用量・使用率などの情報を収集・取得してリソース管理DBに蓄積し、蓄積されたリソース使用率及び仮想サーバリソース予約値などの情報をもとに、仮想化環境のリソースの空き量を予測する。そして、本システムでは、仮想サーバの構成変更の登録時には、上記予測された空き量を確認し、当該構成(構成変更)のための必要量に比べて空きがある場合、当該構成変更のスケジューリングを行う。そして、当該スケジューリングされた日時(時刻)になると、本システムにより、仮想サーバの構成変更が自動的に実施される。 In this system, information such as the usage and usage rate of resources (hardware resources) in the virtualization environment is collected and acquired and accumulated in the resource management DB. The accumulated resource usage rate, virtual server resource reservation value, etc. Based on the information, the free space of the virtual environment is predicted. In this system, when the configuration change of the virtual server is registered, the predicted free space is confirmed, and if there is a free space compared with the necessary amount for the configuration (configuration change), the configuration change is scheduled. Do. Then, when the scheduled date and time (time) is reached, the configuration of the virtual server is automatically changed by this system.
本システム形態は、例えば、仮想化環境の仮想サーバのリソースの利用状況を収集し当該情報をリソース管理DBに蓄積する収集機能と、リソース管理DBの情報と、構成変更管理DBの情報とを用いて、リソースの予約状況を更新し、当該情報をリソース予約管理DBに登録する更新機能と、リソース予約管理DBの情報を用いてリソースの予約状況を確認し、仮想化環境の仮想サーバの構成変更の情報を構成変更管理DBに登録する登録機能と、構成変更管理DBの情報を用いて、構成変更のスケジューリング及び当該スケジュールに基づく仮想化環境に対する構成変更の実行を行うスケジューリング機能とを有する。更新機能は、リソース管理DB内の仮想化環境の過去のリソースの使用率と、仮想サーバのリソースの予約状況と、を含む情報を用いて、仮想化環境のリソースの空き量の予測値を算出し、当該予測値及び当該予測値に応じたリソースの予約値を含む情報をリソース予約管理DBに登録してリソースの予約状況を更新する。登録機能は、リソース予約管理DB内の予測値及び予約値を含む情報を用いて、構成変更のための空きがある場合は、当該構成変更を可能と判断し、当該構成変更の情報を構成変更管理DBに登録する。 This system form uses, for example, a collection function that collects the resource usage status of a virtual server in a virtual environment and stores the information in the resource management DB, information in the resource management DB, and information in the configuration change management DB. Update the resource reservation status, check the resource reservation status using the update function that registers the information in the resource reservation management DB and the information in the resource reservation management DB, and change the configuration of the virtual server in the virtual environment A registration function for registering the information in the configuration change management DB, and a scheduling function for performing configuration change scheduling and execution of configuration change for the virtual environment based on the schedule using the information in the configuration change management DB. The update function calculates the predicted value of the free space of the virtual environment resource using information including the past resource usage rate of the virtual environment in the resource management DB and the reservation status of the virtual server resource Then, information including the predicted value and the reserved value of the resource corresponding to the predicted value is registered in the resource reservation management DB to update the resource reservation status. The registration function uses information including the prediction value and the reservation value in the resource reservation management DB, and determines that the configuration change is possible when there is a space for the configuration change, and changes the configuration change information. Register in the management DB.
本発明の代表的な形態によれば、仮想化環境(仮想サーバ)のリソースの管理(割当や利用状況の把握・予測・予約など)、及び当該リソース管理に基づく仮想サーバの構成変更の管理(登録・取消・スケジューリング等)に係わり、仮想化環境のリソースを効率的に利用することができ、またより多くの仮想サーバを使用可能にできる。 According to a typical embodiment of the present invention, management of resources in a virtual environment (virtual server) (such as allocation, usage status grasping / prediction / reservation), and management of virtual server configuration change based on the resource management ( (Registration / Cancellation / Scheduling, etc.), the resources of the virtual environment can be used efficiently, and more virtual servers can be used.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.
[システム構成(1)]
図1は、本発明の一実施の形態のシステム1を含むコンピュータシステム全体の構成例を示している。図1のコンピュータシステム全体は、本システム1(仮想化環境リソース管理構成変更システム)1と、クライアントPC2と、仮想化環境3(仮想サーバ4を含む)とを有しこれらが接続される構成である。
[System configuration (1)]
FIG. 1 shows a configuration example of an entire computer system including a system 1 according to an embodiment of the present invention. The entire computer system in FIG. 1 has a system 1 (virtual environment resource management configuration change system) 1, a client PC 2, and a virtual environment 3 (including a virtual server 4) connected to each other. is there.
本実施の形態のシステム1(仮想化環境リソース管理構成変更システム)は、仮想化環境3(仮想サーバ4)のリソース管理、及び仮想化環境3(仮想サーバ4)の構成変更の管理を行う機能を備えるシステムであり、対応する本実施の形態のプログラム等に従って特徴的な処理を行う。なお、リソース管理と構成変更管理とを別のシステムとして構成して連携する形態としてもよい。 The system 1 (virtual environment resource management configuration change system) according to the present embodiment has a function for managing resources of the virtual environment 3 (virtual server 4) and managing configuration changes of the virtual environment 3 (virtual server 4). And performs characteristic processing according to the corresponding program of the present embodiment. Note that resource management and configuration change management may be configured as different systems and linked.
本システム1は、仮想サーバ構成変更登録機能10(「登録機能」と略す)、仮想サーバ構成変更取消機能13(「取消機能」)、リソース予約管理DB14、リソース予約状況更新機能15(「更新機能」)、リソース管理DB16(リソース利用状況管理DB)、仮想化環境リソース収集機能17(「収集機能」)、構成変更管理DB18、仮想サーバ構成変更スケジューリング機能19(「スケジューリング機能」)、等を有する構成である。登録機能10は、リソース予約状況確認機能11(「確認機能」)、構成変更情報登録機能12、を含む構成である。各機能(処理部)はソフトウェアプログラム処理などで実現される。
The system 1 includes a virtual server configuration change registration function 10 (abbreviated as “registration function”), a virtual server configuration change cancellation function 13 (“cancel function”), a resource
クライアントPC2は、本システム1を操作(アクセス・利用)するクライアントのPC(端末等)であり、管理者ユーザなどが操作し、プロセッサ、メモリ、ディスク、通信インタフェース装置、入力装置、出力装置などの一般的な技術により構成される。 The client PC 2 is a PC (terminal or the like) of a client that operates (accesses / uses) the system 1, and is operated by an administrator user or the like, such as a processor, a memory, a disk, a communication interface device, an input device, and an output device. Comprised of general techniques.
仮想化環境3は、本システム1がリソース管理及び構成変更などを行う対象となる仮想化環境であり、当該仮想化環境3内(上)で稼働する複数の各々の仮想サーバ4(図1では例えば#1〜#3の3つ)を有する。 The virtualization environment 3 is a virtualization environment for which the system 1 performs resource management, configuration change, and the like, and each of the plurality of virtual servers 4 (in FIG. 1) running in the virtualization environment 3 (upper). For example, three of # 1 to # 3).
登録機能10は、クライアントPC2からの要求(r1)に従い、構成変更の登録を行う機能を有する。また、取消機能13は、クライアントPC2からの要求(r2)に従い、(未実行の)構成変更の取消(e1)を行う機能を有する。これらの構成変更(その情報)の登録・取消は、構成変更管理DB18に格納(反映)される。
The
収集機能17は、仮想化環境3で稼働する仮想サーバ4のリソース利用状況(その情報)を定期的に収集・取得し、リソース管理DB16に蓄積する(a1,a2)。
The
更新機能15は、リソース管理DB16に蓄積されたリソース利用状況(その情報)をもとに、仮想化環境3のリソースの空き量の予測値を算出し、リソース予約管理DB14に登録する(b1,b2)。
The
登録機能10内の確認機能11は、リソース予約管理DB14に登録された上記予測値をもとに、構成変更の可否を判断する(c1)。ここで確認機能11は、上記予測値が必要量(当該構成変更のための必要量)を上回っている場合(即ち構成変更のための空きが十分にあると予測される場合)は、当該構成変更が可能であると判断する。そしてこの判断に対応して、構成変更情報登録機能12により、構成変更管理DB18に対して、変更指示(当該構成変更の指示情報)を登録する(c2)。
The
スケジューリング機能19は、構成変更管理DB18に登録された内容をもとに、仮想化環境3の仮想サーバ4の構成変更のスケジューリング及び当該スケジュールに基づいた構成変更実行処理を行う(d1,d2)。
The
[システム構成(2)]
図2は、図1の本システム1を含むシステム全体のハードウェア・ソフトウェアに関する構成例を示す。ネットワーク90(インターネット等)上に、本システム1を構成するコンピュータ100(物理的なサーバ装置など)、クライアントPC2、仮想化環境3を構成する1つ以上のコンピュータ300(物理的なサーバ装置など)及びストレージ80等が接続されている。コンピュータ100では、本システム1の各機能(10,13,15,17,19)及び各管理DB(14,16,18)等が構成される。なおこれに限らず、同じコンピュータ上に本システム1と仮想化環境3が構成される形態などとしてもよい。また管理DB等の各種データは、ネットワーク90上の他のサーバ装置やストレージ等に存在してもよい。
[System configuration (2)]
FIG. 2 shows a configuration example relating to hardware and software of the entire system including the system 1 of FIG. On a network 90 (such as the Internet), a computer 100 (such as a physical server device) configuring the system 1, a client PC 2, and one or more computers 300 (such as a physical server device) configuring the virtual environment 3 And a
本システム1のコンピュータ100は、プロセッサ101、メモリ102、ディスク103、入力装置104、出力装置105、通信インタフェース装置106等がバス等で接続される構成である。ディスク103には、本システム1の上記各機能を(クライアントPC2に対する)サービスとして実現するための本実施の形態のプログラム(機能プログラム)111、及び管理DB112(上記各管理DB(14,16,18)を含む)等のデータが格納されている。プロセッサ101は、必要に応じてディスク103からメモリ102上にプログラム111のコード(機能コード)113や管理DB112のデータを読み出して実行することにより上記各機能の処理を実現する。
The computer 100 of the system 1 has a configuration in which a
仮想化環境3のコンピュータ300は、ハードウェア301、ハイパーバイザ302(仮想マシン制御プログラム等)、管理用OS303、複数の仮想サーバ304(図1の4に対応)、等を有する構成である。ハードウェア301は、CPU、メモリ、ディスク等の公知要素を含む。コンピュータ300は、例えばハイパーバイザ方式で仮想サーバ4を稼働させる場合、ハードウェア301上でハイパーバイザ302が稼働し、ハイパーバイザ302上で管理用OS303及び複数の仮想サーバ304を稼働する。ハイパーバイザ302は、ハードウェア301のリソース(CPU、メモリ等)を仮想化して使用することにより、複数の仮想サーバ304を稼働させる制御を行う。ストレージ80は、コンピュータ300に接続または内蔵されるデータ格納手段である。
The computer 300 in the virtualization environment 3 includes
なお図2の例(ハイパーバイザ方式)に限らず仮想化環境3(クラウドコンピューティングシステム等)を構成してもよい。複数の各々のサーバ装置に対して仮想サーバ4を割り当ててもよい。
Note that the virtual environment 3 (such as a cloud computing system) may be configured without being limited to the example of FIG. 2 (hypervisor method). The
[登録機能]
図3は、仮想サーバ構成変更登録機能10{11,12}の動作・処理例を示す(S200等は処理ステップを表す)。
[Registration function]
FIG. 3 shows an operation / processing example of the virtual server configuration change registration function 10 {11, 12} (S200 and the like represent processing steps).
(S200) 登録機能10は、クライアントPC2からの構成変更の依頼(r1)を受け付ける。当該依頼(r1)を受けた際、登録機能10の確認機能11は、リソース予約管理DB14内の情報をもとに、リソースの空き状況を確認する。上記リソース予約管理DB14内の情報として、仮想化環境3のリソース(CPU及びメモリ等)の予測空き容量(予約に関係する空きリソース量の予測値)などを有する。
(S200) The
S200の確認で、クライアントPC2(管理者ユーザ等)で指定された期間(対象とする日にち等)に、リソースに空きがある場合(S200−Y)は、S201の仮想サーバ構成変更スケジュール登録の処理を行う。即ち、登録機能10の構成変更情報登録機能12により、構成変更管理DB18に、構成変更内容とそのスケジュール等を含む情報を登録する(f1)。
In the confirmation in S200, if there is a free resource (S200-Y) in the period (target date, etc.) designated by the client PC 2 (administrator user, etc.), the virtual server configuration change schedule registration process in S201 I do. That is, the configuration change
次に、S202では、上記S201の登録に基づき、更新機能15により、リソース予約管理DB14内の予約状況を更新する(f2)。
Next, in S202, the reservation status in the resource
[取消機能]
仮想サーバ構成変更取消機能13の動作・処理例は以下である。取消機能13は、クライアントPC2からの構成変更取消の要求(r2)を受け付ける。当該要求(r2)を受けた際、取消機能13は、仮想サーバ構成変更スケジュール削除処理において、構成変更管理DB18内に登録されている該当の(未実行の)構成変更のスケジュール(その情報)を削除することにより、(未実行の)構成変更の取消を行う(e1)。また、上記処理によって取り消された構成変更に対応した割当予定であったリソース量の分は、更新機能15のリソース予約状況更新処理により、リソース予約管理DB14内の空き量に対して追加される(f2)。
[Cancel function]
An example of the operation / processing of the virtual server configuration
[収集機能]
図4は、仮想化環境リソース収集機能17の動作・処理例を示す。S400で、収集機能17は、仮想化環境3内で動作する各々の仮想サーバ4の、リソース(CPU、メモリ等)の使用量・使用率などの情報を取得・収集し、S401で、当該収集情報を、リソース管理DB16内(図6のテーブル)に蓄積する。この収集・蓄積の処理の後、S402で、本機能(17)の終了指定の有無を判定し、終了指示が無い場合(N)は、S403で、一定期間スリープして次回の収集時刻まで待機し、S400から、再度、収集・蓄積の処理を同様に繰り返し行う。S402で終了指示が有る場合(Y)は、本機能(17)の処理を終了する。
[Collection function]
FIG. 4 shows an operation / processing example of the virtualization environment
[更新機能]
図5は、リソース予約状況更新機能15の動作・処理例を示す。更新機能15は、将来の空きリソース量の予測値を算出し、当該情報をリソース管理DB16内(図7のテーブル)に格納する処理を行う。
[Update function]
FIG. 5 shows an operation / processing example of the resource reservation
S500〜S505の処理単位では、本システム1で指定(例えばクライアントPC2から設定)された日数(期間等)の分、S501〜S504の処理を繰り返し、これにより上記の予測値(T)を算出する。即ち対象の日にち毎の予測値(T)を算出する。S506では更新機能15が終了かどうかを判定し、終了でない場合(N)は、S507で、次回の更新日時(時刻)まで待機し、更新日時ごとに同様の処理を繰り返す。
In the processing units of S500 to S505, the processing of S501 to S504 is repeated for the number of days (period etc.) designated (for example, set from the client PC 2) in the present system 1, thereby calculating the predicted value (T). . That is, a predicted value (T) for each target date is calculated. In S506, it is determined whether or not the
用語定義及び説明上の記号として以下とする:
M:仮想サーバ4に割り当てられたリソース量の和
N:仮想サーバ4のリソース使用量の和
P:仮想サーバ4のリソース割当値に対する平均使用率(使用率の平均値)(P=N÷M)
Q:仮想サーバ4のリソース予約値の和
R:仮想サーバ4のリソース使用量の予測値(R=P×Q)
S:仮想化環境3のハードウェアリソース量
T:仮想化環境3のハードウェアリソースの空き量の予測値(T=S−R)。
The following terms are used in terms and definitions:
M: Sum of the amount of resources allocated to the virtual server 4 N: Sum of the amount of resource usage of the virtual server 4 P: Average usage rate (average value of usage rate) with respect to the resource allocation value of the virtual server 4 (P = N ÷ M )
Q: Sum of resource reservation values of virtual server 4 R: Predicted value of resource usage of virtual server 4 (R = P × Q)
S: Hardware resource amount of virtual environment 3 T: Predicted value of free space of hardware resource of virtual environment 3 (T = SR).
本機能(15)に係わる処理の全体において、上記の予測値(T)の算出式は、
T=S−R=S−(P×Q)=S−(N÷M×Q)、となる。
In the entire processing related to this function (15), the calculation formula of the predicted value (T) is as follows.
T = S−R = S− (P × Q) = S− (N ÷ M × Q).
S501では、[仮想サーバ4のリソース割当値に対する平均使用率](P)を算出する。このPの算出の仕方としては、[仮想サーバ4のリソース使用量の和](N)を[仮想サーバ4に割り当てられたリソース量の和](M)で割ることにより(P=N÷M)、予測値算出日時点での当該使用率(P)を求める。 In S501, [average usage rate for resource allocation value of virtual server 4] (P) is calculated. As a method of calculating this P, the [sum of the resource usage of the virtual server 4] (N) is divided by the [sum of the resource amount allocated to the virtual server 4] (M) (P = N ÷ M ), The usage rate (P) as of the predicted value calculation date is obtained.
次にS502で、[仮想サーバ4のリソース使用量の予測値](R)を算出する。このRの算出の仕方としては、上記S501で求めた平均使用率(P)と、[仮想サーバ4のリソース予約値の和](Q)とを掛けることにより(R=P×Q)、日にち単位での当該リソース使用量予測値(R)を求める。ハードウェアリソースとは例えばCPU,メモリである。 In step S502, [the predicted value of the resource usage of the virtual server 4] (R) is calculated. This R is calculated by multiplying the average usage rate (P) obtained in S501 by [the sum of resource reservation values of the virtual server 4] (Q) (R = P × Q). The resource usage prediction value (R) in units is obtained. The hardware resources are, for example, a CPU and a memory.
次にS503では、[仮想化環境3のハードウェアリソースの空き量の予測値](T)を算出する。このTの算出の仕方としては、[仮想化環境3のハードウェアリソース量](S)の値から、上記S502で求めたリソース使用量予測値(R)を引くことにより(T=S−R)、当該空き量予測値(T)を求める。 Next, in S503, [predicted value of free space of hardware resources of virtual environment 3] (T) is calculated. This T is calculated by subtracting the predicted resource usage (R) obtained in S502 from the value of [Hardware resource amount of virtualization environment 3] (S) (T = SR). ) To determine the estimated free space value (T).
次にS504では、上記S503で求めた空き量予測値(T)を、リソース予約管理DB14内のテーブル(図7、仮想化環境リソース予約管理テーブル)に登録する。 Next, in S504, the estimated free space value (T) obtained in S503 is registered in a table in the resource reservation management DB 14 (FIG. 7, virtual environment resource reservation management table).
上記空き量予測値(T)の算出に関する具体例は以下である。図9は本例の補足のイメージを示す。(A)は現在または過去(実績)である第1の日時(構成変更前)、(B)は将来(予測・予約)である第2の日時(構成変更後)、の割当量や使用量を示す。例えば、CPUリソースに関して4GHzを持つ仮想化環境3において、0.5GHz単位で割り当てられた仮想サーバ4が3つ(例えば#1〜#3)ある場合を考える(メモリリソース等に関しても同様の考え方である)。仮想化環境3のCPUリソース量=4GHz、仮想サーバ4単位(1仮想サーバあたり)のCPUリソース割当量=0.5GHz,割当済みの仮想サーバ4のCPUリソース割当量の和=0.5×3=1.5GHzである。
A specific example relating to the calculation of the predicted free space value (T) is as follows. FIG. 9 shows a supplementary image of this example. (A) is the current date or past (actual) first date and time (before configuration change), and (B) is the future (prediction / reservation) second date and time (after configuration change), the allocated amount and usage amount. Indicates. For example, in the virtualization environment 3 having 4 GHz for CPU resources, consider the case where there are three virtual servers 4 (for example, # 1 to # 3) allocated in 0.5 GHz units (the same concept applies to memory resources and the like). is there). CPU resource amount of the virtual environment 3 = 4 GHz, CPU resource allocation amount per virtual server 4 (per virtual server) = 0.5 GHz, sum of CPU resource allocation amounts of the allocated
この場合、仮想サーバ4のCPUリソース割当量から算出される空き量(空きCPUリソース量)は、4−1.5=2.5GHzである。ここで上記3つの仮想サーバ4のCPU使用量の合計が例えば1GHzになっている状態であるとする。3つでの使用率(1つあたりの平均使用率)としては、1÷1.5=67%である。すると、仮想化環境3(CPUリソース)全体での空きとしては、4−1=3GHzがある。
In this case, the free amount (free CPU resource amount) calculated from the CPU resource allocation amount of the
上記を第1の日時の第1の構成(構成変更)の状態とする。そして例えばその1週間後の第2の日時から、上記3つのうち1つの仮想サーバ4(例えば#1)のCPU(そのリソース割当)を、前記0.5GHzから1GHzに構成変更する場合(リソース予約及び構成変更スケジューリング)を考える。この場合、上記同様に、割当量(3つ分では0.5×2+1.0=2GHz)から算出される空き量は、4−2=2GHzである。ここで、第2の日時でも使用率が1÷1.5=67%であるとする(第1の日時と同様の使用率であると予測(仮定)する)。すると、予測使用量は、2GHz×67%=1.34GHzとなり、仮想化環境3(CPUリソース)全体における予測空き量(空きCPUリソース量予測値)は、4−1.34=2.66GHzとなる。 The above is the state of the first configuration (configuration change) on the first date and time. For example, when the CPU (its resource allocation) of one of the three virtual servers 4 (for example, # 1) is changed from 0.5 GHz to 1 GHz from the second date and time one week later (resource reservation) And configuration change scheduling). In this case, similarly to the above, the free space calculated from the allocated amount (0.5 × 2 + 1.0 = 2 GHz for three) is 4-2 = 2 GHz. Here, it is assumed that the usage rate is also 1 ÷ 1.5 = 67% at the second date and time (predicted (assumed) that the usage rate is the same as that of the first date and time). Then, the predicted usage amount is 2 GHz × 67% = 1.34 GHz, and the predicted free space amount (free CPU resource amount predicted value) in the entire virtualization environment 3 (CPU resource) is 4-1.34 = 2.66 GHz. Become.
上記例を前述の予測値(T)の算出式で当て嵌めると、T=S−R=S−(P×Q)=S−(N÷M×Q)=4−(1÷1.5×2)≒2.66([GHz])となる。 When the above example is applied by the calculation formula for the predicted value (T), T = SR = S- (P * Q) = S- (N / M * Q) = 4- (1 / 1.5). × 2) ≈2.66 ([GHz]).
本システム1(更新機能15)は、上記予測(予測量)に応じて、構成変更のためのリソースの予約(予約量)を捉え、これに対応してリソース予約状況を更新する。上記例の仮想サーバ4のCPUリソース割当の構成変更に関しては、全体のうち、使用の予測量が1.34GHzで、それに対応した空き量が2.66GHzであり、予約量を2.0GHzとしてリソース予約状況を更新する。
The system 1 (update function 15) captures resource reservation (reservation amount) for configuration change according to the prediction (prediction amount), and updates the resource reservation status in response to this. Regarding the configuration change of the CPU resource allocation of the
[スケジューリング]
仮想サーバ構成変更スケジューリング機能19の動作・処理例は以下である。スケジューリング機能19は、構成変更管理DB18内(図8のテーブル)の登録内容(変更指示)によって、構成変更の対象となる仮想サーバ4(仮想サーバ名)、及びその割当リソース量などを設定する。そしてスケジューリング機能19は、当該設定(スケジュール)に基づき仮想化環境3に対して構成変更処理(作業)を実行する。
[Scheduling]
An example of the operation and processing of the virtual server configuration
[リソース管理テーブル]
図6は、リソース管理DB16内に存在する、仮想化環境(仮想サーバ)−リソース管理テーブルの例を示す。項目として、「日時」、「仮想化サーバ名」、「CPU割当量」、「CPU使用量」、「CPU使用率」、「メモリ割当量」、「メモリ使用量」、「メモリ使用率」、等がある。本テーブルでは、収集機能17で収集されたリソース使用量の情報については、収集した日時と共に、当該時点の使用量を蓄積している。なおCPU量(処理性能)は例えばGHz単位、メモリ量(容量)は例えばGbyte単位などである。
[Resource management table]
FIG. 6 shows an example of a virtual environment (virtual server) -resource management table existing in the
[リソース予約管理テーブル]
図7は、リソース予約管理DB14内に存在する、仮想化環境(仮想サーバ)−リソース予約管理テーブルの例を示す。項目として、「日にち」、「仮想化環境CPU」(総量)、「CPU予約量」、「CPU予測空き量」、「仮想化環境メモリ」(総量)、「メモリ予約量」、「メモリ予測空き量」、等がある。本テーブルには、仮想化環境3のCPU,メモリ等のリソース(ハードウェアリソース)の量に加え、日々の予約量、及び図5で示した予測空き量などの情報を格納する。
[Resource reservation management table]
FIG. 7 shows an example of a virtual environment (virtual server) -resource reservation management table existing in the resource
[構成変更管理テーブル]
図8は、構成変更管理DB18内に存在する、仮想化環境(仮想サーバ)−構成変更管理テーブルの例を示す。項目として、「構成変更日時」、「申請者」、「仮想サーバ名」、「CPU割当量」、「メモリ割当量」、等がある。本テーブルでは、管理者ユーザ等の操作に基づいてクライアントPC2から入力された、構成変更日時、申請者(管理者ユーザ名)、構成変更の対象となる仮想サーバ名、対応するCPU・メモリの割当量、等の情報を格納する。
[Configuration change management table]
FIG. 8 shows an example of a virtualization environment (virtual server) -configuration change management table that exists in the configuration
[効果等]
以上説明したように、本実施の形態のシステム1によれば、仮想化環境3(仮想サーバ4)の構成変更の登録・スケジューリング等を行う際に、仮想サーバ4のリソースの予約状況と過去のリソースの利用状況から、(実際的な)リソースの空き量を予測し、当該予測量より、多くのリソースを仮想サーバ4(その割当)に予約することを可能とする。これにより、仮想化環境3のリソースを効率的に利用することができ、より多くの仮想サーバ4を使用することができる。
[Effects]
As described above, according to the system 1 of the present embodiment, when the registration / scheduling of the configuration change of the virtualization environment 3 (virtual server 4) is performed, the resource reservation status of the
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.
本発明は、例えばアウトソーシングサービスにおける仮想化ホスティングサービスの運用業務、仮想化技術を利用して構築される仮想サーバの構成変更業務、などに利用できる。 The present invention can be used for, for example, a virtual hosting service operation business in an outsourcing service, a configuration change business of a virtual server constructed using a virtualization technology, and the like.
1…本システム(仮想化環境リソース管理構成変更システム)、2…クライアントPC、3…仮想化環境、4…仮想サーバ、10…仮想サーバ構成変更登録機能(仮想サーバ構成変更管理機能)、11…リソース予約状況確認機能、12…構成変更情報登録機能、13…仮想サーバ構成変更取消機能、14…リソース予約管理DB、15…リソース予約状況更新機能、16…リソース管理DB(リソース利用状況管理DB)、17…仮想化環境リソース収集機能、18…構成変更管理DB、19…仮想サーバ構成変更スケジューリング機能、80…ストレージ、90…ネットワーク、100,300…コンピュータ。 DESCRIPTION OF SYMBOLS 1 ... This system (virtualization environment resource management configuration change system), 2 ... Client PC, 3 ... Virtualization environment, 4 ... Virtual server, 10 ... Virtual server configuration change registration function (virtual server configuration change management function), 11 ... Resource reservation status confirmation function, 12 ... Configuration change information registration function, 13 ... Virtual server configuration change cancellation function, 14 ... Resource reservation management DB, 15 ... Resource reservation status update function, 16 ... Resource management DB (resource usage status management DB) , 17 ... Virtualization environment resource collection function, 18 ... Configuration change management DB, 19 ... Virtual server configuration change scheduling function, 80 ... Storage, 90 ... Network, 100, 300 ... Computer.
Claims (6)
前記コンピュータの情報処理により実現される機能として、
前記仮想化環境の仮想サーバのリソースの利用状況の情報を収集し当該情報としてリソースの割当量、使用量及び使用率を含む情報をリソース管理DBに蓄積する収集機能と、
前記リソース管理DBの情報と、前記仮想化環境の仮想サーバのリソースを含む構成に関する構成変更の情報が管理される構成変更管理DBの情報とを用いて、前記仮想化環境の仮想サーバの構成変更のための前記リソースの予約状況の情報としてリソースの予約量及び空き量の予測値を含む情報を更新し、当該更新した情報をリソース予約管理DBに登録する更新機能と、
前記リソース予約管理DBの情報を用いて前記リソースの予約状況を確認し、前記仮想化環境の仮想サーバの構成変更の情報を前記構成変更管理DBに登録する登録機能と、
前記構成変更管理DBの情報を用いて、前記構成変更のスケジューリング及び当該スケジュールに基づく前記仮想化環境に対する構成変更の実行を行うスケジューリング機能と、を有し、
前記更新機能は、前記リソース管理DB内の前記仮想化環境の過去のリソースの使用率と、前記仮想サーバのリソースの予約状況の情報と、を含む情報を用いて、前記仮想化環境のリソースの空き量の予測値を算出し、当該予測値及び当該予測値に応じたリソースの予約量を含む情報を前記リソース予約管理DBに登録して前記リソースの予約状況の情報を更新し、
前記登録機能は、前記リソース予約管理DB内の前記予測値及び予約量を含む情報を用いて、前記構成変更のためのリソースの空きがある場合は、当該構成変更を可能と判断し、当該構成変更の情報を前記構成変更管理DBに登録すること、を特徴とする仮想化環境リソース管理構成変更システム。 A system for performing resource management and configuration change management for virtual servers in a virtualized environment using computer information processing,
As a function realized by information processing of the computer,
A collection function for collecting resource usage information of virtual servers in the virtualization environment and storing information including resource allocation, usage, and usage as resource information in a resource management DB;
The configuration change of the virtual server of the virtual environment using the information of the resource management DB and the information of the configuration change management DB for managing the information of the configuration change regarding the configuration including the resource of the virtual server of the virtual environment. an update function which the as information for availability of the resource update information including the predicted value of the resource reservation amount and the free volume, and registers the updated information to the resource reservation management DB for,
A registration function for confirming the reservation status of the resource using the information of the resource reservation management DB, and registering the configuration change information of the virtual server of the virtualization environment in the configuration change management DB;
Using the information of the configuration change management DB, and having a scheduling function for performing the configuration change scheduling and the configuration change for the virtualization environment based on the schedule,
The update function uses information including a resource usage rate of the virtual environment in the resource management DB and information on a reservation status of the resource of the virtual server, and updates the resource of the virtual environment. Calculate a predicted value of free space, register the information including the predicted value and the resource reservation amount corresponding to the predicted value in the resource reservation management DB, and update the resource reservation status information ,
The registration function uses the information including the predicted value and the reservation of the resource reservation management within DB, if there is a free resource for the configuration change, it is determined that allows the configuration change, the configuration A virtualization environment resource management configuration change system characterized by registering change information in the configuration change management DB.
前記更新機能による前記予測値を算出する処理において、
前記仮想サーバに対して割り当てられたリソース量の和(M)と、前記仮想サーバのリソースの使用量の和(N)とから、前記仮想サーバのリソースの割当量に対する平均使用率(P=N÷M)を算出する処理と、
前記平均使用率(P)と、前記仮想サーバのリソースの予約量の和(Q)とから、前記仮想サーバのリソースの使用量の予測値(R=P×Q)を算出する処理と、
前記予測値(R)と、前記仮想化環境のリソースの量(S)とから、前記仮想化環境のリソースの空き量の予測値(T=S−R)を算出する処理と、を行うこと、を特徴とする仮想化環境リソース管理構成変更システム。 The virtual environment resource management configuration change system according to claim 1,
In the process of calculating the predicted value by the update function,
From the sum (M) of the resource amount allocated to the virtual server and the sum (N) of the resource usage of the virtual server, the average usage rate (P = N) with respect to the resource allocation amount of the virtual server ÷ M) to calculate,
The average utilization and (P), wherein from the sum of the reservation of the virtual server resource (Q), the process of calculating predicted values of the resource usage of the virtual server (R = P × Q),
A process of calculating a predicted value (T = S−R) of the free space of the virtual environment resource from the predicted value (R) and the virtual environment resource amount (S). And a virtual environment resource management configuration change system.
前記収集機能は、前記仮想化環境のCPU及びメモリを含むハードウェアのリソースの使用量及び使用率の情報を定期的に取得し、前記リソース管理DB内のテーブルに蓄積する処理を行うこと、を特徴とする仮想化環境リソース管理構成変更システム。 The virtual environment resource management configuration change system according to claim 1,
The collection function periodically acquires information on the usage and usage rate of hardware resources including the CPU and memory of the virtualization environment, and performs a process of storing the information in a table in the resource management DB. A virtual environment resource management configuration change system characterized.
前記登録機能は、前記仮想サーバの構成変更の要求に関して、前記リソース予約管理DB内の前記予測値を確認し、当該予測値が当該構成変更のための必要量を上回る場合、当該構成変更が可能であると判断し、当該構成変更の情報を前記構成変更管理DBに登録し、
前記更新機能は、上記登録に応じて前記リソース予約管理DB内の前記仮想化環境のリソースの空き量の予測値の情報を更新すること、を特徴とする仮想化環境リソース管理構成変更システム。 The virtual environment resource management configuration change system according to claim 1,
The registration function confirms the predicted value in the resource reservation management DB with respect to the configuration change request of the virtual server, and the configuration change is possible when the predicted value exceeds a necessary amount for the configuration change. The configuration change information is registered in the configuration change management DB,
The virtual environment resource management configuration change system, wherein the update function updates information on a predicted value of a free space of the virtual environment in the resource reservation management DB in accordance with the registration.
未実行の構成変更の取消の要求に応じて、前記構成変更管理DB内の該当の未実行の構成変更の情報を削除することにより当該未実行の構成変更の取消を行う取消機能を有し、
前記更新機能は、前記取消分に対応するリソース量を前記仮想化環境のリソースの空き量に追加するように前記リソース予約管理DB内の空き量の予測値の情報を更新すること、を特徴とする仮想化環境リソース管理構成変更システム。 The virtual environment resource management configuration change system according to claim 1,
In response to a request for canceling an unexecuted configuration change, the configuration change management DB has a cancel function for canceling the unexecuted configuration change by deleting information on the corresponding unexecuted configuration change,
The update function updates the information on the predicted amount of free space in the resource reservation management DB so as to add the resource amount corresponding to the cancellation amount to the free space of the resource of the virtual environment. A virtual environment resource management configuration change system.
前記プログラムによる処理として、
前記仮想化環境の仮想サーバのリソースの利用状況の情報を収集し当該情報としてリソースの割当量、使用量及び使用率を含む情報をリソース管理DBに蓄積する収集処理と、
前記リソース管理DBの情報と、前記仮想化環境の仮想サーバのリソースを含む構成に関する構成変更の情報が管理される構成変更管理DBの情報とを用いて、前記仮想化環境の仮想サーバの構成変更のための前記リソースの予約状況の情報としてリソースの予約量及び空き量の予測値を含む情報を更新し、当該更新した情報をリソース予約管理DBに登録する更新処理と、
前記リソース予約管理DBの情報を用いて前記リソースの予約状況を確認し、前記仮想化環境の仮想サーバの構成変更の情報を前記構成変更管理DBに登録する登録処理と、
前記構成変更管理DBの情報を用いて、前記構成変更のスケジューリング及び当該スケジュールに基づく前記仮想化環境に対する構成変更の実行を行うスケジューリング処理と、を有し、
前記更新処理は、前記リソース管理DB内の前記仮想化環境の過去のリソースの使用率と、前記仮想サーバのリソースの予約状況の情報と、を含む情報を用いて、前記仮想化環境のリソースの空き量の予測値を算出し、当該予測値及び当該予測値に応じたリソースの予約量を含む情報を前記リソース予約管理DBに登録して前記リソースの予約状況の情報を更新する処理を含み、
前記登録処理は、前記リソース予約管理DB内の前記予測値及び予約量を含む情報を用いて、前記構成変更のためのリソースの空きがある場合は、当該構成変更を可能と判断し、当該構成変更の情報を前記構成変更管理DBに登録する処理を含むこと、を特徴とするプログラム。 A program for executing processing for performing resource management and configuration change management for a virtual server in a virtualized environment using information processing of a computer,
As processing by the program,
A collection process for collecting resource usage information of a virtual server in the virtualization environment and storing information including resource allocation amount, usage amount and usage rate in the resource management DB as the information ;
The configuration change of the virtual server of the virtual environment using the information of the resource management DB and the information of the configuration change management DB for managing the information of the configuration change regarding the configuration including the resource of the virtual server of the virtual environment. and updating said as information for availability of the resource update information including the predicted value of the resource reservation amount and the free volume, and registers the updated information to the resource reservation management DB for,
A registration process for confirming the reservation status of the resource using the information of the resource reservation management DB, and registering the configuration change information of the virtual server of the virtualization environment in the configuration change management DB;
Using the information of the configuration change management DB, the scheduling of the configuration change and a scheduling process for executing the configuration change for the virtualization environment based on the schedule,
The update process uses information including a past resource usage rate of the virtual environment in the resource management DB and information on a reservation status of the resource of the virtual server. Including a process of calculating a predicted value of the free space, registering information including the predicted value and a resource reservation amount corresponding to the predicted value in the resource reservation management DB, and updating the resource reservation status information ,
The registration process, by using the information including the predicted value and the reservation of the resource reservation management within DB, if there is a free resource for the configuration change, it is determined that allows the configuration change, the configuration A program characterized by including a process of registering change information in the configuration change management DB.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011019545A JP5613578B2 (en) | 2011-02-01 | 2011-02-01 | Virtualization environment resource management configuration change system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011019545A JP5613578B2 (en) | 2011-02-01 | 2011-02-01 | Virtualization environment resource management configuration change system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012160045A JP2012160045A (en) | 2012-08-23 |
JP5613578B2 true JP5613578B2 (en) | 2014-10-22 |
Family
ID=46840520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011019545A Expired - Fee Related JP5613578B2 (en) | 2011-02-01 | 2011-02-01 | Virtualization environment resource management configuration change system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5613578B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101740490B1 (en) * | 2015-12-29 | 2017-05-26 | 경희대학교 산학협력단 | Proactive auto scaling system and method in cloud computing environment |
KR101809380B1 (en) * | 2016-11-29 | 2017-12-14 | 전자부품연구원 | Scheduling Method and Apparatus for a Virtual Machine based Integrated Navigation System |
JP2019101949A (en) * | 2017-12-07 | 2019-06-24 | 富士通株式会社 | Information processor, information processing system, and program |
KR101984714B1 (en) * | 2018-08-23 | 2019-05-31 | (주) 글루시스 | Vertualized resource monitoring system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4119239B2 (en) * | 2002-12-20 | 2008-07-16 | 株式会社日立製作所 | Computer resource allocation method, resource management server and computer system for executing the method |
EP1965303A4 (en) * | 2005-12-20 | 2010-04-14 | Fujitsu Ltd | Information processing apparatus, computer, resource allocation method and resource allocation program |
-
2011
- 2011-02-01 JP JP2011019545A patent/JP5613578B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012160045A (en) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ren et al. | Hopper: Decentralized speculation-aware cluster scheduling at scale | |
JP5614226B2 (en) | Virtual machine control device, virtual machine control program, and virtual machine control method | |
Ghodsi et al. | Choosy: Max-min fair sharing for datacenter jobs with constraints | |
Joseph et al. | IntMA: Dynamic interaction-aware resource allocation for containerized microservices in cloud environments | |
Zhu et al. | Scheduling stochastic multi-stage jobs to elastic hybrid cloud resources | |
CN107111517B (en) | Optimized allocation and/or generation of virtual machines for reducer tasks | |
JP5402226B2 (en) | Management apparatus, information processing system, control program for information processing system, and control method for information processing system | |
US20160210175A1 (en) | Method of allocating physical computing resource of computer system | |
JP2010282420A (en) | Management computer, resource management method, resource management program, recording medium, and information processing system | |
EP2700008A1 (en) | Scheduling map and reduce tasks of jobs for execution according to performance goals | |
Bi et al. | SLA-based optimisation of virtualised resource for multi-tier web applications in cloud data centres | |
CN106775932B (en) | Real-time workflow scheduling method triggered by random event in cloud computing system | |
Soner et al. | Integer programming based heterogeneous cpu–gpu cluster schedulers for slurm resource manager | |
US10419305B2 (en) | Visualization of workload distribution on server resources | |
Sotiriadis et al. | The inter-cloud meta-scheduling (ICMS) framework | |
JP5613578B2 (en) | Virtualization environment resource management configuration change system and program | |
CN111064746A (en) | Resource allocation method, device, equipment and storage medium | |
Yun et al. | An integrated approach to workflow mapping and task scheduling for delay minimization in distributed environments | |
Yang et al. | Multi-policy-aware MapReduce resource allocation and scheduling for smart computing cluster | |
Hung et al. | Task scheduling for optimizing recovery time in cloud computing | |
Zhou et al. | Energy-efficient speculative execution using advanced reservation for heterogeneous clusters | |
JP2009230581A (en) | Batch job control system, management node, and batch job control method | |
Malathy et al. | Performance improvement in cloud computing using resource clustering | |
JP6158751B2 (en) | Computer resource allocation apparatus and computer resource allocation program | |
Chi et al. | A game theoretical method for auto-scaling of multi-tiers web applications in cloud |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5613578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |