JP6037825B2 - Computer management system - Google Patents

Computer management system Download PDF

Info

Publication number
JP6037825B2
JP6037825B2 JP2012286630A JP2012286630A JP6037825B2 JP 6037825 B2 JP6037825 B2 JP 6037825B2 JP 2012286630 A JP2012286630 A JP 2012286630A JP 2012286630 A JP2012286630 A JP 2012286630A JP 6037825 B2 JP6037825 B2 JP 6037825B2
Authority
JP
Japan
Prior art keywords
resource
virtual machine
capacity
machine
management table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012286630A
Other languages
Japanese (ja)
Other versions
JP2014130413A (en
Inventor
雄樹 小川
雄樹 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2012286630A priority Critical patent/JP6037825B2/en
Publication of JP2014130413A publication Critical patent/JP2014130413A/en
Application granted granted Critical
Publication of JP6037825B2 publication Critical patent/JP6037825B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

本発明は、計算機システムの運用の管理に用いられる管理装置に係り、特に、物理的な計算機上に構築される仮想マシンへのリソース配分を管理する技術に関する。   The present invention relates to a management apparatus used for managing the operation of a computer system, and more particularly to a technique for managing resource allocation to virtual machines constructed on a physical computer.

近年のIT市場では、仮想化技術の発展が進んでおり、仮想化技術を用いたサービスが広く提供されている。仮想化技術を利用することで、サーバのCPUやメモリといったハードウェアリソースを論理的にプール化し、必要なだけのリソースを割り当てた仮想マシンを1つの物理マシンから複数構築することができる。例えば、特許文献1には、物理マシン上で複数の仮想マシンを稼働させ、各仮想マシンにおけるリソースの使用状況に応じて仮想マシンに対するリソースの回収・割当をすることが開示されている。   In the IT market in recent years, the development of virtualization technology is progressing, and services using the virtualization technology are widely provided. By using the virtualization technology, hardware resources such as server CPUs and memories can be logically pooled, and a plurality of virtual machines to which only necessary resources are allocated can be constructed from one physical machine. For example, Patent Document 1 discloses that a plurality of virtual machines are operated on a physical machine, and resources are collected and allocated to the virtual machines according to the resource usage status of each virtual machine.

また、仮想マシンにリソースを割当てる場合に、物理マシンが備える物理リソース以上のリソースを仮想マシンに擬似的に割当てるオーバーコミットという技術が一般的に知られている。   Further, when resources are allocated to virtual machines, a technique called overcommitment is generally known in which resources more than physical resources included in a physical machine are allocated to a virtual machine in a pseudo manner.

特開2005-309644号公報JP 2005-309644 A

仮想マシン同士でリソース配分を実施した場合に、仮想マシンに割当てるリソースが物理マシンのリソースを上回ると、仮想マシンの性能が不安定になる恐れがある。特許文献1には、このように、物理マシン上で稼働する仮想マシンへのリソースの割り当てが、物理マシンの有するリソース量を超えてしまい、仮想マシンの性能が不安定な状態となることを回避することについては述べられていない。   When resource allocation is performed between virtual machines, the performance of the virtual machine may become unstable if the resource allocated to the virtual machine exceeds the resource of the physical machine. According to Patent Document 1, it is avoided that the resource allocation to the virtual machine running on the physical machine exceeds the resource amount of the physical machine and the performance of the virtual machine becomes unstable. There is no mention of what to do.

本発明は仮想マシンへのリソース配分をする場合にこのような不安定な状態を回避するようにリソース配分を管理することを目的とする。   It is an object of the present invention to manage resource allocation so as to avoid such an unstable state when allocating resources to virtual machines.

上述の課題を解決する為に、リソース管理サーバが、物理マシンを特定する情報と、前記物理マシンのリソース容量と前記物理マシンのリソースの未割当容量とを対応付けて記憶する物理マシンリソース情報管理テーブルと、仮想マシンを特定する情報と、前記仮想マシンのリソースの容量と前記仮想マシンがある前記物理マシンを特定する情報を対応付けて記憶する仮想マシンリソース情報管理テーブルと、前記仮想マシンを特定する情報と、前記仮想マシンがリソース要求する閾値であるポリシー値を対応付けて記憶するポリシー情報管理テーブルと、前記仮想マシンの平均使用リソース容量が前記ポリシー値を超えた場合に、前記平均使用リソース容量が前記ポリシー値を下回るような割当リソース容量を算出し、前記平均使用リソース容量が前記ポリシー値を下回ることなく前記ポリシー値を維持だけるだけの余裕リソース容量のある仮想マシンから、前記追加リソース容量を確保するリソース分析部と、前記追加リソース容量が確保された場合に、前記仮想マシンのある前記物理マシンの前記未割当容量を、前記確保された追加リソース容量が超える場合に、前記物理マシンリソース情報管理テーブルの各物理マシンの前記未割当容量を参照していき、前記仮想マシンのリソース容量と前記確保された追加リソース容量を加算した容量より、前記未割当容量の方が大きくなる物理マシン上へ前記仮想マシンを移動させてリソースを配分する変更指示を出すプロビジョニング指示部とを有し、仮想環境統合管理サーバが、前記リソース管理サーバからの前記変更指示を受け取った場合に、前記物理マシンリソース情報管理テーブルの前記未割当容量から新たに前記仮想マシンに割当られたリソース容量を減じ、前記仮想マシンリソース情報管理テーブルの前記仮想マシンのリソース容量を前記新たに前記仮想マシンに割当られたリソース容量分だけ増やすように、値をそれぞれ書き換えるプロビジョニング実行部とを有する。   In order to solve the above-described problem, the resource management server manages physical machine resource information in which information for specifying a physical machine, the resource capacity of the physical machine, and the unallocated capacity of the resource of the physical machine are stored in association with each other A table, information identifying a virtual machine, a virtual machine resource information management table for storing the capacity of the virtual machine resource and information identifying the physical machine on which the virtual machine is associated, and identifying the virtual machine Information and a policy information management table that associates and stores a policy value that is a threshold value requested by the virtual machine, and the average used resource when the average used resource capacity of the virtual machine exceeds the policy value The allocated resource capacity is calculated so that the capacity is less than the policy value, and the average resource used is calculated. When a resource analysis unit that secures the additional resource capacity is secured from a virtual machine having a sufficient resource capacity to maintain the policy value without lowering the policy value, and when the additional resource capacity is secured, When the reserved additional resource capacity exceeds the unallocated capacity of the physical machine with the virtual machine, the unallocated capacity of each physical machine in the physical machine resource information management table is referred to, and A provisioning instruction unit for issuing a change instruction to move the virtual machine to a physical machine in which the unallocated capacity is larger than a capacity obtained by adding the resource capacity of the virtual machine and the reserved additional resource capacity to allocate resources. And the virtual environment integrated management server receives the change instruction from the resource management server. The resource capacity newly allocated to the virtual machine is subtracted from the unallocated capacity in the physical machine resource information management table, and the resource capacity of the virtual machine in the virtual machine resource information management table is newly A provisioning execution unit that rewrites each value so as to increase the resource capacity allocated to the virtual machine.

仮想マシンに割当てるリソースが物理マシンのリソースを上回ってしまい仮想マシンの性能が不安定になることを防ぐ。   This prevents the resources assigned to the virtual machine from exceeding the resources of the physical machine and the performance of the virtual machine from becoming unstable.

計算機システムの全体構成図である。1 is an overall configuration diagram of a computer system. 物理マシンリソース情報管理テーブルである。It is a physical machine resource information management table. 仮想マシンリソース情報管理テーブルである。It is a virtual machine resource information management table. ポリシー情報管理テーブルである。It is a policy information management table. 平均稼働情報管理テーブルである。It is an average operation information management table. 仮想マシンの稼働情報管理テーブルである。It is a virtual machine operation information management table. テナントごとの仮想マシンのリソースを自動的に最適化する方法を示すフローチャート図である。FIG. 10 is a flowchart illustrating a method for automatically optimizing virtual machine resources for each tenant. 仮想マシンのリソース平均使用率更新処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the resource average utilization rate update process of a virtual machine. 仮想マシンの追加リソース確保処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the additional resource reservation process of a virtual machine. 仮想マシンのリソース変更処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the resource change process of a virtual machine. 仮想マシンのリソース変更処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the resource change process of a virtual machine. リソース管理サーバの構成を表す図である。It is a figure showing the structure of a resource management server.

以下、本発明の実施例について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本実施例に係る計算機システムの全体構成を示す簡略化されたブロック図である。計算機システムは、管理端末1とリソース管理サーバ2と仮想環境統合管理サーバ3と仮想マシン実行サーバ4がネットワークに接続されて構成される。
リソース管理サーバ2は、仮想環境統合管理サーバ3から仮想マシンのリソース稼動情報を取得するリソース収集部5と、仮想マシンに対してリソースの追加が必要かどうかを判定し、必要な場合にはリソースの適正値を算出するリソース分析部6と、管理端末1から受け付けた仮想マシンのリソース稼動情報におけるポリシー値を設定するためのポリシー管理部7と、仮想環境統合管理サーバ3に対して、プロビジョニング指示を発行するプロビジョニング指示部8と、物理マシンのリソース情報および、テナントごとの仮想マシンのポリシー情報、リソース平均稼動情報、およびリソース情報を管理するリソース管理DBを含んで構成される。
FIG. 1 is a simplified block diagram illustrating the overall configuration of the computer system according to the present embodiment. The computer system is configured by connecting a management terminal 1, a resource management server 2, a virtual environment integrated management server 3, and a virtual machine execution server 4 to a network.
The resource management server 2 determines the resource collection unit 5 that acquires the virtual machine resource operation information from the virtual environment integrated management server 3 and whether or not the resource needs to be added to the virtual machine. The resource analysis unit 6 that calculates the appropriate value of the resource, the policy management unit 7 for setting the policy value in the resource operation information of the virtual machine received from the management terminal 1, and the provisioning instruction to the virtual environment integrated management server 3 And a resource management DB that manages physical machine resource information, virtual machine policy information, resource average operation information, and resource information for each tenant.

仮想環境統合管理サーバ3は、リソース管理サーバ2よりプロビジョニング指示を受け付け、その内容に従い仮想マシン実行サーバに対し、CPUおよびメモリのリソース量の変更を命令するプロビジョニング実行部8と、リソース管理サーバ2がテナントごとの仮想マシンの稼働情報を収集するために参照する仮想環境管理DBを含んで構成される。   The virtual environment integrated management server 3 receives a provisioning instruction from the resource management server 2, and the provisioning execution unit 8 that instructs the virtual machine execution server to change the resource amount of the CPU and the memory according to the contents, and the resource management server 2 It includes a virtual environment management DB that is referenced to collect virtual machine operation information for each tenant.

仮想マシン実行サーバ4は、仮想環境統合管理サーバ3から受け付けた命令に従い、仮想マシン実行サーバ4上に構築される論理的な計算機である仮想マシン13へのリソースの割り当て、変更を実施し、仮想マシン実行サーバ4上での仮想マシン13の動作を制御する仮想マシン制御部10を含んで構成される。仮想マシン実行サーバ4は物理的な計算機(物理マシーン)であって、いわゆるサーバ、パーソナルコンピュータ等の計算機で構成される。なお、仮想マシン13は、1台の仮想マシン実行サーバ4上で複数存在することが出来る。   The virtual machine execution server 4 assigns and changes resources to the virtual machine 13, which is a logical computer constructed on the virtual machine execution server 4, in accordance with the instructions received from the virtual environment integrated management server 3, The virtual machine control unit 10 is configured to control the operation of the virtual machine 13 on the machine execution server 4. The virtual machine execution server 4 is a physical computer (physical machine), and is configured by a computer such as a so-called server or personal computer. A plurality of virtual machines 13 can exist on one virtual machine execution server 4.

本実施例では、このように、管理端末1とリソース管理サーバ2と仮想環境統合管理サーバ3と仮想マシン実行サーバ4がネットワークに接続される構成であるが、これに限定される訳ではなく、それぞれのサーバを一つに統合したサーバー(装置)としてもよいし、それぞれの機能の場所が特定されるものではない。   In this embodiment, the management terminal 1, the resource management server 2, the virtual environment integrated management server 3, and the virtual machine execution server 4 are connected to the network as described above, but the present invention is not limited to this. It is good also as a server (apparatus) which integrated each server into one, and the place of each function is not specified.

また、本実施例では、リソース管理サーバ2と仮想環境統合サーバ3が計算機管理システムとしての役割を持つがこれに限定されるものではなく、仮想環境統合サーバ3と共に一つのサーバとして統合された装置として構成されていてもよい。   In this embodiment, the resource management server 2 and the virtual environment integration server 3 have a role as a computer management system. However, the present invention is not limited to this, and a device integrated with the virtual environment integration server 3 as one server. It may be configured as.

図12はリソース管理サーバ2の構成を表すブロック図である。リソース管理サーバ2は、CPU0201、メモリ0202、ハードディスク0203、通信制御装置0205、I/Oインタフェース0208を有してなり、通信制御装置0205を通じて、仮想環境統合管理サーバ3や、仮想マシン実行サーバ4、管理端末1に接続される。また、I/Oインタフェースを通じて、入力装置0206や出力装置0207へ接続される。リソース管理DBはハードディスク等の記憶装置に記憶される。また、リソース収集部、リース分析部、ポリシー管理部、プロビジョニング指示部はそれぞれプログラムとして実現され、これらのプログラムがCPUにより実行されることで、その機能が実現される。
<テーブル>
仮想マシンのリソースに余力がある状態の判定については詳細について後述するが、例えば仮想マシン13に仮想マシン実行サーバ4の物理的な2GBのメモリが割当てられているとすると、仮想マシン13は必ずしもその2GBのメモリ全体を使うわけではなく、仮想マシン13の負荷によりその使われる物理的なメモリ領域は変動する。この物理的なメモリ領域の使われない余剰部分が大きい場合が仮想マシン13のリソースに余裕がある場合である。
FIG. 12 is a block diagram showing the configuration of the resource management server 2. The resource management server 2 includes a CPU 0201, a memory 0202, a hard disk 0203, a communication control device 0205, and an I / O interface 0208. Through the communication control device 0205, the virtual environment integrated management server 3, the virtual machine execution server 4, Connected to the management terminal 1. Further, it is connected to the input device 0206 and the output device 0207 through the I / O interface. The resource management DB is stored in a storage device such as a hard disk. The resource collection unit, lease analysis unit, policy management unit, and provisioning instruction unit are each realized as a program, and the functions are realized by the CPU executing these programs.
<Table>
The determination of the state in which the virtual machine resource has sufficient capacity will be described in detail later. For example, if the virtual machine 13 is allocated with the physical 2 GB memory of the virtual machine execution server 4, the virtual machine 13 is not necessarily The entire 2 GB memory is not used, and the physical memory area used varies depending on the load of the virtual machine 13. A case where a surplus portion that is not used in the physical memory area is large is a case where there is a margin in the resources of the virtual machine 13.

図2は、リソース管理サーバ2が具備する物理マシンリソース情報管理テーブル112のデータ構造とデータ構成例を示す図である。物理マシンリソース情報管理テーブル112は、仮想マシン実行サーバ4ごとのリソース情報を格納するためのテーブルである。   FIG. 2 is a diagram illustrating a data structure and a data configuration example of the physical machine resource information management table 112 provided in the resource management server 2. The physical machine resource information management table 112 is a table for storing resource information for each virtual machine execution server 4.

物理マシンリソース情報管理テーブル112は、物理マシンID1121、CPUリソース1122、割当済みCPUリソース1123、未割当CPUリソース1124、メモリリソース1125、割当済みメモリリソース1126、未割当メモリリソース1127を有する。   The physical machine resource information management table 112 includes a physical machine ID 1121, a CPU resource 1122, an allocated CPU resource 1123, an unallocated CPU resource 1124, a memory resource 1125, an allocated memory resource 1126, and an unallocated memory resource 1127.

物理マシンID1121には、仮想マシン13を実行している仮想マシン実行サーバ4を識別する値(物理マシンID)が格納され、各仮想マシン実行サーバ4には、任意の物理マシンIDが一意に割り当てられる。CPUリソース1122には、物理マシンID1121に格納された物理マシンIDで識別される仮想マシン実行サーバ4が保持しているCPUリソース量が、割当済みCPUリソース1123には、当該仮想マシン実行サーバ4上で動作する1つまたは複数の仮想マシンに割り当てられているCPUリソース量の合計値が、CPU空きリソース1124には、当該仮想マシン実行サーバ4が保持するCPUリソースのうち、未使用のCPUリソース量が、メモリリソース1125には、当該仮想マシン実行サーバ4が保持しているメモリリソース量が、割当済みメモリリソース1126には、当該仮想マシン実行サーバ4上で動作する1つまたは複数の仮想マシン13に割り当てられているメモリリソース量の合計値が、メモリ空きリソース1127には、当該仮想マシン実行サーバ4が保持するメモリリソースのうち、未使用のメモリリソース量が、それぞれ格納される。   The physical machine ID 1121 stores a value (physical machine ID) for identifying the virtual machine execution server 4 executing the virtual machine 13, and an arbitrary physical machine ID is uniquely assigned to each virtual machine execution server 4. It is done. The CPU resource 1122 includes the CPU resource amount held by the virtual machine execution server 4 identified by the physical machine ID stored in the physical machine ID 1121, and the allocated CPU resource 1123 includes the CPU resource amount on the virtual machine execution server 4. The total CPU resource amount allocated to one or a plurality of virtual machines operating in the CPU free resource 1124 is the unused CPU resource amount among the CPU resources held by the virtual machine execution server 4. However, the memory resource 1125 includes the memory resource amount held by the virtual machine execution server 4, and the allocated memory resource 1126 includes one or more virtual machines 13 operating on the virtual machine execution server 4. The total amount of memory resources allocated to The 1127, among the memory resources that the virtual machine execution server 4 holds, the memory resource amount of unused, are respectively stored.

本実施例ではリソースとしてCPU、メモリのみを考慮しているが、記憶装置や通信装置等、他のリソースを含んでもよい。   In this embodiment, only the CPU and the memory are considered as resources, but other resources such as a storage device and a communication device may be included.

図3は、リソース管理サーバ2が具備する仮想マシンリソース情報管理テーブル113のデータ構造とデータ構成例を示す図である。仮想マシンリソース情報管理テーブル113は、仮想マシンに割り当てられているCPUリソース量とメモリリソース量を管理するためのテーブルである。   FIG. 3 is a diagram illustrating a data structure and a data configuration example of the virtual machine resource information management table 113 provided in the resource management server 2. The virtual machine resource information management table 113 is a table for managing the CPU resource amount and the memory resource amount allocated to the virtual machine.

仮想マシンリソース情報管理テーブル113は、仮想マシンID1131、CPUリソース1132、メモリリソース1133、物理マシンID1134、テナントID1135を有する。仮想マシンID1131には、仮想マシン13を識別する値が、CPUリソース1132には、仮想マシン13に割り当てられている現在のCPUリソース量が、メモリリソース1133には、仮想マシン13に割り当てられている現在のメモリリソース量が、物理マシンID1134には、仮想マシン13がどの仮想マシン実行サーバ4上に配置されているかを識別する物理マシンIDが、テナントIDには、各仮想マシン13がどのテナントに所属しているかを識別するテナントIDが、それぞれ格納される。   The virtual machine resource information management table 113 includes a virtual machine ID 1131, a CPU resource 1132, a memory resource 1133, a physical machine ID 1134, and a tenant ID 1135. A value identifying the virtual machine 13 is assigned to the virtual machine ID 1131, a current CPU resource amount assigned to the virtual machine 13 is assigned to the CPU resource 1132, and a virtual machine 13 is assigned to the memory resource 1133. The current memory resource amount is the physical machine ID 1134, the physical machine ID that identifies the virtual machine execution server 4 on which the virtual machine 13 is placed, and the tenant ID is the tenant to which each virtual machine 13 is assigned. Each tenant ID for identifying whether the user belongs is stored.

ここで、テナントとは、単一もしくは複数の仮想マシンをそれぞれグループ分けする単位を言う。本実施例では、同一テナント内(グループ内)の仮想マシン間でリソースが配分され、この同一テナント内の仮想マシンのリソースの総和が一定になるように制御される。例えば、データセンタなどでは、客はテナント単位で複数の仮想マシンを、仮想マシンを管理する者から購入する。上述したようにリソースの配分を制御することで、同一テナント内のうちどれかの仮想マシンがリソース不足になった場合、その購入した同一テナント内の仮想マシンのリソースの総和内で、他のリソースに余力のある仮想マシンからリソースの不足した仮想マシンへリソースを配分することにより、追加で仮想マシンやリソースを購入することなしに、リーズナブルにリソースを融通できるようになる。   Here, a tenant refers to a unit for grouping single or multiple virtual machines. In the present embodiment, resources are distributed among virtual machines within the same tenant (within a group), and control is performed so that the sum of the resources of the virtual machines within the same tenant is constant. For example, in a data center or the like, a customer purchases a plurality of virtual machines from a person who manages virtual machines in units of tenants. If any of the virtual machines in the same tenant runs out of resources by controlling the resource allocation as described above, the other resources within the total of the resources of the purchased virtual machines in the same tenant By allocating resources from a virtual machine with sufficient capacity to a virtual machine with insufficient resources, resources can be accommodated reasonably without purchasing additional virtual machines or resources.

本実施例では、仮想マシンリソース情報管理テーブルで各仮想マシンとテナントを対応させているが、これに限定されるものではなく、別途仮想マシンとテナントだけを対応付けるテナントDBを持たせてもよい。   In this embodiment, the virtual machine resource information management table associates each virtual machine with a tenant. However, the present invention is not limited to this, and a tenant DB that associates only the virtual machine with the tenant may be provided.

また、仮想マシン13に割当てられているCPUリソース、メモリリソース等のリソースとは、物理マシンから仮想マシンに物理的に実際に割当てられている容量のことを言う。   Further, resources such as CPU resources and memory resources allocated to the virtual machine 13 refer to capacities that are physically allocated from the physical machine to the virtual machine.

図4は、リソース管理サーバ2が具備するポリシー情報管理テーブル114のデータ構造とデータ構成例を示す図である。ポリシー情報管理テーブル114は、ポリシー管理部7が管理端末1から受け付けたポリシー情報を格納するためのテーブルである。   FIG. 4 is a diagram illustrating a data structure and a data configuration example of the policy information management table 114 included in the resource management server 2. The policy information management table 114 is a table for storing policy information received from the management terminal 1 by the policy management unit 7.

ポリシー情報管理テーブル114は、仮想マシンID1141、CPUポリシー値1142、メモリポリシー値1143、開始時刻1144、終了時刻1145、優先度1146を有する。仮想マシンID1141には、テナントが所有する仮想マシン13を識別する値が、CPUポリシー値1142には、仮想マシン13へCPUリソース配分するかしないかの判断の閾値となる値が、メモリポリシー値1143には、仮想マシンへのメモリリソース配分をするかしないかの判断の閾値となる値が、開始時刻1144には、仮想マシンのリソースの稼働情報の収集を開始する時刻が、終了時刻1145には、仮想マシンのリソースの稼働情報の収集を終了する時刻が、優先度1146には、リソースの自動配置を行う仮想マシン13の優先度を表す値が、それぞれ格納される。本実施例では、優先度1が最も優先度の高い値とし、ポリシー情報管理テーブル114においては、VM01が最も優先されるものとする。   The policy information management table 114 has a virtual machine ID 1141, a CPU policy value 1142, a memory policy value 1143, a start time 1144, an end time 1145, and a priority 1146. The virtual machine ID 1141 has a value for identifying the virtual machine 13 owned by the tenant, and the CPU policy value 1142 has a threshold value for determining whether or not to allocate CPU resources to the virtual machine 13 as a memory policy value 1143. The threshold value for determining whether or not to allocate memory resources to the virtual machine is the start time 1144, the time at which the collection of the virtual machine resource operation information is started, and the end time 1145 is the start time. The time at which the collection of the virtual machine resource operation information is completed, and the priority 1146 stores a value representing the priority of the virtual machine 13 that performs automatic resource allocation. In this embodiment, it is assumed that priority 1 is the highest priority value, and VM01 is given the highest priority in the policy information management table 114.

本実施例では、ポリシー値として、仮想マシン13に割り当てられたリソース量に対して、仮想マシン13が実際に使用しているリソース量の割合である使用率を用い、仮想マシン13による所定期間におけるリソース使用率の平均値(平均使用率)が、このユーザが任意に定めたある使用率(ポリシー値)を超えた場合にリソース配分が実施される。   In the present embodiment, a usage rate that is a ratio of a resource amount actually used by the virtual machine 13 to a resource amount allocated to the virtual machine 13 is used as a policy value in a predetermined period by the virtual machine 13. When the average value (average usage rate) of the resource usage rate exceeds a certain usage rate (policy value) arbitrarily determined by the user, resource allocation is performed.

具体的には、仮想マシンIDがVM01の場合、この仮想マシンに割当てられている物理リソースは図3の仮想マシンリソース情報管理テーブルよりCPUリソースは6GHz、メモリリソースは8GBであり、CPUポリシー値が60%とは、この6GHzのうち、3.6GHz、メモリポリシー値が70%とは、8GBのうち5.6GB以上使用されると、リソース配分処理が行われる。   Specifically, when the virtual machine ID is VM01, the physical resource allocated to this virtual machine is 6 GHz, the memory resource is 8 GB, and the CPU policy value is from the virtual machine resource information management table of FIG. When 60% is used, 3.6 GHz out of 6 GHz, and when the memory policy value is 70%, when 5.6 GB or more out of 8 GB is used, resource allocation processing is performed.

つまり、VM01の場合は、CPUリソースが3.6GHz以上使用されると、他のリソースに余力のある仮想マシンからVM01へCPUリソース配分処理が、メモリリソースが5.6GB以上使用されると、他のリソースに余力のある仮想マシンからVM01へメモリリソース配分処理が開始されることになる。このリソース配分の処理の詳細については後述する。   In other words, in the case of VM01, if the CPU resource is used at 3.6 GHz or more, the CPU resource allocation processing from the virtual machine having the remaining resources to VM01 is performed, and if the memory resource is used at 5.6 GB or more, The memory resource allocation process is started from the virtual machine having sufficient resources to VM01. Details of the resource allocation processing will be described later.

本実施例では、リソースの平均使用率がポリシー値を超えた場合にリソース配分処理が行われるが、使用率が瞬間的に閾値として設定されたポリシー値を超えた場合に、リソース配分処理されるようにしてもよい。   In this embodiment, resource allocation processing is performed when the average resource usage rate exceeds the policy value, but resource allocation processing is performed when the usage rate instantaneously exceeds the policy value set as the threshold value. You may do it.

図5は、リソース管理サーバ2が具備する平均稼働情報管理テーブル115のデータ構造とデータ構成例を示す図である。平均稼働情報管理テーブル115は、仮想マシン13の稼働情報として、平均のリソース使用率を格納するためのテーブルである。稼働情報管理テーブル115は、仮想マシンID1151、CPU平均使用率1152、メモリ平均使用率1153を有する。仮想マシンID1151には、テナントが所有する仮想マシンを識別する値が、CPU平均使用率1152には、ポリシー管理テーブル114で指定されたリソース収集時間における仮想マシンのCPU使用率の平均値が、メモリ平均使用率1153には、ポリシー管理テーブル114で指定されたリソース収集時間における仮想マシンのメモリ使用率の平均値が、それぞれ格納される。   FIG. 5 is a diagram illustrating a data structure and a data configuration example of the average operation information management table 115 included in the resource management server 2. The average operation information management table 115 is a table for storing an average resource usage rate as the operation information of the virtual machine 13. The operation information management table 115 includes a virtual machine ID 1151, a CPU average usage rate 1152, and a memory average usage rate 1153. The virtual machine ID 1151 contains a value for identifying a virtual machine owned by the tenant, and the CPU average usage rate 1152 contains the average value of the CPU usage rate of the virtual machine at the resource collection time specified in the policy management table 114. In the average usage rate 1153, the average value of the memory usage rate of the virtual machine in the resource collection time specified in the policy management table 114 is stored.

ここで、例えば、仮想マシンIDがVM01の仮想マシンに着目すると、図3の仮想マシンリソース情報管理テーブル113から、割り当てられているCPUリソースは6GHzである。また、図5の平均稼働情報管理テーブル115から、VM01のCPU平均使用率は80%となっており、仮想マシンVM01のCPUリソースは単位時間あたりに平均して4.8GHz使用されていることが分かる。   Here, for example, when attention is paid to the virtual machine whose virtual machine ID is VM01, the allocated CPU resource is 6 GHz from the virtual machine resource information management table 113 of FIG. Further, from the average operation information management table 115 in FIG. 5, the CPU average usage rate of the VM01 is 80%, and the CPU resource of the virtual machine VM01 is used on an average of 4.8 GHz per unit time. I understand.

図6は、仮想環境統合管理サーバ3が具備する仮想マシンの稼働情報管理テーブル121のデータ構造とデータ構成例を示す図である。仮想環境統合管理サーバ3は、このテーブルにより、各仮想マシンのリソースの使用状況を管理する。稼働情報管理テーブル121は、仮想マシン毎に管理される。稼働情報管理テーブル121には、時刻1211、CPU使用率1212、メモリ使用率1213が格納される。時刻1211には、00:00〜00:30といったような時刻の一定範囲の情報が順に(この場合30分毎に区切られて順に記憶される)格納される。CPU使用率1212には、時刻1211で示される時間範囲における仮想マシンのCPUリソースの平均の使用率を表す値が格納され、メモリ使用率1213には、同じ時間範囲において仮想マシンが使用したメモリリソース量の割合を表す値が格納される。   FIG. 6 is a diagram illustrating a data structure and a data configuration example of the virtual machine operation information management table 121 included in the virtual environment integrated management server 3. The virtual environment integrated management server 3 manages the resource usage status of each virtual machine based on this table. The operation information management table 121 is managed for each virtual machine. The operation information management table 121 stores time 1211, CPU usage rate 1212, and memory usage rate 1213. At a time 1211, information in a certain range of time such as 00:00:00 to 00:30 is stored in order (in this case, divided every 30 minutes and stored in order). The CPU usage rate 1212 stores a value indicating the average usage rate of the CPU resource of the virtual machine in the time range indicated by the time 1211. The memory usage rate 1213 stores the memory resource used by the virtual machine in the same time range. Stores a value that represents the percentage of the quantity.

本実施例では00:00から30分毎の、リソースの平均使用率を記憶しているが、これに限定されるものではなく、1時間毎や10分毎でもよく、ユーザが適時決定できることとしてもよい。
<フローチャート>
次に、本実施例の処理の流れについて説明する。
In this embodiment, the average resource usage rate is stored every 30 minutes from 00:00, but is not limited to this, and it may be every hour or every 10 minutes. Also good.
<Flowchart>
Next, the processing flow of the present embodiment will be described.

図7は、本実施例において、テナントごとの仮想マシンのリソースを自動的に最適化する方法を示すフローチャートである。リソース管理サーバ2は、まず、ステップS1では、仮想マシンに対して後述するリソース平均使用率更新処理(図8)を行う。次に、ステップS2では、ステップS1で更新した仮想マシンのリソース平均使用率とリソースのポリシー値とを比較し、リソース追加割り当ての要否を判定し、リソース追加割り当てが必要であれば、ステップS3に進む。リソース追加割り当てが不要であればステップS10に進む。   FIG. 7 is a flowchart illustrating a method for automatically optimizing virtual machine resources for each tenant in the present embodiment. First, in step S1, the resource management server 2 performs resource average usage rate update processing (FIG. 8) described later on the virtual machine. Next, in step S2, the average resource usage rate of the virtual machine updated in step S1 is compared with the policy value of the resource to determine whether additional resource allocation is necessary. If additional resource allocation is necessary, step S3 is performed. Proceed to If additional resource assignment is unnecessary, the process proceeds to step S10.

例えば、稼働情報管理テーブル121の各仮想マシンのCPUとメモリの使用率から、ポリシー情報管理テーブル114のリソース収集時間の開始時刻から終了時刻までの平均使用率を求め、平均稼働情報管理テーブル115のデータを更新する。そして、更新されたCPU、メモリの平均使用率と、ポリシー情報管理テーブル114の仮想マシン毎のCPUポリシー値とメモリポリシー値とを比較して、各平均使用率の値がポリシー値を超えている場合にリソースの追加割当が必要と判定してリソースの追加処理に移る。本実施例での場合、仮想マシンIDがVM01のCPUポリシー値が60%、メモリポリシー値が70%であり、CPUポリシー値をCPUの平均使用率が超えている為、リソースの追加割当要と判定する。一方、メモリポリシー値をメモリの平均使用率は下回っている為、リソース追加割当否と判定する。   For example, the average usage rate from the start time to the end time of the resource collection time in the policy information management table 114 is obtained from the CPU and memory usage rates of each virtual machine in the operation information management table 121, and the average operation information management table 115 Update the data. Then, the updated CPU and memory average usage rate is compared with the CPU policy value and the memory policy value for each virtual machine in the policy information management table 114, and each average usage rate value exceeds the policy value. In this case, it is determined that additional resource allocation is necessary, and the process proceeds to resource addition processing. In the present embodiment, the CPU policy value of the virtual machine ID VM01 is 60%, the memory policy value is 70%, and the CPU usage rate exceeds the CPU policy value. judge. On the other hand, since the average usage rate of the memory is lower than the memory policy value, it is determined that the resource addition allocation is not allowed.

ステップS3では、仮想マシンへの追加リソースの確保処理(図9)を行う。この追加リソースの確保処理については詳細後述する。ステップS4では、リソースの確保可否の結果を判定し、リソースの確保ができた場合はステップS5に進む。リソースの確保ができなかった場合はステップS10に進む。
ステップS5では、S3で確保したリソースを当該仮想マシンに対して追加した場合に、当該仮想マシンが稼働する仮想マシン実行サーバ4上で稼働する仮想マシンのリソース量の合計値が、仮想マシン実行サーバ4のリソース量を超過するかどうかを判定する(オーバーコミット判定)。ステップS5では、オーバーコミット判定において、オーバーコミットであった場合、ステップS6に進む。オーバーコミットでなかった場合は、ステップS9に進む。
ここでオーバーコミットとは、物理マシン上で例えばリソースが(10)あるところに、リソース(5)の仮想マシンとリソース(6)の仮想マシンを配置することをいう。この場合本来リソース(10)を擬似的にリソース(11)として扱うので処理が重くなる問題がある。
具体的には、仮想マシンリソース情報管理テーブル113からリソースを追加割当する仮想マシンIDに対応する物理マシンIDを特定し、特定された物理マシンIDを、物理マシンリソース情報管理テーブル112に照合して、当該物理マシンIDで特定される仮想マシン実行サーバ4の未割当のリソースの量を特定する。追加割当されるリソースの量が、この特定された未割当のリソースの量を超える場合にオーバーコミットと判定される。例えば、リソースを追加割当する仮想マシンの仮想マシンIDがVM01である場合、仮想マシンリソース情報管理テーブル113を参照して、物理マシンIDがPM01の仮想マシン実行サーバを特定する。特定された物理マシンIDPM01を物理マシンリソース情報管理テーブル112に照合して、この仮想マシン実行サーバの未割当CPUリソースが1GHzであると特定し、追加割当しようとするリソースの量と比較して1GHzより多い場合にオーバーコミットと判定される。
In step S3, a process for securing additional resources to the virtual machine (FIG. 9) is performed. The additional resource securing process will be described later in detail. In step S4, the result of whether or not the resource can be secured is determined. If the resource can be secured, the process proceeds to step S5. If resources cannot be secured, the process proceeds to step S10.
In step S5, when the resources secured in S3 are added to the virtual machine, the total value of the resource amounts of the virtual machines operating on the virtual machine execution server 4 on which the virtual machine operates is the virtual machine execution server. It is determined whether the resource amount of 4 is exceeded (overcommit determination). In step S5, if overcommit is determined in the overcommit determination, the process proceeds to step S6. If it is not overcommit, the process proceeds to step S9.
Here, the overcommitment means that, for example, the resource (5) and the resource (6) are placed where the resource (10) exists on the physical machine. In this case, since the resource (10) is handled as the resource (11) in a pseudo manner, there is a problem that the processing becomes heavy.
Specifically, the physical machine ID corresponding to the virtual machine ID to which resources are additionally allocated is identified from the virtual machine resource information management table 113, and the identified physical machine ID is collated with the physical machine resource information management table 112. The amount of unallocated resources of the virtual machine execution server 4 specified by the physical machine ID is specified. When the amount of resources to be additionally allocated exceeds the specified amount of unallocated resources, it is determined as overcommit. For example, when the virtual machine ID of the virtual machine to which resources are additionally allocated is VM01, the virtual machine execution server with the physical machine ID PM01 is identified with reference to the virtual machine resource information management table 113. The identified physical machine IDPM01 is collated with the physical machine resource information management table 112, the unallocated CPU resource of this virtual machine execution server is identified as 1 GHz, and compared with the amount of resources to be additionally allocated, 1 GHz When the number is larger, it is determined as overcommit.

ステップS6では、当該仮想マシンにリソースを追加割り当てした場合に、物理マシンのリソースを超過しないだけの許容量のある物理マシンを物理マシンリソース管理テーブル112から物理マシンIDの順に探索していく。具体的には、ステップS3で確保された追加リソースと、当該仮想マシンのリソース量を加算したものと、物理マシンリソース管理テーブル112の未割当リソース(CPUを追加する場合は未割当CPUリソース1124、メモリを追加する場合は未割当メモリリソース1127を参照する。)を比較して、未割当リソース量が大きくなるものを選択する。   In step S6, when a resource is additionally allocated to the virtual machine, a physical machine having an allowable amount that does not exceed the physical machine resource is searched from the physical machine resource management table 112 in the order of the physical machine ID. Specifically, the additional resource secured in step S3, the sum of the resource amount of the virtual machine, the unallocated resource in the physical machine resource management table 112 (unallocated CPU resource 1124 when adding a CPU, When adding a memory, refer to the unallocated memory resource 1127), and select a resource that increases the amount of unallocated resources.

ステップS7では、ステップS6の探索の結果、該当する仮想マシン実行サーバが存在した場合はステップS8に進む。該当する仮想マシンが存在しなかった場合はステップS10に進む。   In step S7, if the corresponding virtual machine execution server exists as a result of the search in step S6, the process proceeds to step S8. If the corresponding virtual machine does not exist, the process proceeds to step S10.

ステップS8では、当該仮想マシンをS6で発見した仮想マシン実行サーバに、仮想環境統合管理サーバ3が有する仮想マシンを別の仮想マシン実行サーバに移動させる機能を用いるなどして移動させる。
ステップS9では、仮想マシンに対するリソースの配分処理(図10)を行う。そしてステップS10では、テナントの全ての仮想マシンに対してステップS1〜S9が完了したら、ステップS11に進む。完了していない仮想マシンが存在する場合は、ステップS1に戻り、次に優先度の高い仮想マシンに対して同様の処理を行う。
In step S8, the virtual machine is moved to the virtual machine execution server found in S6 by using a function of moving the virtual machine included in the virtual environment integrated management server 3 to another virtual machine execution server.
In step S9, resource allocation processing (FIG. 10) for the virtual machine is performed. In step S10, when steps S1 to S9 are completed for all virtual machines of the tenant, the process proceeds to step S11. If there is a virtual machine that has not been completed, the process returns to step S1, and the same processing is performed on the virtual machine with the next highest priority.

ステップS11では、全てのテナントに対してステップS1〜S10が完了したら、一連の処理を終了する。完了していないテナントが存在する場合は、ステップS1に戻り、次のテナントに対して同様の処理を行う。   In step S11, when steps S1 to S10 are completed for all tenants, a series of processing ends. If there is a tenant that has not been completed, the process returns to step S1 and the same processing is performed for the next tenant.

図8は、リソース管理サーバ2が具備するリソース収集部5において実行される、仮想マシンのリソース平均使用率更新処理の流れを示すフローチャートである。この処理において、リソース収集部5は、CPU平均使用率とメモリ平均使用率それぞれに対して更新処理を行う。まず、CPU平均使用率から処理を行う。   FIG. 8 is a flowchart showing the flow of the resource average usage rate update process of the virtual machine, which is executed in the resource collection unit 5 included in the resource management server 2. In this processing, the resource collection unit 5 performs update processing on each of the CPU average usage rate and the memory average usage rate. First, processing is performed from the CPU average usage rate.

ステップS12で、リソース収集部5は、仮想環境統合管理サーバ3の稼動情報管理テーブル121より、ポリシー管理テーブル114の開始時刻1144で示される時刻から終了時刻1145で示される時刻までの仮想マシンのCPU使用率を取得する。本実施例ではポリシー管理テーブル114で定義される仮想マシンIDがVM01の仮想マシンについて、リソース収集時間の開始時刻は09:00、終了時刻17:00なので、稼働情報管理テーブルの09:00〜09:30、09:30〜10:00・・・16:30〜17:00の使用率をそれぞれ取得する。ここで、リソースの使用率としては、仮想マシンから逐次送られてくる使用率の情報をそのまま利用しても良いし、送られてくる情報が使用率ではなく、使用リソース量の場合は、仮想マシンリソース情報管理テーブルを参照し、仮想マシンに割当てられているリソース量に対する受信した使用リソース量を見て使用率を算出してもよい。   In step S12, the resource collection unit 5 determines the CPU of the virtual machine from the time indicated by the start time 1144 to the time indicated by the end time 1145 of the policy management table 114 from the operation information management table 121 of the virtual environment integrated management server 3. Get usage rate. In this embodiment, for the virtual machine whose virtual machine ID is VM01 defined in the policy management table 114, the start time of the resource collection time is 09:00 and the end time is 17:00, so 09:00 to 09 in the operation information management table. : 30, 09:30 to 10:00 ... 16:30 to 17:00, respectively. Here, as the resource usage rate, the usage rate information sequentially sent from the virtual machine may be used as it is, or when the sent information is not the usage rate but the usage resource amount, The usage rate may be calculated by referring to the machine resource information management table and viewing the received resource amount with respect to the resource amount allocated to the virtual machine.

例えば、仮想マシンIDがVM01の仮想マシンで使用されるCPU使用量が3GHzである場合は、仮想マシンリソース情報管理テーブル113より仮想マシンIDがVM01の仮想マシンに割り当てられているCPUリソース量6GHzから、3/6×100から50%として使用率を算出できる。   For example, if the CPU usage used by the virtual machine with the virtual machine ID VM01 is 3 GHz, the CPU resource amount 6 GHz allocated to the virtual machine with the virtual machine ID VM01 from the virtual machine resource information management table 113 The usage rate can be calculated from 3/6 × 100 to 50%.

そしてステップS13では、ステップS12で取得したCPU使用率と、CPU平均使用率1152から新たなCPU平均使用率を再計算し、算出した値をCPU平均使用率1152に書き換え、更新する。平均稼働情報管理テーブル115には、リソースの使用量の最新の値を記憶するので、新しく使用率が算出された場合は更新する。   In step S13, a new CPU average usage rate is recalculated from the CPU usage rate acquired in step S12 and the CPU average usage rate 1152, and the calculated value is rewritten and updated to the CPU average usage rate 1152. Since the latest value of the resource usage is stored in the average operation information management table 115, it is updated when a new usage rate is calculated.

ここで、ポリシー情報管理テーブル114でいうリソース収集時間の開始時間と、終了時間とは、ユーザが任意に設定できる平均使用率を算出したい開始時間と終了時間をいい、仮想マシンの稼働情報管理テーブルとは、逐次更新される稼働マシンの時間毎の使用率をみるものである。   Here, the start time and end time of the resource collection time in the policy information management table 114 are the start time and end time for which an average usage rate that can be arbitrarily set by the user is calculated, and the virtual machine operation information management table Is to check the usage rate of operating machines that are updated sequentially.

また本実施例では使用率のパーセンテージで表記しているがこれに限定されるものではなく、リソース量をそのまま表すものであってもよい。   Further, in the present embodiment, it is expressed as a percentage of the usage rate, but it is not limited to this, and the resource amount may be expressed as it is.

具体的にはステップS12で読み出した値から、09:00〜17:00の平均の使用率を算出して、ポリシー管理テーブル114のポリシー値をそれぞれ更新する。例えば、稼働情報管理テーブルの00:00〜00:30のCPU使用率が15%、00:30〜01:00のCPU使用率が10%である場合、00:00〜01:00の使用率は、(10+15)/2で12.5%となる。   Specifically, the average usage rate of 09: 0 to 17:00 is calculated from the value read in step S12, and the policy values in the policy management table 114 are updated. For example, when the CPU usage rate of 00:00:00 to 00:30 in the operation information management table is 15% and the CPU usage rate of 00:30 to 01:00 is 10%, the usage rate of 00:00:00 to 10:00. Is 12.5% at (10 + 15) / 2.

ステップS14で、リソース収集部5は、稼動情報管理テーブル121より、ポリシー管理テーブル114の開始時刻1144で示される時刻から終了時刻1145で示される時刻までの仮想マシンのメモリ使用率を取得する。そしてステップS15では、取得したメモリ使用率とメモリ平均使用率1153から新たなメモリ平均使用率を再計算し、算出した値をメモリ平均使用率1153に書き換え、更新する。   In step S <b> 14, the resource collection unit 5 acquires the memory usage rate of the virtual machine from the time indicated by the start time 1144 to the time indicated by the end time 1145 of the policy management table 114 from the operation information management table 121. In step S15, a new memory average usage rate is recalculated from the acquired memory usage rate and memory average usage rate 1153, and the calculated value is rewritten and updated to the memory average usage rate 1153.

図9は、リソース管理サーバ2が具備するリソース分析部6において実施される、仮想マシンの追加リソース確保処理の流れを示すフローチャートである。この処理は、CPUリソースとメモリリソースそれぞれに対して行われる。まず、CPUリソースから処理を行う。   FIG. 9 is a flowchart showing the flow of the virtual machine additional resource securing process performed in the resource analysis unit 6 included in the resource management server 2. This process is performed for each of the CPU resource and the memory resource. First, processing is performed from CPU resources.

ステップS16では、ステップS2の判定で仮想マシンに対してCPUリソースの追加が必要だった場合、ステップS17に進む。CPUリソースの追加が不要だった場合、ステップS20に進む。   In step S16, if the CPU resource needs to be added to the virtual machine in the determination in step S2, the process proceeds to step S17. If it is not necessary to add a CPU resource, the process proceeds to step S20.

ステップS17では、仮想マシンに割り当てる追加CPUリソース量を算出する。追加CPUリソース量は、CPU平均使用率1152がCPUポリシー値1142を下回るようにその値を求める。   In step S17, an additional CPU resource amount to be allocated to the virtual machine is calculated. The value of the additional CPU resource amount is obtained so that the CPU average usage rate 1152 is lower than the CPU policy value 1142.

CPUリソース量は、CPUリソース1132、CPUポリシー値1142、CPU平均使用率1152より算出される。仮想マシンに割当てられている物理CPUリソース量を「V」、CPUポリシー値を「W」、CPU平均使用率を「X」、追加CPUリソース量を「A」、とすると、(V+A)×W/100=V×X/100となり、これをAについて求めると、A=V×(X−W)/Wにより追加CPUリソース量を求めることができる。   The CPU resource amount is calculated from the CPU resource 1132, the CPU policy value 1142, and the CPU average usage rate 1152. Assuming that the physical CPU resource amount allocated to the virtual machine is “V”, the CPU policy value is “W”, the CPU average usage rate is “X”, and the additional CPU resource amount is “A”, (V + A) × W / 100 = V × X / 100. When this is obtained for A, the additional CPU resource amount can be obtained by A = V × (X−W) / W.

具体的には、例えば、本実施例の仮想マシンVM01は、CPU平均使用率がCPUポリシー値を超過しているため、CPUリソースの追加割り当てが必要であり、追加CPUリソース量を「A」として算出すると、(6+A)×60/100=6×80/100となり、これをAについて求めると、A=2(GHz)となり、CPUポリシー値を維持するためには、2GHzのCPUリソースを他の仮想マシンから回収する必要がある。   Specifically, for example, the virtual machine VM01 of this embodiment requires an additional allocation of CPU resources because the CPU average usage rate exceeds the CPU policy value, and the additional CPU resource amount is set to “A”. When calculated, it becomes (6 + A) × 60/100 = 6 × 80/100. When this is obtained for A, A = 2 (GHz), and in order to maintain the CPU policy value, the CPU resource of 2 GHz is changed to other Need to be recovered from the virtual machine.

ステップS18では、優先度の低い仮想マシンから、回収できるCPUリソース量を算出する。回収できるCPUリソース量は、CPU平均使用率1152がCPUポリシー値1142を上回ることなくCPUポリシーを維持できるだけの値となる。 In step S18, the CPU resource amount that can be recovered is calculated from the virtual machine with low priority. The CPU resource amount that can be recovered is a value that can maintain the CPU policy without the CPU average usage rate 1152 exceeding the CPU policy value 1142.

また、仮想マシンリソース情報管理テーブルの割当予定の仮想マシンの仮想マシンIDに対応するテナントIDを特定し、同じテナントIDの仮想マシンからリソースを割当てる。ここでは、ユーザが利用するテナント中のみで、リソースの割当を行うことで、他のテナントへの影響を防止する。本実施例ではテナントと表現しているがこれに限定されるものではなく、複数の仮想マシンをグルーピングするものであれば良く、グループIDのようにしてもよい。前述したテナントDBにより、仮想マシンとテナントの関係を定義している場合は、割当予定の仮想マシンIDをテナントDBに照合して、テナントIDを特定し、特定されたテナントIDを持つ、仮想マシンIDを特定して、特定された仮想マシンIDの仮想マシンからリソースを回収すればよい。   Also, a tenant ID corresponding to the virtual machine ID of the virtual machine to be allocated in the virtual machine resource information management table is specified, and resources are allocated from virtual machines having the same tenant ID. Here, the resource allocation is performed only in the tenant used by the user, thereby preventing the influence on other tenants. In this embodiment, it is expressed as a tenant. However, the present invention is not limited to this, and any grouping of a plurality of virtual machines may be used, and a group ID may be used. When the relationship between the virtual machine and the tenant is defined by the tenant DB described above, the virtual machine ID to be allocated is checked against the tenant DB, the tenant ID is identified, and the virtual machine having the identified tenant ID What is necessary is just to identify ID and collect | recover resources from the virtual machine of specified virtual machine ID.

仮想マシンから回収できるCPUリソース量は、仮想マシンリソース情報管理テーブル113のCPUリソース1132、ポリシー情報管理テーブル114のCPUポリシー値1142、平均稼働情報管理テーブル115のCPU平均使用率1152より算出する。CPUリソースを「V」、CPUポリシー値を「W」、CPU平均使用率を「X」、回収できるCPUリソース量を「B」、とすると、(V−B)×W/100=V×X/100となり、これをBについて求めると、B=V×(W−X)/Wにより回収できるCPUリソース量を求めることができる。ここで、Bの値が負となる場合は、CPU平均使用率がポリシー値を上回っており、リソースの回収をすることはできない。   The CPU resource amount that can be collected from the virtual machine is calculated from the CPU resource 1132 of the virtual machine resource information management table 113, the CPU policy value 1142 of the policy information management table 114, and the CPU average usage rate 1152 of the average operation information management table 115. Assuming that the CPU resource is “V”, the CPU policy value is “W”, the CPU average usage rate is “X”, and the recoverable CPU resource amount is “B”, (V−B) × W / 100 = V × X When this is obtained for B, the amount of CPU resources that can be recovered by B = V × (W−X) / W can be obtained. Here, if the value of B is negative, the CPU average usage rate exceeds the policy value, and resources cannot be collected.

具体的には、例えば、本実施例の仮想マシンVM02について回収できるリソース量を求めてみる。回収できるCPUリソース量を「B」として算出すると、(4−B)×80/100=4×20/100となり、これをBについて求めると、B=3(GHz)となり、3GHzのCPUリソースをVM02から回収することができる。   Specifically, for example, an amount of resources that can be collected for the virtual machine VM02 of the present embodiment is obtained. When the amount of CPU resources that can be collected is calculated as “B”, it becomes (4-B) × 80/100 = 4 × 20/100, and when this is obtained for B, B = 3 (GHz) and 3 GHz CPU resources are obtained. It can be recovered from VM02.

なお、自身より優先度の高い仮想マシンからはリソースを回収しないものとし、CPUリソース量の回収の計算は行わないこととする。回収できるリソースがどこにもない場合は、リソースを確保できないことになる。   It should be noted that resources are not collected from a virtual machine having a higher priority than itself, and calculation of collection of CPU resource amount is not performed. If there is no resource that can be collected, the resource cannot be secured.

ステップS19では、ステップS18において追加CPUリソース量が確保できたかどうか判定し、追加CPUリソース量が確保できていればステップS20に進む。確保できていない場合は、処理を終了する。   In step S19, it is determined whether or not the additional CPU resource amount can be secured in step S18. If the additional CPU resource amount is secured, the process proceeds to step S20. If not secured, the process is terminated.

ステップS20〜S23は追加メモリリソース量を算出する処理であり、考え方は追加CPUリソース量の算出方法と同じである。   Steps S20 to S23 are processes for calculating the additional memory resource amount, and the concept is the same as the method for calculating the additional CPU resource amount.

図10は、リソース管理サーバ2が実行する、仮想マシンのリソース変更処理の流れ(オーバーコミットするかどうかの判定)を示すフローチャートである。   FIG. 10 is a flowchart showing a flow of virtual machine resource change processing (determination of whether or not to overcommit) executed by the resource management server 2.

ステップS24では、ステップS3の追加リソース確保処理において、リソースの回収対象の仮想マシンと、リソースを受ける側の仮想マシンが、同じ仮想マシン実行サーバに配置されているかどうか判定し、同じ仮想マシン実行サーバに配置されていなければステップS25に進み、されている場合は、本処理を終了する。   In step S24, in the additional resource securing process in step S3, it is determined whether the resource recovery target virtual machine and the resource receiving virtual machine are located on the same virtual machine execution server, and the same virtual machine execution server If not, the process proceeds to step S25. If it is, the process ends.

ステップS25では、ステップS3の追加リソース確保処理において、他の仮想マシン実行サーバから回収するリソース量が、当該仮想マシンが配置されている仮想マシン実行サーバの空きリソースを超過するかどうか判定し、超過する場合はステップS26に進む。超過しない場合は本処理を終了する。
ステップS26では、当該仮想マシンが配置されている仮想マシン実行サーバ上で当該仮想マシンにS3で確保されたリソース量を割り当てるとオーバーコミットすると判定する。つまり、仮想マシンに、物理マシン以上のリソースが割当てられてしまう状態であると判定する。
In step S25, in the additional resource securing process in step S3, it is determined whether or not the amount of resources collected from other virtual machine execution servers exceeds the free resources of the virtual machine execution server on which the virtual machine is placed. If so, the process proceeds to step S26. When it does not exceed, this process is terminated.
In step S26, if the resource amount secured in S3 is allocated to the virtual machine on the virtual machine execution server on which the virtual machine is arranged, it is determined that overcommitment occurs. In other words, it is determined that the virtual machine is in a state where resources higher than the physical machine are allocated.

図11は、リソース管理サーバ2が具備するプロビジョニング指示部8において実行される、仮想マシンのリソース変更処理の流れを示すフローチャートである。この処理は、CPUリソースとメモリリソースそれぞれに対して行われる。まず、CPUリソースから処理を行う。   FIG. 11 is a flowchart showing the flow of the virtual machine resource changing process executed in the provisioning instruction unit 8 included in the resource management server 2. This process is performed for each of the CPU resource and the memory resource. First, processing is performed from CPU resources.

ステップS27では、図9の追加CPUリソース確保処理において、CPUリソースの回収対象の仮想マシンについて、プロビジョニング指示部8がリソースの変更指示を出し、指示を受け付けたプロビジョニング実行部9がリソースの変更処理を行う。回収対象の仮想マシンが複数あった場合は、全ての仮想マシンに対してリソースの変更処理を行う。   In step S27, in the additional CPU resource securing process of FIG. 9, the provisioning instruction unit 8 issues a resource change instruction for the virtual machine that is the target of CPU resource collection, and the provisioning execution unit 9 that receives the instruction performs the resource change process. Do. If there are multiple virtual machines to be collected, resource change processing is performed for all virtual machines.

ステップS28では、リソース追加割当を行う仮想マシンについて、プロビジョニング指示部8がステップS27で回収したCPUリソースを追加割り当てするよう変更指示を出し、変更指示を受け付けたプロビジョニング実行部9がリソースの追加割り当てを行う。なお、リソース管理サーバ2は、S27とS28によって変更があった仮想マシンが配置されている物理マシンリソース情報管理テーブル112の物理マシンの割当済みCPUリソース1123、未割当CPUリソース1124および仮想マシンリソース情報管理テーブル113の仮想マシンのCPUリソース1132の値を書き換え、更新する。   In step S28, the provisioning instruction unit 8 issues a change instruction to additionally allocate the CPU resource collected in step S27 for the virtual machine to which additional resource allocation is performed, and the provisioning execution unit 9 that has received the change instruction performs additional resource allocation. Do. The resource management server 2 assigns the allocated CPU resources 1123, unallocated CPU resources 1124, and virtual machine resource information of the physical machines in the physical machine resource information management table 112 in which the virtual machines changed in S27 and S28 are arranged. The value of the CPU resource 1132 of the virtual machine in the management table 113 is rewritten and updated.

ステップS29では、図9の追加メモリリソース確保処理において、メモリリソースの回収対象の仮想マシンについて、プロビジョニング指示部8がリソースの変更指示を出し、指示を受け付けたプロビジョニング実行部9がリソースの変更処理を行う。回収対象の仮想マシンが複数あった場合は、全ての仮想マシンに対してリソースの変更処理を行う。   In step S29, in the additional memory resource securing process of FIG. 9, the provisioning instruction unit 8 issues a resource change instruction for the virtual machine from which memory resources are to be collected, and the provisioning execution unit 9 that receives the instruction performs the resource change process. Do. If there are multiple virtual machines to be collected, resource change processing is performed for all virtual machines.

ステップS30では、ステップS29で回収したメモリリソースをリソース追加割当を行う仮想マシンについて、プロビジョニング指示部10が追加割り当ての変更指示を出し、変更指示を受け付けたプロビジョニング実行部9がリソースの追加割り当てを行う。なお、リソース管理サーバ2は、S29とS30によって変更があった仮想マシンが配置されている物理マシンリソース情報管理テーブル112の物理マシンの割当済みメモリリソース1126、未割当メモリリソース1127および仮想マシンリソース情報管理テーブル113の仮想マシンのメモリリソース1133の値を書き換え、更新する。   In step S30, the provisioning instruction unit 10 issues an instruction to change the additional allocation for the virtual machine that performs the resource additional allocation for the memory resource collected in step S29, and the provisioning execution unit 9 that receives the change instruction performs the additional allocation of the resource. . The resource management server 2 assigns the allocated memory resource 1126, the unallocated memory resource 1127, and the virtual machine resource information of the physical machine in the physical machine resource information management table 112 in which the virtual machines changed in S29 and S30 are arranged. The value of the memory resource 1133 of the virtual machine in the management table 113 is rewritten and updated.

これにより、仮想マシン間でリソースの配分をする場合、オーバーコミットが発生しないように制御することができる。   As a result, when resources are allocated among virtual machines, control can be performed so that overcommitment does not occur.

1:管理端末、2:リソース管理サーバ、3:仮想環境統合管理サーバ、4:仮想マシン実行サーバ、5:リソース収集部、6:リソース分析部、7:ポリシー管理部、8:プロビジョニング指示部、9:プロビジョニング実行部、10:仮想マシン制御部、11:リソース管理DB、12:仮想環境管理DB、13:仮想マシン 1: management terminal, 2: resource management server, 3: virtual environment integrated management server, 4: virtual machine execution server, 5: resource collection unit, 6: resource analysis unit, 7: policy management unit, 8: provisioning instruction unit, 9: Provisioning execution unit, 10: Virtual machine control unit, 11: Resource management DB, 12: Virtual environment management DB, 13: Virtual machine

Claims (4)

物理マシンを特定する情報と、前記物理マシンのリソース容量と前記物理マシンのリソースの未割当容量とを対応付けて記憶する物理マシンリソース情報管理テーブルと、
仮想マシンを特定する情報と、前記仮想マシンのリソースの容量と前記仮想マシンがある前記物理マシンを特定する情報を対応付けて記憶する仮想マシンリソース情報管理テーブルと、
前記仮想マシンを特定する情報と、前記仮想マシンがリソース要求する閾値であるポリシー値を対応付けて記憶するポリシー情報管理テーブルと、
前記仮想マシンの平均使用リソース容量が前記ポリシー値を超えた場合に、前記平均使用リソース容量が前記ポリシー値を下回るような割当リソース容量を算出し、前記平均使用リソース容量が前記ポリシー値を上回ることなく前記ポリシー値を維持できるだけの余裕リソース容量のある他の仮想マシンから、追加リソース容量を確保するリソース分析部と、
前記追加リソース容量が確保された場合に、前記仮想マシンのある前記物理マシンの前記未割当容量を、前記確保された追加リソース容量が超える場合に、前記物理マシンリソース情報管理テーブルの各物理マシンの前記未割当容量を参照していき、前記仮想マシンのリソース容量と前記確保された追加リソース容量を加算した容量より、前記未割当容量の方が大きくなる物理マシン上へ前記仮想マシンを移動させてリソースを配分する変更指示を出すプロビジョニング指示部とを有するリソース管理サーバと、
前記リソース管理サーバからの前記変更指示を受け取った場合に、前記物理マシンリソース情報管理テーブルの前記未割当容量から新たに前記仮想マシンに割当られたリソース容量を減じ、前記仮想マシンリソース情報管理テーブルの前記仮想マシンのリソース容量を前記新たに前記仮想マシンに割当られたリソース容量分だけ増やすように、値をそれぞれ書き換えるプロビジョニング実行部を有する仮想環境統合管理サーバと
からなることを特徴とする計算機管理システム。
A physical machine resource information management table that stores information for identifying a physical machine, the physical capacity of the physical machine and the unallocated capacity of the physical machine resource in association with each other;
A virtual machine resource information management table that stores information that identifies a virtual machine, a resource capacity of the virtual machine, and information that identifies the physical machine where the virtual machine is associated;
A policy information management table for storing information specifying the virtual machine and a policy value that is a threshold value requested by the virtual machine in association with each other;
When the average used resource capacity of the virtual machine exceeds the policy value, an allocated resource capacity is calculated such that the average used resource capacity is lower than the policy value, and the average used resource capacity is higher than the policy value. A resource analysis unit that reserves additional resource capacity from another virtual machine having a sufficient resource capacity to maintain the policy value without any change,
When the additional resource capacity is reserved, when the reserved additional resource capacity exceeds the unallocated capacity of the physical machine with the virtual machine, each physical machine in the physical machine resource information management table Refer to the unallocated capacity, and move the virtual machine onto a physical machine in which the unallocated capacity is larger than the capacity obtained by adding the resource capacity of the virtual machine and the reserved additional resource capacity. A resource management server having a provisioning instruction unit for issuing a change instruction for allocating resources;
When the change instruction from the resource management server is received, the resource capacity newly allocated to the virtual machine is subtracted from the unallocated capacity of the physical machine resource information management table, and the virtual machine resource information management table A virtual environment integrated management server having a provisioning execution unit for rewriting values so that the resource capacity of the virtual machine is increased by the resource capacity newly allocated to the virtual machine. .
請求項1に記載の計算機管理システムであって、
前記仮想マシンリソース情報管理テーブルは更に、
仮想マシンの所属するグループを特定するテナントIDを、前記仮想マシンを特定する情報と、前記仮想マシンのリソースの容量と前記仮想マシンがある前記物理マシンを特定する情報と対応付けて記憶し、
前記リソース分析部は、
前記テナントIDが同じ仮想マシンから前記追加リソース容量を確保する
ことを特徴とする計算機管理システム。
The computer management system according to claim 1,
The virtual machine resource information management table further includes:
A tenant ID that identifies a group to which a virtual machine belongs is stored in association with information that identifies the virtual machine, a capacity of the virtual machine resource, and information that identifies the physical machine where the virtual machine is located,
The resource analysis unit
The additional resource capacity is secured from virtual machines having the same tenant ID.
請求項1乃至請求項2のうちいずれか一項に記載の計算機管理システムであって、
前記ポリシー情報管理テーブルは更に、
前記仮想マシン毎に優先度の情報を、前記仮想マシンを特定する情報と、前記ポリシー値と対応付けて記憶し、
前記リソース分析部は、
前記優先度の順に前記追加リソース容量を確保する仮想マシンを優先的に選択する
ことを特徴とする計算機管理システム。
A computer management system according to any one of claims 1 to 2,
The policy information management table further includes
Storing priority information for each virtual machine in association with information identifying the virtual machine and the policy value;
The resource analysis unit
A computer management system that preferentially selects virtual machines that secure the additional resource capacity in the order of priority.
物理マシンを特定する情報と、前記物理マシンのリソース容量と前記物理マシンのリソースの未割当容量とを対応付けて物理マシンリソース情報管理テーブルに記憶するステップと、
仮想マシンを特定する情報と、前記仮想マシンのリソースの容量と前記仮想マシンがある前記物理マシンを特定する情報を対応付けて仮想マシンリソース情報管理テーブルに記憶するステップと、
前記仮想マシンを特定する情報と、前記仮想マシンがリソース要求する閾値であるポリシー値を対応付けてポリシー情報管理テーブルに記憶するステップと、
前記仮想マシンの平均使用リソース容量が前記ポリシー値を超えた場合に、前記平均使用リソース容量が前記ポリシー値を下回るような割当リソース容量を算出し、前記平均使用リソース容量が前記ポリシー値を上回ることなく前記ポリシー値を維持できるだけの余裕リソース容量のある他の仮想マシンから、追加リソース容量を確保するステップと、
前記追加リソース容量が確保された場合に、前記仮想マシンのある前記物理マシンの前記未割当容量を、前記確保された追加リソース容量が超える場合に、前記物理マシンリソース情報管理テーブルの各物理マシンの前記未割当容量を参照していき、前記仮想マシンのリソース容量と前記確保された追加リソース容量を加算した容量より、前記未割当容量の方が大きくなる物理マシン上へ前記仮想マシンを移動させてリソースを配分する変更指示を出すステップと、
前記物理マシンリソース情報管理テーブルの前記未割当容量から新たに前記仮想マシンに割当られたリソース容量を減じ、前記仮想マシンリソース情報管理テーブルの前記仮想マシンのリソース容量を前記新たに前記仮想マシンに割当られたリソース容量分だけ増やすように、値をそれぞれ書き換えるステップと
を有することを特徴とする計算機管理方法。
Storing in the physical machine resource information management table the information identifying the physical machine, the resource capacity of the physical machine and the unallocated capacity of the resource of the physical machine in association with each other;
Storing in the virtual machine resource information management table the information identifying the virtual machine, the resource capacity of the virtual machine and the information identifying the physical machine with the virtual machine in association with each other;
Associating information for identifying the virtual machine with a policy value that is a threshold value requested by the virtual machine in a policy information management table;
When the average used resource capacity of the virtual machine exceeds the policy value, an allocated resource capacity is calculated such that the average used resource capacity is lower than the policy value, and the average used resource capacity is higher than the policy value. Securing additional resource capacity from other virtual machines having sufficient resource capacity to maintain the policy value without
When the additional resource capacity is reserved, when the reserved additional resource capacity exceeds the unallocated capacity of the physical machine with the virtual machine, each physical machine in the physical machine resource information management table Refer to the unallocated capacity, and move the virtual machine onto a physical machine in which the unallocated capacity is larger than the capacity obtained by adding the resource capacity of the virtual machine and the reserved additional resource capacity. Issuing change instructions to allocate resources;
The resource capacity newly allocated to the virtual machine is subtracted from the unallocated capacity in the physical machine resource information management table, and the resource capacity of the virtual machine in the virtual machine resource information management table is newly allocated to the virtual machine. And a step of rewriting each value so as to increase by the amount of the resource capacity.
JP2012286630A 2012-12-28 2012-12-28 Computer management system Expired - Fee Related JP6037825B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012286630A JP6037825B2 (en) 2012-12-28 2012-12-28 Computer management system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012286630A JP6037825B2 (en) 2012-12-28 2012-12-28 Computer management system

Publications (2)

Publication Number Publication Date
JP2014130413A JP2014130413A (en) 2014-07-10
JP6037825B2 true JP6037825B2 (en) 2016-12-07

Family

ID=51408769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012286630A Expired - Fee Related JP6037825B2 (en) 2012-12-28 2012-12-28 Computer management system

Country Status (1)

Country Link
JP (1) JP6037825B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6753875B2 (en) * 2018-02-20 2020-09-09 株式会社日立製作所 Operation management system and operation management method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009258982A (en) * 2008-04-16 2009-11-05 Ntt Docomo Inc Node device, program, and resource-allocating method
JP5119077B2 (en) * 2008-07-28 2013-01-16 西日本電信電話株式会社 Virtual server resource adjustment system, resource adjustment device, virtual server resource adjustment method, and computer program
JP5471292B2 (en) * 2009-10-23 2014-04-16 富士通株式会社 Virtual machine movement control program, virtual machine movement control device, and virtual machine movement control method
JP5673233B2 (en) * 2011-03-09 2015-02-18 富士通株式会社 Information processing apparatus, virtual machine management method, and virtual machine management program
JP5370946B2 (en) * 2011-04-15 2013-12-18 株式会社日立製作所 Resource management method and computer system

Also Published As

Publication number Publication date
JP2014130413A (en) 2014-07-10

Similar Documents

Publication Publication Date Title
US10733026B2 (en) Automated workflow selection
US9588789B2 (en) Management apparatus and workload distribution management method
US8046764B2 (en) Redistribution of unused resources assigned to a first virtual computer having usage below a predetermined threshold to a second virtual computer
US9417903B2 (en) Storage management for a cluster of integrated computing systems comprising integrated resource infrastructure using storage resource agents and synchronized inter-system storage priority map
US10108460B2 (en) Method and system for integrated deployment planning for virtual appliances
US9037505B2 (en) Mechanisms for executing a process in a cloud computing environment
CN108205541B (en) Method and device for scheduling distributed web crawler tasks
US8739169B2 (en) Method for monitoring operating experiences of images to improve workload optimization in cloud computing environments
US9396027B2 (en) Resource allocation for a plurality of resources for a dual activity system
WO2012056596A1 (en) Computer system and processing control method
WO2021135263A1 (en) Cpu resource reservation method and apparatus, and related device
CN107851039A (en) System and method for resource management
US9537787B2 (en) Dynamically balancing resource requirements for clients with unpredictable loads
CN108874502B (en) Resource management method, device and equipment of cloud computing cluster
CN113342477A (en) Container group deployment method, device, equipment and storage medium
US20150032893A1 (en) Visualization of workload distribution on server resources
US8458719B2 (en) Storage management in a data processing system
JP2017138895A (en) Virtualization environment management system and virtualization environment management method
US20180246763A1 (en) Computer system management method and computer system
CN107920129A (en) A kind of method, apparatus, equipment and the cloud storage system of data storage
JP6037825B2 (en) Computer management system
CN117369941A (en) Pod scheduling method and system
CN105404545A (en) Virtual machine allocating method and apparatus
CN116708303A (en) Traffic distribution method, traffic distribution device, computer equipment and storage medium
CN116566916A (en) Cluster service flow limiting management method, device, equipment and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161101

R151 Written notification of patent or utility model registration

Ref document number: 6037825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees