JP5664376B2 - Virtual machine assignment system and virtual machine assignment method - Google Patents

Virtual machine assignment system and virtual machine assignment method Download PDF

Info

Publication number
JP5664376B2
JP5664376B2 JP2011059742A JP2011059742A JP5664376B2 JP 5664376 B2 JP5664376 B2 JP 5664376B2 JP 2011059742 A JP2011059742 A JP 2011059742A JP 2011059742 A JP2011059742 A JP 2011059742A JP 5664376 B2 JP5664376 B2 JP 5664376B2
Authority
JP
Japan
Prior art keywords
virtual machine
physical
virtual
physical computer
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011059742A
Other languages
Japanese (ja)
Other versions
JP2012194907A (en
Inventor
修 菅井
修 菅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011059742A priority Critical patent/JP5664376B2/en
Publication of JP2012194907A publication Critical patent/JP2012194907A/en
Application granted granted Critical
Publication of JP5664376B2 publication Critical patent/JP5664376B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、仮想計算機割り当てシステム及び仮想計算機割り当て方法に関し、特に、資源使用量の履歴に基づき、仮想計算機の物理計算機への効率的な割り当て方を決定するシステム及びその方法に関する。   The present invention relates to a virtual machine allocation system and a virtual machine allocation method, and more particularly to a system and method for determining an efficient allocation method of a virtual machine to a physical computer based on a history of resource usage.

データセンター等では、通常、複数の仮想計算機(仮想マシン)を、複数の物理計算機(物理マシン)に割り当てて運用することが行われている。各物理計算機には、複数の仮想計算機を割り当てて運用する方法がとられ、この方法により、仮想計算機の数よりも少ない物理計算機で運用することができ、物理計算機の設置のための場所やコストを抑えることができる。そのため、1台の物理計算機に対し、より多くの数の仮想計算機を割り当てた方が効率良く運用することができる。   In a data center or the like, usually, a plurality of virtual machines (virtual machines) are allocated to a plurality of physical machines (physical machines) for operation. Each physical computer can be operated by assigning a plurality of virtual computers. This method enables operation with fewer physical computers than the number of virtual computers, and the location and cost for installing the physical computers. Can be suppressed. Therefore, it is possible to operate more efficiently if a larger number of virtual machines are assigned to one physical computer.

ただし、物理計算機におけるCPU、主記憶、補助記憶装置等の資源は有限であるため、仮想計算機に必要な資源の合計が物理計算機の資源量を超えないように、1つの物理計算機に複数の仮想計算機を割り当てる必要がある。   However, since resources such as CPU, main memory, and auxiliary storage device in a physical computer are finite, a plurality of virtual machines are allocated to one physical computer so that the total amount of resources required for the virtual computer does not exceed the resource amount of the physical computer. It is necessary to assign a computer.

そのため、従来では、従来、1つの物理計算機に複数の仮想計算機を割り当てる場合、負荷最大時におけるCPUや主記憶等の資源使用量から、運用者の経験と勘に基づいて割り当てる方法が取られていたが、すべての組み合わせを調べるのは困難であり、最適な割り当て方を見つけるのは不可能である。   Therefore, conventionally, when allocating a plurality of virtual machines to one physical computer, a method of allocating based on the experience and intuition of the operator from the resource usage such as CPU and main memory at the time of maximum load has been taken. However, it is difficult to examine all combinations, and it is impossible to find an optimal allocation method.

そこで、特許文献1では、想定ユーザ数等の負荷試験により、仮想計算機の必要リソース量を求めて、この必要リソース量に基づいて物理計算機への仮想計算機の割り当てを決定する方法が開示されている。   Therefore, Patent Document 1 discloses a method of determining a required resource amount of a virtual computer by a load test such as the assumed number of users and determining assignment of the virtual computer to a physical computer based on the required resource amount. .

また、特許文献2では、時々刻々と変化する各仮想計算機の負荷に応じて、各仮想計算機に割り当てるリソースを変更していく方法が開示されている。   Patent Document 2 discloses a method of changing resources allocated to each virtual machine in accordance with the load of each virtual machine that changes from moment to moment.

特開2010−271863号公報JP 2010-271863 A 特開2003−157177号公報JP 2003-157177 A

しかし、特許文献1に記載の技術では、例えば、仮想計算機A,B,Cのぞれぞれの想定リソース量が、仮想計算機A(0時〜12時のリソース量50、12時〜24時のリソース量0)、仮想計算機B(0時〜12時のリソース量50、12時〜24時のリソース量0)、及び仮想計算機C(0時〜12時のリソース量0、12時〜24時のリソース量60)であった場合、仮想計算機A,B,Cの必要リソース量の合計は160%となり、これは物理計算機のリソース量の100%を超えてしまうため、負荷が時間帯によって異なるにも関わらず、仮想計算機A,B,Cを1つの物理計算機に割り当てることができないという問題があった。   However, in the technique described in Patent Literature 1, for example, the assumed resource amount of each of the virtual machines A, B, and C is the virtual machine A (the resource amount 50 from 0:00 to 12:00, 12:00 to 24:00). Resource amount 0), virtual computer B (resource amount 50 from 0:00 to 12:00, resource amount 0 from 12:00 to 24:00), and virtual computer C (resource amount 0 from 0:00 to 12:00, 12:00 to 24) If the resource amount is 60), the total required resource amount of the virtual machines A, B, and C is 160%, which exceeds 100% of the resource amount of the physical computer. Despite being different, there is a problem that virtual machines A, B, and C cannot be assigned to one physical machine.

また、特許文献2に記載の技術では、時々刻々と変化する各仮想計算機の負荷に応じて、各仮想計算機に割り当てるリソースを変更するものであるが、物理計算機への仮想計算機集約台数の最大化を実現できるものではない。   In the technique described in Patent Document 2, the resource allocated to each virtual machine is changed according to the load of each virtual machine that changes from moment to moment, but the maximum number of virtual computers aggregated to the physical computer is maximized. Cannot be realized.

そこで、本発明は、かかる事情に鑑みてなされたものであり、物理計算機への仮想計算機集約台数の最大化を図り、1つの物理計算機に対して複数の仮想計算機の割り当てを効率よく実現する新しい仮想計算機割り当てシステム等を提供することを目的とする。   Therefore, the present invention has been made in view of such circumstances, and aims to maximize the number of virtual computers aggregated to a physical computer and to efficiently allocate a plurality of virtual computers to one physical computer. An object is to provide a virtual machine allocation system and the like.

本発明による仮想計算機割り当てシステムは、複数の仮想計算機を少なくとも1以上の物理計算機に割り当てを行う仮想計算機割り当てシステムであって、前記各仮想計算機の資源使用量を所定時間ごとに計測する資源使用料計測手段と、前記各物理計算機の資源量の情報を記憶する記憶手段と、前記各仮想計算機の資源使用量の時刻ごとの和が前記記憶手段に記憶された前記物理計算機の資源量を超えず、且つ、前記物理計算機の数が最小になるように、前記複数の仮想計算機を前記物理計算機に割り当てる仮想計算機割り当て決定手段と、を備える。   A virtual machine allocation system according to the present invention is a virtual machine allocation system that allocates a plurality of virtual machines to at least one physical computer, and is a resource usage fee for measuring the resource usage of each virtual machine at predetermined time intervals. Measuring means, storage means for storing information on the resource amount of each physical computer, and the sum of the resource usage of each virtual computer for each time does not exceed the resource amount of the physical computer stored in the storage means And a virtual machine assignment determining means for allocating the plurality of virtual machines to the physical machine so that the number of the physical machines is minimized.

本発明による仮想計算機割り当て方法は、複数の仮想計算機を少なくとも1以上の物理計算機に割り当てを行う仮想計算機割り当て方法であって、前記各仮想計算機の資源使用量を所定時間ごとに計測する段階と、前記各物理計算機の資源量の情報を記憶する段階と、前記各仮想計算機の資源使用量の時刻ごとの和が前記記憶手段に記憶された前記物理計算機の資源量を超えず、且つ、前記物理計算機の数が最小になるように、前記複数の仮想計算機を前記物理計算機に割り当てを決定する段階と、を備える。   The virtual machine allocation method according to the present invention is a virtual machine allocation method for allocating a plurality of virtual machines to at least one physical computer, and measuring the resource usage of each virtual machine at a predetermined time; Storing the information of the resource amount of each physical computer, and the sum of the resource usage of each virtual computer for each time does not exceed the resource amount of the physical computer stored in the storage unit; Determining allocation of the plurality of virtual machines to the physical computer such that the number of computers is minimized.

以上のように構成された本発明の仮想計算機割り当てシステム等によれば、負荷の高い仮想計算機と負荷の低い仮想計算機を、同じ物理計算機に割り当てできるため、各仮想計算機をより少ない数の物理計算機で効率的に実行することができる。また、経験者が勘と経験で推論し割り当てを行うよりも効率的に割り当てを行うことができるため、自動的、且つ、人手によらない運用が可能であり、人件費等のコストを抑えることができる。   According to the virtual machine allocation system and the like of the present invention configured as described above, a virtual machine with a high load and a virtual machine with a low load can be allocated to the same physical computer, so that each virtual machine has a smaller number of physical computers. Can be executed efficiently. In addition, since it is possible to perform allocation more efficiently than experienced persons infer and allocate with intuition and experience, it is possible to operate automatically and without human intervention, and to reduce costs such as labor costs Can do.

本実施形態の仮想計算機割り当てシステムの概略構成を示す図である。It is a figure which shows schematic structure of the virtual machine allocation system of this embodiment. 本実施形態の仮想計算機割り当て方法の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the virtual machine allocation method of this embodiment. 本実施形態において、補助記憶装置に記憶される情報の一例を示す図である。In this embodiment, it is a figure which shows an example of the information memorize | stored in an auxiliary storage device. 本実施形態において、物理計算機資源量一覧の一例を示す図である。In this embodiment, it is a figure which shows an example of a physical computer resource amount list | wrist. 本実施形態において、一時割り当て表の一例を示す図である。In this embodiment, it is a figure which shows an example of a temporary allocation table. 本実施形態の仮想計算機割り当て方法の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the virtual machine allocation method of this embodiment. 本実施形態の仮想計算機割り当て方法の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the virtual machine allocation method of this embodiment. 本実施形態の仮想計算機割り当て方法の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the virtual machine allocation method of this embodiment. 本実施形態の仮想計算機割り当て方法の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the virtual machine allocation method of this embodiment. 本実施形態の仮想計算機割り当て方法の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the virtual machine allocation method of this embodiment. 本実施形態の仮想計算機割り当て方法の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the virtual machine allocation method of this embodiment. 本実施形態において、割り当て後の物理計算機と仮想計算機の対応表の一例を示す図である。In this embodiment, it is a figure which shows an example of the correspondence table of the physical computer after allocation, and a virtual computer.

以下、本発明を実施するための好適な実施形態を、図面を参照しながら説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described with reference to the drawings.

図1は、本発明の実施形態の仮想計算機割り当てシステム(以下、単に「システム」と称する)100の概略構成の一例を示す図である。   FIG. 1 is a diagram showing an example of a schematic configuration of a virtual machine allocation system (hereinafter simply referred to as “system”) 100 according to an embodiment of this invention.

システム100は、図1に示すとおり、複数の物理計算機1、補助記憶装置2、データ処理装置3、記憶装置4、及び出力装置5を含んで構成される。   As illustrated in FIG. 1, the system 100 includes a plurality of physical computers 1, an auxiliary storage device 2, a data processing device 3, a storage device 4, and an output device 5.

物理計算機1は、該物理計算機1上で動作している1以上の仮想計算機101の資源使用量を計測する資源使用量計測プログラム11の処理を実行可能な装置である。   The physical computer 1 is a device that can execute the processing of the resource usage measurement program 11 that measures the resource usage of one or more virtual machines 101 operating on the physical computer 1.

資源使用量計測プログラム(資源使用量計測手段)11は、仮想計算機101ごとの資源使用量を、日付、時刻ごとに補助記憶装置2に記録する処理を行う。なお、本実施形態における「資源使用量」とは、例えば、CPUの使用率、主記憶の使用量とする。   The resource usage measurement program (resource usage measurement means) 11 performs a process of recording the resource usage for each virtual machine 101 in the auxiliary storage device 2 for each date and time. The “resource usage amount” in the present embodiment is, for example, a CPU usage rate or a main memory usage amount.

補助記憶装置2は、資源使用量計測プログラム11により、上述の仮想計算機101ごとの資源使用量を、日付、時刻ごとに記録するデータベースである。   The auxiliary storage device 2 is a database in which the resource usage measurement program 11 records the resource usage for each virtual computer 101 described above for each date and time.

記憶装置4は、仮想計算機一覧データ41及び物理計算機1の資源量一覧データ42を記憶するデータベース(記憶手段)である。   The storage device 4 is a database (storage unit) that stores virtual computer list data 41 and resource amount list data 42 of the physical computer 1.

データ処理装置3は、仮想計算機割り当て決定プログラム(仮想計算機割り当て決定手段)31の処理を実行可能な装置である。   The data processing device 3 is a device that can execute the processing of the virtual machine allocation determination program (virtual machine allocation determination means) 31.

仮想計算機割り当て決定プログラム31は、動作させる必要のある仮想計算機101を仮想計算機一覧41から取得し、各物理計算機1に割り当てる処理を行うものであって、(1)補助記憶装置2に記録されている各仮想計算機101の資源使用量の時刻ごとの和が、物理計算機1の資源量を超えないこと、(2)使用する物理計算機1の数が最小になること、の2つの条件を満たすように処理を行うことができる。また、仮想計算機割り当て決定プログラム31は、得られた仮想計算機の割り当て結果を、画面やファイルなどの出力装置5に出力する処理を実行するようにできる。   The virtual machine assignment determination program 31 acquires the virtual machine 101 that needs to be operated from the virtual machine list 41 and performs a process of assigning it to each physical machine 1. (1) Recorded in the auxiliary storage device 2 So that the sum of the resource usage of each virtual computer 101 at each time does not exceed the resource amount of the physical computer 1 and (2) the number of physical computers 1 to be used is minimized. Can be processed. Further, the virtual machine assignment determination program 31 can execute a process of outputting the obtained virtual machine assignment result to the output device 5 such as a screen or a file.

出力装置5は、仮想計算機の割り当て結果をユーザに対して表示可能な出力手段であり、例えば、ディスプレイ等の表示装置や、印刷装置である。   The output device 5 is an output unit that can display a virtual computer assignment result to a user, and is, for example, a display device such as a display or a printing device.

以下、図2に示すフローチャートを参照して、本実施形態の仮想計算機割り当て方法(仮想計算機割り当て決定プログラム31)の動作処理を説明する。なお、図2のフローチャートで示される各処理は、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。   Hereinafter, with reference to the flowchart shown in FIG. 2, the operation process of the virtual machine assignment method (virtual machine assignment determination program 31) of this embodiment will be described. Note that the processes shown in the flowchart of FIG. 2 can be executed in any order or in parallel as long as the process contents do not contradict each other.

仮想計算機割り当てプログラム31の動作処理の前処理として、資源使用量計測プログラム11により、各仮想計算機101の資源使用量を計測し、補助記憶装置2に記録する処理が実行される。この記録は、仮想計算機ごと、日付、時刻ごとに行われる。例えば、動作させる仮想計算機の数をM(Mは自然数)とし、計測の間隔を1分とすると、図3に示すような情報が記録される。   As pre-processing of the operation process of the virtual machine allocation program 31, the resource usage measurement program 11 measures the resource usage of each virtual machine 101 and records it in the auxiliary storage device 2. This recording is performed for each virtual machine, each date, and each time. For example, when the number of virtual computers to be operated is M (M is a natural number) and the measurement interval is 1 minute, information as shown in FIG. 3 is recorded.

仮想計算機割り当て決定プログラム31は、次に記述するようなステップで、各物理計算機1の資源量を超えない範囲で、且つ、必要な物理計算機の数が最小となるような仮想計算機の割り当て方を決定する。物理計算機1の数をNとすると、物理計算機資源量一覧42には、図4に示すように、物理計算機1ごとにCPU資源量及び主記憶資源量が記録されている。   The virtual machine allocation determination program 31 performs the following steps to determine how to allocate virtual machines in a range that does not exceed the resource amount of each physical computer 1 and that minimizes the number of necessary physical computers. decide. Assuming that the number of physical computers 1 is N, the CPU resource amount and main storage resource amount are recorded in the physical computer resource amount list 42 for each physical computer 1 as shown in FIG.

まず、仮想計算機一覧41から仮想計算機の一覧を取得する(ステップA1)。具体的には、例えば、取得した仮想計算機の一覧をV(M)<V(M)={仮想計算機101−1、仮想計算機101−2、…、仮想計算機101−M}>と表すことができる。   First, a list of virtual machines is acquired from the virtual machine list 41 (step A1). Specifically, for example, a list of acquired virtual machines may be expressed as V (M) <V (M) = {virtual machine 101-1, virtual machine 101-2,..., Virtual machine 101-M}>. it can.

次いで、物理計算機資源量一覧42から物理計算機の一覧と各物理計算機の資源量を取得する(ステップA2)。   Next, a list of physical computers and a resource amount of each physical computer are acquired from the physical computer resource amount list 42 (step A2).

次いで、物理計算機と仮想計算機の割り当てを表す一時割り当て表を初期化する(ステップA3)。一時割り当て表は、例えば、図5に示すように、物理計算機と仮想計算機の対応関係(割り当て)を表しており、初期化直後は、各物理計算機に対して割り当てるべき仮想計算機の情報がリセットされる(図5に示す全ての列が空であることは、すべての物理計算機に、1つも仮想計算機が割り当てられていないことを表している)。   Next, a temporary allocation table representing allocation between physical computers and virtual computers is initialized (step A3). For example, as shown in FIG. 5, the temporary allocation table represents the correspondence (allocation) between a physical computer and a virtual computer. Immediately after initialization, information on the virtual computer to be allocated to each physical computer is reset. (The fact that all the columns shown in FIG. 5 are empty means that no virtual machine is assigned to any physical computer).

次いで、一時割り当て表と仮想計算機一覧V(M)を引数にして、割り当て探索サブルーチンを実行する(ステップA4)。ここで、割り当て探索サブルーチンとは、引数の一時割り当て表と、仮想計算機一覧41と、物理計算機資源量一覧42と、補助記憶装置2に記録されている過去の資源使用量とから、次の(1)(2)の条件を満たす仮想計算機の割り当て方を結果として返す(ステップA5)。   Next, an allocation search subroutine is executed using the temporary allocation table and the virtual machine list V (M) as arguments (step A4). Here, the allocation search subroutine is the following (from the temporary allocation table of arguments, the virtual computer list 41, the physical computer resource amount list 42, and the past resource usage recorded in the auxiliary storage device 2. 1) A method of assigning virtual machines satisfying the condition of (2) is returned as a result (step A5).

(1)補助記憶装置2に記録されている各仮想計算機101の資源使用量の時刻毎の和が、物理計算機の資源量を超えない。   (1) The sum of the resource usage of each virtual machine 101 recorded in the auxiliary storage device 2 for each time does not exceed the resource quantity of the physical computer.

(2)使用する物理計算機1の数が最小となる。   (2) The number of physical computers 1 to be used is minimized.

上記の条件を満たす割り当てができる場合には(ステップA5:Yes)、その割り当て方を出力する(ステップA6)。一方、上記割り当てができない場合には(ステップA5:No)、割り当て探索サブルーチンは、割り当て方が無いという結果(割り当て不可能であうことを出力)を返してくる(ステップA7)。   When the assignment satisfying the above conditions can be performed (step A5: Yes), the assignment method is output (step A6). On the other hand, when the above allocation cannot be performed (step A5: No), the allocation search subroutine returns a result indicating that there is no allocation (output that allocation is impossible) (step A7).

ここで、割り当て探索サブルーチンについて、図6−図10を参照して説明する。割り当て探索サブルーチンは、再帰的アルゴリズムで仮想計算機の割り当て方を探索する。割り当て探索サブルーチンが呼び出されるとき、(1)仮想計算機一覧41、(2)一時割り当て表、の引数を受け取る。なお、図6−図10のフローチャートで示される各処理は、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。   Here, the allocation search subroutine will be described with reference to FIGS. The allocation search subroutine searches for a virtual machine allocation method using a recursive algorithm. When the allocation search subroutine is called, the arguments of (1) virtual machine list 41 and (2) temporary allocation table are received. Note that the processes shown in the flowcharts of FIGS. 6 to 10 can be executed in any order or in parallel within a range in which there is no contradiction in the process contents.

まず、図6に示すように、引数の仮想計算機一覧41に、仮想計算機が1つ以上あるか否かを確認する(ステップB1)。仮想計算機が1つも無い場合は(ステップB1:No)、図10に示すように、ステップB99の処理で条件を満たす割り当て方が見つかったことを示す値と、引数の一時割り当て表の値を返して、処理を終了する。   First, as shown in FIG. 6, it is confirmed whether or not there is one or more virtual machines in the argument virtual machine list 41 (step B1). If there is no virtual machine (step B1: No), as shown in FIG. 10, a value indicating that an allocation method satisfying the condition in the process of step B99 and a value in the temporary allocation table of arguments are returned. To end the process.

次いで、引数の仮想計算機一覧から1つ仮想計算機を選択する(ステップB2)。なお、選択した仮想計算機をVtとし、仮想計算機一覧からVtを取り除いたものをV(i−1)とする。   Next, one virtual machine is selected from the argument virtual machine list (step B2). It is assumed that the selected virtual machine is Vt, and V (i−1) is the one obtained by removing Vt from the virtual machine list.

次いで、条件を満たす仮想計算機の割り当てを発見したことを示す発見フラグ(フラグ)F1をオフにする(ステップB3)。   Next, the discovery flag (flag) F1 indicating that the assignment of the virtual machine satisfying the condition has been discovered is turned off (step B3).

次いで、引数の一時割り当て表の先頭行から物理計算機を1つ選択する(ステップB4)。なお、選択した物理計算機をPtとする。   Next, one physical computer is selected from the first row of the argument temporary allocation table (step B4). Note that the selected physical computer is Pt.

次いで、引数の一時割り当て表、仮想計算機Vt、物理計算機Ptを引数にして、資源使用量検査サブルーチンを呼ぶ(ステップB5)。資源使用量検査サブルーチンは、一時割り当て表の物理計算機Ptの行に登録されている各仮想計算機と仮想計算機Vtの資源使用量を、補助記憶装置2から読み取り、時刻別にとった和が、物理計算機資源量一覧42の物理資源量を超えていないことを検査する(ステップB6)。検査した結果、資源量を超えていなければOKを返し、資源量を超えていれば、NGを返す。なお、資源使用量検査サブルーチンの具体的な動作処理は後述する。検査結果がNGであれば(ステップB6:NG)、ステップB13に進む。   Next, the resource usage check subroutine is called with the argument temporary allocation table, virtual machine Vt, and physical machine Pt as arguments (step B5). In the resource usage check subroutine, the resource usage of each virtual machine and virtual machine Vt registered in the row of the physical computer Pt in the temporary allocation table is read from the auxiliary storage device 2, and the sum taken for each time is the physical computer. It is inspected that the physical resource amount in the resource amount list 42 is not exceeded (step B6). As a result of the inspection, if the resource amount is not exceeded, OK is returned, and if the resource amount is exceeded, NG is returned. The specific operation process of the resource usage amount inspection subroutine will be described later. If the inspection result is NG (step B6: NG), the process proceeds to step B13.

一方、検査結果がOKであれば(ステップB6:OK)、図7に示すように、局所変数一時割り当て表Wに、引数の一時割り当て表を複写する(ステップB7)。   On the other hand, if the inspection result is OK (step B6: OK), as shown in FIG. 7, the argument temporary allocation table is copied to the local variable temporary allocation table W (step B7).

次いで、局所変数一時割り当て表Wに仮想計算機Vtを追加する(ステップB8)。ここで、追加する行は物理計算機Ptであり、列は空のものである。   Next, the virtual machine Vt is added to the local variable temporary allocation table W (step B8). Here, the added row is the physical computer Pt, and the column is empty.

次いで、割り当て探索サブルーチンを実行する(ステップB9)。これは、再帰呼び出し実行させる。引数には、局所変数一時割り当て表Wと、仮想計算機の一覧V(i−1)を指定して呼び出す。割り当て方が見つかった場合は、返ってきた割り当て表をTとする。   Next, an allocation search subroutine is executed (step B9). This causes a recursive call to be executed. The local variable temporary allocation table W and the virtual machine list V (i-1) are designated and called as arguments. If an allocation method is found, the returned allocation table is T.

次いで、割り当て方が見つかったか否かを判定し(ステップB10)、見つかった場合は(ステップB10:Yes)、ステップB11に進み、見つからなかった場合は(ステップB10:No)、ステップB13に進み、次の物理計算機について処理を実行する。   Next, it is determined whether or not an allocation method has been found (step B10). If found (step B10: Yes), the process proceeds to step B11. If not found (step B10: No), the process proceeds to step B13. The process is executed for the next physical computer.

次いで、フラグF1がONか否かを検査する(ステップB11)。フラグF1がOFFの場合は(ステップB11:No)、表Tから局所変数Xに複写する(ステップB12)。局所変数Xは、このサブルーチンの戻り値候補である。また、割り当て表Xで、列に仮想計算機名が設定されている行数を局所変数Npに代入する。局所変数Npは、割り当て表Xの時に、使用している物理計算機の数である。   Next, it is checked whether or not the flag F1 is ON (step B11). When the flag F1 is OFF (step B11: No), the table T is copied to the local variable X (step B12). The local variable X is a return value candidate of this subroutine. In the allocation table X, the number of rows in which the virtual computer name is set in the column is substituted into the local variable Np. The local variable Np is the number of physical computers in use at the time of the allocation table X.

次いで、図8に示すように、すべての物理計算機について実行したか否かを検査する(ステップB13)。すべての物理計算機について実行が終了している場合には(ステップB13:Yes)、フラグF1がONか否かを検査する(ステップB14)。フラグF1がONならば(ステップB14:Yes)、局所変数Xの値が、目的とする仮想計算機の割り当て方なので、この値と割り当て方が見つかったことを戻り値として処理を終了する(ステップB15)。一方、フラグF1がOFFの場合は(ステップB14:No)、割り当て方が見つからなかったことを戻り値とする(ステップB17)。   Next, as shown in FIG. 8, it is inspected whether or not all physical computers have been executed (step B13). If execution has been completed for all physical computers (step B13: Yes), it is checked whether the flag F1 is ON (step B14). If the flag F1 is ON (step B14: Yes), the value of the local variable X is the allocation method of the target virtual machine, so the process ends with this value and that the allocation method is found as a return value (step B15). ). On the other hand, when the flag F1 is OFF (step B14: No), the return value is that no allocation method was found (step B17).

ここで、ステップB13の処理で、未だ実行していない物理計算機がある場合は(ステップB13:No)、次の行の物理計算機をPtとして(ステップB16)、ステップB5に戻る。   If there is a physical computer that has not yet been executed in step B13 (step B13: No), the physical computer in the next row is set as Pt (step B16), and the process returns to step B5.

また、ステップB11の処理で、フラグF1がONだった場合は(ステップB11:No)、図9に示すように、戻り値の仮想計算機割り当て表Tで使用している物理計算機の数が、局所変数Npより小さいか否かを検査する(ステップB18)。使用している物理計算機の数が局所変数Npより小さい場合(ステップB18:Yes)、表Tから局所変数Xに複写し、また、割り当て表Xで、列に仮想計算機名が設定されている行数を局所変数Npに代入する(ステップB19)。次いで、すべての物理計算機について処理をするためステップB12に進む。   Further, when the flag F1 is ON in the process of step B11 (step B11: No), as shown in FIG. 9, the number of physical computers used in the virtual machine allocation table T of the return value is local. It is checked whether or not it is smaller than the variable Np (step B18). When the number of used physical computers is smaller than the local variable Np (step B18: Yes), the table T is copied to the local variable X, and the row in the allocation table X in which the virtual computer name is set in the column The number is substituted into the local variable Np (step B19). Next, the process proceeds to step B12 in order to process all the physical computers.

次に、資源使用量検査サブルーチンについて、図11を参照して説明する。なお、図11のフローチャートで示される各処理は、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。   Next, the resource usage amount inspection subroutine will be described with reference to FIG. Note that the processes shown in the flowchart of FIG. 11 can be executed in any order or in parallel as long as the process contents do not contradict each other.

引数で渡された物理計算機Ptと、引数で渡された一時割り当て表を参照し、引数で渡された物理計算機Ptに割り当てられている仮想計算機を決定する。この0個以上の仮想計算機と引数で渡された仮想計算機Vtの資源使用量を補助記憶装置2から取得する(ステップC1)。このとき、もっとも古い時刻の情報を取得するものとし、情報が無い仮想計算機の資源使用量は「0」とする。   By referring to the physical computer Pt passed by the argument and the temporary allocation table passed by the argument, the virtual machine assigned to the physical computer Pt passed by the argument is determined. The resource usage of the zero or more virtual machines and the virtual machine Vt passed as an argument is acquired from the auxiliary storage device 2 (step C1). At this time, it is assumed that the information of the oldest time is acquired, and the resource usage of the virtual machine with no information is “0”.

次いで、ステップC1の処理で取得した資源使用量の和を求める(ステップC2)。   Next, the sum of the resource usage acquired in the process of step C1 is obtained (step C2).

次いで、物理計算機資源量一覧42から、引数で渡された物理計算機の資源量を取得する(ステップC3)。   Next, the physical computer resource amount passed as an argument is acquired from the physical computer resource amount list 42 (step C3).

次いで、ステップC1の処理で求めた過去の資源使用量の和が物理計算機の各資源量より大きいか否かを検査する(ステップC4)。1つでも、物理計算機の資源量以下でない場合は(ステップC4:No)、戻り値をNGとして(ステップC8)、本フローの処理を終了する。一方、物理計算機の資源量以下である場合は(ステップC4:Yes)、補助記憶装置2のすべての過去の資源使用量を検査したか否かを調べる(ステップC5)。すべての資源使用量が検査済みならば(ステップC5:Yes)、戻り値をOKとして終了する(ステップC7)。   Next, it is checked whether or not the sum of the past resource usage obtained in the process of Step C1 is larger than each resource amount of the physical computer (Step C4). If even one is not less than the resource amount of the physical computer (step C4: No), the return value is set to NG (step C8), and the processing of this flow is terminated. On the other hand, if it is equal to or less than the resource amount of the physical computer (step C4: Yes), it is checked whether or not all past resource use amounts of the auxiliary storage device 2 have been inspected (step C5). If all the resource usages have been inspected (step C5: Yes), the return value is OK and the process ends (step C7).

一方、すべての資源使用量が検査済みでなければ(ステップC5:No)、次の時刻の資源使用量を補助記憶装置2から取得し(ステップC6)、ステップC2の処理に移る。なお、取得する資源使用量は、ステップC1の処理と同様、引数で渡された物理計算機Ptと、引数で渡された物理計算機Ptに割り当てられている仮想計算機と、引数で渡された仮想計算機Vtの資源使用量である。引数で渡された物理計算機Ptに割り当てられている仮想計算機は、引数で渡された一時割り当て表により決定できる。   On the other hand, if not all resource usage has been inspected (step C5: No), the resource usage at the next time is acquired from the auxiliary storage device 2 (step C6), and the process proceeds to step C2. Note that the resource usage to be acquired is the same as the processing of step C1, the physical computer Pt passed by the argument, the virtual computer assigned to the physical computer Pt passed by the argument, and the virtual computer passed by the argument This is the resource usage of Vt. The virtual machine assigned to the physical computer Pt passed by the argument can be determined by the temporary assignment table passed by the argument.

以上のステップにより、図12に示す、物理計算機と仮想計算機の対応表が得られる。この表から、必要な物理計算機の数と、各物理計算機への仮想計算機の割り当て方がわかる。運用担当者は、現在の仮想計算機の割り当て方と、出力された割り当て方を比較して、必要な物理計算機の数が少なくてすむ等の理由で新しく出力された割り当て方を選ぶかどうかを決定することができる。   Through the above steps, the correspondence table between the physical computer and the virtual computer shown in FIG. 12 is obtained. From this table, the number of required physical computers and how to assign virtual computers to each physical computer can be understood. The person in charge of the operation compares the current virtual machine assignment method with the output assignment method, and decides whether or not to select a new output assignment method because the number of required physical computers is reduced. can do.

また、以上のステップを1か月毎等、定期的に実行し、物理計算機への仮想計算機の割り当てを見直すことで、効率的な数の物理計算機で運用することが可能となる。   In addition, it is possible to operate with an efficient number of physical computers by periodically executing the above steps every month or the like and reviewing the assignment of virtual computers to physical computers.

以上、本実施形態の仮想計算機割り当て方法によれば、以下の効果を奏する。   As described above, according to the virtual machine assignment method of the present embodiment, the following effects are obtained.

第1の効果は、負荷の高い仮想計算機と負荷の低い仮想計算機を、同じ物理計算機に割り当てできることである。これにより、各仮想計算機の最高負荷時の資源使用量だけを基に割り当て方を決める場合よりも、各仮想計算機をより少ない数の物理計算機で効率的に実行することができる。   The first effect is that a virtual machine with a high load and a virtual machine with a low load can be assigned to the same physical computer. As a result, each virtual machine can be efficiently executed with a smaller number of physical computers than when the allocation method is determined based only on the resource usage at the maximum load of each virtual machine.

第2の効果は、経験者が勘と経験で推論し割り当てを行うよりも効率的に割り当てを行うことができることである。その結果、自動的、且つ、人手によらない運用が可能であり、人件費等のコストを抑えることができる。   The second effect is that an experienced person can perform allocation more efficiently than inferring and allocating with intuition and experience. As a result, it is possible to operate automatically and without manual operation, and it is possible to reduce costs such as labor costs.

<変形例>
以上のように本発明の好適な実施形態について説明したが、本発明は、以上の実施形態に限定されるべきものではなく、特許請求の範囲に表現された思想および範囲を逸脱することなく、種々の変形、追加、および省略が当業者によって可能である。
<Modification>
The preferred embodiments of the present invention have been described above. However, the present invention should not be limited to the above embodiments, and does not depart from the spirit and scope expressed in the claims. Various modifications, additions, and omissions are possible by those skilled in the art.

例えば、上述した本実施形態では、資源としてCPU使用率と主記憶使用量を使用したが、本発明はこれに限られず、例えば、磁気ディスク装置、ネットワーク装置等の他の資源使用量を追加することで、よりシステムに適合した割り当てを実現することができる。   For example, in the above-described embodiment, the CPU usage rate and the main memory usage amount are used as resources. However, the present invention is not limited to this, and other resource usage amounts such as a magnetic disk device and a network device are added. Thus, it is possible to realize an allocation more suitable for the system.

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。   A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.

(付記1)複数の仮想計算機を少なくとも1以上の物理計算機に割り当てを行う仮想計算機割り当てシステムであって、前記各仮想計算機の資源使用量を所定時間ごとに計測する資源使用料計測手段と、前記各物理計算機の資源量の情報を記憶する記憶手段と、前記各仮想計算機の資源使用量の時刻ごとの和が前記記憶手段に記憶された前記物理計算機の資源量を超えず、且つ、前記物理計算機の数が最小になるように、前記複数の仮想計算機を前記物理計算機に割り当てる仮想計算機割り当て決定手段と、を備える仮想計算機割り当てシステム。   (Appendix 1) A virtual machine allocation system that allocates a plurality of virtual machines to at least one physical machine, the resource usage fee measuring means for measuring the resource usage of each virtual machine every predetermined time, and Storage means for storing information on the resource amount of each physical computer, and the sum of the resource usage of each virtual computer for each time does not exceed the resource amount of the physical computer stored in the storage means, and the physical A virtual machine assignment system comprising: virtual machine assignment determination means for assigning the plurality of virtual machines to the physical machine so that the number of computers is minimized.

(付記2)前記複数の仮想計算機を前記物理計算機に割り当てた結果を出力する出力手段を更に備える、付記1に記載の仮想計算機割り当てシステム。   (Supplementary note 2) The virtual machine assignment system according to supplementary note 1, further comprising output means for outputting a result of assigning the plurality of virtual machines to the physical computer.

(付記3)前記仮想計算機の資源使用量は、CPUの使用率、及び記憶装置の使用量を含む、付記1又は付記2に記載の仮想計算機割り当てシステム。   (Supplementary note 3) The virtual machine allocation system according to supplementary note 1 or supplementary note 2, wherein the resource usage of the virtual machine includes a usage rate of a CPU and a usage amount of a storage device.

(付記4)複数の仮想計算機を少なくとも1以上の物理計算機に割り当てを行う仮想計算機割り当て方法であって、前記各仮想計算機の資源使用量を所定時間ごとに計測する段階と、前記各物理計算機の資源量の情報を記憶する段階と、前記各仮想計算機の資源使用量の時刻ごとの和が前記記憶手段に記憶された前記物理計算機の資源量を超えず、且つ、前記物理計算機の数が最小になるように、前記複数の仮想計算機を前記物理計算機に割り当てを決定する段階と、を備える仮想計算機割り当て方法。   (Appendix 4) A virtual machine allocation method for allocating a plurality of virtual machines to at least one physical machine, the step of measuring the resource usage of each virtual machine every predetermined time; The step of storing resource amount information, and the sum of resource usage amounts of each virtual computer for each time does not exceed the resource amount of the physical computer stored in the storage means, and the number of the physical computers is the minimum And determining the allocation of the plurality of virtual machines to the physical computer.

本発明は、例えば、仮想計算機を提供するサービス等であって、パターンが定型的で業務量が増えていくようなシステムの実行環境を管理、運用する分野で利用することができる。   The present invention can be used, for example, in the field of managing and operating a system execution environment such as a service that provides a virtual machine and has a regular pattern and an increased workload.

1…物理計算機、2…補助記憶装置、3…データ処理装置、4…記憶装置、5…出力装置5、11…資源使用量計測プログラム、31…仮想計算機割り当て決定プログラム、41…仮想計算機一覧、42…物理計算機資源量一覧、100…仮想計算機割り当てシステム、101…仮想計算機。   DESCRIPTION OF SYMBOLS 1 ... Physical computer, 2 ... Auxiliary storage device, 3 ... Data processing device, 4 ... Storage device, 5 ... Output device 5, 11 ... Resource usage measurement program, 31 ... Virtual computer allocation determination program, 41 ... Virtual computer list, 42 ... Physical computer resource amount list, 100 ... Virtual computer allocation system, 101 ... Virtual computer.

Claims (4)

複数の仮想計算機の複数の物理計算機への割り当てを行う仮想計算機割り当てシステムであって、
前記各仮想計算機の資源使用量を第1の所定時間ごとに計測する資源使用計測手段と、
前記各物理計算機の資源量の情報を記憶する記憶手段と、
前記第1の所定時間より長い第2の所定時間において前記各仮想計算機の資源使用量の前記第1の所定時間ごとの和が前記記憶手段に記憶された前記物理計算機の資源量を超えないという第1の条件と、前記物理計算機の数が最小になるという第2の条件とを満たすように、前記複数の仮想計算機を前記物理計算機に割り当てる仮想計算機割り当て決定手段と、
を備え
前記決定手段は、
1つめの物理計算機を選択する動作と、
1つめの仮想計算機を選択する動作と、
前記選択した物理計算機に前記選択した仮想計算機を前記第1の条件を満たすように割り当てられるかどうかを判定する動作と、
割り当てられる場合は前記選択した物理計算機に前記選択した仮想計算機を割り当て、次の仮想計算機を選択して前記判定する動作に再帰するように制御し、割り当てられない場合は次の物理計算機を選択して前記判定する動作に再帰するように制御する動作と、を実行可能に構成される、
仮想計算機割り当てシステム。
A virtual computer allocation system for allocating to a plurality of virtual machines of the plurality of physical computers,
Resource usage measuring means for measuring the resource usage of each virtual machine at a first predetermined time ;
Storage means for storing resource amount information of each physical computer;
The sum of the resource usage of each virtual machine for each first predetermined time in a second predetermined time longer than the first predetermined time does not exceed the resource amount of the physical computer stored in the storage means. A virtual machine allocation determining means for allocating the plurality of virtual machines to the physical computer so as to satisfy the first condition and the second condition that the number of the physical computers is minimized;
Equipped with a,
The determining means includes
Selecting the first physical computer,
Selecting the first virtual machine;
Determining whether the selected virtual machine can be assigned to the selected physical computer so as to satisfy the first condition;
If it is assigned, the selected virtual machine is assigned to the selected virtual machine, and the next virtual machine is selected and controlled to recurse to the determination operation. If not assigned, the next physical machine is selected. And an operation for controlling to recursively determine the operation to be determined.
Virtual machine allocation system.
前記複数の仮想計算機を前記物理計算機に割り当てた結果を出力する出力手段を更に備える、請求項1に記載の仮想計算機割り当てシステム。   The virtual machine assignment system according to claim 1, further comprising an output unit that outputs a result of assigning the plurality of virtual machines to the physical computer. 前記仮想計算機の資源使用量は、CPUの使用率、及び記憶装置の使用量を含む、請求項1又は請求項2に記載の仮想計算機割り当てシステム。   The virtual machine allocation system according to claim 1, wherein the virtual machine resource usage includes a CPU usage rate and a storage usage. データ処理装置により実行される、複数の仮想計算機の複数の物理計算機への割り当てを行う仮想計算機割り当て方法であって、
第1の所定時間ごとに計測された前記各仮想計算機の資源使用量を取得する段階と、
前記各物理計算機の資源量の情報を取得する段階と、
前記第1の所定時間より長い第2の所定時間において前記各仮想計算機の資源使用量の前記第1の所定時間ごとの和が前記物理計算機の資源量を超えないという第1の条件と、前記物理計算機の数が最小になるという第2の条件とを満たすように、前記複数の仮想計算機を前記物理計算機に割り当てる段階と、
を備え
前記割り当てる段階は、
1つめの物理計算機を選択する段階と、
1つめの仮想計算機を選択する段階と、
前記選択した物理計算機に前記選択した仮想計算機を前記第1の条件を満たすように割り当てられるかどうかを判定する段階と、
割り当てられる場合は前記選択した物理計算機に前記選択した仮想計算機を割り当て、次の仮想計算機を選択して前記判定する動作に再帰するように制御し、割り当てられない場合は次の物理計算機を選択して前記判定する動作に再帰するように制御する段階と、を含む、
仮想計算機割り当て方法。
Is executed by the data processing apparatus, a virtual machine allocation method of allocating to a plurality of physical computers of the plurality of virtual machines,
Obtaining the resource usage of each virtual machine measured at each first predetermined time ;
Obtaining information on the amount of resources of each physical computer;
A first condition that the sum of each of the said first predetermined time resource usage for each virtual machine does not exceed the amount of resources pre-Symbol physical computer in the long second predetermined time than the first predetermined time, Assigning the plurality of virtual machines to the physical computer so as to satisfy the second condition that the number of the physical computers is minimized;
Equipped with a,
The assigning step comprises:
Selecting the first physical computer;
Selecting the first virtual machine;
Determining whether the selected virtual machine can be assigned to the selected physical machine so as to satisfy the first condition;
If it is assigned, the selected virtual machine is assigned to the selected virtual machine, and the next virtual machine is selected and controlled to recurse to the determination operation. If not assigned, the next physical machine is selected. And recursively controlling the determining operation.
Virtual machine allocation method.
JP2011059742A 2011-03-17 2011-03-17 Virtual machine assignment system and virtual machine assignment method Expired - Fee Related JP5664376B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011059742A JP5664376B2 (en) 2011-03-17 2011-03-17 Virtual machine assignment system and virtual machine assignment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011059742A JP5664376B2 (en) 2011-03-17 2011-03-17 Virtual machine assignment system and virtual machine assignment method

Publications (2)

Publication Number Publication Date
JP2012194907A JP2012194907A (en) 2012-10-11
JP5664376B2 true JP5664376B2 (en) 2015-02-04

Family

ID=47086706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011059742A Expired - Fee Related JP5664376B2 (en) 2011-03-17 2011-03-17 Virtual machine assignment system and virtual machine assignment method

Country Status (1)

Country Link
JP (1) JP5664376B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5722247B2 (en) * 2012-02-10 2015-05-20 株式会社野村総合研究所 Virtual server management system
JP5857144B2 (en) * 2015-03-04 2016-02-10 株式会社野村総合研究所 Virtual server management system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739271B2 (en) * 2007-04-19 2011-08-03 株式会社富士通アドバンストエンジニアリング Power supply control device, virtual server management system, power supply control method, and power supply control program
JP5006280B2 (en) * 2008-07-17 2012-08-22 Kddi株式会社 Network operation management method and apparatus
EP2439641B1 (en) * 2009-06-01 2016-10-12 Fujitsu Limited Server control program, control server, virtual server distribution method
JP5471080B2 (en) * 2009-06-30 2014-04-16 日本電気株式会社 Information system, control device, data processing method thereof, and program

Also Published As

Publication number Publication date
JP2012194907A (en) 2012-10-11

Similar Documents

Publication Publication Date Title
US9965324B2 (en) Process grouping for improved cache and memory affinity
JP5827678B2 (en) Method and apparatus for resource capacity evaluation in a virtual container system
US8024737B2 (en) Method and a system that enables the calculation of resource requirements for a composite application
US8606905B1 (en) Automated determination of system scalability and scalability constraint factors
JP2010244181A (en) Virtual machine management system, and virtual machine arrangement setting method and program
JP2017041191A (en) Resource management apparatus, resource management program, and resource management method
US20220329651A1 (en) Apparatus for container orchestration in geographically distributed multi-cloud environment and method using the same
JP2016024612A (en) Data processing control method, data processing control program, and data processing control apparatus
JP5445739B2 (en) Resource allocation apparatus, resource allocation method, and program
JP6692454B2 (en) Continuous integration system and resource control method
JP6924083B2 (en) Information processing system and resource allocation method
JP2013045313A (en) Log collection management device, system, and method
JP5664376B2 (en) Virtual machine assignment system and virtual machine assignment method
JP6722345B2 (en) Sign detection device and sign detection method
JP6705443B2 (en) Data allocation destination determination device, method and program
US20210125329A1 (en) Loading deep learning network models for processing medical images
CN108255875A (en) Message is stored to the method and apparatus of distributed file system
JP2015022385A (en) Virtual system and method for controlling virtual system
JP2015108877A (en) Prediction time distribution generation device, control method, and program
JP4594877B2 (en) Computer resource allocation management method and computer resource allocation management apparatus
JP5867499B2 (en) Virtual server system, management server device, and system management method
JP2015146148A (en) Virtual machine management device, virtual machine management method, and virtual machine management program
JP2005352689A (en) Interactive service arrangement method, interactive service arrangement program, recording medium therefor and service broker device
JP2018018275A (en) Information processing device and program
WO2022202676A1 (en) Information resource allocation assistance device, information resource allocation assistance method, and recording medium storing information resource allocation assistance program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

R150 Certificate of patent or registration of utility model

Ref document number: 5664376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees