JP4119239B2 - 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム - Google Patents

計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム Download PDF

Info

Publication number
JP4119239B2
JP4119239B2 JP2002369610A JP2002369610A JP4119239B2 JP 4119239 B2 JP4119239 B2 JP 4119239B2 JP 2002369610 A JP2002369610 A JP 2002369610A JP 2002369610 A JP2002369610 A JP 2002369610A JP 4119239 B2 JP4119239 B2 JP 4119239B2
Authority
JP
Japan
Prior art keywords
computer
resource
resource allocation
resources
correlation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002369610A
Other languages
English (en)
Other versions
JP2004199561A (ja
Inventor
治彦 宇佐
智斉 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002369610A priority Critical patent/JP4119239B2/ja
Priority to US10/697,648 priority patent/US20040143664A1/en
Publication of JP2004199561A publication Critical patent/JP2004199561A/ja
Application granted granted Critical
Publication of JP4119239B2 publication Critical patent/JP4119239B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5019—Workload prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、計算機資源割当方法に係り、複数の仮想計算機への資源を動的に割り当てるにあたって、資源の割当てを最適化して、各々の仮想計算機の相関から計算機資源の配分を理想的におこなう計算機資源割当方法に関する。
【０００２】
【従来の技術】
仮想計算機システムにおいては、ＣＰＵ（命令プロセッサ）、メモリ（主記憶）、および、チャネルなどの物理計算機が有している資源を、ハイパバイザが論理的に分割し、複数の仮想計算機ＬＰＡＲに割当てる。仮想計算機ＬＰＡＲ(Logical Partition)は、実在する物理計算機の資源を論理的に分割している仮想的な計算機である。
【０００３】
仮想計算機システムについては、例えば、特許文献１の従来技術の項で紹介されている。
【０００４】
また、仮想計算機システムに割当てられたメモリの構成を動的に変更する方法としては、特許文献２に開示されている。
【０００５】
【特許文献１】
米国特許第４５６４９０３号明細書
【特許文献２】
特開平６−３４８５８４号公報
【０００６】
【発明が解決しようとする課題】
仮想計算機システムは、一台のハードウェアとしての計算機で複数のＯＳを同時に実行することができ、用途によっては非常に有用なシステムであるということができる。
【０００７】
そして、仮想計算機システムにおいては、資源の割当ては、負荷の高い仮想計算機ＬＰＡＲほど、多く割り当てることが望ましく、資源を動的に変更する機能が必要となってくる。
【０００８】
従来の仮想計算機システムの資源の割当てにおいては、自システム（自ＬＰＡＲ）の負荷の変化に基づいておこなっているため、他システム（他ＬＰＡＲ）と連携した複合システムの場合に、他システムの負荷の変化を想定して資源の割当てを変更することはできなかった。そのため、資源の割当てを変更しても、近い将来に他システムで性能不足が発生するおそれがあり、他システムと調整して資源の割当てを変更しても、他システムに性能不足が波及しないように資源を配分することは困難であった。
【０００９】
例えば、仮想計算機システムの各ＬＰＡＲにおいて、インターネットのＷＥＢサーバ、データベースサーバ、開発用のテストサーバをそれぞれ運用しており、ＷＥＢサーバの負荷が増大すると近い将来にデータベースサーバの負荷が増大するといった相関関係が見られる場合であっても、ＷＥＢサーバの負荷が増大した時点では、近い将来データベースサーバの性能が不足し得ることを想定した資源の再割当をおこなう仕組みは、従来では提供されておらず、データベースサーバの性能が不足した時点で再び資源の再割当をおこなう必要があるという問題点があった。
【００１０】
本発明は、上記問題点を解決するためになされたもので、その目的は、複数の仮想計算機への資源の割当てを動的に再配分するにあたって、資源の割当てを最適化して、各々の仮想計算機の相関から計算機資源の配分を理想的におこなうようにして、近い将来に他の仮想計算機の性能不足が発生しにくいように、各仮想計算機に割当てられた資源を配分することを可能にする計算機資源割当方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記問題点を解決するために、本発明の仮想計算機システムの計算機資源割当方法は以下のようにした。資源管理サーバが、仮想計算機ＬＰＡＲの資源の使用状態を収集し、収集したデータに基づき、資源の使用状態を予測する。また、過去の仮想計算機ＬＰＡＲの実行履歴により、各々の仮想計算機ＬＰＡＲの資源の使用状態についての相関関係を算出する。
【００１２】
そして、予測値と算出した相関係数とに基づき、各々の仮想計算機ＬＰＡＲの資源割当て値を算出し、その資源割当て値にしたがって、各々の仮想計算機ＬＰＡＲの資源割当てをおこなう。
【００１３】
このときに、ある仮想計算機ＬＰＡＲにおいて資源の割当不足が予測されるとき、その仮想計算機ＬＰＡＲとの相関係数が小さい仮想計算機ＬＰＡＲに割当てていた資源を優先的に資源の割当が不足した仮想計算機ＬＰＡＲへ割当て、その仮想計算機ＬＰＡＲとの相関係数が大きい仮想計算機ＬＰＡＲ（近い将来に性能不足が発生しやすい傾向があるＬＰＡＲ）に割当てていた資源はなるべく減じないことにする。
【００１４】
これは、二つの仮想計算機ＬＰＡＲの相関係数が大きい場合、一方の仮想計算機ＬＰＡＲが使用する資源が増加すると他方の仮想計算機ＬＰＡＲが使用する資源も同時に、あるいは、近い将来に増加する傾向がある。すなわち、ある仮想計算機ＬＰＡＲにおいて資源不足が予測されるとき、その仮想計算機ＬＰＡＲとの相関係数が大きい仮想計算機ＬＰＡＲは、近い将来に性能不足が発生しやすい傾向があるためである。
【００１５】
このようにすることにより、近い将来に各仮想計算機ＬＰＡＲの性能不足が発生しにくいように、各仮想計算機ＬＰＡＲに割当てられた資源を再配分することが可能になる。
【００１６】
すなわち、上記の手段によって、資源管理サーバが各ＬＰＡＲの資源を管理するシステムにおいて、あるＬＰＡＲの資源の割当不足が予測されたときに、各ＬＰＡＲ間の相関関係に基づき、資源の割当不足が予測されたＬＰＡＲとの相関関係が低いＬＰＡＲから優先的にＣＰＵ割当率、およびメモリ割当量を減じることにより、効率よく各ＬＰＡＲに資源を再割当てすることが可能になる。
【００１７】
また、各仮想計算機ＬＰＡＲを、複数の物理計算機上に構成し、資源管理サーバが資源の管理を複数の物理計算機上にわたっておこなえるようにする。
【００１８】
このようにすれば、各ＬＰＡＲが複数の物理計算機にある場合に、これらの物理計算機の合計の資源割当の上限が定められた設定であっても、設定の範囲内で効率よく各物理計算機の資源の割当を増減しながら各ＬＰＡＲの資源の割当を再配分することが可能になる。
【００１９】
【発明の実施の形態】
以下、本発明に係る各実施形態を、図１ないし図１４を用いて説明する。
【００２０】
〔仮想計算機システムの構成〕
先ず、図１を用いて本発明に係る計算機資源割当方法をおこなう仮想計算機システムの構成について説明する。
図１は、本発明に係る計算機資源割当方法をおこなう仮想計算機システムの構成図である。
【００２１】
本発明の仮想計算機システムは、物理計算機１２１と資源管理サーバ１０１が、ネットワーク１３１により、接続された構成である。
【００２２】
ここで、物理計算機１２１と言うのは、仮想計算機と対比した語であり、ハードウェアとしての計算機に、論理的な仮想計算機が構築されることを意味している。
【００２３】
資源管理サーバは、物理計算機１２１上に構築される仮想計算機ＬＰＡＲ１２２上に割当てる資源を管理して、適切な資源配分をおこなうために指示を与えるサーバである。
【００２４】
資源管理サーバ１０１は、機能モジュールとして、資源使用状態収集部１０２、相関係数算出部１０３、資源使用予測部１０４、資源不足検出部１０５、資源割当決定部１０６を持ち、データテーブルとしては、資源使用状態テーブル１０７、相関係数テーブル１０８、資源使用予測テーブル１０９、資源割当設定テーブル１１０、および、資源割当情報テーブル１１１を備えている。
【００２５】
物理計算機１２１は、複数の仮想計算機ＬＰＡＲ１２２が構築され、独立して動作することができる。また、物理計算機１２１上のＣＰＵ、メモリが各仮想計算機ＬＰＡＲ１２２に割り当てられ、見かけ上は、各々の仮想計算機ＬＰＡＲ１２２が、ＣＰＵ１２４、メモリ１２５を有しているように見ることができる。また、仮想計算機ＬＰＡＲ１２２は、資源使用測定部１２３を有し、その仮想計算機ＬＰＡＲ１２２の資源の使用に関するデータを測定している。
【００２６】
ハイパバイザ１２６は、物理計算機１２１を論理的に分割し、複数の仮想計算機ＬＰＡＲ１２２を構成するための制御機能であり、各仮想計算機ＬＰＡＲ１２２に資源を割り当てるための資源割当部１２７を有している。
【００２７】
仮想計算機ＬＰＡＲ１２２の資源使用測定部１２３は、定期的にＬＰＡＲ１２２の資源の使用状態に関するデータ、すなわち、ＣＰＵ１２４の使用率、および、メモリ１２５の使用量を測定し、資源管理サーバ１０１の資源使用状態収集部１０２へ測定した資源の使用状態に関するデータを送信する。資源使用状態収集部１０２は、受け取った資源の使用状態に関するデータを収集し、資源使用状態テーブル１０７、および資源割当情報テーブル１１１へ格納する。
【００２８】
次に、相関係数算出部１０３は、資源使用状態テーブル１０７を使用して各ＬＰＡＲの相関係数を算出し、相関係数テーブル１０８へ格納する。相関係数とは、各仮想計算機ＬＰＡＲ１２２が、動作時に他の仮想計算機ＬＰＡＲ１２２とどのような資源の使用状態の相関を持って動作するかを表す指数であり、これについては後に説明する。
【００２９】
次に、資源使用予測部１０４は、前記資源使用状態収集部１０２がデータを収集するたびに、前記資源使用状態テーブル１０７を使用して各ＬＰＡＲの、動作状態における資源の使用状態を予測して、資源使用予測テーブル１０９へ格納する。
【００３０】
次に、資源不足検出部１０５において、格納した資源使用予測テーブル１０９に基づき、各ＬＰＡＲの資源が不足するかどうか判定する。資源が不足する場合には、資源割当決定部１０６において、資源の再割当の配分を決定し、資源割当情報テーブル１１１へ決定した資源の割当に関する情報を格納し、さらに、資源割当情報テーブル１１１のデータを、ハイパバイザ１２６の資源割当部１２７へ送信する。資源割当部１２７は、その配分情報に従って、仮想計算機ＬＰＡＲ１２２に対するＣＰＵ１２４、および、メモリ１２５の割当配分を変更する。
【００３１】
なお、本実施形態では、計算機資源は、ＣＰＵとメモリを例にして説明するが、その他の計算機資源でもよい。例えば、仮想計算機ＬＰＡＲ１２２のディスクの数、チャネルの数などのＩ／Ｏに関する資源でもよい。
【００３２】
〔計算機資源割当方法のためのデータ構造〕
次に、図２ないし図６を用いて本発明に係る計算機資源割当方法のためのデータ構造について説明する。
図２は、資源使用状態テーブル１０７のテーブル構造を示す図である。
図３は、相関係数テーブル１０８のテーブル構造を示す図である。
図４は、資源使用予測テーブル１０９のテーブル構造を示す図である。
図５は、資源割当設定テーブル１１０のテーブル構造を示す図である。
図６は、資源割当情報テーブル１１１のテーブル構造を示す図である。
【００３３】
資源使用状態テーブル１０７は、仮想計算機ＬＰＡＲ１２２ごとに用意され、各資源の状態を時系列で格納するためのテーブルであり、図２に示されるように、ＬＰＡＲ番号２０１を有し、さらに、ＣＰＵ使用率２０３、および、メモリ使用量２０４を時刻２０２についての時系列で格納される。
【００３４】
ＣＰＵ使用率２０３には、時刻２０２に示される時刻にその仮想計算機ＬＰＡＲ１２２が、物理計算機１２１のＣＰＵを実際に使用した時間の割合を百分率（％）で示した値が格納される。例えば、１０：２５から１０：３０までの５分間に、ＬＰＡＲ１がＣＰＵを合計２分間使用した場合、ＣＰＵ使用率は２分／５分×１００＝４０％である。メモリ使用量２０４には、その仮想計算機ＬＰＡＲ１２２が実際に使用したメモリの量が格納される。
【００３５】
この資源使用状態テーブル１０７には、このように資源使用状態収集部１０２が各ＬＰＡＲ１２２から収集した資源の使用状態に関するデータが時系列で格納され、相関係数算出部１０３における相関係数の算出、資源使用予測部１０４における資源の使用状態の予測のために使用される。
【００３６】
相関係数テーブル１０８は、仮想計算機ＬＰＡＲ１２２の資源の使用状態の実績から仮想計算機ＬＰＡＲ１２２間の資源の使用状態の相関を表した相関係数を格納するためのテーブルであり、図３に示されるように、ＬＰＡＲ番号３０１ごとに、各仮想計算機ＬＰＡＲ１２２の全てのＬＰＡＲ３０２、３０３、３０４との組み合わせについての相関係数が格納される。
【００３７】
相関係数とは、任意の２つのＬＰＡＲの資源の使用状態の相関関係を示す値である。ＬＰＡＲｉとＬＰＡＲｊの相関係数をｋijとすると、０≦ｋij≦１であり、ｋij＝０のときは両者の資源の使用状態には相関関係がなく、ｋij＝１のときは、両者の性能には密接な相関関係があるものとして定義する。相関係数ｋijが大きい（１に近い）場合には、ＬＰＡＲｉが使用する資源が増加するとＬＰＡＲｊが使用する資源も同時に、あるいは、近い将来に増加する傾向があることに注意しておく。また、相関係数ｋijが小さい（０に近い）場合には、ＬＰＡＲｉが使用する資源は、ＬＰＡＲｊが使用する資源の増減に影響されず、無関係に増減する傾向があることに注意しておく。
【００３８】
この相関係数テーブル１０８には、相関係数算出部１０３が資源使用状態テーブル１０７に基づいて算出した相関係数が格納され、資源割当決定部１０６において仮想計算機ＬＰＡＲ１２２に対する資源の割当てのために使用される。
【００３９】
は資源使用予測テーブル１０９は、各仮想計算機ＬＰＡＲ１２２ごとの資源の使用状態を予測した値を格納するためのテーブルであり、図４に示されるように、ＬＰＡＲ番号４０１ごとに予測ＣＰＵ使用率４０２、および、予測メモリ使用量４０３が格納される。
【００４０】
この資源使用予測テーブル１０９には、資源使用予測部１０４が資源使用状態テーブル１０７に基づいて算出した予測データが格納される。例えば、資源使用状態テーブル１０７に５分間隔でデータが格納され、１０：３０のデータまで格納されたとき、資源使用予測部１０４は次のタイミング、すなわち１０：３５に予測されるデータを算出し、資源使用予測テーブル１０９へ前記予測されるデータを格納する。
【００４１】
資源割当設定テーブル１１０は、仮想計算機ＬＰＡＲ１２２ごとに、資源の割当てのための範囲を規定するためのテーブルであり、図５に示されるように、ＬＰＡＲ番号５０１ごとに、その仮想計算機ＬＰＡＲ１２２が契約しているＣＰＵ割当率の最大値５０２、最小値５０３、および、メモリ割当量の最大値５０４、最小値５０５が格納される。
【００４２】
資源割当設定テーブル１１０には、予め、各ＬＰＡＲの資源割当てのための最大値、最小値を設定しておき、その値が変更されるときには更新される。
【００４３】
ＣＰＵ割当率とは、物理計算機１２１が有するＣＰＵをその仮想計算機ＬＰＡＲ１２２に割当てている時間を百分率（％）で示したものである。例えば、５分間に３０秒間だけＬＰＡＲ１へＣＰＵを割当てている場合には、ＣＰＵ割当率は１０％である。ＣＰＵ割当率とＣＰＵ使用率は異なる値であり、同じ時間帯ではＣＰＵ割当率≧ＣＰＵ使用率である。例えば、前記３０秒間の割当て（ＣＰＵ割当率は１０％）のうち、実際に、ＬＰＡＲ１がＣＰＵを使用した時間が１５秒間であれば、ＣＰＵ使用率は５％である。同様に、メモリ割当率とは、物理計算機が有するメモリを該ＬＰＡＲに割当てた量である。同じ時間帯ではメモリ割当率≧メモリ使用量である。
【００４４】
資源割当情報テーブル１１１は、各仮想計算機ＬＰＡＲ１２２に対する資源の割当てを決定するために使用されるテーブルであり、ＬＰＡＲ番号６０１ごとに、ＣＰＵ割当率６０２、およびメモリ割当量６０３を有する。
【００４５】
変更前の資源割当情報テーブル１１１（図６（ａ））には、資源使用状態収集部１０２が各ＬＰＡＲから収集した資源の使用状態の情報が格納され、資源不足検出部１０５、および、資源割当決定部１０６によって資源の割当てを決定するために使用される。
【００４６】
資源割当決定部１０６によって、決定された資源の割当ての情報は、再び、資源割当情報テーブル１１１に格納される。そして、この変更された資源割当情報テーブル１１１（図６（ｂ））の値は、ハイパバイザ１２６の資源割当部１２７へ送信される。
【００４７】
〔計算機資源割当方法のための処理〕
次に、図７ないし図１３を用いて本発明に係る計算機資源割当方法のための処理について説明する。
【００４８】
最初に、図７により本発明の計算機資源割当方法の処理の概要について説明する。
図７は、本発明に係る計算機資源割当方法の処理を示すゼネラルチャートである。
【００４９】
先ず、資源使用状態収集処理では、資源管理サーバ１０１の資源使用状態収集部１０２は、各仮想計算機ＬＰＡＲ１２２の資源使用状態を収集して、その仮想計算機ＬＰＡＲ１２２の資源使用状態テーブル１０７に格納する（Ｓ７０１）。
【００５０】
次に、相関係数算出処理では、資源管理サーバ１０１の相関係数算出部１０２は、資源使用状態テーブル１０７を参照して、仮想計算機ＬＰＡＲ１２２間の相関係数を求めて、相関係数テーブル１０８に格納する（Ｓ７０２）。
【００５１】
次に、資源使用予測処理では、資源管理サーバ１０１の資源使用予測部１０４は、資源使用状態テーブル１０７を参照して、仮想計算機ＬＰＡＲ１２２間の資源の使用状態を予測して、資源使用予測テーブル１０９に格納する（Ｓ７０３）。
【００５２】
次に、資源割当決定処理では、資源管理サーバ１０１の資源割当決定部１０６は、資源の割当ての変更をおこなう仮想計算機ＬＰＡＲ１２２を決定して、新たな資源割当ての配分を求めて、それを資源割当テーブル１１１に格納して、ハイパーバイザ１２６に送信する（Ｓ７０４）。
【００５３】
以下、各処理の詳細について説明する。
【００５４】
先ず、図８により資源使用状態収集処理について説明する。
図８は、資源使用状態収集処理を示すフローチャートである。
【００５５】
先ず、資源使用状態収集部１０２は、仮想計算機ＬＰＡＲ１２２から、例えば、以下の表１に示されるような資源の使用状態のデータ００１を収集する（Ｓ８０１）。
【００５６】
【表１】
Figure 0004119239
そして、資源の使用状態のデータ００１に含まれる時刻００３、ＣＰＵ使用率００４、メモリ使用量００５を、それぞれ資源使用状態テーブル１０７の時刻２０２、ＣＰＵ使用率２０３、メモリ使用量００４に格納する（Ｓ８０２）。
【００５７】
次に、資源の使用状態のデータ００１に含まれるＣＰＵ割当率００６、メモリ割当量００７を、それぞれ資源割当テーブル１１１のＣＰＵ割当率６０２、メモリ割当量６０３に格納する（Ｓ８０３）。
【００５８】
次に、図９により相関係数算出処理について説明する。
図９は、相関係数算出処理を示すフローチャートである。
【００５９】
先ず、相関係数算出部１０３は、相関係数算出部１０３は、資源使用状態テーブル１０７から各仮想計算機ＬＰＡＲ１２２の資源使用状態のデータを取得する（Ｓ９０１）。次に、各仮想計算機ＬＰＡＲ１２２間の相関係数を算出する。
【００６０】
相関係数は、図３の相関係数テーブルの見られるように、ＬＰＡＲ番号の全ての組み合わせについてそれぞれ算出する（Ｓ９０２）。例えば、ＬＰＡＲがｎ個あるときは、ｎ×ｎ個の組み合わせについて相関係数を算出する。ＬＰＡＲｉの資源使用状態テーブル１０７からＣＰＵ使用率２０３、あるいは、メモリ使用量２０４を時刻２０２についての時系列で取り出し、これらをベクトルとして表現し、ｐi＝（ｐi1，ｐi2，…，ｐit）としたとき、ＬＰＡＲｉとＬＰＡＲｊの相関係数ｋijはベクトルの内積およびベクトル長を使用して、以下の（式１）で求めることができる。
【００６１】
【数１】
Figure 0004119239
このようにして、相関係数は、ＣＰＵ使用率、およびメモリ使用量のそれぞれについて算出することができる。そして、算出した相関係数を相関係数テーブル１０８へ格納する（Ｓ９０３）。相関係数は、ＣＰＵ使用率、およびメモリ使用量のそれぞれについて格納することができる。またいずれか一方のみ、あるいは両者の平均値を格納することもできる。
【００６２】
各ＬＰＡＲ上で動作しているプログラムは時間帯によってオンライン運用やバッチ運用といったように大幅に特性が異なるため、前記相関係数の算出に使用する資源使用状態のデータを時間帯によって切り分けることにより、時間帯ごとに最適な相関係数を算出することができる。また、新たな運用を開始する場合には、相関係数の算出に使用するための資源の使用状態に関するデータが未整備であることが考えられるため、新たな運用をおこなうための仮想計算機ＬＰＡＲ１２２についての相関係数を、別の手段により計算するなり、予測するなどして、入力してテーブルに格納することもできる。
【００６３】
次に、図１０により資源使用予測処理について説明する。
図１０は、資源使用予測処理を示すフローチャートである。
【００６４】
先ず、資源使用状態テーブル１０７から各仮想計算機ＬＰＡＲ１２２のＣＰＵ使用率２０３、および、メモリ使用量２０４を時刻２０２についての時系列で取得する（Ｓ１００１）。そして、ＬＰＡＲそれぞれについて、前記取得した資源使用状態データに基づいて資源の使用状態を予測する（Ｓ１００２）。資源使用状態の予測においては、例えば、最近の過去ｍ回の資源使用状態データを滑らかな曲線、あるいは、直線で結ぶｍ−１次関数を利用するという技法により、次に資源使用状態データが送られてくるタイミングに相当する時刻の資源使用状態を導き出すことができる。
【００６５】
資源使用状態の予測はＣＰＵ使用率、およびメモリ使用量のそれぞれについて算出する。
【００６６】
次に、前記予測した値を資源使用予測テーブル１０９の予測ＣＰＵ使用率４０２、および、予測メモリ使用量４０３に格納する（Ｓ１００３）。
【００６７】
次に、図１１により資源割当決定処理について説明する。
図１１は、資源割当決定処理を示すフローチャートである。
【００６８】
先ず、資源割当情報テーブル１１１から各仮想計算機ＬＰＡＲ１２２のＣＰＵ割当率６０２、および、メモリ割当量６０３を取得する（Ｓ１１０１）。
【００６９】
次に、資源使用予測テーブル１０９から各仮想計算機ＬＰＡＲ１２２の予測ＣＰＵ使用率４０２、および、予測メモリ使用量４０３を取得する（Ｓ１１０２）。
【００７０】
次に、資源割当設定テーブル１１０から各仮想計算機ＬＰＡＲ１２２の最大ＣＰＵ割当率５０２、および、最大メモリ割当量５０４を取得する（Ｓ１１０３）。
【００７１】
そして、Ｓ１１０４からＳ１１０７の処理について、ＬＰＡＲ番号ｉ＝１，２，３のそれぞれについて繰り返す。
【００７２】
ＬＰＡＲｉのＣＰＵ、メモリのそれぞれについて、資源の不足が予測され、かつ、ＣＰＵやメモリの割当てを増強できる場合、すなわち、条件式「割当値＜予測値、かつ、割当値＜最大割当値」が満たされる場合には、Ｓ１１０６に進み、資源割当配分決定処理をおこない、前記条件式が満たされない場合には、Ｓ１１０７に進み、資源割当配分決定処理をおこなう（Ｓ１１０５）。資源割当配分決定処理は、サブルーチンであり、次に詳細に説明する。
【００７３】
ＬＰＡＲ番号ｉ＝１，２，３のそれぞれについての処理が終了している場合は、Ｓ１１０８に進む（Ｓ１１０７）。
【００７４】
最後に、資源割当情報テーブル１１１に格納されているデータをネットワーク１３１を経由してハイパバイザ１２６の資源割当部１２７へ送信する（Ｓ１１０８）。
【００７５】
次に、図１２により資源割当配分決定処理について説明する。
図１２は、資源割当配分決定処理を示すフローチャートである。
【００７６】
この処理は、図１１のＳ１１０５でコールされる処理であり、資源の不足が予測されたＬＰＡＲｉが発生した場合に、他の仮想計算機ＬＰＡＲ１２２から資源を移動させて、ＬＰＡＲｉと他仮想計算機ＬＰＡＲ１２２との相関関係に応じて資源の不足が予測されたＬＰＡＲｉに再割当てをおこなう処理である。
【００７７】
先ず、資源使用予測テーブル１０９から各仮想計算機ＬＰＡＲ１２２の予測値を取得する（Ｓ１２０１）。予測値とは、予測ＣＰＵ使用率４０２、および予測メモリ使用量４０３のうち、Ｓ１１０５の判定において資源割当の不足が検出されたものである。
【００７８】
次に、資源割当情報テーブル１１１から各仮想計算機ＬＰＡＲ１２２の割当値を取得する（Ｓ１２０２）。割当値とは、ＣＰＵ割当率６０２、および、メモリ割当量６０３のうち、Ｓ１１０５の判定において、資源割当の不足が検出されたものである。
【００７９】
次に、ＬＰＡＲｊの予測される資源割当不足値「ｄi＝予測値−割当値」を算出する（Ｓ１２０３）。
【００８０】
次に、ＬＰＡＲｊ（ｊ＝１，２，３）の予測される未使用予測値「ｓj＝割当値−予測値」を算出する（Ｓ１２０４）。ｓj＜０のときはｓj＝０とする。
【００８１】
次に、相関係数テーブル１０８からＬＰＡＲｉと各ＬＰＡＲｊとの相関係数ｋijを取得する。
【００８２】
Ｓ１２０６からステップ１２０８は、ＬＰＡＲ番号ｊ＝１，２，３について繰り返す処理である。
【００８３】
前記算出したｄi、ｓj、および、前記取得したｋijをもとにＬＰＡＲｊ（ｊ＝１，２，３）の割当値を変更する（Ｓ１２０７）。ＬＰＡＲｊの割当値の変更分Δjは以下の（式２）によって算出することができる。
【００８４】
【数２】
Figure 0004119239
ここで、前記変更分Δjがｓjよりも大きいときはΔj＝ｓjとする。また、Δjは、前記の（式２）に限らず、相関係数ｋijに基づく任意の配分方法で決定することができる。前記算出したΔjを前記割当値から減じた値を、資源割当情報テーブル１１１のＣＰＵ割当率６０２、ないし、メモリ割当量６０３へ格納する（Ｓ１２０９）。
【００８５】
ここで、図３、図４、および、図６に示す数値を用い、ＬＰＡＲ１のＣＰＵ資源の割当が不足し、他のＬＰＡＲに割当てていたＣＰＵ資源を減じて、ＬＰＡＲ１へ割当てるケースにおける具体例を説明する。
【００８６】
ＬＰＡＲ１のＣＰＵ資源不足値は、予測値４０２＝５０％、割当値６０２＝４０％であるため、ＬＰＡＲ１の資源不足値は「ｄ1＝１０％」である。また、各ＬＰＡＲｉの予測されるＣＰＵの未使用予測値ｓiは「ｓ1＝０％、ｓ2＝３０％−１０％＝２０％、ｓ3＝３０％−２０％＝１０％」である。したがって、各ＬＰＡＲｉから減じるＣＰＵ割当率ΔiはΔ1＝０％、Δ2＝８．５７％≒９％、Δ3＝１．４３％≒１％である。すなわち、ＬＰＡＲ２からΔ2＝９％、ＬＰＡＲ３からΔ3＝１％のＣＰＵ資源を削減してＬＰＡＲ１へ「Δ2＋Δ3＝１０％」のＣＰＵ資源を割当てることができる。
【００８７】
そして、Δ2、Δ3により資源の再配分をおこなうことにより、ＬＰＡＲ１、ＬＰＡＲ２、ＬＰＡＲ３の新たな構成は、ＬＰＡＲ１のＣＰＵ割当率＝４０％＋Δ2＋Δ3＝５０％、ＬＰＡＲ２のＣＰＵ割当率＝３０％−Δ2＝２１％、ＬＰＡＲ３のＣＰＵ割当率＝３０％−Δ3＝２９％となる。
【００８８】
このケースでは、ＬＰＡＲ１とＬＰＡＲ３の相関係数が大きい（１に近い）ため、ＬＰＡＲ１のＣＰＵ資源が不足すると近い将来にＬＰＡＲ３のＣＰＵ資源も不足しやすい傾向があるが、上記算出したように、ＬＰＡＲ１の資源の割当てが不足するときに、ＬＰＡＲ１との相関関係の低いＬＰＡＲ２のＣＰＵ割当率をΔ2（＝９％）によって多く減じ、ＬＰＡＲ１との相関関係の高いＬＰＡＲ３は、近い将来の資源の割当て不足に備えて、Δ3（＝１％）で示される値しか割当率を減少させないので、ＬＰＡＲ３の資源の割当てをあまり減らさないで済むことになる。
【００８９】
なお、上記の実施形態での説明では、資源の割当を調節するために、資源使用状態のデータから予測値を求め、それにより、仮想計算機ＬＰＡＲ１２２の資源の再配分を調節する方法について述べてきた。しかしながら、資源使用状態のデータから予測値を求めずとも、直接に、図２の資源使用状態テーブルのデータを参照して、資源の割当をおこなうための仮想計算機ＬＰＡＲ１２２とその資源の配分の割合いを求めることにしてもよい。
【００９０】
次に、図１３により資源使用測定処理について説明する。
図１３は、資源使用測定処理を示すフローチャートである。
【００９１】
資源使用測定処理は、各仮想計算機ＬＰＡＲ１２２上の資源使用測定部１２３により、一定時間間隔でシステムが停止するまでおこなわれる。
【００９２】
Ｓ１３０１からＳ１３０４は、一定の時間間隔でシステムが停止するまで繰り返し動作する。
【００９３】
先ず、各仮想計算機ＬＰＡＲ１２２のＣＰＵ１２４のＣＰＵ使用率とＣＰＵ割当率、および、メモリ１２５のメモリ使用量とメモリ割当量を測定する（Ｓ１３０２）。
【００９４】
次に、前記測定した資源使用データ、ＬＰＡＲ番号、および、時刻を前記表１の資源使用データ００１の形式によって、資源管理サーバ１０１の資源使用状態収集部１０２へ送信する（Ｓ１３０３）。資源使用状態収集部１０２は資源使用データ００１を受信すると、図７に示した計算機資源割当方法の処理を開始する。
【００９５】
〔他の実施形態〕
以下、本発明に係る計算機資源割当方法をおこなう仮想計算機システムの他の構成について説明する。
図１４は、本発明に係る計算機資源割当方法をおこなう仮想計算機システムの他の構成図である。
【００９６】
本実施形態では、物理計算機１４０３は、第一の実施形態と同様に複数の仮想計算機ＬＰＡＲ１４０４を有する。資源管理サーバ１４０１、および、ＬＰＡＲ１４０４は、ネットワーク１４０２により接続され、資源管理サーバ１４０１が、ＣＰＵやメモリなどの資源の管理をおこない資源の割当配分の指示を各仮想計算機ＬＰＡＲ１４０４におこなうのも同様である。
【００９７】
本実施形態では、各仮想計算機ＬＰＡＲ１４０４が、複数の物理計算機１４０３にわたって、構成されていることが異なっている。そして、資源管理サーバ１４０１は、複数の物理計算機１４０３にまたがる各仮想計算機ＬＰＡＲ１４０４の資源の割当てを調整することが可能である。
【００９８】
すなわち、仮想計算機ＬＰＡＲ１４０４が、異なる物理計算機にある場合であっても、上記図１を用いて説明した仮想計算機システム全く同じ方法により、複数ある物理計算機の合計性能を増減することなく、各ＬＰＡＲのＣＰＵ割当率、およびメモリ割当量を再配分することができる。このように、複数ある物理計算機のＣＰＵ資源、およびメモリ容量を各々変更することができ、資源の割当ての合計の上限が定められた設定で計算機システムを運用している場合にも、このシステムにより、合計の資源の割当てを一定に保ちながら、各物理計算機の資源の割当てを増減し、各仮想計算機ＬＰＡＲ１４０４へ有効に資源を割当てることが可能になる。
【００９９】
〔本実施形態の応用〕
各仮想計算機ＬＰＡＲにおいてインターネットのＷＥＢサーバ、データベースサーバ、開発用テストサーバといった異なる業務を運用しているシステムがあり、ＷＥＢサーバの負荷が増大すると、近い将来にデータベースサーバの負荷も増大するが、開発用テストサーバの負荷の増減はＷＥＢサーバの負荷の増減とは無関係である、といった相関関係が見られる場合を想定する。
【０１００】
この場合に、ＷＥＢサーバの負荷が増大し、資源の割当不足が予測された時点において、相関関係の低い開発用テストサーバのＣＰＵ割当率およびメモリ割当率をより多く減じることにする。このようにすれば、相関関係の強いデータベースの負荷が近い将来増大した場合に、再び、各仮想計算機ＬＰＡＲの資源の割当率を変更し直さなければならないという事態が発生することを予防することが可能になる。
【０１０１】
さらに、本実施形態では、一台の物理計算機の資源を複数の仮想計算機ＬＰＡＲに割当てる例について説明したが、資源を割当てる計算機は、物理計算機であっても同様に本発明は適用することができる。すなわち、資源管理サーバを置き、物理計算機の要求に応じて、ＣＰＵ資源やメモリなどの割当てをおこなう場合にも本発明の資源割当ての手法を用いることにより、資源の割当てを最適化して、各々の計算機の相関から計算機資源の配分を理想的におこなう計算機システムを構築することができる。
【０１０２】
【発明の効果】
本発明によれば、複数の仮想計算機への資源の割当てを動的に再配分するにあたって、資源の割当てを最適化して、各々の仮想計算機の相関から計算機資源の配分を理想的におこなうようにして、近い将来に他の仮想計算機の性能不足が発生しにくいように、各仮想計算機に割当てられた資源を配分することを可能にする計算機資源割当方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る計算機資源割当方法をおこなう仮想計算機システムの構成図である。
【図２】資源使用状態テーブル１０７のテーブル構造を示す図である。
【図３】相関係数テーブル１０８のテーブル構造を示す図である。
【図４】資源使用予測テーブル１０９のテーブル構造を示す図である。
【図５】資源割当設定テーブル１１０のテーブル構造を示す図である。
【図６】資源割当情報テーブル１１１のテーブル構造を示す図である。
【図７】本発明に係る計算機資源割当方法の処理を示すゼネラルチャートである。
【図８】資源使用状態収集処理を示すフローチャートである。
【図９】相関係数算出処理を示すフローチャートである。
【図１０】資源使用予測処理を示すフローチャートである。
【図１１】資源割当決定処理を示すフローチャートである。
【図１２】資源割当配分決定処理を示すフローチャートである。
【図１３】資源使用測定処理を示すフローチャートである。
【図１４】本発明に係る計算機資源割当方法をおこなう仮想計算機システムの他の構成図である。
【符号の説明】
１０１…資源管理サーバ
１０２…資源使用状態収集部
１０３…相関係数算出部
１０４…資源使用予測部
１０５…資源不足検出部
１０６…資源割当決定部
１０７…資源使用状態テーブル
１０８…相関係数テーブル
１０９…資源使用予測テーブル
１１０…資源割当設定テーブル
１１１…資源割当情報テーブル
１２１…物理計算機
１２２…仮想計算機ＬＰＡＲ
１２３…資源使用測定部
１２４…ＣＰＵ
１２５…メモリ
１２６…ハイパバイザ
１２７…構成変更部
１３１…ネットワーク
１４０１…資源管理サーバ
１４０２…ネットワーク
１４０３…物理計算機
１４０４…仮想計算機ＬＰＡＲ。

Claims (10)

  1. 計算機の資源を複数の計算機に割当てて、各々の計算機で独立してプログラムを実行する計算機システムの計算機資源割当方法において、
    (１)前記計算機の資源使用状態を収集するステップ、
    (２)前記収集したデータに基づき、各々の計算機の資源使用についての相関係数を算出するステップ、
    (３)前記収集したデータと前記算出した相関係数とに基づき、各々の計算機の資源割当て値を算出し、その資源割当て値にしたがって、各々の計算機の資源割当てをおこなうステップ
    を有することを特徴とする計算機資源割当方法。
  2. 前記(３)のステップが、前記収集したデータに基づいて、各々の計算機の資源使用状態を予測し、その予測した資源使用状態と前記算出した相関係数とに基づき、各々の計算機の資源割当て値を算出する処理を含むことを特徴とする請求項１記載の計算機資源割当方法。
  3. 前記(３)のステップで資源を割当てる必要のあると判断された計算機に対して、他の計算機の資源の割当てを減じて、減じた資源をその計算機に再割り当てするに際し、
    その計算機と前記相関係数の大きい計算機ほど資源の割当てを減じないことにしたことを特徴とする請求項１記載の計算機資源割当方法。
  4. 時間帯に応じて相関係数を切り替える処理を含むことを特徴とする請求項１記載の計算機資源割当方法。
  5. 計算機の資源を複数の計算機に割当てて、各々の計算機で独立してプログラムを実行する計算機システムの計算機資源割当を管理するための資源管理サーバにおいて、
    計算機の資源使用状態を収集する資源使用状態データ収集部と、
    前記収集したデータに基づき、各々の計算機の資源使用についての相関係数を算出する相関係数算出部と、
    前記収集したデータと前記算出した相関係数とに基づき、各々の計算機の資源割当て値を算出し、その資源割当て値を計算機の資源割当てを制御する機構に送信する資源割当て決定部とを有することを特徴とする資源管理サーバ。
  6. さらに、前記収集したデータに基づいて、各々の計算機の資源使用状態を予測する資源使用予測部を有し、その予測した資源使用状態に基づき前記資源割当部が資源の割当てをおこなうことを特徴とする請求項５記載の資源管理サーバ。
  7. 資源割当部が、資源を割当てる必要のあると判断された計算機に対して、他の計算機の資源の割当てを減じて、減じた資源をその計算機に再割り当てするに際し、
    その計算機と前記相関係数の大きい計算機ほど資源の割当てを減じないことにしたことを特徴とする請求項５記載の資源管理サーバ。
  8. 前記相関係数算出部が、時間帯に応じて切り替えて、相関係数を算出することを特徴とする請求項５記載の資源管理サーバ。
  9. 計算機の資源を複数の計算機に割当てて、各々の計算機で独立してプログラムを実行する計算機システムにおいて、
    この計算機システムの有する資源管理サーバは、前記計算機の資源使用状態を収集し、その収集したデータに基づき、各々の計算機の資源使用についての相関係数を算出して、前記収集したデータと前記算出した相関係数とに基づき、各々の計算機の資源割当て値を算出し、その資源割当て値を、計算機の資源割当てを制御する機構に送信し、
    計算機の資源割当てを制御する機構は、その資源割当て値に基づいて、各々の計算機の資源割当てをおこなうことを特徴とする計算機システム。
  10. 前記資源管理サーバは、資源を割当てる必要のあると判断した計算機に対して、他の計算機の資源を、その資源を割当てる必要のあると判断した計算機の資源として移動させるときに、
    その計算機と前記相関係数の大きい計算機ほど資源の移動をさせないようにし、
    その計算機と前記相関係数の小さい計算機ほど資源の移動をさせるようにすることを特徴とする請求項９記載の計算機システム。
JP2002369610A 2002-12-20 2002-12-20 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム Expired - Fee Related JP4119239B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002369610A JP4119239B2 (ja) 2002-12-20 2002-12-20 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム
US10/697,648 US20040143664A1 (en) 2002-12-20 2003-10-31 Method for allocating computer resource

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002369610A JP4119239B2 (ja) 2002-12-20 2002-12-20 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム

Publications (2)

Publication Number Publication Date
JP2004199561A JP2004199561A (ja) 2004-07-15
JP4119239B2 true JP4119239B2 (ja) 2008-07-16

Family

ID=32708150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002369610A Expired - Fee Related JP4119239B2 (ja) 2002-12-20 2002-12-20 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム

Country Status (2)

Country Link
US (1) US20040143664A1 (ja)
JP (1) JP4119239B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170787A (ja) * 2010-02-22 2011-09-01 Nippon Telegraph & Telephone West Corp リソース割当装置、リソース割当方法、およびリソース割当制御プログラム

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236852A1 (en) * 2002-06-20 2003-12-25 International Business Machines Corporation Sharing network adapter among multiple logical partitions in a data processing system
US7296267B2 (en) * 2002-07-12 2007-11-13 Intel Corporation System and method for binding virtual machines to hardware contexts
US20040202185A1 (en) * 2003-04-14 2004-10-14 International Business Machines Corporation Multiple virtual local area network support for shared network adapters
US7971203B2 (en) * 2004-03-05 2011-06-28 Intel Corporation Method, apparatus and system for dynamically reassigning a physical device from one virtual machine to another
CA2558892A1 (en) 2004-03-13 2005-09-29 Cluster Resources, Inc. System and method for a self-optimizing reservation in time of compute resources
US8782654B2 (en) 2004-03-13 2014-07-15 Adaptive Computing Enterprises, Inc. Co-allocating a reservation spanning different compute resources types
WO2005116833A1 (en) * 2004-05-21 2005-12-08 Computer Associates Think, Inc. Method and apparatus for dynamic cpu resource management
EP1769353A2 (en) * 2004-05-21 2007-04-04 Computer Associates Think, Inc. Method and apparatus for dynamic memory resource management
US20070266388A1 (en) 2004-06-18 2007-11-15 Cluster Resources, Inc. System and method for providing advanced reservations in a compute environment
US7412545B2 (en) * 2004-07-22 2008-08-12 International Business Machines Corporation Apparatus and method for updating I/O capability of a logically-partitioned computer system
US8176490B1 (en) 2004-08-20 2012-05-08 Adaptive Computing Enterprises, Inc. System and method of interfacing a workload manager and scheduler with an identity manager
US7734753B2 (en) * 2004-10-12 2010-06-08 International Business Machines Corporation Apparatus, system, and method for facilitating management of logical nodes through a single management module
US20060080319A1 (en) * 2004-10-12 2006-04-13 Hickman John E Apparatus, system, and method for facilitating storage management
CA2827035A1 (en) 2004-11-08 2006-05-18 Adaptive Computing Enterprises, Inc. System and method of providing system jobs within a compute environment
US20060123204A1 (en) * 2004-12-02 2006-06-08 International Business Machines Corporation Method and system for shared input/output adapter in logically partitioned data processing system
US20060123111A1 (en) * 2004-12-02 2006-06-08 Frank Dea Method, system and computer program product for transitioning network traffic between logical partitions in one or more data processing systems
US8863143B2 (en) 2006-03-16 2014-10-14 Adaptive Computing Enterprises, Inc. System and method for managing a hybrid compute environment
US9075657B2 (en) 2005-04-07 2015-07-07 Adaptive Computing Enterprises, Inc. On-demand access to compute resources
US9361156B2 (en) 2005-03-14 2016-06-07 2236008 Ontario Inc. Adaptive partitioning for operating system
US8245230B2 (en) * 2005-03-14 2012-08-14 Qnx Software Systems Limited Adaptive partitioning scheduler for multiprocessing system
CA2538503C (en) * 2005-03-14 2014-05-13 Attilla Danko Process scheduler employing adaptive partitioning of process threads
US8387052B2 (en) 2005-03-14 2013-02-26 Qnx Software Systems Limited Adaptive partitioning for operating system
US9231886B2 (en) 2005-03-16 2016-01-05 Adaptive Computing Enterprises, Inc. Simple integration of an on-demand compute environment
EP1866767B1 (en) 2005-03-16 2018-04-18 III Holdings 12, LLC Automatic workload transfer to an on-demand center
US9015324B2 (en) 2005-03-16 2015-04-21 Adaptive Computing Enterprises, Inc. System and method of brokering cloud computing resources
US8341624B1 (en) * 2006-09-28 2012-12-25 Teradici Corporation Scheduling a virtual machine resource based on quality prediction of encoded transmission of images generated by the virtual machine
US8453148B1 (en) 2005-04-06 2013-05-28 Teradici Corporation Method and system for image sequence transfer scheduling and restricting the image sequence generation
US8782120B2 (en) 2005-04-07 2014-07-15 Adaptive Computing Enterprises, Inc. Elastic management of compute resources between a web server and an on-demand compute environment
US20060242647A1 (en) * 2005-04-21 2006-10-26 Kimbrel Tracy J Dynamic application placement under service and memory constraints
US20060259733A1 (en) * 2005-05-13 2006-11-16 Sony Computer Entertainment Inc. Methods and apparatus for resource management in a logically partitioned processing environment
US8347297B2 (en) * 2005-05-20 2013-01-01 International Business Machines Corporation System and method of determining an optimal distribution of source servers in target servers
US8392564B1 (en) * 2005-06-20 2013-03-05 Oracle America, Inc. Cluster-wide resource usage monitoring
US7937616B2 (en) * 2005-06-28 2011-05-03 International Business Machines Corporation Cluster availability management
US20070011214A1 (en) * 2005-07-06 2007-01-11 Venkateswararao Jujjuri Oject level adaptive allocation technique
US8387049B2 (en) * 2005-07-15 2013-02-26 International Business Machines Corporation Facilitating processing within computing environments supporting pageable guests
US7395403B2 (en) * 2005-08-11 2008-07-01 International Business Machines Corporation Simulating partition resource allocation
WO2007039337A1 (en) * 2005-09-29 2007-04-12 International Business Machines Corporation System and method for automatically managing it-resources in a heterogeneous environment
US8104033B2 (en) 2005-09-30 2012-01-24 Computer Associates Think, Inc. Managing virtual machines based on business priorty
US8225313B2 (en) 2005-10-19 2012-07-17 Ca, Inc. Object-based virtual infrastructure management
US8327370B2 (en) * 2005-10-27 2012-12-04 International Business Machines Corporation Dynamic policy manager method, system, and computer program product for optimizing fractional resource allocation
JP4407956B2 (ja) 2005-10-31 2010-02-03 株式会社ソニー・コンピュータエンタテインメント 情報処理方法および情報処理装置
JP2007122664A (ja) 2005-10-31 2007-05-17 Sony Computer Entertainment Inc 情報処理方法および情報処理装置
JP4377369B2 (ja) * 2005-11-09 2009-12-02 株式会社日立製作所 リソース割当調停装置およびリソース割当調停方法
JPWO2007072544A1 (ja) 2005-12-20 2009-05-28 富士通株式会社 情報処理装置、計算機、リソース割り当て方法及びリソース割り当てプログラム
US7719983B2 (en) * 2006-01-06 2010-05-18 International Business Machines Corporation Method for autonomic system management using adaptive allocation of resources
US7945913B2 (en) * 2006-01-19 2011-05-17 International Business Machines Corporation Method, system and computer program product for optimizing allocation of resources on partitions of a data processing system
WO2007116235A1 (en) * 2006-04-12 2007-10-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for subscription resource discovery
US7954099B2 (en) 2006-05-17 2011-05-31 International Business Machines Corporation Demultiplexing grouped events into virtual event queues while in two levels of virtualization
JP5110315B2 (ja) * 2006-05-24 2012-12-26 日本電気株式会社 仮想マシン管理装置、仮想マシン管理方法およびプログラム
JP4295783B2 (ja) 2006-12-13 2009-07-15 株式会社日立製作所 計算機、仮想デバイスの制御方法
US8677353B2 (en) * 2007-01-11 2014-03-18 Nec Corporation Provisioning a standby virtual machine based on the prediction of a provisioning request being generated
US8479213B2 (en) * 2007-01-25 2013-07-02 General Electric Company Load balancing medical imaging applications across healthcare imaging devices in reference to projected load based on user type
WO2008102739A1 (ja) * 2007-02-23 2008-08-28 Nec Corporation 仮想サーバシステム及び物理サーバ選択方法
US8689288B2 (en) 2007-04-16 2014-04-01 Samsung Electronics Co., Ltd. Apparatus and method for protecting system in virtualized environment
KR101405319B1 (ko) 2007-04-16 2014-06-10 삼성전자 주식회사 가상화 환경에서의 안전한 시스템 보호 장치 및 방법
JP5496464B2 (ja) * 2007-04-16 2014-05-21 三星電子株式会社 仮想化環境での安全なシステム保護装置および方法
US8132166B2 (en) * 2007-05-14 2012-03-06 Red Hat, Inc. Methods and systems for provisioning software
US8561058B2 (en) 2007-06-20 2013-10-15 Red Hat, Inc. Methods and systems for dynamically generating installation configuration files for software
US8464247B2 (en) 2007-06-21 2013-06-11 Red Hat, Inc. Methods and systems for dynamically generating installation configuration files for software
US20080320053A1 (en) * 2007-06-21 2008-12-25 Michio Iijima Data management method for accessing data storage area based on characteristic of stored data
US20090013029A1 (en) * 2007-07-03 2009-01-08 Childress Rhonda L Device, system and method of operating a plurality of virtual logical sites
US8219788B1 (en) * 2007-07-23 2012-07-10 Oracle America, Inc. Virtual core management
US8046694B1 (en) 2007-08-06 2011-10-25 Gogrid, LLC Multi-server control panel
US8041773B2 (en) 2007-09-24 2011-10-18 The Research Foundation Of State University Of New York Automatic clustering for self-organizing grids
US9401846B2 (en) * 2007-10-17 2016-07-26 Dell Products, Lp Information handling system configuration identification tool and method
US8055733B2 (en) * 2007-10-17 2011-11-08 International Business Machines Corporation Method, apparatus, and computer program product for implementing importation and converging system definitions during planning phase for logical partition (LPAR) systems
US8566835B2 (en) * 2007-12-13 2013-10-22 Hewlett-Packard Development Company, L.P. Dynamically resizing a virtual machine container
CN100557571C (zh) * 2007-12-13 2009-11-04 中国科学院计算技术研究所 一种资源分配方法和系统
JP5256744B2 (ja) * 2008-01-16 2013-08-07 日本電気株式会社 資源割当てシステム、資源割当て方法及びプログラム
US20090210873A1 (en) * 2008-02-15 2009-08-20 International Business Machines Corporation Re-tasking a managed virtual machine image in a virtualization data processing system
US8903983B2 (en) * 2008-02-29 2014-12-02 Dell Software Inc. Method, system and apparatus for managing, modeling, predicting, allocating and utilizing resources and bottlenecks in a computer network
US8935701B2 (en) * 2008-03-07 2015-01-13 Dell Software Inc. Unified management platform in a computer network
US8013859B2 (en) * 2008-03-20 2011-09-06 Vmware, Inc. Graphical display for illustrating effectiveness of resource management and resource balancing
US20090265707A1 (en) * 2008-04-21 2009-10-22 Microsoft Corporation Optimizing application performance on virtual machines automatically with end-user preferences
US8713177B2 (en) 2008-05-30 2014-04-29 Red Hat, Inc. Remote management of networked systems using secure modular platform
US8145871B2 (en) * 2008-06-09 2012-03-27 International Business Machines Corporation Dynamic allocation of virtual real memory for applications based on monitored usage
CN102112967B (zh) * 2008-08-04 2014-04-30 富士通株式会社 多处理器系统、多处理器系统用管理装置以及方法
US9100297B2 (en) * 2008-08-20 2015-08-04 Red Hat, Inc. Registering new machines in a software provisioning environment
US8930512B2 (en) * 2008-08-21 2015-01-06 Red Hat, Inc. Providing remote software provisioning to machines
US9477570B2 (en) * 2008-08-26 2016-10-25 Red Hat, Inc. Monitoring software provisioning
US8838827B2 (en) * 2008-08-26 2014-09-16 Red Hat, Inc. Locating a provisioning server
US8793683B2 (en) * 2008-08-28 2014-07-29 Red Hat, Inc. Importing software distributions in a software provisioning environment
US9021470B2 (en) 2008-08-29 2015-04-28 Red Hat, Inc. Software provisioning in multiple network configuration environment
US9164749B2 (en) 2008-08-29 2015-10-20 Red Hat, Inc. Differential software provisioning on virtual machines having different configurations
US8103776B2 (en) * 2008-08-29 2012-01-24 Red Hat, Inc. Systems and methods for storage allocation in provisioning of virtual machines
US8244836B2 (en) * 2008-08-29 2012-08-14 Red Hat, Inc. Methods and systems for assigning provisioning servers in a software provisioning environment
US8527578B2 (en) * 2008-08-29 2013-09-03 Red Hat, Inc. Methods and systems for centrally managing multiple provisioning servers
US9952845B2 (en) * 2008-08-29 2018-04-24 Red Hat, Inc. Provisioning machines having virtual storage resources
US9111118B2 (en) * 2008-08-29 2015-08-18 Red Hat, Inc. Managing access in a software provisioning environment
US8418176B1 (en) 2008-09-23 2013-04-09 Gogrid, LLC System and method for adapting virtual machine configurations for hosting across different hosting systems
JP5199000B2 (ja) * 2008-09-25 2013-05-15 株式会社日立製作所 ファイルサーバリソース分割方法、システム、装置及びプログラム
US8612968B2 (en) 2008-09-26 2013-12-17 Red Hat, Inc. Methods and systems for managing network connections associated with provisioning objects in a software provisioning environment
US8326972B2 (en) 2008-09-26 2012-12-04 Red Hat, Inc. Methods and systems for managing network connections in a software provisioning environment
JP5156838B2 (ja) * 2008-10-27 2013-03-06 株式会社日立製作所 リソース管理方法と組込み装置
JP2010108409A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd ストレージ管理方法及び管理サーバ
US8898305B2 (en) 2008-11-25 2014-11-25 Red Hat, Inc. Providing power management services in a software provisioning environment
US9124497B2 (en) * 2008-11-26 2015-09-01 Red Hat, Inc. Supporting multiple name servers in a software provisioning environment
US8782204B2 (en) 2008-11-28 2014-07-15 Red Hat, Inc. Monitoring hardware resources in a software provisioning environment
US8775578B2 (en) * 2008-11-28 2014-07-08 Red Hat, Inc. Providing hardware updates in a software environment
US8832256B2 (en) * 2008-11-28 2014-09-09 Red Hat, Inc. Providing a rescue Environment in a software provisioning environment
US8799895B2 (en) 2008-12-22 2014-08-05 Electronics And Telecommunications Research Institute Virtualization-based resource management apparatus and method and computing system for virtualization-based resource management
KR101070431B1 (ko) * 2008-12-22 2011-10-06 한국전자통신연구원 가상화 기반 물리 시스템 및 그 자원 관리 방법
US9740517B2 (en) * 2008-12-29 2017-08-22 Microsoft Technology Licensing, Llc Dynamic virtual machine memory management
US8402123B2 (en) * 2009-02-24 2013-03-19 Red Hat, Inc. Systems and methods for inventorying un-provisioned systems in a software provisioning environment
US9727320B2 (en) * 2009-02-25 2017-08-08 Red Hat, Inc. Configuration of provisioning servers in virtualized systems
US8413259B2 (en) * 2009-02-26 2013-04-02 Red Hat, Inc. Methods and systems for secure gated file deployment associated with provisioning
US8892700B2 (en) 2009-02-26 2014-11-18 Red Hat, Inc. Collecting and altering firmware configurations of target machines in a software provisioning environment
US9411570B2 (en) * 2009-02-27 2016-08-09 Red Hat, Inc. Integrating software provisioning and configuration management
US8572587B2 (en) * 2009-02-27 2013-10-29 Red Hat, Inc. Systems and methods for providing a library of virtual images in a software provisioning environment
US8640122B2 (en) * 2009-02-27 2014-01-28 Red Hat, Inc. Systems and methods for abstracting software content management in a software provisioning environment
US8990368B2 (en) 2009-02-27 2015-03-24 Red Hat, Inc. Discovery of network software relationships
US9940208B2 (en) * 2009-02-27 2018-04-10 Red Hat, Inc. Generating reverse installation file for network restoration
US9558195B2 (en) * 2009-02-27 2017-01-31 Red Hat, Inc. Depopulation of user data from network
US8667096B2 (en) 2009-02-27 2014-03-04 Red Hat, Inc. Automatically generating system restoration order for network recovery
US8135989B2 (en) 2009-02-27 2012-03-13 Red Hat, Inc. Systems and methods for interrogating diagnostic target using remotely loaded image
JP2010231601A (ja) * 2009-03-27 2010-10-14 Nec Corp グリッドコンピューティングシステム、リソース制御方法およびリソース制御プログラム
JP5476764B2 (ja) * 2009-03-30 2014-04-23 富士通株式会社 サーバ装置、計算機システム、プログラム及び仮想計算機移動方法
JP5347648B2 (ja) * 2009-03-30 2013-11-20 富士通株式会社 プログラム、情報処理装置及び状態出力方法
US8417926B2 (en) * 2009-03-31 2013-04-09 Red Hat, Inc. Systems and methods for providing configuration management services from a provisioning server
JP5412926B2 (ja) * 2009-04-02 2014-02-12 日本電気株式会社 仮想マシン管理システム，仮想マシン配置設定方法及びそのプログラム
US9396042B2 (en) 2009-04-17 2016-07-19 Citrix Systems, Inc. Methods and systems for evaluating historical metrics in selecting a physical host for execution of a virtual machine
US8291416B2 (en) * 2009-04-17 2012-10-16 Citrix Systems, Inc. Methods and systems for using a plurality of historical metrics to select a physical host for virtual machine execution
US8856783B2 (en) * 2010-10-12 2014-10-07 Citrix Systems, Inc. Allocating virtual machines according to user-specific virtual machine metrics
US9250672B2 (en) * 2009-05-27 2016-02-02 Red Hat, Inc. Cloning target machines in a software provisioning environment
US9134987B2 (en) * 2009-05-29 2015-09-15 Red Hat, Inc. Retiring target machines by a provisioning server
CN102449622A (zh) * 2009-05-29 2012-05-09 惠普开发有限公司 用于向虚拟机分配服务器资源的系统和方法
US9047155B2 (en) * 2009-06-30 2015-06-02 Red Hat, Inc. Message-based installation management using message bus
US10877695B2 (en) 2009-10-30 2020-12-29 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US11720290B2 (en) 2009-10-30 2023-08-08 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US10133485B2 (en) 2009-11-30 2018-11-20 Red Hat, Inc. Integrating storage resources from storage area network in machine provisioning platform
US8825819B2 (en) * 2009-11-30 2014-09-02 Red Hat, Inc. Mounting specified storage resources from storage area network in machine provisioning platform
JP5454135B2 (ja) * 2009-12-25 2014-03-26 富士通株式会社 仮想マシン移動制御装置、仮想マシン移動制御方法および仮想マシン移動制御プログラム
US8745633B2 (en) * 2010-05-11 2014-06-03 Lsi Corporation System and method for managing resources in a partitioned computing system based on resource usage volatility
US8473587B1 (en) 2010-05-20 2013-06-25 Gogrid, LLC System and method for caching server images in a hosting system
JP5332065B2 (ja) * 2010-06-11 2013-11-06 株式会社日立製作所 クラスタ構成管理方法、管理装置及びプログラム
JP2012032877A (ja) * 2010-07-28 2012-02-16 Fujitsu Ltd 情報処理装置を管理するプログラム、管理方法および管理装置
US8327373B2 (en) * 2010-08-24 2012-12-04 Novell, Inc. System and method for structuring self-provisioning workloads deployed in virtualized data centers
JP5614226B2 (ja) 2010-10-15 2014-10-29 富士通株式会社 仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法
WO2012063296A1 (ja) * 2010-11-12 2012-05-18 株式会社日立製作所 サーバ装置、リソース管理方法およびプログラム
US8463910B2 (en) * 2010-11-18 2013-06-11 Hitachi, Ltd. Computer system and performance assurance method
US20120131180A1 (en) * 2010-11-19 2012-05-24 Hitachi Ltd. Server system and method for managing the same
US8862739B2 (en) * 2011-01-11 2014-10-14 International Business Machines Corporation Allocating resources to virtual functions
JP5613578B2 (ja) * 2011-02-01 2014-10-22 株式会社日立システムズ 仮想化環境リソース管理構成変更システム、及びプログラム
US8738972B1 (en) 2011-02-04 2014-05-27 Dell Software Inc. Systems and methods for real-time monitoring of virtualized environments
WO2012127641A1 (ja) * 2011-03-23 2012-09-27 株式会社日立製作所 情報処理システム
US8978030B2 (en) * 2011-04-07 2015-03-10 Infosys Limited Elastic provisioning of resources via distributed virtualization
JP5370946B2 (ja) * 2011-04-15 2013-12-18 株式会社日立製作所 リソース管理方法及び計算機システム
US9619263B2 (en) * 2011-06-11 2017-04-11 Microsoft Technology Licensing, Llc Using cooperative greedy ballooning to reduce second level paging activity
WO2013005290A1 (ja) * 2011-07-04 2013-01-10 富士通株式会社 配置設計プログラム及び方法、並びに情報処理装置
JP5874234B2 (ja) * 2011-08-09 2016-03-02 富士通株式会社 機器管理装置、機器管理方法および機器管理プログラム
US9009205B2 (en) 2011-08-15 2015-04-14 International Business Machines Corporation Activity-based block management of a clustered file system using client-side block maps
US8661448B2 (en) 2011-08-26 2014-02-25 International Business Machines Corporation Logical partition load manager and balancer
US9495222B1 (en) 2011-08-26 2016-11-15 Dell Software Inc. Systems and methods for performance indexing
JP5390651B2 (ja) * 2012-02-28 2014-01-15 株式会社日立製作所 計算機システム及びプログラム
US10061616B2 (en) * 2012-05-30 2018-08-28 Red Hat Israel, Ltd. Host memory locking in virtualized systems with memory overcommit
US10652318B2 (en) * 2012-08-13 2020-05-12 Verisign, Inc. Systems and methods for load balancing using predictive routing
US9471385B1 (en) 2012-08-16 2016-10-18 Open Invention Network Llc Resource overprovisioning in a virtual machine environment
JP2014078160A (ja) 2012-10-11 2014-05-01 International Business Maschines Corporation 仮想リソースの組み合わせの決定を支援する装置及び方法
US9104495B2 (en) 2012-12-11 2015-08-11 International Business Machines Corporation Shared resource segmentation
US9104481B2 (en) * 2013-02-13 2015-08-11 International Business Machines Corporation Resource allocation based on revalidation and invalidation rates
US9692820B2 (en) * 2013-04-06 2017-06-27 Citrix Systems, Inc. Systems and methods for cluster parameter limit
CN104111800B (zh) * 2013-04-18 2018-02-23 阿里巴巴集团控股有限公司 一种虚拟磁盘的io口调度方法及其调度装置
CN103220362A (zh) * 2013-04-23 2013-07-24 深圳市京华科讯科技有限公司 服务器虚拟化一体机
JP6092704B2 (ja) * 2013-05-15 2017-03-08 株式会社日立システムズ 仮想サーバリソース制御システム及び仮想サーバリソース制御方法
US9584364B2 (en) * 2013-05-21 2017-02-28 Amazon Technologies, Inc. Reporting performance capabilities of a computer resource service
US20150081400A1 (en) * 2013-09-19 2015-03-19 Infosys Limited Watching ARM
WO2015145664A1 (ja) 2014-03-27 2015-10-01 株式会社日立製作所 リソース管理方法およびリソース管理システム
US9886083B2 (en) 2014-12-19 2018-02-06 International Business Machines Corporation Event-driven reoptimization of logically-partitioned environment for power management
WO2016110950A1 (ja) 2015-01-07 2016-07-14 株式会社日立製作所 計算機システム、管理システム、及び、リソース管理方法
JP6540356B2 (ja) * 2015-08-10 2019-07-10 富士通株式会社 システム複製制御装置およびシステムの複製制御方法
JP6787032B2 (ja) * 2016-10-18 2020-11-18 富士通株式会社 制御装置、制御方法、および制御プログラム
US9996293B1 (en) * 2016-12-12 2018-06-12 International Business Machines Corporation Dynamic management of memory allocation in a database
US10203991B2 (en) * 2017-01-19 2019-02-12 International Business Machines Corporation Dynamic resource allocation with forecasting in virtualized environments
TWI616820B (zh) * 2017-03-31 2018-03-01 鴻海精密工業股份有限公司 虛擬機遷移控制方法及裝置
JP6891611B2 (ja) 2017-04-17 2021-06-18 富士通株式会社 管理装置、情報処理システムの制御方法、および管理装置の管理プログラム
CN108932166B (zh) * 2018-07-25 2020-01-10 苏州浪潮智能科技有限公司 一种云管理平台架构下的资源使用控制方法、装置及设备
US11023287B2 (en) * 2019-03-27 2021-06-01 International Business Machines Corporation Cloud data center with reduced energy consumption

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4564903A (en) * 1983-10-05 1986-01-14 International Business Machines Corporation Partitioned multiprocessor programming system
JP2682770B2 (ja) * 1992-05-15 1997-11-26 富士通株式会社 仮想計算機システムのｃｐｕ制御方式
CA2100540A1 (en) * 1992-10-19 1994-04-20 Jonel George System and method for performing resource reconfiguration in a computer system
US5675797A (en) * 1994-05-24 1997-10-07 International Business Machines Corporation Goal-oriented resource allocation manager and performance index technique for servers
US6633916B2 (en) * 1998-06-10 2003-10-14 Hewlett-Packard Development Company, L.P. Method and apparatus for virtual resource handling in a multi-processor computer system
US6587938B1 (en) * 1999-09-28 2003-07-01 International Business Machines Corporation Method, system and program products for managing central processing unit resources of a computing environment
JP2001109638A (ja) * 1999-10-06 2001-04-20 Nec Corp 推定伸長率に基づくトランザクション負荷分散方法及び方式並びにコンピュータ可読記録媒体
JP2002140202A (ja) * 2000-11-01 2002-05-17 Hitachi Ltd 情報配信システムおよびその負荷分散方法
JP3716753B2 (ja) * 2001-03-21 2005-11-16 日本電気株式会社 マルチプロセッサ構成の計算機間におけるトランザクション負荷分散方法及び方式並びにプログラム
US6957435B2 (en) * 2001-04-19 2005-10-18 International Business Machines Corporation Method and apparatus for allocating processor resources in a logically partitioned computer system
JP4018900B2 (ja) * 2001-11-22 2007-12-05 株式会社日立製作所 仮想計算機システム及びプログラム
US7299469B2 (en) * 2003-04-30 2007-11-20 International Business Machines Corporation Hierarchical weighting of donor and recipient pools for optimal reallocation in logically partitioned computer systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170787A (ja) * 2010-02-22 2011-09-01 Nippon Telegraph & Telephone West Corp リソース割当装置、リソース割当方法、およびリソース割当制御プログラム

Also Published As

Publication number Publication date
US20040143664A1 (en) 2004-07-22
JP2004199561A (ja) 2004-07-15

Similar Documents

Publication Publication Date Title
JP4119239B2 (ja) 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム
US10929165B2 (en) System and method for memory resizing in a virtual computing environment
Praveenchandar et al. Retracted article: dynamic resource allocation with optimized task scheduling and improved power management in cloud computing
JP6157869B2 (ja) カスケード割当てによる長期資源プロビジョニング
CN107273185B (zh) 一种基于虚拟机的负载均衡控制方法
JP5476485B2 (ja) サービスの予約管理方法、仮想計算機システム及び記憶媒体
US20170046192A1 (en) Capacity risk management for virtual machines
JP5332065B2 (ja) クラスタ構成管理方法、管理装置及びプログラム
US20150381453A1 (en) Integrated global resource allocation and load balancing
Li An adaptive overload threshold selection process using Markov decision processes of virtual machine in cloud data center
JP5121936B2 (ja) リソース割り当て装置及びリソース割り当てプログラム及び記録媒体及びリソース割り当て方法
KR101471749B1 (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
Jararweh et al. Energy efficient dynamic resource management in cloud computing based on logistic regression model and median absolute deviation
CN108073457B (zh) 一种超融合基础架构的分层资源管理方法、装置及系统
JP2021504780A (ja) 分散コンピューティング環境における自動対角スケーリングためのアプリケーションの優先順位付け
JP5900088B2 (ja) 並列計算機、並列計算機の制御方法及び制御プログラム
Wang et al. Research on virtual machine consolidation strategy based on combined prediction and energy-aware in cloud computing platform
JP2009528649A (ja) 分散コンピューティングに関する改良
US20230055813A1 (en) Performing resynchronization jobs in a distributed storage system based on a parallelism policy
JP4476307B2 (ja) 仮想計算機システム及びプログラム
JP2007200347A (ja) 仮想計算機システム及びプログラム
Surya et al. Prediction of resource contention in cloud using second order Markov model
JP2021504777A (ja) 分散コンピューティング環境における作業負荷の自動対角スケーリング
Abbas et al. Autonomous DRL-based energy efficient VM consolidation for cloud data centers
Phi et al. Load balancing algorithm on cloud computing for optimize response time

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080215

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees