JP3782955B2 - 複数の処理システムのコンピューター資源の使用を見積もるシステムおよび方法 - Google Patents
複数の処理システムのコンピューター資源の使用を見積もるシステムおよび方法 Download PDFInfo
- Publication number
- JP3782955B2 JP3782955B2 JP2001319660A JP2001319660A JP3782955B2 JP 3782955 B2 JP3782955 B2 JP 3782955B2 JP 2001319660 A JP2001319660 A JP 2001319660A JP 2001319660 A JP2001319660 A JP 2001319660A JP 3782955 B2 JP3782955 B2 JP 3782955B2
- Authority
- JP
- Japan
- Prior art keywords
- resource
- resources
- expected life
- critical
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に、コンピュータ・システムの分野に関し、より具体的には、複数のコンピュータ・システムにまたがるコンピュータ資源使用を最適化するシステムおよび方法に関する。
【０００２】
【従来の技術】
容量(capacity)計画プロセスでは、システム・パラメータ、所望のサービス・レベルおよびワークロード予測が、コンピュータ・システムの資源が超過されるときを決定するために使用され、資源不足に対する費用効果的な救済法を特定する支援に使用される。Daniel A. Menasce、Virgilio A. AlmeidaおよびLarry W. Dowdyによる「Capacity Planning and Performance Modeling: From Mainframes to Client-Server Systems」（Prentice Hall, Englewood Cliffs, New Jersey, 1994）は、コンピュータ資源問題の予測および改正の両方に対する方法を開示している。
【０００３】
異種コンピュータ・システムのセットの容量計画は、以下に述べるいくつかの問題を提示する。第一の課題として、ワークロードが多数の資源を使用することが認識されなければならない。したがって、ワークロード割り当ての影響が容易には予測または定量化されない。第二に、ワークロードは通常増大し、増大速度が資源間で異なることがある。第三に、異なるコンピュータ・システムは、異なる資源および異なる資源能力を有することができる。これらの問題は、利用可能な資源がどれだけ長く保つのか、どのコンピュータ・システムがその資源を超える危険が最も高いか、不足を緩和するためにどのように資源を再割り当てするか、そのような再割り当てによってコンピュータ・システムがどのような影響を受けるのかを決定することを困難にする。
【０００４】
Dan AsitおよびDinkar Sitaramは、「Online Placement of Video Files Determined by a Function of the Bandwidth to Space Ratio of each of the Storage Devices in a Server Environment」と題する米国特許第５，５３０，５５７号（１９９６年６月２５日）で、ビデオを記憶装置に配置するために、ビデオの予想される要求を考慮しながら記憶装置利用率を最大限にする一つの方法を教示している。Asitらは、バンド幅空間比（ＢＳＲ）を使用してビデオをディスク上に配置している。ディスクのＢＳＲは、そのバンド幅を空間で割ったものである。ビデオのＢＳＲは、ビデオに予想される要求をそれを記憶するために要する空間で割ったものである。要求は、使用履歴データに基づいて予測することができ、両人の発明では、ビデオ配置マネージャがビデオをディスク上に配置してビデオのＢＳＲをディスクのＢＳＲにマッチさせている。
【０００５】
記憶容量を予測し、管理することを追求したさらなる参考文献は、W. G. PopeおよびLily Mummertの論文および関連特許を含む。「The Use of Life Expectancy to Manage Notes Domino E-Mail Storage」と題する論文（Proceedings of the Computer Measurement Group, CMG, '99, December 1999）および１９９９年１２月８日に出願された「System and Method for Providing Property Histories of Objects and Collections For Determining Device Capacity Based Thereon」と題する特許出願第０９／４５７，４６７号は、一つのコンピュータ・システムの関連情報へのアクセスおよびその使用の過去の履歴によって装置容量を見積もる方法を提案している。
【０００６】
【発明が解決しようとする課題】
しかし、なおも必要とされ、本発明の目的であるものは、複数のコンピュータ・システムの多数の資源の容量制約を分析する方法である。
【０００７】
本発明のもう一つの目的は、不足を緩和するために資源を再割り当てする際に標的にすることができるクリティカルなシステム限界を特定することである。
【０００８】
【課題を解決するための手段】
前記目的および他の目的は、複数のコンピュータ・システムそれぞれの容量を正規化単位で表し、コンピュータ・システムの容量を正規化または標準化単位でソートすることにより、処理環境における複数のコンピュータ・システムのコンピュータ資源の使用を見積もるシステムおよび方法を構成する本発明によって実現される。
【０００９】
標準化単位、最適には、コンピュータ・システムの異なる各資源の予想寿命として計測される時間が、容量空間と呼ばれるＮ次元空間のＮ軸として使用される。各コンピュータ・システムは容量空間中の点にマッピングされ、それが、全資源の使用を時間単位で表すことにより、システム間の構成差および容量差を正規化する。
【００１０】
本発明方法は、システム中の各資源の予想寿命を計算するステップと、少なくとも一つのクリティカルな資源を、最短予想寿命を有する少なくとも一つの資源として特定するステップと、システムの予想寿命を少なくとも一つのクリティカルな資源の予想寿命として定義するステップと、全システムの予想寿命を最短から最長までソートするステップとを含む。最短予想寿命を有するシステムのワークロードを調節して、ワークロードをより効率的に分散させ、処理環境におけるコンピュータ・システムの見積もられた資源の使用を改善する。
【００１１】
処理環境の少なくとも一つの管理プロセッサが、構成および使用情報を収集し、システムごとの容量空間をマッピングし、クリティカルな資源およびクリティカルな時間を特定して、処理環境のコンピュータ・システムのワークロード必要性に対処する。ひとたびクリティカルな資源を特定したならば、ワークロード割り当てをより公平にして、資源使用を改善することができる。
【００１２】
【発明の実施の形態】
以下の本発明の説明に関しては、以下の術語を使用する。
【００１３】
「管理プロセッサ」とは、コンピュータ・ソフトウェアおよびプログラムを実行する能力のあるコンピュータ・システムである。ここで使用する「管理プロセッサ」は、少なくとも一つの中央処理装置と、メモリと、およびデジタル・データをシステム内と外界との間で伝送するための入出力インタフェースと、を含むハードウェア、ならびに、オペレーティング・ソフトウェアおよびサポート・ソフトウェア、すなわちハードウェア装置を使用することを許すオペレーティング・システムおよびサポート・サブシステムをいう。「管理プロセッサ」は、データの永久的記憶のための装置を含むことを意味しない。管理ソフトウェアは、別個の処理システムの一部であってもよいし（図２に示す場合）、ワークロード分析が実施される処理環境中の処理システムの一つの手段であってもよい。２個以上の管理プロセッサが一つの処理環境に対して働くこともできる。
【００１４】
「レポジトリ」とは、管理プロセッサに対して外部の構造データを記憶するための手段である。レポジトリにおけるデータは記憶サブシステム中に保存され、アクセスされるが、データの構造にアクセスを提供するソフトウェア、たとえばリレーショナル・データベース・ソフトウェアによってもサポートされる。レポジトリの内容は、フラット・ファイルと呼ばれることが多い、より簡単な記憶オブジェクトに記憶することができるため、データベース・ソフトウェアはレポジトリにとって不可欠ではない。
【００１５】
「処理システム」とは、コンピュータ・プログラムを実行するために必要なすべてのハードウェアおよびソフトウェアを含むコンピューティング・システムである。これは、中央処理装置（ＣＰＵ）または多数のＣＰＵ、メモリ、記憶装置およびネットワーク接続ならびにオペレーティング・システム、アプリケーション・ソフトウェアおよびシステム上で作業を管理するための手続きを含む。
【００１６】
「ワークロード」とは、処理システム中で実行され、システムの資源を利用または消費する特定可能なタスクのセットである。
【００１７】
「ワークロード単位」とは、何らかの外部識別子とで対応させることができるワークロードのサブセット（たとえば、従業員ユーザによって実行されるすべてのタスクの集合体）である。ワークロード単位は、資源消費に関する履歴レコードを維持するための収集点であり、特定の処理システムにワークロードを割り当てるための手段として働く。ワークロード単位は、処理環境中のどこででも実行することができ資源制約のみを受ける。
【００１８】
「コンテナ」とは、限界、すなわち容量を有する資源の特定可能で限られた部分を表す汎用語である。記憶コンテナは、そのサイズによって制限された、ディスク区分あるいは物理的装置全体とすることができる。処理コンテナは、ＣＰＵであってもよいし、ＣＰＵのセットであってもよいし、特定のタイプのサーバであってもよい。限界は、単位時間あたりの命令またはトランザクションの数であってもよい。ネットワークコンテナはインタフェースまたはネットワークそのものであってもよく、限界はバンド幅であってもよい。いずれにしても、資源は、外部からの介入なしには超えることができない限界（容量）を有する。コンテナの容量を超えようとする試みは、性能の低下または障害をもたらす。
【００１９】
「処理環境」とは、環境内で実行するワークロード単位のためにワークロードを実行することができる処理システムの集合体である。管理プロセッサは、その記憶環境内で記憶サブシステムにアクセスを有する。管理プロセッサは、記憶サブシステムを介して、各サブシステム中のすべてのコンテナ、それらのコンテナの限界、各コンテナ中のオブジェクトすべての識別情報および各オブジェクトの資源使用を特定することができる。
【００２０】
「しきい値」とは、動作を要するコンテナを優先順位付けするために容量計画プロセスによって使用される、利用率に対する人為的限界である。コンテナの見積もり利用率がしきい値に達すると、コンテナは管理されるように選択され、そのコンテナにおける資源不足を防止または緩和するための措置が講じられる。
【００２１】
処理システムの「予想寿命」とは、システムの最後の計測から、資源消費の増大がシステム資源のいずれかの容量を超えると予想されるまでの期間である。時間的な資源消費の変化がプラスではなく、システムがその容量限界未満で動作しているならば、システムの予想寿命は無限と考えられる。システム資源次元のいずれかに関して資源消費がプラスの成長を示すならば、システムの予想寿命は有限である。
【００２２】
加えて、本発明は以下の新規な概念を導入する。
【００２３】
システムにおける資源のセットの予想寿命は、容量空間と呼ばれるＮ次元空間を形成する。各資源Ｒ１．．Ｒｎは、空間中の次元に対応し、すべての軸の単位は時間である。処理システムＳは、容量空間中の点ＰＳ＝（ＬＳ１、．．．、ＬＳｎ）にマッピングすることができる（ＬＳｉは、Ｓの資源Ｒｉの予想寿命である）。容量空間は、すべての資源の使用を時間単位で表すことにより、処理環境中の処理システム間の構成差および容量差を正規化する。
【００２４】
「クリティカルな資源」とは、その予想寿命がその処理システムの他すべての資源の予想寿命に満たないまたは等しい資源である（ＣＬＳ＝ｍｉｎ（ＬＳ１、．．．、ＬＳｎ））。このシステムの資源必要性は、時間ＣＬＳで対処されなければならない。資源のすべてが時間単位で表されるため、任意数の次元をこの方法で一つに折り込むことができる。
【００２５】
多数の資源を有するシステムは、その資源すべてが同じ予想寿命を有するならば、予想寿命に関して均衡している。そうでなければ、システムは不均衡である。不均衡なシステムの予想寿命は、その資源すべての内の最小予想寿命である。均衡したシステムは、原点から（ｎ、ｎ、ｎ、．．．、ｎ）を経て描かれた空間中の線に当たる。定数ｎに関して、組のサイズは資源または次元の数である。
【００２６】
処理システム中の非クリティカルな資源は、クリティカルな資源を超える「スラック」(slack)を有するといわれている（ＥＳｉ＝ＬＳｉ−ＣＬＳ）。スラックは、本発明の下で再割り当てすることができる利用可能な資源を表す。
【００２７】
二つの資源の容量空間が図１に示されている。資源は、ディスク記憶装置およびＣＰＵ容量である。円１１０は、ディスク記憶装置が２０日間は十分であると予想されるが、ＣＰＵ容量は６０日間は十分であると予想されるためにシステムが不均衡である処理システムを表す。円１１２は、両方の資源が４０日で尽きると予想される均衡した処理システムを表す。図１では、円１１０によって表される処理システムのクリティカルな資源は記憶装置であるが、円１１２によって表される均衡した処理システムの場合、両方の資源は等しくクリティカルである。さらには、図１では、円１１０によって表される処理システムは、そのＣＰＵ資源に４０日のスラックを有する。
【００２８】
図２を参照すると、本発明が適用される、管理プロセッサ２０１が本発明プロセスを実現するように適合されている処理環境が示されている。管理プロセッサ２０１は、データを保存することができ、データを検索することができるデータ・レポジトリ２０２、たとえばリレーショナルデータベースにアクセスを有する。管理プロセッサはまた、処理システム２０４ａおよび２０４ｂを含む処理環境２００の属性ならびに処理環境の一部であるワークロード単位２０５ａおよび２０５ｂに関するワークロード必要性およびワークロード使用履歴データに関する構成データにアクセスを有する。
【００２９】
本発明の対象の１つは、ワークロード単位を管理する処理システム２０４ａおよび２０４ｂである。各処理システムによって管理されるワークロード単位に分割される作業の例は、コンピュータ・ユーザのために実行されるソート・プログラムである。各ワークロード単位は、処理環境内で一意の識別子を有する。ワークロード単位は処理システムの資源を消費する。ワークロード単位によって消費される資源は処理システムによって記録され、この消費のレコードは、ワークロード使用履歴として管理プロセッサ２０１に転送され、レポジトリ２０２に記憶される。各資源は、それ自体の計測単位を有する。これらの消費レコードは、ワークロード単位の名称および消費の期間によって特定される。
【００３０】
本発明の管理プロセッサは、処理環境中の資源のリストＲ＝｛Ｒ１．．．Ｒｎ｝、処理環境中の処理システムのリストＳ＝｛Ｓ１．．．Ｓｋ｝、処理システムＳｉごとの、その資源容量ＣＳｉ＝｛ＣＲ１．．．ＣＲｎ｝およびレポジトリ２０２に記憶されたワークロード使用履歴を利用する。ひとたび図２の管理プロセッサ２０１が前記情報を集めたならば、このプロセッサは、処理環境中の資源の予想寿命に基づいて容量空間を構成する。図３は、ＣＰＵ予想寿命が一方の軸に定義され、記憶装置予想寿命が他方の軸に定義されている二次元容量空間の図を提供する。本発明では、Ｎ個の異なる資源に関してＮ次元空間を創出することができる。説明しやすくするため、二次元空間を例示し、説明する。
【００３１】
図３では、クリティカルな資源線が４５°で示されている。グラフ点３０４で示す均衡したシステム、たとえばＳ４の場合、その資源の予想寿命は等しく（８０日）、グラフ点は必ずクリティカルな資源線上に当たる。図３に示す他のすべてのシステムＳ１、Ｓ２およびＳ３は、一つの資源が他のシステム資源よりも短い予想寿命を有する不均衡なシステムを表す。
【００３２】
３０１で示すシステムＳ１の場合、１０日間の記憶装置予想寿命は、システムのＣＰＵ予想寿命（４０日）よりも短い。３０２で示すシステムＳ２は、４０日の記憶装置予想寿命を有するが、そのＣＰＵ予想寿命は１００日である。３０３で示すシステムＳ３は、他とは異なり、ＣＰＵ予想寿命（５０日）が記憶装置予想寿命（１００日）よりも短い。
【００３３】
次に、本発明は、処理システムごとのクリティカルな資源を決定する。クリティカルな資源を、最短の予想寿命を有する資源と定義することにより、Ｓ１のクリティカルな資源は記憶装置であることは明らかであり、システムＳ１の必要性に対処するためのクリティカルな動作時間ｔ１は１０日である。この実例で管理プロセッサ２０１によって特定される次のクリティカルな動作時間は、システムＳ２の記憶装置のクリティカルな資源の予想寿命（４０日）である時間ｔ２である。時間ｔ３（５０日）は、Ｓ３のクリティカルなＣＰＵ資源の予想寿命であるため、システムＳ３のクリティカルな動作時間と定義される。最後に、時間ｔ４は、システムＳ４のための動作を行うために定義される時間であり、この時間（８０日）で、均衡したシステムの両クリティカルな資源の予想寿命に達する。
【００３４】
システムごとに最小資源予想寿命をとることにより、管理プロセッサは、図３から、各処理システムＳ１〜Ｓ４をその最もクリティカルな資源ＣＬＳｉの予想寿命でライムライン上に見積もる。図４は、クリティカルな動作時間ｔ１〜ｔ４が点４０１〜４０４で示されているタイムラインを示す。各システムの予想寿命が、システム再構成およびグレードアップを優先順位付けする際の管理プロセッサ２０１による使用に備えてタイムライン上で示されている。タイムラインは、資源必要性の点でシステムを優先順位付けし、動作を講じなければならない最小時間を確立し（図示するように最小ＣＬＳｉまたはｔ１）、動作のタイムテーブル（ＣＬＳ１．．．ＣＬＳｎ）を作成する。
【００３５】
処理システムごとの容量空間のプロットによって認識される、システムＳｉにおけるスラックは、クリティカルな資源の予想寿命、ひいては処理システムおよび処理環境全体の予想寿命を延ばす方法でワークロードを再分散するために使用することができる。ひとたびシステムが順序付けされ、タイムラインが生成されると、よりクリティカルなシステムと、よりクリティカルではないシステムとの間でワークロード単位を移して、資源不足を緩和し、スラックをより効果的に利用することができる。この移動は、容量空間およびクリティカルな資源線におけるシステムの移動に転換される。図５は、ワークロード変化による、容量空間に示された点の移動を示す。たとえば、システムＳが非常に短いクリティカルな動作時間を有することが認められるならば、一部のワークロードがいわゆるソース・システムＳから取り出される。すると、それが一つ以上の資源の予想寿命を延ばすことができ、それを原点５０１から離して、Ｓ′として示す点５１１に動かす。ワークロードが別のいわゆるあて先システムＤに配置されると、移動は、システムＤ資源の予想寿命を減らすことができ、５０２から、Ｄ′として示す５１２に移す。ＳおよびＤの資源能力ならびに現在の使用が異なるかもしれないため、所与の資源に関して、Ｓにおける予想寿命の増加がＤにおける予想寿命の減少と等しくならないかもしれないことに留意すること。図６は、クリティカルな資源線（またはクリティカルな動作タイムライン）上でワークロードをソース・システムＳからあて先システムＤに移す効果を示す。資源システムＳに関して時間６０１は６１１まで後退し、あて先システムＤに関して時間６０２は６１２まで前進している。
【００３６】
広く多様な既存のアルゴリズムを使用して、ワークロードを資源間で移し、容量空間中で資源を動かすことにより、資源を均衡させることができる。他のそのようなアルゴリズムの使用を排除することなく、代表的な優先順位付け手順および二つの代表的なワークロード再割り当て手順を以下に詳細に記す。
【００３７】
図７は、本発明に関連して使用することができる優先順位付け手順の流れ図である。手順の出力は、システム、すなわちコンテナの、それらのクリティカルな資源を特定し、期限切れになることが予想される時期でソートされたリストである。管理プロセッサがシステムのリストを資源のリストとともにレポジトリから検索すると、管理プロセッサは、システムＳｉの中で反復し始め、審査および分析のためにシステムを一度に一つずつ選択する。ステップ７０２でシステムを選択したのち、ステップ７０３で資源を選択する。ステップ７０４で、資源ごとの予想寿命を計算する。このプロセスは、所与の処理システム中の各資源の予想寿命が決定されるまで繰り返される。ステップ７０５で、評価すべき他の資源が処理システム中にないと決定されるならば、管理プロセッサは、７０６で、そのシステムのクリティカルな資源を、最小予想寿命を有する資源として決定し、ステップ７０７で、クリティカルな資源およびそのクリティカルな時間を記憶する。次に、管理プロセッサは、すべてのシステムを評価したかどうかをチェックする。評価していないならば、別のシステムを選択し、上記のとおり、その資源を分析し、そのクリティカルな資源およびクリティカルな時間を記憶する。すべてのシステムが評価されているならば、記憶されたクリティカルな資源およびクリティカルな時間データを検索し、ステップ７０８で時間によってソートする。最後に、７０９で、上記の動作のタイムテーブルを表すタイムラインを出力する。
【００３８】
容量空間のグラフに基づく代替方法は次のとおりである。
１．容量空間を構成する。
２．クリティカルな資源線をプロットする。
３．容量空間中の点をプロットする。
４．クリティカルな資源線上にそれらのクリティカルな資源の予想寿命で点を射影する。
５．時間０で出発したクリティカルな資源線を定義し、クリティカルな資源線上の点の場所を順に出力する。
【００３９】
図８は、コンピュータ・システムの予想寿命を均衡させる一つの再割り当て手順を示す。容量空間中、再割り当てとは、システム予想寿命（または他の分散測度）の範囲を最小限にする目的をもって、各点をなんらかの「重心」に向けて動かすことをいう。図示する重心アルゴリズムは欲張り(greedy)メソッドである。手順はステップ８０１で始まり、最低予想寿命のシステムである最もクリティカルなシステムＳ、すなわち、図７の優先順位付け手順によって得られたタイムライン上で最も左のシステムを選択する。このシステムが、動かすワークロードのソースになる。ステップ８０２で、最も非クリティカルなシステムＤ、すなわち、タイムライン上の最も右のシステムである、ワークロードのあて先を選択する。ステップ８０３で、ＳおよびＤの予想寿命の範囲（ＬＥＲ＝ＣＬＳ（Ｓ）−ＣＬＳ（Ｄ））を計算する。これは、システムのセットがいかにうまく均衡しているかの測度である。ステップ８０４で、ＬＥＲ＝０であるかどうかをチェックし、ＬＥＲ＝０であるならば、システムは完璧に均衡しており、手順を抜ける。ＬＥＲ＝０ではないならば、ステップ８０５で、各ワークロード単位ＷをＳから取り出すことの、Ｓの予想寿命ＣＬＳに対する影響を計算する。ステップ８０６で、Ｄに移動することができ、それを行うことでＬＥＲを減らすワークロード単位Ｗがあるかどうかを決定する。あるならば、ステップ８０７で、ＬＥＲにおける最大の改善を生むワークロード単位Ｗを選択し、手順はステップ８０１から新たに出発する。ないならば、手順を抜ける。
【００４０】
代替の再割り当て手法は、システムのすべてに対して何らかの最小予想寿命を設定することができる。その場合、目的は、何らかの最小しきい値Ｔに満たないシステムを、可能ならば、Ｔよりも上に動かすことである。たとえば、システムのすべてがＴ未満に当たるならば、容量を追加することなく実施可能な解決方法はないことが理解されよう。前記目的の欲張りアルゴリズムが図９に示されている。ステップ９０１で、ワークロードがよそに動かされるシステム、すなわち予想寿命がＴ未満になるシステムのセットを生成する。ソース・システムのリストを昇順の予想寿命で、すなわち最もクリティカルなシステムを先にしてソートする。ステップ９０２で、そのようなシステムがないならば、手順を抜ける。あるならば、ステップ９０３で最もクリティカルなシステムを選択する。ステップ９０４で、Ｓ中のワークロード単位Ｗごとに、ＳからＷを除いた場合のＳの予想寿命であるＳ′の予想寿命を計算する。これは、Ｓ′−Ｓによる降順でソートされたワークロード単位のリストを、対応するＳ′の予想寿命とともに、最大の影響をもつワークロード単位がリストの先頭に来るように作成する。リストが空ではないならば（ステップ９０５）、手順はリストの先頭を取り出し、そのためのあて先を見つけようとする（ステップ９０７）。Ｄの予想寿命にＷを加えてもまだしきい値Ｔよりも大きいようなあて先Ｄがあるならば（ステップ９０８）、ステップ９０９で、Ｗを加えたのち最大の寿命を有するであろうＤを選択し、ＷをＳからＤに動かし、ＳおよびＤの予想寿命を再計算する。そして、手順はステップ９０１に続く。手順を抜けたのち、Ｔ未満の予想寿命のシステムが残るとしても、プロセスで動かしたワークロードがシステム全体の予想寿命を延ばすことができることが理解される。
【００４１】
これらの手順の多くの変形が可能である。たとえば、図９の手順のようなしきい値ベースの手順は、システムを可能な限りＴよりも上に維持する、換言するならば、全システムＳのLifeExpectancy（Ｓ）−Ｔの和を最大限にするさらなる目的を有することができる。
【００４２】
何らかの限界に対して資源使用を見積もることは、容量計画の周知部分である。しかし、本発明の下では、請求の範囲で述べるように、新規な手法が、システムの容量を時間単位（すなわち、その資源の予想寿命）で表して異なる資源および資源容量を正規化し、各次元が何らかの資源の予想寿命であるＮ次元容量空間を創出し、その空間内の点としてシステムを表し、システムの容量の多数の次元を一つの次元に減らして、そのシステムのクリティカルな資源を固有に表し、均衡したシステムと不均衡なシステムとを区別する均衡線を認識して、システムをそれらの最もクリティカルな資源に関して順序付けし、不均衡なシステム中の利用可能な資源を特定し、ワークロードを、システムに割り当てられた他のワークロードに対して時間単位で表現し、前記すべてをシステム上にあるワークロードにおける変化に適合させる。
【００４３】
いくつかの好ましい実施態様を参照して本発明を詳述したが、請求の範囲に述べる本発明の本質および範囲を逸することなく、変形を加えられることが理解されよう。本願発明は、ハードウェア、ソフトウェア、またはハードウェア及びソフウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実行において、所定のプログラムを有するコンピュータ・システムにおける実行が典型的な例として挙げられる。かかる場合、該所定プログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムを制御し、本願発明にかかる処理を実行させる。このプログラムは、任意の言語・コード・表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接、または１．他の言語・コード・表記への変換、２．他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本願発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体もその範囲に含むものである。本願発明の機能を実行するためのプログラムは、フロッピー（Ｒ）・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハード・ディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ読み取り可能な記録媒体に格納することができる。かかるプログラムは、記録媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の記録媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一にまたは複数の記録媒体に格納することもできる。
【００４４】
まとめとして、本発明の構成に関して以下の事項を開示する。
（１）処理環境における複数の処理システムのコンピュータ資源の使用を見積もる方法であって、
前記複数の処理システムそれぞれの容量を時間単位で表すステップと、
前記複数の処理システムの前記容量を最短時間から最長時間までソートするステップと
を含む方法。
（２）前記複数の処理システムそれぞれの前記容量を表す前記ステップが、
前記資源それぞれの予想寿命を計算するステップと、
最短予想寿命を有する少なくとも一つのクリティカルな資源を特定するステップと、
前記処理システムの予想寿命を前記少なくとも一つのクリティカルな資源の予想寿命として定義するステップと
を含む、上記（１）記載の方法。
（３）前記複数の処理システムの少なくとも二つに対するワークロードを変化させて資源利用率を改善するステップをさらに含む、上記（１）及び（２）記載の方法。
（４）前記複数の処理システムの前記少なくとも二つに関してコンピュータ資源の使用を再評価するステップをさらに含む、上記（３）記載の方法。
（５）前記表すステップが、各処理システムのＮ個の資源それぞれの予想寿命をＮ次元容量空間でプロットするステップを含む、上記（１）記載の方法。
（６）処理システムごとの少なくとも一つのクリティカルな資源を前記Ｎ次元容量空間内のその場所に基づいて特定するステップをさらに含む、上記（６）記載の方法。
（７）前記複数の処理システム中の少なくとも一つの利用可能な資源を前記Ｎ次元容量空間内のその場所に基づいて特定するステップをさらに含む、上記（６）記載の方法。
（８）前記複数の処理システム中の少なくとも一つの利用可能な資源を前記Ｎ次元容量空間内のその場所に基づいて特定するステップをさらに含む、上記（７）記載の方法。
（９）前記少なくとも一つのクリティカルな資源から前記少なくとも一つの利用可能な資源へのワークロードの均衡をさらに含む、上記（９）記載の方法。
（１０）処理環境における複数の処理システムのコンピュータ資源の使用を見積もるためのシステムであって、
前記複数の処理システムそれぞれの容量を時間単位で表すための正規化手段と、
前記複数の処理システムの前記容量を最短時間から最長時間までソートするためのソート手段と
を含む少なくと一つの管理プロセッサを含むシステム。
（１１）前記正規化手段が、
前記資源それぞれの予想寿命を計算するための計算手段と、
最短予想寿命を有する少なくとも一つのクリティカルな資源を特定するための特定手段と、
前記処理システムの予想寿命を前記少なくとも一つのクリティカルな資源の予想寿命として定義するための定義手段と
を含む、上記（１１）記載のシステム。
（１２）前記ソート手段が、予想寿命に基づいて前記容量をソートするための手段を含む、上記（１２）記載のシステム。
（１３）再割り当てアルゴリズムを適用して前記複数の処理システム間でワークロードを調節するための処理手段をさらに含む、上記（１１）記載のシステム。
（１４）処理環境における複数の処理システムのコンピュータ資源の使用を見積もる方法ステップをコンピュータに実行させるためのプログラムであって、前記方法が、
前記複数の処理システムそれぞれの容量を時間単位で表すステップと、
前記複数の処理システムの前記容量を最短時間から最長時間までソートするステップと
を含むプログラム。
【図面の簡単な説明】
【図１】 本発明にしたがって、コンピュータ・システムの二つの資源の容量空間のマッピングを時間単位で示すグラフである。
【図２】 本発明を実現する処理環境を示す図である。
【図３】 処理環境における資源の予想寿命に基づく容量空間のマッピングを表すグラフである。
【図４】 本発明の管理プロセッサによる動作のためのクリティカルな動作タイムラインを表す図である。
【図５】 容量空間においてシステムＳからシステムＤへとワークロードを移す効果を示す図である。
【図６】 クリティカルな動作タイムラインにおいてシステムＳからシステムＤへとワークロードを移す効果を示す図である。
【図７】 本発明とで使用するためのワークロード優先順位付け手順のプロセス流れ図である。
【図８】 本発明とで使用するための一つの再割り当て手順のプロセス流れ図である。
【図９】 本発明とで使用するためのもう一つの再び割り当て手順のプロセス流れ図である。
【符号の説明】
２００ 処理環境
２０１ 管理プロセッサ
２０２ レポジトリ
２０４ａ、２０４ｂ 処理システム
２０５ａ、２０５ｂ ワークロード単位
【発明の属する技術分野】
本発明は、一般に、コンピュータ・システムの分野に関し、より具体的には、複数のコンピュータ・システムにまたがるコンピュータ資源使用を最適化するシステムおよび方法に関する。
【０００２】
【従来の技術】
容量(capacity)計画プロセスでは、システム・パラメータ、所望のサービス・レベルおよびワークロード予測が、コンピュータ・システムの資源が超過されるときを決定するために使用され、資源不足に対する費用効果的な救済法を特定する支援に使用される。Daniel A. Menasce、Virgilio A. AlmeidaおよびLarry W. Dowdyによる「Capacity Planning and Performance Modeling: From Mainframes to Client-Server Systems」（Prentice Hall, Englewood Cliffs, New Jersey, 1994）は、コンピュータ資源問題の予測および改正の両方に対する方法を開示している。
【０００３】
異種コンピュータ・システムのセットの容量計画は、以下に述べるいくつかの問題を提示する。第一の課題として、ワークロードが多数の資源を使用することが認識されなければならない。したがって、ワークロード割り当ての影響が容易には予測または定量化されない。第二に、ワークロードは通常増大し、増大速度が資源間で異なることがある。第三に、異なるコンピュータ・システムは、異なる資源および異なる資源能力を有することができる。これらの問題は、利用可能な資源がどれだけ長く保つのか、どのコンピュータ・システムがその資源を超える危険が最も高いか、不足を緩和するためにどのように資源を再割り当てするか、そのような再割り当てによってコンピュータ・システムがどのような影響を受けるのかを決定することを困難にする。
【０００４】
Dan AsitおよびDinkar Sitaramは、「Online Placement of Video Files Determined by a Function of the Bandwidth to Space Ratio of each of the Storage Devices in a Server Environment」と題する米国特許第５，５３０，５５７号（１９９６年６月２５日）で、ビデオを記憶装置に配置するために、ビデオの予想される要求を考慮しながら記憶装置利用率を最大限にする一つの方法を教示している。Asitらは、バンド幅空間比（ＢＳＲ）を使用してビデオをディスク上に配置している。ディスクのＢＳＲは、そのバンド幅を空間で割ったものである。ビデオのＢＳＲは、ビデオに予想される要求をそれを記憶するために要する空間で割ったものである。要求は、使用履歴データに基づいて予測することができ、両人の発明では、ビデオ配置マネージャがビデオをディスク上に配置してビデオのＢＳＲをディスクのＢＳＲにマッチさせている。
【０００５】
記憶容量を予測し、管理することを追求したさらなる参考文献は、W. G. PopeおよびLily Mummertの論文および関連特許を含む。「The Use of Life Expectancy to Manage Notes Domino E-Mail Storage」と題する論文（Proceedings of the Computer Measurement Group, CMG, '99, December 1999）および１９９９年１２月８日に出願された「System and Method for Providing Property Histories of Objects and Collections For Determining Device Capacity Based Thereon」と題する特許出願第０９／４５７，４６７号は、一つのコンピュータ・システムの関連情報へのアクセスおよびその使用の過去の履歴によって装置容量を見積もる方法を提案している。
【０００６】
【発明が解決しようとする課題】
しかし、なおも必要とされ、本発明の目的であるものは、複数のコンピュータ・システムの多数の資源の容量制約を分析する方法である。
【０００７】
本発明のもう一つの目的は、不足を緩和するために資源を再割り当てする際に標的にすることができるクリティカルなシステム限界を特定することである。
【０００８】
【課題を解決するための手段】
前記目的および他の目的は、複数のコンピュータ・システムそれぞれの容量を正規化単位で表し、コンピュータ・システムの容量を正規化または標準化単位でソートすることにより、処理環境における複数のコンピュータ・システムのコンピュータ資源の使用を見積もるシステムおよび方法を構成する本発明によって実現される。
【０００９】
標準化単位、最適には、コンピュータ・システムの異なる各資源の予想寿命として計測される時間が、容量空間と呼ばれるＮ次元空間のＮ軸として使用される。各コンピュータ・システムは容量空間中の点にマッピングされ、それが、全資源の使用を時間単位で表すことにより、システム間の構成差および容量差を正規化する。
【００１０】
本発明方法は、システム中の各資源の予想寿命を計算するステップと、少なくとも一つのクリティカルな資源を、最短予想寿命を有する少なくとも一つの資源として特定するステップと、システムの予想寿命を少なくとも一つのクリティカルな資源の予想寿命として定義するステップと、全システムの予想寿命を最短から最長までソートするステップとを含む。最短予想寿命を有するシステムのワークロードを調節して、ワークロードをより効率的に分散させ、処理環境におけるコンピュータ・システムの見積もられた資源の使用を改善する。
【００１１】
処理環境の少なくとも一つの管理プロセッサが、構成および使用情報を収集し、システムごとの容量空間をマッピングし、クリティカルな資源およびクリティカルな時間を特定して、処理環境のコンピュータ・システムのワークロード必要性に対処する。ひとたびクリティカルな資源を特定したならば、ワークロード割り当てをより公平にして、資源使用を改善することができる。
【００１２】
【発明の実施の形態】
以下の本発明の説明に関しては、以下の術語を使用する。
【００１３】
「管理プロセッサ」とは、コンピュータ・ソフトウェアおよびプログラムを実行する能力のあるコンピュータ・システムである。ここで使用する「管理プロセッサ」は、少なくとも一つの中央処理装置と、メモリと、およびデジタル・データをシステム内と外界との間で伝送するための入出力インタフェースと、を含むハードウェア、ならびに、オペレーティング・ソフトウェアおよびサポート・ソフトウェア、すなわちハードウェア装置を使用することを許すオペレーティング・システムおよびサポート・サブシステムをいう。「管理プロセッサ」は、データの永久的記憶のための装置を含むことを意味しない。管理ソフトウェアは、別個の処理システムの一部であってもよいし（図２に示す場合）、ワークロード分析が実施される処理環境中の処理システムの一つの手段であってもよい。２個以上の管理プロセッサが一つの処理環境に対して働くこともできる。
【００１４】
「レポジトリ」とは、管理プロセッサに対して外部の構造データを記憶するための手段である。レポジトリにおけるデータは記憶サブシステム中に保存され、アクセスされるが、データの構造にアクセスを提供するソフトウェア、たとえばリレーショナル・データベース・ソフトウェアによってもサポートされる。レポジトリの内容は、フラット・ファイルと呼ばれることが多い、より簡単な記憶オブジェクトに記憶することができるため、データベース・ソフトウェアはレポジトリにとって不可欠ではない。
【００１５】
「処理システム」とは、コンピュータ・プログラムを実行するために必要なすべてのハードウェアおよびソフトウェアを含むコンピューティング・システムである。これは、中央処理装置（ＣＰＵ）または多数のＣＰＵ、メモリ、記憶装置およびネットワーク接続ならびにオペレーティング・システム、アプリケーション・ソフトウェアおよびシステム上で作業を管理するための手続きを含む。
【００１６】
「ワークロード」とは、処理システム中で実行され、システムの資源を利用または消費する特定可能なタスクのセットである。
【００１７】
「ワークロード単位」とは、何らかの外部識別子とで対応させることができるワークロードのサブセット（たとえば、従業員ユーザによって実行されるすべてのタスクの集合体）である。ワークロード単位は、資源消費に関する履歴レコードを維持するための収集点であり、特定の処理システムにワークロードを割り当てるための手段として働く。ワークロード単位は、処理環境中のどこででも実行することができ資源制約のみを受ける。
【００１８】
「コンテナ」とは、限界、すなわち容量を有する資源の特定可能で限られた部分を表す汎用語である。記憶コンテナは、そのサイズによって制限された、ディスク区分あるいは物理的装置全体とすることができる。処理コンテナは、ＣＰＵであってもよいし、ＣＰＵのセットであってもよいし、特定のタイプのサーバであってもよい。限界は、単位時間あたりの命令またはトランザクションの数であってもよい。ネットワークコンテナはインタフェースまたはネットワークそのものであってもよく、限界はバンド幅であってもよい。いずれにしても、資源は、外部からの介入なしには超えることができない限界（容量）を有する。コンテナの容量を超えようとする試みは、性能の低下または障害をもたらす。
【００１９】
「処理環境」とは、環境内で実行するワークロード単位のためにワークロードを実行することができる処理システムの集合体である。管理プロセッサは、その記憶環境内で記憶サブシステムにアクセスを有する。管理プロセッサは、記憶サブシステムを介して、各サブシステム中のすべてのコンテナ、それらのコンテナの限界、各コンテナ中のオブジェクトすべての識別情報および各オブジェクトの資源使用を特定することができる。
【００２０】
「しきい値」とは、動作を要するコンテナを優先順位付けするために容量計画プロセスによって使用される、利用率に対する人為的限界である。コンテナの見積もり利用率がしきい値に達すると、コンテナは管理されるように選択され、そのコンテナにおける資源不足を防止または緩和するための措置が講じられる。
【００２１】
処理システムの「予想寿命」とは、システムの最後の計測から、資源消費の増大がシステム資源のいずれかの容量を超えると予想されるまでの期間である。時間的な資源消費の変化がプラスではなく、システムがその容量限界未満で動作しているならば、システムの予想寿命は無限と考えられる。システム資源次元のいずれかに関して資源消費がプラスの成長を示すならば、システムの予想寿命は有限である。
【００２２】
加えて、本発明は以下の新規な概念を導入する。
【００２３】
システムにおける資源のセットの予想寿命は、容量空間と呼ばれるＮ次元空間を形成する。各資源Ｒ１．．Ｒｎは、空間中の次元に対応し、すべての軸の単位は時間である。処理システムＳは、容量空間中の点ＰＳ＝（ＬＳ１、．．．、ＬＳｎ）にマッピングすることができる（ＬＳｉは、Ｓの資源Ｒｉの予想寿命である）。容量空間は、すべての資源の使用を時間単位で表すことにより、処理環境中の処理システム間の構成差および容量差を正規化する。
【００２４】
「クリティカルな資源」とは、その予想寿命がその処理システムの他すべての資源の予想寿命に満たないまたは等しい資源である（ＣＬＳ＝ｍｉｎ（ＬＳ１、．．．、ＬＳｎ））。このシステムの資源必要性は、時間ＣＬＳで対処されなければならない。資源のすべてが時間単位で表されるため、任意数の次元をこの方法で一つに折り込むことができる。
【００２５】
多数の資源を有するシステムは、その資源すべてが同じ予想寿命を有するならば、予想寿命に関して均衡している。そうでなければ、システムは不均衡である。不均衡なシステムの予想寿命は、その資源すべての内の最小予想寿命である。均衡したシステムは、原点から（ｎ、ｎ、ｎ、．．．、ｎ）を経て描かれた空間中の線に当たる。定数ｎに関して、組のサイズは資源または次元の数である。
【００２６】
処理システム中の非クリティカルな資源は、クリティカルな資源を超える「スラック」(slack)を有するといわれている（ＥＳｉ＝ＬＳｉ−ＣＬＳ）。スラックは、本発明の下で再割り当てすることができる利用可能な資源を表す。
【００２７】
二つの資源の容量空間が図１に示されている。資源は、ディスク記憶装置およびＣＰＵ容量である。円１１０は、ディスク記憶装置が２０日間は十分であると予想されるが、ＣＰＵ容量は６０日間は十分であると予想されるためにシステムが不均衡である処理システムを表す。円１１２は、両方の資源が４０日で尽きると予想される均衡した処理システムを表す。図１では、円１１０によって表される処理システムのクリティカルな資源は記憶装置であるが、円１１２によって表される均衡した処理システムの場合、両方の資源は等しくクリティカルである。さらには、図１では、円１１０によって表される処理システムは、そのＣＰＵ資源に４０日のスラックを有する。
【００２８】
図２を参照すると、本発明が適用される、管理プロセッサ２０１が本発明プロセスを実現するように適合されている処理環境が示されている。管理プロセッサ２０１は、データを保存することができ、データを検索することができるデータ・レポジトリ２０２、たとえばリレーショナルデータベースにアクセスを有する。管理プロセッサはまた、処理システム２０４ａおよび２０４ｂを含む処理環境２００の属性ならびに処理環境の一部であるワークロード単位２０５ａおよび２０５ｂに関するワークロード必要性およびワークロード使用履歴データに関する構成データにアクセスを有する。
【００２９】
本発明の対象の１つは、ワークロード単位を管理する処理システム２０４ａおよび２０４ｂである。各処理システムによって管理されるワークロード単位に分割される作業の例は、コンピュータ・ユーザのために実行されるソート・プログラムである。各ワークロード単位は、処理環境内で一意の識別子を有する。ワークロード単位は処理システムの資源を消費する。ワークロード単位によって消費される資源は処理システムによって記録され、この消費のレコードは、ワークロード使用履歴として管理プロセッサ２０１に転送され、レポジトリ２０２に記憶される。各資源は、それ自体の計測単位を有する。これらの消費レコードは、ワークロード単位の名称および消費の期間によって特定される。
【００３０】
本発明の管理プロセッサは、処理環境中の資源のリストＲ＝｛Ｒ１．．．Ｒｎ｝、処理環境中の処理システムのリストＳ＝｛Ｓ１．．．Ｓｋ｝、処理システムＳｉごとの、その資源容量ＣＳｉ＝｛ＣＲ１．．．ＣＲｎ｝およびレポジトリ２０２に記憶されたワークロード使用履歴を利用する。ひとたび図２の管理プロセッサ２０１が前記情報を集めたならば、このプロセッサは、処理環境中の資源の予想寿命に基づいて容量空間を構成する。図３は、ＣＰＵ予想寿命が一方の軸に定義され、記憶装置予想寿命が他方の軸に定義されている二次元容量空間の図を提供する。本発明では、Ｎ個の異なる資源に関してＮ次元空間を創出することができる。説明しやすくするため、二次元空間を例示し、説明する。
【００３１】
図３では、クリティカルな資源線が４５°で示されている。グラフ点３０４で示す均衡したシステム、たとえばＳ４の場合、その資源の予想寿命は等しく（８０日）、グラフ点は必ずクリティカルな資源線上に当たる。図３に示す他のすべてのシステムＳ１、Ｓ２およびＳ３は、一つの資源が他のシステム資源よりも短い予想寿命を有する不均衡なシステムを表す。
【００３２】
３０１で示すシステムＳ１の場合、１０日間の記憶装置予想寿命は、システムのＣＰＵ予想寿命（４０日）よりも短い。３０２で示すシステムＳ２は、４０日の記憶装置予想寿命を有するが、そのＣＰＵ予想寿命は１００日である。３０３で示すシステムＳ３は、他とは異なり、ＣＰＵ予想寿命（５０日）が記憶装置予想寿命（１００日）よりも短い。
【００３３】
次に、本発明は、処理システムごとのクリティカルな資源を決定する。クリティカルな資源を、最短の予想寿命を有する資源と定義することにより、Ｓ１のクリティカルな資源は記憶装置であることは明らかであり、システムＳ１の必要性に対処するためのクリティカルな動作時間ｔ１は１０日である。この実例で管理プロセッサ２０１によって特定される次のクリティカルな動作時間は、システムＳ２の記憶装置のクリティカルな資源の予想寿命（４０日）である時間ｔ２である。時間ｔ３（５０日）は、Ｓ３のクリティカルなＣＰＵ資源の予想寿命であるため、システムＳ３のクリティカルな動作時間と定義される。最後に、時間ｔ４は、システムＳ４のための動作を行うために定義される時間であり、この時間（８０日）で、均衡したシステムの両クリティカルな資源の予想寿命に達する。
【００３４】
システムごとに最小資源予想寿命をとることにより、管理プロセッサは、図３から、各処理システムＳ１〜Ｓ４をその最もクリティカルな資源ＣＬＳｉの予想寿命でライムライン上に見積もる。図４は、クリティカルな動作時間ｔ１〜ｔ４が点４０１〜４０４で示されているタイムラインを示す。各システムの予想寿命が、システム再構成およびグレードアップを優先順位付けする際の管理プロセッサ２０１による使用に備えてタイムライン上で示されている。タイムラインは、資源必要性の点でシステムを優先順位付けし、動作を講じなければならない最小時間を確立し（図示するように最小ＣＬＳｉまたはｔ１）、動作のタイムテーブル（ＣＬＳ１．．．ＣＬＳｎ）を作成する。
【００３５】
処理システムごとの容量空間のプロットによって認識される、システムＳｉにおけるスラックは、クリティカルな資源の予想寿命、ひいては処理システムおよび処理環境全体の予想寿命を延ばす方法でワークロードを再分散するために使用することができる。ひとたびシステムが順序付けされ、タイムラインが生成されると、よりクリティカルなシステムと、よりクリティカルではないシステムとの間でワークロード単位を移して、資源不足を緩和し、スラックをより効果的に利用することができる。この移動は、容量空間およびクリティカルな資源線におけるシステムの移動に転換される。図５は、ワークロード変化による、容量空間に示された点の移動を示す。たとえば、システムＳが非常に短いクリティカルな動作時間を有することが認められるならば、一部のワークロードがいわゆるソース・システムＳから取り出される。すると、それが一つ以上の資源の予想寿命を延ばすことができ、それを原点５０１から離して、Ｓ′として示す点５１１に動かす。ワークロードが別のいわゆるあて先システムＤに配置されると、移動は、システムＤ資源の予想寿命を減らすことができ、５０２から、Ｄ′として示す５１２に移す。ＳおよびＤの資源能力ならびに現在の使用が異なるかもしれないため、所与の資源に関して、Ｓにおける予想寿命の増加がＤにおける予想寿命の減少と等しくならないかもしれないことに留意すること。図６は、クリティカルな資源線（またはクリティカルな動作タイムライン）上でワークロードをソース・システムＳからあて先システムＤに移す効果を示す。資源システムＳに関して時間６０１は６１１まで後退し、あて先システムＤに関して時間６０２は６１２まで前進している。
【００３６】
広く多様な既存のアルゴリズムを使用して、ワークロードを資源間で移し、容量空間中で資源を動かすことにより、資源を均衡させることができる。他のそのようなアルゴリズムの使用を排除することなく、代表的な優先順位付け手順および二つの代表的なワークロード再割り当て手順を以下に詳細に記す。
【００３７】
図７は、本発明に関連して使用することができる優先順位付け手順の流れ図である。手順の出力は、システム、すなわちコンテナの、それらのクリティカルな資源を特定し、期限切れになることが予想される時期でソートされたリストである。管理プロセッサがシステムのリストを資源のリストとともにレポジトリから検索すると、管理プロセッサは、システムＳｉの中で反復し始め、審査および分析のためにシステムを一度に一つずつ選択する。ステップ７０２でシステムを選択したのち、ステップ７０３で資源を選択する。ステップ７０４で、資源ごとの予想寿命を計算する。このプロセスは、所与の処理システム中の各資源の予想寿命が決定されるまで繰り返される。ステップ７０５で、評価すべき他の資源が処理システム中にないと決定されるならば、管理プロセッサは、７０６で、そのシステムのクリティカルな資源を、最小予想寿命を有する資源として決定し、ステップ７０７で、クリティカルな資源およびそのクリティカルな時間を記憶する。次に、管理プロセッサは、すべてのシステムを評価したかどうかをチェックする。評価していないならば、別のシステムを選択し、上記のとおり、その資源を分析し、そのクリティカルな資源およびクリティカルな時間を記憶する。すべてのシステムが評価されているならば、記憶されたクリティカルな資源およびクリティカルな時間データを検索し、ステップ７０８で時間によってソートする。最後に、７０９で、上記の動作のタイムテーブルを表すタイムラインを出力する。
【００３８】
容量空間のグラフに基づく代替方法は次のとおりである。
１．容量空間を構成する。
２．クリティカルな資源線をプロットする。
３．容量空間中の点をプロットする。
４．クリティカルな資源線上にそれらのクリティカルな資源の予想寿命で点を射影する。
５．時間０で出発したクリティカルな資源線を定義し、クリティカルな資源線上の点の場所を順に出力する。
【００３９】
図８は、コンピュータ・システムの予想寿命を均衡させる一つの再割り当て手順を示す。容量空間中、再割り当てとは、システム予想寿命（または他の分散測度）の範囲を最小限にする目的をもって、各点をなんらかの「重心」に向けて動かすことをいう。図示する重心アルゴリズムは欲張り(greedy)メソッドである。手順はステップ８０１で始まり、最低予想寿命のシステムである最もクリティカルなシステムＳ、すなわち、図７の優先順位付け手順によって得られたタイムライン上で最も左のシステムを選択する。このシステムが、動かすワークロードのソースになる。ステップ８０２で、最も非クリティカルなシステムＤ、すなわち、タイムライン上の最も右のシステムである、ワークロードのあて先を選択する。ステップ８０３で、ＳおよびＤの予想寿命の範囲（ＬＥＲ＝ＣＬＳ（Ｓ）−ＣＬＳ（Ｄ））を計算する。これは、システムのセットがいかにうまく均衡しているかの測度である。ステップ８０４で、ＬＥＲ＝０であるかどうかをチェックし、ＬＥＲ＝０であるならば、システムは完璧に均衡しており、手順を抜ける。ＬＥＲ＝０ではないならば、ステップ８０５で、各ワークロード単位ＷをＳから取り出すことの、Ｓの予想寿命ＣＬＳに対する影響を計算する。ステップ８０６で、Ｄに移動することができ、それを行うことでＬＥＲを減らすワークロード単位Ｗがあるかどうかを決定する。あるならば、ステップ８０７で、ＬＥＲにおける最大の改善を生むワークロード単位Ｗを選択し、手順はステップ８０１から新たに出発する。ないならば、手順を抜ける。
【００４０】
代替の再割り当て手法は、システムのすべてに対して何らかの最小予想寿命を設定することができる。その場合、目的は、何らかの最小しきい値Ｔに満たないシステムを、可能ならば、Ｔよりも上に動かすことである。たとえば、システムのすべてがＴ未満に当たるならば、容量を追加することなく実施可能な解決方法はないことが理解されよう。前記目的の欲張りアルゴリズムが図９に示されている。ステップ９０１で、ワークロードがよそに動かされるシステム、すなわち予想寿命がＴ未満になるシステムのセットを生成する。ソース・システムのリストを昇順の予想寿命で、すなわち最もクリティカルなシステムを先にしてソートする。ステップ９０２で、そのようなシステムがないならば、手順を抜ける。あるならば、ステップ９０３で最もクリティカルなシステムを選択する。ステップ９０４で、Ｓ中のワークロード単位Ｗごとに、ＳからＷを除いた場合のＳの予想寿命であるＳ′の予想寿命を計算する。これは、Ｓ′−Ｓによる降順でソートされたワークロード単位のリストを、対応するＳ′の予想寿命とともに、最大の影響をもつワークロード単位がリストの先頭に来るように作成する。リストが空ではないならば（ステップ９０５）、手順はリストの先頭を取り出し、そのためのあて先を見つけようとする（ステップ９０７）。Ｄの予想寿命にＷを加えてもまだしきい値Ｔよりも大きいようなあて先Ｄがあるならば（ステップ９０８）、ステップ９０９で、Ｗを加えたのち最大の寿命を有するであろうＤを選択し、ＷをＳからＤに動かし、ＳおよびＤの予想寿命を再計算する。そして、手順はステップ９０１に続く。手順を抜けたのち、Ｔ未満の予想寿命のシステムが残るとしても、プロセスで動かしたワークロードがシステム全体の予想寿命を延ばすことができることが理解される。
【００４１】
これらの手順の多くの変形が可能である。たとえば、図９の手順のようなしきい値ベースの手順は、システムを可能な限りＴよりも上に維持する、換言するならば、全システムＳのLifeExpectancy（Ｓ）−Ｔの和を最大限にするさらなる目的を有することができる。
【００４２】
何らかの限界に対して資源使用を見積もることは、容量計画の周知部分である。しかし、本発明の下では、請求の範囲で述べるように、新規な手法が、システムの容量を時間単位（すなわち、その資源の予想寿命）で表して異なる資源および資源容量を正規化し、各次元が何らかの資源の予想寿命であるＮ次元容量空間を創出し、その空間内の点としてシステムを表し、システムの容量の多数の次元を一つの次元に減らして、そのシステムのクリティカルな資源を固有に表し、均衡したシステムと不均衡なシステムとを区別する均衡線を認識して、システムをそれらの最もクリティカルな資源に関して順序付けし、不均衡なシステム中の利用可能な資源を特定し、ワークロードを、システムに割り当てられた他のワークロードに対して時間単位で表現し、前記すべてをシステム上にあるワークロードにおける変化に適合させる。
【００４３】
いくつかの好ましい実施態様を参照して本発明を詳述したが、請求の範囲に述べる本発明の本質および範囲を逸することなく、変形を加えられることが理解されよう。本願発明は、ハードウェア、ソフトウェア、またはハードウェア及びソフウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実行において、所定のプログラムを有するコンピュータ・システムにおける実行が典型的な例として挙げられる。かかる場合、該所定プログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムを制御し、本願発明にかかる処理を実行させる。このプログラムは、任意の言語・コード・表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接、または１．他の言語・コード・表記への変換、２．他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本願発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体もその範囲に含むものである。本願発明の機能を実行するためのプログラムは、フロッピー（Ｒ）・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハード・ディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ読み取り可能な記録媒体に格納することができる。かかるプログラムは、記録媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の記録媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一にまたは複数の記録媒体に格納することもできる。
【００４４】
まとめとして、本発明の構成に関して以下の事項を開示する。
（１）処理環境における複数の処理システムのコンピュータ資源の使用を見積もる方法であって、
前記複数の処理システムそれぞれの容量を時間単位で表すステップと、
前記複数の処理システムの前記容量を最短時間から最長時間までソートするステップと
を含む方法。
（２）前記複数の処理システムそれぞれの前記容量を表す前記ステップが、
前記資源それぞれの予想寿命を計算するステップと、
最短予想寿命を有する少なくとも一つのクリティカルな資源を特定するステップと、
前記処理システムの予想寿命を前記少なくとも一つのクリティカルな資源の予想寿命として定義するステップと
を含む、上記（１）記載の方法。
（３）前記複数の処理システムの少なくとも二つに対するワークロードを変化させて資源利用率を改善するステップをさらに含む、上記（１）及び（２）記載の方法。
（４）前記複数の処理システムの前記少なくとも二つに関してコンピュータ資源の使用を再評価するステップをさらに含む、上記（３）記載の方法。
（５）前記表すステップが、各処理システムのＮ個の資源それぞれの予想寿命をＮ次元容量空間でプロットするステップを含む、上記（１）記載の方法。
（６）処理システムごとの少なくとも一つのクリティカルな資源を前記Ｎ次元容量空間内のその場所に基づいて特定するステップをさらに含む、上記（６）記載の方法。
（７）前記複数の処理システム中の少なくとも一つの利用可能な資源を前記Ｎ次元容量空間内のその場所に基づいて特定するステップをさらに含む、上記（６）記載の方法。
（８）前記複数の処理システム中の少なくとも一つの利用可能な資源を前記Ｎ次元容量空間内のその場所に基づいて特定するステップをさらに含む、上記（７）記載の方法。
（９）前記少なくとも一つのクリティカルな資源から前記少なくとも一つの利用可能な資源へのワークロードの均衡をさらに含む、上記（９）記載の方法。
（１０）処理環境における複数の処理システムのコンピュータ資源の使用を見積もるためのシステムであって、
前記複数の処理システムそれぞれの容量を時間単位で表すための正規化手段と、
前記複数の処理システムの前記容量を最短時間から最長時間までソートするためのソート手段と
を含む少なくと一つの管理プロセッサを含むシステム。
（１１）前記正規化手段が、
前記資源それぞれの予想寿命を計算するための計算手段と、
最短予想寿命を有する少なくとも一つのクリティカルな資源を特定するための特定手段と、
前記処理システムの予想寿命を前記少なくとも一つのクリティカルな資源の予想寿命として定義するための定義手段と
を含む、上記（１１）記載のシステム。
（１２）前記ソート手段が、予想寿命に基づいて前記容量をソートするための手段を含む、上記（１２）記載のシステム。
（１３）再割り当てアルゴリズムを適用して前記複数の処理システム間でワークロードを調節するための処理手段をさらに含む、上記（１１）記載のシステム。
（１４）処理環境における複数の処理システムのコンピュータ資源の使用を見積もる方法ステップをコンピュータに実行させるためのプログラムであって、前記方法が、
前記複数の処理システムそれぞれの容量を時間単位で表すステップと、
前記複数の処理システムの前記容量を最短時間から最長時間までソートするステップと
を含むプログラム。
【図面の簡単な説明】
【図１】 本発明にしたがって、コンピュータ・システムの二つの資源の容量空間のマッピングを時間単位で示すグラフである。
【図２】 本発明を実現する処理環境を示す図である。
【図３】 処理環境における資源の予想寿命に基づく容量空間のマッピングを表すグラフである。
【図４】 本発明の管理プロセッサによる動作のためのクリティカルな動作タイムラインを表す図である。
【図５】 容量空間においてシステムＳからシステムＤへとワークロードを移す効果を示す図である。
【図６】 クリティカルな動作タイムラインにおいてシステムＳからシステムＤへとワークロードを移す効果を示す図である。
【図７】 本発明とで使用するためのワークロード優先順位付け手順のプロセス流れ図である。
【図８】 本発明とで使用するための一つの再割り当て手順のプロセス流れ図である。
【図９】 本発明とで使用するためのもう一つの再び割り当て手順のプロセス流れ図である。
【符号の説明】
２００ 処理環境
２０１ 管理プロセッサ
２０２ レポジトリ
２０４ａ、２０４ｂ 処理システム
２０５ａ、２０５ｂ ワークロード単位
Claims (9)
- 処理環境における複数の処理システムの資源の使用を見積もるシステムであって、前記処理システムは有限の容量をもつ複数の資源を有しており、前記見積もるシステムが、
管理プロセッサであって、
資源の予想寿命として、処理システムが前記資源の限界の容量を超えて前記資源を消費すると予想されるまでの時間を各資源について計算する手段と、
最短の予想寿命を有するクリティカルな資源を特定する手段と、
前記処理システムの予想寿命を前記クリティカルな資源の予想寿命として定義する手段と、
前記複数の処理システムの前記資源の予想寿命を最短時間から最長時間までソートする手段
を含む管理プロセッサと、
処理システムの前記資源および前記資源の予想寿命を記憶する記憶手段と
を有するシステム。 - 処理システムごとのクリティカルな資源を特定する手段をさらに含む、請求項１記載のシステム。
- 前記複数の処理システム中の利用可能な資源を特定する手段をさらに含む、請求項２記載のシステム。
- 予想寿命が最短の前記クリティカルな資源を有するシステムからその他の利用可能な資源有するシステムへワークロードを移動することによりワークロードの均衡を図る手段をさらに含む、請求項３記載のシステム。
- 処理環境における複数の処理システムの資源の使用を見積もる方法であって、前記処理システムは有限の容量をもつ複数の資源を有しており、前記見積もる方法が、
資源を管理するステップであって、
資源の予想寿命として、処理システムが前記資源の限界の容量を超えて前記資源を消費すると予想されるまでの時間を各資源について管理プロセッサで計算するステップと、
最短の予想寿命を有するクリティカルな資源を特定するステップと、
前記処理システムの予想寿命を前記クリティカルな資源の予想寿命として定義するステップと、
前記複数の処理システムの前記資源の予想寿命を最短時間から最長時間までソートするステップ
を含む資源を管理するステップと、
処理システムの前記資源および前記資源の予想寿命を記憶部に記憶するステップ
を有する方法。 - 処理システムごとのクリティカルな資源を特定するステップをさらに含む、請求項５記載の方法。
- 前記複数の処理システム中の利用可能な資源を特定するステップをさらに含む、請求項６記載の方法。
- 予想寿命が最短の前記クリティカルな資源を有するシステムからその他の利用可能な資源有するシステムへワークロードを移動することによりワークロードの均衡を図るステップをさらに含む、請求項７記載の方法。
- 処理環境における複数の処理システムのコンピュータ資源の使用を見積もるためのプログラム、前記処理システムは有限の容量をもつ複数の資源を有しており、前記プログラムがコンピュータに、
資源を管理するステップであって、
資源の予想寿命として、処理システムが前記資源の限界の容量を超えて前記資源を消費すると予想されるまでの時間を各資源について管理プロセッサで計算するステップと、
最短の予想寿命を有するクリティカルな資源を特定するステップと、
前記処理システムの予想寿命を前記クリティカルな資源の予想寿命として定義するステップと、
前記複数の処理システムの前記資源の予想寿命を最短時間から最長時間までソートするステップ
を含む資源を管理するステップと、
処理システムの前記資源および前記資源の予想寿命を記憶部に記憶するステップ
を実行させる、プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/690,872 US6907607B1 (en) | 2000-10-17 | 2000-10-17 | System and method for analyzing capacity in a plurality of processing systems |
| US09/690872 | 2000-10-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002202894A JP2002202894A (ja) | 2002-07-19 |
| JP3782955B2 true JP3782955B2 (ja) | 2006-06-07 |
Family
ID=24774322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001319660A Expired - Fee Related JP3782955B2 (ja) | 2000-10-17 | 2001-10-17 | 複数の処理システムのコンピューター資源の使用を見積もるシステムおよび方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6907607B1 (ja) |
| JP (1) | JP3782955B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7305674B2 (en) * | 2001-08-31 | 2007-12-04 | International Business Machines Corporation | Method and apparatus to manage multi-computer supply |
| JP4080259B2 (ja) * | 2002-06-26 | 2008-04-23 | 株式会社日立製作所 | コンピュータのシステム構成導出方法及びコンピュータシステム |
| US7543296B2 (en) * | 2003-08-26 | 2009-06-02 | International Business Machines Corporation | Time based multi-tiered management of resource systems |
| US20050155032A1 (en) * | 2004-01-12 | 2005-07-14 | Schantz John L. | Dynamic load balancing |
| JP4679167B2 (ja) * | 2004-03-05 | 2011-04-27 | 株式会社東芝 | コンピュータシステム解析装置 |
| US8087025B1 (en) * | 2004-06-30 | 2011-12-27 | Hewlett-Packard Development Company, L.P. | Workload placement among resource-on-demand systems |
| US20060155770A1 (en) * | 2004-11-11 | 2006-07-13 | Ipdev Co. | System and method for time-based allocation of unique transaction identifiers in a multi-server system |
| US7743001B1 (en) * | 2005-06-21 | 2010-06-22 | Amazon Technologies, Inc. | Method and system for dynamic pricing of web services utilization |
| JP5077617B2 (ja) * | 2005-10-27 | 2012-11-21 | 富士通株式会社 | 想定外需要検出システムおよび想定外需要検出プログラム |
| US8543711B2 (en) * | 2007-04-30 | 2013-09-24 | Hewlett-Packard Development Company, L.P. | System and method for evaluating a pattern of resource demands of a workload |
| US8046767B2 (en) * | 2007-04-30 | 2011-10-25 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing capacity management of resource pools for servicing workloads |
| US7904689B1 (en) * | 2007-08-16 | 2011-03-08 | Sprint Communications Company L.P. | Just in time storage allocation analysis systems and methods |
| US7386851B1 (en) * | 2008-01-04 | 2008-06-10 | International Business Machines Corporation | System and method for implementing dynamic lifetime reliability extension for microprocessor architectures |
| US8336052B2 (en) * | 2008-06-16 | 2012-12-18 | International Business Machines Corporation | Management, control, and monitoring of workload including unrelated processes of different containers |
| FR2954979B1 (fr) | 2010-01-05 | 2012-06-01 | Commissariat Energie Atomique | Procede pour selectionner une ressource parmi une pluralite de ressources de traitement, de sorte que les delais probables avant defaillance des ressources evoluent de maniere sensiblement identique |
| US9665288B1 (en) * | 2013-12-26 | 2017-05-30 | EMC IP Holding Company LLC | Techniques for determining workload skew |
| US11386013B2 (en) * | 2020-06-16 | 2022-07-12 | Intel Corporation | Dynamic cache control mechanism |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5408663A (en) * | 1993-11-05 | 1995-04-18 | Adrem Technologies, Inc. | Resource allocation methods |
| US5548506A (en) * | 1994-03-17 | 1996-08-20 | Srinivasan; Seshan R. | Automated, electronic network based, project management server system, for managing multiple work-groups |
| US5530557A (en) * | 1994-09-12 | 1996-06-25 | International Business Machines Corporation | Online placement of video files determined by a function of the bandwidth to space ratio of each of the storage devices in a server environment |
| US6571215B1 (en) * | 1997-01-21 | 2003-05-27 | Microsoft Corporation | System and method for generating a schedule based on resource assignments |
| US20030133417A1 (en) * | 1997-03-12 | 2003-07-17 | Sig H. Badt | Method and message therefor of monitoring the spare capacity of a dra network |
| US6516348B1 (en) * | 1999-05-21 | 2003-02-04 | Macfarlane Druce Ian Craig Rattray | Collecting and predicting capacity information for composite network resource formed by combining ports of an access server and/or links of wide arear network |
| US6564174B1 (en) * | 1999-09-29 | 2003-05-13 | Bmc Software, Inc. | Enterprise management system and method which indicates chaotic behavior in system resource usage for more accurate modeling and prediction |
| US6427152B1 (en) * | 1999-12-08 | 2002-07-30 | International Business Machines Corporation | System and method for providing property histories of objects and collections for determining device capacity based thereon |
| US20030061362A1 (en) * | 2000-03-03 | 2003-03-27 | Qiu Chaoxin C. | Systems and methods for resource management in information storage environments |
| US20030236745A1 (en) * | 2000-03-03 | 2003-12-25 | Hartsell Neal D | Systems and methods for billing in information management environments |
| US20010054097A1 (en) * | 2000-12-21 | 2001-12-20 | Steven Chafe | Monitoring and reporting of communications line traffic information |
-
2000
- 2000-10-17 US US09/690,872 patent/US6907607B1/en not_active Expired - Fee Related
-
2001
- 2001-10-17 JP JP2001319660A patent/JP3782955B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6907607B1 (en) | 2005-06-14 |
| JP2002202894A (ja) | 2002-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3782955B2 (ja) | 複数の処理システムのコンピューター資源の使用を見積もるシステムおよび方法 | |
| US11720408B2 (en) | Method and system for assigning a virtual machine in virtual GPU enabled systems | |
| US11567795B2 (en) | Minimizing impact of migrating virtual services | |
| JP5068099B2 (ja) | 個々のユーザの資源使用量およびその使用量の追跡に基づいた公平な共用分のスケジューリングを行う方法およびシステム | |
| EP3335119B1 (en) | Multi-priority service instance allocation within cloud computing platforms | |
| US8423646B2 (en) | Network-aware virtual machine migration in datacenters | |
| Zomaya et al. | Observations on using genetic algorithms for dynamic load-balancing | |
| US7620635B2 (en) | Data mining agents for efficient hardware utilization | |
| JP5744909B2 (ja) | アクセラレータ・リソースを動的に管理するための方法、情報処理システム、およびコンピュータ・プログラム | |
| US5325505A (en) | Intelligent storage manager for data storage apparatus having simulation capability | |
| US9703285B2 (en) | Fair share scheduling for mixed clusters with multiple resources | |
| JP2559915B2 (ja) | ロードバランスシステム | |
| JP4737728B2 (ja) | 情報処理装置及び情報処理システム | |
| US20160098292A1 (en) | Job scheduling using expected server performance information | |
| CN112667376A (zh) | 任务调度处理方法、装置、计算机设备及存储介质 | |
| US7194594B2 (en) | Storage area management method and system for assigning physical storage areas to multiple application programs | |
| US20110106922A1 (en) | Optimized efficient lpar capacity consolidation | |
| US8364908B2 (en) | Migrating program objects in a multi-node computer system | |
| US20100250734A1 (en) | Server reassignment support system and server reassignment support method | |
| US20080109817A1 (en) | Schedule control program and schedule control method | |
| CN101218557A (zh) | 用于存储器迁移的系统和方法 | |
| JP2004287801A (ja) | 情報処理システム、情報処理装置、分散情報処理方法及びコンピュータプログラム | |
| JP2016042284A (ja) | 並列計算機システム、管理装置、並列計算機システムの制御方法及び管理装置の制御プログラム | |
| Hazra et al. | Distributed task scheduling in cloud platform: a survey | |
| US11340951B2 (en) | Estimating an amount of resources that a program is expected to consume in a data center |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050111 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050408 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060313 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |