JP5110313B2 - 階層化システム及びその管理方法と、プログラム - Google Patents

階層化システム及びその管理方法と、プログラム Download PDF

Info

Publication number
JP5110313B2
JP5110313B2 JP2008510760A JP2008510760A JP5110313B2 JP 5110313 B2 JP5110313 B2 JP 5110313B2 JP 2008510760 A JP2008510760 A JP 2008510760A JP 2008510760 A JP2008510760 A JP 2008510760A JP 5110313 B2 JP5110313 B2 JP 5110313B2
Authority
JP
Japan
Prior art keywords
system structure
resource
performance
managed
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008510760A
Other languages
English (en)
Other versions
JPWO2007119329A1 (ja
Inventor
伸治 加美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008510760A priority Critical patent/JP5110313B2/ja
Publication of JPWO2007119329A1 publication Critical patent/JPWO2007119329A1/ja
Application granted granted Critical
Publication of JP5110313B2 publication Critical patent/JP5110313B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/008—Reliability or availability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は階層化システム及びその管理方法と、プログラムに関し、特に、システム構造体がツリー構造に構成された階層化システムの資源管理を行う階層化システム及びその管理方法と、プログラムに関する。
従来のコンピュータやネットワークシステムは、ディスクリートなコンピュータ機器や、ネットワーク機器に対し、必要なソフトウェアをインストールし、ハードウェアに対し、機能が決定されていた。そして、それらのハードウェア・ソフトウェア資源を組み合わせた図１に記載のいわゆるサイロ型システムを構成していた。
しかし、この方法では、あるアプリケーションを実行する一部の資源の負荷は高い一方で、非常に使用率の低い資源も多数存在し、資源投資総量に対し、全体での資源利用効率は悪いことが問題となっていった。そのため、資源を論理的に仮想化し、あたかも所有する資源をプールに入れ、必要なシステムが必要なだけ資源を用いることができるようにする仮想化技術が提案された。
仮想化技術の一例として非文献特許１に記載のXenや、非文献特許２に記載のUML、非文献特許３に記載のVMware、非文献特許４に記載のBochs、非文献特許５に記載のvirtual PCなどが挙げられ、システムに必要なコンピュータを仮想ネットワークで接続された論理的コンピュータ機器として提供することで、ディスクリートなコンピュータ機器をネットワーク機器で接続した場合と同じ動作環境を作り出している。
これらの従来システムは、いずれもひとつのハードウェア資源を、それぞれのユーザプロセスから見ると、あたかも複数の独立した装置があるように見せる技術である。典型例として非特許文献１に記載のXenのアーキテクチャを例にとると、図２に記載のハードウェア資源１１と、仮想化手段１２と、仮想装置１３と仮想ネットワーク１４とゲストオペレーティングシステム１５とアプリケーション１６とで構成される。
このような構成を有する従来のコンピュータシステムは次のように動作する。
仮想化手段１２は、古くはメインフレームなどの大型コンピュータを複数のユーザが別々に使用することを目的に開発された技術であるVMM (Virtual Machine Monitor)に属し、近年の汎用コンピュータの性能向上に伴い、汎用コンピュータへの適用が進んでいるものである。従来ひとつのコンピュータ資源に対し、ひとつのOSが動作し、各種デバイスを管理する方式が主であり、複数のOSを同時に動作させることは困難であった。
それに対し仮想化手段１２は、オペレーティングシステム１５とハードウェア資源１１との間のレイヤに位置し、ハードウェア資源を仮想化し、論理資源としてオペレーティングシステム１５に見せることにより、複数のオペレーティングシステム１５ひとつのハードウェア資源上で動作させることが可能な仮想化技術である。仮想化手段１２の上で動作するオペレーティングシステム１５の搭載された論理的なコンピュータマシンを仮想装置１３と呼び、仮想化手段１２はそれぞれの仮想装置１３からの資源の利用要求に対し、実際のハードウェア資源１１の利用を仲介する機能を持つ。このため、ひとつのハードウェア資源を複数のオペレーティングシステム１５が共有することが可能となり、資源利用効率を向上することができる。資源の割当比率なども指定することが可能であるため、実効的に各仮想装置に対し、設定量の資源を割り当てることができる。また、それらの仮想装置１３は仮想化手段１２の提供する仮想ネットワーク１４により、仮想化手段１２を通して相互に接続することも可能である。
仮想装置１３の中では、アプリケーション１６がオペレーティングシステム１５の上で動作しており、計算などの資源を利用する要求をオペレーティングシステム１５に出すが、これは通常のハードウェア資源１１の上で直接オペレーティングシステム１５が動作する場合と変わらない。オペレーティングシステム１５は自分の管理する資源（論理資源）を複数のアプリケーション１６の間で共有するように動作する。
一般にオペレーティングシステムは資源管理をする特権モードをもつが、オペレーティングシステム１５の管理できる資源は自分に与えられた論理資源である。ハードウェア資源の制御権限は仮想化手段１２が行っている。このため、たとえばある仮想装置１３内でセキュリティに問題のあるコードが実行されたとしても、その影響はその仮想装置１３の中で閉じており、他の仮想装置に及ばないため、仮想装置間のプロテクションを確保できる利点がある。このため、資源を共有しながらプロテクションレベルを保つことが可能である。
この仮想化技術を用いれば、複数の仮想装置を一台の物理装置の上に構成し、それぞれを複数のシステムに割り当てることで、例えば、ひとつの組織の中で、さまざまな部門が資源を共有しながら、プロテクションレベルを確保することができる。
P. Barham et al. Xen and the art of virtualization. In Proc. SOSP 2003. Bolton Landing, New York, U.S.A. Oct 19-22, 2003 User Mode Linux http://user-mode-linux.sourceforge.net/ VMware社ホームページ、http://www.vmware.com/ Bochs、http://bochs.sourceforge.net/ VirtualPC、http://www.microsoft.com/japan/windows/virtualpc/default.mspx
第１の問題点は、システム全体のスケーラビリティが制限される点である。その理由は、従来の手法では図２に示す仮想装置１３に対するハードウェア資源１１の割り当てが仮想化手段１２の権限でしか行えないためであり、仮想装置１３の処理負荷の変動に対して、資源割り当ての最適化を行う必要があるが、その際に、システムが肥大化すると、指数関数的にそのコストがかかるためである。
第２の問題点は、システムが複数存在する場合、それぞれのシステムにおける管理の独立性の確保が困難な点である。その理由は、それぞれのシステム管理者の性能管理と資源管理の権限の最適なバランスが取れておらず、個々のシステム管理者は自分の管理範囲の仮想装置の性能を向上させるために行う資源管理を自分の判断で行なうことができないためである。一般に、あるひとつの組織では、各種アプリケーションを提供する複数の仮想装置があり、さらにそれらをまとめてひとつのサービスを提供するシステムを作り、また、場合によってはそれらのサービス同士をまとめて、さらに上位のサービスを提供するシステムを構築されている。各仮想装置やシステムの管理者は規模によっては必ずしも同一人物ではなく、むしろそれぞれの権限、管理範囲が決められた独立の管理体系にある場合が多く、その場合には、互いにシステムの細部を把握する必要がない。しかし、従来システムでは、それぞれの管理者には自分の管理化の仮想装置や管理システム間での資源割り当てなどの権限がなく、全体システム管理者にその要求を出さねばならいからである。
第３の問題点は、資源割当の再計算が効率的に行えない点である。その理由は、それぞれの仮想装置やシステムは必要資源量の変動のタイムスケールが異なるが、その違いが資源割当計算に取り入れられてないためである。
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、階層的に存在する複数のコンピュータやネットワークシステムにおいて、それぞれの管理業務の独立性を保ちながら、資源を有効に再配分して資源効率を上げ、またその再配分のためのコストを低減することが可能なシステム及びその技術を提供することにある。
上記課題を解決する第１の発明は、階層化システムであって、システム構造体がツリー構造に構成され、下位のシステム構造体は、上位のシステム構造体に自システム構造体の性能情報を通知する性能情報通知手段を有し、上位のシステム構造体は、前記下位のシステム構造体から通知される性能情報と、管理するシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行う資源最適化処理手段を有することを特徴とする。
上記課題を解決する第２の発明は、上記第１の発明において、前記上位のシステム構造体の資源最適化処理手段による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体より上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体の資源最適化処理手段により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする。
上記課題を解決する第３の発明は、上記第１又は第２の発明において、前記資源最適化処理手段は、下位のシステム構造体の性能情報を用いて、システム構造体の代表的性能指標を作成することによって、上位のシステム構造体から下位のシステム構造体の性能を参照する手段を有することを特徴とする。
上記課題を解決する第４の発明は、上記第１から第３のいずれかの発明において、前記資源最適化処理手段は、下位のシステム構造体の管理情報を、外部から隠蔽し、システム全体の各システム構造体は独立的に資源の最適化処理を行うことを特徴とする。
上記課題を解決する第５の発明は、階層化システムであって、管理単位となるシステム構造体がツリー構造に構成され、各システム構造体は、親システム構造体との通信をおこなう資源管理情報インターフェース手段と、性能指標インターフェース手段と、資源と、資源割当の最適化及び性能管理を行う運用管理手段と、資源の割当を行う資源割当手段と、管理する子システム構造体とを有し、親システム構造体と子システム構造体とは、前記資源管理情報インターフェース手段及び前記性能指標インターフェース手段とを介して、資源情報及び性能情報を通信することを特徴とする。
上記課題を解決する第６の発明は、上記第５の発明において、前記運用管理手段は、資源の管理を行う資源管理手段と、資源の割り当てを制御する資源割当制御手段と、システム構造体の性能を監視する性能監視手段と、前記資源管理手段からの資源に関する資源管理情報及び前記性能監視手段からの性能情報に基づいて、資源割り当て方法の最適化演算を行う最適化手段とを有し、管理する子システム構造体の性能情報及び資源管理情報に基づいて、資源割当の最適化を行うことを特徴とする。
上記課題を解決する第７の発明は、上記第５又は第６の発明において、前記性能監視手段は、取得した子システム構造体の性能情報を用いて、前記運用管理手段の属するシステム構造体の代表的性能指標を作成し、性能指標インターフェース手段を介して、前記代表的性能指標を参照するように構成されていることを特徴とする。
上記課題を解決する第８の発明は、上記第５から第７のいずれかの発明において、前記システム構造体は、内部の子システム構造体の詳細管理情報を、外部から隠蔽し、システム全体の各システム構造体は独立的に資源割当管理を行うことを特徴とする。
上記課題を解決する第９の発明は、上記第５から第８のいずれかの発明において、前記資源管理手段は、前記資源管理情報インターフェース手段を用いて、親システム構造体と資源の設定を更新するように構成されていることを特徴とする。
上記課題を解決する第１０の発明は、システム構造体をツリー構造に構成し、下位のシステム構造体は、上位のシステム構造体に自システム構造体の性能情報を通知し、前記上位のシステム構造体が、前記下位のシステム構造体から通知される性能情報と、管理する下位のシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行うことを特徴とする。
上記課題を解決する第１１の発明は、上記第１０の発明において、上位のシステム構造体による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする＞
上記課題を解決する第１２の発明は、上記第１０又は第１１の発明において、通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成し、上位のシステム構造体から下位のシステム構造体の性能を参照することを特徴とする。
上記課題を解決する第１３の発明は、上記第１０から第１２のいずれかの発明において、上位のシステム構造体は、管理する下位のシステム構造体の管理情報を、外部から隠蔽し、各システム構造体は独立的に資源の最適化処理を行うことを特徴とする。
上記課題を解決する第１４の発明は、システム構造体がツリー構造に構成された階層化システムの資源管理を実行させるプログラムであって、前記プログラムは、下位のシステム構造体から上位のシステム構造体に、自システム構造体の性能情報を通知する処理と、前記上位のシステム構造体が、前記下位のシステム構造体から通知される性能情報と、管理する下位のシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行う処理とを情報処理装置に実行させることを特徴とする。
上記課題を解決する第１５の発明は、上記第１４の発明において、前記プログラムは、上位のシステム構造体による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知する処理と、通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行う処理とを情報処理装置に実行させることを特徴とする。
上記課題を解決する第１６の発明は、上記第１４又は第１５の発明において、前記プログラムは、通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成する処理と、上位のシステム構造体からの要求に応答して、前記代表的性能指標を参照させる処理とを情報処理装置に実行させることを特徴とする。
本発明の第１の効果は、システム全体のスケーラビリティの向上が可能なことである。その理由は、本発明が、各仮想装置、システムの負荷変動に対する、資源再割当のための最適化演算のコストを低減するからである。
本発明の第２の効果は、複数存在するシステム内の管理の独立性の確保が可能な点である。その理由は、本発明が、それぞれの管理者に、自分の管理システム範囲内での資源割りあて制御権限を付与する構成になっているためである。また、他の管理者の管理するシステムの細部を隠蔽しながら運用管理が可能であるためである。
本発明の第３の効果は、資源割当の効率化が図れることにある。その理由は、最適化演算が階層化された各システムの管理者毎に独立に行え、またその変動のタイムスケールを考慮に入れた手法であるためである。
図１は従来技術を説明するための図である。 図２は従来技術を説明するための図である。 図３は第１の実施の形態を説明するための図である。 図４は第１の実施の形態のブロック図である。 図５は第１の実施の形態を説明するための図である。 図６は第１の実施の形態を説明するための図である。 図７は実施例１を説明するための図である。 図８は本発明の階層化システムを説明する為の図である。 図９は本発明の階層化システムの動作を説明する為の図である。 図１０は各システム構造体の一部をインプリメントした情報処理システムの一般的ブロック構成図である。
符号の説明
２００ システム構造体
２０１ 性能指標インターフェース手段
２０２ 資源管理情報インターフェース手段
２１１ システム構造体群
２２０ 資源空間
２２１ 資源割当手段
２２２ 資源割当制御手段
２２３ 資源管理手段
２２４ 性能監視手段
２２５ 性能管理手段
２２６ 最適化演算手段
２３０ 資源
本発明の階層化システムについて説明する。
図８は本発明の階層化システムを説明する為の図である。
図８を参照すると、複数のシステム構造体がツリー構造に構成されている。ここで、ツリー構造とは階層構造をなしているシステムであり、上位のシステム構造体（親システム構造体）が下位のシステム構造体（子システム構造体）を管理する構成である。例えば、システム構造体１００１１は下位のシステム構造体１０００１〜１０００ｌを管理し、また、システム構造体１００２１は下位のシステム構造体１００１１〜１０００ｎを管理する。
各システム構造体は、自己の性能に関する性能情報を、上位のシステム構造体に通知する機能を有する。また、下位のシステム構造体から通知された性能情報に基づいて、システム構造体の性能の劣化を検出する機能を有し、この性能の劣化を検出すると、管理するシステム構造体（管理する下位のシステム構造体と自システム構造体）の資源の再配分の最適化処理を行う機能とを有する。但し、最下層に位置するシステム構造体（例えば、図８ではシステム構造体１０００１〜１０００ｎ）は、性能情報を上位のシステム構造体に通知する機能のみ有すれば良い。
このような構成における動作を、図９のフローチャートを用いて説明する。
まず、下位のシステム構造体は性能情報を上位のシステム構造体に通知する（Ｓｔｅｐ １００）。
上位のシステム構造体は、通知された性能情報に基づいて、システム構造体の性能の劣化を検出する（Ｓｔｅｐ １０１）。システム構造体の性能の劣化を検出すると（Ｓｔｅｐ １０２）、上位のシステム構造体は、通知された性能情報に基づいて、管理するシステム構造体の資源再配分の最適化処理を行う（Ｓｔｅｐ １０３）。
管理するシステム構造体内の最適化処理で、性能が改善される場合（Ｓｔｅｐ １０４）、最適化結果を下位のシステム構造体の資源制御に適用する（Ｓｔｅｐ １０５）。下位のシステム構造体は、上位のシステム構造体の資源制御に基づいて、資源の再分配を行う（Ｓｔｅｐ １０６）。
一方、管理するシステム構造体内の最適化処理で性能が改善されない場合（Ｓｔｅｐ １０４）、Ｓｔｅｐ １００に戻り、更に上位のシステム構造体に性能情報を通知する（Ｓｔｅｐ １００）。通知された上位のシステム構造体は、上述したＳｔｅｐ １０１からＳｔｅｐ １０５の動作を行う。
上述した動作の具体例を、図８を参照して説明すると、システム構造体１０００１の性能情報を上位のシステム構造体１００１１が受信し（図８中（１））、上位のシステム構造体１００１１がシステム構造体１０００１の性能劣化を検出すると、システム構造体１００１１が管理するシステム構造体１０００１〜システム構造体１０００ｌにおけるリソース配分の最適化処理を行う（図８中（２））。
システム構造体１００１１の最適化によりシステム構造体１０００１の性能が改善しない場合には、システム構造体１００１１の性能が劣化している。従って、システム構造体１００１１は、システム構造体１００１１の性能情報を上位のシステム構造体１００２１に送信する（図８中（３））。
上位のシステム構造体１００２１では、上述したシステム構造体１００１１と同様に、システム構造体１００２１が管理するシステム構造体１００１１〜システム構造体１００１ｎのリソース配分の最適化処理を行う（図８中（４））。そして、システム構造体１００２１の最適化処理により性能が改善する場合には、その最適化結果をシステム構造体１００１１〜システム構造体１００１ｎに適用する（図８中（５））。
システム構造体１００１１〜システム構造体１００１ｎは、資源制御を受けて再度資源配分の最適化処理を行い（図８中（６））、最適化結果をシステム構造体１０００１〜システム構造体１０００ｎに適用する（図８中（７））。
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
まず、ツリー構造について説明する。
図３を参照すると、本発明の第１の実施の形態は、図４に示すシステム構造体２００が階層構造をなしているシステムであり、ルートである階層l=0のシステム構造体１００はその内部に複数のシステム構造体１１０を管理し（階層l=1）、さらにその内部に複数のシステム構造体１２０を管理し（階層l=2）、・・・と、それ以上内部に管理するシステム構造体をもたない最後のシステム構造体１３０の階層までツリー構造をなしている。このシステム構造体１３０は、以後PE(Processing Entity)と呼ぶ。
次に、パスについて説明する。
このツリー構造の中に存在する各システム構造体を管理システム全体でユニークに決定できるように名前付けの手法として、階層lに属するシステム構造体をS(l)=/s1/s2/…/slのように、ツリー構造のルートである階層l=0のシステム構造体に属する階層l=1のs1番目のシステム構造体、階層l=1のs1番目のシステム構造体に属する階層l=2のs2番目のシステム構造体に属する、・・・のように、ルートからインデックス番号を/で区切って並べたパスで指定する。また、親システム構造体参照演算子として”/..”を定義する。例えば、S(l)/..=/s1/s2/…/sl-1/sl/..=/s1/s2/…/sl-1となる。
図４を参照すると、階層l(l=0, 1, …)に属するシステム構造体２００（パスS(l)=/s1/s2/…/sl）と、性能指標インターフェース手段２０１と、資源管理情報インターフェース手段２０２と、システム構造体２００に含まれる階層l+1に属し、システム構造体２００が管理する、システム構造体２００と同様の構造をもつ複数のシステム構造体２１０を有するシステム構造体群２１１と、資源割当手段２２１と、資源空間２２０と、資源空間２２０に含まれる複数の資源２３０と、資源割当制御手段２２２と、資源管理手段２２３と、性能監視手段２２４と、性能管理手段２２５と最適化演算手段２２６とで構成される。上述のPEに関しては、同様に性能指標インターフェース手段２０１と資源管理情報インターフェース手段２０２とを有するとする。
これらの手段はそれぞれが次のように動作する。
システム構造体２００やシステム構造体２１０は全て同様の構造をもち、ひとつの管理システムをあらわす。各システム構造体はその内部に含むシステム構造体を管理する。このシステム構造体は外部とのインターフェースとして性能指標インターフェース手段２０１と資源管理情報インターフェース手段２０２を有する。システム構造体内では、管理下にあるシステム構造体２１０の上記の資源管理情報インターフェース手段を通してその資源空間に属する資源情報を入力し、当該性能指標インターフェース手段を通してそのシステム構造体の性能指標を受け取ることで、システム構造体群２１１に属するシステム構造体２１０の管理を行う。
性能指標インターフェース手段２０１は当該性能出力指標が付属するシステム構造体の性能指標を外部に出力するインターフェースであり、システム構造体２００は性能管理手段２２５によって管理されるシステム構造体２００の性能指標を外部に出力することができる。
資源管理情報インターフェース手段２０２は当該資源管理情報インターフェース手段が付属するシステム構造体２００と外部のシステム構造体との資源管理情報のやり取りを行うインターフェースである。このインターフェースを通して資源の追加・削除・変更などが可能である。
システム構造体群２１１は、システム構造体２００において管理されるシステム構造体２００の階層lよりひとつ上の階層l+1に属するシステム構造体２１０の集合であり、システム構造体s(l)に属するシステム構造体群をH s(l)のように表記し、その要素数（管理するシステム構造体２１０の数）をn s(l)で表記するとする。
資源２３０はシステム構造体２００の有する資源をさし、riと表記するものとする。その値は、例えばその資源がＣＰＵである場合はクロック周波数である１ＧＨｚなど、その資源の代表的性能値を表すとする。一般に複数の種類を表すには例えばベクトルriで表現し、各成分はさまざまな同種の性能の加算が可能な資源を表現するとする（第一成分はCPU、第二成分はメモリ、など）。
資源空間２２０は、システム構造体２００の有する資源２３０の集合であり、R s(l)と表記し、その要素数は資源２３０の個数であり、m s(l)とする。
性能監視手段２２４は、システム構造体２１０の性能指標インターフェース手段を通してシステム構造体２１０S(l)/i (i=1, 2, …, n s(l))の性能指標Q S(l)/iを監視する手段である。また、それらの性能指標をまとめて、性能指標群{ Q S(l)/i }のように表記する。
資源管理手段２２３は当該システム構造体２００に入力される資源管理情報から、上述の資源空間２２０を管理し、資源２３０を指示に従って追加・削除・変更などを行う手段である。なお追加した資源２３０は資源管理情報インターフェース手段２０２を通して追加支持をだしたシステム構造体の資源空間から追加された資源であり、逆に削除とは資源２３０の削除指示を出した管理されるシステム構造体の資源空間に追加することである。
最適化演算手段２２６は、性能監視手段２２４および資源管理手段２２３からそれぞれ管理システム構造体群２１１の性能指標情報と割り当て資源情報をもとに、資源割り当て方法の最適化演算を行う。ここでいう最適化とは、システム構造体群の性能指標群の値が、管理ポリシーによってあらかじめ決めておいた値になるべく近くなるように、各システム構造体への割当資源を調節することである。
資源割当制御手段２２２は、最適化演算手段２２６の指示をうけ、当該資源空間２２０の資源２３０を上述のシステム構造体２１０に割り当て方の指示を出す制御手段である。また資源の割当が終了したら、資源管理手段２２３に割当終了通知を出し、新しい設定を反映するよう指示をだす。
資源割当手段２２１は資源割当制御手段２２２の指示を受け、資源空間２２０の資源２３０をシステム構造体群２１１に属するシステム構造体２１０に割り当てる手段である。資源割当とは、システム構造体２１０の資源管理情報インターフェースに資源管理情報を送り、追加・削除命令に対し、資源空間２２０の指定された資源２３０を追加/システム構造体２１０への割当解除を行う。
性能管理手段２２５は、性能監視手段２２４で管理されたシステム構造体２１０の性能指標群の情報を基に、管理ポリシーに従ってシステム構造体２００全体での性能を決定し、性能指標インターフェース手段２０１を通して外部へ出力する手段である。
PEは階層構造の末端に位置するシステム構造体であり、同様に性能指標インターフェース手段２０１と資源管理情報インターフェース手段２０２とを有し、当該資源管理情報インターフェース手段を通して設定された資源を用いて計算などのなんらかの処理を行い、上述の性能指標インターフェース手段を通してその計算に必要な資源量と設定された資源量とから決定する性能指標を外部に出力する。PEは内部にそれ以上の階層構造を持たない。PEは実システムにおいて例えばサーバなどのコンピュータなどや、またコンピュータ内のプロセスなどの最低管理単位などに対応する。
次に、図５を参照して本実施の形態の全体の動作について詳細に説明する。
まず、現在のルートであるシステム構造体S(0)の資源空間を
Figure 0005110313

のように表記する。ただし、Gs(l)はシステム構造体S(0)の資源インデックス空間であり、資源空間Rs(l)に属する資源のインデックス番号の集合である。
今、簡単のために、資源割当には、システム構造体間での同じ一つの資源の共有を許さず、また、各資源rKはそれ以上分割できない最低単位であるとする。すると、システム構造体S(l)の資源空間R S(l)の資源を、システム構造体S(l)/i (i=1, 2, …, n s(l))に割り当てるということは、システム構造体S(l)の資源インデックス空間G(l)を、システム構造体群H s(l)={ S(l)/i }の各々のシステム構造体S(l)/i (i=1, 2, …, n s(l))に属する資源インデックス空間Gs(l)/iおよびリザーブ資源インデックス空間Gs(l)/0に部分集合分割することである（リザーブ資源インデックス空間とはどのシステム構造体にも割り当てられずストックしておく資源とする）。

Figure 0005110313

ここで、φとは空集合を現し、関数Q=f(G)は集合Gによって決まるある性能指標関数とし、maximize ( { QS(l)/i }|management policy )は性能指標群{ QS(l)/i }を管理ポリシーmanagement policyの下に最大化することを意味する。
つまり、システム管理者の目指すところは、自分の管理するシステム（システム構造体S(l））の資源（資源空間R S(l）の資源）を、自分の管理するシステム内に存在するサブシステム（システム構造体S(l)/i (i=1, 2, …, n s(l))が最高性能をだせるように分配する手法（数式１）を探索しながら運用管理することと定式化する。
以下、図６の状態遷移図を用いて、本発明の動作を説明する。
図６はあるシステム構造体S(l)の状態遷移である。状態は大きく初期化４０１、監視４０２、最適化演算４０３、資源設定更新４０４の４つがある。
初期化４０１はシステムの運用開始であり、システム構造体の運用プロセスが開始すると状態は最適化演算４０３に遷移する。
監視４０２は、管理しているシステム構造体群からの性能指標群を読み込む、資源管理情報インターフェースを監視する、システム構造体S(l)の性能指標QS(l)を生成して出力する、などの動作を行う。
最適化演算４０３はシステム構造体群HS(l)の性能指標をなるべくよくするように資源割当の最適化演算を行う。ここで最適化演算とは、上述のように現在の資源管理情報および性能指標群を参照し、資源空間RS(l)の資源の、システム構造体群HS(l)に属するシステム構造体S(l)/i (i=1, 2, …, n s(l))への資源割当方法が、あらかじめ決めておいた管理ポリシーに規定のシステム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標条件を満たすような設定（数式１）を探索する演算である。
資源設定更新４０４とは、最適化演算で指定された資源割当指示に従って、実際にシステム構造体S(l)/i (i=1, 2, …, n s(l))に資源割当を行う、資源管理情報インターフェースからの入力を資源管理情報に反映する、などを行う。
以下、運用開始から実際の運用までのシーケンスを詳細に説明する。
まず、初期化４０１からシステムの運用が開始され、図４に記載の各種手段が全て実行状態になり、おのおのの手段の状態を最新の状態に更新する。また、初期設定された資源割当が反映される。
資源割当は、まずルートであるシステム構造体S(0)は、システム全体で保持する資源全体である資源空間
Figure 0005110313
から、システム構造体S(0)/i (i=1, 2, …, n s(l))に対して
Figure 0005110313
なる資源割当を行う。
ただし、
Figure 0005110313
はリザーブ資源でありμS(0)/iはシステム構造体S(0)/i (i=1, 2, …, n s(l))の初期総資源使用量である。以下、同様に一般にシステム構造体S(l)はシステム構造体S(l)/i (i=1, 2, …, n s(l))に対して

Figure 0005110313
なる資源割当を最後のPEまで順次行う。
初期化４０１が終了すると、すぐに最適化演算４０２状態へと遷移し、システムの最適化演算を開始する。最適化演算手段２２５は、その時点での最新の資源情報を資源管理手段２２２から取得し、各システム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標を性能監視手段２２４から取得し、最適資源配分の探索を行う。最適化の手法としては、例えば、まずはリザーブ資源から、性能指標の悪いシステム構造体S(l)/i (i=1, 2, …, n s(l))へ資源を割り当て、その後、より性能指標のよいシステム構造体S(l)/i (i=1, 2, …, n s(l))の資源を、より性能指標の悪いS(l)/i (i=1, 2, …, n s(l))に割り当てることで最適化を行うなどの手法がある。ここで、あらかじめ管理ポリシーを定めるにより、すべてのシステム構造体S(l)/i (i=1, 2, …, n s(l))が同じ性能指標レベルになるように資源の再配分を行うことも、重みをつけて優先度を設定することも可能である。
最適割当を見つけるには、上述のfの形がわかっている場合は、それに合わせればよいが、多くの場合未知なため、たとえば、単純には可能な限りの資源割当の組み合わせを探索してもよいし、制御理論的アプローチでフィードバック制御してもよいし、システム構造体同士であるルールに従って資源を奪い合い、自律的に均衡点に達するように制御する手法など、さまざまな手段がある。
最適化演算が終了すると、状態は資源設定更新４０４に遷移し、設定の反映を行う。設定の反映には、資源割当制御手段２２２が最適化演算手段２２５からの設定指示を受け、その指示通りに資源割当手段２２１をコントロールすることで資源空間２２０RS(l)/iから資源を割り当てる。資源割当が成功したところで、資源割当制御手段２２２は資源管理手段２２３に設定した資源割当情報を送り、資源管理手段２２３は情報を更新する。
資源設定の更新が終了すると、状態は資源設定更新４０４から監視４０４に遷移する。監視４０４では、性能監視手段２２４が性能指標群を監視し、性能管理手段２２５は性能監視手段２２４が保持する性能指標群からシステム構造体S(l)の性能指標QS(l)を作成、更新し、性能指標インターフェース手段２０１を通して外部に出力する。
ここで性能指標群からシステム構造体S(l)の性能指標QS(l)を作成のために、管理しているすべてのシステム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標の管理において、あらかじめ規定した管理ポリシーに従ってアラーム発信管理を行う。
ここでの管理ポリシーとは、たとえば、管理しているすべてのシステム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標のうち、ひとつでもあらかじめ管理ポリシーによって決めておいた閾値性能指標を下回る状態がある管理時間続いた場合に性能管理アラームをあげる（アラーム管理ポリシー１とする）、などである。
性能管理アラームがあがったらシステム構造体S(l)の性能指標QS(l)を作成、更新する。
監視４０４から最適化演算４０２への状態遷移も同様に最適化アラームが挙がったところで遷移するとする。最適化アラームも同様にたとえば上述のアラーム管理ポリシー１に従う、などとあらかじめ決めておく。最適化アラームが挙がると、最適化演算４０２に遷移し、システム構造体S(l)の最適化処理を開始する。
また、例えば、システム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標が著しく劣化し、最適化を行っても改善が見込まれそうにない状態が続いた場合（管理ポリシーで記述しておく）は、資源追加待ち用状態として、最適化演算４０２への遷移を禁止し、その状態が改善するか、資源追加などによる資源管理情報インターフェース手段２０２を通して資源管理手段２２３に新たな情報入力があった場合にもとの監視４０４状態に復帰する、などの指定も可能である。
また、資源管理手段２２３は、資源管理情報インターフェース手段２０２からの新規入力がないかを常に監視し、資源の追加、削除・変更入力があれば、資源管理手段２２３は資源情報を更新し、資源空間２２０RS(l)/iを更新する。更新が終了すると、監視４０４に状態が遷移する。
次に、資源利用量変動による最適化処理について詳細に説明する。
今、あるシステム構造体S(l)が監視４０４状態にあるとする。そして、その管理するシステム構造体群HS(l)={ S(l)/i }において、例えば上述のアラーム管理ポリシー１で規定された管理ポリシーに従って最適化アラームが挙がったとする。
この時、状態は監視４０４から最適化４０２に遷移し、システム構造体S(l)は最適化処理を行う。その後も品質劣化状態が続けば、上述の性能管理アラームが挙がり、さらに劣化したシステム構造体S(l)の性能指標QS(l)を作成、更新し、性能指標インターフェース手段２０１を通して外部に出力するが、システム構造体S(l)/iの性能指標が最適化演算によって改善されれば、最適化アラームが取り消され、通常通りの監視状態にもどる。このため、あるシステム構造体内のみでの最適化で改善が可能な場合はよりルートに近い階層での最適化処理は行われない。
次、に資源管理情報インターフェースの更新があった場合について詳細に説明する。
今、あるシステム構造体S(l)が監視４０４状態にあるとする。そして、資源管理情報インターフェース手段２０２を通して、資源情報の更新があったとする。更新の種類は追加・削除の二種類を考える。資源情報の更新があった場合、上述の通り、資源設定更新４０３に状態が遷移する。
（資源追加の場合）
資源管理において、どのシステム構造体S(l)/iにも割り当てないリザーブ資源の中に、新規に追加された資源を登録し、監視４０４に状態遷移する。
（資源削除の場合）
指定された資源を削除する。このとき、リザーブ資源に資源が存在すれば、リザーブ資源がある限り、資源が削除されたシステム構造体S(l)/iに新たに割当設定を行う。資源設定更新が終了すると、監視４０４に状態遷移する。ここで、運用中のシステム構造体S(l)/iから資源を削除することは運用を止めることもありうるため、なるべくリザーブ資源から削除することが望ましい。
システム構造体S(l)/..からみると、システム構造体S(l)/iにどんな資源が割り当てられているかは関知しない場合が多いため、単に資源量のみが問題であれば、なるべくリザーブ資源から削除するように、リザーブ資源として登録されている資源をあらかじめシステム構造体S(l)/..に通知しておくことにより、なるべくそこから選ぶようにすることも可能である。
以上が各システム構造体S(l)の動作である。これらのシステム構造体は、図３に示したようにツリー構造になっているため、ツリーの各枝の一番ルートから遠い階層にあるPE（S(l)とする）が運用開始とともに割り当てられた資源を用いて計算処理を行い、その性能指標を管理されている親システム構造体S(l)/..に出力し、そのシステム構造体S(l)/..は上述の状態遷移図に従ってシステム構造体群HS(l)/..の性能指標を管理し、そのシステム構造体S(l)/..における性能指標Q S(l)/..を、そのシステム構造体S(l)/..のさらに低階層のシステム構造体S(l)/.. /..に出力する。この階層的管理構造がルートであるS(0)まで続く。
次に、上述した実施の形態に基づく本発明の効果について説明する。
本発明を用いれば、PEの資源利用量の変動に対して、本発明を用いなかった場合に対して、スケーラビリティメリット、管理の独立性メリット、資源割当最適化の効率化があることを以下に示す。
まず、ある時刻tにおけるPEである、S(L)=/S1/S2/…/SLの資源利用量をXS(L)(t)と定義し、各PEには

Figure 0005110313
だけの資源が割り当てられ、
同様に一般のシステム構造体S(l)に
Figure 0005110313
だけ資源が割り当てられているとする。ここで、S(L)の性能指標QS(L)(t)として、資源利用量をXS(L)(t)と割当資源量
Figure 0005110313
によって決まると仮定でき、その差の絶対値がある一定以上になった場合に資源過剰もしくは資源不足状態であり、最適化が必要と判断する値
Figure 0005110313
になるとする。
特に、簡単のため以下
Figure 0005110313
はヘピサイトのステップ関数μ(x)を用いた、
Figure 0005110313
という関数系で記述するように、
Figure 0005110313
になった時に資源不足エラーとし、QS(L)(t)= -1を出力し、
Figure 0005110313
時は正常であるとする。
以下、システム構造体S(L)=/S1/S2/…/SL（PE）がどのような頻度で資源不足による最適化が必要な状態になるか見積もる。
まず、資源利用量XS(L)(t)のある単位管理時間あたりの変動は正規分布
Figure 0005110313
に従うとする。変数変換
Figure 0005110313
によって、ZS(L)はN(0, 1)に正規化できる。

ここで、
Figure 0005110313
となる資源利用量を
Figure 0005110313
とすると、
Figure 0005110313
となる確率
Figure 0005110313
は
Figure 0005110313
となる。ただし、
Figure 0005110313
は0でなく、閾値
Figure 0005110313
を
Figure 0005110313
とし、割当資源量
Figure 0005110313
のα%超過とした。
一方、このPEの属するシステム構造体S(L-1)=/S1/S2/…/SL-1はnS(L-1)個のPEを有しており、これらのPEの性能指標群は{ QS(L)(t) }となる。このPEの資源利用量変動XS(L)(t)は全て独立で同一分布に従うと仮定する。ここで、このシステム構造体S(L-1)の性能管理の管理ポリシーとして例えば、「性能指標群は{ QS(L)(t) }のうち、ひとつでも、QS(L)(t)= -1と性能劣化したら、再度資源割当の最適化処理を行い、
Figure 0005110313
をアップデートし、システム構造体群HS(L-1)での
Figure 0005110313
の標準偏差が最小になるように制御する」とする。
すべてのiに対して、QS(L-1)/i(t)= 0となれば、QS(L-1)/i(t)= 0とし、ひとつ以上QS(L)(t)= -1があった場合にはシステム構造体S(L-1)内での改善はできないとして、QS(L-1)(t)= -1とする。

Figure 0005110313
すると、システム構造体S(L-1)で最適化処理が行われる確率poS(l-1)は
Figure 0005110313
である。
また、システム構造体S(L-1)の性能指標がQS(L-1)(t)= -1となる確率pS(l-1)は、最適化による再割当によってもシステム構造体群HS(L-1)の中のどれかのシステム構造体（この場合はPE）S(L-1)/iで、QS(L-1)(t)= -1となる確率であり、システム構造体S(L-1)/iの資源利用量のシステム構造体群HS(L-1)での和
Figure 0005110313
が、システム構造体S(L-1)の持つ資源総量
Figure 0005110313
以上超過する確率である。
独立仮定より、XS(L-1)(t)は正規分布
Figure 0005110313
に従うので、確率pS(L-1)は同様の変数変換より

Figure 0005110313
となる。
Figure 0005110313
であるから、確率pS(L-1)はpS(L-1) < pS(L)となり、システム構造体S(L-1)の性能指標がQS(L)(t)= -1となる確率は、特に、nS(l-1)が大きい場合に、システム構造体S(L)のそれよりもかなり小さくなる。また、システム構造体S(L-1)が管理されるシステム構造体S(L-1)/.. = S(L-2)において最適化処理が行われる確率は同様に
Figure 0005110313
となる。
以下一般の階層lに属するシステム構造体S(l)についても、同様にその性能指標がQS(L-1)(t)= -1となる確率の間に
Figure 0005110313
の関係が成り立つため、ルートに近いより低階層のシステム構造体のほうが劣化する確率が低く、また、一般に
Figure 0005110313
であることから、単位管理時間あたりに最適化処理が行われる確率（頻度）はより低階層のシステム構造体のほうが小さいことが示された。
次に、一回の最適化演算にかかるコストをそのスケールに対する関数として見積もる。
上述のように、今、あるシステム構造体S(l)における資源割当の最適化とは、S(l)に属する資源空間R S(l)の資源をシステム構造体群H S(l)のnS(l)個のシステム構造体S(l)/i, (i=1, 2, …, nS(l))とリザーブ資源空間としてみなすS(l)/0へ割り当てるのに、
Figure 0005110313
の標準偏差が最小となるような資源インデックス空間GS(l)のn S(l)個の部分空間GS(l)/i, (i=1, 2, …, nS(l))への分割方法
Figure 0005110313
を見つけることとする。
Figure 0005110313
ただし、std(w)はwの標準偏差とする。
一般に、XS(l)/iは明にはわからず、性能指標QS(l)/iの値から推測することになる。この探索数ΛS(l)は資源インデックス空間のm S(l) = #(G S(l))個の元から（ここで、#(A)は集合Aの元の数とする）、i=0, 1, 2, …, nS(l)に対するそれぞれmS(l)/i = #(G S(l)/i)個の元をもつ、nS(l)+1個の資源インデックス部分空間へ割り当てる可能な分割
Figure 0005110313
の数になるため、最大ですべての可能性を探索すると、
Figure 0005110313
をみたす全ての
Figure 0005110313
についてとるとする。
（証明）
展開定理より、
となる。
Figure 0005110313
実際の場合は、すべての資源を探索しなおす必要はなく、例えば、資源不足のものと資源過剰のもののみの間で最適化し直す、など探索数を減らすことは可能であるが、ここでは比較のためワーストケースに統一して評価するとする。
一般に探索数に比例してコストがかかるとしてよく、この探索数Λを最適化演算一回あたりのコストと定義する。
以上より、システム構造体S(l)における単位管理時間あたりの探索コストCS(l)は
Figure 0005110313
と計算される。
そのため、システム全体での探索コストCallは概算値として、
Figure 0005110313

となる。ここで、和はすべてのシステム構造体S(l)でとるとする。
関数の形から明らかなように、CS(l)はmS(l)、nS(l)の増加に対して、爆発的に大きくなる。
一般に階層を多くとり、システム構造体S(l)を増やすと、システム全体での探索コストCallの計算式の和の数は増えるが、mS(l)、nS(l)は減るため、CS(l)の減少の速度はそれに比べて圧倒的に速く、Callは減少する。
上述のように、図４に記載のシステム構造体S(l)のように、システムを階層化、細分化し、それぞれのS(l)に閉じた形で資源管理および制御による資源割当や、その結果の管理している一つ上の階層のシステム構造体群の性能監視、およびその結果から自分の性能指標管理を行うことで、管理の細部を隠蔽し実際に資源を消費するPEを直接見ることなく、各システム構造体で自律的な最適化を繰り返すことで効率的な全体最適を行うことが可能である。例えば、ある資源群を複数のPEが消費する構成は、本発明では、ルートのシステム構造体S(0)が管理するシステム構造体群H S(0)の中のシステム構造体S(0)/iが全てPEである場合と同じ単位管理時間あたりの最適化コストをもち、

Figure 0005110313
となる。これは一般に本発明のように複数の階層に分けた場合に比べ、非常に大きなコストと言える。そのため、本発明は資源を多くの組織で共有して使う環境で特に効果を発揮する。
以下、以上の議論をもとにスケーラビリティメリット、独立性、資源割当最適化の効率化について詳細に説明する。
簡単のため、全体システムの中に、M個の資源があり、a個の部門があり、各部門にb個の課があり、それぞれの課がc個のコンピュータ（PE）によってある業務アプリケーションを稼動しているとする。それぞれに管理者が存在し、全体システム管理者は部門毎に提供するサービスを組み合わせて提供するサービス（例えば、ある会社の全社員向け、もしくは一般向けポータルサイトなど）を管理し、各部門の管理者はそれぞれのサービス（たとえば人事部では人事サービスなど）を提供し、そのサービスが正常に稼動するように管理し、各課では、やはりそれぞれのサービス（例えば、勤務管理サービスなど）を管理し、各コンピュータの管理者はそれぞれのサービス（例えば、データベースサーバなど）が正常に稼動するよう管理しているとする。
すると、この全体システムにおけるコンピュータ数は全部でN=a×b×cだけのコンピュータが存在する。もし、従来の仮想化技術により、N=a×b×cだけの仮想装置を構成し、それぞれの部門、課、PEの管理者に、必要なだけ仮想装置を与えたとする。ある時間が経過し、初期と比べて負荷が変動し、資源再割当が必要になった時、資源割当を管理しているのは全体管理者であるため、全体管理者は、それぞれの管理者からの性能情報から、再割り当て計算を行わなければならないが、この最適化zコストは管理時間当たり平均で

Figure 0005110313
となる。
これに対し本発明によれば、最適化コストは

Figure 0005110313
である。ただし、概算のため、資源を均等量だけ配分するとした。
両者を比べると、N, Mが大きい場合、明らかにCc>>Cnであることがわかる。このため、本発明によるスケーラビリティメリットが示された。
次に、独立性について説明する。
上述のように、資源割当権限は結局のところ全体システム管理者が有しており、これは単に権限を区切って各管理者に与えるだけでは十分ではない。本発明のような、複数に入り組んだ階層構造に対して、細部を隠蔽した管理システム全体の性能指標を管理することが重要であり、また、自システム内の配下の管理システムへの自由な資源割当権限とそれに対応するそれらの性能監視および、そこから自システムのアブストラクトされた性能管理手段によって、初めて階層の上下の細部を気にすることない独立した管理が可能となる。本発明により、従来構造ではできない独立性を保ちながらの性能管理が各システム構造体で自由に行うことで全体最適点に達することが可能である。
次に、最適化の効率化について説明する。
本来、最適化コストは規模とともに指数関数的に増大する。そのため、従来の方法では一部の性能劣化を改善するために、非常に大きな最適化コストを払う必要があった。
しかし、現実的には負荷変動のタイムスケールは規模により異なる。本発明はこのことを積極的に最適化に活用しており、各レベルでの管理者は全体の構造を意識することなく、必要な規模の構成変更を、変動のタイムスケールに適応した形で行うことができる。このため、全体で見たときに必要な部分のみを必要なタイミングで構成変更していくことが可能である。これは、（数式１２、１３）で示したように、システム構造体の階層がルートに近いほど最適化が必要な頻度が少なくなることから証明されるが、サブシステム内の資源やりくりで解決できるものを解決し、サブシステム単位で資源配分が設定値よりずれたときにサブシステム間での資源配分をやり直す、というものであり、変化のタイムスケールの違いという観点において現実の利用環境に適合した手法である。
第２の実施の形態について説明する。
本発明による各システム構造体は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図１０は、各システム構造体の一部をインプリメントした情報処理システムの一般的ブロック構成図である。
図１０に示す情報処理システムは、プロセッサ２０００、プログラムメモリ２００１、記憶媒体２００２からなる。記憶媒体２００２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができる。
プログラムメモリ２００１には、上述した資源割当手段２２１と、資源割当制御手段２２２と、資源管理手段２２３と、性能監視手段２２４と、性能管理手段２２５と、最適化演算手段２２６と、性能指標インターフェース手段２０１と、資源管理情報インターフェース手段２０２との各部の処理を、プロセッサ２０００に行わせるプログラムが格納されており、このプログラムによってプロセッサ２０００は動作する。
このように、コンピュータプログラムにより実現することも可能である。
尚、資源割当手段２２１と、資源割当制御手段２２２と、資源管理手段２２３と、性能監視手段２２４と、性能管理手段２２５と、最適化演算手段２２６と、性能指標インターフェース手段２０１と、資源管理情報インターフェース手段２０２との各部の処理の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。
実施例１として、図７に示すように、全体システム５００の中に、複数のサブシステム５０４が存在し、各サブシステム５０４の中に複数の仮想装置５１４（コンピュータサーバ）が存在し、各仮想装置５１４の中に複数のコンピュータプロセス５２４が存在する例を考える。
全体システム５００は、資源５０１とその資源５０１の集合である資源空間５０２と、ハードウェア接続分離手段５０３と運用管理手段５０５が存在する。資源５０１は、本例のシステムの全ての資源であり、モジュラーサービスカードが共通化された筐体上に複数存在するコンピュータ資源がスイッチなどのハードウェア接続分離手段によって接続されているとする。
ハードウェア接続分離手段５０３は、外部からの命令により、資源５０１を任意のサービスカード間で接続することでグループ化したり、グループ間で排他的に分離したりすることが可能である。一例としては、L2スイッチにおけるVLAN機能によってこれを実現可能である。
全体システム５００には、全体システム管理者が存在し、運用管理手段５０５によって、全体システム５００を管理する。運用管理手段５０５の中には、性能指標監視手段、資源管理手段、資源割当制御手段、性能管理手段などの、上述の本発明で必要な各管理手段を有するとする。運用管理手段５０５はサブシステム５０４の性能指標を監視し、資源管理情報を収集し、資源５０１の各サブシステムへの割り当て方の最適化を行い、全体システム５００の性能指標を作成し、性能が劣化した場合に、アラームをあげることで、資源追加などの通知が可能である。
各サブシステム５０４内では、全体システム５００によって割り当てられた資源空間５１１に属する資源５１２のみが可視であり、自由な資源管理・割当設定が可能である。サブシステム５０４は全体システムと同様の構造をもち、内部に複数の仮想装置５１４を有し、運用管理手段５１５は、資源５１１を仮想化手段５１３によって割当て、仮想装置５１４の性能指標を収集する。
仮想化手段５１３は、運用管理手段５１５からの命令を受け、資源５１２を仮想装置５１４に割り当て実行を行う手段である。一例としてXenなどの仮想マシンモニター（VMM）などが挙げられる。仮想装置５１４は、実態は物理的な実態を持たないソフトウェアプロセスであり、論理的装置であるが、実際のコンピュータハードウェア資源と同様にOS（オペレーティングシステム）やソフトウェアアプリケーションをインストール・稼動することが可能である。
サブシステム管理者は、運用管理手段５１５を通してサブシステム５０４を管理する。運用管理手段５１５の内部には、同様に、性能指標監視手段、資源管理手段、資源割当制御手段、性能管理手段などの、上述の本発明で必要な各管理手段を有する。これらにより、仮想装置５１４の性能指標を監視し、資源空間５１１に属する資源５１２を管理し、それらの情報から、必要に応じて、最適化処理を行い、その結果を仮想化手段へ送り、資源割当制御を行う。また、サブシステム５０４の性能指標を作成し、性能指標インターフェース手段５０７を通して、全体システム５００の運用管理手段５０５へ出力する。さらに、資源管理情報インターフェース手段５０６を通して入力された情報を基に、資源空間５１１の更新を行う。
仮想装置５１４の内部では、サブシステム５０４によって割り当てられた仮想資源空間５２１に属する仮想資源５２２のみが可視であり、自由な資源管理・割当設定が可能である。仮想装置５１４は全体システム５００やサブシステム５０４と同様の構造をもち、内部に複数のコンピュータプロセス５２４を有し、運用管理手段５２５は、資源５２２を資源割当手段５２３によって割り当て、コンピュータプロセス５２４の性能指標を収集する。
資源割当手段５２３は運用管理手段５２５からの命令を受け、仮想資源５２２をコンピュータプロセス５２４に割り当て実行を行う手段である。一例として資源割当手段５２３はオペレーティングシステムの機能として実装が可能である。
コンピュータプロセス５２４は、ソフトウェアプロセスであり、本システムでのPEであり、例えばWebサービスを提供するアプリケーションのプロセスなどとなる。
仮想装置の管理者は、運用管理手段５２５を通して仮想装置５１４を管理する。運用管理手段５２５の内部には、同様に、性能指標監視手段、資源管理手段、資源割当制御手段、性能管理手段などの、上述の本発明で必要な各管理手段を有する。これらにより、コンピュータプロセス５２４の性能指標を監視し、仮想資源空間５２１に属する仮想資源５２２を管理し、それらの情報から、必要に応じて、最適化処理を行い、その結果を仮想化手段へ送り、資源割当制御を行う。また、仮想装置５１４の性能指標を作成し、性能指標インターフェース手段５１７を通して、サブシステム５０４の運用管理手段５１５へ出力する。さらに、資源管理情報インターフェース手段５１６を通して入力された情報を基に、仮想資源空間５２１の更新を行う。
全体システム５００、サブシステム５０４、仮想装置５１４の状態は上述の状態遷移図に従って動き、必要に応じて資源割当の最適化処理を行う。本発明により、例えば、全体システムがある組織全体、サブシステムが各部門、仮想装置がコンピュータ装置、コンピュータプロセスがアプリケーションプロセスとし、組織全体で、あるWebポータルサービスを運営し、各サブシステムがそれぞれの業務サービス（たとえば人事部なら勤務管理サービス）を運営し、仮想装置がそれぞれのサーバ（たとえば勤務管理データベースサーバやWebサーバなど）を運営し、各コンピュータプロセスが必要なアプリケーションプロセス（例えばネットワーク機能を提供するためのxinetdやftpなどのvsftpdなどのデーモンなど）とする。それぞれの管理者がそれぞれの管理システム内のシステム構造体に対する性能管理指標と資源割当権限を有し、かつ管理システム全体の抽象化された性能指標を非管理システム構造体へ出力することで、高い独立性を保ちながら、効率的な資源割当の最適化によるシステム運営が可能となる。
本発明によれば、複数のコンピュータ装置からなる、IT/NWシステム構成・管理や、特に資源の共有による、資源利用効率のよい仮想化環境でのIT/NWシステム構成・管理といった用途に適用できる。

Claims (9)

  1. 階層化システムであって、
    各階層の資源割り当て管理の基本単位となるシステム構造体がツリー構造に構成され、
    各システム構造体は、
    自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知する性能情報通知手段と、
    自システム構造体が管理する下位のシステム構造体から通知された性能情報により、自システム構造体が管理するシステム構造体の性能劣化を検出し、性能劣化を検出した場合には、前記性能情報と、自システム構造体が管理するシステム構造体の資源の管理情報とに基づいて、自システム構造体が管理するシステム構造体への資源割り当ての最適化処理を他のシステム構造体とは独立的に行い、前記最適化処理により自システム構造体が管理するシステム構造体の性能が改善できる場合には、前記最適化処理の結果を、自システム構造体が管理する下位のシステム構造体に通知し、前記最適化処理により自システム構造体が管理するシステム構造体の性能が改善されない場合には、前記性能情報通知手段により、自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知する資源最適化処理手段と、
    自システム構造体を管理する上位のシステム構造体からの前記最適化処理の結果に基づいて、前記上位のシステム構造体から割り当てられた資源を管理する資源管理手段と
    を有することを特徴とする階層化システム。
  2. 前記資源最適化処理手段は、下位のシステム構造体の性能情報を用いて、システム構造体の代表的性能指標を作成することによって、上位のシステム構造体から下位のシステム構造体の性能を参照する手段を有することを特徴とする請求項１に記載の階層化システム。
  3. 前記資源最適化処理手段は、下位のシステム構造体の管理情報を、外部から隠蔽することを特徴とする請求項１に記載の階層化システム。
  4. 階層化システムの管理方法であって、
    各階層の資源割り当て管理の基本単位となるシステム構造体をツリー構造に構成し、
    下位のシステム構造体は、自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知し、また、前記上位のシステム構造体から、前記上位のシステム構造体が管理する資源を割り当てられ、前記上位のシステム構造体から割り当てられた資源を管理し、
    前記上位のシステム構造体は、自システム構造体が管理する下位のシステム構造体から通知される性能情報により、自システム構造体が管理するシステム構造体の性能劣化を検出し、性能劣化を検出した場合には、前記性能情報と、自システム構造体が管理するシステム構造体の資源の管理情報とに基づいて、自システム構造体が管理するシステム構造体への資源割り当ての最適化処理を他のシステム構造体とは独立的に行い、前記最適化処理により自システム構造体が管理するシステム構造体の性能が改善できる場合には、前記最適化処理の結果を、自システム構造体が管理する前記下位のシステム構造体に通知し、前記最適化処理により自システム構造体が管理するシステム構造体の性能が改善されない場合には、自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知することを特徴とする階層化システムの管理方法。
  5. 通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成し、上位のシステム構造体から下位のシステム構造体の性能を参照することを特徴とする請求項４に記載の階層化システムの管理方法。
  6. 上位のシステム構造体は、管理する下位のシステム構造体の管理情報を、外部から隠蔽することを特徴とする請求項４に記載の階層化システムの管理方法。
  7. 各階層の資源割り当て管理の基本単位となるシステム構造体がツリー構造に構成され階層化システムにおける各システム構造体のプログラムであって、
    前記プログラムは、各システム構造体のコンピュータに、
    自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知する性能情報通知手段と、
    自システム構造体が管理する下位のシステム構造体から通知された性能情報により、自システム構造体が管理するシステム構造体の性能劣化を検出し、性能劣化を検出した場合には、前記性能情報と、自システム構造体が管理するシステム構造体の資源の管理情報とに基づいて、自システム構造体が管理するシステム構造体への資源割り当ての最適化処理を他のシステム構造体とは独立的に行い、前記最適化処理により自システム構造体が管理するシステム構造体の性能が改善できる場合には、前記最適化処理の結果を、自システム構造体が管理する下位のシステム構造体に通知し、前記最適化処理により自システム構造体が管理するシステム構造体の性能が改善されない場合には、前記性能情報通知手段により、自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知する資源最適化処理手段と、
    自システム構造体を管理する上位のシステム構造体からの前記最適化処理の結果に基づいて、前記上位のシステム構造体から割り当てられた資源を管理する資源管理手段と
    として機能させることを特徴とするプログラム。
  8. 前記資源最適化処理手段は、下位のシステム構造体の性能情報を用いて、システム構造体の代表的性能指標を作成することによって、上位のシステム構造体から下位のシステム構造体の性能を参照する手段として機能することを特徴とする請求項７に記載のプログラム。
  9. 前記資源最適化処理手段は、下位のシステム構造体の管理情報を、外部から隠蔽するように機能させることを特徴とする請求項７に記載のプログラム。
JP2008510760A 2006-03-14 2007-03-12 階層化システム及びその管理方法と、プログラム Expired - Fee Related JP5110313B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008510760A JP5110313B2 (ja) 2006-03-14 2007-03-12 階層化システム及びその管理方法と、プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006069559 2006-03-14
JP2006069559 2006-03-14
PCT/JP2007/054772 WO2007119329A1 (ja) 2006-03-14 2007-03-12 階層化システム及びその管理方法と、プログラム
JP2008510760A JP5110313B2 (ja) 2006-03-14 2007-03-12 階層化システム及びその管理方法と、プログラム

Publications (2)

Publication Number Publication Date
JPWO2007119329A1 JPWO2007119329A1 (ja) 2009-08-27
JP5110313B2 true JP5110313B2 (ja) 2012-12-26

Family

ID=38609133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008510760A Expired - Fee Related JP5110313B2 (ja) 2006-03-14 2007-03-12 階層化システム及びその管理方法と、プログラム

Country Status (4)

Country Link
US (1) US8667488B2 (ja)
JP (1) JP5110313B2 (ja)
CN (1) CN101405697B (ja)
WO (1) WO2007119329A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930511B1 (en) * 2008-07-07 2015-01-06 Cisco Technology, Inc. Physical resource life-cycle in a template based orchestration of end-to-end service provisioning
CN102651694B (zh) * 2011-02-23 2015-05-20 蓝盾信息安全技术股份有限公司 一种对主机进行管控的方法及系统
US8694995B2 (en) * 2011-12-14 2014-04-08 International Business Machines Corporation Application initiated negotiations for resources meeting a performance parameter in a virtualized computing environment
US8863141B2 (en) 2011-12-14 2014-10-14 International Business Machines Corporation Estimating migration costs for migrating logical partitions within a virtualized computing environment based on a migration cost history
CN103562852B (zh) * 2011-12-28 2017-11-17 华为技术有限公司 一种保障云应用程序服务质量的方法和装置
JPWO2013171944A1 (ja) * 2012-05-15 2016-01-07 日本電気株式会社 仮想マシン管理システム、仮想マシン管理方法およびプログラム
EP2852887A1 (en) * 2012-06-27 2015-04-01 Qatar Foundation An arrangement configured to allocate resources of a plurality of data storage media to a plurality virtual machines and associated method
US20150244640A1 (en) * 2012-06-27 2015-08-27 Qatar Foundation Arrangement and method for use in managing resources of a plurality of computing devices
JP5914245B2 (ja) * 2012-08-10 2016-05-11 株式会社日立製作所 多階層の各ノードを考慮した負荷分散方法
US9880842B2 (en) * 2013-03-15 2018-01-30 Intel Corporation Using control flow data structures to direct and track instruction execution
CN103997421B (zh) * 2014-04-22 2018-10-19 北京邮电大学 功耗管理方法及分级功耗网络
WO2015172107A1 (en) 2014-05-09 2015-11-12 Nutanix, Inc. Mechanism for providing external access to a secured networked virtualization environment
WO2016170557A1 (en) * 2015-04-21 2016-10-27 Nec Corporation Optimization system
US10540164B2 (en) 2016-02-12 2020-01-21 Nutanix, Inc. Virtualized file server upgrade
US10223171B2 (en) * 2016-03-25 2019-03-05 Intel Corporation Mitigating load imbalances through hierarchical performance balancing
US11218418B2 (en) 2016-05-20 2022-01-04 Nutanix, Inc. Scalable leadership election in a multi-processing computing environment
US10728090B2 (en) 2016-12-02 2020-07-28 Nutanix, Inc. Configuring network segmentation for a virtualization environment
US11568073B2 (en) 2016-12-02 2023-01-31 Nutanix, Inc. Handling permissions for virtualized file servers
US11562034B2 (en) 2016-12-02 2023-01-24 Nutanix, Inc. Transparent referrals for distributed file servers
US10824455B2 (en) * 2016-12-02 2020-11-03 Nutanix, Inc. Virtualized server systems and methods including load balancing for virtualized file servers
US11294777B2 (en) 2016-12-05 2022-04-05 Nutanix, Inc. Disaster recovery for distributed file servers, including metadata fixers
US11288239B2 (en) 2016-12-06 2022-03-29 Nutanix, Inc. Cloning virtualized file servers
US11281484B2 (en) 2016-12-06 2022-03-22 Nutanix, Inc. Virtualized server systems and methods including scaling of file system virtual machines
US11086826B2 (en) 2018-04-30 2021-08-10 Nutanix, Inc. Virtualized server systems and methods including domain joining techniques
US11194680B2 (en) 2018-07-20 2021-12-07 Nutanix, Inc. Two node clusters recovery on a failure
US11770447B2 (en) 2018-10-31 2023-09-26 Nutanix, Inc. Managing high-availability file servers
CN112153700B (zh) * 2019-06-26 2022-03-29 华为技术有限公司 一种网络切片资源管理方法及设备
US11768809B2 (en) 2020-05-08 2023-09-26 Nutanix, Inc. Managing incremental snapshots for fast leader node bring-up

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005015397A1 (en) * 2003-07-28 2005-02-17 Sap Aktiengesellschaft Grid organization
US20050188088A1 (en) * 2004-01-13 2005-08-25 International Business Machines Corporation Managing escalating resource needs within a grid environment
US20060294238A1 (en) * 2002-12-16 2006-12-28 Naik Vijay K Policy-based hierarchical management of shared resources in a grid environment

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1177435C (zh) * 2001-08-24 2004-11-24 华为技术有限公司 分布式网管平台的分级管理系统
DE10328294A1 (de) 2003-06-23 2005-01-20 Endress + Hauser Flowtec Ag, Reinach Verfahren zum Kalibrieren eines Ultraschall-Durchflußmeßgeräts
US7574707B2 (en) 2003-07-28 2009-08-11 Sap Ag Install-run-remove mechanism
US7441033B2 (en) * 2003-08-14 2008-10-21 Oracle International Corporation On demand node and server instance allocation and de-allocation
US7437460B2 (en) * 2003-08-14 2008-10-14 Oracle International Corporation Service placement for enforcing performance and availability levels in a multi-node system
WO2007039337A1 (en) * 2005-09-29 2007-04-12 International Business Machines Corporation System and method for automatically managing it-resources in a heterogeneous environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060294238A1 (en) * 2002-12-16 2006-12-28 Naik Vijay K Policy-based hierarchical management of shared resources in a grid environment
WO2005015397A1 (en) * 2003-07-28 2005-02-17 Sap Aktiengesellschaft Grid organization
JP2007500386A (ja) * 2003-07-28 2007-01-11 エスアーペー アーゲー グリッド組織
US20050188088A1 (en) * 2004-01-13 2005-08-25 International Business Machines Corporation Managing escalating resource needs within a grid environment

Also Published As

Publication number Publication date
WO2007119329A1 (ja) 2007-10-25
JPWO2007119329A1 (ja) 2009-08-27
CN101405697B (zh) 2013-03-27
US20090100248A1 (en) 2009-04-16
CN101405697A (zh) 2009-04-08
US8667488B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
JP5110313B2 (ja) 階層化システム及びその管理方法と、プログラム
JP4519098B2 (ja) 計算機の管理方法、計算機システム、及び管理プログラム
JP5400482B2 (ja) 管理計算機、リソース管理方法、リソース管理プログラム、記録媒体および情報処理システム
Kirby et al. An approach to ad hoc cloud computing
US20200104151A1 (en) Vm/container and volume allocation determination method in hci environment and storage system
Gulati et al. Vmware distributed resource management: Design, implementation, and lessons learned
US8719831B2 (en) Dynamically change allocation of resources to schedulers based on feedback and policies from the schedulers and availability of the resources
US8732654B2 (en) Dependency-based impact analysis using multidimensional models of software offerings
US20090172666A1 (en) System and method for automatic storage load balancing in virtual server environments
US10162664B2 (en) Composite virtual machine template for virtualized computing environment
US20150301743A1 (en) Computer and method for controlling allocation of data in storage apparatus hierarchical pool
CN103180823A (zh) 软件产品的多维建模
EP2539817A1 (en) Methods and apparatus for movement of virtual resources within a data center environment
US20100229171A1 (en) Management computer, computer system and physical resource allocation method
US10248460B2 (en) Storage management computer
US20120222037A1 (en) Dynamic reprovisioning of resources to software offerings
US9262217B1 (en) Computation resource cyclic utilization
WO2012115666A1 (en) Publishing and updating of multidimensional models using orchestration tools for software offerings
US20150234671A1 (en) Management system and management program
US9766939B1 (en) Resource overprovisioning in a virtual machine environment
US20110126219A1 (en) Middleware for Extracting Aggregation Statistics to Enable Light-Weight Management Planners
US20180260261A1 (en) Availability management in a distributed computing system
US20180262563A1 (en) Availability management operations in a distributed computing system
Infrastructure Resource management with VMware DRS
US20120284067A1 (en) Revenue-based impact analysis using multidimensional models of software offerings

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120912

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5110313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees