JP4751265B2 - リソース管理システム及びその方法 - Google Patents

リソース管理システム及びその方法 Download PDF

Info

Publication number
JP4751265B2
JP4751265B2 JP2006209367A JP2006209367A JP4751265B2 JP 4751265 B2 JP4751265 B2 JP 4751265B2 JP 2006209367 A JP2006209367 A JP 2006209367A JP 2006209367 A JP2006209367 A JP 2006209367A JP 4751265 B2 JP4751265 B2 JP 4751265B2
Authority
JP
Japan
Prior art keywords
resource
business
utilization rate
policy
usage rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006209367A
Other languages
English (en)
Other versions
JP2008033852A (ja
Inventor
裕実 須藤
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2006209367A priority Critical patent/JP4751265B2/ja
Publication of JP2008033852A publication Critical patent/JP2008033852A/ja
Application granted granted Critical
Publication of JP4751265B2 publication Critical patent/JP4751265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Description

本発明は情報処理システムのリソース管理に関し、情報処理システムのオブジェト化による仮想化の技術と情報処理システム運用管理用のポリシー制御技術を利用し、高負荷や障害が発生した場合に情報処理システムを継続実行するための対策を行うリソース管理システム及びその方法に関する。

近年、企業等における多くの業務サービスは情報処理システムを用いて行われており、情報処理システムには高い信頼性と可用性が求められている。
このような情報処理システムに想定外の過負荷、障害及び異常等のトラブルが発生した場合には、業務サービスの停止等による経済損失や、情報処理システムを利用する顧客等からの信用低下を最小限に留めるため、迅速かつ的確な対策の実施が求められる。

そのため、情報処理システムにトラブルが発生した場合には、トラブル状況の診断を行い、トラブルを回避する対処を行うためのポリシー制御処理の技術が開発されている。
一般的にはポリシー制御処理として、障害の状態であれば代替用のコンピュータシステムを割り当て、過負荷の場合にはコンピュータシステムの動的追加を行い対処する(この具体的な対処の処理をポリシーアクションと定義する)。

ここで、代替用に割り当てるコンピュータシステムが利用可能か否かを検証する検証方法として、当該コンピュータシステムが既に何らかの障害状態かどうかを検証するほかに、特許文献1及び特許文献2には、過負荷となった処理を共有するコンピュータシステムに割り当てる方法が提案されている。

なお、本発明における情報処理システムが提供する業務サービスには、例えば企業内における給与計算や販売管理等があるが、それらだけに限定されるものではなく、情報処理システムを用いて実現される様々な処理や機能等を含んでいる。例えば、Web情報提供やチケット予約販売、オンライン販売等のサービスを提供するための処理や機能、あるいはサービスそのものも業務サービスに含まれる。
特開2003−330899号公報(段落0027〜0030、図2) 特開2004−328157号公報(段落0023〜0032、図1、図2)

企業等において利用する情報処理システムは、各ベンダーから提供され異なるアーキテクチャにより多種多様存在し、かつ、リソースはできる限り有効的に活用されることが望ましい。また、情報処理システムが提供する業務サービスは大規模化、高機能化、高信頼性化等により複雑な利用形態に合わせて1つのリソースによる構成でなく、複数のリソースを組み合わせた構成となっていることが多い。

前記した特許文献1及び特許文献2では、単一の構成による業務サービスや単一のリソースを扱うため、多階層で複数のリソースから構成される情報処理システムである場合や、さまざまな処理形態がある業務サービス(Webシステム、バッチ処理、DB(Data Base)、帳票出力等)を扱う場合には適用が難しいという問題点がある。
したがって、本発明の目的は、共有リソースが使える環境下において、多階層で複数のリソースから構成され、リソースを重複して利用する複数の情報処理システムのポリシー制御の中で利用するリソースに対して、既に他の情報処理システムが稼動中である場合にも影響を与えないリソースを求める手段を提供することである。

前記の課題を解決するために、本発明に係るリソース管理システムは、複数のコンピュータシステムを共有利用でき、複数のコンピュータシステムを組み合わせて実行される業務アプリケーションによりサービスを提供するシステム環境におけるリソース管理システムであって、
前記リソース管理システムは、記憶部と、影響範囲調査部と、ポリシー制御部とを有しており、
前記記憶部には、前記業務アプリケーションごとに、各業務アプリケーションを実行する前記コンピュータシステムを構成するリソースの識別情報、及び各コンピュータシステムを構成するリソースの利用率を含むリソース利用率情報と、前記業務アプリケーションに対する前記コンピュータシステムの各リソースの割り当ての追加を規定する情報であるポリシーアクションを含むポリシー情報と、が格納されており、
前記影響範囲調査部は、
前記ポリシー情報に含まれる前記ポリシーアクションに基づいて前記業務アプリケーションが利用するリソースを追加する場合に、前記業務アプリケーションが利用する追加対象のリソースを当該コンピュータシステムで稼動する他の業務アプリケーションが利用する共有リソースから検索し、前記業務アプリケーションが利用するリソースの利用率を示す第1利用率と、前記検索された追加対象となる共有リソースについての前記他の業務アプリケーションの利用率を示す第2利用率を前記リソース利用率情報から取得し、
前記取得された第1利用率と第2利用率との合算値を、前記追加対象となる共有リソースにおける追加後の利用率として集計し、
前記ポリシー制御部は、
前記影響範囲調査部が集計して出力した当該コンピュータシステムの前記追加後の利用率が、所定のしきい値以下であり、SLA(Service Level Agreement)の要求が満たされる場合に、前記ポリシーアクションに基づいて各リソースの割り当てを追加すること
を特徴とする。
本発明の他の態様については、後記する実施の形態において詳しく説明する。

本発明によると、複数のリソースを組み合わせて業務サービスを提供する情報処理システムで、ポリシー制御の実行によるリソース確保においてすでに稼動している他のコンピュータシステムに対する影響を求めることができる。これにより、有効的にリソースの活用ができるようになり、情報処理システムの稼働率を高めることができ、情報処理システムの信頼性の向上にもつながる。

以下、本発明の実施の形態について、添付した図面を参照しつつ、詳細に説明する。

[第1実施形態]
<システム構成例>
本実施形態が適用されるシステムの全体構成例を図1に示す。
図1に示すように、本実施形態のシステムは、業務アプリケーションを稼働し、クライアントに対して業務サービスを提供する複数の業務サーバ106と、業務アプリケーションの実行制御及び業務アプリケーションのポリシー制御を行うマネージャ101と、マネージャ101に接続し業務アプリケーションの実行状況やポリシーの制御状況を参照可能なコンソール102と、各業務サーバ106を個別に監視するエージェント104とを含んで構成され、各構成要素は管理用ネットワーク(103,105)により接続されている。また、業務サーバ106は、業務ネットワーク107を介して業務クライアント108に対して業務サービスの提供を行っている。
なお、マネージャ101は特許請求の範囲のリソース管理システムに相当している。

業務アプリケーションを実行する業務サーバ106は、さまざまなOS(Operating System)やコンピュータの種類に応じて多種多様で複数台存在しており、業務アプリケーションを稼働させるための条件のもとで選ばれたリソースに対して業務アプリケーションを動的に配備し、業務サービスを提供する。

なお、図1に示した構成ではエージェント104を複数配置し業務サーバをそれぞれ監視する構成としているが、一台のエージェント104のみを配置し複数の業務サーバ106を監視できるようにすることも可能であり、また、エージェントプログラムとして各業務サーバ106に配備し、業務サーバ106自身が監視を行うことも可能である。
また、業務サーバ106については、一般的にセキュリティ面を考慮して、例えば、業務サーバ106の一部を別の保護用のネットワークへ配置したり、業務サーバ106の外側のネットワークに対してファイヤーウォール等の装置を設置したりすることがあるが、本発明とはあまり関連性が無いことから省略している。

また、本実施形態では、業務サーバ106及び業務クライアント108は例として、それぞれ4台、3台となっているが、この台数に制限するものではなく、図1に示した台数よりも多く存在していてもよく、また図1に示した台数よりも少なく存在していてもよい。また、業務サーバ106を監視するエージェント104についても同様である。
また、業務ネットワーク107については、一般的にはLAN(Local Area Network)やWAN(Wide Area Network)等が挙げられるが、業務サーバ106から業務クライアント108に対してサービスを提供できる形態であれば特に種類を問わない。
また、マネージャ101については、多階層型にして、マネージャ101の持つ処理を分散化させることもできる。

次に、図2には図1に示したシステムの構成において、業務サービスを提供するための業務システム構成の一例を示している。例えば、業務サーバ106である、Webサーバ201、AP(Application)サーバ202、及びDBサーバ203が、図1に示した管理用ネットワーク105により接続されてWeb3階層アプリケーションを構成し、複数の業務サーバ106を組み合わせて1つのサービスを提供している。また、業務ネットワーク107を介して、業務クライアント108であるWebブラウザ205で業務サービスを利用することができる。
なお、図2において、参照符号206で示すボックスは、Webサーバ201、APサーバ202及びDBサーバ203の内部構成を示すブロックであり、参照符号207で示すボックスは、Webブラウザ205の内部構成を示すブロックである。また、図2において破線矢印を用いて、これらの関連を示している。

図2では、業務サービスを提供するWeb3階層アプリケーションを複数の業務サーバにより構成する例を挙げているが、単一の業務サーバ106により業務サービスを提供するシステムであってもよいし、もっと多階層からなるシステムであってもよい。
また、図2の参照符号206は、Webサーバ201、APサーバ202、及びDBサーバ203等の業務サーバ106の内部構成を示しており、まず、OS(Operating System)があり、その上でミドルウェアやコンテナサーバが動作し、さらにその上で業務アプリケーションが動作したり、業務用のデータを管理したりする(ただし、OS上で直接業務アプリケーションが動作する構成であってもよい)。また、図2の参照符号207は、Webブラウザ205(業務クライアント108)の内部構成を示しており、OS上でWebブラウザやクライアント専用のプログラムが動作する。

<機器構成>
図3には、図1に示したマネージャ101、エージェント104、業務サーバ106、及び業務クライアント108等の各装置の構成例を示す図面である。図3に示した装置301は、CPU(Central Processing Unit)302、メモリ305、記憶装置306、ネットワークI/F(インタフェース)307、I/OポートI/F308を含んで構成されることを示している。また、各装置には必要に応じて、記録媒体303に記録された情報を読み取る記録媒体読取装置304、キーボード等の入力装置309、又はプリンタ等の出力装置310を備えることもできる。
各装置は、ほぼ同一の構成となるが、構成が必ずしも同一で無い場合、例えば仮想コンピュータ等においても、同じ役割をする構成が存在していればよい。また、各装置は、例えば、記憶装置306に格納された専用のプログラムを実行することで、各装置としての機能を実現する。

<業務サービスの提供方法>
本実施形態で扱うシステムは、業務アプリケーション及び業務アプリケーションのポリシー実行処理を1つのジョブとして実行し、業務アプリケーションの実行による業務サービスの提供と、業務アプリケーションの監視とトラブル発生時の対処を行い、業務アプリケーションを継続運用できるようにしたことを特徴としている。業務アプリケーションの例としてWeb3階層のWebアプリケーションシステムを挙げているが、リソース上に動的配備を行うことにより業務アプリケーションを実行できる環境であればよく、必ずしも同じでなければならないことではなく、本実施形態以外の構成による業務アプリケーションであってもかまわない。
また、本実施形態のように動的配備するシステムだけでなく、ポリシー制御により業務アプリケーションを継続実行するシステムであれば本発明は適用可能である。
なお、ポリシー実行処理の具体例については後記する。

<マネージャ>
図4は、本発明の実施形態に係るマネージャ101を構成するモジュール及びテーブルの構成例を示す図面である。また、図中の矢印は、各モジュールとテーブルの関連を示している。
マネージャ101が備えるモジュールとして、業務アプリケーションの実行管理を行う業務アプリケーション制御部403、業務アプリケーションに設定されるポリシーの実行制御を行うポリシー制御部404、ポリシーアクション実行時の対象となるリソースを検索するためのリソースブローカ部406、リソースの負荷状況の取得を行う負荷状況調査部408、ポリシーアクション実行時の影響を調査する影響範囲調査部409、ジョブ実行状況やポリシーアクションを実行の実行状況を表示する表示部411及び各リソースの利用状況を定期的に収集する利用率収集部415がある。

また、以上の各モジュールが利用するテーブルとして、業務アプリケーションを識別するためのIDと名称により実行中の業務アプリケーションを管理する業務オブジェクトテーブル402、業務アプリケーションに発生した事象と、その事象によりどのような対処処置を行うかを記述したポリシーアクション記述(対処処置をポリシーアクションと呼ぶ)を管理する業務ポリシーテーブル405、及びリソースをオブジェクト化しリソースを識別するためのIDとリソース毎の属性と属性値を管理するリソースオブジェクトテーブル407を備える。

さらに、業務アプリケーションを構成する業務構成オブジェクトがリソースの上で動作するときのリソース内のサブリソース(リソースを構成する「CPU」「メモリ」等をサブリソースと定義する)毎に定義された利用率(「ユーザ定義の利用率」)、又はエージェント104から実際に収集した利用率(「利用率測定部による利用率」)を管理するリソース利用率テーブル410、業務アプリケーションと業務アプリケーションを構成する業務構成オブジェクト、さらには業務構成オブジェクトが実際に利用するリソースとの関連情報を管理する業務構成テーブル412、マネージャ101が備える各モジュールが動作を制御するため情報を管理する業務ポリシー実行パラメータテーブル414、及び業務アプリケーションと業務構成オブジェクトの関連情報およびその属性情報を管理する業務構成オブジェクト属性テーブル413がある。なお、リソース利用率テーブル410のサブリソースは表に定義してある項目に限定されることなく、業務アプリケーション間の指標となる項目があれば追加可能である。また、業務アプリケーションに応じて、参照する項目をあらかじめ定義しておくことも可能である。
なお、前記した各モジュールや各テーブルは、図3に示す機器構成におけるメモリ305や記憶装置306に配置され利用される。また、各テーブルの詳しい構成及びそれに格納される情報の例については、別途図を参照して後記する。また、マネージャ101が備える各テーブルは、特許請求の範囲の記憶部に相当している。

また、前記のテーブルのうち、業務構成テーブル412(図17に示して後記)及びリソース利用率テーブル410は、特許請求の範囲のリソース利用率情報に相当し、業務ポリシーテーブル405は、特許請求の範囲のポリシー情報に相当している。

<エージェント>
図5は、エージェント104のモジュール構成例を示す図面である。
エージェント104は、リソースの状態変化を認識するための状態監視と状態の変化(過負荷、障害等)となったときにイベントメッセージを送信する状態監視部502、リソースの負荷状況を定期的に収集する利用率測定部503を備える。各モジュールは、図3に示す機器構成におけるメモリ305や記憶装置306に配置され利用される。エージェントにおいても制御に必要なテーブル(例えば初期設定用のテーブルや何の項目について測定中であるかを示すテーブル等)を持つ必要はあるが、本発明の本質ではないためモジュールのみの説明を行い、各モジュール固有の機能等についての説明は省略する。

<マネージャとエージェントのインタラクション>
図6は、マネージャ101とエージェント104とのインタラクションを示している。マネージャ101側は、稼働する業務アプリケーションのポリシー実行の起点となるためのトラブル兆候の状態を得る必要があるため、ポリシー制御部404から業務アプリケーションの状態監視の指示を状態監視部502に対して行い、状態に何らかの変化があった場合は、状態監視部502が状態変更のイベントメッセージを送信し、ポリシー制御部404がイベントメッセージを受け取り、ポリシー制御処理の実行を開始する。

また、ポリシー制御処理を行う際の要素として業務アプリケーション及びリソースに関する利用率を収集する必要があり、負荷状況調査部408及び利用率収集部415から利用率取得の指示を利用率測定部503に対して行い、エージェントにて取得した利用率情報を利用率測定部503から送信し、負荷状況調査部408及び利用率収集部415が受け取り、テーブルに利用率の値を格納する。テーブルに格納された利用率の値をポリシー制御処理において参照する。
なお、図6においては、状態監視部502がエージェント側にある構成を示しているが、マネージャ101側に状態監視部502を持ち、マネージャ101側から利用率を定期的に収集し、状態の変化を判定するようなポーリング型のインタラクションであってもよい。

<影響範囲の調査方法及びポリシーアクション>
図7は、業務アプリケーション、業務アプリケーションを構成する業務オブジェクト、及びリソースのオブジェクトモデルの関係を示した図面である。業務アプリケーションを示す参照符号701の「G0000001」は、業務構成オブジェクトを示す参照符号702の「A0000001」、参照符号703の「A0000002」、参照符号704の「A0000003」により構成されている。参照符号702の「A0000001」、参照符号703の「A0000002」、参照符号704の「A0000003」は、それぞれリソースのオブジェクトを示す参照符号709の「R0000001」、参照符号711の「R0000002」、参照符号713の「R0000003」を使用して稼動していることを矢印で示している。この関係は、図2に示した業務システムに対応させると、参照符号702の「A0000001」がWebサーバ201、参照符号703の「A0000002」がAPサーバ202、参照符号703の「A0000003」がDBサーバ203を例えてモデル化しており、1つの業務サービスを構成していることを示している。

また、別の業務アプリケーションを示す参照符号705の「G0000002」は、業務構成オブジェクトを示す参照符号706の「A0000004」、参照符号707の「A0000005」、参照符号708の「A0000006」により構成されており、参照符号706の「A0000004」、参照符号707の「A0000005」、参照符号708の「A0000006」は、それぞれリソースオブジェクトである参照符号710の「R0000004」、参照符号712の「R0000005」、参照符号713の「R0000003」を使用して稼動することを矢印で示している(本図では、業務アプリケーション「G0000001」と「G0000002」とでリソースを共有しているが、必ずしも「G0000001」と「G0000002」とは同一の性質を持つ業務サービスとは定義しない。)。
また、業務アプリケーション「G0000001」と「G0000002」とは、リソース「R0000003」を共有していることを示す。これら業務アプリケーションを構成する業務構成オブジェクトは、多種多様なリソースが存在するリソースのプールの中から選ばれた(リソースブローカリング)リソースに対して動的に配備され実行するものとする。なお、業務アプリケーションと業務構成オブジェクト、業務構成オブジェクトとリソースの関係は後に記述する業務構成テーブル412と業務構成オブジェクト属性テーブル413にて情報を保持している。

図8は、図7に示す構成における影響範囲の調査方法を説明する図面である。ここでは、業務アプリケーション「G0000001」において過負荷の現象が発生し、業務アプリケーションを継続実行するためのポリシー制御処理で、ポリシーアクション処理がまさに実行されている状況であり、ポリシー制御処理において過負荷の状況であること確認し、それに対処するポリシーアクションとして、参照符号801の「A0000001」には参照符号802に示す「A0000001」を追加し、参照符号803の「A0000002」には、参照符号804に示す「A0000002」をそれぞれ追加することにより、それまで利用していたリソースで処理しきれない処理分をスケールアウトにより負荷分散を実行しようとしていることを示している。
ここで、参照符号802の「A0000001」の配備・実行先がリソースをブローカリングした結果から参照符号810の「R0000004」となり、参照符号804の「A0000002」の配備・実行先はリソースをブローカリングした結果から参照符号812の「R0000005」となったこととする(矢印で関係を示している。)。

ここでのリソースのブローカリングでは利用するリソースをできるだけ共用し有効活用をはかるため、共有リソースを検索条件とする。スケールアウトによる業務アプリケーションの影響を調査するため、参照符号810の「R0000004」上で動作する業務構成オブジェクトである参照符号806の「A0000004」のリソースの利用率と、参照符号802の「A0000001」の負荷分散分のリソース利用率との合算値から、スケールアウトの実行が妥当かどうかを判断する。
また、参照符号812の「R0000005」上で動作する業務構成オブジェクトである参照符号807の「A0000005」のリソースの利用率と、参照符号804の「A0000002」の負荷分散分のリソース利用率との合算値から、スケールアウトの実行が妥当かどうかを判断する。

さらに、同時に業務アプリケーション「G0000001」のポリシー制御の実行が他の業務アプリケーションへ与える影響を判断するために「G0000002」との共有リソースである参照符号813の「R0000003」の負荷状況確認も合わせて行う。各リソースにおいて、リソースを利用する業務構成オブジェクト分のリソース利用率の合算値を求め、利用率の合算値が当該リソースで処理できる範囲以上(本実施形態では100としたが、任意に設定可能)になった場合は、既に正常に稼働している他業務へ影響があることを判断する。また、例えば、参照符号810の「R0000004」、参照符号812の「R0000005」のリソースが高いスペックであって、仮にスケールアウトに成功しても、参照符号813の「R0000003」のリソースが必要最小限のスペックで動作していた場合において影響を及ぼすことも考えられることから、業務アプリケーション間で共有し使用するリソースに対しても影響が発生しているかどうかを利用率により判断する。

ここで、利用率は、リソースを構成するサブリソースである「CPU」「メモリ」等、サブリソースごとに利用率の合算値を求めて判断する。例えば「G0000001」「G0000002」の業務アプリケーションがまったく異なる処理形態であれば、それぞれの業務アプリケーションが個別のサブリソースを利用するため、同一リソース上で並行動作しても業務アプリケーションは続行可能であり、同様の処理形態であればリソース内の同一のサブリソースを利用するため競合が発生し、共有化が難しくなることが判断できる。

ここでは例として2つの業務アプリケーションがリソースを共有するケースを挙げているが、3つ以上の業務アプリケーションがリソースを共有するシステムであってもかまわない。

<処理の流れ>
以下に、図4に示したマネージャ101における処理の流れを、各機能部の処理手順を示すフローチャートを参照しながら説明する(適宜、図4参照)。マネージャ101が動作する前提として、いくつかのテーブルにはあらかじめ情報が格納されている。まず、予め情報が登録されたテーブルの例を説明する。

図9は、業務オブジェクトテーブル402に格納された情報の例を示す図面である。図9に示した業務オブジェクトテーブル402には、業務アプリケーションを識別するための業務ID901と、それに対応する業務アプリケーションの名称902が格納されている。図9に示した例では、3つの業務アプリケーションを示す業務ID901の「G0000001」から「G0000003」と、それに対応する業務アプリケーションの名称902が格納され、現在実行されている業務アプリケーションを示している。また、この業務オブジェクトテーブル402には、実行する必要のあるジョブの数だけエントリが追加される。903にはその業務アプリケーションが提供するサービスのSLO(Service Level Object:サービスレベル目標)を格納する。ここで、SLOの内容は、SLA(Service Level Agreement)、つまり、事業者が利用者にサービスの品質を保証する内容の項目であり、SLOの内容とSLAとは対応している。903の項目をSLAにおけるサービスレベルといった要求事項としてもよい。
なお、業務アプリケーションに関する情報を表示したい場合には名称902以外の属性を示す列情報を追加してもよい。

次に、図10は、業務ポリシーテーブル405に格納された情報の例を示す図面である。図10に示した業務ポリシーテーブル405には、業務アプリケーションを示す業務ID1001が、事象1002の項目に示す事象が発生したとき(きっかけは、例えばエージェントからのイベントメッセージの通知等による。)、ポリシーアクション1003の項目に示すポリシーアクション(具体的な対処の実行方法)の情報が格納されている。1つの事象について、数パターンのポリシーアクションを優先度(本実施形態ではエントリ順)にしたがって設定できる。また、名称1004及び説明1005の項目には当該ポリシーを実行中である旨の表示をコンソール105に行う場合にポリシーアクションを識別できるための情報を格納する。

図10に示した例では、業務の「G0000001」のポリシーアクションが設定されている。「G0000001」の事象として3つの事象「事象内容1」、「事象内容2」、及び「事象内容3」が挙げられ、「事象内容1」に対して優先順位が1から3までのポリシーアクションを設定し、「事象内容2」に対して優先順位が1から2までのポリシーアクションを設定し、「事象内容3」に対して優先順位が1から2までのポリシーアクションを設定している。

次に、図11は、リソースオブジェクトテーブル407に格納された情報の例を示す図面である。図11に示したリソースオブジェクトテーブル407には、リソースを識別するリソースID1101と、そのリソースの属性1102及びそのリソースの属性値1103が格納されている。図11に示した例では、リソースID1101が「R0000001」で示されるリソースと、そのリソースが持つ属性情報(属性1102及び属性値1103)を例として示している。
なお、図11では属性として、「CPU」、「CPUクロック数」等を示しているが、図11で示している属性に限定されず他の属性にも設定可能である。

次に、図12及び図13は、リソース利用率テーブル410に格納された情報の例を示す図面である。図12に示したリソース利用率テーブル410は、業務アプリケーションを構成する業務構成オブジェクトが、あるリソース上で動作したときのサブリソースの利用率を格納している。
このうち、参照符号1212で示したユーザ定義の利用率である「ユーザ見積もり利用率」1206には、業務構成オブジェクトがリソースを利用する場合の利用率の予想値を格納し、「日時指定のピークの利用率」1207には、指定した日時に利用率がある程度上昇することを見込んだ利用率の予想値を格納する。ここで、「日時指定のピークの利用率」1207のフォーマットの内容として、参照符号1201に示した例では「2006年10月25日の17:00〜20:00に40%の利用率であること」を示している。

また、実際にエージェント104から取得した利用率を示す参照符号1213の「利用率測定部による利用率」である「1hの平均利用率」1208には、過去1時間の稼働における利用率の平均値が格納され、「1day/1weekの利用率」1209には、過去一日もしくは一週間で稼働したときの利用率の平均値が格納され、「トータル時間の利用率」1210には、過去に稼働したトータルの時間における利用率の平均値が格納され、最大利用率1211には過去に稼働したなかで最大の利用率を格納する。特に「ユーザ定義の利用率」1212である「ユーザ見積もり利用率」1206の項目と、必要に応じて「日時指定のピークの利用率」1207の項目とはあらかじめ設定しておく必要がある。

また、図12に示した例では、業務アプリケーションを示す業務ID1202「G0000001」を構成する業務構成ID1203「A0000001」と、リソースID1204「R0000001」及び「R0000004」に対応するサブリソース種別1205である「CPU」、「メモリ」、「ディスク量」、「プリンタポート」、「ネットワークリソース」のそれぞれの利用率(1206、1207)を格納している。それぞれのサブリソースの利用率を設定する際には、業務アプリケーションの動作の評価時等に取得した利用率を蓄積し、この蓄積した利用率に基づいてサブリソースの利用率を設定することが望ましい(業務サービスの運用開始以降も再設定することも可能であるため、業務サービス運用において得た値を反映してもよい。)。また、ここでは「CPU」、「メモリ」、「ディスク量」、「プリンタポート」、「ネットワークリソース」等のサブリソースを挙げているが、この項目に限定している訳ではなく他の項目があってもよい。

次に、図14は、業務構成オブジェクト属性テーブル413に格納された情報の例を示す図面である。図14に示した業務構成オブジェクト属性テーブル413には、業務アプリケーションを構成する業務構成オブジェクトの属性として、業務ID1401、業務構成オブジェクト1402、名称1403、サブリソース種別1404、優先サブリソース種別1405、リレーション情報1406を設定する。名称1403には業務構成オブジェクトの名称を格納する。サブリソース種別1404には、業務構成オブジェクトが利用するサブリソースで利用率の評価に用いるサブリソースを格納する。優先サブリソース種別1405には、リソースの利用率の評価において(例えばポリシーの自動実行等において)優先的に評価を行うサブリソースの種別を格納する。リレーション情報1406には、業務オブジェクトを構成する業務構成オブジェクトの関連を示している。
図14に示した例では、業務構成オブジェクト属性テーブル413の一例として、業務アプリケーションを示す業務ID1401の「G0000001」は、業務構成オブジェクト1402の「A0000001」(Webサーバ)、「A0000002」(APサーバ)、「A0000003」(DBサーバ)により構成されていることを示す。ここで、業務ID1401「G0000001」の業務構成オブジェクトは、「A0000001」−「A0000002」−「A0000003」の関連を持っていることを示している。また、「A0000001」(Webサーバ)の利用率の評価の対象とするリソースは「CPU」と「メモリ」であり、このうち「CPU」を優先的に扱うリソースであることを示している。

次に、図15は、業務ポリシー実行パラメータテーブル414に格納された情報の例を示す図面である。図15に示した業務ポリシー実行パラメータテーブル414には、マネージャの各モジュールが動作する際の振る舞いを変更するために、業務ID1501と、パラメータ情報1502とが格納されている。
図15に示した例では、業務ID1501「G0000001」から「G0000003」を有する各業務アプリケーションに、業務アプリケーション独自のパラメータが設定されていることを示す。参照符号1503には、一例として業務ID1501「G0000001」のパラメータ情報1502を示す。ここでは、影響範囲の調査の際に、どの利用率を参照するのか、ポリシーの実行を画面に表示するか又は表示せずに利用率が最小な値となるリソ−スを自動的に選択し処理するのか、ポリシーの実行状況を表示する場合のリソースの表示順をどのように決めるのかのルールを格納している。

次に、以上に説明した各テーブルがマネージャ101に格納された状態で、図4に示したマネージャ101の動作について説明する。
まず、図16に示すフローチャートは業務アプリケーション制御部403における処理手順を示しており、業務アプリケーションの起動、停止を行う処理である。なお、1つの業務アプリケーション(ポリシー制御処理を含む)の起動を本実施例では1つのジョブとして扱うものとする。

図16に示すフローチャートの最初の処理は、ジョブの操作待ちの状態であり(ステップ1601)、何らかの操作があった場合にジョブの操作内容を判断する。ジョブの開始の場合(ステップ1602で‘Y’)は、ジョブの開始として業務アプリケーションの配備、起動を行う。また、業務アプリケーションのポリシー制御を起動するため、ポリシー制御部404を呼び出して、図18に示す処理を実行する(ステップ1604)。

この段階で、図17に示す業務構成テーブル412には、業務アプリケーションを構成する業務構成オブジェクトに関する情報として、業務ID1710、業務構成オブジェクト1711、利用するリソースID1712、負荷分散バランスレート1713が格納されている。図17に示した例は、2つの業務アプリケーションを構成する業務構成オブジェクトの内容を示している。業務ID1710の項目が「G0000001」の業務アプリケーションは、Web3階層のアプリケーションを示しており、業務構成オブジェクト1711の「A0000001」、「A0000002」、「A0000003」から構成されており、さらには、業務構成オブジェクトが実際に利用するリソースを示す、利用するリソースID1712について情報も格納する。「A0000001」から「A0000003」の業務構成オブジェクト1711は、それぞれ「R0000001」から「R0000003」の利用するリソースID1712を有するリソースを利用していることを示している。また、負荷分散バランスレート1713には、例えば、ある業務構成オブジェクトが複数のリソースに跨り並行して動作する場合に処理の分散率を格納するものである。この段階ではそれぞれの業務構成オブジェクトは1つのリソースを利用しているため、負荷分散バランスレート1713はすべて「100」となっている。

次に、ジョブの操作が開始ではなく(ステップ1602で‘N’)、ジョブの停止である場合(ステップ1603で‘Y’)は、ジョブの停止として業務アプリケーションの停止、破棄を行う。また、業務アプリケーションのポリシー制御を停止するため、ポリシー制御部404に対して停止メッセージを送信する(ステップ1605)。
なお、本システムでは、「開始」、「停止」以外のジョブの操作が行われる場合もあり(例えばジョブの表示等、ステップ1606で‘Y’)、その操作指示に応じた処理を行うこともできる(ステップ1607)が、本発明においては重要な部分ではないので詳細は省略する。
そして、一連の処理を終了後、再びステップ1601のジョブの操作待ち状態となる。以上、図16に示す業務アプリケーション制御部403の処理は、一般的にはジョブを開始したり、又は停止したりする画面がコンソール102(図1参照)上に表示されユーザが利用しやすい形態となっているが、本発明においては重要な部分ではないので説明は省略する。

次に、図18に示したフローチャートは、ポリシー制御部404における処理手順を示しており、業務アプリケーションのポリシーの実行制御を行う処理である。
最初の処理は、当該業務アプリケーションが異常な状態にないかを監視するため、エージェントの起動を行い(ステップ1801)、さらに業務アプリケーションを構成する業務構成オブジェクトのリソースの利用率を取得するため、利用率収集部415を呼び出す。そして、エージェント104からのイベントメッセージの通知、または業務アプリケーション制御部403からジョブの停止メッセージの通知を待つ(ステップ1802)。なお、本実施形態においては、エージェントからのイベントメッセージは過負荷状態のイベントメッセージ内容とする(障害イベントのケースは別途説明する)。

ここで、図19に示したフローチャートは、利用率収集部415における処理手順であり、利用率収集部415は、ポリシー制御部404の呼び出しにより起動し、業務アプリケーションを構成する業務構成オブジェクトが利用するリソースのサブリソースごとの利用率を、リソース利用率テーブル410(図12参照)のサブリソース種別1205である「CPU」、「メモリ」、「ディスク量」、「プリンタポート」、「ネットワークリソース」について、「1hの平均利用率」1208、「1day/1weekの利用率」1209、「トータル時間の利用率」1210、「最大利用率」1211の取得方法に従って、エージェント104を介して取得する処理を行う(ステップ1901)。ここではリソース利用率テーブル410(図12参照)に基づいて値を取得しているが、その他の監視項目についても取得可能である。

図18に戻って、業務アプリケーション制御部403からジョブの停止メッセージがあった場合は(ステップ1803で‘停止要求’)、エージェントを停止し、本処理を停止する(ステップ1805から‘End’へ)。エージェント104からのイベントメッセージの通知の場合は(ステップ1803で‘イベント受信’)、業務アプリケーションが提供するサービスのSLO(Service Level Object:サービスレベル目標)が達成されているか否かを判断する(ステップ1804)。
ここで、SLOが達成されている場合は(ステップ1804で‘Y’)、イベントメッセージの通知を無視して再度、ステップ1802に戻って待ち状態となる。SLOが達成されていない場合は(ステップ1804で‘N’)、本業務アプリケーションを構成する業務構成オブジェクトが利用するリソースでの業務構成オブジェクトのリソース利用率を求めるため、負荷状況調査部408を呼び出す(ステップ1806)。

ここで、図20に示したフローチャートは、負荷状況調査部408における処理手順であり、負荷状況調査部408は、ポリシー制御部404の呼び出しにより起動し、指定された業務アプリケーションの業務構成オブジェクトが利用するリソースのサブリソースごとの利用率(例えば「CPU」、「メモリ」、「ディスク量」、「プリンタポート」、「ネットワークリソース」)を、エージェント104を介して取得することで、エージェント104から、当該リソースまたはそのリソース上の業務オブジェクトの負荷状況を取得する処理を実行する(ステップ2001)。
なお、前記のように、負荷状況調査部408及び利用率収集部415の動作はほぼ同様であるため、1つの動作部としてもよい。このため、特許請求の範囲の「利用率収集部」は、負荷状況調査部408及び利用率収集部415に相当している。

図18に戻って、ステップ1806で、負荷状況調査部408から得られた業務アプリケーション(業務構成オブジェクト)の詳細な負荷状況に応じて、業務ポリシーテーブル405(図10参照)から実行するポリシーアクション1003(ポリシー制御処理における具体的な対処処理)を取得し、ポリシーアクションの対象となる候補のリソースを取得するため、リソースブローカ部406を呼び出す(ステップ1807)。

ここで、図21に示したフローチャートは、リソースブローカ部406における処理手順であり、リソースブローカ部406は、ポリシー制御部404の呼び出しにより起動し、ポリシーアクションの対象となるリソースを、呼び出し元の指定に従いリソースオブジェクトテーブルから検索して、決定する処理を行う(ステップ2101)。システムが過負荷の状況であるとすると、リソースを追加するスケールアウトによる対処と判断し、スケールアウトの対象とするリソースの条件として、リソースの有効活用を目的に他の業務アプリケーションも利用している共有リソースであることを優先的な条件とする(さらには付帯条件として検索するリソースの特定の属性値を盛り込んだ条件を木目細かに設定することも可能である。また、その内容はポリシーアクション記述に記載されているものとする。)。ここで、ポリシーアクションの対象となるリソースの数は1つと限らず2つ以上のリソースが候補として挙げられることもある。

図18に戻って、リソースブローカ部406において、対象となるリソースが決定したら、ポリシーアクションの実行による他の業務アプリケーションへの影響を検証するため、影響範囲調査部409を呼び出す(ステップ1808)。なお、影響範囲調査部409における処理は後記する。

後記する影響範囲調査部409における処理において、仮にポリシーアクションの実行による影響が見られる場合は、「A」に移動し第2候補以降のポリシーアクション記述を求めて、ステップ1806の処理から再実行する。
また、影響が見られない場合は処理を継続し、ポリシーアクションを実行する(ステップ1809)。そして、SLOを達成したか否かを判定する(ステップ1810)。
ここで、SLOが未達成である場合は(ステップ1810で‘N’の場合)、ステップ1806ないしステップ1810の処理を繰り返す。
一方、SLOが達成されたと判断すると(ステップ1810で‘Y’の場合)、再びステップ1802のエージェントからのイベントメッセージの通知又は業務アプリケーション制御部からジョブ停止要求の通知の待ち状態となる。
SLOの達成は、ポリシーアクションを実行した業務アプリケーションだけでなく、念のためリソースを共有する業務アプリケーション側について検証してもよい。
なお、ステップ1809によるポリシーアクションの実行が100%正しい処置であるならば、ポリシーアクション後における業務アプリケーションのSLO達成の検証は不要であるため、ステップ1810の処理を実行しないことも可能である。

ここで、正しくポリシーアクションが行われた場合、ポリシー制御部404は、業務構成テーブル412を、実行したポリシーアクションに沿って更新する。一例として図22に、ポリシーアクションを実行する前と、実行した後で業務構成テーブル412に格納された情報の例を示す。参照符号2201で示した業務構成テーブル412は変更前で、参照符号2202で示した業務構成テーブル412は変更後である。
参照符号2202で示した業務構成テーブル412は、ポリシーアクションとして、「A0000001」の業務構成オブジェクトのスケールアウトによる対処が行われたため、「A0000001」が、2つのリソースを利用することになり、2つのリソース間の負荷分散バランスレート1713として50%を設定していることを示している。リソースの1つは、「R0000001」であり、もう2つは参照符号2203に示すようにポリシーアクションの対象としたリソースIDが設定される(図中では仮のリソースとして「Rxxxxxxx」とした)。

次に、図23、図24及び図25のフローチャートは、影響範囲調査部409における処理手順であり、影響範囲調査部409は、ポリシー制御部404の呼び出し(図18のステップ1808)により起動し、ポリシーアクションの対象となるリソースの追加により、他の業務アプリケーションに影響を与えるかどうかを調査する処理である。
まず、ポリシーアクションの対象となるリソースを利用している業務構成オブジェクトを業務構成テーブル412から取得する。そして、業務構成オブジェクトにより構成される業務オブジェクトを業務構成テーブル412から取得する。次に、業務オブジェクトを構成する業務構成オブジェクトと業務構成オブジェクトが利用するリソースを業務構成テーブル412から取得する(ステップ2301)。
つまりは、ポリシーアクションの対象となるリソース上で動作する業務アプリケーションの業務構成オブジェクトと、業務アプリケーションが使用するすべてのリソースを求める。なお、当該リソースを利用する業務構成オブジェクトが複数存在する場合は、すべての業務構成オブジェクトについて求める。

次に、ポリシーアクションによる影響範囲の特定をどのように行うかを、業務ポリシー実行パラメータテーブル414から求める(ステップ2302)。この結果、現在の負荷状況から利用率の取得を行う場合(ステップ2303で‘現在の負荷状態を取得’)、ステップ2301で取得したポリシーアクション対象のリソースにおける業務構成オブジェクトが利用するサブリソースごとの利用率を、負荷状況調査部408(図20参照)を呼び出して取得する(ステップ2305)。対象となるサブリソースは、業務構成オブジェクトが利用するサブリソースとする。業務構成オブジェクト属性テーブル(図14参照)で定義された業務構成オブジェクトに対応するサブリソース種別(1404)から求める。

一方、リソース利用率テーブル410から利用率の取得を行い(ステップ2303で‘リソース利用率テーブルから取得’)、リソース利用率テーブル410の「利用率測定部による利用率」1213(図12参照)の項目から利用率を取得する場合(ステップ2304で‘N’)、ステップ2301で取得したポリシーアクション対象のリソースにおける業務構成オブジェクトが利用するサブリソースごとの利用率をリソース利用率テーブル410の「利用率測定部による利用率の項目」1213のうち、「1hの平均利用率」1208、「1day/1weekの利用率」1209、「トータル時間の利用率」1210、最大利用率1211のいずれか、もしくはすべての項目について、業務構成オブジェクトとリソースとの組み合わせから求める。これにより、ステップ2301で取得した業務構成オブジェクトと、そのリソースの利用率をリソース利用率テーブル410から取得する(ステップ2306)。対象となるサブリソースは、業務構成オブジェクトが利用するサブリソースとする。業務構成オブジェクト属性テーブル(図14参照)で定義された業務構成オブジェクトに対応するサブリソースから求める。

もしくは、リソース利用率テーブル410から利用率の取得を行い(ステップ2303で‘リソース利用率テーブルから取得’)、リソース利用率テーブル410の「ユーザ定義の利用率」1212の項目から利用率を取得する場合(ステップ2304で‘Y’)、ステップ2301で取得したポリシーアクション対象のリソースにおける業務構成オブジェクトのサブリソースの利用率をリソース利用率テーブル410の「ユーザ定義の利用率」1212の項目のうち、「ユーザ見積もり利用率」1206、「日時指定のピークの利用率」1207のいずれか、もしくはすべての項目から利用率を、業務構成オブジェクトとリソースの組み合わせから求める。ただし、求めた利用率は、業務構成テーブル412(図17参照)に格納された業務構成オブジェクト1711の負荷分散バランスレート1713の割合による値とする(ステップ2307)。このとき、対象となるサブリソースは、業務構成オブジェクトが利用するサブリソースとする。業務構成オブジェクト属性テーブル(図14参照)で定義された業務構成オブジェクトに対応するサブリソース種別(1404)から求める。

次に、ステップ1806でのポリシーアクションを実行した業務構成オブジェクトがポリシーアクション対象となるリソースを利用した場合のサブリソースごとの利用率をリソース利用率テーブル410の「ユーザ見積もり利用率」1206から求めて(ただし、ステップ2302のように、業務ポリシー実行パラメータテーブル414(図15参照)に振る舞いを保持し、ユーザ見積もり利用率以外の利用率から求めることも可能)、ステップ2305、ステップ2306、及びステップ2307で求められたサブリソースごとの利用率を足して利用率の合算値を求める(ステップ2308)。
ここでは一例として、業務によりリソースの中の使用する箇所が異なることを考慮してサブリソースである「CPU」、「メモリ」、「ディスク量」、「プリンタポート」、「ネットワークリソース」について合算を行う。ただし、対象となるサブリソースは、業務構成オブジェクトが利用するサブリソースとする。業務構成オブジェクト属性テーブル(図14参照)で定義された業務構成オブジェクトに対応するサブリソース種別(1404)から求める。

ここで、ステップ1806で求める業務構成オブジェクトのサブリソースの利用率については、ステップ1807で実施するポリシーアクションにおいて設定した負荷分散バランスレートの割合を適用する。例えばスケールアウトによる対処であれば、追加するリソースの数に応じて処理の負荷分散バランスレートを設定するはずであり、利用率をその負荷分散バランスレートの割合により算出する。例えば、リソース利用率テーブルのサブリソースの一つである「CPU」に示す利用率が60%であって、負荷分散バランスレートが50%であれば利用率は30%とみなす。
また、ステップ1807で得たポリシーアクションの対象となるリソースの候補が複数ある場合は、ステップ2301からステップ2308の処理をリソースの数分だけ実行する。このため、すべてのポリシーアクション対象のリソースについて処理をしたか否かを判定し(ステップ2309)、すべての処理が終了するまで、ステップ2301の処理に戻る。すべてのリソースにおける利用率を求めたら、「B」の処理である図24のフローチャートへ処理を進める。

次に、図24に示したフローチャートの最初の処理として、ポリシーアクションにおける他の業務アプリケーションへの影響確認を自動実行の指定を(ポリシーアクションまで処理するか否か)、業務ポリシー実行パラメータテーブル414から求める(ステップ2401)。ここで、ポリシーアクションまで自動的に行う場合(ステップ2402で‘Y’)は、ステップ2308(図22参照)で求めた各サブリソースの利用率の合算値が、すべて100を超えるか否かを判断する(ステップ2404)。
各サブリソースの利用率の合算値がすべて100を超える場合は(ステップ2404で‘Y’)、図18のポリシー制御部404が実行するフローチャートの「A」に戻り、第2候補以降のポリシーアクションを実行する。
なお、本実施形態では、ステップ2404の判定で、利用率の合算値が「100」を超えるか否かを判定したが、この値は任意に設定可能なしきい値であり、システム管理者等がシステムの安全性を考慮して決定することもできる。

また、ポリシーアクションとして複数の業務構成オブジェクトに対する処理が必要となった場合、かつステップ1807で複数のリソースが候補となっている場合には、各サブリソースの利用率の合算値が100を超えていないリソースで、かつ業務構成オブジェクト属性テーブル413(図14参照)の優先サブリソース種別1405に設定したサブリソース(例えば、Webサーバであれば「CPU」を設定する等。)で、このサブリソースの利用率の合算値が最小となるリソースを最適リソースとして選択して、最適リソースの組み合わせを選択し(ステップ2407)、「C」の処理である図25のフローチャートへ処理を進める。

また、ポリシーアクションを自動的に行わない場合(ステップ2402で‘N’)は、ポリシー実行による影響範囲の表示を、表示部411を呼び出して行う(ステップ2403)。ここで、図26に示したフローチャートは、表示部411における処理手順であり、表示部411は、コンソール102に表示する情報を出力する(ステップ2601)。
ここで、表示部411が表示する内容は、第1にポリシーアクションを実行した業務アプリケーションの業務オブジェクト、業務構成オブジェクト、及び業務構成オブジェクトが利用するリソースであり、第2にポリシーアクションの対象候補となるすべてのリソースと属性、そのリソースを利用している業務アプリケーションの業務オブジェクト、業務構成オブジェクト、業務オブジェクトの属性である。第1及び第2の業務オブジェクトの表示には業務構成オブジェクト属性テーブル413(図14参照)を参照して業務アプリケーションの形態を表示する。また、業務オブジェクトとリソースとの関係は、業務構成テーブル412(図21参照)を参照し表示する。

さらに、表示部411が表示する内容は、第3に、ポリシーアクションの対象となるすべてのリソースにおけるサブリソースごとの利用率の合算値であり、第4に、第3に表示するリソースにおいて、サブリソースごとの利用率の合算値に応じた表示(例えば、100以上で赤色、80〜99で黄色)である。業務構成オブジェクト属性テーブル(図14参照)のサブリソース種別1404に示すサブリソースのみを表示しても良い。さらに、第5に、第2のリソースの表示において、リソースの名称等属性に依存した表示順の他に、第3に表示したリソースにおけるサブリソースごとの利用率の合算値で、業務アプリケーションの優先項目に基づいたリソース順の並べ替えや優先表示する。業務アプリケーションによっては使用するリソース(サブリソース)に偏りがあるため、あらかじめ業務構成オブジェクト属性テーブル413(図14参照)の優先サブリソース種別1405に優先的に表示する項目を設定しておく(例えばWebサーバであれば「CPU」を設定する等)。
なお、以上の表示例を図27及び図28に示し、その説明は後記する。

次に、表示と同時にポリシーアクションを実行可否の待ちとなり、ステップ2403における表示結果を参照した上で選択された、ポリシーアクション対象となるいずれかのリソースを選択する情報の取得待ちになる(ステップ2405)。そして、リソースを選択する情報を取得すると(ステップ2406で‘Y’)、ポリシーアクションを実行するために、「C」の処理である図25のフローチャートへ処理を進め、リソースを選択する情報を取得しない場合は(ステップ2406で‘N’)、図18に示したフローチャートの「A」に戻り第2候補以降のポリシーアクションを実行する。

次に、図25に示したフローチャートにおいて最初の処理として、図24に示したフローチャートのステップ2405またはステップ2407での処理で求められたリソースを使用する業務アプリケーションが使用するすべてのリソースと、ポリシーアクションを実行した業務アプリケーションが使用しているすべてのリソースのうち、共有しているリソースについてのサブリソースごとの利用率を求め、共有するリソースの負荷状況を求める(ステップ2501)。また、この求めた負荷状況を、表示部411を呼び出してコンソール102に表示することもできる。
ここで、リソースから業務オブジェクトを求めるには、これまでと同様に業務構成テーブル412(図22参照)を参照し求める。また、利用率は、図18に示したフローチャートのステップ1806で求めた利用率と、図23と同様にリソース利用率テーブル410からそれぞれ求める。本処理はポリシーアクションの実行により共有利用しているリソースに影響がないかどうかを確認するものである。ポリシーアクションを自動的に実行しない設定を行っている場合は、表示部411を呼び出してコンソール102に、求めた利用率をコンソール102に表示してもよい。なお、その表示例を図33に示し、その説明を後記する。

次に、ステップ2501において共通するリソースが存在し、サブリソースごとの利用率の合算値のうち100を超えるサブリソースがあり(ステップ2502で‘Y’)、ポリシーアクションを自動的に実行する設定の場合は(ステップ2503で‘Y’)、図18に示したフローチャートの「A」に戻り、第2候補以降のポリシーアクションを実行し、ポリシーアクションを自動的に実行しない設定の場合は(ステップ2503で‘N’)、ポリシーアクションが現在の設定では正しく行われない旨の警告メッセージを、表示部411を呼び出して表示する(ステップ2504)。そして、第2候補以降のポリシーアクションを実行するか否かを判断し(ステップ2505)、第2候補以降のポリシーアクションを実行する場合は、図18に示したフローチャートの「A」に戻り、実行しない場合は図24の「D」の処理へ進み、ポリシーアクション対象のリソースの選択をやり直す。

そして、ステップ2501で得たリソースの利用率の合算値が100を超えるリソースが無い場合(ステップ2502で‘N’)、図18に示したフローチャートのステップ1809に戻りポリシーアクションの実行を行う。

<日時指定の利用率による評価>
図12に示すリソース利用率テーブル410において、「日時指定のピークの利用率」1207の列として日時指定の利用率を設定するようにしてあり、設定される内容を参照符号1201に一例として示している。ここでは、ある日時、ある曜日、期間、もしくはある時間帯において、高い利用率で利用することを示している。ここで示すフォーマットは一例であり、例えばセパレータ記号の種別により、複数の期間や時間を設定することも可能である。したがって当該業務システムがそのリソースを利用する時間帯に合わせて評価する。時間帯がテーブル内の時間帯に重なる場合には、テーブルに設定された利用率を適用する。時間帯が合わない場合には利用率を0%として扱う。
また、将来的な利用率の評価の方法として、当該業務アプリケーションが将来的に高い利用率でサブリソースを使用することが分かっている場合は、その将来の高利用率での時間帯とテーブル中にある日時指定の時間帯と一致するかどうかを判断した上で利用率の合算による評価を行い、当該リソースの利用を判断することもできる。

<画面表示例>
図27に、図23に示したフローチャート2303の処理における画面の表示例を示す。参照符号2701で示す画面では、「業務1」の業務アプリケーションで過負荷の状態を検知しスケールアウトのポリシーを実行しようとしている状況である。
図27を参照して、「業務1」2702を構成する業務構成オブジェクトとして「Web server」2703、「AP server」2704、及び「DB server」2705のアイコンがあり、参照符号2701に示す画面の左側に示されている。この左側の部分には、業務を構成する業務構成オブジェクトの一覧を表示する。さらに、ポリシーアクションが必要な業務構成オブジェクトには強調表示し分かりやすいように表示する(図27では、「Web Server」2703と「AP Server」2704とを強調表示している)。

また、参照符号2701で示す画面の右側には追加対象の候補であるリソース一覧のアイコンを示している。ここでは、「業務1」を構成する「Web server」2703及び「AP server」2704について、それぞれスケールアウトを試みようとしており、「Web server」2703には「ComputerA」2706、「ComputerB」2707、「ComputerC」2608が追加の候補、「AP server」2704には、「ComputerD」2709、「ComputerE」2710が追加対象の候補であることを示している。

参照符号2701で示す画面において、リソース(例えば、2706、2707、2708)は、業務構成オブジェクトごとに設定された優先サブリソース種別(「CPU」「メモリ」「ディスク」等)の利用率の合算値が低い順番に左から右へ並べられる。これは、業務の安定稼働を考慮し利用率の合算値が低いリソースを優先的に表示し、左のソースほど最適リソースであることを示している。
また、サブリソースの利用率の合算値が100を超えている場合、又は100に近い値の場合にはアイコンそのものを赤色表示や黄色表示、もしくはアイコンの形状を変更する形にしてもよい。
また、表示順はリソースオブジェクトテーブル407(図11参照)から参照可能なリソースの持つ何らかの属性に従って変更することも可能である(業務ポリシー実行パラメータテーブル414(図15参照)に表示順を設定しておく)。

そして、参照符号2701で示す画面において、リソースを示すアイコン(2706、2707、2708、2709、2710)のいずれか1つを選択(マウスクリック)することで、ポリシーアクション対象のリソースを選択することになる。
例えば、「Web Server」2703の場合は、「ComputerA」2606から「ComputerC」2708のリソースのいずれかを、「AP server」2704の場合は、「ComputerD」2709または「ComputerE」2710のいずれかを選択する。画面の下部には次の制御を行うための「リソースを選択し次へ」ボタン2711と別のポリシーを選択する「別のポリシーを選択」ボタン2712とを配置していることを示している。ポリシーアクション対象のリソースを選択し、次の処理へ移行する場合は、「リソースを選択し次へ」ボタン2711を選択し、別のポリシーにより実行を行う場合は、「別のポリシーを選択」ボタン2712を選択する。

次に、図28は、図27に示した画面2701において、業務構成オブジェクトを示すアイコンやポリシーアクション対象のリソースのアイコンに対応した詳細情報をポップアップさせる画面例である。
図28に示した画面2801において、例えば、業務構成オブジェクトである「Web Server」からは、参照符号2802で示すように、オブジェクトの持つ属性情報や業務構成オブジェクトが使用するリソースやそのリソースの属性を表示することができることを示している。また、リソースのアイコンである「Computer D」からは、参照符号2803で示すように、利用率の合算値の内訳としてサブリソースごとの利用率の合算値を表示できること、リソースの属性情報、リソースを使用する業務構成オブジェクトと業務オブジェクトの構成情報、表示順の変更を指示できることを示している。
これらをポップアップさせる契機は、例えば、アイコンをマウスの右クリック等で、表示可能なメニューを表示し、メニューを選択することにより、ポップアップ表示する。
また、さらに詳細な情報を、他のポップアップウィンドウ等により表示することもできる(その一例として、利用率の内訳のポップアップ画面を図33に挙げ、その説明を後記する)。

図29は、図27または図28で選択されたポリシーアクション対象のリソースを使用する業務アプリケーションと、ポリシーアクションを実行した業務アプリケーションで共有するリソースについて利用率を表示する画面を示している。
図29に示した画面2901では、共有するリソースを使用している業務構成オブジェクトを、左側の業務構成オブジェクトのアイコンを強調表示することで示し、共有利用するリソースを右側のリソースのアイコンで表示していることを示している。例えば、「業務1」2902の実行中のポリシーの名称と構成する業務構成オブジェクトとして、「Web server」2903、「AP server」2904、及び「DB server」2905のアイコンがあり、画面2901の左側に表示している。ここで、共有リソースを利用する業務構成オブジェクトとして「DB server」2905を強調表示している。

また、画面2901の右側にはポリシーアクション対象としたリソースとして「Computer A」2906及び「Computer B」2907を強調表示し、対象外のリソースは薄く表示している(図29では破線で囲って示した「Computer B」、「Computer C」及び「Computer E」が該当する)。また、共有するリソースとして「Computer F」2908が新たに表示されたことを示している。
さらに、画面2901の下部には、次の制御を行うための「ポリシーアクションの実行」ボタン2909と別のポリシーを選択する「別のポリシーを選択」ボタン2910とを配置していることを示している。ポリシーアクションを実行する場合は「ポリシーアクションの実行」ボタン2909を選択し、別のポリシーにより実行を行う場合は「別のポリシーを選択」ボタン2910を選択する。本画面2901においても、図28に示した画面2801と同様に、各アイコンを右クリックによるメニューから属性等の表示を行うことができる。以上、図27ないし図29に示したように、本実施形態の表示画面(2701、2801、2901)により、共有リソースの利用率を確認の上で次の処理へ進むことができる。

<運用の具体例>
ポリシーアクションとしてスケールアウトによる負荷分散を行ったときの実際の運用例を以下に記載する。
図7に示すような業務アプリケーションを示すモデル「G0000001」があり、「A0000001」702、「A0000002」703、「A0000003」704の業務構成オブジェクトで構成されており、これらの業務構成オブジェクトは、図14に示した業務構成オブジェクト属性テーブル413の業務ID1401が「G0000001」の3つのエントリに示すように、Web3階層の業務アプリケーションを構成しているものとする。この業務アプリケーションを、図16に示したフローチャートに従ってジョブの実行を行った場合に、ステップ1601、ステップ1602、及びステップ1604の処理の順序でジョブとして実行される。このときの、業務構成オブジェクトの配備、実行先も、図17に示した業務構成テーブル412の業務ID1710が「G0000001」である3つのエントリに示すとおり、参照符号1714で示した「A0000001」の業務構成オブジェクトが「R0000001」のリソースに、参照符号1715で示した「A0000002」の業務構成オブジェクトが「R0000002」のリソースに、参照符号1716の「A0000003」の業務構成オブジェクトが「R0000003」のリソースに行われているものとする。

続いて、図18に示したフローチャートに従って、ポリシー制御が実行され、ステップ1801、ステップ1802の処理の順序でエージェントに対して、業務アプリケーションの状態変更の監視と業務構成オブジェクトごとにサブリソースの利用率の取得が行われる。しばらくして過負荷の状態が発生すると、エージェントからのイベントメッセージを受け取る(ステップ1803)。そのイベントメッセージから、ステップ1804においては業務のSLOを維持できない状態であることが判明し、ステップ1806の処理として、「A0000001」、「A0000002」、「A0000003」の業務構成オブジェクトが利用するリソースの利用率を求める。

また、ステップ1807の処理として過負荷が発生している状況と、ステップ1806で得たリソース(サブリソース)の利用率から、実行するポリシーを図10に示した業務ポリシーテーブル405から取得する。このとき取得したポリシーの記述内容は、業務構成オブジェクト「A0000001」のスケールアウトの実行であることとし、その実行対照となる候補のリソースを、リソースブローカ部406を呼び出し求める。ここでは、業務構成オブジェクト「A0000001」に対して、「R0000007」及び「R0000010」の2つのリソースが候補として得られたこととする(ちなみに過負荷の状態によっては。業務構成オブジェクトの「A0000002」、「A0000003」に対しても当然ながらスケールアウトのポリシー制御を実行できる)。

次に、1つ以上の得られたリソースの候補について、ステップ1808の処理として、ポリシーアクションにおける影響範囲調査を行うために、影響範囲調査部409を呼び出して、図23ないし図25に示した処理を実行させる。
まず、図23に示したフローチャートのステップ2301の処理として、リソース「R0000007」、「R0000010」を使用する業務構成オブジェクトを求める。そのため、「R0000007」、「R0000010」をキーとして、業務構成テーブル412(図22参照)を検索する。結果、業務構成オブジェクト「A0000008」、「A0000012」がそれぞれ得られることになる。また、同時にその業務オブジェクトが利用するすべてのリソースも求める。
ここでは、ステップ2302、ステップ2303、ステップ2304の処理の流れで、図12に示したリソース利用率テーブル410の「1hの平均利用率値」1508を用いて影響範囲調査を行うこととし、ステップ2306の処理として「R0000007」及び「A0000008」と、「R0000010」及び「A0000012」との組み合わせで、リソース利用率テーブルよりサブリソースごとの利用率の取得を行う。

ここで、図30及び図31は、リソース利用率テーブル410の他の例を示す図面である。この図30及び図31に示したリソース利用率テーブル410において、「R0000007」及び「A0000008」の利用率は、参照符号3101に示す部分であり、「R0000010」及び「A0000012」の利用率は、参照符号3102に示す部分から求められる。続いて、ステップ2308の処理として、ポリシーアクションを実行した業務アプリケーションの「A0000001」が、「R0000007」及び「R0000010」で動作するときのサブリソースごとの利用率を、リソース利用率テーブル410から取得し、ポリシーアクションにおける負荷分散バランスレートを仮に50%として求める(小数以下は四捨五入とする)。対象となるサブリソースは、業務構成オブジェクト属性テーブル(図14)に示すサブリソース種別にて定義されるが、本例においては「CPU」、「メモリ」、「ディスク量」、「プリンタポート」、「ネットワークリソース」が定義されているものとする。

図30における「R0000007」の場合は、参照符号3001に示す部分になり、「CPU」は15%、「メモリ」は10%、「ディスク量」は3%、「プリンタポート」は0%、「ネットワークリソース」は5%と算出でき、「R0000010」の場合は、参照符号3002に示す部分になり、「CPU」は25%、「メモリ」は15%、「ディスク量」は5%、「プリンタポート」は0%、「ネットワークリソース」は10%と算出できる。
この結果、「R0000007」の場合は、図30の参照符号3001で示す領域と、図31の参照符号3101で示す領域とから利用率の合算値を取得でき、「R0000010」の場合は、図30の参照符号3002で示す領域と図31の参照符号3102で示す領域とから利用率の合算値を取得できる。説明の都合上、「R0000007」、「R0000010」を合わせて説明したが、実際は、ステップ2301からステップ2308について、リソースごとに個別に処理を行っている。

次に、前記のように取得したサブリソースごとの利用率の合算値を元に、図24に示したフローチャートのステップ2403において表示を行う。例として図32に実行結果を示す。図32に示した画面3201では、「Web Server」3202のポリシー実行の対象リソースとして、「R0000007」3203か、「R0000010」3204のいずれかのリソースを利用率の結果から選択し、ポリシーアクションの実行を行う。また、合算したサブリソースごとの利用率のうち、値が100%を超える場合は、そのリソースの選択はできない。例えば、「R0000010」及び「A0000012」の組み合わせにおいて、サブリソースの「CPU」の利用率が70%以上になった場合に、「CPU」の利用率の合算値が100%を超えるため、画面3201において「R0000010」3204を選択することはできなくなる。
ここで、図33には、図32に示した「R0000007」3203のリソースの利用率の合算値を表示した画面例を示している。

次に、ポリシーアクションの実行を自動で行う場合のステップ2407(図24参照)の処理においては、業務構成オブジェクト属性テーブル413(図14参照)の優先サブリソース種別1405を業務構成オブジェクトの性質に合わせてあらかじめ設定しておけば、そのサブリソース種別の利用率の合算値から優先とするポリシー実行対象のリソースを自動的に求めることもできる(サブリソースごとの利用率が100%を超えてなく、指定したサブリソースの種別のうち、最小の利用率の合算値となるリソースを選択)。

次に、ステップ2501(図25参照)の処理としてポリシーアクション対象のリソースを利用する業務アプリケーションが利用する他のリソースと、業務構成オブジェクト「A0000001」以外の「A0000002」や「A0000003」等が利用するリソースのうち、共有するリソースについてサブリソースごとの利用率を評価する。そして、ポリシーアクションを実際に行った後には、業務構成テーブル412の更新を行う(その例を図22に示す。)。本実施形態では「A0000001」の業務構成オブジェクトのみをポリシーアクションの対象としたが、「A0000002」や「A0000003」等の業務構成オブジェクトも対象とすることができ、「A0000002」や「A0000003」等の業務構成オブジェクトに対して、複数のポリシーアクションの対象となるリソースの候補があった場合でも、これまでの説明のとおり、サブリソースごとの利用率の合算値を求めることができ、影響度を判断することができる。

以上、説明した本実施形態によると、複数のリソース構成からなる業務システムにおいて、ポリシー実行対象となるリソースを選択する際に同時に稼働している他の業務アプリケーションに影響を与えることないリソースを容易に選択するための情報を提供できるようになる。また、他の業務に影響を与えることないリソースを自動的に求めることもでき、自動的にポリシー制御を実行することもできる。
さらに、1つのリソースを構成するサブリソースごとの利用率を評価することにより、処理実行形態が異なる業務間でのリソース共有についても正確に影響を評価することが可能となる。
これにより、業務サービスの信頼性の向上及び稼働率向上を図ることができる。

なお、本実施形態では、リソースとサブリソースの関係を、コンピュータシステムとコンピュータシステムを構成する「CPU」や「メモリ」等とに適用したが、例えばリソースを扱う単位として、「データセンター」と「コンピュータリソース」、「ブレードサーバ」と「コンピュータリソース」等にも応用することができる。

以下に、第1実施形態の変更例を説明する。以下に示す変更例において、主要な構成は第1実施形態と同様であるため、その詳細な説明は省略する。また、図1ないし図26を適宜参照のこと。

[第2実施形態]
第2実施形態は、第1実施形態以外の他のトラブル現象におけるポリシー制御による実施形態である。
第1実施形態では、過負荷の状態によるスケールアウトを例にしたが、ポリシー制御実施には障害代替によるリソース入れ替えのポリシー制御もあり、第1実施形態に、4つの改造を施すことで具現できる。
第1、に状態変更のイベントメッセージに障害状態になった旨の情報を設定する。第2に、図18に示したフローチャートのステップ1806において業務アプリケーションを構成する業務構成オブジェクトのどの部分が障害の状態になっているかを求める。第3に、同じくステップ1807におけるポリシーアクションの選択においては障害代替のポリシーアクションが選択されることになり、サブリソースの利用率を求める際には業務構成テーブル412(図22参照)の業務構成オブジェクトにおける参照符号2213で示す負荷分散バランスレートを適用する。第4に、業務構成テーブル412の更新は、元々利用していたリソースのエントリを削除して障害代替のリソースをエントリする。
これにより、様々な事象に対処するポリシー制御技術に本発明を適用することが可能となる。

[第3実施形態]
第3実施形態は、リソース利用率テーブルの参照の自動切り替えを行う実施形態である。
第1実施形態では、リソース利用率テーブル410(図12、図30、図31参照)の参照方法を、あらかじめ業務アプリケーションごとに設定したパラメータにより選択するようにしていた。ここで、リソース利用率テーブル410では、ユーザがあらかじめ設定した利用率と実際に測定した利用率の両方を保持している。実際の業務において、業務運用の初期段階においては実際に測定した利用率が正しく入っていないことも考えられる。そのため、最初はユーザが設定した利用率を割り当て、運用がある程度順調に行われ信頼できる実績値として実際に測定した利用率が使えるようになったら、それを利用できるようにする。

そのためには、業務アプリケーションごとに設定する業務ポリシー実行パラメータテーブル414(図15参照)に、例えば、業務の累積した運用時間と合わせて、図12に示したリソース利用率テーブル410の「ユーザ定義の利用率」1212と「利用率測定部による利用率」1213とを切り替える設定ができるようにし、この設定を切り替える処理を、図23に示したフローチャートのステップ2302以降に設定することで具現できる。
また、業務アプリケーションが実行した累積の運用時間を業務オブジェクトテーブル402(図9参照)や業務構成オブジェクト属性テーブル413(図14参照)に1つの属性として保持する。この方法をとることにより、実際の運用形態により近い利用率の適用が可能となる。

[第4実施形態]
第4実施形態は、リソース利用率テーブルの自動更新を行う実施形態である。
第1実施形態では、実際のリソースを示すリソースオブジェクトの何らかの属性に変更が生じたときに、リソースオブジェクトテーブル407(図11参照)及びリソース利用率テーブル410(図12参照)の利用率の情報を自動的にアップデートする。
図1に示したマネージャ101とエージェント104とを常時接続するようにし、業務サーバ106のリソースの構成変更が生じた場合に、エージェントからマネージャにイベントメッセージを通知し、リソースオブジェクトテーブル407の属性1102や属性値1103及びリソース利用率テーブル410の利用率を更新する。例えば、サブリソースの「CPU」におけるCPUチップのアップグレード交換等の構成変更での利用率の変更は難しい(性能の比較テーブル等を設置すれば可能である)が、サブリソースの「メモリ」や「ディスク量」等容量をアップグレードする構成変更の場合は変更に比例して利用率の更新が可能である。これにより、ユーザがコンピュータのメンテナンスを実施した際にもリソースオブジェクトテーブル407及びリソース利用率テーブル410の両方を手動でメンテナンスする必要がなくなり、運用の手間が軽減される。

[第5実施形態]
第5実施形態は、ジョブ実行時(業務アプリケーションの配備)において本発明を適用する実施形態である。
第1実施形態では、ポリシーアクションを実行した際の対象となるリソースについて他業務への影響を調査したが、ジョブ実行時のリソースの確保においても、本発明を適用することができる。
第1実施形態ではポリシーアクションを実行した時点での実際の利用率をもとに影響度を判定する手順を有しているが、リソース利用率テーブル410(図12参照)での「ユーザ定義の利用率」1212の「ユーザ見積もり利用率」1206を用いることにより、ジョブを配備する際のリソースの決定時においても、他業務アプリケーションへの影響を判断することができる。これにより、ジョブ配備時にも、リソースの有効活用のための検証手段を与えることができる。

[第6実施形態]
第6実施形態は、ポリシーアクションとしてスケールアウトを実行する場合の負荷分散バランスレートの調整による利用率の合算値を調整する実施形態である。
第1実施形態では、スケールアウトのポリシーアクションにおいて、負荷分散バランスレートに基づいてサブリソースの利用率の算出を行っている。負荷分散バランスレートの比率によっては、サブリソースごとの利用率の合算の結果に影響があり、ポリシーアクションを実行できる可能性が生じる。
そのため、図24に示したフローチャートのステップ2403で、ポリシーアクションの対象となっているリソースのうち、サブリソースごとの利用率の合算値が100%を超えているものについて、ユーザの指示(例えば画面のボタン選択のタイミング)により、合算値が100%以上にならないよう、ポリシーアクション対象のリソースへの負荷分散バランスレートを徐々に下げていき最適な負荷分散バランスレートを求める。そして、最適な負荷分散バランスレートを画面上に表示し、ユーザの確認を得たのち、図18に示したフローチャートのステップ1809のポリシーアクション処理に得た負荷分散バランスレートをフィードバックする。
これにより、ポリシーアクションによる業務サービスの継続ができる手段を提供することができ、稼働率の向上につながる。

[第7実施形態]
第1実施形態では、業務構成オブジェクト属性テーブル413(図14参照)に、優先サブリソース種別1405を設定し、図24に示したフローチャートのステップ2407では優先サブリソース種別の利用率の合算値に基づいて、ポリシーアクションにおける追加するリソースの決定を行った。
業務種別が異なっていれば、主に利用するサブリソースも異なってくる考え方から、ステップ2407の処理で優先サブリソース種別の他に、異なる業務アプリケーションまたは異なる業務の業務構成オブジェクトが利用するリソースを選択することを、優先度を決めるもう1つの目安とする。
このためには、業務オブジェクトテーブル402(図9参照)、業務構成オブジェクト属性テーブル413(図14参照)に業務の処理形態を示す属性情報を設定し、ステップ2407におけるリソースの決定処理や、ステップ2403におけるリソースの表示順において属性を参照することで可能となる。以上のことも、ポリシーアクションによる業務サービスの継続ができる手段のひとつであり、業務サービスの稼働率の向上につながる。

[第8実施形態]
これまでは、ポリシーアクションの対象とするコンピュータシステムを選択する際にはコンピュータシステムを構成する各リソースの利用率の合算値から評価を行った。第8実施形態は、これに合わせて、対象となるコンピュータシステムの上で動作する業務アプリケーションのシステムのネットワーク形態も評価の対象とする。ネットワークの形態は、業務構成テーブルから求めることができる。例えば、ポリシーアクションの対象が複数あった場合に、負荷分散を目的に多重化しているコンピュータシステムを選択することで、共有先となる業務アプリケーションに対する影響をより少なくすることができる。システムが多重化している状態かどうかは、業務構成テーブルの業務構成オブジェクトの列を参照し、同一の業務構成オブジェクトが存在することで確認できる。本処理は、影響範囲調査部409に位置し、図23に示すフローチャートの2308の後に処理を追加することで実施可能となる。

システムの全体構成例を示す図面である。 業務システムの構成例を示す図面である。 システムを構成する機器の構成例を示す図面である。 マネージャのモジュール構成例を示す図面である。 エージェントのモジュール構成例を示す図面である。 マネージャとエージェントとのインタラクションを説明する図面である。 業務アプリケーション、業務オブジェクト、及びリソースの関係を示す図面である。 図7に示す構成における影響範囲の調査方法を説明する図面である 業務オブジェクトテーブルに格納された情報の例を示す図面である。 業務ポリシーテーブルに格納された情報の例を示す図面である。 リソースオブジェクトテーブルに格納された情報の例を示す図面である。 リソース利用率テーブルに格納された情報の例を示す図面である。 リソース利用率テーブルに格納された情報の例を示す図面である。 業務構成オブジェクト属性テーブルに格納された情報の例を示す図面である。 業務ポリシー実行パラメータテーブルに格納された情報の例を示す図面である。 業務アプリケーション制御部における処理手順を示すフローチャートである。 業務構成テーブルに格納された情報の例を示す図面である。 ポリシー制御部における処理手順を示フローチャートである。 利用率収集部における処理手順を示フローチャートである。 負荷状況調査部における処理手順を示すフローチャートである。 リソースブローカ部における処理手順を示すフローチャートである。 ポリシーアクションを実行する前と実行した後とに業務構成テーブルに格納された情報の例を示す図面 影響範囲調査部における処理手順を示すフローチャートである。 影響範囲調査部における処理手順を示すフローチャートである。 影響範囲調査部における処理手順を示すフローチャートである。 表示部における処理手順を示すフローチャートである。 表示部が表示する画面表示例を示す図面である。 表示部が表示する画面表示例を示す図面である。 表示部が表示する画面表示例を示す図面である。 リソース利用率テーブルに格納された情報の他の例を示す図面である。 リソース利用率テーブルに格納された情報の他の例を示す図面である。 表示部が表示する画面表示例を示す図面である。 表示部が表示する画面表示例を示す図面である。

符号の説明

101 マネージャ
103,105 管理用ネットワーク
104 エージェント
106 業務サーバ
107 業務ネットワーク
402 業務オブジェクトテーブル
403 業務アプリケーション制御部
404 ポリシー制御部
405 業務ポリシーテーブル
406 リソースブローカ部
407 リソースオブジェクトテーブル
408 負荷状況調査部
409 影響範囲調査部
410 リソース利用率テーブル
411 業務構成テーブル
412 業務構成オブジェクト属性テーブル
413 業務構成テーブル
414 業務ポリシー実行パラメータファイル
415 利用率収集部
502 状態監視部
503 利用率測定部

Claims (13)

  1. 複数のコンピュータシステムを共有利用でき、前記複数のコンピュータシステムを組み合わせて実行される業務アプリケーションによってサービスを提供するシステム環境におけるリソース管理システムであって、
    前記リソース管理システムは、記憶部と、影響範囲調査部と、ポリシー制御部とを有しており、
    前記記憶部には、前記業務アプリケーションごとに、各業務アプリケーションを実行する前記コンピュータシステムを構成するリソースの識別情報、及び各コンピュータシステムを構成するリソースの利用率を含むリソース利用率情報と、前記業務アプリケーションに対する前記コンピュータシステムの各リソースの割り当ての追加を規定する情報であるポリシーアクションを含むポリシー情報と、が格納されており、
    前記影響範囲調査部は、
    前記ポリシー情報に含まれる前記ポリシーアクションに基づいて前記業務アプリケーションが利用するリソースを追加する場合に、前記業務アプリケーションが利用する追加対象のリソースを当該コンピュータシステムで稼動する他の業務アプリケーションが利用する共有リソースから検索し、前記業務アプリケーションが利用するリソースの利用率を示す第1利用率と、前記検索された追加対象となる共有リソースについての前記他の業務アプリケーションの利用率を示す第2利用率を前記リソース利用率情報から取得し、
    前記取得された第1利用率と第2利用率との合算値を、前記追加対象となる共有リソースにおける追加後の利用率として集計し、
    前記ポリシー制御部は、
    前記影響範囲調査部が集計して出力した当該コンピュータシステムの前記追加後の利用率が、所定のしきい値以下であり、SLA(Service Level Agreement)の要求が満たされる場合に、前記ポリシーアクションに基づいて各リソースの割り当てを追加すること
    を特徴とするリソース管理システム。
  2. 前記ポリシー制御部は、
    各リソースの割り当てを当該ポリシーアクションに基づいて変更すると、前記コンピュータシステムを構成するリソースの前記リソース利用率情報に含まれる前記識別情報を更新すること、
    を特徴とする請求項1に記載のリソース管理システム。
  3. 前記コンピュータシステムから各リソースの利用率を取得して、前記リソース利用率情報に含まれる利用率を更新する利用率収集部をさらに備えること、
    を特徴とする請求項1または請求項2に記載のリソース管理システム。
  4. 前記利用率収集部は、前記影響範囲調査部が前記リソース利用率情報を利用する前に、前記コンピュータシステムから各リソースの利用率を取得すること、
    を特徴とする請求項3に記載のリソース管理システム。
  5. 前記利用率収集部は、前記リソースの構成追加を示すイベントメッセージを受信すると、前記イベントメッセージの構成追加で示される前記リソースの性能変更比率に応じて、前記記憶部に記憶されているリソース利用率情報内のリソースの利用率を更新すること
    を特徴とする請求項3または請求項4に記載のリソース管理システム。
  6. 前記リソース利用率情報には、規定された各リソースの利用率と、前記利用率収集部が取得した各リソースの利用率とをそれぞれ含み、
    前記影響範囲調査部は、前記コンピュータシステム上での前記業務アプリケーションの運用時間が所定時間までは規定された各リソースの利用率を使用し、前記所定時間以降は、前記利用率収集部が取得した各リソースの利用率を使用すること、
    を特徴とする請求項3ないし請求項5のいずれか1項に記載のリソース管理システム。
  7. 複数のコンピュータシステムを共有利用でき、前記複数のコンピュータシステムを組み合わせて実行される業務アプリケーションによってサービスを提供するシステム環境におけるリソース管理システムによるリソース管理方法であって、
    前記リソース管理システムは、記憶部と、影響範囲調査部と、ポリシー制御部とを有しており、
    前記記憶部には、前記業務アプリケーションごとに、各業務アプリケーションを実行する前記コンピュータシステムを構成するリソースの識別情報、及び各コンピュータシステムを構成するリソースの利用率を含むリソース利用率情報と、前記業務アプリケーションに対する前記コンピュータシステムの各リソースの割り当ての追加を規定する情報であるポリシーアクションを含むポリシー情報と、が格納されており、
    前記影響範囲調査部は、
    前記ポリシー情報に含まれる前記ポリシーアクションに基づいて前記業務アプリケーションが利用するリソースを追加する場合に、前記業務アプリケーションが利用する追加対象のリソースを当該コンピュータシステムで稼動する他の業務アプリケーションが利用する共有リソースから検索し、前記業務アプリケーションが利用するリソースの利用率を示す第1利用率と、前記検索された追加対象となる共有リソースについての前記他の業務アプリケーションの利用率を示す第2利用率を前記リソース利用率情報から取得し、
    前記取得された第1利用率と第2利用率との合算値を、前記追加対象となる共有リソースにおける追加後の利用率として集計し、
    前記ポリシー制御部は、
    前記影響範囲調査部が集計して出力した当該コンピュータシステムの前記追加後の利用率が、所定のしきい値以下であり、SLA(Service Level Agreement)の要求が満たされる場合に、前記ポリシーアクションに基づいて各リソースの割り当てを追加すること
    を特徴とするリソース管理方法。
  8. 前記ポリシー制御部は、
    各リソースの割り当てを当該ポリシーアクションに基づいて変更すると、前記コンピュータシステムを構成するリソースの前記リソース利用率情報に含まれる前記識別情報を更新すること、
    を特徴とする請求項7に記載のリソース管理方法
  9. 前記リソース管理システムは、さらに、利用率収集部を有しており、
    前記利用率収集部は、前記コンピュータシステムから各リソースの利用率を取得して、前記リソース利用率情報に含まれる利用率を更新すること、
    を特徴とする請求項7または請求項8に記載のリソース管理方法
  10. 前記利用率収集部は、前記影響範囲調査部が前記リソース利用率情報を利用する前に、前記コンピュータシステムから各リソースの利用率を取得すること、
    を特徴とする請求項9に記載のリソース管理方法
  11. 前記利用率収集部は、前記リソースの構成追加を示すイベントメッセージを受信すると、前記イベントメッセージの構成追加で示される前記リソースの性能変更比率に応じて、前記記憶部に記憶されているリソース利用率情報内のリソースの利用率を更新すること
    を特徴とする請求項9または請求項10に記載のリソース管理方法。
  12. 前記リソース利用率情報には、規定された各リソースの利用率と、前記利用率収集部が取得した各リソースの利用率とをそれぞれ含み、
    前記影響範囲調査部は、前記コンピュータシステム上での前記業務アプリケーションの運用時間が所定時間までは規定された各リソースの利用率を使用し、前記所定時間以降は、前記利用率収集部が取得した各リソースの利用率を使用すること、
    を特徴とする請求項9ないし請求項11のいずれか1項に記載のリソース管理方法
  13. 請求項7ないし請求項12のいずれか1項に記載のリソース管理方法を、前記リソース管理システムとしてコンピュータに実行させるプログラム。
JP2006209367A 2006-08-01 2006-08-01 リソース管理システム及びその方法 Active JP4751265B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006209367A JP4751265B2 (ja) 2006-08-01 2006-08-01 リソース管理システム及びその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006209367A JP4751265B2 (ja) 2006-08-01 2006-08-01 リソース管理システム及びその方法
US11/668,598 US8046466B2 (en) 2006-08-01 2007-01-30 System and method for managing resources

Publications (2)

Publication Number Publication Date
JP2008033852A JP2008033852A (ja) 2008-02-14
JP4751265B2 true JP4751265B2 (ja) 2011-08-17

Family

ID=39030590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006209367A Active JP4751265B2 (ja) 2006-08-01 2006-08-01 リソース管理システム及びその方法

Country Status (2)

Country Link
US (1) US8046466B2 (ja)
JP (1) JP4751265B2 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050125689A1 (en) * 2003-09-17 2005-06-09 Domonic Snyder Processing device security management and configuration system and user interface
US8775122B1 (en) * 2007-02-28 2014-07-08 Hewlett-Packard Development Company, L.P. Utilization reporting with multiple time frames
US8055367B2 (en) * 2007-10-09 2011-11-08 Sap Ag System and method for identifying process bottlenecks
JP5286839B2 (ja) * 2008-03-10 2013-09-11 富士通株式会社 情報処理装置、情報処理プログラム及び方法
US8347307B2 (en) * 2008-03-12 2013-01-01 International Business Machines Corporation Method and system for cost avoidance in virtualized computing environments
JPWO2009136628A1 (ja) * 2008-05-08 2011-09-08 日本電気株式会社 情報処理システムと方法およびプログラム
WO2009144822A1 (ja) * 2008-05-30 2009-12-03 富士通株式会社 装置構成情報管理プログラム、装置構成情報管理装置及び装置構成情報管理方法
US20100050179A1 (en) * 2008-08-22 2010-02-25 Ajay Mohindra Layered capacity driven provisioning in distributed environments
JP5433310B2 (ja) * 2009-06-05 2014-03-05 株式会社日立製作所 環境構築支援用の管理計算機、情報処理システム、及び環境構築支援方法
US8700752B2 (en) * 2009-11-03 2014-04-15 International Business Machines Corporation Optimized efficient LPAR capacity consolidation
US8832707B2 (en) * 2009-12-21 2014-09-09 International Business Machines Corporation Tunable error resilience computing
JP2011180816A (ja) * 2010-03-01 2011-09-15 Nec Corp 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム
WO2011108185A1 (ja) * 2010-03-05 2011-09-09 日本電気株式会社 制御ポリシ調整装置、制御ポリシ調整方法、及びプログラム
WO2011142227A1 (ja) * 2010-05-14 2011-11-17 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ・システム、方法及びプログラム
US8615755B2 (en) * 2010-09-15 2013-12-24 Qualcomm Incorporated System and method for managing resources of a portable computing device
US20120278125A1 (en) * 2011-04-29 2012-11-01 Verizon Patent And Licensing Inc. Method and system for assessing process management tools
WO2013171854A1 (ja) * 2012-05-16 2013-11-21 株式会社日立製作所 計算機、スレッド割当管理方法及びプログラム
US9123010B2 (en) 2012-06-05 2015-09-01 Apple Inc. Ledger-based resource tracking
US20140114689A1 (en) * 2012-09-21 2014-04-24 Moose Loop Holdings, LLC Systems for Insuring Service Providers
CN103838667B (zh) * 2012-11-27 2018-01-16 腾讯科技(深圳)有限公司 一种应用程序使用方式的排序方法及装置
US9336057B2 (en) 2012-12-21 2016-05-10 Microsoft Technology Licensing, Llc Assigning jobs to heterogeneous processing modules
CN104981782B (zh) * 2013-02-01 2019-03-26 日本电气株式会社 用于控制资源的系统、控制模式生成装置
US8621062B1 (en) * 2013-03-15 2013-12-31 Opscode, Inc. Push signaling to run jobs on available servers
GB2524434A (en) * 2013-09-18 2015-09-23 Hitachi Ltd Management system for managing computer system and management method thereof
US9501321B1 (en) * 2014-01-24 2016-11-22 Amazon Technologies, Inc. Weighted service requests throttling
US9648370B1 (en) 2014-03-13 2017-05-09 Tribune Broadcasting Company, Llc System and method for scheduling clips
US9661369B1 (en) * 2014-03-13 2017-05-23 Tribune Broadcasting Company, Llc Clip scheduling with conflict alert
US9653118B1 (en) 2014-03-13 2017-05-16 Tribune Broadcasting Company, Llc System and method for scheduling clips
US9615118B1 (en) 2014-03-13 2017-04-04 Tribune Broadcasting Company, Llc System and method for scheduling clips
US10452669B2 (en) 2014-06-26 2019-10-22 Ciena Corporation Simplifying quantitative analysis of time-bounded resource consumption
US20160036985A1 (en) * 2014-07-30 2016-02-04 Nir Koren Real-time rule-based recovery platform
US20180189109A1 (en) * 2015-10-30 2018-07-05 Hitachi, Ltd. Management system and management method for computer system
JP6612458B2 (ja) * 2016-09-01 2019-11-27 株式会社日立製作所 計算機システム、管理計算機、および記録媒体
WO2018047325A1 (ja) * 2016-09-12 2018-03-15 株式会社日立製作所 管理対象の計算機システムを管理する管理機、方法及びコンピュータプログラム
US20180367434A1 (en) * 2017-06-20 2018-12-20 Vmware, Inc. Methods and systems to adjust resources and monitoring configuration of objects in a distributed computing system

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2727540B1 (fr) * 1994-11-30 1997-01-03 Bull Sa Outil d'aide a la repartition de la charge d'une application repartie
US6230204B1 (en) * 1997-12-19 2001-05-08 Micron Electronics, Inc. Method and system for estimating usage of computer resources
US20020152305A1 (en) * 2000-03-03 2002-10-17 Jackson Gregory J. Systems and methods for resource utilization analysis in information management environments
US20030236745A1 (en) * 2000-03-03 2003-12-25 Hartsell Neal D Systems and methods for billing in information management environments
US7054943B1 (en) * 2000-04-28 2006-05-30 International Business Machines Corporation Method and apparatus for dynamically adjusting resources assigned to plurality of customers, for meeting service level agreements (slas) with minimal resources, and allowing common pools of resources to be used across plural customers on a demand basis
JP4292693B2 (ja) * 2000-07-07 2009-07-08 株式会社日立製作所 計算機資源分割装置および資源分割方法
US7020713B1 (en) * 2000-10-10 2006-03-28 Novell, Inc. System and method for balancing TCP/IP/workload of multi-processor system based on hash buckets
US7174379B2 (en) * 2001-08-03 2007-02-06 International Business Machines Corporation Managing server resources for hosted applications
US6823382B2 (en) * 2001-08-20 2004-11-23 Altaworks Corporation Monitoring and control engine for multi-tiered service-level management of distributed web-application servers
US20030135615A1 (en) * 2001-12-31 2003-07-17 Wyatt David A. Method for rebalancing resources within a global resource namespace
JP2003330899A (ja) 2002-05-15 2003-11-21 Japan Telecom Co Ltd 情報処理方法
US7293091B2 (en) * 2002-05-30 2007-11-06 Intel Corporation Method and apparatus for disruption sensitive network data management
US20040103193A1 (en) * 2002-11-08 2004-05-27 Pandya Suketu J. Response time and resource consumption management in a distributed network environment
AT491289T (de) * 2003-01-14 2010-12-15 Ericsson Telefon Ab L M Betriebsmittelzuteilungsverwaltung
US7512947B2 (en) * 2003-03-31 2009-03-31 Avaya Inc. System and method for efficient scheduling of periodic phenomena
JP4597488B2 (ja) * 2003-03-31 2010-12-15 株式会社日立製作所 プログラム配置方法及びその実施システム並びにその処理プログラム
JP2004328157A (ja) * 2003-04-22 2004-11-18 Ntt Docomo Inc 呼受付制御装置及び呼受付制御方法
US7720968B2 (en) * 2003-04-30 2010-05-18 International Business Machines Corporation Method and system of configuring elements of a distributed computing system for optimized value
US8935401B2 (en) * 2003-06-20 2015-01-13 Hewlett-Packard Development Company, L.P. Method and system using admission control in interactive grid computing systems
US7627506B2 (en) * 2003-07-10 2009-12-01 International Business Machines Corporation Method of providing metered capacity of temporary computer resources
US7146353B2 (en) * 2003-07-22 2006-12-05 Hewlett-Packard Development Company, L.P. Resource allocation for multiple applications
JP3987517B2 (ja) * 2003-09-02 2007-10-10 株式会社東芝 計算機システム及びクラスタシステム用プログラム
US7512949B2 (en) * 2003-09-03 2009-03-31 International Business Machines Corporation Status hub used by autonomic application servers
US6959265B1 (en) * 2003-10-07 2005-10-25 Serden Technologies, Inc. User-centric measurement of quality of service in a computer network
JP3896111B2 (ja) * 2003-12-15 2007-03-22 株式会社日立製作所 リソース割り当てシステム、方法及びプログラム
WO2005062176A1 (ja) * 2003-12-18 2005-07-07 Club It Corporation サーバ・クライアント・システム、負荷分散装置、負荷分散方法および負荷分散プログラム
US7461149B2 (en) * 2004-01-13 2008-12-02 International Business Machines Corporation Ordering provisioning request execution based on service level agreement and customer entitlement
TWI335541B (en) * 2004-02-18 2011-01-01 Ibm Grid computing system, management server, processing server, control method, control program and recording medium
US7499968B1 (en) * 2004-04-12 2009-03-03 Sun Microsystems, Inc. System and method for application resource utilization metering and cost allocation in a utility computing environment
JP4455137B2 (ja) * 2004-04-20 2010-04-21 株式会社日立製作所 記憶サブシステム管理方法
US7844967B2 (en) * 2004-05-19 2010-11-30 Hewlett-Packard Development Company, L.P. Method of allocating computing resources
US20060026010A1 (en) * 2004-07-29 2006-02-02 Van Moorsel Adrianus P Computerized cost tracking system
US20060072541A1 (en) * 2004-09-28 2006-04-06 Vivian Pecus Network management system & method
US7574424B2 (en) * 2004-10-13 2009-08-11 Sybase, Inc. Database system with methodology for parallel schedule generation in a query optimizer
JP4189379B2 (ja) * 2004-12-27 2008-12-03 株式会社日立製作所 アプリケーション運用制御方法およびシステム
US9137330B2 (en) * 2005-03-16 2015-09-15 Alcatel Lucent Method of dynamically adjusting quality of service (QoS) targets
US7870256B2 (en) * 2005-03-25 2011-01-11 Hewlett-Packard Development Company, L.P. Remote desktop performance model for assigning resources
US20060224925A1 (en) * 2005-04-05 2006-10-05 International Business Machines Corporation Method and system for analyzing an application
US7831325B1 (en) * 2005-04-18 2010-11-09 Hewlett-Packard Development Company, L.P. Computing estimated performance of a software application in a target system
JP4313336B2 (ja) * 2005-06-03 2009-08-12 株式会社日立製作所 監視システムおよび監視方法
US20060277549A1 (en) * 2005-06-07 2006-12-07 Ta-Hsin Li Method and apparatus for capacity optimization and planning in an on-demand computing environment
CA2627073A1 (en) * 2005-10-24 2007-05-03 Accenture Global Services Gmbh Dynamic server consolidation and configuration
US20070094343A1 (en) * 2005-10-26 2007-04-26 International Business Machines Corporation System and method of implementing selective session replication utilizing request-based service level agreements
JP4377369B2 (ja) * 2005-11-09 2009-12-02 株式会社日立製作所 リソース割当調停装置およびリソース割当調停方法
TWI276322B (en) * 2005-12-28 2007-03-11 Ind Tech Res Inst A system and a method of request scheduling using request classification and allowable server resource for the differentiated quality of service
US7640331B2 (en) * 2005-12-29 2009-12-29 International Business Machines Corporation Developing QoS aware pervasive applications for web service interaction
US20070233865A1 (en) * 2006-03-30 2007-10-04 Garbow Zachary A Dynamically Adjusting Operating Level of Server Processing Responsive to Detection of Failure at a Server
US20070266391A1 (en) * 2006-04-27 2007-11-15 Hoffman Philip M System and method for separating multi-workload processor utilization on a metered computer system
US20070282992A1 (en) * 2006-06-01 2007-12-06 Sun Microsystems, Inc. Method and system for service management in a zone environment

Also Published As

Publication number Publication date
JP2008033852A (ja) 2008-02-14
US8046466B2 (en) 2011-10-25
US20080034093A1 (en) 2008-02-07

Similar Documents

Publication Publication Date Title
US10719343B2 (en) Optimizing virtual machines placement in cloud computing environments
US10326765B2 (en) System, method, and software for providing access control enforcement capabilities in cloud computing systems
US20190303191A1 (en) Determining performance states of parent components in a virtual-machine environment based on performance states of related child components during a time period
US10057184B1 (en) Resource configuration compliance service
EP3382939B1 (en) Troubleshooting method, apparatus, and system based on network function virtualization
US10776140B2 (en) Systems and methods for automatically characterizing performance of a hypervisor system
US9935854B2 (en) Infrastructure performance monitoring
US9647909B2 (en) Monitor a data center infrastructure
US9110844B2 (en) State maintenance as a service
US9300523B2 (en) System and method for performance management in a multi-tier computing environment
US9575814B2 (en) Identifying hung condition exceeding predetermined frequency threshold and modifying hanging escalation tasks to avoid hang conditions
CN106233261B (zh) 处理环境的一体化监视和控制
US9710322B2 (en) Component dependency mapping service
US10110512B2 (en) Virtual computing services deployment network
US9495152B2 (en) Automatic baselining of business application service groups comprised of virtual machines
US9137096B1 (en) Policy based network compliance
US9727439B2 (en) Tracking application deployment errors via cloud logs
US7743142B2 (en) Verifying resource functionality before use by a grid job submitted to a grid environment
US6148335A (en) Performance/capacity management framework over many servers
US7500001B2 (en) Computer resource distribution method based on prediction
US8935701B2 (en) Unified management platform in a computer network
US8683467B2 (en) Determining performance states of parent components in a virtual-machine environment based on performance states of related child components
US7958393B2 (en) Conditional actions based on runtime conditions of a computer system environment
US8763006B2 (en) Dynamic generation of processes in computing environments
US7934248B1 (en) Network policy enforcement dashboard views

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110520

R150 Certificate of patent or registration of utility model

Ref document number: 4751265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3