JPWO2017017774A1 - ストレージ監視システムおよびその監視方法 - Google Patents

ストレージ監視システムおよびその監視方法 Download PDF

Info

Publication number
JPWO2017017774A1
JPWO2017017774A1 JP2017530508A JP2017530508A JPWO2017017774A1 JP WO2017017774 A1 JPWO2017017774 A1 JP WO2017017774A1 JP 2017530508 A JP2017530508 A JP 2017530508A JP 2017530508 A JP2017530508 A JP 2017530508A JP WO2017017774 A1 JPWO2017017774 A1 JP WO2017017774A1
Authority
JP
Japan
Prior art keywords
information
agent
monitoring
monitoring range
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017530508A
Other languages
English (en)
Other versions
JP6279816B2 (ja
Inventor
旭 二階堂
旭 二階堂
黒田 沢希
沢希 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2017017774A1 publication Critical patent/JPWO2017017774A1/ja
Application granted granted Critical
Publication of JP6279816B2 publication Critical patent/JP6279816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653Monitoring storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

ストレージ装置とマネージャと複数のエージェントを含むストレージ監視システムの監視方法であって、前記マネージャは、前記ストレージ装置に含まれる複数種類のコンポーネントの中の第1の種類の複数コンポーネントに対する前記複数のエージェントの中の第1のエージェントによる第1の監視範囲の情報を前記第1のエージェントの情報と対応付けて記憶し、前記第1の監視範囲の情報を前記第1のエージェントに通知し、前記第1の種類の複数コンポーネントに対する前記複数のエージェントの中の第2のエージェントによる第2の監視範囲の情報を前記第2のエージェントの情報と対応付けて記憶し、前記第2の監視範囲の情報を前記第2のエージェントに通知する。

Description

本発明は、ストレージ監視システムおよびその監視方法に関するものである。
近年のストレージシステムの大規模化にともない、ストレージ装置の台数およびストレージ装置内のボリュームなどを含むコンポーネント数は著しく増加している。このようなストレージシステムを監視する負荷も増大するため、複数の監視装置により分散して監視することも知られている。
特許文献1には、異なるタイプの複数のデバイスを分散して監視するため、複数のエージェント(監視装置)を設けたストレージエリアネットワークの技術が開示されている。
米国特許第7469284号明細書
特許文献1に開示された技術を用いれば、異なるタイプの多数のデバイスを分散して監視することはできる。しかしながら、デバイス内のコンポーネント数の著しい増加に必ずしも対応できるとは限らず、多量のコンポーネントを監視対象として設定することも困難となってきている。
そこで、本発明の目的は、ストレージシステムのストレージ装置に含まれる複数のコンポーネントを分散して監視可能にすることにある。
本発明に係る代表的なストレージ監視システムの監視方法は、ストレージ装置とマネージャと複数のエージェントを含むストレージ監視システムの監視方法であって、前記マネージャは、前記ストレージ装置に含まれる複数種類のコンポーネントの中の第1の種類の複数コンポーネントに対する前記複数のエージェントの中の第1のエージェントによる第1の監視範囲の情報を前記第1のエージェントの情報と対応付けて記憶し、前記第1の監視範囲の情報を前記第1のエージェントに通知し、前記第1の種類の複数コンポーネントに対する前記複数のエージェントの中の第2のエージェントによる第2の監視範囲の情報を前記第2のエージェントの情報と対応付けて記憶し、前記第2の監視範囲の情報を前記第2のエージェントに通知することを特徴とする。
本発明によれば、ストレージシステムのストレージ装置に含まれる複数のコンポーネントを分散して監視可能になる。
システムの構成の例を示す図である。 ストレージ装置の構成の例を示す図である。 マネージャの構成の例を示す図である。 クライアント計算機の構成の例を示す図である。 エージェントの構成の例を示す図である。 業務用計算機の構成の例を示す図である。 ストレージ情報の例を示す図である。 ボリュームに関するコンポーネント情報の例を示す図である。 CPUに関するコンポーネント情報の例を示す図である。 通信IFに関するコンポーネント情報の例を示す図である。 監視範囲履歴情報の例を示す図である。 性能履歴情報の例を示す図である。 監視範囲情報の例を示す図である。 クライアント計算機からマネージャへ送信される要求の情報の例を示す図である。 マネージャからエージェントへ送信される要求の情報の例を示す図である。 エージェント一覧情報の例を示す図である。 クライアント計算機におけるレポート要求の表示の例を示す図である。 クライアント計算機におけるレポート表示の例を示す図である。 クライアント要求振分の処理フローの例を示す図である。 エージェント監視範囲の処理フローの例を示す図である。 レポート生成の処理フローの例を示す図である。 要求生成の処理フローの例を示す図である。 要求を送信し応答を受信する処理フローの例を示す図である。 エージェントを追加する処理フローの例を示す図である。 エージェントを削除する処理フローの例を示す図である。 エージェントの監視範囲の決定・指示送信の処理フローの例を示す図である。 エージェントの処理フローの例を示す図である。 性能情報取得・格納の処理フローの例を示す図である。 性能取得要求の処理フローの例を示す図である。
以下の説明では「aaaテーブル」、「aaaリスト」、「aaaDB」、「aaaキュー」などの表現にて本発明の情報を説明するが、これら情報は必ずしもテーブル、リスト、DB(データベース)、キューなどのデータ構造に限定されるものではなく、これらのデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示す目的で「aaaテーブル」、「aaaリスト」、「aaaDB」、「aaaキュー」などについて「aaa情報」と呼ぶことがある。さらに、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ID」という表現を用いるが、これらについては、互いに置換が可能である。
以下の説明では「プログラム」を主語として説明を行う場合もあるが、プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポート(通信制御デバイス)を用いながら行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は管理サーバなどの計算機、情報処理装置が行う処理としてもよい。また、プログラムの一部または全ては専用ハードウェアによって実現されてもよい。
また、各種プログラムはプログラム配布サーバや、計算機が読み取り可能な記憶メディアによって各計算機にインストールされてもよい。この場合、プログラム配布サーバはCPU(中央処理装置)と記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムを記憶している。そして、配布プログラムをCPUが実行することで、プログラム配布サーバのCPUは配布対象のプログラムを他の計算機に配布する。
計算機は入出力デバイスを有する。入出力デバイスの例としてはディスプレイとキーボードとポインタデバイスが考えられるが、これ以外のデバイスであってもよい。また、入出力デバイスの代替としてシリアルインターフェースやイーサーネットインターフェース(イーサネットは登録商標)を入出力デバイスとし、これらのインターフェースにディスプレイまたはキーボードまたはポインタデバイスを有する表示用計算機を接続し、表示用情報を表示用計算機に送信したり、入力用情報を表示用計算機から受信したりすることにより、表示および入力を行う表示用計算機が入出力デバイスでの表示及び入力の代替となってもよい。
以下の説明では、情報処理システムを管理し、本願発明の表示用情報を表示する一つ以上の計算機の集合を管理システムと呼ぶことがある。管理計算機が表示用情報を表示する場合は管理計算機が管理システムである、また、管理計算機と表示用計算機の組み合わせも管理システムである。また、管理処理の高速化や高信頼化のために複数の計算機で管理計算機と同等の処理を実現してもよく、この場合は複数の計算機(表示を表示用計算機が行う場合は表示用計算機も含め)が管理システムである。
図1はシステムの構成の例を示す図である。このシステムは、管理計算機(以下、マネージャとも呼ぶ)101と監視用計算機(以下、エージェントとも呼ぶ)102は、ストレージ装置104の性能情報を取得してクライアント計算機105へ提供するものである。業務用計算機103は業務アプリケーションプログラムを実行して、ストレージ装置104のデータをリードライトする。ストレージ装置104の性能情報は、このリードライトに起因する性能情報である。
業務用計算機103では、業務アプリケーションプログラムを実行するために、複数のVM(仮想マシン)603を実行する。例えばVMWare ESX(登録商標)をハイパーバイザとすることにより、VM603毎にVVOL(仮想ボリューム)を割当て、管理ソフトのvSphere(登録商標)が提供する機能を利用してVVOLを作成したり削除したりできる。そして、業務用計算機103あるいはVM管理用計算機106からの要求により、VVOLとしてストレージ装置104内にボリューム210を生成したり削除したりする。
1つのVM603は1つのボリューム210のデータをリードライトしてよいため、性能情報はストレージ装置104とボリューム210の組合せが単位となる。性能情報の取得対象の管理へボリューム生成・削除の要求によるボリューム210の増減を反映させるため、ネットワーク107(あるいは業務用計算機103)のプロトコルとストレージ装置104のプロトコルとを変換するプロトコルコンバータ108が、ボリューム生成・削除の要求をマネージャ101へ転送してもよい。また、プロトコルコンバータ108の必要がないシステムあるいはストレージ装置104がプロトコルコンバータ108を内蔵するシステムでは、ストレージ装置104がボリューム生成・削除の要求をマネージャ101へ転送してもよい。
エージェント102は、監視範囲情報513にしたがって、このようなボリューム210に対するリードライトの性能情報を取得して性能履歴情報512に格納する。ここで、システムは複数のエージェント102を有し、複数のボリューム210は複数の監視範囲に分割され、各監視範囲の性能情報を各エージェント102が取得する。ボリューム生成・削除の要求により性能情報の取得対象のボリューム210が増減すると、監視範囲情報513がボリューム210の構成と対応しなくなるため、ボリューム210の構成と対応する新たな監視範囲をマネージャ101は決定し、監視範囲更新をエージェント102へ通知する。
クライアント計算機105はユーザの操作により性能情報に関するレポートをマネージャ101へ要求する。マネージャ101は性能情報そのものを格納しておらず、性能情報を格納しているエージェント102を監視範囲履歴情報313により管理し、必要な性能情報を格納しているエージェント102に性能情報を要求する。要求されたエージェント102はマネージャ101へ性能履歴情報512に格納された性能情報を応答する。マネージャ101はクライアント計算機105へ応答された性能情報に基づくレポートを応答する。
クライアント計算機105の要求するレポートが複数のエージェントに格納された性能情報にまたがる場合、マネージャ101はどの性能情報がどのエージェント102に格納されているかを監視範囲履歴情報313から取得し、複数のエージェント102へ性能情報を要求し、複数のエージェント102からの複数の応答をまとめたレポートをクライアント計算機105へ応答する。
なお、システム内の各装置はネットワーク107により接続され、互いに通信が可能である。ネットワーク107は例えばイーサネットでもよいし、ネットワーク107は複数のネットワークを含んでもよく、ネットワーク107の一部はファイバチャネルであってもよい。
このシステムにより、性能情報の管理の負荷を監視範囲ごとに複数のエージェント102へ分散することができ、性能情報の取得対象の構成の変更に応じて監視範囲を更新できる。また、複数のエージェント102の監視範囲やその履歴をマネージャ101が管理するため、ボリューム210の増減により監視範囲が更新されても、エージェント102に格納された性能情報を移行する必要はない。
図2はストレージ装置104の構成の例を示す図である。ストレージコントローラ200は、業務用計算機103からのリード要求に応じてボリューム210からデータをリードして、業務用計算機103へリードデータを送信し、業務用計算機103からのライト要求に応じてボリューム210へデータをライトするための制御を行う。このような動作は、ストレージ技術分野の技術常識であるので、その構造に関する説明を省略する。
ボリューム210はデータをリードライト可能に格納するものであり、例えばHDD(ハードディスドライブ)、SSD(ソリッドステートドライブ)、その他のフラッシュメモリなどのストレージデバイスであってもよく、これらストレージデバイスの一部を1つのボリューム210としてもよいし、これらストレージデバイスの複数を1つのボリューム210としてもよい。
通信IF(インターフェース)201は業務用計算機103やエージェント102と通信するための例えばイーサーネットインターフェースである。ストレージコントローラ200は通信IF201を複数有してもよく、業務用計算機103と通信するためのファイバチャネルインターフェースを含んでもよい。
CPU(プロセッサ)202は、記憶装置203に格納されたプログラムを実行することにより、通信IF201と記憶装置203とボリューム210との間で情報を転送したり、通信IF201と記憶装置203とボリューム210のいずれかから取得した情報に基づき判定したりする。ストレージコントローラ200はCPU202を複数有してもよい。
記憶装置203は、管理プログラム204、ストレージ構成情報208、ストレージ性能情報209が格納されてもよく、これら以外のプログラムと情報が格納されてもよい。管理プログラム204の要求受付部205は業務用計算機103あるいはVM管理用計算機106からのボリューム210の作成または削除要求を受け付けるモジュールである。
構成変更実行部206は要求受付部205の受け付けた要求に応じてボリューム210を作成または削除するモジュールであり、作成されるボリューム210の情報をストレージ構成情報208へ登録したり、削除されるボリューム210の情報をストレージ構成情報208から削除したりする。情報取得IF部207はエージェント102からの要求に応じてストレージ構成情報208に登録されている情報やストレージ性能情報209に記録されている情報をエージェント102へ送信する。
ストレージ構成情報208はボリューム210に関する情報を含み、例えばボリューム210の物理的なストレージデバイスに関する情報を含んでもよい。ストレージ性能情報209はボリューム210へのリードライトの性能に関する情報を含み、例えばリードIOを受け付けてからデータをリードするまでの応答時間、リードIO量、ライトIO量の情報を含んでもよい。リードIO量とライトIO量などの性能に関する情報は、特定の時刻、例えばストレージ装置104の起動時刻からの累積値であってもよい。累積値とすることにより、時間ごとの履歴として記録した値と比べて、記録するデータ量を減らすことができる。
図3は管理用計算機(マネージャ)101の構成の例を示す図である。マネージャ101のハードウェアは一般的な計算機であってもよい。CPU300は、記憶装置302に格納されたプログラムを実行することにより、エージェント102を介してストレージ装置104を管理する。通信IF301は、エージェント102、クライアント計算機105、ストレージ装置104と通信するための例えばイーサーネットインターフェースである。また、通信IF301はプロトコルコンバータ108やストレージ装置104から転送されるボリュームの作成や削除の要求を受信してもよい。そして、マネージャ101は通信IF301を複数有してもよい。
記憶装置302は、管理プログラム303、監視範囲履歴情報313、構成情報314、エージェント一覧情報317が格納されてもよく、これら以外のプログラムと情報が格納されてもよい。管理プログラム303の装置登録部304は、構成情報314のストレージ情報315へストレージ装置104の装置としての情報を登録するモジュールである。構成情報取得部305は、装置登録部304により登録されたストレージ装置104のボリューム210に関する情報、通信IF201に関する情報、CPU202に関する情報を取得するモジュールである。
クライアント要求振分部306は、クライアント計算機105から受け付けた要求の内容を判定し、管理プログラム303の他のモジュールへ振り分けるモジュールであり、図17を用いて後でさらに説明する。要求生成部307は、要求先のエージェント102と要求する期間を特定し、エージェント102への性能情報の要求を生成するモジュールであり、図20を用いて後でさらに説明する。エージェント通信部308は、要求生成部307の生成した要求をエージェント102へ送信し、エージェント102からの応答を受信してレポート生成部310へ転送するモジュールであり、図21を用いて後でさらに説明する。
監視範囲管理部309は、複数のエージェント102それぞれの監視範囲を決定し、監視範囲履歴情報313へ登録するとともに、各エージェント102へ監視範囲を指示し、また、クライアント計算機105へ監視範囲を表示するための情報を提供するモジュールであり、図18、22−24を用いて後でさらに説明する。レポート生成部310は、要求生成部307とエージェント通信部308を用いて性能情報のレポートを生成し、クライアント計算機105へ提供するモジュールであり、図19を用いて後でさらに説明する。
アラート受信部311は、性能情報の書き込みにおける過負荷などのアラートをエージェント102から受信するモジュールであり、図26を用いて後で説明する。エージェント一覧管理部312は、エージェント一覧情報317を使用して、監視に割り当て可能なエージェント102を管理するモジュールであり、図22、23を用いて後でさらに説明する。
監視範囲履歴情報313は、エージェント102とボリューム210の監視における関係を時刻の経過にしたがって記録された情報であり、図9を用いて後でさらに説明する。構成情報314のストレージ情報315は、ストレージ装置104を管理するための情報であり、図7を用いて後でさらに説明する。コンポーネント情報316は、ストレージ装置104内のボリューム210などのコンポーネントを管理するための情報であり、図8A−8Cを用いて後でさらに説明する。エージェント一覧情報317は、監視に割り当て可能なエージェント102を管理するための情報であり、図14を用いて後で説明する。
図4はクライアント計算機105の構成の例を示す図である。クライアント計算機105のハードウェア構成は一般的な計算機であってもよい。CPU400は、記憶装置402に格納されたプログラムを実行することにより、通信IF401を使用してマネージャ101と通信する。この例では、記憶措置402にブラウザプログラム403が格納されており、図示を省略した入力デバイスから図示を省略した表示デバイスのブラウザの表示ウィンドウへ入力された値をマネージャ101へ送信し、マネージャ101から受信した表示情報をブラウザの表示ウィンドウへ表示する。
図5は監視用計算機(エージェント)102の構成の例を示す図である。エージェント102のハードウェアは一般的な計算機であってもよい。CPU501は、記憶装置502に格納されたプログラムを実行することにより、ストレージ装置104と通信して監視する。通信IF500は、マネージャ101およびストレージ装置104と通信するための例えばイーサーネットインターフェースである。エージェント102は複数の通信IF500を有してもよい。
記憶装置502は、管理プログラム503、性能履歴情報512、監視範囲情報513が格納されてもよく、これら以外のプログラムと情報が格納されてもよい。また、性能履歴情報512は記憶装置502とは別の専用の記憶装置に格納されてもよい。管理プログラム503のスケジューラ504は、設定されたモジュールを設定された時間間隔で起動するモジュールであり、例えば性能取得・格納部505を定期的に起動する。
性能取得・格納部505は、監視範囲情報513を参照して監視対象のストレージ装置104とその中のコンポーネント(例えばボリューム)の範囲を特定し、特定したストレージ装置104内の範囲のコンポーネントに関する性能情報を取得し、取得した性能情報を性能履歴情報512へ記録するモジュールであり、図26を用いて後で説明する。マネージャ通信部506は、マネージャ101からの性能情報の取得要求を受け付け、この要求に応じてマネージャ101へ応答するモジュールであり、図27を用いて後で説明する。
応答生成部507は、マネージャ通信部506で受け付けた要求に応じて、性能履歴情報512を参照し、応答を生成するモジュールであり、図27を用いて後で説明する。記憶装置監視部508は、記憶装置502の性能履歴情報512へ記録する際の書き込み時間を算出し、書込み時間に応じて書き込み遅延を判定するモジュールであり、図26を用いて後でさらに説明する。アラート通知部509は、記憶装置監視部508における書き込み遅延の判定に基づいて、マネージャ101へアラートを通知するモジュールである。
マネージャ要求振分部510は、マネージャ101から受け付けた要求の内容を判定し、管理プログラム503の他のモジュールへ振り分けるモジュールであり、図25を用いて後で説明する。監視範囲更新部511は、マネージャ101から通知された監視範囲の情報を監視範囲情報513へ記録するモジュールである。
性能履歴情報512は、ストレージ装置104から取得した性能情報の履歴であって、時刻ごとに監視対象のストレージ装置104と性能情報が記録される情報であり、図10を用いて後でさらに説明する。監視範囲情報513はエージェント102が監視する対象の範囲を特定する情報であり、図11を用いて後で説明する。この監視範囲情報513に基づいてエージェント102はストレージ装置104とその中のコンポーネントを監視する。なお、性能履歴情報512の過去の性能情報は監視範囲情報513と対応しない可能性もあるが、そのような過去の性能情報はマネージャ101の監視範囲履歴情報313に記録されている。
図6は業務用計算機103の構成の例を示す図である。業務用計算機103のハードウェアは一般的な計算機であってもよい。記憶装置602にはVM603のシステムイメージが複数格納され、VM603を管理するハイパーバイザ604のプログラムが格納される。業務アプリケーションプログラムはVM603の環境を使用してCPU600により実行され、通信IF601を使用してストレージ装置104へデータをリードライトする。
VM603ごとにVVOLが割り当てられ、各VVOLがボリューム210に対応してもよい。このため、VM603が生成されるとボリューム210が作成され、VM603が削除されるとボリューム210が削除されてもよい。各VM603はVM管理用計算機106によって管理される。このため、ボリューム210の作成と削除は、業務用計算機103からストレージ装置104へ要求されてもよいし、VM管理用計算機106からストレージ装置104へ要求されてもよい。
図7はストレージ情報315の例を示す図である。ストレージ情報315は図3を用いて説明したようにマネージャ101の記憶装置302に構成情報314として格納される。ストレージID700はストレージ装置104それぞれをシステムの中で識別する情報である。シリアルナンバー701はストレージ装置104それぞれの製造時などのシリアルナンバーである。モデル702はストレージ装置104それぞれの製品としての名称である。ボリューム数703はストレージ装置104それぞれのボリューム210の個数である。更新時刻704はストレージ装置104それぞれの情報を更新した時刻である。
なお、図7の例において、ストレージID700の「StorageA」に対応するシリアルナンバー701の「00001」、モデル702の「R800」、ボリューム数の「20000」、更新時刻704の「2015/1/26 10:13:34」のように、ストレージ情報315をテーブルと見たときの行をレコードと呼ぶ。以下のテーブルと見える各情報においても行をレコードと呼ぶ。
図8Aはボリューム210に関するコンポーネント情報316の例を示す図である。コンポーネント情報316は図3を用いて説明したようにマネージャ101の記憶装置302に構成情報314として格納される。ボリュームID800はボリューム210を識別する情報である。ストレージID801はボリューム210を有するストレージ装置104を識別する情報であり、ストレージID700と対応する。容量802はボリューム210の記憶容量である。割当容量803はボリューム210の記憶容量の中で業務用計算機103に割り当てられている容量である。更新時刻804はボリューム210それぞれの情報を更新した時刻である。
図8BはCPU202に関するコンポーネント情報316の例を示す図である。CPU ID805はCPU202を識別する情報である。ストレージID806はCPU202を有するストレージ装置104を識別する情報であり、ストレージID700と対応する。更新時刻807はCPU202それぞれの情報を更新した時刻である。
図8Cは通信IF201に関するコンポーネント情報316の例を示す図である。ポートID808は通信IF201のポートを識別する情報である。ストレージID809は通信IF201を有するストレージ装置104を識別する情報であり、ストレージID700と対応する。更新時刻810はポートそれぞれの情報を更新した時刻である。
なお、ボリューム210とCPU202と通信IF201は異なる種類のコンポーネントであり、コンポーネント情報316として他の種類のコンポーネントの情報を管理してもよい。
図9は監視範囲履歴情報313の例を示す図である。監視範囲履歴情報313は図3を用いて説明したようにマネージャ101の記憶装置302に格納される。ストレージID900はストレージ装置104を識別する情報であり、ストレージID700と対応する。プライマリ901は1つのストレージ装置104を監視する1つまたは複数のエージェント102の中で選ばれた1つのエージェント102を示す情報であり、監視範囲履歴情報313に記録されていない監視範囲を監視したエージェント102であることを示す情報である。
ポートID902はストレージ装置104の通信IF201のポートを識別する情報である。ボリュームID903はボリューム210を識別する情報である。期間904は監視を開始した年月日と開始を終了した年月日により表される監視した期間を示す情報である。エージェントID905はエージェント102を識別する情報である。
監視範囲履歴情報313には、期間904の示す期間の順番にどのストレージ装置104のどのポートとどのボリューム210が、どのエージェント102により監視されたかの情報が履歴として蓄積される。図9の例で、期間904の「2014/10/1-2014/12/31」の期間は、ストレージID900の「StorageA」で識別されるストレージ装置104のボリュームID903の「Volume1」から「Volume10000」で識別されるボリューム210が、エージェントID905の「Agent1」で識別されるエージェント102により監視され、その監視された情報は「Agent1」で識別されるエージェント102に記録されたことを示す。
期間904は、監視が開始されると、監視の開始された年月日と「Current」が記録され、監視が終了すると「Current」の代わりに監視の終了された年月日が記録される。なお、期間904は年月日に加えて時刻が記録されてもよい。
図9の例では監視範囲履歴情報313にCPU202に関する情報がない。このように監視範囲履歴情報313に記録されていない情報は、プライマリ901が「Y」のレコードのエージェントID905で識別されるエージェント102が監視したことを示す。このため、期間904の「2014/10/1-2014/12/31」の期間は、ストレージID900の「StorageA」で識別されるストレージ装置104のCPU202が、エージェントIDの「Agent1」で識別されるエージェント102により監視されたこと示す。
また、仮にストレージIDが「StorageA」で識別されるストレージ装置104にボリュームIDが「Volume30000」で識別されるボリューム210が存在すれば、そのボリューム210は監視範囲履歴情報313には記録されていなため、そのボリューム210もエージェントIDの「Agent1」で識別されるエージェント102により監視されたことを示す。
図10は性能履歴情報512の例を示す図である。性能履歴情報512は図5を用いて説明したようにエージェント102の記憶装置502に格納される。記録時刻150はそのレコードの性能情報の記録された時刻である。ストレージID151はストレージ装置104を識別する情報であり、ストレージID700と対応する。ボリュームID152はボリューム210を識別する情報である。ストレージID151とボリュームID152の情報により特定された対象に関する性能情報が、記録時刻150にしたがって蓄積される。
トータル応答時間153からビジー率156は性能情報であり、トータル応答時間153はリード要求を受け付けてからリードデータを応答するまでの時間である。リードIO率154とライトIO率155はリードとライトそれぞれの単位時間当たりのIOの比率である。ビジー率156は所定の時間中にリードあるいはライトに使用されている時間の比率である。これらの性能情報はボリューム210に関する情報であるが、これらに限定されるものではなく、ボリューム210に関する他のメトリックが含まれてもよい。また、ボリューム210以外のコンポーネントの性能情報が含まれてもよい。
性能履歴情報512は予め保持期間が設定され、記録時刻150の値が保持期間を経過したレコードは削除されてもよい。監視範囲履歴情報313も同じ保持期間が設定され、期間904の値が保持期間を経過したレコードも削除されてもよい。ボリューム210が削除された場合に、性能履歴情報512のいずれのレコードも削除されず、削除されたボリューム210に関する性能情報を保持期間が終了するまで保持してもよい。
図11は監視範囲情報513の例を示す図である。監視範囲情報513は図5を用いて説明したようにエージェント102の記憶装置502に格納される。ストレージID160はストレージ装置104を識別する情報であり、ストレージID700に対応する。ボリュームID161はボリューム210を識別する情報である。ストレージID160とボリュームID161の情報により特定された対象が監視されて、性能情報が取得され、性能履歴情報512に記録される。
エージェント102の監視対象が変更されると、そのエージェント102の監視範囲情報513は変更され、過去の監視対象の履歴は監視範囲履歴情報313を用いて管理される。図11の例はボリューム210に関する監視であるが、ボリューム210以外のコンポーネントを特定する情報を含んでもよい。
図12はクライアント計算機105からマネージャ101へ送信される要求の情報の例を示す図である。図12の例は、クライアント計算機105がマネージャ101へ性能情報を要求する際に送信される情報であり、クライアント計算機105のブラウザプログラム403で入力された情報である。ストレージID250のストレージ装置104を識別する情報とボリュームID251のボリューム210を識別する情報により性能情報を取得対象となるコンポーネントを特定する。コンポーネントを特定できれば他の情報でもよく、ボリューム210以外のコンポーネントの性能情報を取得する場合は、ボリュームID251の代わりにボリューム210以外のコンポーネントを識別する情報であってもよい。
期間252は性能情報の取得対象期間を示す。メトリック1 253の「トータル応答時間」、メトリック2 254の「リードIO率」、メトリック32 255の「ビジー率」のそれぞれは、図10を用いて説明した性能履歴情報512のトータル応答時間153、リードIO率154、ビジー率156に対応する。これらの情報は、ストレージID250とボリュームID251で識別されるコンポーネントのメトリックであるが、性能履歴情報512に記録されたメトリックに対応していれば他のメトリックであってもよい。
なお、図12に示す例では、例えば図10と同じ値である「StorageA」などを用いたが、これは説明を理解しやすくするための表現であり、同じものを識別するための別の値としてもよい。このために、ブラウザでユーザが「StorageA」と識別できる情報は、性能履歴情報512に実際に記録された「StorageA」と識別できる情報へ変換されてもよい。
また、トータル応答時間などは、ボリューム210というコンポーネントの1つのメトリックの情報であるため、コンポーネントメトリック情報と呼んでもよい。
図13はマネージャ101からエージェント102へ送信される要求の情報の例を示す図である。図13の例は、マネージャ101がエージェント102へ性能情報を要求する際に送信される情報であり、図12を用いて説明した要求の情報に基づくため、ストレージID351、ボリュームID352、メトリック1 354、メトリック2 355、メトリック3 356のそれぞれは、ストレージID250、ボリュームID251、メトリック1 253、メトリック2 254、メトリック3 255に対応する。
エージェントID350は要求先のエージェント102を識別する情報である。期間353は期間252の示す期間の中で、エージェントID350で識別されるエージェント102の監視した期間を示す。図12、13は「2014/10/1-2014/12/31」の期間は「Agent1」が監視し、それ以後の期間は他のエージェント102が監視した例である。
図14はエージェント一覧情報317の例を示す図である。エージェント一覧情報317はマネージャ101の記憶装置302に格納される情報である。エージェントID450はエージェント102を識別する情報である。割当て可451は監視範囲の割当てが可能か否かを示す情報であり、割当てが可能な場合は「Y」とし、割当てが可能でない場合は「N」とする。
新規に追加されたエージェント102は、エージェント一覧情報317に追加され、割当て可451に「Y」が設定される。削除されるエージェント102は、割当て可451に「N」が設定された後、エージェント一覧情報317から削除される。これらの処理に関しては、図22、23を用いて後でされに説明する。
図15はクライアント計算機105におけるレポート要求の表示の例を示す図である。ストレージ装置選択550にてストレージ装置104が選択されると、選択されたストレージ装置104の情報がストレージ装置情報551に表示され、コンポーネント選択552にて選択可能なコンポーネントが表示される。コンポーネント選択552において、タブやチェックボックスなどによりコンポーネントが選択され、ボタン553が押下されると、図12を用いて説明した要求の情報がマネージャ101へ送信される。
なお、コンポーネント選択552において選択されたコンポーネントのメトリックも選択可能にしてもよいし、選択されたコンポーネントの全てのメトリックをマネージャ101へ要求し、図16を用いて説明するレポート表示にて選択可能としてもよい。
図16はクライアント計算機105におけるレポート表示の例を示す図である。この例では、コンポーネント選択552が性能表示650となり、選択されたボリューム210の時刻の経過に応じたトータル応答時間の変化がグラフとして表示される。なお、性能情報の表示はグラフ形式以外に表形式で表示されてもよく、複数のメトリックの性能情報が並べられて表示されるまたは重ねられて表示されてもよい。
図17はクライアント要求振分の処理フローの例を示す図である。クライアント要求振分部306はクライアント計算機105から要求を受け付けると(ステップ750)、クライアント要求がエージェント監視範囲の要求であるかを判定する(ステップ751)。クライアント要求がエージェント監視範囲の要求であると判定した場合は、エージェント監視範囲の処理へ進む(ステップ752)。エージェント監視範囲の処理に関しては、図18を用いて後でさらに説明する。
クライアント要求振分部306は、クライアント要求がエージェント監視範囲の要求ではないと判定した場合、クライアント要求がレポート生成の要求であるかを判定する(ステップ753)。クライアント要求がレポート生成の要求であると判定した場合は、レポート生成の処理へ進む(ステップ754)。レポート生成の処理に関しては、図19を用いて後でさらに説明する。
クライアント要求振分部306は、クライアント要求がレポート生成の要求ではないと判定した場合、クライアント要求がエージェント追加の要求であるかを判定する(ステップ755)。クライアント要求がエージェント追加の要求であると判定した場合は、エージェント追加の処理へ進む(ステップ756)。エージェント追加の処理に関しては、図22を用いて後でさらに説明する。
クライアント要求振分部306は、クライアント要求がエージェント追加の要求ではないと判定した場合、クライアント要求がエージェント削除の要求であるかを判定する(ステップ757)。クライアント要求がエージェント削除の要求であると判定した場合は、エージェント削除の処理へ進む(ステップ758)。エージェント削除の処理に関しては、図23を用いて後でさらに説明する。
クライアント要求振分部306は、クライアント要求がエージェント削除の要求ではないと判定した場合、アラート受信部311へ制御を移す。アラート受信部311は、エージェント102からの性能履歴情報512への書き込み遅延のトリガーを受け付ける(ステップ759)。そして、書き込み遅延を解消するために、エージェント102の監視範囲の決定・指示送信の処理へ進む(ステップ760)。
図18はエージェント監視範囲の処理フローの例を示す図である。この処理により、クライアント計算機105がエージェント102の監視範囲を表示する。監視範囲管理部309は、クライアント要求振分部306から監視範囲の要求を受け付け(ステップ850)、監視範囲履歴情報313の期間904に「Current」を含むレコードを取得する(ステップ851)。そして、取得したレコードの情報をクライアント計算機105へ送信する(ステップ852)。ここで、取得したレコードの情報はクライアント計算機105での表示のために何らかの加工がされてもよい。エージェント102の監視範囲はマネージャ101が決定するため、その決定された状態をユーザが確認可能となる。
図19はレポート生成の処理フローの例を示す図である。要求生成部307はクライアント要求振分部306からレポート生成の要求を受け付ける(ステップ950)。レポート生成の要求は、図12を用いて説明した要求の情報が含まれてもよい。また、メトリックの情報は省略され、全てのメトリックの性能情報の要求であるとしてもよい。
要求生成部307は、要求先のエージェント102を特定し、各要求先のエージェント102に応じた要求を生成する(ステップ951)。この生成に関しては図20を用いてさらに説明する。要求生成部307は生成した要求をエージェント通信部308へ渡し、エージェント通信部308は要求を送信して要求に対する応答を受信する(ステップ952)。エージェント通信部308は受信した応答を結合してレポート生成部310へ渡し、レポート生成部310は結合した応答からレポートとなる表示情報に変換してクライアント計算機105へ送信する。
図20は要求生成の処理フローの例を示す図である。これは図19を用いて説明したステップ951の処理であり、1つのコンポーネントの性能情報であっても期間ごとに複数のエージェント102へ性能履歴情報が分散している可能性があるため、そのような場合に要求生成部307はそれぞれの期間を判定し、複数の要求を生成する。要求生成部307は、図12を用いて説明したストレージID250、ボリュームID251、期間252の各情報をレポート生成の範囲情報として取得する。
要求生成部307は監視範囲履歴情報313を検索して、ストレージID250の値とストレージID900の値が一致し、ボリュームID251の値がボリュームID903の値に含まれ、期間252の期間が期間904の期間とオーバーラップするようなレコードを見つけ出す(ステップ171)。ここで、期間252の期間とオーバーラップする期間が期間904として複数存在する可能性がある。そこで検索したレコードごとにエージェント102へ送信する性能情報取得要求期間を決定するために、ステップ172からステップ179を繰り返す。
要求生成部307は、検索したレコードの1つをステップ173からステップ178の処理対象とし(ステップ172)、クライアント計算機105から要求された期間252の要求開始時刻が、期間904の開始時刻より早いかを判定する(ステップ173)。要求生成部307は、ステップ173で早いと判定した場合、性能情報取得要求期間の開始時刻を期間904の開始時刻とし(ステップ174)、ステップ173で早くないと判定した場合、性能情報取得要求期間の開始時刻を期間252の要求開始時刻とする(ステップ175)。
要求生成部307は、クライアント計算機105から要求された期間252の要求終了時刻が、期間904の終了時刻より早いかを判定する(ステップ176)。要求生成部307は、ステップ176で早いと判定した場合、性能情報取得要求期間の終了時刻を期間252の要求終了時刻とし、ステップ176で早くないと判定した場合、性能情報取得要求期間の終了時刻を期間904の終了時刻とする。要求生成部307は、検索したレコードすべてについてステップ173からステップ178が終了していない場合、ステップ172へ戻り、別のレコードを処理対象とし、終了した場合、ステップ180へ進む。
要求生成部307は、ステップ171で検索したレコードのそれぞれについて、図13のエージェントID350をエージェントID905の情報とし、ストレージID351をストレージID900(ストレージID250でも同じ)の情報とし、ボリュームID352をボリュームID251の情報とし、期間353をステップ172からステップ179で決定した性能情報取得要求期間とする要求を生成する(ステップ180)。なお、メトリック1 354などはメトリック1 253などでもよい。
性能情報の取得要求の対象コンポーネントがポートである場合は、以上の説明のボリュームID903の代わりにポートID902が使用されてもよい。監視範囲履歴情報313に記録されていないコンポーネントが性能情報の取得要求の対象である場合は、以上の説明のボリュームID903の代わりにプライマリ901が「Y」のレコードを検索してもよい。
図21は要求を送信し応答を受信する処理フローの例を示す図である。これは図19を用いて説明したステップ952の処理であり、図20を用いて説明したように生成した要求をエージェント102へ送信し、エージェント102から応答を受信する。既に説明したように、要求は、期間252の要求期間によっては複数の性能情報取得要求期間に分割されるため、受信した応答は結合される。
エージェント通信部308は、ステップ951で生成された要求ごとにステップ191を繰り返すため、生成された要求の1つを対象とし(ステップ190)、エージェントID350で識別されるエージェント102へ要求を送信する(ステップ191)。全ての要求を送信するまでステップ190へ戻る。ここで、ステップ191の要求の送信は、エージェント102からの応答を待たずに繰り返される。
エージェント通信部308は、エージェント102からの応答を受信するまで待機し(ステップ193)、応答を受信すると全ての応答を受信したか判定し(ステップ194)、全ての応答を受信したと判定するまでステップ193へ戻る。ここで、応答は、例えば図10を用いて説明した情報であってもよい。また、応答は、応答を送信したエージェント102を識別する情報を含んでもよく、要求に含まれた性能情報取得要求期間を含んでもよく、要求に含まれたメトリックに対応する性能情報だけが含まれてもよい。
エージェント通信部308は、受信した複数の応答を性能情報取得要求期間あるいは記録時刻が古い順番に各応答をソートして結合し、レポート生成部310へ渡す(ステップ195)。
図22はエージェント102を追加する処理フローの例を示す図である。これは、図17を用いて説明したステップ756の処理である。エージェント一覧管理部312は、クライアント要求振分部306からエージェント追加の要求を受け付け(ステップ260)、エージェント一覧情報317にレコードを追加し、追加されるエージェント102を識別する情報をエージェントID450へ設定して、割当て可451を「Y」にする。
追加されたエージェント102へ監視範囲を割当てるために、追加されたエージェント102も含めてエージェント102の監視範囲の決定・指示送信の処理を実行する(ステップ262)。エージェント102の監視範囲の決定・指示送信処理に関しては図24を用いてさらに説明する。なお、ステップ262は監視範囲を割当て直すだけであり、過去に蓄積された性能情報をエージェント102間で移行することはない。
図23はエージェント102を削除する処理フローの例を示す図である。これは、図17を用いて説明したステップ758の処理である。エージェント102が削除されると、削除されたエージェント102に蓄積された性能履歴情報512を使用できなくなるため、削除により使用できなくなる性能履歴情報512を他のエージェント102に移行する。また、削除されるエージェント102を除くエージェント102に監視範囲を割当て直す。
エージェント一覧管理部312は、クライアント要求振分部306からエージェント削除の要求を受け付け(ステップ360)、エージェント一覧情報317のエージェントID450が削除されるエージェント102を識別する情報と一致するレコードの割当て可451を「N」にする(ステップ361)。これによりステップ363の監視範囲の割当てから削除されるエージェント102が除外される。
エージェント一覧管理部312は、削除されるエージェント102へ性能情報の収集の停止を通知し(ステップ362)、エージェント102の監視範囲の決定・指示送信の処理を実行する(ステップ363)。ステップ363により、新たな割当てに基づく性能情報の収集が各エージェント102で開始される。エージェント102の監視範囲の決定・指示送信処理に関しては図24を用いてさらに説明するが、削除されるエージェント102以外のエージェント102全てで監視範囲が改めて割当てられる。この代わりに削除されるエージェント102に割当てられた監視範囲のみを、削除されるエージェント102以外に割当ててもよい。
エージェント一覧管理部312は、削除されるエージェント102の性能履歴情報512に性能情報が記録されたストレージ装置104の一覧あるいはこれに相当する一覧を取得し、取得した一覧の各ストレージ装置104を対象にしてステップ365からステップ369の処理を繰り返す(ステップ364)。これにより削除されるエージェント102の性能履歴情報512が他のエージェント102へ移行される。
エージェント一覧管理部312は、ステップ364で対象としたストレージ装置104を識別する情報と一致する監視範囲履歴情報513のストレージID900の情報を含むレコードの中で、期間904に「Current」を含み、かつプライマリ901が「Y」であるレコードを検索し、検索して得たレコードのエージェントID905のエージェント102を識別する情報を取得する(ステップ365)。そして、削除されるエージェント102を識別する情報と、ステップ365で取得されたエージェント102を識別する情報とが一致するかを判定する(ステップ366)。
エージェント一覧管理部312は、ステップ366で一致すると判定した場合、削除されるエージェント102以外のエージェント102の中からプライマリを選択し、選択されたエージェント102にプライマリを変更する(ステップ367)。これにより、変更されたプライマリは「Current」にもなる。ステップ366で一致しないと判定した場合、およびステップ367を実行した後、ステップ364で対象としたストレージ装置104の性能情報を、削除されるエージェント102の性能履歴情報512から「Current」でプライマリのエージェント102へ移行する(ステップ368)。
ステップ368の移行のために、エージェント一覧管理部312は、削除されるエージェント102あるいは「Current」でプライマリのエージェント102へ移行の指示を出してもよいし、削除されるエージェント102および「Current」でプライマリのエージェント102の両方へ移行の指示をだしてもよい。エージェント一覧管理部312は、監視範囲履歴情報513のストレージID900の情報がステップ364で対象としたストレージ装置104を識別する情報と一致し、かつエージェントID905の情報が削除されるエージェント102を識別する情報と一致するレコードのエージェントID905の情報を移行先のエージェント102を識別する情報に変更する。
エージェント一覧管理部312は、ステップ364で取得した一覧のストレージ装置104全てを対象として処理したと判定するまでステップ364へ戻り、一覧の中の別のストレージ装置104を対象とし、一覧のストレージ装置104全てを対象として処理したと判定した場合、削除されるエージェント102を識別する情報とそれに対応する「N」をエージェント一覧情報317から削除する。
図24はエージェント102の監視範囲の決定・指示送信の処理フローの例を示す図である。これは、図17を用いて説明したステップ760、図22を用いて説明したステップ262、図23を用いて説明したステップ363の処理である。監視範囲管理部309は、ストレージ装置104およびボリューム210の一覧、ボリューム数を構成情報314から取得する(ステップ460)。また、監視範囲管理部309は、割当て可451が「Y」のエージェント102の一覧をエージェント一覧情報317から取得し、取得したエージェント102の数を算出する(ステップ461)。
監視範囲管理部309は、ステップ460で取得した一覧の各ストレージ装置104を対象とし、ステップ463とステップ464を繰り返す。監視範囲管理部309は、ステップ462で対象としたストレージ装置104のボリューム数を、算出したエージェント数で除算し、エージェント102当りのボリューム数を算出する(ステップ463)。
監視範囲管理部309は、算出したボリューム数のボリュームを、取得したエージェント102それぞれに割当てるため、監視範囲履歴情報313にレコードを追加して、追加したレコードのストレージID900に対象としたストレージ装置104を識別する情報を設定し、ボリュームID903に算出したボリューム数のボリュームを識別する情報を設定し、エージェントID905に取得したエージェント102を識別する情報を設定する(ステップ464)。
ここで、対象としたストレージ装置104を識別する情報とストレージID900の情報とが一致するレコードの中で期間904に「Current」を含むレコードの「Current」は、マネージャ101内の図示を省略した時計から取得した前日(あるいは当日)に変更され、追加したレコードの期間904の終了時刻は「Current」が設定されてもよい。また、プライマリのエージェント102が選択され、プライマリ901に「Y」が設定されてもよい。
監視範囲管理部309は、ステップ460で取得した一覧のストレージ装置104を全て処理するまでステップ462に戻り(ステップ465)、ストレージ装置104を全て処理すると、取得したエージェント102のそれぞれへ割当てたボリュームを通知する(ステップ466)。ステップ462で対象としたストレージ装置104のボリューム数を、算出したエージェント数で除算して割当てるため、1つのストレージ装置104を算出の対象となった複数のエージェント102が監視の対象とすることになる。
図24を用いた説明では、ボリュームの監視範囲として数を等分に割当てられる例を示したが、これに限定されるものではく、ボリュームの別のパラメータ例えばボリュームの性能情報などに基づいてエージェント102が割り当てられてもよい。また、ボリュームに関するパラメータではなく、エージェント102の負荷、例えばCPU501の負荷や記憶装置502のリードライト時間に基づいてエージェント102が割り当てられてもよい。また、予め設定された誤差範囲内で均等になるように監視範囲を決めてもよい。
また、ボリューム210が生成されたり削除されたりした場合、図24を用いて説明した処理が実行されてもよい。
図25はエージェント102の処理フローの例を示す図である。エージェント102はストレージ装置104から性能情報を取得して記録するとともに、マネージャ101からの要求に応じた処理を実行する。エージェント102が起動されると、スケジューラ504が起動され、スケジューラ504のスケジュールに基づいてストレージ装置104からの性能情報取得・格納処理が開始される。この処理に関しては図26を用いてさらに説明する。
エージェント102のマネージャ要求振分部510は、マネージャ101からの要求を受け付け(ステップ581)、マネージャ要求が性能取得であるかを判定する(ステップ582)。マネージャ要求が性能取得であると判定した場合、性能取得要求の受け付け処理を実行する(ステップ583)。この処理に関しては図27を用いてさらに説明する。エージェント102のマネージャ要求振分部510は、マネージャ要求が性能取得でないと判定した場合、図24のステップ466で説明したマネージャ101からの監視範囲の更新通知を受け付け、監視範囲更新部511が監視範囲情報513を更新する(ステップ584)。
図26は性能情報取得・格納の処理フローの例を示す図である。スケジューラ504は、予め設定された間隔に基づき性能取得・格納部505の実行を開始する(ステップ680)。性能取得・格納部505は、監視範囲情報513のストレージID160とボリュームID161の各情報を取得し(ステップ681)、ストレージID160の識別情報で特定されるストレージ装置104それぞれを対象にしてステップ683からステップ688までの処理を繰り返す。
性能取得・格納部505は、ステップ682で対象としたストレージ装置104から、ボリュームID161の識別情報で特定されるボリューム210の性能情報を取得する(ステップ683)。ここで、エージェント102からは、ストレージID160の情報に対応するストレージ装置104を宛先として含み、ボリュームID161の情報を監視範囲として含むパケットをストレージ装置104へ送信してもよい。この宛先はストレージID160の情報そのものであってもよいし、ストレージID160の情報を変換した情報であってもよい。この変換のために、エージェント102は、マネージャ101から各ストレージ装置104のIPアドレスなどやアドレスの生成に使用できる固有番号などを予め取得しておいてもよいし、各ストレージ装置104からこれらのアドレスに関する情報を取得しておいてもよい。
記憶装置502の性能を監視する記憶装置監視部508は、ステップ683で取得した性能情報を記憶装置502の性能履歴情報512へ書き込む開始時刻を記録する(ステップ684)。そして、性能取得・格納部505は、取得した性能情報を性能履歴情報512へ書き込む(ステップ685)。
記憶装置監視部508は、ステップ685が終了すると、書き込み終了時刻を記録し(ステップ686)、ステップ684で記録した開始時刻とステップ686で記録した終了時刻との差分から書き込み時間を算出する(ステップ687)。そして、合計の書き込み時間へステップ687で算出した書き込み時間を加算する(ステップ688)。性能取得・格納部505は、ステップ681で取得したストレージID160の識別情報で特定されるストレージ装置104全てを処理対象にするまでステップ682へ戻り(ステップ690)、別のストレージ装置104を処理の対象とする。
全てのストレージ装置104から性能情報を取得し、性能履歴情報512へ書き込むと、記憶装置監視部508は、ステップ688で加算した合計の書き込み時間が、予め設定された閾値を超えたか判定する(ステップ691)。閾値を超えないと判定した場合は処理を終了し、閾値を超えたと判定した場合、記憶装置監視部508はアラート通知部509へアラートの通知を要求し(ステップ692)、アラート通知部509はマネージャ101にアラートを送信する(ステップ693)。
ステップ691の閾値は例えばステップ680の実行間隔の50%であってもよい。また、図26を用いた説明では、書き込み時間に基づきアラートを通知したが、これに限定されるものではなく、エージェント102の記憶装置502の性能履歴情報512の書き込みに関する他の情報に基づいてアラートを通知してもよい。
図27は性能取得要求の処理フローの例を示す図である。これは、図25を用いて説明したステップ583の処理であり、図21を用いて説明したステップ191の要求に対して実行される。マネージャ通信部506は、図13を用いて説明した情報の要求をマネージャ101から受け付け(ステップ780)、応答生成部507へ渡す。
応答生成部507はマネージャ要求に含まれるストレージ装置104を識別する情報とボリューム210を識別する情報のそれぞれがストレージID151の情報とボリュームID152の情報と一致し、かつマネージャ要求の要求期間に記録時刻150の値が含まれるレコードを検索し、検索で見つかったレコードから応答を生成し(ステップ781)、マネージャ通信部506に渡す。マネージャ通信部506は応答をマネージャ101へ送信する(ステップ782)。
以上で説明したように、性能情報の取得の負荷を監視範囲ごとに複数のエージェント102へ分散することができ、性能情報の取得対象の構成の変更に応じて監視範囲を更新できる。また、複数のエージェント102に格納された性能情報をマネージャ101が管理するため、エージェント102が追加されて監視範囲が更新されても、エージェント102に格納された性能情報を移行する必要はない。そして、マネージャ101はレポート生成に必要な性能情報を格納しているエージェント102を特定できるため、他のエージェント102へ負荷をかけることがない。さらに、クライアント計算機105は、あたかも1つの装置で性能情報が格納されているかのような単純な要求により、性能情報のレポートの応答を受け取ることができる。
101:管理用計算機(マネージャ)
102:監視用計算機(エージェント)
103:業務用計算機
104:ストレージ装置
105:クライアント計算機
210:ボリューム
313:監視範囲履歴情報
512:性能履歴情報
513:監視範囲情報

Claims (15)

  1. ストレージ装置とマネージャと複数のエージェントを含むストレージ監視システムであって、
    前記ストレージ装置は、
    複数種類のコンポーネントを有し、
    前記複数種類のコンポーネントは第1の種類の複数コンポーネントを含み、
    前記マネージャは、
    第1のプロセッサと第1の記憶装置を有し、
    前記第1のプロセッサは、
    前記複数のエージェントの中の第1のエージェントによる前記第1の種類の複数コンポーネントの第1の監視範囲の情報を前記第1のエージェントの情報と対応付けて前記第1の記憶装置に格納して、前記第1の監視範囲の情報を前記第1のエージェントに通知し、
    前記複数のエージェントの中の第2のエージェントによる前記第1の種類の複数コンポーネントの第2の監視範囲の情報を前記第2のエージェントの情報と対応付けて前記第1の記憶装置に格納して、前記第2の監視範囲の情報を前記第2のエージェントに通知し、
    前記第1のエージェントは、
    第2のプロセッサと第2の記憶装置を有し、
    前記第2のプロセッサは、前記マネージャから通知された前記第1の監視範囲の情報を前記第2の記憶装置に格納し、前記第2の記憶装置に格納された前記第1の監視範囲の情報に基づき前記第1の種類の複数コンポーネントの中の前記第1の監視範囲のコンポーネントの第1のコンポーネントメトリック情報を前記ストレージ装置から取得し、前記第2の記憶装置に前記取得した第1のコンポーネントメトリック情報を格納し、
    前記第2のエージェントは、
    第3のプロセッサと第3の記憶装置を有し、
    前記第3のプロセッサは、前記マネージャから通知された前記第2の監視範囲の情報を前記第3の記憶装置に格納し、前記第3の記憶装置に格納された前記第2の監視範囲の情報に基づき前記第1の種類の複数コンポーネントの中の前記第2の監視範囲のコンポーネントの第2のコンポーネントメトリック情報を前記ストレージ装置から取得し、前記第3の記憶装置に前記取得した第2のコンポーネントメトリック情報を格納する
    ことを特徴とするストレージ監視システム。
  2. 前記マネージャの第1のプロセッサは、
    前記第1の種類の複数コンポーネントの数と前記複数のエージェントの数に基づき前記第1の監視範囲に含まれるコンポーネントの数と前記第2の監視範囲に含まれるコンポーネントの数を算出することにより、コンポーネントの数が予め設定された誤差範囲内で均等になるように前記第1の監視範囲の情報と前記第2の監視範囲の情報を決定し、
    前記第1の記憶装置に既に格納されている監視範囲の情報に対応付けられた監視の終了時刻の情報を更新し、
    前記決定した第1の監視範囲の情報と第2の監視範囲の情報それぞれを監視の開始時刻の情報とともに前記第1の記憶装置に格納する
    ことを特徴とする請求項1に記載のストレー監視ジシステム。
  3. 前記ストレージ監視システムは、
    コンポーネントメトリック情報の要求を前記マネージャに送信するクライアントを含み、
    前記マネージャの第1のプロセッサは、
    前記クライアントが送信した要求に含まれる開始時刻と終了時刻により成る期間の情報から、前記第1のメモリに格納された情報に基づき、前記要求に含まれる期間の要求対象のコンポーネントメトリック情報を保持しているエージェント群を前記複数のエージェントの中から特定し、前記特定されたエージェント群に要求を送信する
    ことを特徴とする請求項2に記載のストレージ監視システム。
  4. 前記特定されたエージェント群は、
    前記エージェント群に送信された要求に応じて、前記要求対象のコンポーネントメトリック情報を前記マネージャに送信し、
    前記マネージャの第1のプロセッサは、
    前記特定されたエージェント群から送信されたコンポーネントメトリック情報を受信して結合し、前記クライアントに送信する
    ことを特徴とする請求項3に記載のストレージ監視システム。
  5. 前記マネージャの第1のプロセッサは、
    前記複数のエージェントの数が増加すると、前記第1の種類の複数コンポーネントの数と前記複数のエージェントの増加した数に基づき前記第1の監視範囲に含まれるコンポーネントの数と前記第2の監視範囲に含まれるコンポーネントの数を算出することにより、コンポーネントの数が予め設定された誤差範囲内で均等になるように前記第1の監視範囲の情報と前記第2の監視範囲の情報を決定する
    ことを特徴とする請求項4記載のストレージ監視システム。
  6. 前記マネージャの第1のプロセッサは、
    前記第1のエージェントが削除されると、前記第1の種類の複数コンポーネントの数と前記複数のエージェントの前記第1のエージェントを除く数に基づき前記前記第2の監視範囲に含まれるコンポーネントの数を算出することにより、コンポーネントの数が予め設定された誤差範囲内で均等になるように前記第2の監視範囲の情報を決定し、
    前記第2の記憶装置に格納された前記第1のコンポーネントメトリック情報を前記複数のエージェントの中の第3のエージェントへ移行するように前記第1のエージェントへ指示し、
    前記第1の記憶装置に格納された前記第1の監視範囲の情報を前記第3のエージェントの情報との対応付けに更新し、
    前記第1のエージェントは、
    前記第2の記憶装置に格納された前記第1のコンポーネントメトリック情報を前記第3のエージェントへ移行する
    ことを特徴とする請求項4記載のストレージ監視システム。
  7. 前記マネージャの第1のプロセッサは、
    前記第1の種類の複数コンポーネントの数が変更されると、前記第1の種類の複数コンポーネントの変更された数と前記複数のエージェントの数に基づき前記第1の監視範囲に含まれるコンポーネントの数と前記第2の監視範囲に含まれるコンポーネントの数を算出することにより、コンポーネントの数が予め設定された誤差範囲内で均等になるように前記第1の監視範囲の情報と前記第2の監視範囲の情報を決定する
    ことを特徴とする請求項4記載のストレージ監視システム。
  8. 前記ストレージ監視システムは、
    前記ストレージ装置へ前記コンポーネントの生成あるいは削除を要求するサーバと、前記ストレージ装置との間に中継器を含み、
    前記サーバは、
    前記コンポーネントの生成あるいは削除の要求を前記中継器へ送信し、
    前記中継器は、
    前記コンポーネントの生成あるいは削除の要求を受信して、前記ストレージ装置と前記マネージャに送信し、
    前記ストレージ装置は、
    前記コンポーネントの生成あるいは削除の要求を受信して、前記コンポーネントを生成あるいは削除し、
    前記マネージャの第1のプロセッサは、
    前記コンポーネントの生成あるいは削除の要求を受信する
    ことを特徴とする請求項7に記載のストレージ監視システム。
  9. 前記サーバは、
    仮想マシンを生成すると、前記コンポーネントの生成の要求を前記中継器に送信し、仮想マシンを削除すると、前記コンポーネントの削除の要求を前記中継器に送信する
    ことを特徴とする請求項8に記載のストレージ監視システム。
  10. 前記第1のエージェントの第2のプロセッサは、
    前記第2の記憶装置に前記第1のコンポーネントメトリック情報を格納する性能を計測し、前記計測した性能が予め設定された閾値より低下したことを判定し、前記マネージャへ通知する
    ことを特徴とする請求項9に記載のストレージ監視システム。
  11. 前記コンポーネントはボリュームであり、
    前記コンポーネントメトリック情報は、前記ボリュームのリードライトの性能情報である
    ことを特徴とする請求項10に記載のストレージ監視システム。
  12. ストレージ装置とマネージャと複数のエージェントを含むストレージ監視システムの監視方法であって、
    前記マネージャは、
    前記ストレージ装置に含まれる複数種類のコンポーネントの中の第1の種類の複数コンポーネントに対する前記複数のエージェントの中の第1のエージェントによる第1の監視範囲の情報を前記第1のエージェントの情報と対応付けて記憶し、前記第1の監視範囲の情報を前記第1のエージェントに通知し、
    前記第1の種類の複数コンポーネントに対する前記複数のエージェントの中の第2のエージェントによる第2の監視範囲の情報を前記第2のエージェントの情報と対応付けて記憶し、前記第2の監視範囲の情報を前記第2のエージェントに通知する
    ことを特徴とするストレージ監視システムの監視方法。
  13. 前記第1のエージェントは、
    前記マネージャから通知された前記第1の監視範囲の情報を記憶し、前記記憶された前記第1の監視範囲の情報に基づき前記第1の種類の複数コンポーネントの中の前記第1の監視範囲のコンポーネントの第1のコンポーネントメトリック情報を前記ストレージ装置から取得して記憶し、
    前記第2のエージェントは、
    前記マネージャから通知された前記第2の監視範囲の情報を記憶し、前記記憶された前記第2の監視範囲の情報に基づき前記第1の種類の複数コンポーネントの中の前記第2の監視範囲のコンポーネントの第2のコンポーネントメトリック情報を前記ストレージ装置から取得して記憶する
    ことを特徴とする請求項12に記載のストレージ監視システムの監視方法。
  14. 前記マネージャは、
    前記第1の種類の複数コンポーネントの数と前記複数のエージェントの数に基づき前記第1の監視範囲に含まれるコンポーネントの数と前記第2の監視範囲に含まれるコンポーネントの数を算出することにより、コンポーネントの数が予め設定された誤差範囲内で均等になるように前記第1の監視範囲の情報と前記第2の監視範囲の情報を決定し、
    既に記憶されている監視範囲の情報に対応付けられた監視の終了時刻の情報を更新し、
    前記決定した第1の監視範囲の情報と第2の監視範囲の情報それぞれを監視の開始時刻の情報とともに記憶する
    ことを特徴とする請求項13に記載のストレージ監視システムの監視方法。
  15. 前記マネージャは、
    クライアントが送信した要求に含まれる開始時刻と終了時刻により成る期間の情報から、前記マネージャに記憶された情報に基づき、前記要求に含まれる期間の要求対象のコンポーネントメトリック情報を保持しているエージェント群を前記複数のエージェントの中から特定し、前記特定されたエージェント群に要求を送信する
    ことを特徴とする請求項14に記載のストレージ監視システムの監視方法。
JP2017530508A 2015-07-28 2015-07-28 ストレージ監視システムおよびその監視方法 Active JP6279816B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/071298 WO2017017774A1 (ja) 2015-07-28 2015-07-28 ストレージ監視システムおよびその監視方法

Publications (2)

Publication Number Publication Date
JPWO2017017774A1 true JPWO2017017774A1 (ja) 2017-10-26
JP6279816B2 JP6279816B2 (ja) 2018-02-14

Family

ID=57884295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017530508A Active JP6279816B2 (ja) 2015-07-28 2015-07-28 ストレージ監視システムおよびその監視方法

Country Status (3)

Country Link
US (1) US10585620B2 (ja)
JP (1) JP6279816B2 (ja)
WO (1) WO2017017774A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10965566B2 (en) * 2017-11-03 2021-03-30 International Business Machines Corporation System and method for detecting changes in cloud service up-time
US11893407B2 (en) * 2020-09-24 2024-02-06 Red Hat, Inc. Overlay container storage driver for microservice workloads
US11829630B2 (en) * 2020-10-23 2023-11-28 EMC IP Holding Company LLC Synthetically providing multiple types of granular delete operations for a cloud-based object storage

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051822A (ja) * 2001-08-06 2003-02-21 Nec Commun Syst Ltd ネットワーク監視システム、ネットワーク監視方法、およびそのプログラム
JP2005309838A (ja) * 2004-04-22 2005-11-04 Hitachi Ltd 情報管理システムと情報管理方法、及び、そのための情報管理サブシステム
JP2011090639A (ja) * 2009-10-26 2011-05-06 Hitachi Ltd 情報処理システム、及びストレージ監視サーバの管理方法
JP2011197775A (ja) * 2010-03-17 2011-10-06 Nec Corp データ管理システム、管理サーバ、データ管理方法およびデータ管理用プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003903096A0 (en) * 2003-06-18 2003-07-03 Sap Aktiengesellschaft A method of monitoring the utilisation of a hardware component in a computing system
JP4479284B2 (ja) * 2004-03-08 2010-06-09 株式会社日立製作所 計算機システムのモニタリングを設定する管理計算機及びシステム
US7469284B1 (en) 2004-12-28 2008-12-23 Emc Corporation Methods and apparatus for assigning management responsibilities to multiple agents
US7831795B2 (en) * 2005-11-28 2010-11-09 Commvault Systems, Inc. Systems and methods for classifying and transferring information in a storage network
US9231858B1 (en) * 2006-08-11 2016-01-05 Dynatrace Software Gmbh Completeness detection of monitored globally distributed synchronous and asynchronous transactions
JP4980792B2 (ja) * 2007-05-22 2012-07-18 株式会社日立製作所 仮想計算機の性能監視方法及びその方法を用いた装置
JP4724759B2 (ja) * 2009-03-12 2011-07-13 富士通株式会社 アクセス制御装置、ストレージ装置、ネットワーク通信装置、アクセス制御方法、及びアクセス制御プログラム
CN101751228B (zh) * 2009-12-29 2011-07-20 成都市华为赛门铁克科技有限公司 磁盘阵列的实现方法和数据读写方法及装置
WO2012169027A1 (ja) * 2011-06-08 2012-12-13 株式会社日立製作所 計算機システム及びストレージシステム管理方法
CN104272269A (zh) * 2012-10-02 2015-01-07 松下知识产权经营株式会社 监视装置及监视方法
US9128745B2 (en) * 2012-12-27 2015-09-08 International Business Machines Corporation Automatically managing the storage of a virtual machine
US9519580B2 (en) * 2013-11-11 2016-12-13 Globalfoundries Inc. Load balancing logical units in an active/passive storage system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051822A (ja) * 2001-08-06 2003-02-21 Nec Commun Syst Ltd ネットワーク監視システム、ネットワーク監視方法、およびそのプログラム
JP2005309838A (ja) * 2004-04-22 2005-11-04 Hitachi Ltd 情報管理システムと情報管理方法、及び、そのための情報管理サブシステム
JP2011090639A (ja) * 2009-10-26 2011-05-06 Hitachi Ltd 情報処理システム、及びストレージ監視サーバの管理方法
JP2011197775A (ja) * 2010-03-17 2011-10-06 Nec Corp データ管理システム、管理サーバ、データ管理方法およびデータ管理用プログラム

Also Published As

Publication number Publication date
US20180018129A1 (en) 2018-01-18
US10585620B2 (en) 2020-03-10
JP6279816B2 (ja) 2018-02-14
WO2017017774A1 (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6571161B2 (ja) アプリケーショントポロジ関係を探索するための方法、装置、およびシステム
JP5130375B2 (ja) コンピュータシステム、コンピュータシステムのリソース資源管理サーバ、及びコンピュータシステムのリソース管理方法
JP5980335B2 (ja) 仮想計算機システム、管理計算機及び仮想計算機管理方法
JP5370946B2 (ja) リソース管理方法及び計算機システム
US20160275123A1 (en) Pipeline execution of multiple map-reduce jobs
JP6186787B2 (ja) データ転送装置、データ転送システム、データ転送方法及びプログラム
US20120117226A1 (en) Monitoring system of computer and monitoring method
US20080133741A1 (en) Computer program and apparatus for controlling computing resources, and distributed processing system
KR20160087706A (ko) 가상화 플랫폼을 고려한 분산 데이터 처리 시스템의 자원 할당 장치 및 할당 방법
US20140282540A1 (en) Performant host selection for virtualization centers
US20190146848A1 (en) Adaptive Resource Management In Distributed Computing Systems
WO2015049742A1 (ja) ストレージシステムおよびストレージシステム制御方法
US20140201356A1 (en) Monitoring system of managing cloud-based hosts and monitoring method using for the same
JP2011197852A (ja) 仮想計算機システムの管理プログラム,管理装置及び管理方法
US20150207855A1 (en) Batch logging in a distributed memory
US20180176289A1 (en) Information processing device, information processing system, computer-readable recording medium, and information processing method
JP6279816B2 (ja) ストレージ監視システムおよびその監視方法
KR101765725B1 (ko) 대용량 방송용 빅데이터 분산 병렬처리를 위한 동적 디바이스 연결 시스템 및 방법
US11212174B2 (en) Network management device and network management method
JP2019008454A (ja) 情報処理システムおよびリソース割り当て方法
CN111580951A (zh) 一种任务分配方法及资源管理平台
US20180246824A1 (en) System provided with computer and storage apparatus and method for control of system
CN114090201A (zh) 资源调度方法、装置、设备及存储介质
JP6062809B2 (ja) 資産管理システム及び資産管理方法
JP5867499B2 (ja) 仮想サーバシステム、管理サーバ装置及びシステム管理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180117

R150 Certificate of patent or registration of utility model

Ref document number: 6279816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150