JP6151795B2 - 管理計算機および計算機システムの管理方法 - Google Patents

管理計算機および計算機システムの管理方法 Download PDF

Info

Publication number
JP6151795B2
JP6151795B2 JP2015546261A JP2015546261A JP6151795B2 JP 6151795 B2 JP6151795 B2 JP 6151795B2 JP 2015546261 A JP2015546261 A JP 2015546261A JP 2015546261 A JP2015546261 A JP 2015546261A JP 6151795 B2 JP6151795 B2 JP 6151795B2
Authority
JP
Japan
Prior art keywords
configuration change
computer
plan
information
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015546261A
Other languages
English (en)
Other versions
JPWO2015068299A1 (ja
Inventor
金子 聡
聡 金子
幸徳 坂下
幸徳 坂下
京子 三輪
京子 三輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2015068299A1 publication Critical patent/JPWO2015068299A1/ja
Application granted granted Critical
Publication of JP6151795B2 publication Critical patent/JP6151795B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1471Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/142Reconfiguring to eliminate the error
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094Redundant storage or storage space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805Real-time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/85Active fault masking without idle spares
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Description

本発明は、管理計算機および計算機システムの管理方法に関する。
近年、ハードウェア障害やアプリケーション障害における可用性を向上させるための技術としてクラスタ技術が利用されている。複数のストレージ装置を含むストレージシステムにおいて、第1のストレージ装置に障害が発生した場合、ホストコンピュータが、第1のストレージ装置に送るはずであったデータを第2のストレージ装置に送ることで、システムの可用性を向上させる技術が知られている(特許文献1)。
特許文献2には、複数の仮想領域で構成された仮想的な論理ボリューム(以下、VVOLと呼ぶ)の状況を管理し、不適切な状況にあるVVOLを検出する。VVOLは、記憶領域を提供するためのプールに関連付けられている。特許文献2では、不適切な状況にあるVVOLを現在のプールから他のプールに移すことで、状況の改善を試みる。
特開2007−085680号公報 国際公開第2011/092738号パンフレット
計算機システムの運用管理において、ストレージシステムの状態を改善するために、構成変更計画を立案し、実行することがある。この場合、例えば、複数の構成変更計画の中から実際に実行する計画を選定したり、選定した構成変更計画に対する上位管理者の承認を得たりする必要がある。したがって、状態の改善が必要と判断されてから実際に構成変更計画を実施するまでに、通常は一定の時間を要する。
例えば、計画的な構成変更の他に、障害発生時にはクラスタを切り替えるなどの、条件に応じた自動的な構成変更の実施が予め定義されている場合、もしも構成変更計画を実施するまでの間に、ハードウェア障害やアプリケーション障害が生じると、それら障害に対して自動的な構成変更が実行されうる。
それらの自動的な構成変更が実行されると、例えば、アプリケーションからストレージ装置の物理ディスクまでのI/O(Input/Output)経路が変化したり、I/O処理に関連する計算機リソースの状態が変化したりする可能性がある。したがって、それら変化が生じる前の状態に基づいて生成された構成変更計画を予定通りに実施しても、当初期待した通りの効果を得られなくなる場合がある。
上述の通り、計算機システム管理者の作成した構成変更計画が実際に実行されるまでに時間を要するため、障害などに即応すべく事前に設定されている自動的な構成変更が先に実施されてしまう場合があり、その場合には用意されていた構成変更計画が所期の目的を達成できない可能性がある。
本発明は、上記の課題に鑑みてなされたもので、その目的の1つは、計算機とストレージ装置の状態変化を考慮して、所定の条件に従って実施するように事前に設定されている構成変更を修正することができるようにした管理計算機および計算機システムの管理方法を提供することにある。
本発明の1つの観点に係る管理計算機は、計算機とストレージ装置とに接続する管理計算機であって、ストレージ装置により提供される複数の論理記憶領域を示す第1構成情報と、複数の論理記憶領域の中の第1論理記憶領域に格納され、計算機により実行される所定のオブジェクトの稼働要件を示す第2構成情報と、計算機またはストレージ装置により実行予定である第1の構成変更の計画を示す構成変更計画情報と、を格納するメモリと、メモリに接続されるマイクロプロセッサと、を有し、マイクロプロセッサは、計算機またはストレージ装置において所定の条件に従って実施するように事前に設定される第2の構成変更が実施されるか否かを判定し、第2の構成変更が実施されると判定した場合、第2の構成変更が実施された場合における計算機またはストレージ装置についての、所定の性能指標に関する性能指標値を予測し、予測した性能指標値に基づいて、構成変更計画についてあらかじめ設定される効果期待値を満たすか否かを判定し、効果期待値が満たされないと判定した場合、所定のオブジェクトの稼働要件と効果期待値の両方を満たす代替案を生成する。
図1は、本実施形態の概要を示す説明図である。 図2は、計算機システムの構成図である。 図3は、記憶構造の概要を示す説明図である。 図4は、ボリュームを管理するテーブルの例である。 図5は、プールを管理するテーブルの例である。 図6は、ドライブを管理するテーブルの例である。 図7は、通信ポートを管理するテーブルの例である。 図8は、マイクロプロセッサを管理するテーブルの例である。 図9は、自動的に実施される構成変更を管理するテーブルの例である。 図10は、仮想マシンを管理するテーブルの例である。 図11は、構成変更計画を管理するテーブルの例である。 図12は、構成変更手段を管理するテーブルの例である。 図13は、自動構成変更の内容を修正する制御処理を示すフローチャートである。 図14は、代替案を生成する処理を示すフローチャートである。
本実施形態を、図面を参照して説明する。なお、以下に説明する実施例は請求の範囲にかかる発明を限定するものではなく、また実施例の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
なお、以下の説明では、「aaaテーブル」の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていても良い。データ構造に依存しないことを示すために「aaaテーブル」を「aaa情報」と呼ぶことができる。
また、以下の説明では、単に管理計算機及びホスト計算機を主語として処理を説明する場合があるが、これら処理は、計算機が備える制御デバイスが有するマイクロプロセッサ(例えば、CPU(Central Processing Unit))によって、実行されていることを示す。同様に、単にストレージ装置を主語として処理を説明する場合には、ストレージ装置が備えるコントローラが実行していることを示す。また、上記制御デバイス及びコントローラのうちの少なくとも1つは、プロセッサそれ自体であっても良いし、制御デバイス又はコントローラが行う処理の一部又は全部を行うハードウェア回路を含んでも良い。
コンピュータプログラムは、プログラムソースから各計算機あるいはストレージシステムにインストールされても良い。プログラムソースは、例えば、プログラム配布サーバ又は記憶メディアであっても良い。
本実施形態では、ホスト計算機やストレージ装置に対する構成変更計画をシステム管理者が実施するために、任意のシステム管理部門の責任者に対して事前に承認を得る必要があるような環境を想定している。
このような環境では、作成済みの構成変更計画を、実際の状況に合わせて動的に修正して実施することはできない。修正後の内容で責任者から再び承認を得ない限り、実施できないためである。
したがって、例えばクラスタ切替のような、障害等に対応するための動的な構成変更が発生した場合は、事前に承認を受けた構成変更計画が無駄になるおそれがある。構成変更計画の作成時点でのシステム構成と動的な構成変更の実施後のシステム構成が異なると、たとえ承認済みの構成変更計画を予定通り実行したとしても、所期の効果を得られない可能性がある。
所期の効果を得るために、構成変更計画を現状のシステム構成に合わせて調整してから実行することができれば良いが、上述の通り、本実施形態の想定する環境では、システム管理部門の責任者から承認を得ない限り、構成変更計画を実行することはできない。
このように、システムの現状に応じて動的に実施される構成変更と、運用状況などの改善のために管理者が事前に立案する構成変更計画とが互いに独立して実施されると、システム管理効率が低いという課題がある。
そこで、本実施形態では、事前に用意された構成変更計画(第1の構成変更)がある場合、構成変更計画の予定する効果を得られるように、システム構成の現状に合わせて実施される構成変更(第2の構成変更)の内容を修正する。
図1は、第1実施例の概要を示す。計算機システムは、例えば、少なくとも1つのホスト計算機101と少なくとも1つのストレージ装置102とを含み、それらホスト計算機101およびストレージ装置102は、少なくとも1つの管理計算機201に双方向通信可能に接続されている。
管理計算機201は、例えば、主記憶装置、補助記憶装置などから構成される記憶資源211を有する。管理計算機201の有する記憶資源211には、例えば、VM(仮想マシン:Virtual Machine)111のサービスレベル情報および稼働スケジュールと、ホスト計算機101またはストレージ装置102にて実行予定の構成変更計画についての情報と、VM111からストレージ装置102の記憶領域までの構成情報とが、格納されている。
管理計算機201の有する自動構成変更制御プログラム810は、計算機システムの現状に応じて自動的に実行される構成変更(第2の構成変更)の内容を修正等するための制御プログラムである。
自動構成変更制御プログラム810は、管理対象であるホスト計算機101およびストレージ装置102から自動構成変更が実施される予兆を検知する(S1)。予兆検知の方法は後述する。自動構成変更制御プログラム810は、記憶資源211から、VM111に設定されているサービスレベル情報および稼働スケジュールと、実行予定の構成変更計画の情報と、VM111からストレージ装置102の記憶領域までの構成情報と、を取得する。自動構成変更制御プログラム810は、記憶資源211から取得した情報に基づいて、自動構成変更が実施された場合の、実行予定の構成変更計画への影響を計算する(S2)。以下、実行予定の構成変更計画を、単に構成変更計画と呼ぶ場合がある。
自動構成変更制御プログラム810は、上記計算の結果、構成変更計画が予定している効果期待値を満たせないと判定すると、構成変更計画を考慮して自動構成変更の内容を修正する。例えば、自動構成変更制御プログラム810は、VM111に設定されているサービスレベル情報および稼働スケジュールと、構成変更計画の情報と、VM111からストレージ装置102の記憶領域までの構成情報と、を用いて、自動構成変更の代替案を生成する。その代替案は、サービスレベルを維持しつつ、構成変更計画の予定する効果期待値も満足するように生成される(S3)。自動構成変更制御プログラム810は、代替案を生成すると、その代替案の実行をホスト計算機101やストレージ装置102に指示することもできる(S3)。 後述のように、構成変更計画の効果期待値を満足する代替案を生成できない場合、自動構成変更制御プログラム810は、構成変更計画の実行を中止することができる。
図2は、計算機システムの構成例を示す。ストレージ装置102は、例えばLAN(Local Area Network)などの第1の通信ネットワーク231を介して、管理計算機201およびホスト計算機101に接続されている。ストレージ装置102は、例えばSAN(Storage Area Network)などの第2の通信ネットワーク232を介して、ホスト計算機101に接続されている。第2の通信ネットワーク232には、1つ以上のスイッチ233を含むことができる。なお、第1の通信ネットワーク231、および第2の通信ネットワーク232は一体に形成されても良い。
ストレージ装置102は、例えば、複数の物理記憶デバイス群309と、物理記憶デバイス群309に接続されたコントローラ251とを有する。物理記憶デバイス群309は、1以上の物理記憶デバイスより構成される。
物理記憶デバイスとしては、例えば、SSD(Solid State Drive)、SAS(Serial Attached SCSI)−HDD、SATA(Serial ATA(Advanced Technology Attachment))−HDD、などがある。MRAM(Magnetoresistive Random Access Memory)、相変化メモリ(Phase−Change Memory)、ReRAM(Resistive random−Access memory)、FeRAM(Ferroelectric Random Access Memory)等を物理記憶デバイスとして用いてもよい。
ストレージ装置102には、性能の異なる複数の物理記憶デバイス群を混在して設けることができる。なお、物理記憶デバイス群は、ストレージ装置102の外部から提供されるものであっても良い。つまり、ストレージ装置102は、例えば、他のストレージ装置の有する物理記憶デバイス群に接続して、それがあたかもストレージ装置102の固有の記憶デバイス群であるかのように使用することもできる。
コントローラ251は、例えば、管理インタフェース(以下、M−I/Fと記載)241と、通信インタフェース242(以下、C−I/Fと記載)242と、デバイスインタフェース(以下、D−I/Fと記載)245と、メモリ243と、それらに接続されたマイクロプロセッサ244とを有する。以下、マイクロプロセッサをプロセッサと略記する場合がある。
M−I/F241は、第1のプロトコルで通信するための通信インタフェース装置であり、例えば、NIC(Network Interface Card)である。C−I/F242は、第2のプロトコルで通信するための通信インタフェース装置である。
D−I/F245は、第3のプロトコルで物理記憶デバイス群309と通信するための通信インタフェース装置である。D−I/F245は、物理記憶デバイスの種類毎に用意されてもよい。コントローラ251は、D−I/F245を介して、物理記憶デバイスにアクセスをする。
メモリ243は、プロセッサ244で実行されるコンピュータプログラム、および種々の情報を記憶する。メモリ243は、キャッシュメモリ領域を有する。キャッシュメモリ領域には、例えば、ホスト計算機101から受信したライト対象データや、物理記憶デバイス上の実データ保存領域(以下、ページと呼ぶ)から読み出されたリード対象データなどが一時格納される。キャッシュメモリ領域内のライト対象データは、ライト先の仮想領域に割り当てられた物理記憶デバイスに格納される。キャッシュメモリ領域内のリード対象データは、ホスト計算機101に提供される。
ホスト計算機101は、例えば、M―I/F224と、C―I/F226と、記憶資源221と、それらに接続されたプロセッサ222と、I/Oデバイス223とを含んで構成される。
M−I/F224は、例えばNICである。C−I/F226は、例えばHBA(Host Bus Adapter)である。記憶資源221は、例えば、メモリである。記憶資源221は、HDD(Hard Disk Drive)等の補助記憶装置を含んでも良い。記憶資源221は、例えば、業務プログラムなどのアプリケーションプログラムやOS(Operating System)などを記憶する。プロセッサ222は、記憶資源221に記憶されたアプリケーションプログラムやOSを実行する。I/Oデバイス223は、ユーザからの入力を受け付ける入力部(例えば、キーボード、スイッチ、ポインティングデバイス、マイクロフォン、カメラ等)と、各種情報をユーザに表示する出力部(例えば、ディスプレイ装置、スピーカ等)とを有する。
管理計算機201は、例えば、M−I/F214と、記憶資源211と、それらに接続されたプロセッサ212と、I/Oデバイス213とを含んで構成される。M−I/F214は、例えばNICである。I/Oデバイス213は、I/Oデバイス223と同様である。
記憶資源211は、例えばメモリであり、HDD等の補助記憶装置を含んでも良い。記憶資源211は、コンピュータプログラムや種々の情報を記憶する。コンピュータプログラムは、プロセッサ212で実行される。
記憶資源211には、情報として、ボリューム管理テーブル801、プール管理テーブル802、ドライブ管理テーブル803、ポート管理テーブル804、CPU管理テーブル805、自動構成変更管理テーブル806、VM管理テーブル807、構成変更計画管理テーブル808、構成変更手段テーブル809が記憶される。記憶資源211には、コンピュータプログラムとして、自動構成変更制御プログラム810、VM管理プログラム811が記憶される。
以上が、本実施例に係る計算機システムのハードウェア等の構成例である。なお、前述のM−I/F、C−I/Fなどで使用する通信インタフェースデバイスは、HBAやNICに限らない。通信インターフェースデバイスは、例えば、それらI/Fが接続されるネットワークの種類や、それらI/Fを有する装置の種類によって異なる。
図3は、計算機システムの記憶構造等の概要を示す。ストレージシステム103は、1以上のストレージ装置102で構成される。ストレージ装置102のうちの少なくとも1つは、シンプロビジョニング技術が適用されたストレージ装置である。シンプロビジョニング技術とは、実際に有する物理的記憶容量にかかわらず、仮想的な記憶容量を定義してホスト計算機101に提供する技術である。ストレージシステム103は、物理記憶デバイス群309の実領域から構成された、特性の異なる複数の論理ボリュームを有する。
以下、ボリュームをVOLと呼ぶ場合がある。
本実施例のストレージシステム103は、LDEV、ExVOL、VVOLの、3種類のボリュームを使用することができる。LDEV107は、物理記憶デバイスを示すドライブ109から構成されるボリュームである。ExVOL105は、VDEV108から構成されるボリュームである。VDEV108は、外部のストレージ装置の有するボリュームに接続されている中間的ボリュームである。
VVOL106は、シンプロビジョニング技術に基づいて構成される仮想的ボリュームであり、プール110に登録されている複数のボリュームの実領域(実記憶領域であり、ページとも呼ぶ)を利用して生成される。
ドライブ109は、物理記憶デバイス群309で説明したように、例えば、SSD、SAS−HDD、SATA−HDD、MRAM、相変化メモリ、ReRAM、FeRAMなどから構成することができる。
ストレージシステム103は、1つ以上のプール110を有する(図3では、1つだけ図示)。各プール110は、性能の異なる複数のプールボリュームを有する。プールボリュームとしては、ストレージ装置102の内部に設けられている実ボリューム(LDEV)と、ストレージ装置102の外部に設けれている実ボリュームに接続された外部接続ボリューム(ExVOL)とがある。それらプールボリュームは、複数のページに区切られている。基本的にプールボリュームは、1つのプールにのみ属し、複数のプールに所属しない。
ストレージシステム103は、複数のVVOL106を有する(図3では、1つだけ図示)。上述の通り、VVOL106は、シンプロビジョニング技術に従う仮想的な論理ボリュームであり、複数の、仮想的な記憶領域である仮想領域で構成されている。仮想領域とは、例えば、LBA(Logical Block Addressing)などのアドレスである。
ストレージシステム103は、ホスト計算機101からVVOL106をライト先として指定したライトコマンドを受信した場合、指定された仮想領域に、実領域であるページが割り当てられているか判定する。
ストレージシステム103は、指定された仮想領域にページが割り当てられていると判定すると、そのページにライト対象データを書き込む。
ストレージシステム103は、指定された仮想領域にページが割り当てられていないと判定すると、ライト対象のVVOL106が関連付けられているプール110の中から、未使用のページを選択する。ストレージシステム103は、指定された仮想領域に選択した未使用ページを割り当て、その割り当てたページにライト対象のデータを書き込む。
ホスト計算機101は、ストレージシステム103へのアクセス元の一例である。ホスト計算機101は、VM(Virtual Machine)111を論理的に生成して実行するハイパーバイザ112を有する。
ハイパーバイザ112は、一度に複数のVM111を制御することができる。複数のVM111のそれぞれは、あたかもスタンドアローンの物理計算機のようにアプリケーションを実行できる。ハイパーバイザ112は、あるホスト計算機上で稼働しているVM111を他のホスト計算機に移動する、VMマイグレーションを行うことができる。
VVOL106は、1つ以上のVM111に提供される。図3における、ホスト計算機101とVVOL106との間の結線は、物理的な接続を意味するものではなく、VVOL106がホスト計算機101に提供され、ホスト計算機101から認識されていることを示す。同様に、プール110とVVOL106との間の結線も、物理的な接続を意味するものではなく、VVOL106がプール110に関連付けられていることを示す。
ホスト計算機は、VM111のリクエストに従い、提供されたVVOL106にアクセスする。具体的には、ホスト計算機101は、アクセス先情報を有するアクセスコマンドを、ストレージシステム103に送信する。アクセス先情報とは、アクセス先を表す情報であり、例えば、LUN(Logical Unit Number)などのVVOL106のID(識別子)と、LBAなどの仮想領域のIDとを含んでいる。
プロセッサ244は、1つ以上のボリュームに対応付けられる。プロセッサ244は、例えば、ボリュームのI/O処理や、VVOL106のページ割当に関する処理など、制御対象のボリュームに関する各種処理を実施する。1つのプロセッサ244は、複数のボリュームを制御することもできる。
LDEV107AとLDEV107Bとは、いずれも実ボリュームであり、リモートコピーペアを構成する。一方のLDEV107Aと他方のLDEV107Bとは、それぞれ異なるストレージ装置に設けられている。
例えば、LDEV107Aはプライマリボリューム(PVOL)であり、LDEV107Bセカンダリボリューム(SVOL)である。リモートコピーペアにおいて、LDEV107A(PVOL)にデータが書き込まれると、同期若しくは非同期で、その書き込みデータはLDEV107B(SVOL)にコピーされる。
LDEV107Aを有するストレージ装置に障害が発生した場合、ホスト計算機101からLDEV107AへのI/O要求はエラーとなる。そこで、ホスト計算機101は、アクセス先をLDEV107Bに切り替える。これにより、ホスト計算機101で動作しているアプリケーションを停止させず、業務を無停止で継続することができる。
図4は、ボリューム管理テーブル801を示す。ボリューム管理テーブル801は、ストレージシステム103が有するボリュームに関する情報を管理する。ボリューム管理テーブル801の管理対象となるボリュームは、ストレージシステム103が有する全てのボリュームであってもよいし、その一部のみであってもよい。
ボリューム管理テーブル801を用いることで、対象ボリュームがVVOL106である場合は、そのVVOL106が仮想的記憶領域を提供するホスト計算機101と、VVOL106にページを割り当てているプール110とを特定できる。対象ボリュームがLDEV107である場合、そのLDEV107が記憶領域を提供するホスト計算機101と、そのLDEV107にページを割り当てているドライブ109とを特定できる。対象ボリュームがVDEV108である場合、そのVDEV108が記憶領域を提供するストレージ装置102と、そのVDEV108に記憶領域を提供しているドライブ109またはそのVDEV108にページを割り当てているプール110を特定できる。対象ボリュームがExVOL105である場合、そのExVOL105が記憶領域を提供するホスト計算機101と、そのExVOL105にページを割り当てているVDEV108を特定できる。
管理計算機201は、定期的に、または、ユーザがI/Oデバイス213を介して入力する情報収集要求を契機として、ストレージ装置102から情報を収集し、ボリューム管理テーブル801を更新する。
ボリューム管理テーブル801は、例えば、ボリュームID301、ストレージID302、ボリュームタイプ303、記憶容量304、使用容量305、ターゲットポートID306、イニシエータID307、イニシエータポートID308、ソースストレージID309、ソースリソースID310を対応付けて管理する。
ボリュームID301は、ボリュームを識別するための情報である。ストレージID302は、ボリュームを有するストレージ装置102を識別するための情報である。ボリュームタイプ303は、ボリュームのタイプが、VVOL、LDEV、VDEV、ExVOLのいずれであるかを示す。記憶容量304は、ボリュームの記憶容量を示す。使用容量305は、プール110からVVOL106に割当済みのページの総量を示す。ソースリソース310が「プール」以外のボリュームについては、N/A(not applicable:該当なし)と記載される。
ターゲットポートID306は、ストレージ装置102の有する通信ポートのうち、ボリュームに関連づけられているターゲットポートを識別するための情報である。イニシエータID307は、ボリュームの提供先である、ホスト計算機101またはストレージ装置102の識別情報である。図4の例では、ボリュームタイプ303がVVOL、LDEV、ExVOLの場合は、イニシエータID307にはホスト計算機101を識別するための情報が格納される。ボリュームタイプ303がVDEVの場合、イニシエータID307にはストレージ装置102を識別するための情報が格納される。イニシエータポートID308は、ボリュームの提供先であるホスト計算機のイニシエータポートまたはストレージ装置のイニシエータポートを識別する情報である。
ソースストレージID309は、ボリュームを提供するストレージ装置を識別するための情報である。ソースリソースID310は、ボリュームの記憶領域を提供する要素(プール110、デバイス109)を識別するための情報である。図4の例では、ボリュームタイプ303がVVOLの場合は、ソースリソースID310にプール110を識別する情報が格納される。ボリュームタイプ303がLDEVの場合は、ソースリソースID310にドライブ109を識別する情報が格納される。
ボリュームタイプ303がVDEVの場合、ソースリソースID310には、VVOLに関連付けられたプール110の識別情報、または、ドライブ109の識別情報のいずれかが格納される。ボリュームタイプ303がExVOLの場合、ソースリソースID310には、ExVOLに接続された外部のボリュームを識別する情報が格納される。外部のボリュームとは、外部のストレージ装置に設けられている論理ボリュームのうち、ExVOLに接続されているボリュームである。
なお、図4の例では、ボリュームがホスト計算機またはストレージ装置のいずれにも割り当てられていない場合、ターゲットポートID306、イニシエータID307、イニシエータポートID308には、N/A(not applicable:該当なし)と記載する。
図5は、プール管理テーブル802を示す。プール管理テーブル802は、プール110の情報を格納する。プール管理テーブル802により、プール110を構成するボリュームと、プールに蓄積された各ページとVVOL106の仮想領域との対応関係とを特定できる。管理計算機201は、定期的に、またはユーザによるI/Oデバイス213からの情報収集要求の受け付けを契機として、ストレージ装置102から情報を収集し、プール管理テーブル802を更新する。
プール管理テーブル302は、例えば、以下の情報を有する。ストレージID401は、プール110を有するストレージ装置102を識別するための情報である。プールID402は、プール110を識別するための情報である。ページID403は、プール110に属するページを識別するための情報である。ボリュームID404は、ページを有するボリュームを識別するための情報である。ボリュームLBA405は、ボリュームにおけるページの位置(例えば、ページの先頭のLBAとそのページの末端のLBA)を示す情報である。VVOL ID406は、ページの割当先の仮想領域を有するVVOLを識別するための情報である。「N/A(Not/Assigned)」は、ページがどの仮想領域にも割り当てられていないことを示す。VVOL LBA407は、ページの割当先の仮想領域の位置(例えば、仮想領域の先頭のLBAとその仮想領域の末端のLBA)を示す情報である。
図6は、ドライブ管理テーブル803を示す。ドライブ管理テーブル803は、ドライブ109の情報を格納する。ドライブ管理テーブル803により、ドライブが高負荷であるか判定するための基準となる稼働率、I/O性能、稼働率の履歴情報が分かる。管理計算機201は、定期的に、またはユーザによるI/Oデバイス213からの情報収集要求の受け付けを契機として、ストレージ装置102から情報を収集し、ドライブ管理テーブル803を更新する。
ドライブ管理テーブル803は、例えば、ストレージID501、ドライブID502、高負荷判定基準用の稼働率503、リード速度504、ライト速度505、測定時刻506、稼働率507を対応付けて管理する。
ストレージID501は、ドライブ109を有するストレージ装置102を識別する情報である。ドライブID502は、ドライブ109を識別する情報である。高負荷判定基準用の稼働率503は、ドライブ109の性能が低下する稼働率の指標を示す。リード速度504は、対象ドライブのリード速度(MB/s)である。ライト速度505は、対象ドライブのライト速度(MB/s)である。測定時刻506は、リード速度304、ライト速度505、稼働率507を測定した時刻である。以下のテーブルにおいても同様であるが、測定時刻には年月日を含めることができる。稼働率507は、対象ドライブの稼働率の測定値である。高負荷判定基準稼働率503は、ストレージ装置102の仕様に従って決まっている。
図7は、ポート管理テーブル804を示す。ポート管理テーブル804は、ストレージ装置102のC−IF242を管理するための情報を記憶する。ポート管理テーブル804を用いることで、通信ポートの高負荷判定基準となるリードデータ転送量およびライトデータ転送量と、リードデータ転送量の履歴情報およびライトデータ転送量の履歴情報が分かる。管理計算機201は、定期的に、またはユーザによるI/Oデバイス213からの情報収集要求の受け付けを契機として、ストレージ装置102から情報を収集し、ポート管理テーブル804を更新する。
ポート管理テーブル804は、例えば、ストレージID601、ポートID602、高負荷判定基準用のリードデータ転送量603、高負荷判定基準用のライトデータ転送量604、測定時刻605、リードデータ転送量606、ライトデータ転送量607を対応付けて管理する。
ストレージID601は、C−IF242を有するストレージ装置102を識別する情報である。ポートID602は、C−IF242を識別する情報である。高負荷判定基準用のリードデータ転送量603は、C−IF242の性能が低下するときのリードデータ転送量の指標を示す。高負荷判定基準用のライトデータ転送量604は、C−IF242の性能が低下するときのライトデータ転送量の指標を示す。測定時刻605は、対象ポートの性能(リードデータ転送量606、ライトデータ転送量607)を測定したときの時刻である。リードデータ転送量606は、対象ポートから単位時間当たりにデータを読み出す量であり、リード速度の測定値である。ライトデータ転送量607は、対象ポートに単位時間当たりでデータを書き込む量であり、ライト速度の測定値である。高負荷判定基準稼働率603、604はストレージ装置102の仕様に従って決まっている。
図8は、CPU管理テーブル805を示す。CPU管理テーブル805は、ストレージ装置102のプロセッサ244についての情報を管理する。CPU管理テーブル805により、プロセッサ244が高負荷であるかを判定するための基準となる稼働率と、稼働率の履歴情報とが分かる。管理計算機201は、定期的に、またはユーザによるI/Oデバイス213からの情報収集要求の受け付けを契機として、ストレージ装置102から情報を収集し、CPU管理テーブル805を更新する。
CPU管理テーブル805は、例えば、ストレージID701、CPU ID702、高負荷判定基準用の稼働率703、測定時刻704、稼働率705を対応付けて管理している。
ストレージID701は、プロセッサ244を有するストレージ装置102を識別する情報である。CPU ID702は、対象プロセッサ244を識別する情報である。高負荷判定基準用の稼働率703は、プロセッサ244の性能が低下する稼働率の指標を示す情報である。測定時刻704は、対象プロセッサ244の性能を測定した時刻を示す情報である。稼働率705は、対象プロセッサ244の稼働率の測定値を示す。高負荷判定基準用の稼働率703は、ストレージ装置102の仕様に従って決まっている。
図9は、自動で実施される構成変更を管理するテーブル806を示す。自動構成変更管理テーブル806は、任意の条件に従って構成を変更するための設定情報を管理する。管理計算機201は、定期的に、またはユーザによるI/Oデバイス213からの情報収集要求の受け付けを契機として、計算機システムから情報を収集し、それらの情報で自動構成変更管理テーブル806を更新する。
例えば、管理計算機201は、ストレージ装置102で実施される構成変更に関する情報をストレージ装置102から収集する。さらに、管理計算機201は、ホスト計算機101で実施される構成変更に関する情報を、ホスト計算機101から収集する。ホスト計算機101を管理するホスト管理計算機が計算機システムに含まれている場合、管理計算機201は、ホスト管理計算機(不図示)から、ホスト計算機101で実施される構成変更に関する情報を収集してもよい。
任意の条件に従って構成変更を実施する設定(自動構成変更に関する設定)が管理計算機201を介して実施される場合、管理計算機201は、当該設定についての入力情報を収集して、自動構成変更管理テーブル806に格納してもよい。
自動構成変更管理テーブル806は、例えば、リソースオーナーID901、リソースID902、条件903、結果904を対応付けて管理する。
リソースオーナーID901は、構成変更の対象であるリソースを有する主体を示す情報である。主体としては、例えばストレージ装置102、ホスト計算機101、スイッチ233などがある。リソースID902は、構成変更の対象であるリソースを識別する情報である。構成変更の対象リソースとしては、例えば論理ボリューム、仮想マシン、通信ポートなどがある。
条件903は、「所定の条件」の例であり、自動で構成が変更される条件を示す情報である。条件としては、例えばI/Oエラーが生じた場合、ホスト計算機間で通信エラーが生じた場合、応答時間が所定の応答時間を越えた場合などがある。結果904は、構成変更の結果を示す情報である。
図9に示す構成変更905では、以下の構成を前提としている。すなわち、ストレージ装置「ストレージ1」のボリューム「VOL50」とストレージ装置「ストレージ2」のボリューム「VOL10」とがリモートコピーペアを構築し、ホスト計算機がボリューム「VOL50」とボリューム「VOL10」との両方に接続可能となっている。ホスト計算機が複数のボリュームに接続可能なパス設定をマルチパス設定と呼ぶ。
条件903として設定されている「I/Oエラー」が、ホスト計算機とボリューム「VOL50」とを結ぶパス(プライマリパス)で発生した場合、ホスト計算機とボリュームとを結ぶI/O経路は、ホスト計算機とボリューム「VOL10」と結ぶパス(セカンダリパス)に変更される。この構成変更の指示は、ホスト計算機自らが出す場合もあるし、ホスト計算機を管理するホスト管理計算機から発行される場合もある。以下、ホスト計算機が構成変更する場合を例にして説明する。
なお、FCスイッチ233を冗長構成にしている場合も同様である。ホスト計算機がI/O経路を、冗長化構成を組んでいる一方のFCスイッチから他方のFCスイッチへ変更する。
図9に示す構成変更例906を説明する。この構成変更906は、以下の構成を前提とする。すなわち、一方のホスト計算機「ホスト10」と他方のホスト計算機「ホスト20」とは同一データを参照しており、ホスト計算機「ホスト10」とホスト計算機「ホスト20」とは定期的に通信する。ホスト計算機間での定期通信において、条件903として設定されたエラーが発生した場合、一方のホスト計算機「ホスト10」に設けられている仮想マシン「VM1」は、他方のホスト計算機「ホスト20」に移動する。具体的には、仮想マシン「VM1」が利用する計算機リソースを、一方のホスト計算機「ホスト10」の有する計算機リソースから他方のホスト計算機「ホスト20」の有する計算機リソースへに変更する。
図9に示す構成変更例907を説明する。この構成変更907では、ホスト計算機「ホスト20」上で稼働する仮想マシン「VM2」の応答時間が所定の閾値「10ms」を下回った場合、仮想マシン「VM2」の使用するデータをストレージ装置「ストレージ2」のボリューム「ボリューム10」に移動する。
このように図9で定義された条件903が成立すると、結果904で示す構成変更が自動的に実施される。
図10は、仮想マシン(VM)111を管理するテーブル807を示す。VM管理テーブル807は、VM111の情報を格納する。VM管理テーブル807により、VM111に定義されているサービスレベルと、VMが稼動するスケジュールと、データが格納されているボリュームと、I/O性能情報と、が分かる。管理計算機201は、定期的に、またはユーザによるI/Oデバイス213からの情報収集要求の受け付けを契機として、ホスト計算機から情報を収集し、VM管理テーブル807を更新する。
VM管理テーブル807は、例えば、VM ID1001、ホストID1002、サービスレベル1003、稼働スケジュール1004、ストレージID1005、ボリュームID1006、測定時刻1007、IOPS(Input Output Per Second)1008、応答時間1009を対応付けて管理する。
VM ID1001は、VMを識別する情報である。ホストID1002は、VMを有するホスト計算機101を識別する情報である。サービスレベル1003は、VMについて定義されているサービスレベルを示す情報である。稼働スケジュール1004は、VMが動作している時間を示す情報である。ストレージID1005は、VMのデータを格納するボリュームを有するストレージ装置102を識別する情報である。ボリュームID1006は、VMのデータを格納するボリュームを識別する情報である。測定時刻1007は、対象VMの性能を測定した時刻を示す情報である。IOPS1008は、対象VMのIOPSの測定値を示す情報である。応答時間1009は、対象VMの応答時間の測定値を示す情報である。
図10に示す例では、サービスレベル1003は、ダウンタイムと応答時間を指標としている。ダウンタイムとは、アプリケーションの停止時間である。ダウンタイム=0とは、VM稼動中にハードウェア障害が発生した場合であっても、VM上のアプリケーションが停止せずに動作し続けることを示す。応答時間とは、VM111の応答時間である。応答時間<=10msとは、VMからの応答時間が常に10ms以下であることを示す。
図10の例では、VMが存在するケースを例示しているが、これに限らず、ホスト計算機101にハイパバイザが存在しない構成でも良い。この場合、VM ID1001は空欄となる。また、図10の例では、VMの稼動状態を稼動スケジュール1004で表現しているが、これに代えて、VM111の稼動状態を確認した結果を測定時刻1008に保持し、その確認結果を用いてVM111の稼動状態を確認してもよい。
図11は、システム管理者などが作成して登録する構成変更計画を管理するテーブル808を示す。構成変更計画管理テーブル808は、管理計算機201を介して実施される予定である構成変更についての情報を格納する。構成変更計画管理テーブル808により、実行予定の構成変更計画の情報と、構成変更計画の効果期待値が分かる。
管理計算機201は、構成変更計画が設定される際に、当該設定の入力情報を収集し、構成変更計画管理テーブル808に格納する。構成変更計画管理テーブル808に格納する情報は、システム管理者などが管理計算機201に直接入力する情報に限らない。システム管理者などの入力情報を元に管理計算機201が算出した値を、構成変更計画管理テーブル808に格納してもよい。
構成変更計画管理テーブル808は、例えば、構成変更計画ID1101、タスクID1102、タスク種別1103、タスクパラメタ1104、実行開始時刻1105、効果期待値1106とを対応付けて管理する。それら項目1101〜1106のうち、項目1102〜1106は、構成変更計画の詳細を示す情報である。
構成変更計画ID1101は、構成変更計画を識別する情報である。タスクID1102は、構成変更計画を構成する単体の構成変更処理を識別する情報である。単体の構成変更処理をタスクと呼ぶ。タスク種別1103は、タスクの種別を示す情報である。タスクパラメタ1104は、タスクのパラメタを定義する情報である。実行開始時刻1105は、タスクの実行開始時刻(つまり構成変更計画の実行開始時刻)を示す情報である。効果期待値1106は、構成変更計画の実施により得られるであろうと期待している稼動状態を示す情報である。
図11に示す例では、構成変更計画ID1101が「1」である構成変更計画は、ストレージ装置「ストレージ1」の有するボリューム「ボリューム1」の処理を担当するプロセッサ244を「CPU1」から「CPU2」へ変更する。その構成変更計画が実施された場合の効果期待値1106は、プロセッサ「CPU1」および「CPU2」の稼働率が、それぞれ「20%以上かつ30%以下になること」である。
構成変更計画IDが「2」である構成変更計画は、複数のタスク「タスク1」と「タスク2」とから構成されている。効果期待値1106には、両方のタスクが実施されることで、仮想マシン「VM50」の平均応答時間が「15ms」以下になること、が設定されている。なお、図11では、ストレージ装置で実行する構成変更計画を説明したが、これに限らず、ホスト計算機で実行する構成変更計画、ストレージ装置およびホスト計算機の両方で実行する構成変更計画もある。
図12は、構成を変更する手段を管理する構成変更手段テーブル809を示す。構成変更手段テーブル809は、ホスト計算機101およびストレージシステム103にて実施可能な構成変更手段を格納する。構成変更手段テーブル809により、ホスト計算機101にて実施可能な構成変更の種類と、ストレージシステム103にて実施可能な構成変更の種類と、構成変更手段の特性とが分かる。管理計算機201は、定期的に、またはユーザによるI/Oデバイス213からの情報収集要求の受け付けを契機として、計算機システムから情報を収集し、構成変更手段テーブル809を更新する。例えば、管理計算機201は、ストレージ装置102に関する構成変更手段の情報をストレージ装置102から収集し、ホスト計算機101に関する構成変更手段の情報をホスト計算機101などから収集する。
構成変更手段テーブル809は、構成変更手段1201、実行主体1202、特性1203を対応付けて管理する。構成変更手段1201は、構成変更手段の種類を示す情報である。実行主体1202は、構成変更手段を実行する主体を示す情報である。特性1203は、構成変更手段の持つ特性を示す情報である。
図12の例では、特性1203としてダウンタイムを有する構成変更手段を示す。ボリュームを移動させるボリュームマイグレーションという構成変更手段には、ダウンタイムが「10.0ms」に設定されている。これは、ボリュームマイグレーションを実施すると10.0msのダウンタイムを生じることを示している。実行主体1202は、ストレージ装置またはホスト計算機のいずれかとしているが、これに限定されるものではなく、例えば、マルチパス管理ソフトであってもよい。実行主体がマルチパス管理ソフトの場合、構成変更手段にはホストパス切替が例示できる。この場合、特性1203にはdowntime=0が例示できる。
図12では特性1203としてダウンタイムのみを例示しているが、これに限定されるものではなく、例えば、構成変更の開始から終了までに要する構成変更所要時間および当該所要時間を算出する数式、などを特性1203に設定してもよい。数式に代えて、または数式と共に、他の特性を特性1203に設定してもよい。
図13と図14は、自動的な構成変更を制御(修正)するための処理を示すフローチャートである。本処理は、自動構成変更制御プログラム810をプロセッサ212が実行することで実現される。図13は、自動構成変更制御処理の全体を示す。図14は、図13中の一部の処理S103の詳細を示す。以下、動作の主体を自動構成変更制御プログラム810として説明する。
図13を元に自動構成変更制御処理を説明する。自動構成変更制御プログラム810は自動構成変更の予兆を検知する(S100)。予兆を検知するとは、いつ、構成がいかに変更されるかを示す情報を取得することである。例えば、1秒後に「ボリューム1」へのI/O経路が「ボリューム2」に変更する、といった情報を取得することである。つまり、自動構成変更の予兆を検知するとは、図9で定義された自動構成変更が実施されるか判定することである。自動構成変更の予兆を検知するとは、例えば、自動構成変更の実施を予測する、と言い換えてもよい。自動構成変更の予兆を検知する方法として、以下の3つの方法を例示する。
第1の方法は、ストレージシステム103およびホスト計算機101(またはホスト計算機を管理しているホスト管理計算機。以下同様)から送信されてくる、構成変更の予定を受信する方法である。
第2の方法は、ストレージシステム103およびホスト計算機101から送信されてくる、障害の予兆情報に基づいて判定する方法である。例えば、自動構成変更制御プログラム810は、障害の予兆情報を受信した場合、その障害が自動構成変更管理テーブル806の条件903に設定された内容を満たすか否か判断する。自動構成変更制御プログラム810は、発生の予測された障害が条件903を満たすと判断した場合、自動構成変更管理テーブル806の結果904に設定された内容で構成が変更されるとみなす。
第3の方法は、管理計算機201が保持する性能履歴情報から、所定の動作期間が経過した後の性能情報を算出して予測性能情報とし、算出した予測性能情報に基づいて自動構成変更が行われるか否か予測する方法である。自動構成変更制御プログラム810は、算出した予測性能情報が自動構成変更管理テーブル806の条件903に設定された内容を満たすか否か判断する。自動構成変更制御プログラム810は、予測性能情報が条件903を満たすと判定すると、自動構成変更管理テーブル806の結果904に設定された内容で構成が変更されるとみなす。
なお、自動構成変更制御プログラム810は、予測性能情報を算出するために、最小二乗法を用いてもよいし、それ以外のアルゴリズムを用いてもよい。最小二乗法を用いる場合、例えば、VM管理テーブル807の応答時間1009の時間変化から、応答時間の時間変化を示す直線または曲線を算出する。
自動構成変更制御プログラム810は、予測性能情報の代わりに、性能情報の測定値の傾向を算出しても良い。この場合の傾向とは、例えば、応答時間の時間変化を示す直線の傾きである。
上記の所定の動作期間としては、性能情報が次回更新される時間が望ましい。所定の動作期間は、ユーザが指定してもよいし、または、記憶資源211内に予め格納された所定値を用いてもよい。
予測性能情報は、性能情報の測定時刻から所定の動作期間が経過した後の性能情報として示しても良いし、または、性能情報を算出した時刻から所定の動作期間が経過した後の性能情報を示しても良い。
なお、自動構成変更の予兆を検知する方法は前述の3つの方法に限定されず、これら以外の方法であっても良い。
次に、自動構成変更制御プログラム810は、自動構成変更が実施された場合の、構成および性能の予測値を算出する(S101)。性能の予測値を算出する方法として、上記ステップS100で述べた方法を用いてもよい。性能の予測値を算出する他の方法として、アクセス元からのI/O量と構成要素の稼働率との関係性に基づく方法がある。例えば、任意のプロセッサ244の稼働率と、そのプロセッサ244によりI/O処理を実施するボリューム群の総IOPSとの関係を数値化して保持する。これにより、VM移動によるIOPS経路の変更の結果、プロセッサ244の稼働率が何%になるかを予測することができる。
自動構成変更制御プログラム810は、自動構成変更を実施した場合に、実行予定の構成変更計画の効果期待値を満たせるか否か判定する(S102)。自動構成変更制御プログラム810は、例えば、ステップS101で算出した性能の予測値と、構成変更計画管理テーブル808の効果期待値1106に設定された内容とを比較することで、自動構成変更計画が実施された場合でも構成変更計画が予定している効果期待値を得ることができるか否か判定する。
自動構成変更の原因がホスト計算機101またはストレージ装置102の障害である場合、その障害が発生した部位を利用した構成に関する構成変更計画は無効化される。例えば、ストレージ装置102の任意のプロセッサ244に障害が発生した場合、「そのプロセッサ244に割り当てるボリュームを変更する」という構成変更計画は、実行することができない。そこで、その実行不可能な構成変更を含む計画は無効化される。そのような状況を考慮して、ステップS102の判定対象から、自動構成変更の原因となった障害発生部位に関する構成変更を含む構成変更計画を除外しても良い。
自動構成変更制御プログラム810は、自動構成変更を当初の予定通り実施した場合でも、構成変更計画の予定している効果期待値を損なうおそれがないと判定すると(S102:YES)、本処理を正常に終了する。自動構成変更の内容を修正する必要がないためである。
自動構成変更制御プログラム810は、自動構成変更を当初の予定通り実施した場合に、構成変更計画の予定する効果期待値を得られないと判定すると(S102:NO)、自動構成変更を修正する(S103)。例えば、自動構成変更制御プログラム810は、VM111またはホスト計算機101のサービスレベルと構成変更計画の効果期待値とを同時に達成可能な、自動構成変更の代替案を生成する(S103)。ステップS103の詳細は、図14で後述する。
次に、自動構成変更制御プログラム810は、ステップS103を実行した結果、代替案が生成できたか否かを判定する(S104)。自動構成変更の代替案を生成できなかった場合(S104:NO)、自動構成変更制御プログラム810は、自動構成変更の実施が構成変更計画に与える影響をシステム管理者などに提示し(S105)、本処理を正常に終了する。自動構成変更制御プログラム810は、自動構成変更が実施されることによる構成変更計画の影響についての情報を出力する。たとえば、管理計算機201のI/Oデバイス213などを介して、システム管理者などに通知する。電子メールなどの手段で通知してもよい。
ここで、自動構成変更が構成変更計画に与える影響とは、自動構成変更を実施した結果、予定していた構成変更計画を実行したとしても、その効果期待値を達成できない可能性がある、ということである。ステップS105において、自動構成変更が構成変更計画に与える影響を提示した後に、影響を受ける構成変更計画の実施を中止しても良い。
自動構成変更制御プログラム810は、自動構成変更の代替案を生成できた場合(S104:YES)、その代替案を実行し(S106)、本処理を正常に終了する。
一つの自動構成変更について複数の代替案が存在する場合、複数の代替案の中からいずれか1つをランダムに選択してもよいし、複数の代替案について所定の評価を行い、その評価結果に基づいて選択してもよい。例えば、I/O性能を評価軸とし、そのI/O性能の予測値が最も高いものを代替案として選出する。なお、上述の方法以外の方法で、1つの代替案を選出してもよい。
図14は、図13中のステップS103の詳細を示すフローチャートである。本処理では、VM111またはホスト計算機101のサービスレベルと、実行予定の構成変更計画の効果期待値との両方を達成可能な、自動構成変更の代替案を生成する。
本処理では、自動構成変更の影響を受けるVMまたはホスト計算機のサービスレベルが、ダウンタイムを定義する内容を含むか否か判定する(S200)。自動構成変更制御プログラム810は、VM管理テーブル807のサービスレベル1003を参照し、ダウンタイムを定義する内容がサービスレベルとして設定されているか判定する。自動構成変更制御プログラム810は、サービスレベルとしてダウンタイムが設定されていないと判定すると(S200:NO)、ステップS201をスキップし、後述のステップS202に移る。
自動構成変更制御プログラム810は、自動構成変更の影響を受ける要素(ホスト計算機、VM)のサービスレベルにダウンタイムが設定されていると判定した場合(S200:YES)、選択可能な構成変更手段の中から、ダウンタイムのサービスレベルを満たす構成変更手段を選出する(S201)。
自動構成変更制御プログラム810は、例えば、自動構成変更の対象となるリソースを利用しているVMおよびホスト計算機のサービスレベルを満たす構成変更手段を、構成変更手段テーブル809に登録されている構成変更手段1201の中から選出する。
自動構成変更の対象となるリソースを利用しているVMおよびホスト計算機とは、図9の自動構成変更テーブル806に示す構成変更例905の場合、「ストレージ1」の「ボリューム50」を利用している、VMまたはホスト計算機である。自動構成変更の対象となるリソースを利用するVMおよびホスト計算機は、VM管理テーブル807を参照することで特定可能である。
VM管理テーブル807のサービスレベル1003に、「ダウンタイム=0」が設定されている場合であっても、VMの稼働していない時間帯でダウンタイムが生じるのであれば、そのダウンタイムは許容できる。例えば、構成変更手段の実行時刻が稼動スケジュール1004に定義された時間帯に含まれていない場合、構成変更の実施時にVMは稼動していない。この場合、VMが停止しても、アプリケーションへの影響はない。したがって、この場合、ダウンタイムについてのサービスレベルを無視して、構成変更手段を選出しても良い。
なお、構成変更手段によっては、例えば図12の「VMデータ移動」のように、構成変更の操作開始時刻から操作終了時刻までに任意の時間を要するものがある。さらに、構成変更手段の実施時におけるダウンタイムの発生タイミングは、構成変更手段の種類によって異なる。
このため、ステップS201の実施タイミングではVMが稼働していない時間帯であることがVM稼動スケジュール1004から判明している場合であっても、構成変更手段の実施によってダウンタイムが発生するタイミングではVMが稼働している、という事態が考えられる。この場合、結果として、サービスレベル1003に規定されたダウンタイムを違反するおそれがある。
この問題を回避するために、本実施例では、構成変更手段テーブル809により、構成変更手段毎のダウンタイム発生時間を特性1203で管理する。自動構成変更制御プログラム810は、構成変更手段を選出する場合に、ダウンタイムする時間とVM管理テーブル807の稼動スケジュール1004の内容とを参照し、ダウンタイムがサービスレベルに与える影響を判断しても良い。
自動構成変更制御プログラム810は、実行予定の構成変更計画毎に(S202)、選出した構成変更手段がデータ移動であるか、リソース割当変更であるか、これら以外であるか、を判定する(S203、S204)。
ステップS204での判定結果が「データ移動」の場合、自動構成変更制御プログラム810は、移動対象のリソース毎に(S205)、データ移動後の性能を算出して、代替案を生成し(S207)、本処理を正常に終了する。ステップS207で生成する代替案は、I/O性能のサービスレベルと構成変更計画の効果期待値とを共に満たすリソースを移動先とする。移動後の性能の算出方法については、図13のステップS101で述べた方法と同様である。
自動構成変更制御プログラム810は、I/O性能のサービスレベルと構成変更計画の効果期待値とを共に満たすリソースを選出するために、対象の構成変更手段の制約条件を満たすリソースを選出する。自動構成変更制御プログラム810は、制約条件を満たすリソースそれぞれに対して性能を算出し、サービスレベルと構成変更計画の効果期待値とを同時に満たすリソースを選出する。
構成変更手段の制約条件は、構成変更手段ごとに異なる。図12の例に示す「CPU割当変更」の場合、制約条件としては、例えば、割当て先のプロセッサ244は同一ストレージ装置内に存在すること、割当て先のプロセッサに割り当てられるボリューム数が所定の上限値以下であること、などがある。これら以外の制約条件でもよい。
ステップS204での判定結果が「リソース割当変更」である場合、自動構成変更制御プログラム810は、割当変更対象のリソース毎に(S206)、リソース割当の変更後における性能を算出して、代替案を生成し(S208)、本処理を正常に終了する。ステップS208で生成する代替案は、I/O性能のサービスレベルと構成変更計画の効果期待値との両方を満たすリソースを、割当変更先として選択する。リソース割当変更後の性能の算出方法については、図13のステップS101で示した方法と同様である。
自動構成変更制御プログラム810は、I/O性能のサービスレベルと構成変更計画の効果期待値との両方を満たすリソースを選出するために、対象の構成変更手段の制約条件を満たすリソースを選出し、選出したリソースのそれぞれについて性能を算出する。自動構成変更制御プログラム810は、サービスレベルと構成変更計画の効果期待値とを同時に満たすリソースを選出する。上述のように、構成変更手段の制約条件は、構成変更手段ごとに異なる。
なお、図14に示す処理では、I/O性能のサービスレベルと構成変更計画の効果期待値を満たす代替案を、単一の構成変更から生成している。しかし、例えば、構成の状態や性能の状態などによっては、複数の構成変更を組み合わせないと所望の構成変更計画を生成できない場合がある。
例えば、あるボリュームを制御するプロセッサ244を他方のストレージ装置102内のプロセッサ244に変更するために、そのボリューム上に設けられているVMを他方のストレージ装置内のボリュームへ移動する、といったケースが考えられる。このケースは、もしも実施すれば、I/O性能のサービスレベルと構成変更計画の効果期待値とを共に満たすことができる。しかし、そのケースは、構成変更手段の制約条件に違反するため、現在の構成では実施できない。
このケースへ対応するために、自動構成変更制御プログラム810は、ステップS207およびステップS208において、「I/O性能のサービスレベルと構成変更計画の効果期待値を満たすリソースを選出するために、対象の構成変更手段の制約条件を満たすリソースを選出する」という処理を省略する。その代わりに、自動構成変更制御プログラム810は、全リソースについて性能を算出し、サービスレベルと構成変更計画の効果期待値を同時に満たすリソースを全て選出し、選出したリソースをデータ移動先また割当変更先とする第1の構成変更を生成する。
自動構成変更制御プログラム810は、第1の構成変更の対象とするリソースのうち、対象の構成変更手段の制約条件を満たしていないリソースについて、ステップS201で選出した構成変更手段を用いることで前記制約条件を満たす構成に変更できるか否かを判定する。
自動構成変更制御プログラム810は、制約条件を満たす構成変更が可能であると判定すると、その構成変更を第2の構成変更とする。そして、自動構成変更制御プログラム810は、第1の構成変更と第2の構成変更とをそれぞれタスクとして持つ構成変更計画を生成する。自動構成変更制御プログラム801は、以上の処理を実施することで、自動構成変更の代替案を複数の構成変更から構成することができる。
なお、自動構成変更の代替案を実施することで、その代替案の実行前に任意のリソースに設定されていた自動構成変更の設定が解除されることも考えられる。そこで、代替案の実行の結果として解除されてしまう自動構成変更の設定を、その代替案に含めて生成してもよい。これにより、あるリソースについて代替案を実施した後に、そのリソースに自動構成変更を再設定することができるため、システムの信頼性を維持でき、さらに使い勝手が向上する。
代替案に自動構成変更の再設定を含める方法の例を説明する。自動構成変更制御プログラム810は、例えば、代替案を決定する際に(S106)、その代替案の実行後に任意のリソースに対して自動構成変更を再設定できるか判定する。
自動構成変更制御プログラム810は、自動構成変更の再設定が可能であると判定したリソースについて、自動構成変更の再設定を含む構成変更案を優先的に選出し、その優先的に選出した案を代替案として決定する。自動構成変更の再設定が可能である条件は、構成変更の種類によって異なる。
自動構成変更管理テーブル806の構成変更例905では、代替案実行後の構成において、変更先のボリューム「ボリューム10」と任意のボリュームとでリモートコピーペアを構築する。さらに、構成変更例905では、ホスト計算機がそれらリモートコピーペアを構成する各ボリュームにアクセスできるよう、マルチパスを設定する。
よって、代替案実行後の構成において、任意のボリュームとリモートコピーペアを構築可能であり、かつホスト計算機にてマルチパスの設定が可能である代替案は、自動構成変更の再設定が可能な代替案であると判定できる。
代替案実行後の任意のリソースに対して自動構成変更を再設定できない場合、代替案の実行による影響を提示するステップを図13のフローチャートに含めてもよい。代替案による影響とは、代替案を実施した結果、設定済みの自動構成変更が解除される、ということである。代替案の影響を提示する方法には、上述した自動構成変更による影響を提示する方法を用いることができる。
このように構成される本実施例によれば、ホスト計算機101とストレージ装置102の状態変化を考慮して、自動構成変更の内容を修正することができる。
本実施例によれば、計算機システムの現状に応じて実施される自動構成変更と、運用状況などの改善のためにシステム管理者が事前に立案する構成変更計画とが互いに独立して実施され、かつ、管理責任者から承認を得ない限り構成変更計画を実行することはできないという状況下において、自動構成変更の期待する効果と構成変更計画の期待する効果の両方を満たすように、自動構成変更の代替案を生成して実行できる。したがって、計算機システムの信頼性および管理効率を向上できる。
本実施例によれば、上述のように、あらかじめ決められた条件に従って構成変更が自動的に実施される場合において、VMおよびホスト計算機のサービスレベルを維持しながら、構成変更計画の効果期待値を達成する構成変更を、あらかじめ定義されていた自動構成変更の代替案として実施することができる。これにより、例えば、クラスタ構成のような、あらかじめ決まった条件に従って自動的に構成が変更する設定を有する場合でも、システム管理者が事前に管理責任者からの承認をもらって作成した構成変更計画を、実行することができる。このため、システム管理の運用効率を向上させることができる。
なお、本発明は、上述した実施例に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。例えば、上述した本発明の技術的特徴は、適宜結合させて実施することができる。
101:ホスト計算機、102:ストレージ装置、103:ストレージシステム、201:管理計算機、233:スイッチ

Claims (10)

  1. 計算機とストレージ装置とに接続する管理計算機であって、
    前記ストレージ装置により提供される複数の論理記憶領域を示す第1構成情報と、前記複数の論理記憶領域の中の第1論理記憶領域に格納され、前記計算機により実行される所定のオブジェクトの稼働要件を示す第2構成情報と、前記計算機または前記ストレージ装置により実行予定である第1の構成変更の計画を示す構成変更計画情報と、を格納するメモリと、前記メモリに接続されるマイクロプロセッサと、
    を有し、
    前記マイクロプロセッサは、
    前記計算機または前記ストレージ装置において所定の条件に従って実施するように事前に設定される第2の構成変更が実施されるか否かを判定し、
    前記第2の構成変更が実施されると判定した場合、前記第2の構成変更の実施後に前記第1の構成変更の計画が実施された場合における前記計算機または前記ストレージ装置についての、所定の性能指標に関する性能指標値を予測し、
    前記予測した性能指標値に基づいて、前記第1の構成変更計画についてあらかじめ設定される効果期待値を満たすか否かを判定し、
    前記効果期待値が満たされないと判定した場合、前記所定のオブジェクトの稼働要件と前記効果期待値の両方を満たすように、前記第2の構成変更の代替案を生成する、
    管理計算機。
  2. 前記マイクロプロセッサは、
    前記代替案を生成できた場合、前記代替案を実行する、
    請求項1に記載の管理計算機。
  3. 前記代替案は、複数の構成変更を含む、
    請求項1または請求項のいずれかに記載の管理計算機。
  4. 前記所定のオブジェクトは、仮想マシンである、
    請求項1または請求項のいずれかに記載の管理計算機。
  5. 前記第2の構成変更は、障害発生を契機に実行されるクラスタ構成の切り替え処理である、
    請求項1または請求項のいずれかに記載の管理計算機。
  6. 前記第2の構成変更は、前記論理記憶領域の状態の変動を契機に実行されるデータ移動処理である、
    請求項1または請求項のいずれかに記載の管理計算機。
  7. 前記第2の構成変更は、前記論理記憶領域の状態の変動を契機に実行されるリソース割り当て変更処理である、
    請求項1または請求項のいずれかに記載の管理計算機。
  8. 計算機とストレージ装置を含む計算機システムを管理計算機を用いて管理する方法であって、
    前記管理計算機は、
    前記ストレージ装置により提供される複数の論理記憶領域のうち所定の論理記憶領域に格納され、前記計算機により実行される所定のオブジェクトの稼働要件と、前記計算機または前記ストレージ装置により実行予定である第1の構成変更の計画を示す構成変更計画情報とを記憶し、
    前記計算機または前記ストレージ装置において所定の条件に従って実施するように事前に設定される第2の構成変更が実施されるか否かを判定し、
    前記第2の構成変更が実施されると判定した場合、前記第2の構成変更の実施後に前記第1の構成変更の計画が実施された場合における前記計算機または前記ストレージ装置についての、所定の性能指標に関する性能指標値を予測し、
    前記予測した性能指標値に基づいて、前記第1の構成変更計画についてあらかじめ設定される効果期待値を満たすか否かを判定し、
    前記効果期待値が満たされないと判定した場合、前記所定のオブジェクトの稼働要件と前記効果期待値の両方を満たすように、前記第2の構成変更の代替案を生成する、
    計算機システムの管理方法。
  9. 前記管理計算機は、
    前記代替案を生成できた場合に前記代替案を実行し、
    前記代替案を生成できない場合に前記第1の構成変更計画の効果期待値を達成できなくなる旨を出力する、
    請求項に記載の計算機システムの管理方法。
  10. 前記管理計算機は、前記代替案を生成できない場合に前記第1の構成変更計画を中止する、
    請求項に記載の計算機システムの管理方法。
JP2015546261A 2013-11-11 2013-11-11 管理計算機および計算機システムの管理方法 Expired - Fee Related JP6151795B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/080394 WO2015068299A1 (ja) 2013-11-11 2013-11-11 管理計算機および計算機システムの管理方法

Publications (2)

Publication Number Publication Date
JPWO2015068299A1 JPWO2015068299A1 (ja) 2017-03-09
JP6151795B2 true JP6151795B2 (ja) 2017-06-21

Family

ID=53041100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015546261A Expired - Fee Related JP6151795B2 (ja) 2013-11-11 2013-11-11 管理計算機および計算機システムの管理方法

Country Status (3)

Country Link
US (1) US9639435B2 (ja)
JP (1) JP6151795B2 (ja)
WO (1) WO2015068299A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015104811A1 (ja) * 2014-01-09 2015-07-16 株式会社日立製作所 計算機システム及び計算機システムの管理方法
US9052938B1 (en) 2014-04-15 2015-06-09 Splunk Inc. Correlation and associated display of virtual machine data and storage performance data
US10097431B1 (en) 2014-06-06 2018-10-09 Amazon Technologies, Inc. Routing to tenant services utilizing a service directory
US10250455B1 (en) * 2014-06-06 2019-04-02 Amazon Technologies, Inc. Deployment and management of tenant services
JP6443170B2 (ja) * 2015-03-26 2018-12-26 富士通株式会社 階層ストレージ装置,階層ストレージ制御装置,階層ストレージ制御プログラム及び階層ストレージ制御方法
WO2017022233A1 (ja) * 2015-08-06 2017-02-09 日本電気株式会社 情報処理装置、リクエスト処理遅延制御方法及び記憶媒体
US11153223B2 (en) * 2016-04-07 2021-10-19 International Business Machines Corporation Specifying a disaggregated compute system
CN106844010A (zh) * 2017-01-20 2017-06-13 深信服科技股份有限公司 动态内存大页调度处理方法及装置
JP6622273B2 (ja) * 2017-10-12 2019-12-18 株式会社日立製作所 リソース管理装置、リソース管理方法、及びリソース管理プログラム
JP6791834B2 (ja) * 2017-11-30 2020-11-25 株式会社日立製作所 記憶システム及び制御ソフトウェア配置方法
JP7518364B2 (ja) 2020-08-27 2024-07-18 富士通株式会社 情報処理装置およびパス制御方法
JP7191906B2 (ja) 2020-09-09 2022-12-19 株式会社日立製作所 リソース割当制御装置、計算機システム、及びリソース割当制御方法
US11314584B1 (en) * 2020-11-25 2022-04-26 International Business Machines Corporation Data quality-based confidence computations for KPIs derived from time-series data
JP7132386B1 (ja) 2021-03-31 2022-09-06 株式会社日立製作所 ストレージシステム及びストレージシステムの負荷分散方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050863B2 (en) * 2002-09-11 2006-05-23 Fisher-Rosemount Systems, Inc. Integrated model predictive control and optimization within a process control system
JP4646309B2 (ja) 2005-09-26 2011-03-09 新日本空調株式会社 デシカント式換気装置
US8160056B2 (en) * 2006-09-08 2012-04-17 At&T Intellectual Property Ii, Lp Systems, devices, and methods for network routing
US8117495B2 (en) * 2007-11-26 2012-02-14 Stratus Technologies Bermuda Ltd Systems and methods of high availability cluster environment failover protection
JP5155699B2 (ja) 2008-03-07 2013-03-06 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
JP5229486B2 (ja) 2009-02-16 2013-07-03 株式会社日立製作所 管理計算機及び処理管理方法
US8543778B2 (en) 2010-01-28 2013-09-24 Hitachi, Ltd. Management system and methods of storage system comprising pool configured of actual area groups of different performances
US9223604B2 (en) 2011-12-08 2015-12-29 Hitachi, Ltd. Control method of virtual machine and virtual machine system
US8874954B1 (en) * 2012-10-19 2014-10-28 Symantec Corporation Compatibility of high availability clusters supporting application failover with shared storage in a virtualization environment without sacrificing on virtualization features
US9348627B1 (en) * 2012-12-20 2016-05-24 Emc Corporation Distributed dynamic federation between multi-connected virtual platform clusters

Also Published As

Publication number Publication date
US9639435B2 (en) 2017-05-02
JPWO2015068299A1 (ja) 2017-03-09
WO2015068299A1 (ja) 2015-05-14
US20150378848A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
JP6151795B2 (ja) 管理計算機および計算機システムの管理方法
JP6051228B2 (ja) 計算機システム、ストレージ管理計算機及びストレージ管理方法
JP5953433B2 (ja) ストレージ管理計算機及びストレージ管理方法
US10359938B2 (en) Management computer and computer system management method
JP5756240B2 (ja) 管理システム及び管理方法
JP5981563B2 (ja) 情報記憶システム及び情報記憶システムの制御方法
US8543778B2 (en) Management system and methods of storage system comprising pool configured of actual area groups of different performances
US8639899B2 (en) Storage apparatus and control method for redundant data management within tiers
US8443241B2 (en) Runtime dynamic performance skew elimination
JP5658197B2 (ja) 計算機システム、仮想化機構、及び計算機システムの制御方法
US10846231B2 (en) Storage apparatus, recording medium, and storage control method
US10664182B2 (en) Storage system
US9760292B2 (en) Storage system and storage control method
US11740823B2 (en) Storage system and storage control method
JP2010211743A (ja) ストレージ装置を管理する計算機及び方法
US8572347B2 (en) Storage apparatus and method of controlling storage apparatus
US8627126B2 (en) Optimized power savings in a storage virtualization system
US20240311002A1 (en) Scaling management apparatus and scaling management method for storage system including storage nodes

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170525

R150 Certificate of patent or registration of utility model

Ref document number: 6151795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees