JP7468012B2 - 管理装置、情報処理システム及び管理プログラム - Google Patents

管理装置、情報処理システム及び管理プログラム Download PDF

Info

Publication number
JP7468012B2
JP7468012B2 JP2020044809A JP2020044809A JP7468012B2 JP 7468012 B2 JP7468012 B2 JP 7468012B2 JP 2020044809 A JP2020044809 A JP 2020044809A JP 2020044809 A JP2020044809 A JP 2020044809A JP 7468012 B2 JP7468012 B2 JP 7468012B2
Authority
JP
Japan
Prior art keywords
iops
destination
storage device
source
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020044809A
Other languages
English (en)
Other versions
JP2021144662A (ja
Inventor
純一 松田
啓次 宮内
晃広 堂下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020044809A priority Critical patent/JP7468012B2/ja
Priority to US17/158,046 priority patent/US11593146B2/en
Publication of JP2021144662A publication Critical patent/JP2021144662A/ja
Application granted granted Critical
Publication of JP7468012B2 publication Critical patent/JP7468012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0806Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H04L41/0897Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities by horizontal or vertical scaling of resources, or by migrating entities, e.g. virtual resources or entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888Throughput
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102Entity profiles

Description

本発明は、管理装置、情報処理システム及び管理プログラムに関する。
一般的なクラウドサービスは、サーバやネットワーク、ストレージ装置などの物理資源を仮想化機能によって仮想化して提供する。一般的なクラウドサービスは、仮想サーバへボリュームを提供する際、仮想ボリュームを仮想サーバへ提供する。
一方、一般的なクラウドサービスとは異なり、基幹システムなどの用途に適した仮想システムを提供するクラウドサービスがある。このようなクラウドサービスは、物理資源の占有に近い形態で仮想資源を提供する。ここでは、このようなクラウドサービスを対象とする。例えば、対象とするクラウドサービスは、ストレージ装置で構成した物理ボリュームや物理サーバの個々の資源などで仮想システムを提供する。物理ボリュームを構成する際は、仮想サーバと物理ボリュームの接続定義を設定することで、物理ボリュームへの接続を各仮想サーバ間で隔離する。
図28は、一般的クラウド基盤と対象クラウド基盤の違いを説明するための図である。図28(a)は一般的クラウド基盤の例を示し、図28(b)は対象クラウド基盤の例を示す。図28(a)に示すように、一般的クラウド基盤は、アイランド#1、アイランド#2、・・・、アイランド#X(Xは正数)で表されるアイランドを有する。
各アイランドは、物理サーバ#1、物理サーバ#2、・・・、物理サーバ#Xで表される物理サーバ94と、ストレージ装置#1、ストレージ装置#2、・・・、ストレージ装置#Xで表されるストレージ装置96を有する。各物理サーバ94は、スイッチ98で接続される。各物理サーバ94では、VM(仮想サーバ)4aが動作する。各ストレージ装置96は、Vol#1、Vol#2、・・・、Vol#Y(Yは正数)で表される物理ボリューム6bを有する。
一方、図28(b)に示すように、対象クラウド基盤は、アイランド#1、アイランド#2、・・・、アイランド#X(Xは正数)で表されるアイランドを有するが、スイッチ98の代わりに、各アイランドがスイッチ93を有する。
一般的クラウド基盤では、VM4aは、他のストレージ装置96の物理ボリューム6bにアクセス可能である。例えば、図28(a)に示すように、アイランド#1のVM4aは、アイランド#2の物理ボリューム6bにアクセス可能である。一方、対象クラウド基盤では、VM4aは、他のストレージ装置96の物理ボリューム6bにアクセスできない。例えば、図28(b)に示すように、アイランド#1のVM4aは、アイランド#2の物理ボリューム6bにアクセスできない。このように、対象クラウド基盤は、VM4aと物理ボリューム6bのアクセス制御を行うことにより、セキュリティを向上させている。
なお、ストレージ装置間のデータ移行に関する従来技術として、移行元NAS装置と移行先NAS装置との間での互換性を必要とせず、安価かつ安全に、NAS装置間でのデータ移行を実現する制御装置がある。この制御装置は、移行元NAS装置の移行元ディレクトリ内の全てのデータを、移行先NAS装置の移行先ディレクトリにコピーする。その間、移行元NAS装置は、移行元ディレクトリに対するデータの追加/更新を受け付ける。そのコピー終了後、この制御装置は、移行元ディレクトリに生じた差分に相当するデータのコピー(差分コピー)を実行し、差分コピーを、コピー所要時間が決められた時間を下回るまで継続する。この制御装置は、移行元NAS装置でクライアントからのアクセスを停止して最後の差分データを移行先NAS装置へコピーし、移行先NAS装置でクライアントからのアクセスの受け付けを開始する。
また、仮想マシンのライブマイグレーションに関する従来技術として、複数の仮想マシンのライブマイグレーションを行う際に、メモリコピーに必要な帯域を十分に確保できるとともに、競合するユーザトラフィックを過度に制約しないようにする管理装置がある。この管理装置は、仮想マシンに関する情報及びネットワークでのトラフィックに関する情報の少なくとも一方に基づいて複数の仮想マシンにおけるライブマイグレーションの実行順を定める。また、この管理装置は、ライブマイグレーション実施前のユーザトラフィック帯域からの変動が小さくなるようにライブマイグレーションの実施中におけるユーザトラフィック帯域の帯域制御量を決定する。
特開2008-181461号公報 特開2014-153997号公報
物理資源単位でVM4aを構築している対象クラウド基盤では、VM4aのリソース変更などにより、VM4aを別の物理サーバ94へ移行する場合がある。この場合、移行元の物理サーバ94及びストレージ装置96と移行先の物理サーバ94及びストレージ装置96が物理的に離れているので、移行先ストレージ装置96に物理ボリューム6bを作成後、データをコピーすることで移行が行われる。このため、データコピー中にコピー先のストレージ装置96を使用している他のVM4a及びコピー元のストレージ装置96を使用している他のVM4aがそれぞれのストレージ装置96へアクセスするときの性能が低下するという問題がある。
本発明は、1つの側面では、データコピー中にコピー先のストレージ装置を使用している他のVM及びコピー元のストレージ装置を使用している他のVMがそれぞれのストレージ装置へアクセスするときの性能低下への影響を小さくするようにデータコピーに関わるQoS(Quality of Service)値を適切に設定可能にすることを目的とする。
1つの態様では、管理装置は、仮想サーバを移行元物理サーバから移行先物理サーバへ移行する情報処理システムを管理する。前記情報処理システムは、前記仮想サーバを移行する際に、該仮想サーバが使用するデータを移行元物理サーバが管理する移行元ストレージ装置の移行元ボリュームから移行先物理サーバが管理する移行先ストレージ装置の移行先ボリュームへ複製する。前記管理装置は、調整部と制御部とを有する。前記調整部は、前記移行元物理サーバの前記移行元ストレージ装置へのアクセスに関するスループット及び前記移行先物理サーバの前記移行先ストレージ装置へのアクセスに関するスループットに基づいて、前記移行先ボリュームのQoS値を決定する。前記制御部は、前記調整部により決定されたQoS値に基づいて前記移行先ボリュームを作成する命令を生成して前記移行先ストレージ装置へ発行する。
1つの側面では、本発明は、データコピー中にコピー先のストレージ装置を使用している他のVM及びコピー元のストレージ装置を使用している他のVMがそれぞれのストレージ装置へアクセスするときの性能低下への影響を小さくするようにデータコピーに関わるQoS値を適切に設定可能にすることができる。
図1は、実施例に係る情報処理システムの構成を示す図である。 図2は、仮想サーバ管理テーブルの一例を示す図である。 図3は、物理ボリューム管理テーブルの一例を示す図である。 図4は、スループット管理テーブルの一例を示す図である。 図5は、ボリュームQoS管理テーブルの一例を示す図である。 図6は、ストレージ管理テーブルの一例を示す図である。 図7は、データコピーIOPSの算出例を示す図である。 図8は、データ転送用ポートのデータコピー処理の数が2である場合を示す図である。 図9は、情報収集動作を示す図である。 図10は、VM移行動作を示す図である。 図11は、データコピー中のQoS制御動作を示す図である。 図12は、データコピー完了後の動作を示す図である。 図13は、クラウドサービスの運用者から構成情報を受け付けたときの管理装置の動作を示す図である。 図14は、VMの移行後のデータコピー中にユーザデータへアクセスが行われたときのアクセス経路を示す図である。 図15は、データコピーに関する情報処理システムの処理のフローを示すフローチャートである。 図16は、物理サーバ上のVMが使用している物理ボリュームのスループット情報を収集する処理のフローを示すフローチャートである。 図17は、VMの移行を実行する処理のフローを示すフローチャートである。 図18は、データコピーIOPSを算出する処理のフローを示すフローチャートである。 図19は、データ転送用の経路のQoS値を選択する処理のフローを示すフローチャートである。 図20は、VM移行後の処理のフローを示すフローチャートである。 図21は、情報処理システムによる処理のシーケンスを示す第1の図である。 図22は、情報処理システムによる処理のシーケンスを示す第2の図である。 図23は、情報処理システムによる処理のシーケンスを示す第3の図である。 図24は、情報処理システムによる処理のシーケンスを示す第4の図である。 図25は、情報処理システムによる処理のシーケンスを示す第5の図である。 図26は、情報処理システムによる処理のシーケンスを示す第6の図である。 図27は、実施例に係る管理プログラムを実行するコンピュータのハードウェア構成を示す図である。 図28は、一般的クラウド基盤と対象クラウド基盤の違いを説明するための図である。
以下に、本願の開示する管理装置、情報処理システム及び管理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
まず、実施例に係る情報処理システムの構成について説明する。図1は、実施例に係る情報処理システムの構成を示す図である。図1に示すように、実施例に係る情報処理システム1は、アイランド#1、・・・、アイランド#Xで表されるアイランド2と、メインFC(Fiber Channel)スイッチ3と、管理装置10とを有する。アイランド2は、物理サーバ4と、サブFCスイッチ5と、ストレージ装置6と、スイッチ7とを有する。
物理サーバ4は、CPU(Central Processing Unit)、メインメモリなどを有する情報処理装置である。物理サーバ4では、VM4aが動作する。なお、図1では、物理サーバ4で2つのVM4aが動作するが、物理サーバ4では3つ以上のVM4aが動作してもよい。
物理サーバ4は、監視部4bを有する。監視部4bは、ストレージ装置6の監視部6cと連携し、物理ボリューム6bのスループットに関する情報(スループット情報)を第1の時間間隔(例えば10分間隔)で作成して管理装置10へ送る。
サブFCスイッチ5は、物理サーバ4とストレージ装置6を接続する。また、サブFCスイッチ5は、ネットワーク1bでストレージ装置6及びスイッチ7と接続し、ネットワーク1cでメインFCスイッチ3と接続する。
ストレージ装置6は、VM4aが使用するデータを記憶する不揮発性記憶装置である。ストレージ装置6は、LUN(Logical Unit Number)グループ6aを有する。VM4aはLUNグループ6aと対応付けられ、対応付けられていないLUNグループ6aにはアクセスすることができない。LUNグループ6aには、Vol#1、・・・、Vol#Yで表される物理ボリューム6bが含まれる。物理ボリューム6bは、VM4aが使用するデータを記憶する。
ストレージ装置6は、監視部6cを有する。監視部6cは、物理ボリューム6b毎にIOPS(Input Output Per Second)を第1の時間間隔で取得し、監視部4bに送る。
スイッチ7は、物理サーバ4をネットワーク1aで他の物理サーバ4や管理装置10に接続する。
メインFCスイッチ3は、サブFCスイッチ間をネットワーク1cで接続する。メインFCスイッチ3は、物理ボリューム6bのデータのコピーに用いられる。
管理装置10は、情報処理システム1を管理する。管理装置10は、DB11と、管理部12と、制御部13と、調整部14とを有する。
DB11は、情報処理システム1の管理に用いられる情報を記憶する。DB11は、仮想サーバ管理テーブル、物理ボリューム管理テーブル、スループット管理テーブル、ボリュームQoS管理テーブル、ストレージ管理テーブルを記憶する。
仮想サーバ管理テーブルには、VM4aの管理に用いられる情報が登録される。図2は、仮想サーバ管理テーブルの一例を示す図である。図2に示すように、仮想サーバ管理テーブルには、仮想サーバ名と、配備先物理サーバ名と、物理ボリューム名と、ボリュームサイズとが対応付けて登録される。
仮想サーバ名は、VM4aを識別する名前である。配備先物理サーバ名は、VM4aが配備される物理サーバ4を識別する名前である。物理ボリューム名は、VM4aがアクセスする物理ボリューム6bを識別する名前である。ボリュームサイズは、VM4aがアクセスする物理ボリューム6bのサイズである。例えば、「Server1」に配備される「VM1」は、「1000GB(ギガバイト)」の「Volume1」にアクセスする。
物理ボリューム管理テーブルには、物理ボリューム6bの管理に用いられる情報が登録される。図3は、物理ボリューム管理テーブルの一例を示す図である。図3に示すように、物理ボリューム管理テーブルには、ストレージ装置名と、アクセス先物理サーバ名と、物理ボリューム名とが対応付けて登録される。
ストレージ装置名は、物理ボリューム6bがあるストレージ装置6を識別する名前である。アクセス先物理サーバ名は、物理ボリューム6bをアクセスする物理サーバ4を識別する名前である。物理ボリューム名は、物理ボリューム6bを識別する名前である。例えば、「Volume1」は、「Storage1」にあり、「Server1」によりアクセスされる。
スループット管理テーブルには、物理ボリューム6bのスループットの管理に用いられる情報が登録される。図4は、スループット管理テーブルの一例を示す図である。図4に示すように、スループット管理テーブルには、仮想サーバ名と、物理サーバ名と、物理ボリューム名と、IOPSと、ストレージ装置名と、採取時間とが対応付けて登録される。
仮想サーバ名は、物理ボリューム6bにアクセスするVM4aを識別する名前である。物理サーバ名は、物理ボリューム6bにアクセスする物理サーバ4を識別する名前である。物理ボリューム名は、物理ボリューム6bを識別する名前である。IOPSは、物理ボリューム6bが1秒間にアクセスされる数であり、IO(入出力アクセスの)スループットを示す。ストレージ装置名は、物理ボリューム6bがあるストレージ装置6を識別する名前である。採取時間は、IOPSが採取された日時である。例えば、「2019-11-11 10:00:00」に採取されたデータによれば、「Storage1」にある「Volume1」は、「Server1」で動作する「VM1」により、1秒間に「100」回アクセスされた。
ボリュームQoS管理テーブルには、物理ボリューム6bのQoS値設定に用いられる情報が登録される。図5は、ボリュームQoS管理テーブルの一例を示す図である。図5に示すように、ボリュームQoS管理テーブルには、IOPSと、ボリュームQoSと、帯域とが対応付けて登録される。
IOPSは、物理ボリューム6bが1秒間にアクセスされる数である。ボリュームQoSは、物理ボリューム6bに設定されるQoS値である。帯域は、ボリュームの最大データ転送量(MB(メガバイト)/s(秒)など)を示し、物理ボリューム6bに割り当てられる。例えば、ボリュームQoSとして「3」が設定された物理ボリューム6bのIOPSは「100」であり、当該物理ボリューム6bに割り当てられる帯域は「100」である。
ストレージ管理テーブルには、ストレージ装置6の最大性能が登録される。図6は、ストレージ管理テーブルの一例を示す図である。図6に示すように、ストレージ管理テーブルには、ストレージ装置名と、最大IOPSとが対応付けて登録される。
ストレージ装置名は、ストレージ装置6を識別する名前である。最大IOPSは、IOPS用いて表される最大性能である。例えば、「Storage1」の最大性能は、「300000」IOPSである。
管理部12は、DB11を管理する。具体的には、管理部12は、クラウドサービスの運用者から構成情報を受け付けて、仮想サーバ管理テーブル、物理ボリューム管理テーブル、ボリュームQoS管理テーブル、ストレージ管理テーブルに登録する。
また、管理部12は、監視部4bから第1の時間間隔でスループット情報を受信する。スループット情報には、仮想サーバ名、物理サーバ名、物理ボリューム名、IOPS、ストレージ装置名及び採取時間が含まれる。管理部12は、スループット情報を受信するとスループット管理テーブルに登録する。
また、管理部12は、クラウドサービスの運用者から、変更された構成情報を受け付けると、仮想サーバ管理テーブルに登録されている情報と比較して、移行するVM4aがあるか否かを判定する。仮想サーバ管理テーブルに登録されている情報は移行前の物理サーバ4を示し、構成情報は移行後の物理サーバ4を示す。
そして、管理部12は、移行するVM4aがある場合には、調整部14に移行先物理ボリューム6bの作成とQoS値の設定を指示する。また、管理部12は、物理ボリューム管理テーブルと変更された構成情報とを比較し、移行するVM4aが使用する物理ボリューム6bの移行元ストレージ装置6と移行先ストレージ装置6を特定する。そして、管理部12は、制御部13に移行元ストレージ装置6と移行先ストレージ装置6のデータ転送用ポートのWWN(World Wide Name)を取得するように指示する。また、管理部12は、物理ボリューム管理テーブルと変更された構成情報とを比較し、移行元物理ボリューム6bから移行先物理ボリューム6bへのデータコピーを制御部13に指示する。
また、管理部12は、仮想サーバ管理テーブルを参照し、移行するVM4aの停止を制御部13に指示する。また、管理部12は、仮想サーバ管理テーブルと変更された構成情報とを比較し、VM4aの移行を制御部13に指示する。また、管理部12は、変更された構成情報を参照し、移行されたVM4aの起動を制御部13に指示する。
また、管理部12は、移行元物理ボリューム6bから移行先物理ボリューム6bへのデータコピーの監視を制御部13に指示する。そして、管理部12は、データコピーが完了したか否かを第2の時間間隔で判定し、完了していない場合には、移行先物理ボリューム6bのQoS値とデータ転送用の経路のQoS値の再設定を調整部14に指示する。一方、データコピーが完了した場合には、管理部12は、移行元物理ボリューム6bの削除とデータ転送用の経路の削除を制御部13に指示する。
制御部13は、メインFCスイッチ3、物理サーバ4及びストレージ装置6が実行する命令(スクリプト)を作成し、メインFCスイッチ3、物理サーバ4及びストレージ装置6に発行する。
具体的には、制御部13は、調整部14からの指示に基づいて、調整部14が算出したQoS値を用いて移行先物理ボリューム6bを作成する命令を作成して移行先ストレージ装置6に発行する。また、制御部13は、管理部12からの指示に基づいて、データ転送用ポートのWWNを取得する命令を作成し、移行元ストレージ装置6と移行先ストレージ装置6に発行する。また、制御部13は、管理部12からの指示に基づいて、移行元ストレージ装置6と移行先ストレージ装置6のデータ転送用ポートのWWNを取得する命令を作成し、メインFCスイッチ3に発行する。
また、制御部13は、調整部14からの指示に基づいて、データ転送用ポートのWWNと調整部14が決定した優先度(QoS値)を用いて経路を設定する命令を作成し、メインFCスイッチ3へ発行する。また、制御部13は、管理部12からの指示に基づいて、移行元物理ボリューム6bから移行先物理ボリューム6bへのデータコピーを行う命令を作成し、移行元ストレージ装置6と移行先ストレージ装置6に発行する。
また、制御部13は、管理部12からの指示に基づいて、移行するVM4aを停止する命令を作成し、移行元物理サーバ4に発行する。また、制御部13は、管理部12からの指示に基づいて、VM4aを移行する命令を作成し、移行元物理サーバ4及び移行先物理サーバ4に発行する。また、制御部13は、管理部12からの指示に基づいて、移行後のVM4aを起動する命令を作成し、移行先物理サーバ4に発行する。
また、制御部13は、管理部12からの指示に基づいて、移行元物理ボリューム6bから移行先物理ボリューム6bへのデータコピーを監視する命令を作成し、移行先ストレージ装置6に発行する。また、制御部13は、データコピーが完了していない場合には、調整部14からの指示に基づいて、移行先物理ボリューム6bと経路のQoS値を再設定する命令を作成し、移行先ストレージ装置6に発行する。また、制御部13は、データコピーが完了した場合には、管理部12の指示に基づいて、移行元物理ボリューム6bを削除する命令及びデータ転送用の経路を削除する命令を作成し、作成した命令をそれぞれストレージ装置6及びメインFCスイッチ3に発行する。
調整部14は、移行元ストレージ装置6及び移行先ストレージ装置6の負荷状況に基づいて移行先物理ボリューム6bのQoS値を調整する。また、調整部14は、データ転送用ポートのデータコピー処理の数に基づいて、データ転送用の経路のQoS値を調整する。
具体的には、調整部14は、ストレージ管理テーブルより移行元ストレージ装置6と移行先ストレージ装置6の最大IOPSを取得する。また、調整部14は、ストレージ装置6の最大IOPSのうち、VM4aの業務処理で使用するサービス上限閾値(例えば70%)とサービス下限閾値(例えば30%)を設ける。さらに、調整部14は、実IOPSの最大閾値(例えば90%)を設ける。ここで、実IOPSは、実際のアクセス状況に基づくIOPSである。また、調整部14は、スループット管理テーブルから、移行元物理サーバ4と移行先物理サーバ4の実IOPSを算出し、大きいほうの実IOPSを選択する。
そして、調整部14は、選択した実IOPSをサービス上限閾値と最大IOPSの積で求めたサービス上限IOPSと比較する。そして、実IOPSがサービス上限IOPSを超える場合(サービス繁忙時)には、調整部14は、最大IOPSから実IOPSを引いた値をデータコピーIOPSとして算出する。ただし、サービス繁忙時において、実IOPSが最大IOPSと実IOPSの最大閾値との積を超える場合は、最低限のデータコピーIOPSを確保するために、実IOPSを最大IOPSと実IOPSの最大閾値との積に制限する。一方、実IOPSがサービス上限IOPS以下の場合には、調整部14は、実IOPSをサービス下限閾値と最大IOPSの積で求めたサービス下限IOPSと比較する。そして、実IOPSがサービス下限IOPSを超える場合(サービス通常時)には、調整部14は、最大IOPSから最大IOPSとサービス上限域値の積を引いた値をデータコピーIOPSとして算出する。一方、実IOPSがサービス下限IOPS以下の場合(サービス閑散時)には、調整部14は、最大IOPSから最大IOPSとサービス下限域値の積を引いた値をデータコピーIOPSとして算出する。
図7は、データコピーIOPSの算出例を示す図である。図7では、サービス上限閾値は70%であり、サービス下限閾値は30%である。また、実IOPSの最大閾値を90%とする。図7に示すように、調整部14は、移行元物理サーバ4と移行先物理サーバ4の実IOPSを比較し、大きいほうの実IOPSを選択する。そして、選択した実IOPSがサービス上限IOPSを超えて最大IOPSの95%である場合(サービス繁忙時#1)には、調整部14は、データコピーIOPSを確保するため、実IOPSを最大IOPSの90%に制限し、最大IOPSの10%をデータコピーIOPSとして算出する。また、選択した実IOPSがサービス上限IOPSを超えて最大IOPSの80%である場合(サービス繁忙時#2、実IOPSの最大閾値を超えない場合)には、最大IOPSから実IOPSを引いた値(最大IPOSの20%)をデータコピーIOPSとして算出する。また、選択した実IOPSがサービス下限IOPS以下で最大IOPSの20%である場合(サービス閑散時)には、調整部14は、最大IOPSからサービス下限IOPSを引いた値(最大IPOSの70%)をデータコピーIOPSとして算出する。また、選択した実IOPSがサービス下限IOPSを超えサービス上限IOPS以下の60%である場合(サービス通常時)には、調整部14は、最大IOPSからサービス上限IOPSを引いた値(最大IPOSの30%)をデータコピーIOPSとして算出する。
そして、調整部14は、ボリュームQoS管理テーブルからデータコピーIOPSに一番近いIOPSに対応するボリュームQoSを移行先物理ボリューム6bのQoS値として算出する。そして、調整部14は、算出したQoS値を用いて移行先物理ボリューム6bを作成するように制御部13に指示する。
また、調整部14は、制御部13がメインFCスイッチ3に発行したWWN取得命令に対する応答をメインFCスイッチ3から受信することで、移行元ストレージ装置6と移行先ストレージ装置6のデータ転送用ポートのWWNを取得する。そして、調整部14は、移行元ストレージ装置6及び移行先ストレージ装置6のそれぞれのデータ転送用ポートのデータコピー処理の数を算出する。そして、データコピー処理の数が複数でない場合には、調整部14は、データ転送用の経路の優先度を高と決定する。一方、データコピー処理の数が複数の場合には、調整部14は、データサイズが最も大きい経路の優先度を高と決定し、他の経路の優先度を中と決定する。なお、調整部14は、移行元ストレージ装置6及び移行先ストレージ装置6の種類に基づいて経路の優先度を決定してもよい。
図8は、データ転送用ポートのデータコピー処理の数が2である場合を示す図である。図8(a)は、移行元のデータ転送用ポートでデータコピー処理が2つの場合を示し、図8(b)は、移行先のデータ転送用ポートでデータコピー処理が2つの場合を示す。図8において、VM#1及びVM#2はVM4aを表す。
図8(a)に示すように、移行元の物理サーバ4で動作するVM#1及びVM#2は、それぞれ移行先#1の物理サーバ4及び移行先#2の物理サーバ4へ移行される。このとき、移行元のデータ転送用ポートでは、データコピー処理が2つ行われる。したがって、調整部14は、VM#1の移行に伴ってコピーされる物理ボリューム6bのサイズとVM#2の移行に伴ってコピーされる物理ボリューム6bのサイズを比較し、大きい方の物理ボリューム6bのデータコピーの経路の優先度を高にする。
図8(b)に示すように、移行先の物理サーバ4で動作するVM#1及びVM#2は、それぞれ移行元#1の物理サーバ4及び移行元#2の物理サーバ4から移行される。このとき、移行先のデータ転送用ポートでは、データコピー処理が2つ行われる。したがって、調整部14は、VM#1の移行に伴ってコピーされる物理ボリューム6bのサイズとVM#2の移行に伴ってコピーされる物理ボリューム6bのサイズを比較し、大きい方の物理ボリューム6bのデータコピーの経路の優先度を高にする。
また、調整部14は、データコピーが完了していない場合には、管理部12の指示に基づいて、移行先物理ボリューム6bのQoS値を再度算出し、制御部13に移行先物理ボリューム6bのQoS値の再設定を指示する。
次に、データコピーに関する情報処理システム1の動作について図9~図14を用いて説明する。図9は、情報収集動作を示す図である。図9に示すように、物理サーバ4の監視部4bは、定期的に(第1の時間間隔で)ストレージ装置6の監視部6cから性能に関する情報を収集し、収集した情報に基づいてスループット情報を作成して管理装置10に送信する。管理装置10の管理部12は、スループット情報を受信すると、スループット管理テーブルに登録する。
図10は、VM移行動作を示す図である。図10に示すように、管理装置10は、VM4aの移行があると判定すると、移行先物理ボリューム6bのQoS値を算出する(u1)。そして、ストレージ装置6は、移行先物理ボリューム6bを作成し(u2)、調整部14により算出されたQoS値を設定する。
そして、管理装置10は、メインFCスイッチ3に指示して、移行先ストレージ装置6のデータ転送用ポートのWWNを採取し(u3)、データ転送用の経路のQoS値を設定する(u4)。そして、メインFCスイッチ3は、移行元ストレージ装置6と移行先ストレージ装置6の経路を設定する(u5)。経路設定を行うことで移行元ストレージ装置内の物理ボリューム6bが移行元ストレージ装置6から透過的に参照可能となる。
そして、移行元ストレージ装置6と移行先ストレージ装置6は、データコピーを開始する(u6)。そして、移行元物理サーバ4は、移行対象のVM4aを停止し、移行先物理サーバ4と連携して移行対象のVM4aを移行する(u7)。移行対象のVM4aを停止することにより、情報処理システム1は、コピーされるデータの静止点を確保することができる。そして、移行先物理サーバ4は、移行されたVM4aを起動する(u8)。そして、管理装置10は、データコピー終了の監視を開始する(u9)。なお、移行先物理ボリューム6bは、ボリューム作成時にLUNグループ6aに入れられる。
図11は、データコピー中のQoS制御動作を示す図である。図11に示すように、管理装置10は、コピー中の経路のスループットを計算し、QoS値を決定する(u11)。そして、管理装置10は、コピー中の移行元物理ボリューム6b及び移行先物理ボリューム6bのスループットを計算し、移行先物理ボリューム6bのQoS値を算出する(u12)。
そして、メインFCスイッチ3は、管理装置10が決定したQoS値を経路に設定する(u13)。そして、移行先ストレージ装置6は、管理装置10が算出したQoS値を移行先物理ボリューム6bに設定する(u14)。
図12は、データコピー完了後の動作を示す図である。図12に示すように、メインFCスイッチ3は、データ転送用の経路の削除を行う(u21)。そして、移行元ストレージ装置6は、移行元物理ボリューム6bを削除する(u22)。
図13は、クラウドサービスの運用者から構成情報を受け付けたときの管理装置10の動作を示す図である。図13に示すように、管理装置10は、クラウドサービスの運用者から最初に構成情報を受け付けると、構成情報をDB11の各テーブルに登録する(u31)。そして、管理装置10は、DB11に格納した構成情報をもとに環境を構築する命令を生成し(u32)、メインFCスイッチ3、物理サーバ4及びストレージ装置6に発行する。
メインFCスイッチ3、物理サーバ4及びストレージ装置6は、それぞれSVP(SerVice Processer)3a、SVP4c及びSVP6dを有する。SVP3aは、管理装置10が発行した命令を実行し、サブFCスイッチ5と連携して経路設定、経路へのQoS値設定などを行う。SVP4cは、管理装置10が発行した命令を実行し、VM4aを自動構築する(u33a)。SVP6dは、管理装置10が発行した命令を実行し、ストレージを自動構築する(u33b)。ストレージの自動構築には、LUNグループ6a、物理ボリューム6b、アフィニティ、mplb(MultiPath disk control Load Balancing option)の設定などが含まれる。
その後、管理装置10は、クラウドサービスの運用者から構成情報の変更を受け付けると、受け付けた構成情報と各テーブルに登録されている情報を比較し、差分情報に基づいてメインFCスイッチ3、物理サーバ4及びストレージ装置6に命令を発行する。例えば、管理装置10は、VM4aが異なる物理サーバ4に配備されている場合には、VM4aの移行を指示する(u34)。
このように、管理装置10は、構成情報の変更を受け付け、VM4aが異なる物理サーバ4に配備されている場合には、VM4aの移行を指示するので、クラウドサービスの運用者は、構成情報を変更することで、VM4aを移行することができる。
図14は、VM4aの移行後のデータコピー中にユーザデータへアクセスが行われたときのアクセス経路を示す図である。図14に示すように、移行されたVM4aが物理ボリューム6bにアクセスすると、メインFCスイッチ3を介して、移行前のVM4aがアクセスしていた物理ボリューム6bへのアクセスが行われる。
次に、データコピーに関する情報処理システム1の処理のフローについて図15~図20を用いて説明する。図15は、データコピーに関する情報処理システム1の処理のフローを示すフローチャートである。図15に示すように、情報処理システム1は、物理サーバ4上のVM4aが使用している物理ボリューム6bのスループット情報を収集する(ステップS1)。そして、情報処理システム1は、VM4aの移行を実行する(ステップS2)。そして、情報処理システム1は、VM4a移行後の処理を実行する(ステップS3)。
図16は、物理サーバ4上のVM4aが使用している物理ボリューム6bのスループット情報を収集する処理のフローを示すフローチャートである。図16に示すように、各物理サーバ4の監視部4bは、管理装置10から仮想サーバ(VM)名、VM4aが動作している配備先物理サーバ名、VM4aが使用している物理ボリューム名を取得する(ステップS11)。
そして、各物理サーバ4の監視部4bは、ストレージ装置6の監視部6cと連携して各VM4aが使用している物理ボリューム6bのスループット情報を作成し(ステップS12)、作成したスループット情報を管理部12へ転送する(ステップS13)。そして、管理部12は、受信したスループット情報をスループット管理テーブルに登録する(ステップS14)。
このように、監視部4bが物理ボリューム6bのスループット情報を管理部12へ転送するので、管理装置10は、移行元ストレージ装置6及び移行先ストレージ装置6のスループットに基づいて、移行先物理ボリューム6bのQoS値を決定することができる。
図17は、VM4aの移行を実行する処理のフローを示すフローチャートである。図17に示すように、管理装置10は、データコピーIOPSを算出し(ステップS21)、ボリュームQoS管理テーブルを参照して、データコピーIOPSより移行先物理ボリューム6bのQoS値を選択する(ステップS22)。
そして、管理装置10は、ストレージ装置6に指示して、選択したQoS値の移行先物理ボリューム6bを作成する(ステップS23)。そして、管理装置10は、移行元ストレージ装置6と移行先ストレージ装置6のWWNを取得し(ステップS24)、データ転送用の経路のQoS値を決定する(ステップS25)。そして、管理装置10は、メインFCスイッチ3に指示して、データ転送用の経路のQoS値を設定し(ステップS26)、移行元ストレージ装置6と移行先ストレージ装置6の経路を設定する(ステップS27)。
そして、管理装置10は、移行元ストレージ装置6と移行先ストレージ装置6に指示して、データコピーを開始する(ステップS28)。そして、管理装置10は、移行対象のVM4aを停止して移行し(ステップS29)、移行されたVM4aを起動する(ステップS30)。そして、管理装置10は、移行元ストレージ装置6と移行先ストレージ装置6に指示して、データコピー終了の監視を開始する(ステップS31)。
このように、管理装置10が移行先物理ボリューム6bのQoS値及びデータ転送用の経路のQoS値を決定するので、情報処理システム1は、移行対象以外のVM4aの処理への影響を抑えることができる。
図18は、データコピーIOPSを算出する処理のフローを示すフローチャートである。図18に示すように、調整部14は、ストレージ管理テーブルを参照し、ストレージ装置6の最大IOPSを取得する(ステップS41)。そして、調整部14は、サービス上限閾値及びサービス下限閾値を設定する(ステップS42~ステップS43)。そして、調整部14は、サービス上限IOPS及びサービス下限IOPSを算出する(ステップS44~ステップS45)。そして、調整部14は、実IOPSの最大閾値を設定する(ステップS46)。
そして、調整部14は、スループット管理テーブルを参照し、移行元物理サーバ4及び移行先物理サーバ4の実IOPSを算出する(ステップS47~ステップS48)。そして、調整部14は、算出した2つの実IOPSのうち、大きいほうの実IOPSを選択する(ステップS49)。そして、調整部14は、実IOPSがサービス上限IOPSを超えるか否かを判定し(ステップS50)、超える場合には、最大IOPSから実IOPSを引いた差分をデータコピーIOPSと定義する(ステップS51)。ただし、調整部14は、実IOPSが、実IOPSの最大閾値と最大IOPSの積を超えた場合、実IOPSを実IOPSの最大閾値と最大IOPSの積に制限する。
一方、実IOPSがサービス上限IOPSを超えない場合には、調整部14は、実IOPSがサービス下限IOPSを超えるか否かを判定する(ステップS52)。そして、実IOPSがサービス下限IOPSを超える場合には、調整部14は、最大IOPSから最大IOPSとサービス上限閾値の積を引いた値をデータコピーIOPSと定義する(ステップS53)。一方、実IOPSがサービス下限IOPSを超えない場合には、調整部14は、最大IOPSから最大IOPSとサービス下限閾値の積を引いた値をデータコピーIOPSと定義する(ステップS54)。
このように、調整部14が移行元物理サーバ4と移行先物理サーバ4の実IOPSのうち大きいほうの実IOPSに基づいてデータコピーIOPSを決定する。したがって、管理装置10は、コピー先のストレージ装置6を使用している他のVM4a及びコピー元のストレージ装置6を使用している他のVM4aがストレージ装置6へアクセスするときの性能低下を防ぐことができる。
図19は、データ転送用の経路のQoS値を選択する処理のフローを示すフローチャートである。図19に示すように、調整部14は、データ転送用ポートのデータコピー処理数を算出する(ステップS61)。調整部14は、転送元ポートと転送先ポートの両方についてデータコピー処理数を算出する。そして、調整部14は、転送元ポートと転送先ポートの少なくとも一方で、データコピー処理数が複数あるか否かを判定する(ステップS62)。
そして、データコピー処理数が複数ある場合には、調整部14は、仮想サーバ管理テーブルを参照し、コピーされる物理ボリューム6bの容量を取得する(ステップS63)。そして、調整部14は、取得した容量のうち最も大きい容量の経路の優先度として高を選択し(ステップS64)、他の経路の優先度として中を選択する(ステップS65)。一方、データコピー処理数が複数でない場合には、調整部14は、経路の優先度として高を選択する(ステップS66)。
このように、調整部14は、転送元ポートと転送先ポートの少なくとも一方で、データコピー処理数が複数ある場合に、コピーされる物理ボリューム6bの容量が最も大きい経路の優先度として高を選択し、他の経路の優先度として中を選択する。したがって、管理装置10は、複数のデータコピーで使用されているポートの負荷が高くなることを防ぐことができる。
図20は、VM移行後の処理のフローを示すフローチャートである。図20に示すように、管理装置10は、データコピーが完了したか否かを判定する(ステップS71)。そして、管理装置10は、データコピーが完了していない場合には、データコピーIOPSを算出し(ステップS72)、ボリュームQoS管理テーブルを参照し、データコピーIOPSより移行先物理ボリューム6bのQoS値を選択する(ステップS73)。そして、管理装置10は、データ転送用の経路のQoS値を決定し(ステップS74)、経路のQoS値を設定する(ステップS75)。そして、管理装置10は、移行先物理ボリューム6bのQoS値を設定し(ステップS76)、ステップS71に戻る。
一方、データコピーが完了した場合には、管理装置10は、メインFCスイッチ3に指示して、経路を削除し(ステップS77)、移行元ストレージ装置6に指示して、移行元物理ボリューム6bを削除する(ステップS78)。
このように、管理装置10は、データコピー中に移行先物理ボリューム6bのQoS値及び経路のQoS値を変更することで、移行元ストレージ装置6及び移行先ストレージ装置6へのアクセス状況の変化に対応することができる。
次に、情報処理システム1による処理のシーケンスについて図21~図26を用いて説明する。図21~図26は、情報処理システム1による処理のシーケンスを示す図である。図21に示すように、VM4aが常時作業を行う(t1)間、監視部4bは、監視部6cと連携して、ストレージ装置6のスループットを監視し(t2)、スループット情報を管理部12に送信する。
管理部12は、スループット情報を受信し(t3)、スループット管理テーブルにスループット情報を反映する(t4)。管理部12は、スループット情報の受信と反映を第1の時間間隔で行う。そして、管理部12は、構成情報を受け付け(t5)、VM4aの移行があると、調整部14は、性能情報を参照する(t6)。ここで、性能情報とは、ストレージ管理テーブル、スループット管理テーブル及びボリュームQoS管理テーブルに登録された情報である。
そして、調整部14は、性能情報に基づいて移行先物理ボリューム6bのQoS値を決定し、移行先物理ボリューム6bのQoS値を設定する(t7)。すなわち、調整部14は、決定したQoS値の移行先物理ボリューム6bの作成を制御部13に要求し(t8)、制御部13は、調整部14により決定されたQoS値の移行先物理ボリューム6bの作成命令を移行先ストレージ装置6に発行する(t9)。移行先ストレージ装置6は、移行先物理ボリューム6bを作成し(t10)、移行先物理ボリューム6bの作成完了を管理部12に送信する(t11)。
管理部12は、移行先物理ボリューム6bの作成完了を受信する(t12)と、構成情報と物理ボリューム管理テーブルを参照し(t13)、制御部13にWWNの取得を要求する(t14)。制御部13は、メインFCスイッチ3にWWN取得命令を発行し(t15)、メインFCスイッチ3は、WWN取得を実行する(t16)。
そして、メインFCスイッチ3は、図22に示すように、調整部14に取得したWWN情報を送信する(t17)。調整部14は、WWN情報を受信する(t18)と、データ転送の経路のQoS値を決定し、制御部13に決定したQoS値での経路設定を要求する(t19)。制御部13は、メインFCスイッチ3に経路設定命令を発行し(t20)、メインFCスイッチ3は、経路設定を実行し(t21)、管理部12に経路設定の完了を送信する(t22)。
管理部12は、経路設定の完了を受信する(t23)と、構成情報と物理ボリューム管理テーブルを参照し(t24)、制御部13にデータコピーを要求する(t25)。制御部13は、データコピー命令を移行元ストレージ装置6と移行先ストレージ装置6に発行する(t26)。移行元ストレージ装置6と移行先ストレージ装置6は、連携してデータコピー命令を実行し(t27)、管理部12にデータコピーの開始を送信する(t28)。
管理部12は、データコピーの開始を受信する(t29)と、構成情報と仮想サーバ管理テーブルを参照し(t30)、図23に示すように、制御部13に移行元VM4aの停止を要求する(t31)。制御部13は、移行元物理サーバ4に移行元VM4aの停止命令を発行し(t32)、移行元物理サーバ4は、移行元VM4aの停止命令を実行する(t33)。すると、移行元VM4aが停止し(t34)、移行元物理サーバ4は、管理部12に移行元VM4aの停止完了を送信する(t35)。
管理部12は、移行元VM4aの停止完了を受信する(t36)と、構成情報と仮想サーバ管理テーブルを参照し(t37)、制御部13にVM4aの移行を要求する(t38)。制御部13は、移行元物理サーバ4と移行先物理サーバ4にVM4aの移行命令を発行し(t39)、移行元物理サーバ4と移行先物理サーバ4は、VM4aの移行命令を実行する(t40)。すると、VM4aが移行され(t41)、移行元物理サーバ4と移行先物理サーバ4は、管理部12にVM4aの移行完了を送信する(t42)。
管理部12は、VM4aの移行完了を受信する(t43)と、構成情報と仮想サーバ管理テーブルを参照し(t44)、制御部13にVM4aの起動を要求する(t45)。制御部13は、図24に示すように、移行先物理サーバ4にVM4aの起動命令を発行し(t46)、移行先物理サーバ4は、VM4aの起動命令を実行する(t47)。すると、VM4aが起動され(t48)、移行先物理サーバ4は、管理部12にVM4aの起動完了を送信する(t49)。
管理部12は、VM4aの起動完了を受信する(t50)と、制御部13にコピー完了の監視を要求する(t51)。制御部13は、移行先ストレージ装置6にコピー完了の監視命令を発行し(t52)、移行先ストレージ装置6は、コピー完了の監視を実行する(t53)。
このように、情報処理システム1は、移行元ストレージ装置6及び移行先ストレージ装置6の負荷に基づいて移行先物理ボリューム6bのQoS値及び経路のQoS値を設定する。したがって、情報処理システム1は、データコピー中に他のVM4aが移行元ストレージ装置6又は移行先ストレージ装置6へアクセスするときの性能低下を防ぐことができる。
また、情報処理システム1は、データコピー中に、第2の時間間隔で、図25に示すように、経路のQoS値及び移行先物理ボリューム6bのQoS値の再設定を行う。すなわち、調整部14は、データ転送元及びデータ転送先のポートのデータコピー数を算出し(t61)、データ転送の経路のQoS値を決定し、制御部13に決定したQoS値での経路設定を要求する(t62)。制御部13は、メインFCスイッチ3に経路設定命令を発行し(t63)、メインFCスイッチ3は、経路設定を実行し(t64)、調整部14に経路設定の完了を送信する(t65)。
調整部14は、経路設定の完了を受信する(t66)と、性能情報を参照し、性能情報に基づいて移行先物理ボリューム6bのQoS値を算出し、移行先物理ボリューム6bのQoS値を設定する(t67)。すなわち、調整部14は、算出したQoS値の移行先物理ボリューム6bの設定を制御部13に要求し(t68)、制御部13は、移行先物理ボリューム6bの設定命令を移行先ストレージ装置6に発行する(t69)。移行先ストレージ装置6は、移行先物理ボリューム6bのQoS値を設定し(t70)、移行先物理ボリューム6bのQoS値の設定完了を調整部14に送信する(t71)。調整部14は、移行先物理ボリューム6bのQoS値の設定完了を受信する(t72)。
このように、情報処理システム1は、データコピー中に、第2の時間間隔で、経路のQoS値及び移行先物理ボリューム6bのQoS値の再設定を行うので、移行元ストレージ装置6及び移行先ストレージ装置6の負荷の変動に対応することができる。
データコピーが完了すると、図26に示すように、移行先ストレージ装置6は、管理部12にデータコピーの完了を送信する(t81)。管理部12は、データコピーの完了を受信する(t82)と、物理ボリューム管理テーブルを参照し(t83)、制御部13に移行元物理ボリューム6bの削除を要求する(t84)。制御部13は、移行元物理ボリューム6bの削除命令を移行元ストレージ装置6に発行する(t85)。
移行元ストレージ装置6は、移行元物理ボリューム6bを削除し(t86)、移行元物理ボリューム6bの削除の完了を管理部12に送信する(t87)。管理部12は、移行元物理ボリューム6bの削除の完了を受信する(t88)と、物理ボリューム管理テーブルを参照し(t89)、制御部13に経路の削除を要求する(t90)。制御部13は、経路の削除命令をメインFCスイッチ3に発行する(t91)。
メインFCスイッチ3は、経路を削除し(t92)、経路削除の完了を管理部12に送信する(t93)。管理部12は、経路削除の完了を受信する(t94)と、構成情報に基づいて、仮想サーバ管理テーブルと物理ボリューム管理テーブルを更新する(t95)。
このように、情報処理システム1は、データコピーが完了すると、移行元物理ボリューム6b及び経路を削除するので、不要になった物理資源を解放することができる。
上述してきたように、実施例では、物理サーバ4の監視部4bが、ストレージ装置6の監視部6cと連携して、第1の時間間隔で物理ボリューム6bのスループット情報を作成し、管理装置10に送信する。管理装置10の管理部12は、受信したスループット情報をスループット管理テーブルに登録する。そして、調整部14は、移行元ストレージ装置6及び移行先ストレージ装置6のスループット情報に基づいて移行先物理ボリューム6bのQoS値を決定する。そして、制御部13は、調整部14により決定されたQoS値に基づいて移行先物理ボリューム6bを作成する命令を生成して移行先ストレージ装置6へ発行する。したがって、情報処理システム1は、データコピー中に移行対象以外のVM4aが移行元ストレージ装置6又は移行先ストレージ装置6へアクセスするときの性能低下を防ぐことができる。
また、実施例では、調整部14は、移行元ストレージ装置6及び移行先ストレージ装置6がデータ転送にそれぞれ使用する転送元ポート及び転送先ポートのデータコピー処理数に基づいて、データ転送用の経路のQoS値を決定する。そして、制御部13は、調整部14により決定されたQoS値に基づいてデータ転送用の経路を設定する命令を生成してメインFCスイッチ3へ発行する。したがって、情報処理システム1は、データ転送に使用するポートの負荷が高くなることを防ぐことができる。
また、実施例では、調整部14は、移行元ストレージ装置6の実IOPSと移行先ストレージ装置6の実IOPSのうち大きい方の実IOPS、サービス上限閾値及びサービス下限閾値に基づいてデータコピーIOPSを算出する。そして、調整部14は、算出したデータコピーIOPSに基づいて、移行先物理ボリューム6bのQoS値を決定する。したがって、調整部14は、移行先物理ボリューム6bのQoS値を適切に決定することができる。
なお、実施例では、管理装置10について説明したが、管理装置10が有する構成をソフトウェアによって実現することで、同様の機能を有する管理プログラムを得ることができる。そこで、管理プログラムを実行するコンピュータについて説明する。
図27は、実施例に係る管理プログラムを実行するコンピュータのハードウェア構成を示す図である。図27に示すように、コンピュータ50は、メインメモリ51と、プロセッサの一例であるCPU52と、LAN(Local Area Network)インタフェース53と、HDD(Hard Disk Drive)54とを有する。また、コンピュータ50は、スーパーIO(Input Output)55と、DVI(Digital Visual Interface)56と、ODD(Optical Disk Drive)57とを有する。
メインメモリ51は、プログラムやプログラムの実行途中結果等を記憶するメモリである。CPU52は、メインメモリ51からプログラムを読み出して実行する中央処理装置である。CPU52は、メモリコントローラを有するチップセットを含む。
LANインタフェース53は、コンピュータ50をLAN経由で他のコンピュータに接続するためのインタフェースである。HDD54は、プログラムやデータを格納するディスク装置であり、スーパーIO55は、マウスやキーボード等の入力装置を接続するためのインタフェースである。DVI56は、液晶表示装置を接続するインタフェースであり、ODD57は、DVD、CD-Rの読み書きを行う装置である。
LANインタフェース53は、PCIエクスプレス(PCIe)によりCPU52に接続され、HDD54及びODD57は、SATA(Serial Advanced Technology Attachment)によりCPU52に接続される。スーパーIO55は、LPC(Low Pin Count)によりCPU52に接続される。
そして、コンピュータ50において実行される管理プログラムは、コンピュータ50により読み出し可能な記録媒体の一例であるCD-Rに記憶され、ODD57によってCD-Rから読み出されてコンピュータ50にインストールされる。あるいは、管理プログラムは、LANインタフェース53を介して接続された他のコンピュータシステムのデータベース等に記憶され、これらのデータベースから読み出されてコンピュータ50にインストールされる。そして、インストールされた管理プログラムは、HDD54に記憶され、メインメモリ51に読み出されてCPU52によって実行される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)仮想サーバを移行元物理サーバから移行先物理サーバへ移行する際に、該仮想サーバが使用するデータを移行元物理サーバが管理する移行元ストレージ装置の移行元ボリュームから移行先物理サーバが管理する移行先ストレージ装置の移行先ボリュームへ複製する情報処理システムを管理する管理装置において、
前記移行元物理サーバの前記移行元ストレージ装置へのアクセスに関するスループット及び前記移行先物理サーバの前記移行先ストレージ装置へのアクセスに関するスループットに基づいて、前記移行先ボリュームのQoS値を決定する調整部と、
前記調整部により決定されたQoS値に基づいて前記移行先ボリュームを作成する命令を生成して前記移行先ストレージ装置へ発行する制御部と
を有することを特徴とする管理装置。
(付記2)前記調整部は、前記移行元ストレージ装置及び前記移行先ストレージ装置が前記データの転送にそれぞれ使用する転送元ポート及び転送先ポートの複製処理の数に基づいて、前記データが前記移行元ストレージ装置から前記移行先ストレージ装置へ転送される際に使用される経路のQoS値をさらに決定し、
前記制御部は、前記調整部により前記経路について決定されたQoS値と前記転送元ポート及び前記転送先ポートに基づいて前記経路を設定する命令を生成し、前記データの転送を中継する中継装置へ発行することを特徴とする付記1に記載の管理装置。
(付記3)前記調整部は、
前記移行元ストレージ装置のIOPSと前記移行先ストレージ装置のIOPSのうち大きい方のIOPSが上限閾値を超え、かつ、IOPSの最大閾値を超えない場合には、前記大きい方のストレージ装置の最大IOPSと前記大きい方のIOPSとの差分に基づいて前記移行先ボリュームのQoS値を決定し、前記大きい方のIOPSが上限閾値を超え、かつ、IOPSの最大閾値を超える場合には、前記最大IOPSとIOPSの最大閾値との差分に基づいて前記移行先ボリュームのQoS値を決定し、
前記大きい方のIOPSが下限閾値を超えない場合には、前記最大IOPSと下限閾値との差分に基づいて前記移行先ボリュームのQoS値を決定し、
前記大きい方のIOPSが前記下限域値を超え前記上限域値を超えない場合には、前記最大IOPSと前記上限閾値との差分に基づいて前記移行先ボリュームのQoS値を決定することを特徴とする付記1又は2に記載の管理装置。
(付記4)前記調整部は、前記複製の間に、所定の時間間隔で、前記移行先ボリュームのQoS値及び前記経路のQoS値を決定し、
前記制御部は、前記調整部により決定された前記移行先ボリュームのQoS値に基づいて前記移行先ボリュームのQoS値を決定する命令を生成して前記移行先ストレージ装置へ発行し、前記調整部により決定された前記経路のQoS値に基づいて前記経路のQoS値を設定する命令を生成して前記中継装置へ発行することを特徴とする付記2に記載の管理装置。
(付記5)複数の物理サーバと、
前記複数の物理サーバがそれぞれ管理する複数のストレージ装置と
を有し、
仮想サーバを移行元物理サーバから移行先物理サーバへ移行する際に、該仮想サーバが使用するデータを移行元物理サーバが管理する移行元ストレージ装置の移行元ボリュームから移行先物理サーバが管理する移行先ストレージ装置の移行先ボリュームへ複製する情報処理システムおいて、
前記情報処理システムを管理する管理装置をさらに有し、
前記管理装置は、
前記移行元物理サーバの前記移行元ストレージ装置へのアクセスに関するスループット及び前記移行先物理サーバの前記移行先ストレージ装置へのアクセスに関するスループットに基づいて、前記移行先ボリュームのQoS値を決定する調整部と、
前記調整部により決定されたQoS値に基づいて前記移行先ボリュームを作成する命令を生成して前記移行先ストレージ装置へ発行する制御部と
を有することを特徴とする情報処理システム。
(付記6)前記調整部は、前記移行元ストレージ装置及び前記移行先ストレージ装置が前記データの転送にそれぞれ使用する転送元ポート及び転送先ポートの複製処理の数に基づいて、前記データが前記移行元ストレージ装置から前記移行先ストレージ装置へ転送される際に使用される経路のQoS値をさらに決定し、
前記制御部は、前記調整部により前記経路について決定されたQoS値と前記転送元ポート及び前記転送先ポートに基づいて前記経路を設定する命令を生成し、前記データの転送を中継する中継装置へ発行することを特徴とする付記5に記載の情報処理システム。
(付記7)仮想サーバを移行元物理サーバから移行先物理サーバへ移行する際に、該仮想サーバが使用するデータを移行元物理サーバが管理する移行元ストレージ装置の移行元ボリュームから移行先物理サーバが管理する移行先ストレージ装置の移行先ボリュームへ複製する情報処理システムを管理する管理プログラムにおいて、
前記移行元物理サーバの前記移行元ストレージ装置へのアクセスに関するスループット及び前記移行先物理サーバの前記移行先ストレージ装置へのアクセスに関するスループットに基づいて、前記データの移行先として前記移行先ボリュームのQoS値を決定し、
決定したQoS値に基づいて前記移行先ボリュームを作成する命令を生成して前記移行先ストレージ装置へ発行する
処理をコンピュータに実行させることを特徴とする管理プログラム。
(付記8)前記調整する処理は、前記移行元ストレージ装置及び前記移行先ストレージ装置が前記データの転送にそれぞれ使用する転送元ポート及び転送先ポートの複製処理の数に基づいて、前記データが前記移行元ストレージ装置から前記移行先ストレージ装置へ転送される際に使用される経路のQoS値をさらに決定し、
前記発行する処理は、前記経路について決定されたQoS値と前記転送元ポート及び前記転送先ポートに基づいて前記経路を設定する命令を生成し、前記データの転送を中継する中継装置へ発行することを特徴とする付記7に記載の管理プログラム。
1 情報処理システム
1a,1b,1c ネットワーク
2 アイランド
3 メインFCスイッチ
3a SVP
4,94 物理サーバ
4a VM
4b 監視部
4c SVP
5 サブFCスイッチ
6,96 ストレージ装置
6a LUNグループ
6b 物理ボリューム
6c 監視部
6d SVP
7 スイッチ
10 管理装置
11 DB
12 管理部
13 制御部
14 調整部
50 コンピュータ
51 メインメモリ
52 CPU
53 LANインタフェース
54 HDD
55 スーパーIO
56 DVI
57 ODD
93 スイッチ
98 スイッチ

Claims (5)

  1. 仮想サーバを移行元物理サーバから移行先物理サーバへ移行する際に、該仮想サーバが使用するデータを移行元物理サーバが管理する移行元ストレージ装置の移行元ボリュームから移行先物理サーバが管理する移行先ストレージ装置の移行先ボリュームへ複製する情報処理システムを管理する管理装置において、
    前記仮想サーバの移行前の、前記移行元ストレージ装置の実IOPSと前記移行先ストレージ装置の実IOPSのうち大きい方の実IOPSが上限閾値を超え、かつ、前記大きい方の実IOPSの最大閾値を超えない場合には、前記大きい方のストレージ装置の最大IOPSと前記大きい方の実IOPSとの差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、
    前記大きい方の実IOPSが上限閾値を超え、かつ、前記大きい方の実IOPSの最大閾値を超える場合には、前記最大IOPSと前記大きい方の実IOPSの最大閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、
    前記大きい方の実IOPSが下限閾値を超えない場合には、前記最大IOPSと下限閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、
    前記大きい方の実IOPSが前記下限閾値を超え前記上限閾値を超えない場合には、前記最大IOPSと前記上限閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定する調整部と、
    前記調整部により決定されたデータコピーIOPSに基づいて前記移行先ボリュームを作成する命令を生成して前記移行先ストレージ装置へ発行する制御部とを有し、
    前記実IOPSは、前記仮想サーバの移行前の実際のアクセス状況に基づくIOPSである、
    ことを特徴とする管理装置。
  2. 前記調整部は、前記移行元ストレージ装置及び前記移行先ストレージ装置が前記データの転送にそれぞれ使用する転送元ポート及び転送先ポートの複製処理の数に基づいて、前記データが前記移行元ストレージ装置から前記移行先ストレージ装置へ転送される際に使用される経路の優先度をさらに決定し、
    前記制御部は、前記調整部により前記経路について決定された優先度と前記転送元ポート及び前記転送先ポートに基づいて前記経路を設定する命令を生成し、前記データの転送を中継する中継装置へ発行することを特徴とする請求項1に記載の管理装置。
  3. 前記調整部は、前記複製の間に、所定の時間間隔で、前記移行先ボリュームのデータコピーIOPS及び前記経路の優先度を決定し、
    前記制御部は、前記調整部により決定された前記移行先ボリュームのデータコピーIOPSに基づいて前記移行先ボリュームのデータコピーIOPSを設定する命令を生成して前記移行先ストレージ装置へ発行し、前記調整部により決定された前記経路の優先度に基づいて前記経路の優先度を設定する命令を生成して前記中継装置へ発行することを特徴とする請求項2に記載の管理装置。
  4. 複数の物理サーバと、
    前記複数の物理サーバがそれぞれ管理する複数のストレージ装置と
    を有し、
    仮想サーバを移行元物理サーバから移行先物理サーバへ移行する際に、該仮想サーバが使用するデータを移行元物理サーバが管理する移行元ストレージ装置の移行元ボリュームから移行先物理サーバが管理する移行先ストレージ装置の移行先ボリュームへ複製する情報処理システムおいて、
    前記情報処理システムを管理する管理装置をさらに有し、
    前記管理装置は、
    前記仮想サーバの移行前の、前記移行元ストレージ装置の実IOPSと前記移行先ストレージ装置の実IOPSのうち大きい方の実IOPSが上限閾値を超え、かつ、前記大きい方の実IOPSの最大閾値を超えない場合には、前記大きい方のストレージ装置の最大IOPSと前記大きい方の実IOPSとの差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、前記大きい方の実IOPSが上限閾値を超え、かつ、前記大きい方の実IOPSの最大閾値を超える場合には、前記最大IOPSと前記大きい方の実IOPSの最大閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、前記大きい方の実IOPSが下限閾値を超えない場合には、前記最大IOPSと下限閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、前記大きい方の実IOPSが前記下限閾値を超え前記上限閾値を超えない場合には、前記最大IOPSと前記上限閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定する調整部と、
    前記調整部により決定されたデータコピーIOPSに基づいて前記移行先ボリュームを作成する命令を生成して前記移行先ストレージ装置へ発行する制御部とを有し、
    前記実IOPSは、前記仮想サーバの移行前の実際のアクセス状況に基づくIOPSである、
    ことを特徴とする情報処理システム。
  5. 仮想サーバを移行元物理サーバから移行先物理サーバへ移行する際に、該仮想サーバが使用するデータを移行元物理サーバが管理する移行元ストレージ装置の移行元ボリュームから移行先物理サーバが管理する移行先ストレージ装置の移行先ボリュームへ複製する情報処理システムを管理する管理プログラムにおいて、
    前記仮想サーバの移行前の、前記移行元ストレージ装置の実IOPSと前記移行先ストレージ装置の実IOPSのうち大きい方の実IOPSが上限閾値を超え、かつ、前記大きい方の実IOPSの最大閾値を超えない場合には、前記大きい方のストレージ装置の最大IOPSと前記大きい方の実IOPSとの差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、前記大きい方の実IOPSが上限閾値を超え、かつ、前記大きい方の実IOPSの最大閾値を超える場合には、前記最大IOPSと前記大きい方の実IOPSの最大閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、前記大きい方の実IOPSが下限閾値を超えない場合には、前記最大IOPSと下限閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、前記大きい方の実IOPSが前記下限閾値を超え前記上限閾値を超えない場合には、前記最大IOPSと前記上限閾値との差分に基づいて前記移行先ボリュームのデータコピーIOPSを決定し、
    決定したデータコピーIOPSに基づいて前記移行先ボリュームを作成する命令を生成して前記移行先ストレージ装置へ発行する処理をコンピュータに実行させ、
    前記実IOPSは、前記仮想サーバの移行前の実際のアクセス状況に基づくIOPSである、
    ことを特徴とする管理プログラム。
JP2020044809A 2020-03-13 2020-03-13 管理装置、情報処理システム及び管理プログラム Active JP7468012B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020044809A JP7468012B2 (ja) 2020-03-13 2020-03-13 管理装置、情報処理システム及び管理プログラム
US17/158,046 US11593146B2 (en) 2020-03-13 2021-01-26 Management device, information processing system, and non-transitory computer-readable storage medium for storing management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020044809A JP7468012B2 (ja) 2020-03-13 2020-03-13 管理装置、情報処理システム及び管理プログラム

Publications (2)

Publication Number Publication Date
JP2021144662A JP2021144662A (ja) 2021-09-24
JP7468012B2 true JP7468012B2 (ja) 2024-04-16

Family

ID=77664851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020044809A Active JP7468012B2 (ja) 2020-03-13 2020-03-13 管理装置、情報処理システム及び管理プログラム

Country Status (2)

Country Link
US (1) US11593146B2 (ja)
JP (1) JP7468012B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220326992A1 (en) * 2021-03-31 2022-10-13 Netapp, Inc. Automated quality of service management mechanism

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090172666A1 (en) 2007-12-31 2009-07-02 Netapp, Inc. System and method for automatic storage load balancing in virtual server environments
JP2010086049A (ja) 2008-09-29 2010-04-15 Hitachi Ltd 管理計算機及びその運用方法
US20120324071A1 (en) 2011-06-14 2012-12-20 Vmware, Inc. Managing resources in a distributed system using dynamic clusters
JP2013206103A (ja) 2012-03-28 2013-10-07 Nec Corp 仮想化システム、管理用ホスト計算機、ストレージシステムのファームウェアアップデート方法、及びストレージシステムのファームウェアアップデートプログラム
JP2014153997A (ja) 2013-02-12 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 仮想マシンのライブマイグレーションスケジューリング方法及び仮想マシンシステム
WO2015087449A1 (ja) 2013-12-13 2015-06-18 株式会社日立製作所 計算機システムおよび計算機システムの制御方法
JP2015531091A (ja) 2012-10-04 2015-10-29 株式会社日立製作所 システム管理方法、及び計算機システム
WO2018029820A1 (ja) 2016-08-10 2018-02-15 株式会社日立製作所 計算機システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008181461A (ja) 2007-01-26 2008-08-07 Hitachi Ltd Nas装置間でのデータ移行を制御する装置及び方法
US9367262B2 (en) * 2013-02-26 2016-06-14 Seagate Technology Llc Assigning a weighting to host quality of service indicators
US9083724B2 (en) * 2013-05-30 2015-07-14 Netapp, Inc. System iteratively reducing I/O requests during migration of virtual storage system
US9292226B2 (en) * 2013-06-24 2016-03-22 Steven Andrew Moyer Adaptive data management using volume types
CN105117325A (zh) * 2015-08-26 2015-12-02 湖南科技大学 一种基于随机游走的Web服务质量预测方法
US11914894B2 (en) * 2020-12-08 2024-02-27 Western Digital Technologies, Inc. Using scheduling tags in host compute commands to manage host compute task execution by a storage device in a storage system
CN112882917B (zh) * 2021-03-17 2023-05-12 云南师范大学 一种基于贝叶斯网络迁移的虚拟机服务质量动态预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090172666A1 (en) 2007-12-31 2009-07-02 Netapp, Inc. System and method for automatic storage load balancing in virtual server environments
JP2010086049A (ja) 2008-09-29 2010-04-15 Hitachi Ltd 管理計算機及びその運用方法
US20120324071A1 (en) 2011-06-14 2012-12-20 Vmware, Inc. Managing resources in a distributed system using dynamic clusters
JP2013206103A (ja) 2012-03-28 2013-10-07 Nec Corp 仮想化システム、管理用ホスト計算機、ストレージシステムのファームウェアアップデート方法、及びストレージシステムのファームウェアアップデートプログラム
JP2015531091A (ja) 2012-10-04 2015-10-29 株式会社日立製作所 システム管理方法、及び計算機システム
JP2014153997A (ja) 2013-02-12 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 仮想マシンのライブマイグレーションスケジューリング方法及び仮想マシンシステム
WO2015087449A1 (ja) 2013-12-13 2015-06-18 株式会社日立製作所 計算機システムおよび計算機システムの制御方法
WO2018029820A1 (ja) 2016-08-10 2018-02-15 株式会社日立製作所 計算機システム

Also Published As

Publication number Publication date
JP2021144662A (ja) 2021-09-24
US20210286641A1 (en) 2021-09-16
US11593146B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US11080081B2 (en) Virtual machine and volume allocation in hyperconverged infrastructure environment and storage system
US11210759B2 (en) Placement optimization for virtualized graphics processing
US20200259899A1 (en) System and method for sharing san storage
US9645764B2 (en) Techniques for migrating active I/O connections with migrating servers and clients
US20170366606A1 (en) Real Time Cloud Workload Streaming
US9454368B2 (en) Data mover permitting data transfer without transferring data between application and operating system
US9338228B1 (en) I/O scheduling and load balancing across the multiple nodes of a clustered environment utilizing data volume based scheduling priorities
US9563463B2 (en) Computer system and control method therefor
JP2020173840A (ja) リモートアクセスされるデータの効率的なライブマイグレーション
US20150331635A1 (en) Real Time Cloud Bursting
EP2437167A1 (en) Method and system for virtual storage migration and virtual machine monitor
TW201027354A (en) Dynamic physical and virtual multipath I/O
KR20140111589A (ko) 가상 기계들을 지원하는 플래시―기반 캐싱 해결책에서의 동적인 캐시 공유를 위한 시스템, 방법 및 컴퓨터―판독가능한 매체
US10783049B2 (en) Virtual storage drive management in a data storage system
JP2013246821A (ja) ファブリック分散リソースのスケジューリング
US10817348B2 (en) Methods and systems for managing service level objectives in a networked storage environment
CN111722786A (zh) 基于NVMe设备的存储系统
CN111149081A (zh) 负载平衡分配式存储系统中的元数据控制
US11099952B2 (en) Leveraging server side cache in failover scenario
US11050825B1 (en) Storage system port usage information sharing between host devices
US7805520B2 (en) Storage system, program and method
US20220206871A1 (en) Techniques for workload balancing using dynamic path state modifications
US20180293064A1 (en) Upgrade of firmware in an interface hardware of a device in association with the upgrade of driver software for the device
US20190332319A1 (en) Distributed service level management with performance resilience objectives
JP7468012B2 (ja) 管理装置、情報処理システム及び管理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150