JP6878369B2 - ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム - Google Patents

ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム Download PDF

Info

Publication number
JP6878369B2
JP6878369B2 JP2018164187A JP2018164187A JP6878369B2 JP 6878369 B2 JP6878369 B2 JP 6878369B2 JP 2018164187 A JP2018164187 A JP 2018164187A JP 2018164187 A JP2018164187 A JP 2018164187A JP 6878369 B2 JP6878369 B2 JP 6878369B2
Authority
JP
Japan
Prior art keywords
volume
processing system
past
information
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018164187A
Other languages
English (en)
Other versions
JP2020038421A (ja
Inventor
聡一 高重
聡一 高重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018164187A priority Critical patent/JP6878369B2/ja
Priority to US16/354,630 priority patent/US20200076681A1/en
Publication of JP2020038421A publication Critical patent/JP2020038421A/ja
Application granted granted Critical
Publication of JP6878369B2 publication Critical patent/JP6878369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/085Retrieval of network configuration; Tracking network configuration history
    • H04L41/0853Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/085Retrieval of network configuration; Tracking network configuration history
    • H04L41/0859Retrieval of network configuration; Tracking network configuration history by keeping history of different configuration generations or by rolling back to previous configuration versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0895Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、複数の汎用サーバノードで構成されるストレージシステムにおけるボリュームの配置を管理する技術に関する。
例えば、プライベートクラウドにおいて、SDS(Software Defined Storage)技術を用いてストレージ機能を実現する構成とすることが知られている。SDSは、汎用的なサーバのクラスタを用いて、その上にストレージ制御ソフトウェアを稼動させ、ストレージ装置として機能させる技術である。
SDSでは、汎用的なサーバ(ノード)のクラスタ(SDSクラスタ)を用いるため、クラスタ内のノード毎あるいは数台のノード毎にI/O負荷の集中度が異なってくる。このI/O負荷は、そのSDSクラスタ上に配置したボリュームのI/O負荷に依存する。言い換えると、SDSクラスタ上のどのノードに、どのボリュームを配置するかによって、各ノードのI/Oの偏り(もしくは平準度)を変更しうる。よって、システム全体として特定のノードにI/Oが偏ってしまい、そこがボトルネックにならないようにするために、ボリュームをクラスタ内のノードに負荷分散させて配置させて運用することが重要となる。既存のVM(Virtual Machine)のマイグレーション技術などと異なり、ボリュームの移動は大量のデータコピーを伴うため、短期間で再配置する方式は、システム全体に負荷を掛けうる。頻繁な配置移動を避けるため、事前にボリュームに対するI/O負荷を予測し、その予測に基づき、ボリュームの配置、容量を計画することが重要となる。
ストレージの負荷予測に関する技術として、Nutanix社は、X−FITと呼ばれる技術を公開している(非特許文献1参照)。この技術では、過去の時系列に基づき、その延長となる負荷予測を複数の方式で行い、最も誤差が少ない手法をそのボリュームの負荷予測手法として選択する。Nutanix社のNutanix Calmという製品では、マーケットプレースからミドル・アプリを構築する技術を用いている。
Nutanix、NUTANIX MACHINE LEARNING ENGINE X−FIT、インターネット(https://www.nutanix.com/go/nutanix-machine-learning-engine-x-fit.html)
既存の負荷予測技術においては、過去の一定期間に処理システムを稼動させ、ボリュームに負荷を与えたことにより時系列のリソース負荷データを収集し、その系列の未来を予測するという手法となる。このため、新規に処理システムをデプロイする場合には、対象ボリュームの過去の時系列データが存在しないため、予測することができない。
新規処理システムに対して適用することを考えると、負荷予測の元となるワークロードのプロファイルを手動で検索し、選択することが必要である。利用するプロファイルが過去のシステム構成と類似していて流用出来るか否かの判断は、人間が行う必要がある。これを行うためには、処理システム毎、処理システムで使用するミドルウェア毎のノウハウを要する。このため、複数の汎用サーバノードで構成されるストレージシステムにおいて、ボリュームをどのノードに配置すればよいかを決定することは困難である。
本発明は、上記事情に鑑みなされたものであり、その目的は、複数の汎用サーバノードで構成されるストレージシステムにおいて、ボリュームを容易且つ適切にノードに配置することのできる技術を提供することにある。
上記目的を達成するため、一観点に係るボリューム配置管理装置は、複数の汎用サーバノードで構成されるストレージシステムにおけるボリュームの配置を管理するボリューム配置管理装置であって、過去ボリュームを利用する過去処理システムにおけるシステム構成情報を取得する過去システム構成情報取得部と、過去処理システムにおける過去ボリュームの性能情報を記憶する過去ボリューム性能情報取得部と、新規ボリュームを利用する新規処理システムのシステム構成情報を取得する構成情報取得部と、過去処理システムのシステム構成情報に基づいて、新規処理システムのシステム構成と類似する過去処理システムを決定する類似システム決定部と、類似すると決定された過去処理システムが利用する過去ボリュームの性能情報に基づいて、新規ボリュームの負荷情報を予測する負荷予測部と、負荷情報の予測内容に基づいて、新規ボリュームの配置案を決定する配置案決定部と、を備える。
本発明によれば、複数の汎用サーバノードで構成されるストレージシステムにおいて、ボリュームを容易且つ適切にノードに配置することができる。
図1は、一実施形態に係る計算機システムの全体構成図である。 図2は、一実施形態に係る計算機システムのサーバ、ノード、計算機の構成図である。 図3は、一実施形態に係る処理システムの構成の一例を示す図である。 図4は、一実施形態に係る処理システムの構成の他の例を示す図である。 図5は、一実施形態に係るシステム構成情報の一例である。 図6は、一実施形態に係るPaaS構成情報履歴情報の構成図である。 図7は、一実施形態に係るサブシステム特性情報を説明する図である。 図8は、一実施形態に係るPaaS構成−性能履歴対応付け情報の構成を説明する図である。 図9は、一実施形態に係る配置最適化処理のフローチャートである。 図10は、一実施形態に係るサブシステム抽出処理のフローチャートである。 図11は、一実施形態に係る類似度決定処理のフローチャートである。
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る計算機システムの全体構成図である。
計算機システム100は、SDS管理側101に配置された、SDS−PaaS(Platform as a Service)管理サーバ1及び記憶装置2と、クラウド基盤側102に配置された、複数のComputeノード3及び複数のSDSノード4と、クライアント計算機6とを備える。記憶装置2は、例えば、HDD、SSD(Solid State Drive)等の記憶装置であり、各種情報を記憶する。
SDS−PaaS管理サーバ1と、複数のComputeノード3と、複数のSDSノード4と、クライアント計算機6とは、ネットワークの一例としてのSAN(Storege Area Network)5を介して接続されている。
Computeノード3は、処理システムのワークロード(アプリケーション(アプリ)31及びミドルウェア32)を稼働させる。また、Computeノード3は、PaaS管理部33を有する。PaaS管理部33は、いわゆるコンテナ管理ツールであり、例えば、オープンソースソフトウェアのKubernetesを後述するCPU201が実行することにより構成される。PaaS管理部33は、Computeノード3上で実行されるアプリ31、ミドルウェア32を管理する。例えば、PaaS管理部33は、ミドルウェア32のデプロイ、監視などの制御を実行する。PaaS管理部33は、ミドルウェア32のデプロイ時には、デプロイするミドルウェア32の構成情報(ミドルウェア構成情報)とボリューム(ストレージボリューム)要件とをSDS−PaaS管理サーバ1に送信する。
SDSノード4は、汎用的なサーバで構成される汎用サーバノードであり、複数のSDSノード4によりストレージクラスタ(ストレージシステムの一例)を構成し、ワークロードが利用するボリューム41を記憶する。また、SDSノード4は、性能情報監視部42を有する。性能情報管理部42は、SDSノード4の負荷、ボリューム41の負荷等を監視し、SDS−PaaS管理サーバ1に通知する。
ここで、本実施例においては、ボリューム41の配置計画は、ワークロードが利用するボリューム41を配置するSDSノード4を、クラウド基盤側102のストレージクラスタの中から選択する問題に帰着される。
クライアント計算機6は、利用者7に対して、PaaS管理部33に対してアクセスするPaaS管理UI61を提供する。利用者7は、PaaS管理UI61を介して、PaaS管理部33に対して、ミドルウェアを含む新規の処理システム(新規処理システム)のシステム構成を指定して、新規処理システムをデプロイさせる指示を送信することができる。PaaS管理UI61の例としては、例えば、PaaS管理部33をKubernetesにより構成した場合には、例えば、オープンソースソフトウェアのMonocularを用いることができる。Monocularにおいては、デプロイする処理システムの構成を記載したブループリントの情報(Charts)を指定して、ミドルウェア32とそのミドルウェア32が必要とするストレージとを一括でデプロイするように指示することができる。この指示を受けると、PaaS管理部33は、ミドルウェア33のデプロイ時に、デプロイするミドルウェア32の構成情報(ミドルウェア構成情報)とボリューム要件とをSDS−PaaS管理サーバ1に送信することとなる。
SDS−PaaS管理サーバ1は、ボリューム配置管理装置の一例であり、PaaS管理部33及び性能情報監視部42と連動して、定常的にSDSノード4の負荷情報と、デプロイされたシステムの構成情報とを収集し、管理する。SDS−PaaS管理サーバ1は、過去システム構成情報取得部の一例としての構成情報監視部11と、過去ボリューム性能情報取得部の一例としての性能情報収集部12と、構成情報取得部の一例としての構成管理部13と、負荷予測部の一例としての性能予測部14と、類似システム決定部、配置案決定部、サブシステム分割部、特徴項目抽出部、類似度判定部、及び選択部の一例としての配置管理部15とを備える。構成情報監視部11は、PaaS管理部33からミドルウェア構成情報を収集(取得)し、記憶装置2のPaaS構成情報履歴情報21に格納する。ミドルウェア構成情報の詳細は、後述する。性能情報収集部12は、性能情報監視部42からSDSノード4のボリューム毎の性能情報(例えば、Read/WriteのIOPS(Input/Output per Second)、スループットなど)を定期的に収集し、記憶装置2のPaaS構成−性能履歴対応付け情報22に格納する。
構成管理部13は、PaaS管理部33からボリューム(新規ボリューム)の配置依頼を受信し、ボリュームの配置に関する処理を実行する。なお、配置依頼には、ミドルウェア構成情報や、ミドルウェア32に対するボリューム要件(サイズ、可用性など)が含まれる。性能予測部14は、ボリュームを所定のSDSノード4に配置した場合における性能を予測する処理を実行する。配置管理部15は、SDSクラスタのSDSノード4におけるボリュームの配置を管理する。
次に、SDS−PaaS管理サーバ1、Computeノード3、SDSノード4、及びクライアント計算機6のハードウェア構成について説明する。
図2は、一実施形態に係る計算機システムのサーバ、ノード、計算機の構成図である。
SDS−PaaS管理サーバ1、Computeノード3、SDSノード4、及びクライアント計算機6は、例えば、図2に示すコンピュータ200により構成することができる。
コンピュータ200は、プロセッサの一例としてのCPU(Central Processing Unit)201と、メモリ202と、インターフェース203と、記憶装置205と、イーサネットネットワークカード207(イーサネットは登録商標)と、ネットワークポート208とを含む。
イーサネットワークカード207は、SAN5を介して他の装置との通信を仲介する。ネットワークポート208は、SAN5と接続するためのポートである。
CPU201は、メモリ202及び/又は記憶装置205に格納されているプログラムに従って各種処理を実行する。CPU201がプログラムを実行することにより、各装置における図1に示す各機能部が構成される。例えば、SDS−PaaS管理サーバ1においては、コンピュータ200の記憶装置205に格納されたプログラム(ボリューム配置管理プログラム)をCPU201が実行することにより各機能部11〜15が構成される。
メモリ202は、例えば、RAM(RANDOM ACCESS MEMORY)であり、CPU201で実行されるプログラムや、必要な情報を記憶する。
記憶装置205は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Disk)等の中の少なくとも一つを含み、CPU201で実行されるプログラムや、CPU201に利用されるデータを記憶する。なお、コンピュータ200を、SDS−PaaS管理サーバ1、Computeノード3、SDSノード4、又はクライアント計算機6のいずれに使用するかによって、記憶装置203に格納するプログラムや、データが変わっている。
インターフェース203は、CPU201と、記憶装置205と、イーサネットネットワークカード207との間のデータの仲介を行う。
なお、クライアント計算機6として用いる場合には、コンピュータ200に、例えば、マウス、キーボード等のユーザによる操作入力を受け付ける入力装置と、例えば、ディスプレイ等の各種情報を表示出力する出力装置とを備えるようにすればよい。
次に、計算機システム100において、特定のミドルウェア32を稼働することによりデプロイさせて構成される処理システムについて説明する。
図3は、一実施形態に係る処理システムの構成の一例を示す図であり、図4は、一実施形態に係る処理システムの構成の他の例を示す図である。図3は、オープンソースソフトウェアのMongoDBをデプロイさせた処理システムの例を示し、図4は、オープンソースソフトウェアのHadoopをデプロイさせた処理システムの例を示す。なお、図3及び図4においては、PaaS管理部33は、Kubernetes331を実行することにより構成した例を示している。
Kubernetes331は、上記説明したようにミドルウェア32とアプリケーション31を、コンテナ技術を用いてデプロイ、監視する仕組みを持つ。図3においては、ミドルウェア32であるMongoDB321は、コンテナ332の中で稼動している。各コンテナ332は、データを永続するためのデータ領域を必要とする。このデータ領域がSDSノード4上で確保されたボリューム41上に割り当てられており、このデータがボリューム41に格納される。
MongoDB321を用いる場合には、3つのComputeノード3でクラスタ(レプリケーションセット)を構成して、1つの処理システムを構築する。このクラスタにおいては、通常は1つのComputeノード3がActiveなノードとして振舞い、他のComputeノード3は、データを冗長的に保存するBackupノードとして振舞う。
一方、Hadoopをデプロイさせた処理システムでは、図4に示すように、Kubernetes331によって管理されているコンテナの中に、Hadoopの各機能が稼動する。Hadoopを用いる場合には、例えば、4つのComputeノード3でクラスタを構成して、1つの処理システムを構築する。Hadoopは、namenode、datanodeなど、クラスタの各Computeノード3を、異なる複数の種類のノードとして役割分担させ、各Computeノード3のそれぞれが占有のデータ領域としてのボリューム41を確保する構成となっている。
本実施形態では、図3、図4の構成におけるボリューム41をSDSクラスタ上のSDSノード4のいずれかに対して割り当てる処理を実施する。当然ではあるが、図3、図4におけるボリューム41に対するI/O特性は異なっており、更に、図3、図4中の各ボリュームも、クラスタ内での役割やActive/Backupなどの状態によりI/O特性が異なる。こういったシステム構成上の特性を考慮してボリュームを配置する必要があるため、特性のベースとなるリソース負荷(IOPSなど)を予測した上で、性能のボトルネックが生じないように配置を実施することとなる。
図5は、一実施形態に係るシステム構成情報の一例である。
図5は、PaaS管理部33が処理で扱っているシステム構成情報400の例を示している。なお、PaaS管理部33を、Kubernetes331を実行することにより構成した例を示している。システム構成情報400は、Kubernetes331から収集するミドルウェア構成情報401と、SDSノード4のクラスタ(SDSクラスタ)から収集するボリューム構成情報402とを含む。Kubernetes331では、ミドルウェア構成情報401を、YAML形式のテキスト情報として記述しているが、本質的には、グラフ構造を表現している情報であるため、図5においては、ミドルウェア構成情報401をグラフ化した情報として表現する。図5に示すミドルウェア構成情報401は、ミドルウェア32として、MongoDBを用いた場合の例を示している。
ミドルウェア構成情報401は、システムを構成するリソース(システムリソース)を表すノード(リソースノード)411と、リソース間の依存関係を表すリンク412で表される。システムリソースは、コンテナ、サーバ、ボリュームなど、図3及び図4における各構成要素をあらわす。図5の例では、システムリソースについて、コンテナを「Container」、サーバを「Pod」、ボリュームの要件を「PVC」、要件を満たしてコンテナに接続されるボリュームを「PersistentVolume」と表現している。これらのシステムリソースは、Kubernetesの標準的な構成要素であるため、詳細な説明を省略する。
各リソースノード411には、ノード種類421と、ノード属性422が関連付けられる。ノード種類421は、リソースノードの種類をあらわす識別子(リソース種別)である。図5の例では、「Pod」、「PersistentVolume」などが、リソース種別を示す。ノード属性422は、そのリソースノードの設定値である。本実施例では、設定値を、例えば、「項目名=設定値」のようなキーバリューの組合せで表現している。
ボリューム構成情報402は、SDSノード4から取得可能なボリューム41の構成情報である。ボリューム構成情報402は、Computeノード3から接続するための情報と、SDSクラスタの中でボリューム41を一意に特定可能な情報(ボリューム特定情報)を含む。図5の例では、ボリュームリソース431のボリューム特定情報を、iSCSIターゲットと、LUN(Logical Unit Number)としている。なお、ボリューム特定情報は、SDSノード4のプロトコル等に依存する物であり、上記例に限定されるものではない。
本実施例では、Kubernetesに含まれるリソースノードのPersistentVolumeと、これに対応するボリュームリソース431とは、明示的に対応付けられていることを前提とする。例えば、iSCSIターゲットとLUNとがPersistentVolumeと、ボリュームリソースの双方に含まれ、これらが関連付けられていること(本例では、同一の値としていること)で紐付けられている。この前提が無い場合、管理者が指定したボリュームリソース431を確実に特定のミドルウェアシステム構成に割り当てることを保証することができず、セキュリティの観点、あるいは利用状況の確認の観点から現実的ではないこととなり、この前提は、妥当なものと考えられる。
PersistentVolumeよりも上方のリソースノードの構成に関しては、構成情報の設計者、あるいはシステムの特徴によって接続関係が異なる可能性が存在する。例えば、図5に示すシステム構成の各リソースノードは、単一のStatefulSetというリソースノードの配下に配置される構成となっており、PersistentVolumeは、PersistentVolumeClaim(PVC)というリソースノードを経由してPodに接続されている。しかし、別のシステム構成としては、StatefulSetは、Deploymentのような異なるノード種類でも定義可能であり、PersistentVolumeを直接Podと接続する定義も可能である。
このため、システム構成の類似性を、グラフの単純な相似形、或いはツリー構成の比較の手法を持って判断することは困難である。本実施例では、後述するように、観点とすべき対象(本実施例においてはボリューム=PersistentVolume)に基づいた共通サブシステムを抽出して比較することにより、この問題に対応する。
次に、PaaS構成情報履歴情報21について説明する。
図6は、一実施形態に係るPaaS構成情報履歴情報の構成図である。
PaaS構成情報履歴情報21には、利用者7がPaaS管理UI61を用いて、図5に示すミドル構成情報401を指定して、処理システムのデプロイを指示した場合において、指定したミドルウェア構成情報401を含むシステム構成情報400が履歴として蓄積される。ここで、過去にデプロイされた処理システムが過去処理システムに相当し、PaaS構成情報履歴情報21に対応するシステム構成情報400が格納されることとなる。
PaaS構成情報履歴情報21は、過去にデプロイされたシステムを特定可能な識別子であるシステム識別子501と、それに対応するシステム構成情報400とが関連付けられて構成されている。システム識別子501は、システム構成情報400とは、N:1(Nは1以上の整数)で対応付けられている。また、システム識別子501には、システムの作成日、又は作成日及び削除日を含むサブ属性情報511が対応付けられている。このような構成により、PaaS構成情報履歴情報21によると、指定された日時に、ボリュームリソース431を利用しているシステムのシステム識別子と、そのときのシステム構成情報400とを検索して特定することができる。なお、PaaS構成情報履歴情報21においては、他のミドルウェア(例えば、Hadoop)によりデプロイされたシステムのシステム構成情報400についても同様に管理することができる。
次に、サブシステム特性情報の抽出(決定)を説明する。
図7は、一実施形態に係るサブシステム特性情報の抽出を説明する図である。
サブシステム特性情報600は、処理システムにおけるサブシステムの特徴を示す情報であり、新規にデプロイした処理システム(新規処理システム)と、PaaS構成情報履歴情報21に記録されている過去にデプロイした処理システム(過去処理システム)と、のシステム構成の類似性を判定するために使用される情報である。図7は、システム構成情報400が図5に示す状態である場合におけるサブシステム特性情報600の例を示している。システム構成情報400からサブシステム特性情報600を抽出する方法については、後ほど詳細に説明するが、サブシステム特性情報600は、処理システムに含まれる各ボリュームについての、システム構成上からそのボリュームの固有要素となり得ると考えられる特徴量に相当する。
サブシステム特性情報600を抽出する処理は、大まかに3つのステップで構成される。まず、第1のステップでは、システム構成情報400におけるボリュームを起点として、共通のリソースノード種類を経由するグラフ構造上のパスを抽出する。ここでいうパスとは、グラフ構造上でリンク412によって接続されているリソースノードを順番に並べたものを指している。図7中のパス611、612、613は、ボリュームリソース431、432、433に対して、例えば、「ボリューム−PersistentVolume−PVC−Pod−StatefulSetと、それぞれのMetadataという、同じノード種類を経由して抽出されたパスである。以降では、このようなパス611、612、613を、ボリュームリソースに対する「共通パス」と呼ぶ。
次に、第2のステップでは、共通パス中に含まれるノード属性の中から、特定のリソースノード種類に特徴付けられる属性値を「特徴属性」として抽出し、この特徴属性をそのボリュームの特性情報とする。図7における属性リスト631、632、633は、それぞれ共通パス611、612,613から抽出された「特徴属性」に相当する。
次に、第3のステップでは、第2ステップで抽出された属性リスト(例えば、属性リスト631、632、633)について、重複する内容の属性リストを1つにまとめる処理を行い、その処理によって最終的に得られたものがサブシステム特性情報600となる。図7の例では、属性リスト631、632、633から、内容が重複する属性リスト632,633が1つにまとめられ、属性リスト631に対応するサブシステム特性情報要素621と、属性リスト632,633が1つにまとめられたサブシステム特性情報要素622が得られることとなる。この内容が重複する属性リストを1つにまとめることは、それらの基となっている共通パスを1つのサブシステムとして取り扱っていることを意味している。この場合には、処理システムにおけるサブシステム数は、2となる。本実施例では、後述するように、このサブシステム数と、サブシステム特性情報600中の「特徴属性」の文字列の一致率等によって、ボリュームに対する処理システムの類似性が判断されることとなる。
次に、PaaS構成−性能履歴対応付け情報22について説明する。
図8は、一実施形態に係るPaaS構成−性能履歴対応付け情報の構成を説明する図である。
図8の例では、図3のシステム構成におけるPaaS構成と、ボリューム毎の性能履歴との対応付けを行った例を示している。PaaS構成−性能履歴対応付け情報22は、縦軸方向に、各システム識別子501を並べ、横軸方向に、各サブシステム特性情報600の各要素621を並べ、それぞれの交差する欄に、その欄に対応するシステム識別子501のサブシステム特性情報600に対応するボリュームの性能情報(ボリューム性能情報711)が時系列で格納されているテーブル構成となっている。ボリュームの性能情報は、ボリュームの負荷情報(IOPS、スループットなど)である。ボリュームの負荷情報は、SDSノード4の性能情報監視部42により収集されて、SDS−PaaS管理サーバ1の性能情報収集部12によって収集される。
一般的に性能情報は、ボリュームリソース431等を一意に特定する識別情報(例えば、iSCSIのターゲットIQNと、LUNとの組など)と対応付けて構成される。ボリュームリソース(例えば、431)に対応する属性リスト(631)及びサブシステム特性情報600は、図7に示すように、PaaS構成情報履歴情報21のシステム構成情報400を用いることで計算(抽出)できる。また、システム作成日(又はシステム作成日及び削除日)とボリュームリソースの識別情報とを用い、PaaS構成情報履歴情報21の関連付けを辿ることにより、システム識別子501を特定することができる。このことから、図8に示すように或るボリュームの性能情報を、テーブル中のどの欄に格納する必要があるか否かを計算することができる。このテーブルを用いることにより、あるサブシステムのサブシステム特性情報600が判明した場合に、そのサブシステム特性情報600の類似度が最も高い列を選択し、その行方向の性能情報の履歴群からストレージリソースの負荷を予測することができる。
次に、計算機システム100において、新規の処理システムAで使用するSDSノード4をプロビジョニングする場合におけるボリュームの配置を最適化する配置最適化処理を説明する。なお、配置最適化処理においては、新規の処理システムAに含まれるボリューム(1〜L)を、クラウド基盤側102上のSDSクラスタ内のどのSDSノード4上に作成するかを決定することを問題としており、この問題は、ボリューム(1〜L)のそれぞれと対応付けられるSDSノード4をSDSノード4(1〜M)の中からそれぞれ選択する数学的な問題に帰着できる。
図9は、一実施形態に係る配置最適化処理のフローチャートである。
SDS−PaaS管理サーバ1の配置管理部15は、新規処理システム(この処理の説明において処理システムA)、及び、システム構成情報履歴情報21中に蓄積された全処理システム(過去処理システム:処理システムB)に対して、ボリュームを開始点としたサブシステムを抽出する(ステップS801)。具体的には、SDS−PaaS管理サーバ1は、新規処理システムと、過去処理システムとの全ての処理システムに対して、図7の共通パス611、612、613に示すような共通パス(サブシステム)を抽出する。ステップS801の詳細については、図10のステップS901〜S905において説明する。
次いで、配置管理部15は、ステップS801で抽出されたサブシステムの「特性情報」を抽出する。(ステップS802)。具体的には、配置管理部15は、サブシステムの共通パス(例えば、図7の共通パス611、612、613)から、ボリューム特性情報(例えば、図7のボリューム特性情報631、632、633)を抽出する。ステップS802の詳細については、図10のステップS906,S907において説明する。
次いで、配置管理部15は、ステップS802で抽出された「特性情報」に対して、PaaS構成情報履歴情報21に保存された処理システムBと、処理システムAとについて、サブシステム数と、「特徴属性」の文字列の一致数とに基づいて処理システムの類似度を計算する(ステップS803)。ステップS803の詳細については、図11のステップS1001〜S1005において説明する。
次いで、配置管理部15は、ステップS801〜S803について、PaaS構成情報履歴情報211に含まれる全ての処理システムBと、処理システムAとの類似度を計算した上で、各処理システムBを類似度の降順にソートし、類似度が一番高い処理システムBの構成を選択する(ステップS804)。
次いで、配置管理部15は、PaaS構成−性能履歴対応付け情報22を参照し、ステップS804で選択した処理システムBのリソースの負荷を抽出する(ステップS805)。具体的には、配置管理部15は、図7に示すテーブル形式のPaaS構成−性能履歴対応付け情報22において、列方向にサブシステム特性情報を検索して、新たに配置するボリュームに対応するサブシステム特性情報に該当する列を探し、その列の全ての行方向の性能履歴を抽出し、抽出した性能履歴に基づいて、ボリュームに関するリソース負荷(IOPS等)を計算する。リソース負荷の計算方法としては、例えば、Read/Writeの時間当たりの負荷(IOPS)が最大となる値を選択してリソース負荷としたり、IOPSの平均値を計算してリソース負荷としたり、IOPSの中央値を取ってリソース負荷としたりするなどの方法がある。なお、コンテナやボリュームの容量などが過去の構成と異なる場合、それらの容量に応じてIOPSを比例計算させるなどして、IOPSを現在の状態に対応するように調整してもよい。
次いで、配置管理部15は、配置案を列挙する(ステップS806)。ここで、ボリューム配置については、ボリューム(1〜L)のそれぞれと対応付けられるSDSノード4をSDSノード4(1〜M)の中からそれぞれ選択する問題に帰着するため、配置管理部15は、ステップS804で抽出した過去処理システムの構成に従って、使用するSDSノード4と、ボリュームとを順列で組み合わせた配置案を表示出力する。
次いで、配置管理部15は、性能予測部14により各配置案におけるSDSクラスタの性能負荷を予測する(ステップS807)。具体的には、配置管理部15は、ステップS806での配置案を用いてボリュームを配置し、ステップS805で予測したリソース負荷を掛けた場合に、SDSクラスタの実際の性能(入力性能、出力性能等)がどの程度になるかを算出する。なお、SDSクラスタの挙動を予測するシミュレータとしては、既存のシミュレータを用いることができる。例えば、シミュレータとしては、待ち行列をベースとしたCloudSimを用いてもよい。
次いで、配置管理部15は、ステップS807での性能負荷の予測において、総合性能数値が最も良い配置案を最良配置案として選択し(ステップS808)、選択した最良配置案に従って、ボリュームのSDSノード4への配置を実行する(ステップS809)。
上記した配置最適化処理によると、PaaS管理部33が新規の処理システムのミドルウェア構成情報401を指定することにより、ミドルウェア構成情報401に記載されているボリューム要件(図5の例ではPersistentVolume)を満たすボリュームを配置するのに最適なSDSノード4を適切に決定して、配置させることができる。
次に、図9のステップS801及びS802に対応するサブシステム抽出処理について説明する。
図10は、一実施形態に係るサブシステム抽出処理のフローチャートである。
配置管理部15は、ミドルウェア構成情報401及びボリューム構成情報402において対象となる種類のボリュームリソースを選択する(ステップS901)。図7の例では、ボリュームリソース431,432,433を対象のボリュームリソースとして選択する。
次いで、配置管理部15は、ミドルウェア構成情報401に基づいて、ステップS901で選択したボリュームリソースから、リンクで接続されたリソースノードを任意の回数辿ってたどり着けるリソースノードまでのパスを「構成パス」として収集する(ステップS902)。図7の例では、全リソースノードがリンクで繋がっているため、全てのボリュームに対して、全てのリンクが抽出される。
次いで、配置管理部15は、複数のボリュームリソースを起点として「同一種類」のリソースノードを経由する構成パスを「共通パス」として抽出する(ステップS903)。図7の例では、ボリュームリソース431,432,433のそれぞれを起点として、「PersistentVolume−PVC−Pod−Container−Metadata」のように、同じノード種類を経由して辿れる構成パスを共通パスとして抽出する。
次いで、配置管理部15は、「共通パス」中に、他のボリュームリソースの「構成パス」に含まれるリソースノードが存在する場合、そのパス中の起点のボリュームリソースからそのリソースノードまでのグラフ上の距離が、他のボリュームリソースからそのリソースノードまでの距離以下のリソースノードのみを残す(ステップS904)。例えば、図7に示すボリュームリソース431を起点とする構成パスには、「PersistentVolume−PVC−Pod−StatefulSet−Pod−PVC」というパスが存在するが、StatefulSetより後の部分については、ボリュームリソース432もしくは433のほうが距離が近いので、配置管理部15は、共通パスからStatefulSetより後の部分を破棄する。
次いで、配置管理部15は、共通パスに含まれる、リソースノードのノード属性、及び、ノード種類を全てそのボリュームの「属性値」として収集する(ステップS905)。ノード属性には、例えば、Containerのリソースノードに含まれる「image:mongoDB」や、Metadataのリソースノードに含まれる「Role:primary」などが該当する。共通パスに含まれるとの考え方は任意でよく、例えば、全リソースノードのノード属性値を全て収集して、ボリュームの属性リストとしてもよい。ここで、上記したステップS901〜S905がステップS801に対応する。
次いで、各属性値が全処理システムの構成を対象として、何種類のリソースノード内で登場し、また何種類のシステム識別子と対応付けられた構成要素の中で登場するか数え、数えた結果(出現頻度)が一定の閾値を下回る場合に、属性値を「特性属性」として残す(ステップS906)。例えば、数えた結果に代えて、属性値が登場するノード種類×システム数による算出結果が閾値を下回るか否かを確認し、閾値を下回る場合に、属性値を特性属性として残すようにしてもよい。このようにすることにより、共通パスにおいて特徴と考えられる属性値を特性情報とすることができる。
例えば、「CreationTimeStamp:XX−YY−ZZ」というような書式の属性値は、全リソースノードに登場するため、この属性値は全ノード種類で登場する。一方で、「image:yyy」といった属性値は、Containerなど特定のノード種類のリソースノードにしか登場しない。また、「Primary」、「Secondary」といった属性値は、特定のクラスタ構成のシステムにしか登場しないため、ノード種類が限定される上に、登場するシステム数も限られる。属性値が登場するノード種類×システム数による算出結果を閾値と比較するようにすると、普遍的に登場する「CreationTimeStamp:XX−YY−ZZ」といった属性値は何度も数えられるため閾値を超えることが多く、特性属性として残されないようにすることができ、また、「image:yyy」や「Primary」、「Secondary」などの属性値は、カウントされる数が少ないので、閾値を下回ることが多く、特性属性として残すようにすることができる。
次いで、配置管理部15は、ボリュームIDをキーにして、特性属性のリストを属性リストとして収集し、同種の属性リストを1つにまとめた結果をサブシステム特性情報600とする(ステップS907)。このステップによると、図7中のボリューム特性情報601が作成され、サブシステム特性情報600が作成される。同種の属性リストを1つにまとめるようにする、すなわち、同様な共通パスについては、1つの共通パスのボリューム特性情報として取り扱うようにすることで、共通パスの種類ごとに対するボリューム特性情報要素を含むボリューム特性情報600を管理することができる。図7に示す例においては、システムにおけるサブシステムの数(種類数)は、2つとなる。このようにすることにより、過去処理システムと、新規処理システムとをそのシステム構成におけるサブシステムの種類について比較することができる。ここで、上記したステップS906,907がステップS802に対応する。
次に、図9のステップS803に対応する類似度決定処理について説明する。
図11は、一実施形態に係る類似度決定処理のフローチャートである。
まず、配置管理部15は、新規処理システムである処理システムAと、過去に蓄積されている過去処理システムである処理システムBとのそれぞれについて、図10に示すサブシステム抽出処理で得られたサブシステム特性情報600に基づいて、処理システムAと処理システムBとのサブシステム数(本実施形態では、種類数ともいえる)が同一であるか否かを判定する(ステップS1001)。この結果、サブシステム数が同一でない場合には(ステップS1001:N)、配置管理部15は処理システムAと処理システムBとの類似度を最も低いことを示す0と決定し(ステップS1005)、処理を終了する。
一方、サブシステム数が同一である場合には(ステップS1001:Y)、配置管理部15は、処理システムAの各サブシステムと、処理システムBの各サブシステムとの組合せのそれぞれを対象に、ループ1の処理(ステップS1002,S1003)を実行する。ここで、処理対象の組合せの処理システムAのサブシステムをサブシステムaとし、処理システムBのサブシステムをサブシステムbとする。
ループ1の処理においては、配置管理部15は、サブシステムaと、サブシステムbとの特徴属性を項目毎(行ごと)に文字列として比較し、一致する行数が最大となるような特徴属性の項目同士の対応付けを選択する(ステップS1002)。
次いで、配置管理部15は、選択した対応付けにおいて値が一致する特徴属性の数をカウントする(ステップS1003)。
ループ1の処理(ステップS1002,S1003)をすべての組合せを対象に実行した場合には、配置管理部15は、ループ1の処理を終了し、ステップS1003でカウントした各組合せについての一致した特徴属性の数についての総和を計算し、この総和を処理システムAと、処理システムBとの類似度とし(ステップS1004)、処理を終了する。
サブシステム比較処理によると、新規処理システムと、過去に蓄積されているそれぞれの過去処理システムとについての類似度を適切に決定することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
例えば、上記実施形態では、SDS−PaaS管理サーバ1と別体の記憶装置2に、PaaS構成情報履歴情報21及びPaaS構成−性能履歴対応付け情報22を格納するようにしていたが、本発明はこれに限られず、PaaS構成情報履歴情報21及びPaaS構成−性能履歴対応付け情報22の少なくとも一方を、SDS−PaaS管理サーバ1の記憶装置205に格納するようにしてもよい。
また、上記実施形態において、CPUが行っていた処理の一部又は全部を、専用のハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア(例えば可搬型の記憶メディア)であってもよい。
1…SDS−PaaS管理サーバ、2…記憶装置、3…Computeノード、4…SDSノード、5…SAN、6…クライアント計算機、11…構成情報監視部、12…性能情報収集部、13…構成管理部、14…性能予測部、15…配置管理部、21…PaaS構成情報履歴情報、22…PaaS構成−性能履歴対応付け情報、31…アプリ、32…ミドルウェア、33…PaaS管理部、41…ボリューム、42…性能情報監視部、400…システム構成情報、401…ミドルウェア構成情報、402…ボリューム構成情報



Claims (10)

  1. 複数の汎用サーバノードで構成されるストレージシステムにおけるボリュームの配置を管理するボリューム配置管理装置であって、
    過去ボリュームを利用する過去処理システムにおけるシステム構成情報を取得する過去システム構成情報取得部と、
    前記過去処理システムにおける前記過去ボリュームの性能情報を記憶する過去ボリューム性能情報取得部と、
    新規ボリュームを利用する新規処理システムのシステム構成情報を取得する構成情報取得部と、
    前記過去処理システムのシステム構成情報に基づいて、前記新規処理システムのシステム構成と類似する過去処理システムを決定する類似システム決定部と、
    類似すると決定された過去処理システムが利用する過去ボリュームの性能情報に基づいて、前記新規ボリュームの負荷情報を予測する負荷予測部と、
    前記負荷情報の予測内容に基づいて、前記新規ボリュームの配置案を決定する配置案決定部と、を備え、
    前記類似システム決定部は、
    前記過去処理システムと、前記新規処理システムとのそれぞれについて、システム構成を利用するボリュームに基づいて1以上のサブシステムに分割するサブシステム分割部と、
    前記新規処理システムにおけるサブシステムの特徴属性と、前記過去処理システムのサブシステムにおける特徴属性との一致度合いに基づいて、類似度を判定する類似度判定部と、
    前記類似度に基づいて、前記新規処理システムのシステム構成と類似する過去処理システムを選択する選択部と、を備える
    ボリューム配置管理装置。
  2. 前記類似システム決定部は、
    分割した前記サブシステムの属性情報を取得し、前記属性情報の出現頻度に基づいて、前記サブシステムにおける特徴属性を抽出する特徴項目抽出部を備える
    請求項1に記載のボリューム配置管理装置。
  3. 前記サブシステム分割部は、前記過去処理システムと、前記新規処理システムとの前記システム構成における、各ボリュームを起点とするリソースのパスにおける、同種のリソースをたどることができる共通部分の集合のそれぞれをサブシステムとする
    請求項1に記載のボリューム配置管理装置。
  4. 前記サブシステム分割部は、前記サブシステムにおける複数のボリュームからたどることができるリソースについては、起点とする一のボリュームよりも他のボリュームの方が近いリソースについては、前記一のボリュームを起点とするサブシステムから削除する
    請求項3に記載のボリューム配置管理装置。
  5. 前記負荷予測部は、類似すると決定された前記過去処理システムが利用する過去ボリュームの負荷情報から1つ以上の実績値を抽出し、抽出した実績値の統計情報に基づいて、前記新規ボリュームの負荷情報を予測する
    請求項1から請求項4のいずれか一項に記載のボリューム配置管理装置。
  6. 前記過去処理システム又は前記新規処理システムの前記システム構成情報は、前記過去処理システム又は前記新規処理システムを構成するミドルウェアの構成情報と、前記過去処理システム又は前記新規処理システムで使用されるストレージシステムでのボリューム構成情報とを含む
    請求項1から請求項5のいずれか一項に記載のボリューム配置管理装置。
  7. 前記類似度判定部は、前記過去処理システムと前記新規処理システムのそれぞれにおいて、その処理システムにおける複数のサブシステムの特徴属性が一致する場合に、特徴属性が一致する複数のサブシステムを一つのサブシステムとし、前記過去処理システムと前記新規処理システムとのサブシステムの個数に基づいて、前記類似度を判定する
    請求項1から請求項6のいずれか一項に記載のボリューム配置管理装置。
  8. 前記類似度判定部は、前記過去処理システムと前記新規処理システムとの前記サブシステムの個数が一致しない場合に類似度を最も低い値であると判定する
    請求項7に記載のボリューム配置管理装置。
  9. 複数の汎用サーバノードで構成されるストレージシステムにおけるボリュームの配置を管理するボリューム配置管理装置によるボリューム配置管理方法であって、
    過去ボリュームを利用する過去処理システムにおけるシステム構成情報を取得するとともに、前記過去処理システムにおける前記過去ボリュームの性能情報を取得し、
    新規ボリュームを利用する新規処理システムのシステム構成情報を取得し、
    前記過去処理システムと、前記新規処理システムとのそれぞれについて、システム構成を利用するボリュームに基づいて1以上のサブシステムに分割し、
    前記新規処理システムにおけるサブシステムの特徴属性と、前記過去処理システムのサブシステムにおける特徴属性との一致度合いに基づいて、類似度を判定し、
    前記類似度に基づいて、前記新規処理システムのシステム構成と類似する過去処理システムを決定し、
    類似すると決定された過去処理システムが利用する過去ボリュームの性能情報に基づいて、前記新規ボリュームの負荷情報を予測し、
    前記負荷情報の予測内容に基づいて、前記新規ボリュームの配置案を決定する
    ボリューム配置管理方法。
  10. 複数の汎用サーバノードで構成されるストレージシステムにおけるボリュームの配置を管理するボリューム配置管理装置を構成するコンピュータにより実行されるボリューム配置管理プログラムであって、
    前記コンピュータを、
    新規ボリュームを利用する新規処理システムのシステム構成情報を取得する構成情報取得部と
    去処理システムと、前記新規処理システムとのそれぞれについて、システム構成を利用するボリュームに基づいて1以上のサブシステムに分割し、
    前記新規処理システムにおけるサブシステムの特徴属性と、前記過去処理システムのサブシステムにおける特徴属性との一致度合いに基づいて、類似度を判定し、
    前記類似度に基づいて、前記新規処理システムのシステム構成と類似する過去処理システムを決定する類似システム決定部と、
    類似すると決定された過去処理システムが利用する過去ボリュームの性能情報に基づいて、前記新規ボリュームの負荷情報を予測する負荷予測部と、
    前記負荷情報の予測内容に基づいて、前記新規ボリュームの配置案を決定する配置案決定部として機能させる
    ボリューム配置管理プログラム。
JP2018164187A 2018-09-03 2018-09-03 ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム Active JP6878369B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018164187A JP6878369B2 (ja) 2018-09-03 2018-09-03 ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム
US16/354,630 US20200076681A1 (en) 2018-09-03 2019-03-15 Volume allocation management apparatus, volume allocation management method, and volume allocation management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018164187A JP6878369B2 (ja) 2018-09-03 2018-09-03 ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム

Publications (2)

Publication Number Publication Date
JP2020038421A JP2020038421A (ja) 2020-03-12
JP6878369B2 true JP6878369B2 (ja) 2021-05-26

Family

ID=69640415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018164187A Active JP6878369B2 (ja) 2018-09-03 2018-09-03 ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム

Country Status (2)

Country Link
US (1) US20200076681A1 (ja)
JP (1) JP6878369B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6957431B2 (ja) * 2018-09-27 2021-11-02 株式会社日立製作所 Hci環境でのvm/コンテナおよびボリューム配置決定方法及びストレージシステム
JP7107981B2 (ja) * 2020-03-17 2022-07-27 株式会社日立製作所 計算機システム

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203730B1 (en) * 2001-02-13 2007-04-10 Network Appliance, Inc. Method and apparatus for identifying storage devices
US8560671B1 (en) * 2003-10-23 2013-10-15 Netapp, Inc. Systems and methods for path-based management of virtual servers in storage network environments
US7370248B2 (en) * 2003-11-07 2008-05-06 Hewlett-Packard Development Company, L.P. In-service raid mirror reconfiguring
JP4244319B2 (ja) * 2003-12-17 2009-03-25 株式会社日立製作所 計算機システム管理プログラム,記録媒体,ならびに計算機システム管理システムおよびそのための管理装置および記憶装置
JP2005276017A (ja) * 2004-03-26 2005-10-06 Hitachi Ltd ストレージシステム
JP4560367B2 (ja) * 2004-10-05 2010-10-13 株式会社日立製作所 ストレージネットワーク性能情報の収集・保存方法及び計算機システム並びにプログラム
JP4469252B2 (ja) * 2004-10-19 2010-05-26 株式会社日立製作所 ストレージネットワークシステム及びホスト計算機並びに物理パス割当方法
JP4688556B2 (ja) * 2005-04-22 2011-05-25 株式会社日立製作所 ボリュームマイグレーションシステム、ボリューム再配置方法及びプログラム
JP5057656B2 (ja) * 2005-05-24 2012-10-24 株式会社日立製作所 ストレージシステム及びストレージシステムの運用方法
US20060271677A1 (en) * 2005-05-24 2006-11-30 Mercier Christina W Policy based data path management, asset management, and monitoring
US8661216B2 (en) * 2005-12-19 2014-02-25 Commvault Systems, Inc. Systems and methods for migrating components in a hierarchical storage network
US20110010518A1 (en) * 2005-12-19 2011-01-13 Srinivas Kavuri Systems and Methods for Migrating Components in a Hierarchical Storage Network
US8082362B1 (en) * 2006-04-27 2011-12-20 Netapp, Inc. System and method for selection of data paths in a clustered storage system
US10180809B2 (en) * 2006-05-17 2019-01-15 Richard Fetik Secure application acceleration system, methods and apparatus
JP4331742B2 (ja) * 2006-10-25 2009-09-16 株式会社日立製作所 I/oの割り振り比率に基づいて性能を管理する計算機システム、計算機及び方法
US9042263B1 (en) * 2007-04-06 2015-05-26 Netapp, Inc. Systems and methods for comparative load analysis in storage networks
US7761629B2 (en) * 2007-06-04 2010-07-20 International Business Machines Corporation Method for using host and storage controller port information to configure paths between a host and storage controller
US20080301333A1 (en) * 2007-06-04 2008-12-04 International Business Machines Corporation System and article of manufacture for using host and storage controller port information to configure paths between a host and storage controller
JP2009009335A (ja) * 2007-06-27 2009-01-15 Hitachi Ltd ストレージシステム及びパス管理方法
JP4701267B2 (ja) * 2008-06-04 2011-06-15 株式会社日立製作所 ストレージシステムおよびその管理方法
US8285681B2 (en) * 2009-06-30 2012-10-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US8966027B1 (en) * 2010-05-24 2015-02-24 Amazon Technologies, Inc. Managing replication of computing nodes for provided computer networks
WO2012081074A1 (ja) * 2010-12-13 2012-06-21 株式会社日立製作所 計算機システム、及びその管理方法、並びに、プログラム
US8849758B1 (en) * 2010-12-28 2014-09-30 Amazon Technologies, Inc. Dynamic data set replica management
WO2012120557A1 (ja) * 2011-03-07 2012-09-13 株式会社日立製作所 ネットワーク管理装置、ネットワーク管理方法及びネットワーク管理システム
WO2012178032A1 (en) * 2011-06-23 2012-12-27 CohortFS, LLC Dynamic data placement for distributed storage
US8856264B2 (en) * 2011-10-28 2014-10-07 Hitachi, Ltd. Computer system and management system therefor
US10216651B2 (en) * 2011-11-07 2019-02-26 Nexgen Storage, Inc. Primary data storage system with data tiering
CA2890596C (en) * 2011-11-07 2017-01-03 Nexgen Storage, Inc. Primary data storage system with deduplication
US9098200B2 (en) * 2012-02-10 2015-08-04 Hitachi, Ltd. Storage system with virtual volume having data arranged astride storage devices, and volume management method
US9229645B2 (en) * 2012-02-10 2016-01-05 Hitachi, Ltd. Storage management method and storage system in virtual volume having data arranged astride storage devices
US20170206107A1 (en) * 2012-02-14 2017-07-20 Aloke Guha Systems And Methods For Provisioning Of Storage For Virtualized Applications
US20140130055A1 (en) * 2012-02-14 2014-05-08 Aloke Guha Systems and methods for provisioning of storage for virtualized applications
WO2013160933A1 (en) * 2012-04-23 2013-10-31 Hitachi, Ltd. Computer system and virtual server migration control method for computer system
US9354915B2 (en) * 2012-07-27 2016-05-31 Hitachi, Ltd. Method and apparatus of redundant path validation before provisioning
US20150248508A1 (en) * 2012-10-02 2015-09-03 Nec Corporation Information system construction device, information system construction method, and storage medium
US9003238B2 (en) * 2012-12-06 2015-04-07 Compellent Technologies Systems and methods for error simulation and code testing
EP2880520A1 (en) * 2012-12-13 2015-06-10 Hitachi, Ltd. Computer realizing high-speed access and data protection of storage device, computer system, and i/o request processing method
WO2014130035A1 (en) * 2013-02-21 2014-08-28 Bluearc Uk Limited Object-level replication of cloned objects in a data storage system
JP2014174609A (ja) * 2013-03-06 2014-09-22 Nec Corp ハードウェア構成見積システム、ハードウェア構成見積方法及びハードウェア構成見積プログラム
US9680933B2 (en) * 2013-03-15 2017-06-13 Hitachi, Ltd. Computer system
WO2014178104A1 (ja) * 2013-04-30 2014-11-06 株式会社日立製作所 計算機システム及び非同期リモートレプリケーションの分析を支援する方法
US20160197994A1 (en) * 2013-09-05 2016-07-07 Hewlett Packard Enterprise Develpment Lp Storage array confirmation of use of a path
US20150071123A1 (en) * 2013-09-10 2015-03-12 Brocade Communications Systems, Inc. Integrating software defined storage and software defined networking
JP6357750B2 (ja) * 2013-10-02 2018-07-18 日本電気株式会社 サーバ管理システム及びサーバ管理方法
US10452292B2 (en) * 2014-03-07 2019-10-22 Hitachi, Ltd. Computer system
US9331951B2 (en) * 2014-03-25 2016-05-03 Telefonaktiebolaget L M Ericsson (Publ) Path discovery in data transport networks based on statistical inference
US9063661B1 (en) * 2014-03-27 2015-06-23 Emc Corporation Automated updating of parameters and metadata in a federated storage environment
US9432256B2 (en) * 2014-03-27 2016-08-30 Hitachi, Ltd. Resource management method and resource management system
JP6185668B2 (ja) * 2014-07-25 2017-08-23 株式会社日立製作所 ストレージ装置
JP6455035B2 (ja) * 2014-09-10 2019-01-23 富士通株式会社 負荷分散管理装置、制御方法およびプログラム
WO2016121005A1 (ja) * 2015-01-27 2016-08-04 株式会社日立製作所 管理計算機および計算機システムの管理方法
WO2016162916A1 (ja) * 2015-04-06 2016-10-13 株式会社日立製作所 管理計算機およびリソース管理方法
US10579272B2 (en) * 2015-04-07 2020-03-03 Telefonaktiebolaget Lm Ericsson (Publ) Workload aware storage platform
US10003649B2 (en) * 2015-05-07 2018-06-19 Dell Products Lp Systems and methods to improve read/write performance in object storage applications
US10079729B2 (en) * 2015-06-29 2018-09-18 International Business Machines Corporation Adaptive storage-aware multipath management
US10009337B1 (en) * 2015-06-30 2018-06-26 EMC IP Holding Company LLC Child tenant revocation in a multiple tenant environment
US9798474B2 (en) * 2015-09-25 2017-10-24 International Business Machines Corporation Software-defined storage system monitoring tool
US10540164B2 (en) * 2016-02-12 2020-01-21 Nutanix, Inc. Virtualized file server upgrade
US10289502B2 (en) * 2016-03-07 2019-05-14 International Business Machines Corporation User-defined failure domains for software-defined storage systems
US10353634B1 (en) * 2016-03-28 2019-07-16 Amazon Technologies, Inc. Storage tier-based volume placement
US10362109B2 (en) * 2016-03-30 2019-07-23 Task Performance Group, Inc. Cloud operating system and method
US10198307B2 (en) * 2016-03-31 2019-02-05 Netapp, Inc. Techniques for dynamic selection of solutions to storage cluster system trouble events
US10169100B2 (en) * 2016-03-31 2019-01-01 International Business Machines Corporation Software-defined storage cluster unified frontend
US11169706B2 (en) * 2016-05-26 2021-11-09 Nutanix, Inc. Rebalancing storage I/O workloads by storage controller selection and redirection
US10142185B2 (en) * 2016-06-08 2018-11-27 At&T Intellectual Property I, L.P. Content quality assessment and prediction via flows
US10567406B2 (en) * 2016-08-16 2020-02-18 International Business Machines Corporation Cloud computing environment activity monitoring
EP3985946A1 (en) * 2016-11-11 2022-04-20 ConnectWise, LLC Updating the configuration of a cloud service
US20180150234A1 (en) * 2016-11-28 2018-05-31 Hewlett Packard Enterprise Development Lp Cloud volume storage
WO2018150561A1 (ja) * 2017-02-20 2018-08-23 株式会社日立製作所 ストレージシステム及び記憶制御方法
US10579553B2 (en) * 2017-03-14 2020-03-03 International Business Machines Corporation Storage capability aware software defined storage
US10613791B2 (en) * 2017-06-12 2020-04-07 Pure Storage, Inc. Portable snapshot replication between storage systems
WO2019008654A1 (ja) * 2017-07-04 2019-01-10 株式会社日立製作所 ストレージシステム、コピー制御方法、及び計算機システム
US10289325B1 (en) * 2017-07-31 2019-05-14 EMC IP Holding Company LLC Managing multiple tenants in NAS (network attached storage) clusters
US10498821B1 (en) * 2017-07-31 2019-12-03 EMC IP Holding Company LLC Managing NAS server cloning in network attached storage (NAS) cluster
WO2019026222A1 (ja) * 2017-08-03 2019-02-07 株式会社日立製作所 ストレージシステム及びデータ転送制御方法
WO2019026221A1 (ja) * 2017-08-03 2019-02-07 株式会社日立製作所 ストレージシステム及びストレージ制御方法
US10628199B2 (en) * 2017-09-20 2020-04-21 Rackware, Inc Restoring and powering-off workloads during workflow execution based on policy triggers
US10360214B2 (en) * 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure
US20190042142A1 (en) * 2017-12-29 2019-02-07 Intel Corporation Statistics and priority-based control for storage device
JP6772202B2 (ja) * 2018-01-11 2020-10-21 株式会社日立製作所 ストレージシステム及び記憶制御方法
US10439927B2 (en) * 2018-01-31 2019-10-08 International Business Machines Corporation Distributed storage path configuration
US20190303816A1 (en) * 2018-04-02 2019-10-03 Citrix Systems, Inc. Cloud workspace assignment by user location
US10887167B2 (en) * 2018-04-30 2021-01-05 At&T Intellectual Property I, L.P. Adaptive software-defined storage for cloud storage workloads
US10476960B1 (en) * 2018-05-01 2019-11-12 EMC IP Holding Company LLC Host device configured to automatically discover new paths responsive to storage system prompt
US11223679B2 (en) * 2018-07-16 2022-01-11 EMC IP Holding Company LLC Host device with multi-path layer configured for detection and reporting of path performance issues
US10942832B2 (en) * 2018-07-31 2021-03-09 Microsoft Technology Licensing, Llc Real time telemetry monitoring tool
US11042646B2 (en) * 2018-08-13 2021-06-22 International Business Machines Corporation Selecting data storage based on data and storage classifications
US20200059401A1 (en) * 2018-08-20 2020-02-20 Vmware, Inc. Management pod deployment with the cloud provider pod (cpod)

Also Published As

Publication number Publication date
JP2020038421A (ja) 2020-03-12
US20200076681A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
US9635101B2 (en) Proposed storage system solution selection for service level objective management
US10884636B1 (en) Presenting workload performance in a storage system
US9432256B2 (en) Resource management method and resource management system
JP6842440B2 (ja) 性能分析方法および管理計算機
US20210019063A1 (en) Utilizing data views to optimize secure data access in a storage system
US11972134B2 (en) Resource utilization using normalized input/output (‘I/O’) operations
US9406029B2 (en) Modeler for predicting storage metrics
US20200026560A1 (en) Dynamic workload classification for workload-based resource allocation
US20200174671A1 (en) Bucket views
US9122739B1 (en) Evaluating proposed storage solutions
US20220261164A1 (en) Configuring Storage Systems Based On Storage Utilization Patterns
US20220300193A1 (en) Write path selection
KR20160083941A (ko) 대규모 데이터 스트림들의 획득, 저장, 및 소비를 위한 관리 서비스
US20210055885A1 (en) Enhanced data access using composite data views
US11150834B1 (en) Determining storage consumption in a storage system
US20220391124A1 (en) Software Lifecycle Management For A Storage System
US20230020268A1 (en) Evaluating Recommended Changes To A Storage System
US20230195444A1 (en) Software Application Deployment Across Clusters
JP6878369B2 (ja) ボリューム配置管理装置、ボリューム配置管理方法、及びボリューム配置管理プログラム
CN111352592B (zh) 磁盘读写控制方法、装置、设备及计算机可读存储介质
US10594620B1 (en) Bit vector analysis for resource placement in a distributed system
JP6500165B2 (ja) 計算機システムを管理する管理システム
US20230195577A1 (en) Profile-Based Disaster Recovery for a Containerized Application
US20180165380A1 (en) Data processing system and data processing method
JP2018063518A (ja) 管理サーバ、管理方法及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150