JP5801732B2 - 情報処理システムの運用管理方法 - Google Patents

情報処理システムの運用管理方法 Download PDF

Info

Publication number
JP5801732B2
JP5801732B2 JP2012012301A JP2012012301A JP5801732B2 JP 5801732 B2 JP5801732 B2 JP 5801732B2 JP 2012012301 A JP2012012301 A JP 2012012301A JP 2012012301 A JP2012012301 A JP 2012012301A JP 5801732 B2 JP5801732 B2 JP 5801732B2
Authority
JP
Japan
Prior art keywords
management method
workload
operation management
information
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012012301A
Other languages
English (en)
Other versions
JP2013152552A (ja
Inventor
正啓 間瀬
正啓 間瀬
沖津　潤
潤 沖津
野尻　徹
徹 野尻
達也 齊藤
達也 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2012012301A priority Critical patent/JP5801732B2/ja
Priority to CN201310011762.7A priority patent/CN103218678B/zh
Priority to US13/739,475 priority patent/US20130191676A1/en
Priority to EP13151277.4A priority patent/EP2620837A1/en
Publication of JP2013152552A publication Critical patent/JP2013152552A/ja
Application granted granted Critical
Publication of JP5801732B2 publication Critical patent/JP5801732B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/206—Cooling means comprising thermal management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Description

本発明は複数の情報機器群から構成される情報処理システムの運用管理方法に関し、特に情報処理システム全体の省電力化を実現するのに必要な作業負荷割り当て技術に関する。
例えばデータセンタなどの情報処理システムの消費電力は、年々増加していく傾向にある。省電力化のために、データセンタを構成するサーバ装置、ストレージ装置、ネットワーク装置などの情報技術(Information Technology：IT)機器と、空調機器の全体最適化が必要となっており、空調を考慮した省電力化手法が種々提案されている。
米国特許出願公開２０１１／０１６１９６８号公報（特許文献１）では、サーバルーム内のゾーンを指定して、各IT機器の指標値からゾーンごとの空調効率指標値を算出し、それを基にゾーンごとに作業負荷を配置する。作業負荷が配置されていないゾーンの空調機を停止させる。
米国特許出願公開２００６／０２５９６２１号公報（特許文献２）では、要求された作業負荷について、履歴の中で最も消費電力の低い履歴に基づいて作業負荷を配置する。データセンタにある複数のサーバに対して作業負荷を割り当てる方法において、リクエストされた作業負荷のプロファイルを履歴プロファイルと比較し、サーバと空調の電力が最低となる履歴に従ってリクエストされた作業負荷をサーバへ割り当て、適合する履歴が無ければランダムに割り当てる。履歴プロファイルには、サーバの位置、クラス、稼動情報、入気温、排気温、作業負荷のタイプ、サーバと空調の電力が含まれている。サーバと空調の電力は、サーバの入排気温と比熱と風量から求めるか、または電力計により測定している。
特開２００７−１７９４３４号公報（特許文献３）では、複数のコンピュータの管理システムにおいて、コンピュータの温度分布と稼動情報に基づき過熱コンピュータと過疎コンピュータを抽出し、前者から後者へソフトウェアを移動させる。また、対象コンピュータを抽出した上でソフトウェアの移動前後のコンピュータ電力と空調電力の変動を比較し、移動可否を判断している。コンピュータ電力は稼動情報から、空調電力は温度分布から、温度分布は温度センサや温度履歴や稼動情報から求めている。
特開２０１１−０３４５７８号公報（特許文献４）では、サーバの発熱量と空調の冷却能力との相関でサーバ負荷配置を決定する。その際にサーバの発熱量からサーバルームの温度分布を三次元熱流体シミュレーションで求め、それを冷却するのに必要な空調の消費電力を算出する。このサーバ消費電力と空調消費電力の総和が最小となるように作業負荷配置を決定する。
特開２０１１−００８８２２号公報（特許文献５）では、作業負荷の時系列データを統計処理し作業負荷の指標値を算出する。その作業負荷の指標値、つまり予測値に合わせてIT機器と空調設備のトータルの消費電力が最小となるように作業負荷配置を決定する。
米国特許出願公開２０１１／０１６１９６８号公報 米国特許出願公開２００６／０２５９６２１号公報 特開２００７−１７９４３４号公報 特開２０１１−０３４５７８号公報 特開２０１１−００８８２２号公報
特許文献３では、現在の温度を観測し、それに基づいて負荷配置を行うが、必ずしも温度が低い場所に割り当てるのが最適とは限らない。
特許文献１、４、５では、３次元熱流体シミュレーションを利用しているが、これはモデル作成の人的工数が大きく、導入・維持管理コストが大きくなってしまう問題がある。また、導入時以外にもラックレイアウト、IT機器構成が変更になるたびにモデル作成が必要である。
また、特許文献２のように、運用履歴データから負荷配置を決定する手法も存在するが、履歴中で最もよいパターンに従って負荷配置を行うだけで、履歴中にない負荷パターンについてはランダムな配置としている。
そのため、３次元熱流体シミュレーションを用いずに、運用履歴を用いて、未知の負荷パターンに対しても空調効率を導出できる手法が必要となって来ている。
本発明の目的は、複数のIT機器群、さらにはその冷却設備等からなる情報処理システムにおける統合的な省電力運用管理を実現する、情報処理システムの運用管理方法を提供することにある。
上記の目的を達成するため、本発明においては、実行処理部を用いた、複数の情報技術（IT）機器を備えた情報処理システムの運用管理方法であって、実行処理部は、複数のIT機器の運用履歴から、時刻情報と環境情報と負荷情報を含むデータを取得し、運用履歴から取得したこれらのデータから特徴量を計算し、計算した特徴量に基づき、IT機器全体の空調効率を分類し、空調効率の分類ごとに、IT機器各々の作業負荷量の統計情報を計算し、計算した統計情報に基づき、IT機器の作業負荷配置指標値を求める情報処理システムの運用管理方法を提供する。
本発明により運用履歴から空調効率を考慮した作業負荷配置優先度が導出可能となり、情報処理システムの消費電力を低減することができる。
第１の実施例の情報処理システムの全体構成の一例を示す図である。 第１の実施例に係る、IT作業負荷配置最適化機能の一例を示すブロック図である。 第１の実施例に係る、空調効率学習手段の一例を示すフローチャート図である。 第１の実施例に係る、サーバラック配置の一例を示す図である。 第１の実施例に係る、運用履歴データの一例を示す図である。 第１の実施例に係る、空調効率状態分類の一例を示す図である。 第１の実施例に係る、空調効率状態ごとの作業負荷統計量の一例を示す図である。 第１の実施例に係る、負荷配置優先度計算結果の一例を示す図である。 第２の実施例に係る、空調効率状態ごとの作業負荷統計量の一例を示す図である。 第２の実施例に係る、負荷配置優先度計算結果の一例を示す図である。 第３の実施例に係る、IT作業負荷配置最適化機能の一例を示すブロック図である。 第３の実施例に係る、負荷配置優先度計算結果の一例を示す図である。 第５の実施例に係る、負荷配置優先度計算の一例を示す図である。 第６の実施例に係る、サーバラック配置の一例を示す図である。
本発明が実施されるデータセンタなどの情報処理システムの温度分布と消費電力の関係には相関があり、熱だまりが発生しないように温度分布を平準化すると省電力になる。本発明においては、限られた要因によって熱だまりが発生することが多いため、その特徴を学習する。すなわち、本発明においては、空調効率へ悪影響をおよぼすIT機器を避けて負荷配置をすることで、省エネを実現する。IT機器群全体の空調効率の状態と各IT機器の負荷の相関関係に着目して、IT機器への作業負荷配置に利用する。
本発明における好適な態様においては、運用履歴のひとつのレコードは少なくともタイムスタンプ、IT機器を設置する設置室であるサーバルーム環境情報、IT機器負荷情報を備える。あるいは、取得時には別々の情報であっても、対応付けを行うことで前記情報をひとつのレコードとして扱う機能を備える。データ取得方法については、運用履歴中の時間、環境情報、負荷情報をもとにデータを取得する方法が含まれる。
次に、本発明の好適な態様においては、サーバルーム全体の空調効率について分類を行う。サーバルーム全体の空調効率は、一部のIT機器の排気の温かい空気がITサーバによる機器の入気側へ回り込むことで影響を受けやすい。そのため、空調効率が良い場合と悪い場合の各サーバ等のIT機器の作業負荷量の統計情報を利用することで、空調効率に悪影響を与えているIT機器を抽出することが可能である。
以下、本発明の実施の形態を図面に従い説明する。なお、以下の実施の形態においては、冷却設備として主に空調を例示して説明するが、空調以外の冷却設備の場合にも適用できることはいうまでもない。
図１に、第１の実施例の情報処理システムの運用管理方法が適用される全体構成の例を示す。本実施例の情報処理システムは、運用管理の対象であるIT機器群が設置される設置室であるサーバルーム１００と、運用管理を実行するための、温度計測システム１２０、電力計測システム１３０、運用履歴１０、IT作業負荷配置最適化機能２０、作業負荷管理サーバ１６０、及び設置室であるサーバルーム１００を冷却する冷却設備１８０等から構成されている。温度計測システム１２０、電力計測システム１３０、IT作業負荷配置最適化機能２０それぞれも、通常のコンピュータであるサーバで構成することができる。また、サーバルーム１００と冷却設備１８０を除く、図１に示す全ての運用管理を実行する実行処理部を、運用履歴１０と作業負荷割り当て表１６３を記憶する記憶部と、各種の機能プログラムを実行する中央処理部(Central Processing Unit: CPU)からなる処理部と、各種データの入出力を行う入出力部とを備えた、一つのサーバで構成することもできる。そこで、本明細書においては、運用管理を実行するための、温度計測システム１２０、電力計測システム１３０、運用履歴１０、IT作業負荷配置最適化機能２０、作業負荷管理サーバ１６０を総称して運用管理を行う実行処理部と呼ぶ場合がある。
運用管理の対象である、複数のIT機器を設置する設置室としてのサーバルーム１００は、サーバラック１０１〜１０３を備え、各サーバラックにはサーバラック１０１はサーバ１０１ａ〜１０１ｂを備え、サーバラック１０２はサーバ１０２ａ〜１０２ｂを備え、サーバラック１０３はサーバ１０３ａ〜１０３ｂを備える。なお、サーバラックは３個に限定されず、また各サーバラック毎のサーバ数は２個に限定されない。
各サーバには、作業負荷管理サーバ１６０により、作業負荷を割り当てることが可能である。作業負荷管理サーバ１６０は、図示を省略した管理ネットワーク等を通じてサーバルーム１００内の各IT機器と接続されており、作業負荷割り当て表１６３により作業負荷管理を行っている。例えば、同図に示すように、サーバ１０１aには作業負荷１４１〜１４３が割り当てられており、サーバ１０１ｂには作業負荷１４４、１４５が割り当てられている。ここで、作業負荷には例えば仮想化された環境における仮想マシーン(Virtual Machine：VM)、あるいは実サーバ上で動作するアプリケーション等が含まれる。
なお、本実施例では説明のため、IT機器をサーバ装置のみとしているが、ストレージ装置やネットワーク装置を含んでいてもよい。また、作業負荷管理サーバを１つとしているが、複数の作業負荷管理サーバを含んでいても、あるいはサーバルーム１００内の計算処理用のサーバ１０１a〜１０３ｂが作業負荷管理サーバを兼ねてもよい。
サーバ１０１a〜１０３ｂは電源制御機能を備えており、サーバに作業負荷が割り当てられていない場合はブレード単位、あるいはシャーシ単位で電源遮断を適用することにより、IT機器の消費電力を低減することができる。一方で、サーバに作業負荷が割り当てられている場合は、その処理のために発生する発熱を冷却設備１８０により冷却する。その際に、各IT機器の消費電力に応じて冷却設備１８０の設定を調整することで冷却設備１８０の消費電力を低減することができる。
本実施例では、サーバルーム１００内の環境情報を取得する手段として、各ラック１０１〜１０３の入気部分に温度計測部１２１〜１２９を備えており、例えば温度計測部１２１でサーバラック１０１のラック上段、温度計測部１２２でラック中段、温度計測部１２３ではラック下段の温度を計測している。サーバルーム内に配置する温度センサの数は、必ずしもIT機器の数と同じでなくてもよい。また、本実施例では温度センサはラックの入気部に配置されているが、IT機器自身が入気温度センサを有している場合は、IT機器の入気温度センサの情報で代替してもよい。各温度センサによって計測された温度情報は温度計測システム１２０において収集される。
なお、温度センサ等のサーバルームの温度計測部１２１〜１２９において、温度センサの計測結果に誤差が生じる可能性があり、その場合は計測結果を元にキャリブレーションを行ってもよい。キャリブレーションの方法としては、例えば統計モデルから測定結果のばらつきとオフセットを計算することが含まれる。また、IT機器内蔵の温度センサと、外部の温度センサでは基準となる温度がずれている可能性があるため、温度計測システム１２０において温度のキャリブレーションを行う機能を備えてもよい。
本実施例においては、IT機器の作業負荷を代表する情報である負荷情報として、各サーバラック１０１〜１０３に設置された消費電力計測部１３１〜１３３において各サーバの消費電力を測定する。消費電力計測部１３１ではサーバラック１０１中のサーバ１０１ａ〜１０１ｃの消費電力を測定し、消費電力計測部１３２ではサーバラック１０２中のサーバ１０２ａ〜１０２ｃの消費電力を測定し、消費電力測定部１３３ではサーバラック１０３中のサーバ１０３ａ〜１０３ｃの消費電力を測定する。消費電力測定部１３１〜１３３で測定されたデータは電力計測システム１３０に負荷情報として収集される。
なお、本実施例ではラックごとの消費電力を計測しているが、各IT機器の消費電力を負荷情報として取得してもよい。また、負荷情報としての消費電力を電流計等で直接計測するのではなく、IT機器がサーバの場合は、サーバ内の中央処理部(Central Processing Unit: CPU)のCPU使用率、ストレージ装置、ネットワーク装置の場合はデータ転送量から算出してもよい。すなわち、実行処理部は、負荷情報を取得する際に、CPU使用率、データ転送量等のIT機器の状態を示す情報を基に計算した結果を用いることができる。
本実施例では、ラックごとに３つの入気温度センサの情報を環境情報として利用しているが、上述したように、本実施例の手法は温度センサの場所および個数は任意の数と場所、例えばラックの上部のみに各１個の場合、IT機器が内蔵するセンサのみを利用する場合、ラック一つおきにセンサを配置する場合、部屋の中の代表地点の温度センサ等でも適用することができる。これにより少ないセンサの数のデータセンタの環境においても、得られた情報の数に応じた精度で学習が可能である。
また、本実施例ではラックごとの消費電力を負荷情報として測定しているが、本実施例の手法はIT機器ごとの消費電力を計測あるいは算出する場合や、任意の数のIT機器をまとめたIT機器群ごとの消費電力を計測あるいは算出する場合でも適用することができる。これにより、任意の粒度で負荷配置の最適化を適用することが可能である。
本実施例における温度計測システム１２０および電力計測システム１３０は時刻同期がなされており、温度計測システム１２０で計測された環境情報となるデータと、電力計測システム１３０で計測された負荷情報となるデータと、時刻情報であるタイムスタンプを含むレコードとして、運用データ１７１が運用履歴１０のデータベース（Data Base: DB）に格納される。また、図１の冷却設備１８０の運転情報、例えば設定温度、設定風量、空調運転モード、実測吐出温度、実測吐出風量の情報を取得しても良く、その場合も運用履歴１０に格納して、蓄積される。
本実施例におけるIT作業負荷最適化機能２０は、この運用履歴１０に格納された各種のデータを利用して、情報処理システムの作業負荷の最適化を行い、作業負荷配置指示１６１を作業負荷管理サーバ１６０に出力する。作業負荷管理サーバ１６０は、上述した管理ネットワーク等を通じて、サーバルーム１００中の各サーバ１０１ａ〜１０３ｃに対して作業負荷配置変更１６２を行う。この際に、後の実施例で説明するように、作業負荷最適化機能２０は、運用履歴１０に格納されたデータと併せて、温度計測システム１２０や電力計測システム１３０から出力される、現在の運用データ１７１をそのまま利用してもよい。
本実施例において、作業負荷配置最適化機能２０は、作業負荷管理サーバ１６０に作業負荷配置優先度指示１６１を行い、その指示を受けて作業負荷管理サーバ１６０が、サーバルーム１００に含まれる各サーバへの作業負荷の割り当てを行い、管理ネットワーク等を経由して各サーバに、作業負荷配置変更１６２を行う。
なお、本実施例においては、IT作業負荷最適化機能２０、作業負荷管理サーバ１６０、温度計測システム１２０および電力計測システム１３０、および運用履歴１０のデータベース、更に冷却設備１８０が、サーバルーム１００の外にあるサーバ等のシステムとして構築されているが、その変形実施例として、これらの運用管理の実行処理部のシステム、あるいは冷却設備１８０が、サーバルーム１００の中に設置されていてもよい。その際には、これらのサーバルーム１００内部に組み込まれた運用管理実行処理部のシステムや冷却設備による消費電力や、負荷配置についても、作業負荷最適化機能２０の対象とすることができる。
図２は、第１の実施例の作業負荷配置最適化機能２０の詳細例を示す機能ブロック図である。IT作業負荷配置最適化機能２０は運用履歴１０を入力として備え、空調効率状態分類ごとの作業負荷の統計情報である作業負荷統計量２０１と、各IT機器の作業負荷配置優先度２０２を生成データとして備え、データの取得手段２１０、空調効率学習手段２２０、負荷配置優先度計算手段２３０、および作業負荷割り当て手段２４０を備える。
先に説明したように、このIT作業負荷配置最適化機能２０は、処理部としてのＣＰＵと、記憶部、入出力部等を備えたサーバで構成することができる。そして、データの取得手段２１０を用いて取得したデータを、ＣＰＵのプログラム処理で実現可能な空調効率学習手段２２０、負荷配置優先度計算手段２３０、および作業負荷割り当て手段２４０を用いて、生成した空調効率状態分類ごとの作業負荷の統計情報である作業負荷統計量２０１と、各IT機器の作業負荷配置優先度２０２を生成データとして記憶部に記憶する。
空調効率学習手段２２０は、運用履歴１０からデータ取得手段２１０により取得したデータを入力として備え、IT機器群全体の空調効率状態の分類２２１を行い、IT機器群全体の空調効率状態の分類２２１の結果の空調効率状態分類と、空調効率状態とIT機器の作業負荷の相関関係の計算２２２を実行すると共に、空調効率状態分類ごとの作業負荷統計量２０１を出力として備える。
作業負荷配置優先度計算手段２３０は、空調効率分類ごとの作業負荷統計量２０１を入力として備え、各IT機器への作業負荷配置優先度指標値の計算２３１を実行し、各IT機器の作業負荷配置優先度２０２を出力として備える。後で説明するように、本実施例の作業負荷統計量２０１では、空調効率分類ごとに各IT機器について少なくとも２つのデータを保持しているが、負荷配置優先度指標値の計算２３１により、各IT機器の負荷配置優先度２０２では各IT機器に一つのデータとなる。
作業負荷割り当て手段２４０は、各IT機器の負荷配置優先度２０２を入力とし、負荷配置優先度指標に従った作業負荷のIT機器に割り当てを行う手段２４１を備え、作業負荷割り当て手段２４０からの作業負荷配置指示１６１を作業負荷管理サーバ１６０に出力することにより作業負荷の配置最適化を行うことができる。
図３に本実施例の空調効率学習手段２２０の処理フローの一例を示す。上述の通り、この空調効率学習手段２２０の処理は、IT作業負荷配置最適化機能２０を備えるサーバのＣＰＵで実行されるプログラム等で実現される。運用履歴１０からデータ取得手段２１０で取得したデータについて、サーバルーム環境の特徴量の計算２２１aを行い、次に空調効率分類基準の更新２２１ｂを行う。次に、空調効率状態の分類２２１ｃを行い、最後に分類ごとの作業負荷統計量の更新２２２aを行う。このときの分類ごとの作業負荷統計量が、各IT機器についての作業負荷量と空調効率の相関関係を表している。
続いて、第１の実施例の情報処理システムの運用管理方法の具体的な処理手順について示す。
まず、図４に対象とするIT機器の設置室であるサーバルーム４００のサーバラック等のITラックIT01〜IT06の配置の一例を示す。すなわち、サーバルーム４００はITラック４０１〜４０６を備える。これらのITラック４０１〜４０６はそれぞれ、図１に示したような態様で、温度計測部としての入気温度センサや、消費電力計測部を備え、それらの計測結果に基づく、作業負荷配置変更１６２に基づき、各ITラックIT01〜IT06に搭載されたサーバに作業負荷を配置する。
各サーバはブレード単位、およびシャーシ単位での電源制御機能を備えており、作業負荷に応じた電力消費とする機能を備えている。電源制御が不可能なサーバがある場合は電源制御が可能なサーバのみに電源制御を適用する。
上述したように、温度計測部としての入気温度センサが各サーバラックに複数配置されており、サーバラックごとの温度情報を利用したい場合には、平均・最大・最小等を計算することにより一つのセンサ情報にまとめてもよい。
図５は、本実施例における、温度計測システム１２０や電力計測システム１３０の計測データが蓄積された運用履歴１０に含まれるレコード群５００の一例を示す図である。運用履歴のレコード群５００はレコード５００a〜５００ｊを含み、各レコードは時刻情報５１０、サーバルームの環境情報としてITラックIT01〜IT06毎の入気温度５２０、IT機器の負荷情報としてITラックIT01〜IT06毎の消費電力５３０を含む。これらのレコード群５００は、IT作業負荷配置最適化機能２０が利用する。
本実施例では運用履歴のデータ取得手段２１０において、１０：３０〜１５：００のデータを３０分間隔で取得しているが、取得するデータは任意の時間帯の任意の時間間隔のデータでよい。これにより、取得するデータ数が多くなりすぎないように調整することが可能であり、また時期によって空調効率状態とIT機器の負荷の相関関係が異なるデータが得られる可能性がある。
また、タイムスタンプなどの時刻を元にデータを取得する手段に限らず、温度、作業負荷、空調の風量、空調の運転モード等を元にデータを取得する手段を備えていてもよい。
例えば、サーバルーム内の温度範囲をもとにデータ取得を行う手段を備えていてもよい。ここで、温度範囲を元にデータ取得を行う場合とは、例えば全ての温度情報の値が18℃以上28℃以下である場合、のように取得する温度条件の上下限値を指定する場合が含まれる。この場合、サーバルームの温度条件により空調の運転状態やサーバのファン回転数が変化するため、異なる傾向のデータを取得することができる。例えば、28℃がサーバルームの許容温度の上限値に設定されている場合は、28℃より温度が高くなると、空調機器の障害発生モードの動作となり、最大出力での運転を行うため空調効率の傾向が異なり、学習データから除外した方が精度の高い学習結果が得られる。
また、IT消費電力の総量をもとにデータ取得を行う手段を備えていてもよい。IT消費電力でデータ取得を行う場合は、例えばIT消費電力の総量が10KW以上100KW以下のように、IT消費電力の総量の上下限値を指定する場合が含まれる。この場合、IT消費電力の総量により空調の冷却能力が変わるため、異なる傾向のデータを取得することができる。
さらに、空調の風量をもとにデータ取得を行う手段を備えていてもよく、風量についても上下限値を指定して取得する場合が含まれる。この場合は、空調機の風量が小さいほど温度環境のばらつきが大きくなるため、風量によって異なる傾向のデータを取得することができる。
さらに、空調運転モードをもとにデータ取得を行う手段を備えていてもよく、空調機の運転台数による場合分けや、空調機が外気空調機である場合の、外気モード、還気冷却モード、除湿モード等の空調運転モードの違いによる場合分けが含まれる。これは空調の台数や稼働モードにより、サーバルーム内のエアフローが変わり、異なる傾向のデータを取得することができる。なお、この場合分けの例は、後に第３の実施例として詳述する。
図６は、本実施例の前記作業負荷配置最適化機能２０において、IT機器群全体の空調効率状態の分類２２１の処理による計算結果６００の一例を示す。IT機器群全体の空調効率状態の分類２２１には、まず、空調効率状態の特徴量となるパラメタを計算し、併せて分類のための閾値を計算して分類を行う手法や、特徴量をガウス分布等の確率モデルで計算し、サポートベクタマシン等の分類器を用いて分類する手法が含まれる。
本実施例においては、図３の処理フローにしたがって計算が行われ、空調効率の分類のための、サーバルーム環境の特徴量の計算２２１aにおいては、各サーバの入気温度の最大値(max inlet)と平均値(avg inlet)の差分(diff)を特徴量として用い、空調効率分類基準の更新２２１ｂは、差分(diff)の全レコードの平均(avg)を閾値とすることによって実行される。
すなわち、図６の各レコード６１０a〜６１０jにおいて、当該レコード中のIT入気温度のうち最大値(max inlet)６２０と平均値(avg inlet)６３０を計算し、各レコードにおいて最大値と平均値の差分(diff)６４０を計算する。次に、この特徴量６４０を用いて空調効率状態の分類を行う。各レコード６１０a〜６２０jの最大値と平均値の差分(diff)６４０の、レコード群６１０a〜６１０jにおける平均値(avg)６６０を計算し、これを空調効率状態の分類における閾値とする。
この閾値と各レコード６１０a〜６１０jにおける該各レコードにおける最大値と平均値の差分(diff)６４０を比較し、該各レコードにおける差分(diff)６４０の方が該差分の平均値(avg)６６０よりも大きければ、空調効率の分類６５０は悪い(bad)、小さければ良い(good)とする。この結果、レコード６１０a〜６１０jについては、６１０a、６１０i、６１０jは空調効率が悪い、その他は良いと分類されている。すなわち、図６の例においては、空調効率が良い、又は悪いの二つの空調効率状態に分類される。
別の特徴量の例としては、サーバ入気温度の最大値、空調機の消費電力をIT機器の消費電力で除算したもの、が挙げられる。また、本実施例では空調効率状態の分類の閾値は、対象レコードの平均値として算出したが、システム管理者またはシステム設計者にあらかじめ与えられた値を用いてもよい。例えば、サーバ入気温度の最大値を特徴量として利用した際に、25℃を閾値として分類を行い、25℃よりも高い場合は空調効率が悪い、低い場合は空調効率が良い、と分類することもできる。
図７は、本実施例の図２に示したIT作業負荷配置最適化機能２０における、空調効率状態とIT機器の負荷の相関関係の統計量の計算２２２の計算結果である、空調効率状態分類ごとの、ITラックIT01〜IT06毎の作業負荷統計量２０１のデータ７００を示す。作業負荷統計量のデータ７００は空調効率状態の分類７１０を含み、本実施例では空調効率状態の分類７１０はgoodの分類７１０aとbadの分類７１０bの二つの分類を含む。作業負荷統計量のデータ７００は、各分類７１０a、７１０ｂについて、各IT機器の作業負荷量の統計情報７２０a〜７２０fを含む。
作業負荷量の統計情報の表現方法としては、スカラ、ベクトルや行列の値で表現する方法やそれらの確率モデルで表現する方法が含まれる。本実施例においては、各分類７１０における、各IT機器の統計情報７２０a〜７２０fは、図５の運用履歴に含まれるレコード５００における各分類に該当する場合のIT消費電力５３０の各IT機器における算術平均としている。この統計情報については、例えばガウス分布のような確率分布を想定した確率密度関数を用いてもよい。
図８は、本実施例のIT作業負荷配置最適化機能２０における、各IT機器への負荷配置の優先度指標値の計算２３１の計算結果８００を示す。負荷配置の優先度指標値の計算結果８００は、負荷配置指標値８３０と負荷配置優先度８４０として各ＩＴ機器の情報８２０a〜８２０fを備える。空調効率分類ごとの作業負荷の統計量７００は、作業負荷と空調効率との相関を表すので、負荷配置優先度指標値の計算２３１では、空調効率が良い場合に負荷が大きかったIT機器を優先的に利用し、逆に空調効率が悪い場合に負荷が大きかったIT機器はなるべく利用しないような特性を持つ優先度指標を設定することが望ましい。そのため、作業負荷量の統計情報である作業負荷統計量から該特性を持つ優先度指標を得るための計算を行う。該特性を得られるような計算として、例えば算術加重平均および幾何加重平均が含まれる。このとき、負荷配置先のIT機器の優先順位付けが目的であるため、例えば幾何加重平均を採用した場合は、計算を簡略化するために計算過程における累乗根を取らずに、各統計量の幾何加重平均について統計量の数だけ累乗したものを利用してもよい。
本実施例では、空調効率分類ごとの作業負荷統計量のデータ７００における、各IT機器の統計情報７２０a〜７２０fについて、良い場合の統計量７１０aを、悪い場合の統計量７１０bで除することで、ITラックIT01〜IT06毎のIT機器の負荷配置指標値８３０を計算している。IT機器iの負荷配置指標値をmetrici、空調効率が良い場合の作業負荷統計量をIT_goodi、空調効率が悪い場合の作業負荷統計量をIT_badiとしたとき、負荷配置指標値 metriciの計算式（式１）は以下のようになる。
metrici ＝ IT_goodi / IT_badi - - - - - (式１)

ここでは、良い場合の統計量７１０aを悪い場合の統計量７１０ｂで除することで負荷配置指標値８３０を算出しているが、この計算は各統計量について加重算術平均または加重幾何平均を取ることで算出してもよい。
最後に、各IT機器の負荷配置指標値８３０について降順に負荷配置優先度８４０を設定する。このときに、必ずしもすべてのＩＴ機器に一意の優先度を設定する必要はなく、複数IT機器が同一優先度となるようにしてもよい。例えば、負荷配置指標値の平均を閾値に空調効率が良いものを高い優先度、悪いものを低い優先度に設定してもよい。
本実施例によれば、計算した負荷配置優先度８４０に基づいて作業負荷の配置を行うことで、空調効率を考慮した作業負荷配置を行うことによる省電力化が実現される。
本実施例では実施例１における空調効率の学習手段２２０において、空調効率の分類を良いか悪いかの２値ではなく、各分類の数値化を行うことで多値に分類する機能を有する。以下、実施例１と異なる点について主に説明し、実施例１と共通する説明は省略する。
本実施例におけるシステム構成および処理フローは実施例１と同様に図１のシステム構成図、図２のブロック図の通りである。実施例２が実施例１と異なるのは、まず、空調効率学習手段２２０において、多値に分類するために、各分類について特徴量を用いて識別するところである。図６に示した空調効率状態の分類のためのサーバルーム環境の特徴量６４０を用いて、各分類について特徴量によって数値化する機能を備えている。
図９に本実施例における空調効率状態分類ごとの、各ITラックIT01〜IT06の作業負荷統計量のデータ９００を示す。本実施例ではサーバルーム環境の特徴量として温度の最大と最小の差分を用いており、ここでは空調効率の状態の分類を２℃、３℃を閾値として３段階に分類しており、各分類の特徴量９１０を備えている。また、特徴量の全体平均９３０を備えている。図中の数番９１０aで示す分類１が温度差２℃未満、９１０ｂで示す分類２が温度差２℃以上で３℃未満、９１０ｃで示す分類３が温度差３℃以上を示しており、各ＩＴ機器について情報９２０a〜９２０fを備えている。本実施例では分類は３通りとなっているが、これは例えば平均値±標準偏差でさらに分類を分けることで４通りに分類する、時間帯が異なるデータを別の分類にする、あるいは全てのレコードを別の分類とする、というように任意の数および分類方法による空調効率分類を行っても良い。
次に実施例２が実施例１と異なるのは、前記各IT機器への負荷配置の優先度指標値の計算 ２３１において、２つ以上の分類から１つの負荷配置優先度指標値の計算を行うことである。
図１０に各IT機器への負荷配置の優先度指標値の計算２３１の計算結果１０００を示す。負荷配置の優先度指標値の計算結果１０００は、負荷配置指標値１０３０と負荷配置優先度１０４０を備える。負荷配置優先度指標値の計算２３１では、ITラックIT01〜IT06の内の、空調効率が良い場合に負荷が大きかったIT機器を優先的に利用し、空調効率が悪い場合に負荷が大きかったIT機器はなるべく利用しないようにすることが望ましい。そのため、作業負荷統計量のデータ９００における、各IT機器の統計情報９２０a〜９２０fについて、各分類の特徴量９１０と全体の特徴量９３０から(式２)を用いて、各IT機器の負荷配置指標値１０３０を計算している。負荷配置指標値の計算式(式２)は、IT機器iの負荷配置指標値をmetrici、負荷統計量をWi、空調効率分類jにおける特徴量をT_j,そして、全体の空調効率特徴量をT_avgとすると、以下のようになる。
metrici ＝ Πj Wi (T_avg-T_j) - - - - - (式２)

式２は当該IT機器の負荷統計量Wiの加重幾何平均の計算過程において累乗根を除去したものとなっており、重みとして(特徴量の全体平均T_avg - 各分類の特徴量T_j)を用いたものとなっている。空調効率がよい場合はT_jがT_avgよりも小さくなるため、指数部の重みが正の値となり、metriciを大きくする要素となる。空調効率が悪い場合はT_jがT_avgよりも大きくなるため、指数部の重みが負の値となり、metricjを小さくする要素となる。これらをすべてかけ合わせることで、負荷配置指標値１０３０を算出することができる。
この計算結果を用いて、各IT機器の負荷配置指標値１０３０について降順に負荷配置優先度１０４０を設定する。分類を細分化したことにより、実施例１よりも高い精度で空調効率指標を算出することができる。例えば、実施例1においても図８よりIT03の空調効率が悪いという特性を抽出し、IT03の優先度８２０は６と最低の優先度となっている。しかしながら、実施例１ではIT05の空調効率がよいという特性は抽出できておらず、IT05の優先度８２０は３となっていた。それに対して、実施例２では図１０に示すようにIT05の優先度１０４０が１と最高の優先度となっており、この点において、実施例２は実施例１では抽出できなかった特性も抽出可能なことが分かる。
実施例１および実施例２においては、取得したデータについてサーバルーム全体の空調効率の分類を行っていたが、取得するデータの条件によって場合分けを行って、場合分けごとにそれぞれ空調効率の分類を行い、場合分けごとに負荷配置の最適化優先度を設定することが可能である。例えば、温度条件によって分類のデータベースを場合分けする場合や、IT機器の負荷の総量によって分類のデータベースを場合分けする場合が考えられる。場合分けを行うことにより、空調効率分類と作業負荷情報の相関関係が異なる傾向を示す際に、効果的に学習を行い精度の高い分類を行うことが可能となる。
図１１に第３の実施例を示す。以下、実施例１および実施例２と異なる点について主に説明し、共通する説明は省略する。
作業負荷配置最適化機能２０bは実施例１と同様に、運用履歴１０を入力として備え、各IT機器の負荷配置優先度２０２を生成データとして備え、データの取得手段２１０、空調効率学習手段２２０、負荷配置優先度計算手段２３０、および作業負荷割り当て手段２４０を備える。
ここで、作業負荷配置最適化機能２０bが実施例１と異なるのは、データの取得手段２１０において、温度条件等を考慮して運用履歴の場合分けを行い、場合分けごとの履歴１１０１a〜cを備えることである。ここで温度条件を考慮した場合分けとは、例えばIT機器入気温度の最大値について24℃未満、24〜28℃、28℃以上の3通りに分類することが考えられる。その後の手順は実施例１と同様であり、各履歴１１０１a〜cについて、空調効率学習手段２２０および負荷配置優先度計算手段を適用し、前記温度条件ごとに各IT機器の負荷配置優先度１１０２a〜cを生成する機能を備えている。そして、場合分け選択基準１１２０を入力として利用する場合分けの負荷配置優先度を選択する機能１１１０を備え、選択した負荷配置優先度に従って実施例１と同様に作業負荷をIT機器に割り当てる機能２４１を備える。場合分け選択基準１１２０は例えば管理者が指定することや、運用データ１７１を用いて現在のサーバルーム条件、図１１の例では温度条件に合致するものを選択することが含まれる。
図１２に、本実施例における作業負荷配置優先度のテーブル構成１２００を示す。作業負荷配置優先度１２００は場合分けごと負荷配置優先度のテーブル１２２０a〜cを含み、該テーブル１２２０a〜cは実施例１における負荷配置優先度８００と同様の構造となっている。実施例１と異なるのは、該各テーブル１２２０a〜cにはラベル１２１０a〜cを備えており、それぞれどの場合分けに対応するのかどうかを区別することが可能となっている。本実施例では場合分け１１０１a〜cおよび、図１２では省略しているが図２の空調効率状態分類ごとの 作業負荷統計量２０１に相当するデータについても、作業負荷の配置優先度１２００と同様に、各場合分けのテーブルと該場合分けに対応するラベルを含んでいる。
図１１の例では温度条件による場合分け機能を備えているが、それ以外の場合分けを行う例も挙げられる。IT機器の負荷の総量の範囲による場合分けについては、例えば、10KW未満、10〜20KW、20〜40KW、40KW以上の４通りに分ける場合が挙げられる。空調の吐き出し風量の範囲による場合分けは例えば、50m3/m未満、50〜100m3/m、100m3/m以上の３通りに分ける場合が挙げられる。
空調の運転モードの違いによる場合分けについては、例えば、運転している空調機の台数および組合せによる場合分け、空調機の省エネ制御の有無による場合分け、外気空調機における外気利用モード、換気冷却モード、除湿モード等のモードの違いによる場合分けが挙げられる。時間による場合分けについては、例えば１か月ごとに別のデータとして場合分けすることが挙げられる。これらの場合分けは温度条件による場合分けも含めて、条件の組み合わせにより場合分けを行ってもよい。
複数の場合分けについて負荷配置優先度指標値を求め、それらの相関について計算することも可能である。特に時間により場合分けを行った場合には、異なる傾向を示す場合分けを抽出し、サーバルーム環境の異常検知に利用することもできる。
複数のデータセットの情報を統合して一つのデータセットとすることも可能である。あるいは、傾向の変化があった場合には、場合分け機能を用いて、別のデータセットを用いて負荷配置最適化を行うようにすることもできる。このような場合分けの変更については、あらかじめ、管理者が条件を指定しておくか、監視系で空調効率の優先順位を監視していて、事前に得られていた傾向と異なる場合、例えば一定数以上の台数のIT機器の優先順位が変更された場合、に場合分けを変更すること等が含まれる。
これまでの実施例１〜３では、機器構成やセンサ情報が固定的な場合について説明してきたが、本実施例では機器や設備の更新があった場合について説明する。さらに、学習データを逐次的に更新しながら運用する場合の動作について説明する。
機器構成の変更を行った際には、温度センサおよび電力センサの数が変わることが想定される。また、センサが故障した場合にも、取得できるセンサ数が変更になることが考えられる。まず、温度センサの数の増減については、各レコードの空調効率の特徴量、例えばサーバ入気温度の最大値と平均値の差、を用いて行われるため、それ以降のレコードについての特徴量の計算結果に新しい結果を反映させればよい。
一方で電力センサの増設、IT機器の更新によりIT機器の負荷の個数が増減した場合は、図２の空調効率分類ごとの作業負荷量の統計情報である作業負荷統計量２０１について修正を行う。IT機器の負荷の個数の変更に伴い、運用履歴から取得するデータの数の修正・変更が必要となるが、修正をする場合の一例としては、各空調効率分類について０、あるいは他のIT機器の作業負荷量の統計情報の平均値を設定することが含まれる。すなわち、実行処理部は、運用履歴から取得するデータの数の修正・変更に伴い、作業負荷量の統計情報の値を修正する際に、他のIT機器の作業負荷量の統計情報の平均を設定することができる。あるいは、この修正方法には新規に追加したIT機器とサーバルーム内の配置が隣接するIT機器群の作業負荷量の統計情報の平均値を設定することが含まれる。また、管理者が任意の値を設定してもよい。空調効率状態分類ごとの作業負荷統計量２０１の設定を行った後に、各IT機器の負荷配置優先度２０２の計算２３１を行うことで、機器更新後の作業負荷配置優先度が計算される。その後、機器更新後のデータを用いて学習することで、負荷配置優先度の精度が向上していく。
空調効率学習手段２２０と負荷配置優先度計算手段２３０、および作業負荷割り当て手段２４０はそれぞれ現在時点のデータ１０、２０１、２０２を用いて、独立に動作可能であり、その時点までに学習した情報を用いて適宜負荷配置最適化を適用することが可能となっている。すなわち、空調効率分類および空調効率状態分類ごとの作業負荷統計量２０１は、既に計算済みのデータ２０１と新しくサンプリングしたデータから計算してもよく、インクリメンタルに学習する機能を備えていてもよい。インクリメンタルな学習には、例えば、学習データ数Ｎを保持しておき、データ数で重み付けをして平均を取る手段や、学習データ数Ｎを保持していない場合は均等な重み付けをして平均を取る手段が含まれる。これらの手順により、運用を行いながら学習精度を向上させて、より省電力な作業負荷配置を実現することができる。
実施例１〜３では空調状態分類の特徴量やIT負荷の指標値として、ラック入気温度の温度差やIT機器の消費電力の当該時刻の値を用いていたが、ある２つの時刻における値の差分を用いてもよい。また、負荷配置の優先度指標値の算出方法について、実施例１では(式１)を、実施例２では(式２)を用いたが、分類の特徴量を従属変数、ＩＴ負荷指標値を独立変数とした線形回帰における傾きと相関係数を用いてもよい。以下、実施例1〜３と異なる点について主に説明し、共通する説明は省略する。
実施例５においても入力する運用履歴は実施例１〜３と同様であるが、図２の空調効率学習手段２２０における空調効率状態分類のための特徴量として各IT機器の入気温度の最大値と平均値の差ではなく、ある２つの時刻における当該値の差分、例えば対象時刻の値とその１０分前の時刻の値との差分を用いる。
同様に、IT機器の作業負荷の指標値として、実施例１では各ＩＴ機器の消費電力を用いているが、IT機器の消費電力のある２つの時刻における差分、例えば１０分前の時刻との差分を用いる。このように差分を用いることで、ＩＴ負荷およびＩＴ機器入気温度の変動についての特徴を学習することができ、導出される空調効率の精度を高めることができる。
また、本実施例では空調効率状態の分類について、全てのレコードを別の空調効率分類として扱っている。更に、本実施例においては、図２の作業負荷配置の優先度指標値の計算２３０において、各IT機器について作業負荷配置の優先度指標値の計算を行うにあたり、空調効率分類の特徴量を従属変数、ＩＴ負荷指標値を独立変数とした線形回帰における直線の傾きの逆数を優先度指標値としている。
図１３に負荷配置優先度の計算の例1300を示す。縦軸が空調効率分類の指標値1310、横軸がＩＴ負荷の統計量1320となっており、運用履歴から計算した値をグラフ上にプロットしている。このデータについて線形回帰を行い、直線１３３０の傾きの逆数を優先度指標値とする。この優先度指標値が小さいほどIT負荷指標値の空調効率状態への影響が大きい、すなわち当該IT機器への負荷の増大により温度上昇を引き起こしているため、空調効率が悪いと言える。あるいは、傾きの逆数ではなく、傾きと相関係数の積の逆数を優先度指標値としてもよい。
次に、第６の実施例として、IT機器を設置する設置室であるサーバ室内にITラックIT01〜IT16を設置すると共に、冷却設備である空調機を設置した場合の実施例を説明する。
図１４に，実施例６のサーバ室の構成の平面図を示す。サーバルーム１４００内には、ITラックIT01〜IT16が二つの列１４１０、１４２０に設置されている。このITラックIT01〜IT16の列の両サイドには、吹き出し口１４３０が設置され、コールドアイル１４４０、１４５０が形成されると共に、二列の間がホットアイル１４６０となる。吹き出し口１４３０からは、空調機１４７０により空調のための給気が吹き出される。ITラックは、それぞれブレードサーバシャーシを搭載する、8基ずつ2列のラック列(IT01〜IT08、IT09〜IT16)の構成をとり、ラック列１４１０、１４２０の外側を空調機１４７０の給気が、吹出し口１４３０を通じて送り込まれるコールドアイル１４４０、１４５０，内側をラック背面から暖気が排出されるホットアイル１４６０となる。本実施例においては、２基の空調機１４７０はサーバルーム１４００外の、図示を省略した空調制御部によって制御される。空調制御部は、ラック最大温度が、環境温度上限値を上回らない範囲で、空調機量風量の削減と、給気温度を高める制御を行い総空調電力を削減する。
本実施例においては、冷却設備としての空調機１４７０がサーバルーム１４００の内部に設置されているので、先に説明したとおり、当該空調機１４７０の消費電力を対応する消費電力計測部で計測することにより、空調機の消費電力もIT作業負荷最適化機能の対象とすることができる。
本実施例において、IT作業負荷最適化機能は、稼働するIT機器のリソースが、情報処理システムの必要リソースを下回らない範囲で，稼働IT機器数の削減と、VMマイグレーションを用いた稼働IT機器への業務システム集約と、不要IT機器の電源遮断を行い、総IT電力を削減する。更に、総IT電力が低下すると，空調機の熱負荷が低下するため総空調機電力も削減される。
なお、本発明は上述した複数の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、それぞれの機能を実現するプログラムを実行することによりソフトウェアで実現する場合を例示して説明したが、各機能を実現するプログラム、テーブル、ファイル等の情報はメモリのみならず、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体におくことができるし、必要に応じてネットワーク等を介してダウンロード、インストールすることも可能である。
本発明はサーバ、ストレージ、ネットワークなどの情報処理装置群と冷却設備からなる情報処理システムにおける統合的な省電力運用管理に適用でき、特にデータセンタに適している。
また、本発明は情報処理システムの自律運用管理に用いられる他、システム構築ツール、省エネルギー診断ツール、稼動監視ツール、運用管理者や設備管理者の補助ツールとして幅広い用途に適用できる。
本発明は、主に情報処理装置群を対象とするが、電力又はエネルギーを消費する装置とそのための設備であれば本発明を適用できる。例えば電気装置、機械装置、動力装置、熱装置などの運用や制御に適用可能である。
なお、以上詳述した本発明の実施例の記載においては、特許請求の範囲の欄に記載された発明以外の発明が開示されており、その一例を示すと下記の通りである。
例１）作業負荷割り当てのIT機器ごとの指標値を求める方法であって、
運用履歴から時刻情報とサーバルーム環境情報とIT機器負荷情報を含むデータを取得する手段と、
該運用履歴から取得したデータから計算した特徴量を用いてIT機器群全体の空調効率状態により分類する手段と、
該空調効率の分類ごとに各IT機器の作業負荷量の統計情報を計算する手段と、
該作業負荷量の統計情報のうち少なくとも２つの統計情報の合成から作業負荷割り当て指標を求める手段と
を備えることを特徴とするシステム運用管理方法。
例２）例１記載のシステム運用管理方法において、
対象のシステムを運用するサーバルームに
サーバ装置、ストレージ装置、ネットワーク装置等のIT機器群と、
時刻情報とサーバルーム環境情報とIT機器負荷情報を取得する手段と、
該IT機器群を冷却する冷却設備を含み、
該システムが該IT機器に作業負荷を割り当てる機能と、
該IT機器が作業負荷量に応じて電源制御を行う機能を備えること
を特徴とするシステム運用管理方法。
例３）例２記載のシステム運用管理方法において、
前記サーバルーム環境情報とIT機器負荷情報を取得する手段において、IT機器に内蔵するセンサを用いることを特徴とするシステム運用管理方法。
例４）例１記載のシステム運用管理方法において、
前記運用履歴から時刻情報とサーバルーム環境情報とIT機器負荷情報を含むデータを取得する手段が、時刻が近いデータを抽出する機能を備えることを特徴とするシステム運用管理方法。
例５）例１記載のシステム運用管理方法において、
前記運用履歴から時刻情報とサーバルーム環境情報とIT機器負荷情報を含むデータを取得する手段が、作業負荷の総量が近いデータを抽出する機能を備えることを特徴とするシステム運用管理方法。
例６）例１記載のシステム運用管理方法において、
前記運用履歴から時刻情報とサーバルーム環境情報とIT機器負荷情報を含むデータを取得する手段が、温度条件が近いデータを抽出する機能を備えることを特徴とするシステム運用管理方法。
例７）例１記載のシステム運用管理方法において、
前記運用履歴から時刻情報とサーバルーム環境情報とIT機器負荷情報を含むデータを取得する手段が、空調風量が近いデータを抽出する機能を備えることを特徴とするシステム運用管理方法。
例８）例１記載のシステム運用管理方法において、
前記運用履歴から取得したデータをIT機器群全体の空調効率状態により分類する手段において、該分類の識別のための数値化を行う機能を備え、該数値が該分類に含まれるデータにおける前記特徴量の平均であることを特徴とするシステム運用管理方法。
例９）例８記載のシステム運用管理方法において、
前記作業負荷量の統計情報のうち少なくとも２つの統計情報の合成から作業負荷割り当て指標を求める手段として、
作業負荷量の統計情報の加重幾何平均から累乗根を除いた計算を行う機能を有し、
該加重幾何平均の重みを前記分類識別のために数値化された数値の全体の数値と各分類の数値の差分とすることを特徴とするシステム運用管理方法。
例１０）実行処理部を備え、複数の情報技術（IT）機器を備えた情報処理システムの運用管理を行う運用管理装置であって、
前記実行処理部は、
複数の前記IT機器の運用履歴から、時刻情報と環境情報と負荷情報を含むデータを取得し、前記運用履歴から取得した前記データに基づき、前記IT機器全体の空調効率を分類し、前記空調効率の分類ごとに、前記IT機器各々の作業負荷量の統計情報を計算し、計算した前記統計情報に基づき、前記IT機器の作業負荷配置優先度を求める、ことを特徴とする情報処理システムの運用管理装置。
１０ 運用履歴
２０、２０b 作業負荷配置最適化機能
１００、４００、１４００ サーバルーム
１０１〜１０３、４０１〜４０６、１４１０、１４２０ IT(サーバ)ラック
１２０ 温度計測システム
１２１〜１２９ 温度計測部
１３０ 電力計測システム
１３１〜１３３ 電力計測部
１４１〜１４５ 作業負荷
１６０ 作業負荷管理サーバ
１６１ 作業負荷配置指示
１６２ 作業負荷配置変更
１８０ 冷却設備
２０１ 空調効率状態分類ごとの作業負荷統計量
２０２ 各IT機器の作業負荷配置優先度
２１０ データの取得手段
２２０ 空調効率学習手段
２２１ IT機器群全体の空調効率状態の分類
２２１a サーバルーム環境の特徴量の計算
２２１b 空調効率分類基準の更新
２２１c 空調効率状態の分類
２２２ 空調効率状態とIT機器の負荷の相関関係の計算
２２２a 空調効率分類ごとの作業負荷統計量の更新
２３０ 負荷配置優先度計算手段
２３１ 各IT機器への負荷配置の優先度指標値の計算
２４０ 作業負荷割り当て手段
２４１ 負荷配置の優先度指標値に従って作業負荷をITに割り当て
５００ データ取得手段で取得した運用履歴データ
５１０、６１０ 時刻情報
５２０ サーバルームのITラック毎の環境情報
５３０ サーバルームのITラック毎の作業負荷情報
６００ 空調効率状態の分類テーブル
６２０ IT機器入気温度最大値
６３０ IT機器入気温度平均値
６４０ IT機器入気温度の最大値と平均値の差分
６５０、７１０、９１０ 空調効率状態分類結果
６６０ 差分の平均値に基づく閾値
７００、９００ 空調効率状態分類ごとの作業負荷統計量テーブル
７２０、９２０ 空調効率状態分類ごとのITラック毎の作業負荷の統計情報
８００、１０００、１２００ 作業負荷配置優先度テーブル
８３０、１０３０ 作業負荷配置優先度指標値
８４０、１０４０ 作業負荷配置優先度
１１０１ 場合分け条件ごとの履歴データ
１１０２ 場合分け条件ごとの負荷配置優先度
１１１０ 場合分け条件による負荷配置優先度選択手段
１１２０ 場合分け選択基準
１２００ 場合分け条件に対する作業負荷配置優先度のテーブル
１２１０ 場合分けラベル
１３００ 負荷配置優先度の計算のためのグラフ
１３１０ 空調効率状態分類の特徴量（ラック入気温度差の差分）
１３２０ IT機器負荷指標値（消費電力の差分）
１３３０ 線形回帰結果の直線
１４３０ 吹き出し口
１４４０、１４５０ コールドアイル
１４６０ ホットアイル
１４７０ 空調機

Claims (15)

  1. 実行処理部により、複数の情報技術（IT）機器を備えた情報処理システムの運用管理方法であって、
    前記実行処理部は、
    複数の前記IT機器の運用履歴から、時刻情報と環境情報と負荷情報を含むデータを取得し、
    前記運用履歴から取得した前記データから特徴量を算出し、
    算出した前記特徴量に基づき、前記IT機器群全体の空調効率を分類し、
    前記空調効率の分類ごとに、前記IT機器各々の作業負荷量の統計情報を計算し、
    計算した前記統計情報に基づき、前記IT機器の作業負荷配置指標値を求める、
    ことを特徴とする情報処理システムの運用管理方法。
  2. 請求項１記載の運用管理方法であって、
    前記実行処理部は、
    前記統計情報に基づき、前記作業負荷配置指標値を求めるに際し、少なくとも２つの前記統計情報の合成により前記作業負荷配置指標値を求める、
    ことを特徴とする運用管理方法。
  3. 請求項１記載の運用管理方法であって、
    複数の前記IT機器は一つの設置室に設置され、
    前記情報処理システムは複数の前記IT機器を冷却する冷却設備を含み、
    前記実行処理部は、
    前記設置室から前記時刻情報と前記環境情報と前記負荷情報を含むデータを取得し、求めた前記作業負荷配置指標値を用いて、複数の前記IT機器の作業負荷を割り当てる、
    ことを特徴とする運用管理方法。
  4. 請求項３記載の運用管理方法であって、
    前記実行処理部は、
    前記負荷情報を取得する際に、前記IT機器の状態を示す情報を基に計算した結果を用いる、
    ことを特徴とする運用管理方法。
  5. 請求項１記載の運用管理方法であって、
    複数の前記IT機器は一つの設置室に設置され、
    前記実行処理部は、
    前記時刻情報と前記環境情報と前記負荷情報を含む前記データを取得する際に、前記設置室の空調運転モードが同一のデータを抽出する、
    ことを特徴とする運用管理方法。
  6. 請求項１記載の運用管理方法であって、
    複数の前記IT機器は一つの設置室に設置され、
    前記運用履歴は、前記設置室の温度情報を含み、
    前記実行処理部は、
    前記特徴量として前記運用履歴から取得した前記温度情報の最大値と平均値の差分を用いる、
    ことを特徴とする運用管理方法。
  7. 請求項１記載の運用管理方法であって、
    複数の前記IT機器は一つの設置室に設置され、
    前記運用履歴は、前記設置室の温度情報を含み、
    前記実行処理部は、
    前記特徴量として前記運用履歴から取得した前記温度情報の最大値を用いる、
    ことを特徴とする運用管理方法。
  8. 請求項１記載の運用管理方法であって、
    前記実行処理部は、
    前記特徴量に基づき前記IT機器群全体の空調効率を分類する際に、前記特徴量について与えられた閾値によって分類を行う、
    ことを特徴する運用管理方法。
  9. 請求項１記載の運用管理方法であって、
    前記実行処理部は、
    前記特徴量に基づき前記IT機器群全体の空調効率を分類する際に、当該分類の識別のため、当該分類に含まれる前記データにおける前記特徴量の平均を求める、
    ことを特徴とする運用管理方法。
  10. 請求項１記載の運用管理方法であって、
    前記実行処理部は、
    前記作業負荷量の統計情報が、前記分類に含まれるデータにおける、前記IT機器ごとの作業負荷量の統計情報の平均である、
    ことを特徴とする運用管理方法。
  11. 請求項２記載の運用管理方法であって、
    前記実行処理部は、
    前記作業負荷量の統計情報のうち少なくとも２つの統計情報の合成から前記作業負荷配置指標値を求める際に、前記２つの統計情報の加重平均を計算する、
    ことを特徴とする運用管理方法。
  12. 請求項１記載の運用管理方法であって、
    前記実行処理部は、
    前記運用履歴から取得した前記データに応じて場合分けを行い、当該場合分けごとに、前記空調効率の分類および前記作業負荷配置指標値を求める、
    ことを特徴とする運用管理方法。
  13. 請求項１２記載の運用管理方法であって、
    前記実行処理部は、
    場合分けされた複数の前記空調効率分類と前記作業負荷量の統計情報の組から、一つの空調効率分類と作業負荷量の統計情報の組を合成する、
    ことを特徴とする運用管理方法。
  14. 請求項１２記載の運用管理方法であって、
    複数の前記IT機器は一つの設置室に設置され、
    前記実行処理部は、
    前記設置室の環境の異常検知機能を備え、
    前記異常検知機能は、前記場合分けごとの前記作業負荷配置指標値同士の相関関係を計算する、
    ことを特徴とする運用管理方法。
  15. 請求項１記載の運用管理方法であって、
    前記実行処理部は、
    前記運用履歴から取得する前記データの数を変更に伴い、前記作業負荷量の統計情報の値を修正する際に、他のIT機器の前記作業負荷量の統計情報の平均を設定する、
    ことを特徴とする運用管理方法。
JP2012012301A 2012-01-24 2012-01-24 情報処理システムの運用管理方法 Expired - Fee Related JP5801732B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012012301A JP5801732B2 (ja) 2012-01-24 2012-01-24 情報処理システムの運用管理方法
CN201310011762.7A CN103218678B (zh) 2012-01-24 2013-01-11 信息处理系统的运用管理方法
US13/739,475 US20130191676A1 (en) 2012-01-24 2013-01-11 Operation management method of information processing system
EP13151277.4A EP2620837A1 (en) 2012-01-24 2013-01-15 Operation management method of information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012012301A JP5801732B2 (ja) 2012-01-24 2012-01-24 情報処理システムの運用管理方法

Publications (2)

Publication Number Publication Date
JP2013152552A JP2013152552A (ja) 2013-08-08
JP5801732B2 true JP5801732B2 (ja) 2015-10-28

Family

ID=47683525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012012301A Expired - Fee Related JP5801732B2 (ja) 2012-01-24 2012-01-24 情報処理システムの運用管理方法

Country Status (4)

Country Link
US (1) US20130191676A1 (ja)
EP (1) EP2620837A1 (ja)
JP (1) JP5801732B2 (ja)
CN (1) CN103218678B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5939583B2 (ja) * 2013-12-13 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 抽出装置、データ処理システム、抽出方法および抽出プログラム
CN104537505B (zh) * 2015-01-26 2015-09-30 中国人民解放军国防科学技术大学 一种基于市场电价的数据中心实时任务调度方法
US9618998B2 (en) * 2015-06-10 2017-04-11 International Business Machines Corporation Identification of idle servers using power consumption
US10228973B2 (en) * 2016-03-08 2019-03-12 Hulu, LLC Kernel policy optimization for computing workloads
WO2017216687A1 (en) * 2016-06-16 2017-12-21 Tata Consultancy Services Limited System and method for thermo-fluid management of conditioned space
JP2018060271A (ja) 2016-10-03 2018-04-12 富士通株式会社 管理装置、管理装置の制御方法、管理装置の制御プログラム及び情報処理システム
US11076509B2 (en) 2017-01-24 2021-07-27 The Research Foundation for the State University Control systems and prediction methods for it cooling performance in containment
CN110362398B (zh) 2018-04-09 2023-09-12 阿里巴巴集团控股有限公司 虚拟机的调度方法和系统
WO2019224916A1 (ja) * 2018-05-22 2019-11-28 三菱電機株式会社 空気調和装置およびこれを有する倉庫
US11751360B2 (en) * 2020-03-17 2023-09-05 International Business Machines Corporation Intelligently deployed cooling fins
US11644801B2 (en) * 2020-04-03 2023-05-09 Dell Products L.P. Data center collective environment monitoring and response
CN116458140A (zh) * 2020-07-30 2023-07-18 阿里云计算有限公司 热感知调度方法和系统
CN113515431B (zh) * 2021-04-08 2023-03-24 上海安畅网络科技股份有限公司 一种基于云平台监控服务器机柜散热状态的方法和系统
CN114296495B (zh) * 2021-11-30 2023-02-28 科华数据股份有限公司 温度控制方法、控制设备及温控系统
WO2023199482A1 (ja) * 2022-04-14 2023-10-19 日本電信電話株式会社 電力量低減制御装置、電力量低減制御方法、電力量低減制御システム、および、プログラム
CN116336625B (zh) * 2023-05-18 2023-08-18 广州永昱节能科技股份有限公司 一种中央空调冷站群控节能控制方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643128B2 (en) * 2001-07-13 2003-11-04 Hewlett-Packard Development Company, Lp. Method and system for controlling a cooling fan within a computer system
US7447920B2 (en) * 2004-08-31 2008-11-04 Hewlett-Packard Development Company, L.P. Workload placement based on thermal considerations
US7644148B2 (en) * 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
JP5151203B2 (ja) * 2007-03-26 2013-02-27 日本電気株式会社 ジョブスケジューリング装置及びジョブスケジューリング方法
US7953574B2 (en) * 2007-09-18 2011-05-31 Hitachi, Ltd. Methods and apparatuses for heat management in information systems
US8261203B2 (en) * 2008-02-27 2012-09-04 Red Hat, Inc. Flexible system monitoring using SNMP
DK2313831T3 (en) * 2008-06-26 2018-03-12 Google Llc Thermal monitoring of data center
EP2330505B1 (en) * 2008-09-17 2017-07-05 Hitachi, Ltd. Operation management method of information processing system
EP2343649B1 (en) * 2008-10-30 2017-10-25 Hitachi, Ltd. Operation management apparatus of information processing system
US8086359B2 (en) * 2009-02-23 2011-12-27 Novell, Inc. Dynamic thermal load balancing
JP5446833B2 (ja) * 2009-12-18 2014-03-19 富士通株式会社 ジョブ管理装置、ジョブ管理方法及びジョブ管理プログラム
TW201137776A (en) * 2009-12-23 2011-11-01 Ibm A method and system to dynamically off-loading of batch workload a computing center to external cloud services

Also Published As

Publication number Publication date
US20130191676A1 (en) 2013-07-25
JP2013152552A (ja) 2013-08-08
EP2620837A1 (en) 2013-07-31
CN103218678B (zh) 2016-11-23
CN103218678A (zh) 2013-07-24

Similar Documents

Publication Publication Date Title
JP5801732B2 (ja) 情報処理システムの運用管理方法
CN109800066B (zh) 一种数据中心节能调度方法及系统
KR101973652B1 (ko) Hvac 시스템에 대한 가변 공기 용적 모델링
US10152394B2 (en) Data center cost optimization using predictive analytics
US8155793B2 (en) System and method for controlling air conditioning facilities, and system and method for power management of computer room
US8223025B2 (en) Data center thermal monitoring
US8904383B2 (en) Virtual machine migration according to environmental data
US8301315B2 (en) Scheduling cool air jobs in a data center
Kaushik et al. T*: A data-centric cooling energy costs reduction approach for Big Data analytics cloud
EP2147585A2 (en) Methods and systems for managing facility power and cooling
CN102197385A (zh) 根据环境条件执行基于区域的工作负荷调度
US20150120636A1 (en) Deriving an operational state of a data center using a predictive computer analysis model
JP5969939B2 (ja) データセンタの空調制御装置
US8694279B1 (en) Data center thermal monitoring
JP5682566B2 (ja) 機器選択システム、機器選択方法、及び機器選択用プログラム
CN111083201B (zh) 一种工业物联网中数据驱动制造服务的节能资源分配方法
EP2575003B1 (en) Method for determining assignment of loads of data center and information processing system
JP6455937B2 (ja) シミュレーション装置、シミュレーション方法及びプログラム
JP6106019B2 (ja) 業務配置の最適化システムおよび最適化方法
Watson et al. Integrated design and management of a sustainable data center
Kumar et al. Power usage efficiency (PUE) optimization with counterpointing machine learning techniques for data center temperatures
CN111210060A (zh) 一种工作日期间机房温度预测方法
US9565789B2 (en) Determining regions of influence of fluid moving devices
WO2020115631A1 (en) Method of operating cooling units in data center, and system thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140709

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150827

R150 Certificate of patent or registration of utility model

Ref document number: 5801732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees