JP6699720B2 - 配置探索プログラム、配置探索方法、および配置探索装置 - Google Patents

配置探索プログラム、配置探索方法、および配置探索装置 Download PDF

Info

Publication number
JP6699720B2
JP6699720B2 JP2018507964A JP2018507964A JP6699720B2 JP 6699720 B2 JP6699720 B2 JP 6699720B2 JP 2018507964 A JP2018507964 A JP 2018507964A JP 2018507964 A JP2018507964 A JP 2018507964A JP 6699720 B2 JP6699720 B2 JP 6699720B2
Authority
JP
Japan
Prior art keywords
power consumption
placement
servers
parameter
facility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018507964A
Other languages
English (en)
Other versions
JPWO2017168664A1 (ja
Inventor
智丈 佐々木
智丈 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017168664A1 publication Critical patent/JPWO2017168664A1/ja
Application granted granted Critical
Publication of JP6699720B2 publication Critical patent/JP6699720B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/206—Cooling means comprising thermal management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G06F11/3062—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Power Sources (AREA)

Description

本発明は、配置探索プログラム、配置探索方法、および配置探索装置に関する。
従来、データセンタ内に設置された複数のサーバに複数の仮想マシン（ＶＭ：Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）を割り当てる際、または、サーバ間で仮想マシンを移行する際などに、データセンタ全体での消費電力の最適化を図ることが望まれる。
先行技術としては、例えば、仮想マシンの配置の関数として記述された、サーバでの消費電力と電源設備での消費電力との合計消費電力を目的関数とする混合整数計画問題を解き、混合整数計画問題の解に基づいて各サーバに仮想マシンを配置するものがある。また、例えば、配置情報を用いて、装置群の消費電力と給電設備の給電損失と冷却設備の冷却電力を求め、消費電力、給電損失、および冷却電力の総和を低減するように装置群へ作業負荷を割り当てる技術がある。また、例えば、情報処理装置の装置関連消費電力式を元にした省電力性評価指標を用いて、計算機室全体の省電力化を実現するよう作業負荷の割当を決定する技術がある。また、例えば、運転される冷凍機それぞれの消費電力を上記複数の組み合わせについて求め、さらに、該求めた各消費電力の総和を演算し、該総和値が最小値となる組み合わせまたは他に比べて低い値となる組み合わせを選択して設定する技術がある。
国際公開第２０１３／０４２６１５号 特開２００９−２５２０５６号公報 国際公開第２０１０／０３２５０１号 特開２００６−２０７８５号公報
しかしながら、上述した従来技術では、データセンタ全体での消費電力を低減化することが難しい場合がある。例えば、データセンタ全体での消費電力を目的関数とする混合整数計画問題に用いられるパラメータとして、どのような値を設定することが好ましいかが分からず、データセンタ全体での消費電力を最適化することが難しい。
１つの側面では、本発明は、施設全体での消費電力を最適化することができる配置探索プログラム、配置探索方法、および配置探索装置を提供することを目的とする。
本発明の一側面によれば、複数のサーバを有する施設における、前記複数のサーバへの複数の仮想マシンの配置を探索する際に、前記複数のサーバへの前記複数の仮想マシンの配置に関するパラメータの初期値を、前記複数のサーバの消費電力に関する第１の性能情報、前記施設に設置された空調設備の消費電力に関する第２の性能情報、前記施設に配置された電源設備の消費電力に関する第３の性能情報、および、前記複数のサーバ間および前記複数のサーバと前記空調設備との間の熱結合に関する熱結合情報のうち、少なくともいずれかに基づき設定し、逐次的なパラメータ推定方法により前記施設全体の消費電力を最適化するように、前記パラメータを更新する配置探索プログラム、配置探索方法、および配置探索装置が提案される。
本発明の一態様によれば、施設全体での消費電力を最適化することができるという効果を奏する。
図１は、実施の形態にかかる配置探索方法の一実施例を示す説明図である。 図２は、電子計算機システム２００の一例を示す説明図である。 図３は、配置探索装置１００のハードウェア構成例を示すブロック図である。 図４は、データセンタ構造情報４００の記憶内容の一例を示す説明図である。 図５は、最大サイズ定義情報５００の記憶内容の一例を示す説明図である。 図６は、配置済みサイズ情報６００の記憶内容の一例を示す説明図である。 図７は、追加配置数情報７００の記憶内容の一例を示す説明図である。 図８は、仮想マシンサイズ情報８００の記憶内容の一例を示す説明図である。 図９は、パラメータ情報９００の記憶内容の一例を示す説明図である。 図１０は、定数情報１０００の記憶内容の一例を示す説明図である。 図１１は、動作消費電力情報１１００の記憶内容の一例を示す説明図である。 図１２は、ベース消費電力情報１２００の記憶内容の一例を示す説明図である。 図１３は、室内機情報１３００の記憶内容の一例を示す説明図である。 図１４は、室外機情報１４００の記憶内容の一例を示す説明図である。 図１５は、電源設備情報１５００の記憶内容の一例を示す説明図である。 図１６は、熱流量関係情報１６００の記憶内容の一例を示す説明図である。 図１７は、供給熱流量情報１７００の記憶内容の一例を示す説明図である。 図１８は、配置探索装置１００の機能的構成例を示すブロック図である。 図１９は、配置探索装置１００が混合整数計画問題のパラメータを更新した結果の一例を示す説明図である。 図２０は、仮想マシンの配置処理手順の一例を示すフローチャートである。
以下に、図面を参照して、本発明にかかる配置探索プログラム、配置探索方法、および配置探索装置の実施の形態を詳細に説明する。
（実施の形態にかかる配置探索方法の一実施例）
図１は、実施の形態にかかる配置探索方法の一実施例を示す説明図である。配置探索装置１００は、施設１１０全体での消費電力を最適化するためのコンピュータである。施設１１０とは、例えば、データセンタである。
施設１１０は、複数のサーバ１１１を有する。施設１１０は、さらに、複数のサーバ１１１に電力を供給する電源設備１１３、および、複数のサーバ１１１を冷却する空調設備１１２などを有する。最適化とは、例えば、制約条件の中で、施設１１０全体での消費電力を最小化することである。
ここで、データセンタに設置された複数のサーバ１１１に複数の仮想マシンを割り当てる際には、データセンタ全体での消費電力が低減化されるように割り当てることが望まれる傾向がある。これに対し、下記（ａ）〜（ｃ）が考えられるが、データセンタ全体での消費電力を低減化することが難しい場合がある。
（ａ）例えば、仮想マシンの配置の関数として記述された、サーバ１１１、空調設備１１２、電源設備１１３の合計消費電力を目的関数とする混合整数計画問題を解き、混合整数計画問題の解に基づいて複数のサーバ１１１に複数の仮想マシンを配置することが考えられる。
しかしながら、データセンタ全体での消費電力を目的関数とする混合整数計画問題に用いられるパラメータとして、どのような値を設定することが好ましいかが分からず、データセンタ全体での消費電力を低減化することが難しい場合がある。パラメータは、例えば、サーバ１１１、空調設備１１２、および、電源設備１１３の消費電力特性をあらわす係数、データセンタ内の熱移動特性をあらわす係数などである。
具体的には、データセンタ内の複数箇所に温度センサを設置したとしても、温度センサを設置した箇所の間でどのように熱が移動するかを精度よく解析することは難しいため、データセンタ内の熱移動特性を解析することは難しい。結果として、データセンタ内の熱移動特性をあらわす係数として、どのような値を設定することが好ましいかが分からず、データセンタ全体での消費電力を低減化することが難しい。
また、パラメータとして設定することが好ましい値は、時間経過によっても変化してしまう傾向がある。例えば、時間経過によって、データセンタが経年劣化し、または、データセンタ内のサーバ１１１、電源設備１１３、空調設備１１２の配置が変更されることにより、パラメータとして設定することが好ましい値は変化してしまう傾向がある。結果として、混合整数計画問題に用いられるパラメータとして好ましい値を設定したとしても、時間経過によって好ましくない値になってしまい、データセンタ全体での消費電力を低減化することが難しくなる場合がある。
（ｂ）さらに、（ａ）に対し、逐次的なパラメータ推定方法を適用することにより、データセンタ全体での消費電力を目的関数とする混合整数計画問題を解く都度、混合整数計画問題に用いられるパラメータを更新して、好ましい値に近づけることが考えられる。逐次的なパラメータ推定方法は、例えば、逐次最小二乗法である。ここで、逐次的なパラメータ推定方法は、混合整数計画問題に用いられるパラメータの個数が変化しないまま、混合整数計画問題が繰り返し解かれる場合などに適用することができる。
しかしながら、混合整数計画問題の目的関数が仮想マシンの配置に対する陽関数として記述されるため、配置する仮想マシンの種類や数が変化してしまうと、混合整数計画問題に用いられる変数やパラメータの個数も変化してしまう傾向がある。結果として、逐次的なパラメータ推定方法を適用することができず、混合整数計画問題に用いられるパラメータを好ましい値に更新することができず、データセンタ全体での消費電力を低減化することが難しい場合がある。
（ｃ）このため、仮想マシンの配置に対する陽関数ではなく、サーバ１１１が実行する仮想マシンの合計サイズおよびサーバ１１１の電源投入の有無の陽関数として記述された、サーバ１１１、空調設備１１２、電源設備１１３の合計消費電力を目的関数とする混合整数計画問題を用いることが考えられる。これによれば、配置する仮想マシンの種類や数が変化しても、混合整数計画問題に用いられる変数やパラメータの個数は変化しないようになる。
これに対し、逐次的なパラメータ推定方法を適用することにより、データセンタ全体での消費電力を目的関数とする混合整数計画問題を解く都度、混合整数計画問題に用いられるパラメータを更新して、好ましい値に近づけることが考えられる。
しかしながら、混合整数計画問題に用いられるパラメータの初期値として、どのような値を設定することが好ましいかが分からず、混合整数計画問題に用いられるパラメータが好ましい値に近づくまでにかかる時間の増大化を招いてしまう可能性がある。そして、混合整数計画問題に用いられるパラメータが好ましい値に近づくまでの間は、混合整数計画問題に用いられるパラメータとして好ましくない値が設定されてしまうため、データセンタ全体での消費電力を低減化することが難しい場合がある。
そこで、本実施の形態では、施設１１０全体での消費電力を目的関数とする混合整数計画問題を解く際に、混合整数計画問題に用いられるパラメータとして好ましい値が設定されやすくしつつ、施設１１０全体での消費電力を最適化する配置探索方法について説明する。
（１−１）配置探索装置１００は、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータの初期値に、第１の性能情報、第２の性能情報、第３の性能情報、および、熱結合情報のうち、少なくともいずれかに基づき設定された初期値を用いる。
第１の性能情報とは、複数のサーバ１１１の消費電力に関する性能情報である。第１の性能情報は、例えば、サーバ１１１が実行する仮想マシンの単位サイズに対する消費電力を規定した情報、および、サーバ１１１で常時消費される消費電力を規定した情報などである。第１の性能情報は、具体的には、図１１に後述する動作消費電力情報１１００、および、図１２に後述するベース消費電力情報１２００などである。
第２の性能情報とは、施設１１０に設置された空調設備１１２の消費電力に関する性能情報である。第２の性能情報は、例えば、空調室内機に流入する熱流量に対する空調室内機で消費される消費電力を規定した情報、および、空調室内機で常時消費される消費電力を規定した情報などである。また、第２の性能情報は、例えば、空調室外機に流入する熱流量に対する空調室外機で消費される消費電力を規定した情報などである。第２の性能情報は、具体的には、図１３に後述する室内機情報１３００、および、図１４に後述する室外機情報１４００などである。
第３の性能情報とは、施設１１０に配置された電源設備１１３の消費電力に関する性能情報である。第３の性能情報は、例えば、サーバ１１１の消費電力に対する電源設備１１３で消費される消費電力を規定した情報、および、電源設備１１３で常時消費される消費電力を規定した情報などである。第３の性能情報は、具体的には、図１５に後述する電源設備情報１５００などである。
熱結合情報とは、複数のサーバ１１１間および複数のサーバ１１１と空調設備１１２との間の熱結合に関する情報である。熱結合情報は、例えば、サーバ１１１と空調設備１１２との間の熱流量関係を規定する情報、および、サーバ１１１と空調設備１１２との供給熱流量を規定する情報などである。熱結合情報は、具体的には、図１６に後述する熱流量関係情報１６００、および、図１７に後述する供給熱流量情報１７００などである。
パラメータの初期値は、例えば、第１の性能情報、第２の性能情報、第３の性能情報、および、熱結合情報に基づき設定された、サーバ１１１が実行する仮想マシンの合計サイズに対する施設１１０全体の消費電力に関する初期値を含む。サーバ１１１が実行する仮想マシンの合計サイズに対する施設１１０全体の消費電力に関する初期値は、例えば、後述する式（１５）によって規定される。
パラメータの初期値は、例えば、第１の性能情報、第２の性能情報、第３の性能情報、および、熱結合情報に基づき設定された、サーバ１１１への電源投入の有無に対する施設１１０全体の消費電力に関する初期値を含む。サーバ１１１への電源投入の有無に対する施設１１０全体の消費電力に関する初期値は、例えば、後述する式（１６）によって規定される。
パラメータの初期値は、例えば、第２の性能情報、第３の性能情報、および、熱結合情報に基づき設定された、施設１１０全体での常時消費される消費電力に関する初期値を含む。施設１１０全体での常時消費される消費電力に関する初期値は、例えば、後述する式（１７）によって規定される。
（１−２）配置探索装置１００は、施設１１０全体での消費電力を最適化するように、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータを用いて、複数のサーバ１１１への複数の仮想マシンの配置を求める。配置探索装置１００は、求めた仮想マシンの配置に従って、複数のサーバ１１１への複数の仮想マシンの配置を制御する。
配置探索装置１００は、例えば、サーバ１１１での消費電力と空調設備１１２での消費電力と電源設備１１３での消費電力との合計消費電力を目的関数とする混合整数計画問題を解き、混合整数計画問題の解に基づいて配置を求める。合計消費電力を目的関数とする混合整数計画問題は、例えば、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータを用いて、サーバ１１１が実行する仮想マシンの合計サイズおよびサーバ１１１の電源投入の有無の関数として記述される。合計消費電力を目的関数とする混合整数計画問題は、具体的には、後述する式（１）、式（５）〜式（１０）によって規定される。
（１−３）配置探索装置１００は、逐次的なパラメータ推定方法により、施設１１０全体での消費電力を最適化するように、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータを更新する。逐次的なパラメータ推定方法は、例えば、逐次最小二乗法、忘却要素を用いた逐次最小二乗法、矩形窓を用いた逐次最小二乗法、カルマンフィルタなどである。
配置探索装置１００は、例えば、複数のサーバ１１１への複数の仮想マシンの配置が行われた後のデータセンタ全体での消費電力の計測値を、電力計（不図示）などから取得する。配置探索装置１００は、逐次的なパラメータ推定方法により、目的関数によって求められたデータセンタ全体での消費電力の計算値と、消費電力との計測値とを用いて、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータを更新する。配置探索装置１００は、具体的には、後述する式（１９）、式（２０）により、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータを更新する。
これによれば、配置探索装置１００は、逐次的なパラメータ推定方法により、混合整数計画問題に用いられるパラメータを、比較的好ましい初期値から始めて、より好ましい値へと更新していくことができる。これにより、配置探索装置１００は、混合整数計画問題に用いられるパラメータが好ましい値に近づくまでにかかる時間の低減化を図ることができる。
結果として、配置探索装置１００は、混合整数計画問題に用いられるパラメータとして比較的好ましくない値を用いてしまう回数を低減化することができ、データセンタ全体での消費電力を効果的に低減することができる。また、配置探索装置１００は、混合整数計画問題に用いられるパラメータを好ましい値に近づける間も、混合整数計画問題に用いられるパラメータとして比較的好ましい値を用いることができ、データセンタ全体での消費電力を効果的に低減することができる。
また、配置探索装置１００は、パラメータとして設定することが好ましい値が時間経過によって変化しても、混合整数計画問題に用いられるパラメータを好ましい値に近づけていくことができる。このため、配置探索装置１００は、混合整数計画問題に用いられるパラメータとして好ましい値を用いて、データセンタ全体での消費電力を効果的に低減することができる。また、配置探索装置１００は、パラメータを設定するために、データセンタ内の複数の箇所に温度センサを設けたりしなくてもよいため、データセンタの保守管理にかかるコストの増大化を抑制することができる。
（電子計算機システム２００の一例）
次に、図２を用いて、図１に示した配置探索装置１００を適用した、電子計算機システム２００の一例について説明する。
図２は、電子計算機システム２００の一例を示す説明図である。電子計算機システム２００は、例えば、データセンタ２１０によって実現される。図２の電子計算機システム２００において、データセンタ２１０には、Ｎ個のラック２２０、Ｃ台の空調設備１１２、配置探索装置１００、および、電力計２４０が設置されている。各ラック２２０と配置探索装置１００とは、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルなどの通信ケーブルや、無線通信などによって、相互に接続されていてもよい。
各ラック２２０には、Ｓ台のサーバ１１１と、電源設備１１３となる無停電電源装置（ＵＰＳ：Ｕｎｉｎｔｅｒｒｕｐｔｉｂｌｅ Ｐｏｗｅｒ Ｓｕｐｐｌｙ）とが収容されている。各サーバ１１１には、仮想マシンが配置される。以下の説明では、各電源設備１１３は、サーバ１１１に電力を供給する。各電源設備１１３は、例えば、ラック２２０ごとに、同じラック２２０に収容されている複数のサーバ１１１に電力を供給する。
各空調設備１１２には、空調室内機２３１（ＣＲＡＣ Ｕｎｉｔ：Ｃｏｍｐｕｔｅｒ Ｒｏｏｍ Ａｉｒ Ｃｏｎｄｉｔｉｏｎｉｎｇ Ｕｎｉｔ）や空調室外機２３２（Ｃｈｉｌｌｅｒ Ｐｌａｎｔ）が含まれる。空調室内機２３１は、ラック２２０内のサーバ１１１を冷却する。空調室外機２３２は、空調室内機２３１と同数存在し、排気を行う。
電力計２４０は、データセンタ２１０全体での消費電力を計測し、配置探索装置１００に送信する。配置探索装置１００は、データセンタ２１０全体での消費電力を最適化するように、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータを用いて、複数のサーバ１１１への複数の仮想マシンの配置を求める。また、配置探索装置１００は、逐次的なパラメータ推定方法を用いて、電力計２４０から受信したデータセンタ２１０全体での消費電力に基づき、複数のサーバ１１１への複数の仮想マシンの配置に関するパラメータを更新する。
（配置探索装置１００のハードウェア構成例）
次に、図３を用いて、配置探索装置１００のハードウェア構成例について説明する。
図３は、配置探索装置１００のハードウェア構成例を示すブロック図である。図３において、配置探索装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、ディスクドライブ３０４と、ディスク３０５と、を有する。また、各構成部は、バス３００によってそれぞれ接続される。
ここで、ＣＰＵ３０１は、配置探索装置１００の全体の制御を司る。ＣＰＵ３０１は、実施の形態にかかる配置探索プログラムを実行することにより、混合整数計画問題の求解および仮想マシンの配置を行う。また、ＣＰＵ３０１は、配置探索プログラムを実行することにより、混合整数計画問題に用いられるパラメータの更新を行う。
メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。各種プログラムは、例えば、実施の形態にかかる配置探索プログラムを含む。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。
Ｉ／Ｆ３０３は、通信回線を通じてネットワーク３１０に接続され、ネットワーク３１０を介して、データセンタ２１０のラック２２０などに接続される。そして、Ｉ／Ｆ３０３は、ネットワーク３１０と内部のインターフェースを司り、ラック２２０内のサーバ１１１などの他のコンピュータからのデータの入出力を制御する。Ｉ／Ｆ３０３には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
ディスクドライブ３０４は、ＣＰＵ３０１の制御に従ってディスク３０５に対するデータのリード／ライトを制御する。ディスクドライブ３０４は、例えば、磁気ディスクドライブである。ディスク３０５は、ディスクドライブ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。ディスク３０５は、例えば、磁気ディスク、光ディスクなどである。
配置探索装置１００は、上述した構成部のほか、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、半導体メモリ、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、配置探索装置１００は、ディスクドライブ３０４およびディスク３０５の代わりに、ＳＳＤおよび半導体メモリなどを有していてもよい。
（サーバ１１１のハードウェア構成例）
また、サーバ１１１のハードウェア構成例は、図３に示した配置探索装置１００のハードウェア構成例と同様であるため、説明を省略する。
（配置探索装置１００が記憶する各種情報の一例）
次に、配置探索装置１００が記憶する各種情報の一例について説明する。配置探索装置１００は、図４〜図１７に後述するような、混合整数計画問題の求解、混合整数計画問題のパラメータに対する初期値の設定、混合整数計画問題のパラメータに対する逐次的なパラメータ推定方法による更新などの際に用いられる各種情報を記憶する。図４〜図１７に後述する各種情報は、例えば、配置探索装置１００のメモリ３０２によって記憶される。
（データセンタ構造情報４００の記憶内容）
まず、図４を用いて、データセンタ構造情報４００の記憶内容の一例について説明する。
図４は、データセンタ構造情報４００の記憶内容の一例を示す説明図である。図４に示すように、データセンタ構造情報４００は、データセンタ２１０のラック２２０の数とサーバ１１１の数と空調設備１１２の数とを示す情報である。図４の例では、データセンタ２１０に設置されたラック２２０の数は、Ｎ個である。Ｎは、正の整数である。１ラック２２０あたりのサーバ１１１の数は、Ｓ個である。Ｓは、正の整数である。データセンタ２１０に設置された空調設備１１２の数は、Ｃ個である。Ｃは、正の整数である。データセンタ構造情報４００は、例えば、混合整数計画問題の求解の際に用いられる。
（最大サイズ定義情報５００の記憶内容）
次に、図５を用いて、最大サイズ定義情報５００の記憶内容の一例について説明する。
図５は、最大サイズ定義情報５００の記憶内容の一例を示す説明図である。図５に示すように、最大サイズ定義情報５００は、ｉ番目のラック２２０のｊ番目のサーバ１１１に配置可能な仮想マシンの最大サイズを示す情報である。ｉは１〜Ｎの整数である。ｊは１〜Ｓの整数である。図５の例では、ｉ番目のラック２２０のｊ番目のサーバ１１１に配置可能な仮想マシンの最大サイズは、Ｌijである。Ｌijは、例えば、コア数やスレッド数である。最大サイズ定義情報５００は、例えば、混合整数計画問題の求解の際に用いられる。
（配置済みサイズ情報６００の記憶内容）
次に、図６を用いて、配置済みサイズ情報６００の記憶内容の一例について説明する。
図６は、配置済みサイズ情報６００の記憶内容の一例を示す説明図である。図６に示すように、配置済みサイズ情報６００は、ｉ番目のラック２２０のｊ番目のサーバ１１１に配置済みの仮想マシンの合計サイズを示す情報である。図６の例では、ｉ番目のラック２２０のｊ番目のサーバ１１１に配置済みの仮想マシンの合計サイズは、ｗ0 ijである。ｗ0 ijは、０以上Ｌij以下の整数である。配置済みサイズ情報６００は、例えば、混合整数計画問題の求解の際に用いられる。また、配置済みサイズ情報６００は、例えば、サーバに仮想マシンを追加配置する都度、更新される。
（追加配置数情報７００の記憶内容）
次に、図７を用いて、追加配置数情報７００の記憶内容の一例について説明する。
図７は、追加配置数情報７００の記憶内容の一例を示す説明図である。図７に示すように、追加配置数情報７００は、追加で配置すべき仮想マシンの数を規定する情報である。図７の例では、追加で配置すべき仮想マシンの数は、Ｍ個である。Ｍは正の整数である。追加配置数情報７００は、例えば、混合整数計画問題の求解の際に用いられる。
（仮想マシンサイズ情報８００の記憶内容）
次に、図８を用いて、仮想マシンサイズ情報８００の記憶内容の一例について説明する。
図８は、仮想マシンサイズ情報８００の記憶内容の一例を示す説明図である。図８に示すように、仮想マシンサイズ情報８００は、追加で配置すべき仮想マシンのサイズを規定する情報である。図８の例では、追加で配置すべきＭ個の仮想マシンに１〜Ｍの番号を付したときのｎ番目の仮想マシンのサイズは、τnである。ｎは１〜Ｍの整数である。仮想マシンサイズ情報８００は、例えば、混合整数計画問題の求解の際に用いられる。
（パラメータ情報９００の記憶内容）
次に、図９を用いて、パラメータ情報９００の記憶内容の一例について説明する。
図９は、パラメータ情報９００の記憶内容の一例を示す説明図である。図９に示すように、パラメータ情報９００は、データセンタ２１０全体での消費電力を目的関数とする混合整数計画問題に用いられる、２ＮＳ＋１個のパラメータを規定する情報である。図９の例では、データセンタ２１０全体での消費電力を目的関数とする混合整数計画問題に用いられるパラメータは、θw 1,1〜θw N,Sである。また、データセンタ２１０全体での消費電力を目的関数とする混合整数計画問題に用いられるパラメータは、θv 1,1〜θv N,Sである。データセンタ２１０全体での消費電力を目的関数とする混合整数計画問題に用いられるパラメータは、θbである。パラメータ情報９００は、例えば、混合整数計画問題の求解の際に用いられる。また、パラメータ情報９００は、例えば、逐次的なパラメータ推定方法による更新の際に用いられ、逐次的なパラメータ推定方法によって更新される。
（定数情報１０００の記憶内容）
次に、図１０を用いて、定数情報１０００の記憶内容の一例について説明する。
図１０は、定数情報１０００の記憶内容の一例を示す説明図である。図１０に示すように、定数情報１０００は、逐次的なパラメータ推定方法に用いられる定数を規定する情報である。図１０の例では、逐次的なパラメータ推定方法に用いられる定数は、Ｐ1,1〜Ｐ2NS+1,2NS+1である。定数情報１０００は、例えば、逐次的なパラメータ推定方法による更新の際に用いられ、逐次的なパラメータ推定方法によって更新される。
（動作消費電力情報１１００の記憶内容）
次に、図１１を用いて、動作消費電力情報１１００の記憶内容の一例について説明する。
図１１は、動作消費電力情報１１００の記憶内容の一例を示す説明図である。図１１に示すように、動作消費電力情報１１００は、サーバ１１１が実行する仮想マシンの単位サイズに対する消費電力を規定する情報である。図１１の例では、ｉ番目のラック２２０のｊ番目のサーバ１１１で実行する仮想マシンの単位サイズあたりに消費される電力はαijワットである。αijは正の実数である。動作消費電力情報１１００は、例えば、混合整数計画問題のパラメータに対する初期値の設定の際に用いられる。
（ベース消費電力情報１２００の記憶内容）
次に、図１２を用いて、ベース消費電力情報１２００の記憶内容の一例について説明する。
図１２は、ベース消費電力情報１２００の記憶内容の一例を示す説明図である。図１２に示すように、ベース消費電力情報１２００は、電子計算機システム２００におけるベース消費電力を規定する情報である。図１２の例では、ｉ番目のラック２２０のｊ番目のサーバ１１１の電源がオンになることで消費される電力はβijワットである。βijは正の実数である。ベース消費電力情報１２００は、例えば、混合整数計画問題のパラメータに対する初期値の設定の際に用いられる。
（室内機情報１３００の記憶内容）
次に、図１３を用いて、室内機情報１３００の記憶内容の一例について説明する。
図１３は、室内機情報１３００の記憶内容の一例を示す説明図である。図１３に示すように、室内機情報１３００は、空調室内機２３１のベース消費電力および比例係数を規定する情報である。図１３の例では、ｋ番目の空調室内機２３１で常に消費されるベース消費電力は、λkワットである。ｋは１〜Ｃの整数である。λkは正の実数である。また、ｋ番目の空調室内機２３１に流入する熱流量に対して、流入する熱流量の何倍の電力が空調室内機２３１で消費されるかということをあらわす比例係数は、μkである。μkは正の実数である。室内機情報１３００は、例えば、混合整数計画問題のパラメータに対する初期値の設定の際に用いられる。
（室外機情報１４００の記憶内容）
次に、図１４を用いて、室外機情報１４００の記憶内容の一例について説明する。
図１４は、室外機情報１４００の記憶内容の一例を示す説明図である。図１４に示すように、室外機情報１４００は、空調室外機２３２の比例係数を規定する情報である。図１４の例では、ｋ番目の空調室外機２３２に流入する熱流量に対して、流入する熱流量の何倍の電力が空調室外機２３２で消費されるかということをあらわす比例係数は、κkである。κkは正の実数である。なお、空調室外機２３２が常に電力を消費する場合には、空調室内機２３１と同様に、空調室外機２３２情報にも、空調室外機２３２のベース消費電力が含まれてもよい。室外機情報１４００は、例えば、混合整数計画問題のパラメータに対する初期値の設定の際に用いられる。
（電源設備情報１５００の記憶内容）
次に、図１５を用いて、電源設備情報１５００の記憶内容の一例について説明する。
図１５は、電源設備情報１５００の記憶内容の一例を示す説明図である。図１５に示すように、電源設備情報１５００は、電源設備１１３のベース消費電力および比例係数を規定する情報である。図１５の例では、ｉ番目のラック２２０の電源設備１１３で常に消費されるベース消費電力はηiワットである。ηiは正の実数である。また、ｉ番目のラック２２０内のサーバ１１１の合計消費電力に対して、合計消費電力の何倍の電力が電源設備１１３で消費されるかということをあらわす比例係数はεiである。εiは正の実数である。一例として、一般的な電源設備１１３のカタログによると、εiは０．０１〜０．０４程度である。電源設備情報１５００は、例えば、混合整数計画問題のパラメータに対する初期値の設定の際に用いられる。
（熱流量関係情報１６００の記憶内容）
次に、図１６を用いて、熱流量関係情報１６００の記憶内容の一例について説明する。
図１６は、熱流量関係情報１６００の記憶内容の一例を示す説明図である。図１６に示すように、熱流量関係情報１６００は、ラック２２０と空調設備１１２との間の熱流量関係を規定する情報である。図１６の例では、ｉ番目のラック２２０から排出された熱流量の何倍がｋ番目の空調室内機２３１に流入するかということをあらわす比例係数は、ψkiである。ψkiは、０以上１以下の実数である。熱流量関係情報１６００は、例えば、混合整数計画問題のパラメータに対する初期値の設定の際に用いられる。
（供給熱流量情報１７００の記憶内容）
次に、図１７を用いて、供給熱流量情報１７００の記憶内容の一例について説明する。
図１７は、供給熱流量情報１７００の記憶内容の一例を示す説明図である。図１７に示すように、供給熱流量情報１７００は、ラック２２０と空調設備１１２との供給熱流量を規定する情報である。図１７の例では、ｉ番目のラック２２０に対して空調室内機２３１から供給される熱流量は、ｑsup,iワットである。ｑsup,iは実数である。供給熱流量情報１７００は、例えば、混合整数計画問題のパラメータに対する初期値の設定の際に用いられる。
（配置探索装置１００の機能的構成例）
次に、図１８を用いて、配置探索装置１００の機能的構成例について説明する。
図１８は、配置探索装置１００の機能的構成例を示すブロック図である。配置探索装置１００、記憶部１８０１と、管理部１８０２と、判定部１８０３と、求解部１８０４と、配置部１８０５と、推定部１８０６とを含む。
記憶部１８０１は、例えば、図３に示したメモリ３０２、ディスク３０５などの記憶領域によって実現される。管理部１８０２〜推定部１８０６は、制御部となる機能であり、例えば、図３に示したメモリ３０２、ディスク３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、Ｉ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２、ディスク３０５などの記憶領域に記憶される。
記憶部１８０１は、定数、変数、目的関数および制約条件を記憶している。記憶部１８０１は、定数、変数、目的関数および制約条件を求解部１８０４に入力する。記憶部１８０１は、例えば、メモリ３０２である。記憶部１８０１は、具体的には、図４〜図１７の各種情報などを記憶する。動的に変化しない定数、変数、目的関数および制約条件は、実施の形態にかかる配置探索プログラムに記述されていてもよい。
管理部１８０２は、サーバ１１１に配置されている仮想マシンの情報に基づいて、図６の配置済みサイズ情報６００を書き換える。配置済みサイズ情報６００は、サーバ１１１ごとに、当該サーバ１１１に配置済みの仮想マシンの合計サイズが格納されている。配置済みサイズ定義情報は、例えば、記憶部１８０１に記憶されていてもよい。
判定部１８０３は、仮想マシンの追加配置、仮想マシンの初期配置、および、仮想マシンの再配置のいずれに対応した混合整数計画問題を解くべきかを判定する。判定部１８０３は、判定結果に基づいて、仮想マシンの追加配置、仮想マシンの初期配置、および仮想マシンの再配置のいずれに対応した混合整数計画問題を解く指示を、求解部１８０４に出力する。
求解部１８０４は、記憶部１８０１から渡される定数、変数、目的関数および制約条件と、判定部１８０３からの指示とに基づいて、混合整数計画問題を解く。混合整数計画問題は、サーバに要求される演算リソースの関数として記述された混合整数計画問題である。混合整数計画問題は、例えば、仮想マシンの配置に関するパラメータを用いて、サーバが実行する仮想マシンの合計サイズの関数として記述され、サーバでの消費電力と空調設備での消費電力と電源設備での消費電力との合計消費電力を目的関数とする。
求解部１８０４は、例えば、仮想マシンの初期配置に対応した混合整数計画問題を解くことによって、全てのサーバ１１１が停止している状態で、１個以上のサーバ１１１に１個以上の仮想マシンを配置する。また、求解部１８０４は、例えば、仮想マシンの追加配置に対応した混合整数計画問題を解くことによって、１個以上のサーバ１１１に１個以上の仮想マシンが既に配置されている状態に対して、さらに１個以上の仮想マシンを追加で配置してもよい。
また、求解部１８０４は、例えば、仮想マシンの再配置に対応した混合整数計画問題を解くことによって、１個以上のサーバ１１１に１個以上の仮想マシンが既に配置されている状態に対して、仮想マシンを配置しなおしてもよい。また、求解部１８０４は、一定時間ごとに仮想マシンの再配置を行うようにしてもよい。また、求解部１８０４は、例えば、ライブマイグレーションによる消費電力を考慮した、仮想マシンの再配置に対応した混合整数計画問題を解くことによって、仮想マシンをライブマイグレーションによって配置しなおしてもよい。
求解部１８０４は、具体的には、それぞれのサーバ１１１に配置済みの仮想マシンの合計サイズがｗ0 ijであり、追加で配置するｎ番目の仮想マシンのサイズがτnであると設定する。そして、求解部１８０４は、後述する式（１）の目的関数と、後述する式（５）〜式（１０）の制約条件とによって規定される混合整数計画問題をソルバーによって解くことにより、仮想マシンの追加配置に対応した混合整数計画問題の解を求める。ソルバーは、例えば、ＧＬＰＫやＳＹＭＰＨＯＮＹやＧｕｒｏｂｉ Ｏｐｔｉｍｉｚｅｒなどである。これにより、求解部１８０４は、仮想マシンの追加配置に対応した混合整数計画問題を解くことができる。
また、求解部１８０４は、具体的には、それぞれのサーバ１１１に配置済みの仮想マシンの合計サイズｗ0 ijが０であり、追加で配置するｎ番目の仮想マシンのサイズがτnであると設定してもよい。そして、求解部１８０４は、後述する式（１）の目的関数と、後述する式（５）〜式（１０）の制約条件とによって規定される混合整数計画問題をソルバーによって解くことにより、仮想マシンの初期配置に対応した混合整数計画問題の解を求める。これにより、求解部１８０４は、仮想マシンの初期配置に対応した混合整数計画問題を解くことができる。
また、求解部１８０４は、具体的には、それぞれのサーバ１１１に配置済みの仮想マシンの合計サイズｗ0 ijが０であり、それぞれのサーバ１１１に配置済みの仮想マシンを追加で配置する仮想マシンとして設定してもよい。そして、求解部１８０４は、後述する式（１）の目的関数と、後述する式（５）〜式（１０）の制約条件とによって規定される混合整数計画問題をソルバーによって解くことにより、仮想マシンの再配置に対応した混合整数計画問題の解を求める。これにより、求解部１８０４は、仮想マシンの再配置に対応した混合整数計画問題を解くことができる。
配置部１８０５は、求解部１８０４が導出する混合整数計画問題の解に基づいて、サーバ１１１に仮想マシンを配置する。配置部１８０５は、例えば、混合整数計画問題の解となる、サーバ１１１が実行する仮想マシンの合計サイズｗijに基づいて、サーバ１１１に仮想マシンを配置する。
推定部１８０６は、パラメータの初期値を設定する。パラメータは、例えば、サーバ１１１、空調設備１１２、電源設備１１３、熱移動の特性をあらわす個々の係数ではなく、係数を組み合わせた多項式によってあらわされる。推定部１８０６は、第１の性能情報、第２の性能情報、第３の性能情報、および、熱結合情報の少なくともいずれかに基づき、パラメータの初期値を設定する。第１の性能情報とは、複数のサーバ１１１の消費電力に関する性能情報である。第２の性能情報とは、施設１１０に設置された空調設備１１２の消費電力に関する性能情報である。第３の性能情報とは、施設１１０に配置された電源設備１１３の消費電力に関する性能情報である。
パラメータの初期値は、第１の性能情報、第２の性能情報、第３の性能情報、および、熱結合情報の少なくともいずれかに基づき設定された、サーバ１１１が実行する仮想マシンの合計サイズに対する施設１１０全体の消費電力に関する初期値を含む。パラメータの初期値は、例えば、後述する式（１５）によって規定される初期値を含む。
推定部１８０６は、例えば、図１１，図１３〜図１６の各種情報が示す定数を、後述する式（１５）に代入することにより、パラメータの初期値を算出し、パラメータの初期値を設定する。このとき、推定部１８０６は、図１１，図１３〜図１６のいずれかの情報が示す定数が分からなければ、当該定数の代わりとして用いられる所定値を後述する式（１５）に代入することにより、パラメータの初期値を算出してもよい。定数の代わりとして用いられる所定値は、例えば、１である。
パラメータの初期値は、第１の性能情報、第２の性能情報、第３の性能情報、および、熱結合情報の少なくともいずれかに基づき設定された、サーバ１１１への電源投入の有無に対する施設１１０全体の消費電力に関する初期値を含む。パラメータの初期値は、例えば、後述する式（１６）によって規定される初期値を含む。
推定部１８０６は、例えば、図１２〜図１６の各種情報が示す定数を、後述する式（１６）に代入することにより、パラメータの初期値を算出し、パラメータの初期値を設定する。このとき、推定部１８０６は、図１２〜図１６のいずれかの情報が示す定数が分からなければ、当該定数の代わりとして用いられる所定値を後述する式（１６）に代入することにより、パラメータの初期値を算出してもよい。定数の代わりとして用いられる所定値は、例えば、１である。
パラメータの初期値は、第２の性能情報、第３の性能情報、および、熱結合情報の少なくともいずれかに基づき設定された、施設１１０全体での常時消費される消費電力に関する初期値を含む。パラメータの初期値は、例えば、後述する式（１７）によって規定される初期値を含む。
推定部１８０６は、例えば、図１３〜図１７の各種情報が示す定数を、後述する式（１７）に代入することにより、パラメータの初期値を算出し、パラメータの初期値を設定する。このとき、推定部１８０６は、図１３〜図１７のいずれかの情報が示す定数が分からなければ、当該定数の代わりとして用いられる所定値を後述する式（１７）に代入することにより、パラメータの初期値を算出してもよい。定数の代わりとして用いられる所定値は、例えば、１である。
また、推定部１８０６は、逐次的なパラメータ推定方法により、施設１１０全体での消費電力を最適化するように、パラメータを更新する。逐次的なパラメータ推定方法は、例えば、逐次最小二乗法、忘却要素を用いた逐次最小二乗法、矩形窓を用いた逐次最小二乗法、カルマンフィルタなどである。推定部１８０６は、例えば、逐次的なパラメータ推定方法により、施設１１０全体での消費電力への影響量をより精度よくあらわすようにパラメータを更新する。
推定部１８０６は、具体的には、施設１１０全体での消費電力の計算上の値が、配置部１８０５がサーバ１１１に仮想マシンを配置した後の施設１１０全体での消費電力の計測値に近づくように、パラメータを更新する。推定部１８０６は、より具体的には、後述する式（１９）および式（２０）によって規定される更新式を解くことにより、パラメータを更新する。
（配置探索装置１００が仮想マシンの配置を制御する具体的な流れ）
ここでは、下記（Ｄ−１）〜（Ｄ−３）のデータセンタ２１０の状況に対応する混合整数計画問題としての定式化について説明する。混合整数計画問題は、具体的には、配置する仮想マシンの種類や数が変化しても、混合整数計画問題に用いられる変数やパラメータの個数が変化しないように規定される。
（Ｄ−１）図４のデータセンタ構造情報４００が示すように、データセンタ２１０に設置されたラック２２０の数がＮ個であり、１ラック２２０あたりのサーバ１１１の数がＳ個であり、データセンタ２１０に設置された空調設備１１２の数がＣ個であるとする。
（Ｄ−２）図５の最大サイズ定義情報５００が示すように、ｉ番目のラック２２０のｊ番目のサーバ１１１に配置可能な仮想マシンの最大サイズがＬijであるとする。また、図６の配置済みサイズ情報６００が示すように、ｉ番目のラック２２０のｊ番目のサーバ１１１に配置済みの仮想マシンの合計サイズがｗ0 ijであるとする。
（Ｄ−３）図７の追加配置数情報７００が示すように、追加で配置すべき仮想マシンの数がＭ個であるとする。また、図８の仮想マシンサイズ情報８００が示すように、追加で配置すべきＭ個の仮想マシンに１〜Ｍの番号を付したときのｎ番目の仮想マシンのサイズがτnであるとする。
上記（Ｄ−１）〜（Ｄ−３）の状況において、混合整数計画問題は、具体的には、下記式（１）の目的関数となる最小化関数と、下記式（５）〜式（１０）の制約条件によって規定される。下記式（１）は、行ベクトルと列ベクトルとの内積である。下記式（１）は、データセンタ２１０全体での消費電力をあらわすように規定され、制約条件の元で最小化される対象である。
Figure 0006699720
上記式（１）のうち、ｗは、下記式（２）によって規定される。ｗは、具体的には、ｉ番目のラック２２０のｊ番目のサーバ１１１が実行する仮想マシンの合計サイズｗijを要素として並べたベクトルである。ｗの要素の数は、配置する仮想マシンの種類や数ではなく、サーバ１１１の数に対応し、Ｎ×Ｓである。このため、ｗの要素の数は、配置する仮想マシンの種類や数が変化しても、変化しない。
Figure 0006699720
上記式（１）のうち、ｖは、下記式（３）によって規定される。ｖは、具体的には、ｉ番目のラック２２０のｊ番目のサーバ１１１の電源がオンであるかオフであるかを示す、ｖijを要素として並べたベクトルである。ｖijの値が０であればサーバ１１１への電源投入がなくサーバ１１１の電源がオフであり、ｖijの値が１であればサーバ１１１への電源投入がありサーバ１１１の電源がオンであることを示す。ｖの要素の数は、配置する仮想マシンの種類や数ではなく、サーバ１１１の数に対応し、Ｎ×Ｓである。このため、ｖの要素の数は、配置する仮想マシンの種類や数が変化しても、変化しない。
Figure 0006699720
上記式（１）のうち、θTは、下記式（４）によって規定される。θTは、具体的には、ｗの各要素についての係数となるパラメータθw 1,1〜θw N,Sを要素とし、ｖの各要素についての係数となるパラメータθv 1,1〜θv N,Sを要素とし、定数１についての係数となるθbを要素として並べたベクトルである。
Figure 0006699720
ここで、上記式（１）のｗと上記式（４）のθw 1,1〜θw N,Sとによって、サーバ１１１が実行する仮想マシンの合計サイズに対するデータセンタ２１０全体での消費電力があらわされるようにする。このため、θw 1,1〜θw N,Sには、サーバ１１１が実行する仮想マシンの単位サイズあたりのデータセンタ２１０全体での消費電力への影響量をより精度よくあらわす値が設定されることが好ましい。
また、上記式（１）のｖと上記式（４）のθv 1,1〜θv N,Sとによって、サーバ１１１への電源投入の有無に対するデータセンタ２１０全体の消費電力があらわされるようにする。このため、θv 1,1〜θv N,Sには、サーバ１１１への電源投入の有無によるデータセンタ２１０全体での消費電力への影響量をより精度よくあらわす値が設定されることが好ましい。
また、上記式（１）の定数１と上記式（４）のθbによって、ｗやｖに関わらない定数であって、データセンタ２１０全体の消費電力のうち常時消費される消費電力があらわされるようにする。このため、θbには、データセンタ２１０全体での常時消費される消費電力をより精度よくあらわす値が設定されることが好ましい。
これによれば、配置される仮想マシンの種類や数に関わらずパラメータの個数が変化せず、かつ、パラメータに好ましい値が設定されればデータセンタ２１０全体での消費電力を精度よくあらわすことができる目的関数が規定される。さらに、上記目的関数に対して、制約条件が下記式（５）〜式（１０）によって規定される。
下記式（５）は、ｘn,i,jが、「０」か「１」かのいずれかの値をとる離散変数であることを示す制約条件である。ｘn,i,jは、ｎ番目の仮想マシンが、ｉ番目のラック２２０のｊ番目のサーバ１１１に割り当てられているか否かを示す。ｘn,i,jは、ｉ番目のラック２２０のｊ番目のサーバ１１１でｎ番目の仮想マシンが実行されるときに１であり、ｎ番目の仮想マシンが実行されないときに０である。換言すれば、下記式（５）は、仮想マシンの配置をあらわすことができる。下記式（５）により、ｘn,i,jが「０，１」以外の値をとらないようにする。
Figure 0006699720
下記式（６）は、上述したｖi,jが、「０」か「１」かのいずれかの値をとる離散変数であることを示す制約条件である。ｖi,jは、ｉ番目のラック２２０のｊ番目のサーバ１１１への電源投入があり電源がオンであるときに１であり、電源投入がなく電源がオフであるときに０である。換言すれば、下記式（６）は、サーバ１１１の電源がオンであるかオフであるかをあらわすことができる。下記式（６）により、変数ｖijが、「０，１」以外の値をとらないようにする。
Figure 0006699720
下記式（７）は、各々のサーバ１１１に関するｘn,i,jの総和が「１」になることを示す制約条件である。このため、上記式（５）を考慮すれば、各々のサーバ１１１のうち、いずれか１つのサーバ１１１に関する変数ｘn,i,jが「１」になり、残余のサーバ１１１に関する変数ｘn,i,jが「０」になる。換言すれば、下記式（７）は、ｎ番目の仮想マシンはいずれか１つのサーバ１１１に割り当てられることを示し、２つ以上のサーバ１１１に割り当てられる場合やサーバ１１１に割り当てられない場合がないことをあらわすことができる。
Figure 0006699720
下記式（８）は、ｉ番目のラック２２０のｊ番目のサーバ１１１が実行する仮想マシンの合計サイズｗijが、配置済みの仮想マシンの合計サイズｗ0 ijと、追加で配置される仮想マシンのサイズτnとの和であることを示す制約条件である。換言すれば、下記式（８）は、追加で仮想マシンを配置した後に、ｉ番目のラック２２０のｊ番目のサーバ１１１が実行することになる仮想マシンの合計サイズｗijをあらわすことができる。
Figure 0006699720
下記式（９）は、ｉ番目のラック２２０のｊ番目のサーバ１１１が実行する仮想マシンの合計サイズｗijが、ｉ番目のラック２２０のｊ番目のサーバ１１１に配置可能な仮想マシンの最大サイズＬij以下であることを示す制約条件である。換言すれば、下記式（９）は、仮想マシンを追加しても実行することができないサーバ１１１に仮想マシンを追加しないことをあらわすことができる。
Figure 0006699720
下記式（１０）は、ｉ番目のラック２２０のｊ番目のサーバ１１１の電源がオンである場合にはｉ番目のラック２２０のｊ番目のサーバ１１１に１個以上の仮想マシンが配置されることを示す制約条件である。また、下記式（１０）は、ｉ番目のラック２２０のｊ番目のサーバ１１１に仮想マシンが配置されない場合にはｉ番目のラック２２０のｊ番目のサーバ１１１の電源をオフにすることを示す制約条件でもある。
Figure 0006699720
ここで、上述したように、混合整数計画問題の目的関数に用いられるパラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbには、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値が設定されることが望まれる。このため、逐次的なパラメータ推定方法を用いて、混合整数計画問題を解く都度、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbを好ましい値に近づくように更新する。このとき、逐次的なパラメータ推定方法には、下記（Ｍ−１）および（Ｍ−２）のような性質がある。
（Ｍ−１）パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値が、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値に比較的近い場合がある。この場合では、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbが、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値に近づくまでにかかる時間または処理量が低減化される傾向がある。
（Ｍ−２）パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値が、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値から比較的遠い場合がある。この場合では、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbが、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値に近づくまでにかかる時間または処理量が増大化しやすい傾向がある。結果としてこの場合では、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbが、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値に近づくまでの間、データセンタ２１０全体での消費電力を低減化することが難しくなる。
このため、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値についても、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値に比較的近い値を用いることが好ましい。そこで、データセンタ２１０全体での消費電力について説明し、データセンタ２１０全体での消費電力を低減する観点から好ましい値に比較的近くなる、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値について説明する。
ここで、データセンタ２１０全体での消費電力について説明するために、データセンタ２１０に設置されたサーバ１１１、空調設備１１２となる空調室内機２３１および空調室外機２３２、電源設備１１３が有する消費電力に関する性質について説明する。例えば、サーバ１１１は、消費電力に関して下記（Ｓ−１）〜（Ｓ−３）のような性質を有する。
（Ｓ−１）サーバ１１１において仮想マシンが１個でも実行されるときにはサーバ１１１の電源がオンになり、サーバ１１１において仮想マシンが実行されないときにはサーバ１１１の電源がオフになる。
（Ｓ−２）サーバ１１１の電源がオンになるとサーバ１１１において一定の電力が消費される。
（Ｓ−３）サーバ１１１において実行される仮想マシンの合計サイズが増えると負荷が高くなり、実行される仮想マシンの合計サイズに応じて消費電力が増える。
また、例えば、電源設備１１３は、消費電力に関して下記（Ｕ−１）および（Ｕ−２）のような性質を有する。
（Ｕ−１）ラック２２０内のサーバ１１１の動作状態に関わらず、ラック２２０内の電源設備１１３において常に一定の電力が消費される。
（Ｕ−２）ラック２２０内のサーバ１１１の合計消費電力が増えると、ラック２２０内のサーバ１１１の合計消費電力に応じてラック２２０内の電源設備１１３の消費電力が増える。
また、例えば、空調室内機２３１は、消費電力に関して下記（Ｃ−１）および（Ｃ−２）のような性質を有する。
（Ｃ−１）空調室内機２３１において常に一定の電力が消費される。
（Ｃ−２）ｋ番目の空調室内機２３１に流入する熱流量が増えると、ｋ番目の空調室内機２３１の消費電力が増える。
また、例えば、空調室外機２３２は、消費電力に関して下記（Ｃ−３）および（Ｃ−４）のような性質を有する。
（Ｃ−３）ｋ番目の空調室外機２３２に流入する熱流量は、ｋ番目の空調室内機２３１から排出される熱流量に等しい。
（Ｃ−４）ｋ番目の空調室外機２３２から排出される熱流量が増えると、ｋ番目の空調室外機２３２の消費電力が増える。
以上、データセンタ２１０に設置されたサーバ１１１、空調設備１１２となる空調室内機２３１および空調室外機２３２、電源設備１１３が、上述したような消費電力に関する性質を有する。このため、データセンタ２１０全体での消費電力は、下記式（１１）によって規定されることになる。
Figure 0006699720
上記式（１１）は、データセンタ２１０に設置されたサーバ１１１、空調室内機２３１および空調室外機２３２、電源設備１１３が有する性質に基づき、図１１〜図１７の各種情報が示す定数を用いて、データセンタ２１０全体での消費電力を示した数式である。ここでは、図１１〜図１７の各種情報が示す定数の説明については、図１１〜図１７と重複するため、省略する。さらに、データセンタ２１０における熱結合は、下記（Ｑ−１）〜（Ｑ−３）の性質を有する。
（Ｑ−１）各空調室内機２３１から排出される熱流量は、各空調室内機２３１に流入する熱流量に、当該空調室内機２３１で発生した熱流量（すなわち、消費電力）を足したものである。ここで、（Ｑ−１）の性質は、例えば、下記式（１２）によって規定される。
Figure 0006699720
（Ｑ−２）各空調室内機２３１に流入する熱流量は、各ラック２２０から排出される熱流量である。（Ｑ−２）の性質は、例えば、下記式（１３）によって規定される。
Figure 0006699720
（Ｑ−３）各ラック２２０から排出される熱流量は、各ラック２２０に流入する熱流量に、当該ラック２２０で発生した熱流量（すなわち、消費電力）を足したものである。（Ｑ−３）の性質は、例えば、下記式（１４）によって規定される。
Figure 0006699720
ここで、以上説明した、上記式（１１）によって規定されたデータセンタ２１０全体での消費電力を、上記式（１２）〜式（１４）を参照して、上記式（１）によって規定されたデータセンタ２１０全体での消費電力と比較する。これにより、上記式（１）のパラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値は、下記式（１５）〜式（１７）によって規定される。
Figure 0006699720
Figure 0006699720
Figure 0006699720
これにより、混合整数計画問題に用いられるパラメータを、比較的好ましい初期値から始めることができる。これにより、配置探索装置１００は、混合整数計画問題に用いられるパラメータを好ましい値に近づける間も、混合整数計画問題に用いられるパラメータとして比較的好ましい値を用いて、データセンタ２１０全体での消費電力を低減化することができる。
その後、配置探索装置１００は、上記式（５）〜式（１０）の制約条件を満たすように、上記式（１５）〜式（１７）のパラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値を用いて、上記式（１）の目的関数を最小化する解を求める。上記式（１）の目的関数を最小化する解は、例えば、下記式（１８）によって規定される。
Figure 0006699720
そして、配置探索装置１００は、求めた解に基づいて、複数のサーバ１１１に複数の仮想マシンを配置する。一方で、電力計２４０は、混合整数計画問題の解に基づき複数のサーバ１１１に複数の仮想マシンが配置された状態におけるデータセンタ２１０全体での消費電力を計測し、計測したデータセンタ２１０全体での消費電力を配置探索装置１００に送信する。以下の説明では、計測したデータセンタ２１０全体での消費電力を「実消費電力」と表記する場合がある。
（配置探索装置１００が混合整数計画問題のパラメータを更新する具体的な流れ）
上述したように、混合整数計画問題の目的関数に用いられるパラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbには、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値が設定されることが望まれる。このため、配置探索装置１００は、逐次的なパラメータ推定方法を用いて、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbを更新する。
例えば、逐次最小二乗法は、下記式（１９）および式（２０）によって規定される。ｐは、データセンタ２１０全体での実消費電力を示す。θTξ*は、データセンタ２１０全体での計算上の消費電力を示す。このため、下記式（１９）および式（２０）によって、データセンタ２１０全体での計算上の消費電力が、データセンタ２１０全体での実消費電力に近づくように、パラメータが更新されることになる。
Figure 0006699720
Figure 0006699720
パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbを最初に更新する際には、上記式（２０）のＰの初期値は、例えば、下記式（２１）によって規定される。Ｉ2NS+1は、サイズが２ＮＳ＋１の単位行列である。γは、比較的大きな正の値である。パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbを２回目以降に更新する際には、Ｐについても更新された値を用いる。
Figure 0006699720
これにより、配置探索装置１００は、逐次的なパラメータ推定方法により、混合整数計画問題に用いられるパラメータを、より好ましい値へと更新することができる。結果として、配置探索装置１００は、より好ましい値に更新されたパラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbを用いて、上記式（１）の目的関数を最小化する解を求めることができる。そして、配置探索装置１００は、データセンタ２１０全体での消費電力を効果的に低減することができる。
具体的には、配置探索装置１００は、データセンタ全体での消費電力を目的関数とする混合整数計画問題として、上記式（１）の目的関数および上記式（５）〜式（１０）の制約条件を規定している。そして、配置探索装置１００は、上記式（１）の目的関数に用いられるパラメータとして、逐次的に、より好ましい値を用いることができる。また、配置探索装置１００は、上記式（５）〜式（１０）の制約条件に用いられる係数として、予め正確な値が判明している係数を用いることができる。
これらのことから、配置探索装置１００は、より好ましいパラメータや正確な係数を用いた混合整数計画問題を規定することができ、混合整数計画問題の目的関数がより正確にデータセンタ２１０全体での消費電力をあらわすようにすることができる。結果として、配置探索装置１００は、混合整数計画問題を解くことにより、データセンタ２１０全体での消費電力を効果的に低減することができる。
ところで、例えば、αij、βij、λk、μk、κk、ηi、εi、ψki、ｑsup,iなどをパラメータとして、データセンタ２１０全体での消費電力を目的関数とする混合整数計画問題を定式化し、消費電力の低減化を図る場合が考えられる。しかしながら、この場合では、αij、βij、λk、μk、κk、ηi、εi、ψki、ｑsup,iなどを精度よく求めることが難しいため、データセンタ２１０全体での消費電力を効果的に低減することが難しい傾向がある。
一方で、αij、βij、λk、μk、κk、ηi、εi、ψki、ｑsup,iは、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値を算出するために用いる場合には有効である傾向がある。そこで、配置探索装置１００は、αij、βij、λk、μk、κk、ηi、εi、ψki、ｑsup,iを直接パラメータとして用いず、パラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbの初期値を求める際に用いるようにしている。これにより、配置探索装置１００は、αij、βij、λk、μk、κk、ηi、εi、ψki、ｑsup,iを直接パラメータとして用いる場合に比べて、データセンタ２１０全体での消費電力を効果的に低減しやすくすることができる。
（配置探索装置１００が混合整数計画問題のパラメータを更新した結果の一例）
次に、図１９を用いて、配置探索装置１００が混合整数計画問題のパラメータを更新した結果の一例について説明する。
図１９は、配置探索装置１００が混合整数計画問題のパラメータを更新した結果の一例を示す説明図である。以上に示したように、配置探索装置１００は、上述した混合整数計画問題の解を求める都度、上述した逐次的最小二乗法によって上述した混合整数計画問題の目的関数に用いられるパラメータθw 1,1〜θw N,S、θv 1,1〜θv N,S、θbを更新していく。
図１９の例では、パラメータθbについて説明するが、他のパラメータについても同様である。以下の説明では、パラメータθbの値であって、データセンタ２１０全体での消費電力への影響を精度よくあらわし、データセンタ２１０全体での消費電力の低減化を図る観点から好ましい値を「パラメータθbの真値」と表記する場合がある。
図１９に示すように、逐次最小二乗法によって更新されるにつれて、パラメータθbの値は、パラメータθbの真値に近づいていく。これにより、配置探索装置１００は、逐次的なパラメータ推定方法により、混合整数計画問題に用いられるパラメータを、より好ましい値へと更新していくことができる。
また、パラメータθbの初期値を上記式（１４）によって規定した場合、パラメータθbの初期値を０にした場合に比べて、パラメータθbの真値に近づくまでにかかる時間や処理量が低減化される。これにより、配置探索装置１００は、混合整数計画問題に用いられるパラメータとして比較的好ましくない値を用いてしまう回数を低減化することができ、データセンタ２１０全体での消費電力を低減化することができる。
（仮想マシンの配置処理手順）
次に、図２０を用いて、仮想マシンの配置処理手順について説明する。
図２０は、仮想マシンの配置処理手順の一例を示すフローチャートである。図２０において、まず、配置探索装置１００は、仮想マシンの配置が開始されると、仮想マシンの配置の種類が、追加配置、初期配置、および再配置のいずれであるかを判定する（ステップＳ２００１）。
次に、配置探索装置１００は、判定結果に基づいて、記憶部１８０１に記憶された定数および変数の値を読み出し、目的関数および制約条件を設定する（ステップＳ２００２）。そして、配置探索装置１００は、読み出した定数および変数、設定した目的関数および制約条件に基づいて、ソルバーによって混合整数計画問題を解き、解を求める（ステップＳ２００３）。
次に、配置探索装置１００は、求めた解に基づいて、仮想マシンを配置する（ステップＳ２００４）。そして、配置探索装置１００は、仮想マシンを配置した状態におけるデータセンタ２１０全体での実消費電力を取得する（ステップＳ２００５）。
次に、配置探索装置１００は、取得した実消費電力に基づいて、混合整数計画問題のパラメータを更新する（ステップＳ２００６）。そして、配置探索装置１００は、仮想マシンの配置処理を終了する。これにより、配置探索装置１００は、データセンタ２１０全体での消費電力が低減化されるように仮想マシンを配置することができる。
以上説明したように、配置探索装置１００によれば、パラメータの初期値に、第１の性能情報、第２の性能情報、第３の性能情報、および、熱結合情報のうち、少なくともいずれかに基づき設定された初期値を用いることができる。そして、配置探索装置１００によれば、複数のサーバ１１１を有する施設１１０全体での消費電力を最適化するように、パラメータを用いて複数のサーバ１１１への複数の仮想マシンの配置を求めることができる。また、配置探索装置１００によれば、逐次的なパラメータ推定方法によりパラメータを更新することができる。
これによれば、配置探索装置１００は、逐次的なパラメータ推定方法により、混合整数計画問題に用いられるパラメータを、比較的好ましい初期値から始めて、より好ましい値へと更新していくことができる。これにより、配置探索装置１００は、混合整数計画問題に用いられるパラメータが好ましい値に近づくまでにかかる時間の低減化を図ることができる。結果として、配置探索装置１００は、混合整数計画問題に用いられるパラメータとして比較的好ましくない値を用いてしまう回数を低減化することができ、施設１１０全体での消費電力を低減化することができる。
また、配置探索装置１００によれば、パラメータを用いてサーバ１１１が実行する仮想マシンの合計サイズの関数として記述された、施設１１０全体での消費電力を目的関数とする混合整数計画問題を用いることができる。そして、配置探索装置１００によれば、混合整数計画問題を解き、混合整数計画問題の解に基づいて配置を求めることができる。これにより、配置探索装置１００は、配置する仮想マシンの種類や数に関わらずパラメータの数が変化しない混合整数計画問題を用いることができ、最小二乗法によってパラメータを更新可能にすることができる。
また、配置探索装置１００によれば、第１〜第３の性能情報、および、熱結合情報に基づき設定された、サーバ１１１が使用する演算リソースに対する施設１１０全体の消費電力に関する初期値を含むパラメータの初期値を用いることができる。これにより、配置探索装置１００は、サーバ１１１が使用する演算リソースに対する施設１１０全体の消費電力に関するパラメータを、比較的好ましい値から始めることができる。そして、配置探索装置１００は、サーバ１１１が実行する仮想マシンの合計サイズに対する施設１１０全体の消費電力に関するパラメータが、施設１１０全体での消費電力を低減化する観点から好ましい値に近づくまでにかかる時間を低減化することができる。
また、配置探索装置１００によれば、第１〜第３の性能情報、および、熱結合情報に基づき設定された、サーバ１１１の電源投入の有無に対する施設１１０全体の消費電力に関する初期値を含むパラメータの初期値を用いることができる。これにより、配置探索装置１００は、サーバ１１１の電源投入の有無に対する施設１１０全体の消費電力に関するパラメータを、比較的好ましい値から始めることができる。そして、配置探索装置１００は、サーバ１１１の電源投入の有無に対する施設１１０全体の消費電力に関するパラメータが、施設１１０全体での消費電力を低減化する観点から好ましい値に近づくまでにかかる時間を低減化することができる。
また、配置探索装置１００によれば、パラメータの初期値は、第２および第３の性能情報、および、熱結合情報に基づき設定された、施設１１０全体での常時消費される消費電力に関する初期値を含むパラメータの初期値を用いることができる。これにより、配置探索装置１００は、施設１１０全体での常時消費される消費電力に関するパラメータを、比較的好ましい値から始めることができる。そして、配置探索装置１００は、施設１１０全体での常時消費される消費電力に関するパラメータが、施設１１０全体での消費電力を低減化する観点から好ましい値に近づくまでにかかる時間を低減化することができる。
なお、本実施の形態で説明した配置探索方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本配置探索プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本配置探索プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）複数のサーバを有する施設における、前記複数のサーバへの複数の仮想マシンの配置を探索するプログラムであって、
前記複数のサーバへの前記複数の仮想マシンの配置に関するパラメータの初期値を、前記複数のサーバの消費電力に関する第１の性能情報、前記施設に設置された空調設備の消費電力に関する第２の性能情報、前記施設に配置された電源設備の消費電力に関する第３の性能情報、および、前記複数のサーバ間および前記複数のサーバと前記空調設備との間の熱結合に関する熱結合情報のうち、少なくともいずれかに基づき設定し、
逐次的なパラメータ推定方法により前記施設全体の消費電力を最適化するように、前記パラメータを更新する、
処理をコンピュータに実行させることを特徴とする配置探索プログラム。
（付記２）前記パラメータを用いて前記サーバが実行する仮想マシンの合計サイズの関数として記述された、前記サーバでの消費電力と前記空調設備での消費電力と前記電源設備での消費電力との合計消費電力を目的関数とする混合整数計画問題を解き、前記混合整数計画問題の解に基づいて前記配置を求める、
処理を前記コンピュータに実行させることを特徴とする付記１に記載の配置探索プログラム。
（付記３）前記設定する処理は、
前記第１の性能情報、前記第２の性能情報、前記第３の性能情報、および、前記熱結合情報に基づき、前記サーバが実行する仮想マシンの合計サイズに対する前記施設全体の消費電力に関する初期値を含む、前記パラメータの初期値を設定する、ことを特徴とする付記１または２に記載の配置探索プログラム。
（付記４）前記設定する処理は、
前記第１の性能情報、前記第２の性能情報、前記第３の性能情報、および、前記熱結合情報に基づき、前記サーバが電源投入の有無に対する前記施設全体の消費電力に関する初期値を含む、前記パラメータの初期値を設定する、ことを特徴とする付記１〜３のいずれか一つに記載の配置探索プログラム。
（付記５）前記設定する処理は、
前記第２の性能情報、前記第３の性能情報、および、前記熱結合情報に基づき、前記施設全体での常時消費される消費電力に関する初期値を含む、前記パラメータの初期値を設定する、ことを特徴とする付記１〜４のいずれか一つに記載の配置探索プログラム。
（付記６）複数のサーバを有する施設における、前記複数のサーバへの複数の仮想マシンの配置を探索する方法であって、
前記複数のサーバへの前記複数の仮想マシンの配置に関するパラメータの初期値を、前記複数のサーバの消費電力に関する第１の性能情報、前記施設に設置された空調設備の消費電力に関する第２の性能情報、前記施設に配置された電源設備の消費電力に関する第３の性能情報、および、前記複数のサーバ間および前記複数のサーバと前記空調設備との間の熱結合に関する熱結合情報のうち、少なくともいずれかに基づき設定し、
逐次的なパラメータ推定方法により前記施設全体での消費電力を最適化するように、前記パラメータを更新する、
処理をコンピュータが実行することを特徴とする配置探索方法。
（付記７）複数のサーバを有する施設における、前記複数のサーバへの複数の仮想マシンの配置を探索する装置であって、
前記複数のサーバへの前記複数の仮想マシンの配置に関するパラメータの初期値を、前記複数のサーバの消費電力に関する第１の性能情報、前記施設に設置された空調設備の消費電力に関する第２の性能情報、前記施設に配置された電源設備の消費電力に関する第３の性能情報、および、前記複数のサーバ間および前記複数のサーバと前記空調設備との間の熱結合に関する熱結合情報のうち、少なくともいずれかに基づき設定し、
逐次的なパラメータ推定方法により前記施設全体での消費電力を最適化するように、前記パラメータを更新する、
制御部を有することを特徴とする配置探索装置。
１００ 配置探索装置
１１０ 施設
２００ 電子計算機システム
２１０ データセンタ
２２０ ラック
２３１ 空調室内機
２３２ 空調室外機
２４０ 電力計
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ Ｉ／Ｆ
３０４ ディスクドライブ
３０５ ディスク
４００ データセンタ構造情報
５００ 最大サイズ定義情報
６００ 配置済みサイズ情報
７００ 追加配置数情報
８００ 仮想マシンサイズ情報
９００ パラメータ情報
１０００ 定数情報
１１００ 動作消費電力情報
１２００ ベース消費電力情報
１３００ 室内機情報
１４００ 室外機情報
１５００ 電源設備情報
１６００ 熱流量関係情報
１７００ 供給熱流量情報
１８０１ 記憶部
１８０２ 管理部
１８０３ 判定部
１８０４ 求解部
１８０５ 配置部
１８０６ 推定部

Claims (4)

  1. 複数のサーバを有する施設における、前記複数のサーバへの複数の仮想マシンの配置を探索するプログラムであって、
    前記複数のサーバへの前記複数の仮想マシンの配置に関し、前記サーバが実行する仮想マシンの単位サイズあたりの前記施設全体での消費電力への影響量を表す変数と、前記サーバへの電源投入の有無による前記施設全体での消費電力への影響量を表す変数と、前記施設全体での常時消費される消費電力を表す変数とを要素として含むパラメータの初期値を、前記複数のサーバの消費電力に関する第１の性能情報と前記施設に設置された空調設備の消費電力に関する第２の性能情報と前記施設に配置された電源設備の消費電力に関する第３の性能情報と前記複数のサーバ間および前記複数のサーバと前記空調設備との間の熱結合に関する熱結合情報とにより前記パラメータの初期値を表現する数式に基づき設定し、
    逐次的なパラメータ推定方法により、前記パラメータを用いて表現される前記施設全体での消費電力を目的関数とする混合整数計画問題を解き、前記混合整数計画問題の解に基づいて前記配置を求め、求めた前記配置における計測された前記施設全体での消費電力と、求めた前記配置における前記パラメータを用いて表現される前記施設全体での消費電力とが近づくように、前記パラメータを更新することを繰り返す、
    処理をコンピュータに実行させることを特徴とする配置探索プログラム。
  2. 前記パラメータを用いて表現される前記施設全体での消費電力は、前記パラメータを用いて前記サーバが実行する仮想マシンの合計サイズの関数として記述された、前記サーバでの消費電力と前記空調設備での消費電力と前記電源設備での消費電力との合計消費電力である、ことを特徴とする請求項１に記載の配置探索プログラム。
  3. 複数のサーバを有する施設における、前記複数のサーバへの複数の仮想マシンの配置を探索する方法であって、
    前記複数のサーバへの前記複数の仮想マシンの配置に関し、前記サーバが実行する仮想マシンの単位サイズあたりの前記施設全体での消費電力への影響量を表す係数と、前記サーバへの電源投入の有無による前記施設全体での消費電力への影響量を表す係数と、前記施設全体での常時消費される消費電力を表す係数とを含むパラメータの初期値を、前記複数のサーバの消費電力に関する第１の性能情報と前記施設に設置された空調設備の消費電力に関する第２の性能情報と前記施設に配置された電源設備の消費電力に関する第３の性能情報と前記複数のサーバ間および前記複数のサーバと前記空調設備との間の熱結合に関する熱結合情報とにより前記パラメータの初期値を表現する数式に基づき設定し、
    逐次的なパラメータ推定方法により、前記パラメータを用いて表現される前記施設全体での消費電力を目的関数とする混合整数計画問題を解き、前記混合整数計画問題の解に基づいて前記配置を求め、求めた前記配置における計測された前記施設全体での消費電力と、求めた前記配置における前記パラメータを用いて表現される前記施設全体での消費電力とが近づくように、前記パラメータを更新することを繰り返す、
    処理をコンピュータが実行することを特徴とする配置探索方法。
  4. 複数のサーバを有する施設における、前記複数のサーバへの複数の仮想マシンの配置を探索する装置であって、
    前記複数のサーバへの前記複数の仮想マシンの配置に関し、前記サーバが実行する仮想マシンの単位サイズあたりの前記施設全体での消費電力への影響量を表す係数と、前記サーバへの電源投入の有無による前記施設全体での消費電力への影響量を表す係数と、前記施設全体での常時消費される消費電力を表す係数とを含むパラメータの初期値を、前記複数のサーバの消費電力に関する第１の性能情報と前記施設に設置された空調設備の消費電力に関する第２の性能情報と前記施設に配置された電源設備の消費電力に関する第３の性能情報と前記複数のサーバ間および前記複数のサーバと前記空調設備との間の熱結合に関する熱結合情報とにより前記パラメータの初期値を表現する数式に基づき設定し、
    逐次的なパラメータ推定方法により、前記パラメータを用いて表現される前記施設全体での消費電力を目的関数とする混合整数計画問題を解き、前記混合整数計画問題の解に基づいて前記配置を求め、求めた前記配置における計測された前記施設全体での消費電力と、求めた前記配置における前記パラメータを用いて表現される前記施設全体での消費電力とが近づくように、前記パラメータを更新することを繰り返す、
    制御部を有することを特徴とする配置探索装置。
JP2018507964A 2016-03-30 2016-03-30 配置探索プログラム、配置探索方法、および配置探索装置 Active JP6699720B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/060572 WO2017168664A1 (ja) 2016-03-30 2016-03-30 配置探索プログラム、配置探索方法、および配置探索装置

Publications (2)

Publication Number Publication Date
JPWO2017168664A1 JPWO2017168664A1 (ja) 2019-02-07
JP6699720B2 true JP6699720B2 (ja) 2020-05-27

Family

ID=59962722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018507964A Active JP6699720B2 (ja) 2016-03-30 2016-03-30 配置探索プログラム、配置探索方法、および配置探索装置

Country Status (3)

Country Link
US (1) US11137817B2 (ja)
JP (1) JP6699720B2 (ja)
WO (1) WO2017168664A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023105557A1 (ja) * 2021-12-06 2023-06-15 日本電信電話株式会社 電力量低減制御装置、電力量低減制御方法、電力量低減制御システム、および、プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3115964B2 (ja) * 1993-03-29 2000-12-11 株式会社神戸製鋼所 焼却炉制御方法
JP2002349325A (ja) * 2001-03-19 2002-12-04 Unisia Jecs Corp 内燃機関の空燃比制御装置
JP4563825B2 (ja) 2005-01-25 2010-10-13 株式会社日立産機システム 冷凍機の運転方法及び冷凍機を備えて成る設備
JP4724730B2 (ja) 2008-04-09 2011-07-13 株式会社日立製作所 情報処理システムの運用管理方法、運用管理プログラム、および運用管理装置、ならびに情報処理システム
CN102099791B (zh) 2008-09-17 2012-11-07 株式会社日立制作所 信息处理系统的运用管理方法
US8397088B1 (en) * 2009-07-21 2013-03-12 The Research Foundation Of State University Of New York Apparatus and method for efficient estimation of the energy dissipation of processor based systems
JP5505925B2 (ja) * 2009-08-14 2014-05-28 Ｋｄｄｉ株式会社 ネットワーク運用管理方法及びネットワーク運用管理装置
JP5544967B2 (ja) * 2010-03-24 2014-07-09 富士通株式会社 仮想マシン管理プログラム及び仮想マシン管理装置
JP5422729B2 (ja) * 2010-09-16 2014-02-19 株式会社日立製作所 情報処理システムの運用管理方法、運用管理プログラムおよび運用管理装置、ならびに情報処理システム
WO2013042271A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電子計算機システム及び仮想マシン配置方法
JP5874297B2 (ja) * 2011-10-14 2016-03-02 富士電機株式会社 熱源制御装置、空調システム、熱源制御プログラムおよび熱源制御方法
JP5900599B2 (ja) * 2012-02-20 2016-04-06 富士通株式会社 電子計算機システム及び仮想マシン配置方法
JP5978673B2 (ja) * 2012-03-15 2016-08-24 富士通株式会社 情報処理装置
WO2014178850A1 (en) * 2013-04-30 2014-11-06 Empire Technology Development, Llc Reactive loop sensing in multi-datacenter deployments

Also Published As

Publication number Publication date
US11137817B2 (en) 2021-10-05
JPWO2017168664A1 (ja) 2019-02-07
WO2017168664A1 (ja) 2017-10-05
US20190025899A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
Bash et al. Cool Job Allocation: Measuring the Power Savings of Placing Jobs at Cooling-Efficient Locations in the Data Center.
US8374928B2 (en) Data center power cost accounting system
Coskun et al. Static and dynamic temperature-aware scheduling for multiprocessor SoCs
US8788224B2 (en) Virtual machine placement for minimizing total energy cost in a datacenter
Wang et al. Thermal aware workload placement with task-temperature profiles in a data center
Tang et al. Thermal-aware task scheduling for data centers through minimizing heat recirculation
AU2008255030B2 (en) Methods and systems for managing facility power and cooling
JP6175371B2 (ja) 電子計算機システム及び仮想マシン配置方法
US8744812B2 (en) Computational fluid dynamics modeling of a bounded domain
US20150227397A1 (en) Energy efficient assignment of workloads in a datacenter
JP6193393B2 (ja) 分散コンピューティングシステムのための電力の最適化
US20170255239A1 (en) Energy efficient workload placement management using predetermined server efficiency data
Sharifi et al. PROMETHEUS: A proactive method for thermal management of heterogeneous MPSoCs
Rapp et al. Power-and cache-aware task mapping with dynamic power budgeting for many-cores
Wang et al. Bubble budgeting: Throughput optimization for dynamic workloads by exploiting dark cores in many core systems
US10310912B2 (en) Assigning data processing workloads in data centers based on non-data processing overhead
Cobb et al. Accurate lead time demand modeling and optimal inventory policies in continuous review systems
Zanini et al. Online thermal control methods for multiprocessor systems
Pahlavan et al. Power reduction in HPC data centers: a joint server placement and chassis consolidation approach
Salinas-Hilburg et al. Unsupervised power modeling of co-allocated workloads for energy efficiency in data centers
JP6699720B2 (ja) 配置探索プログラム、配置探索方法、および配置探索装置
Lee Estimating order lead times in hybrid flowshops with different scheduling rules
Pahlavan et al. Data center power reduction by heuristic variation-aware server placement and chassis consolidation
JP6724635B2 (ja) プログラム、管理方法、管理装置および情報処理システム
JP5978673B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200413

R150 Certificate of patent or registration of utility model

Ref document number: 6699720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150