WO2023162067A1 - 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム - Google Patents

電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム Download PDF

Info

Publication number
WO2023162067A1
WO2023162067A1 PCT/JP2022/007496 JP2022007496W WO2023162067A1 WO 2023162067 A1 WO2023162067 A1 WO 2023162067A1 JP 2022007496 W JP2022007496 W JP 2022007496W WO 2023162067 A1 WO2023162067 A1 WO 2023162067A1
Authority
WO
WIPO (PCT)
Prior art keywords
room
power consumption
server
load
load distribution
Prior art date
Application number
PCT/JP2022/007496
Other languages
English (en)
French (fr)
Inventor
彦俊 中里
誠亮 新井
雅志 金子
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/007496 priority Critical patent/WO2023162067A1/ja
Publication of WO2023162067A1 publication Critical patent/WO2023162067A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Definitions

  • the present invention relates to a power amount control system, a power amount control method, a power amount control device, and a program for reducing power consumption in a data center (hereinafter sometimes referred to as "DC").
  • DC data center
  • the power consumption of air conditioning in data centers accounts for a large proportion, and there is a demand to reduce the power consumption of air conditioning in accordance with the expansion of the number and scale of DCs.
  • the amount of data processing in the DC tends to increase year by year, and it is necessary to improve the power consumption efficiency of the DC as a whole (the power consumption of the entire DC for processing a certain amount of data).
  • Non-Patent Document 1 A technique described in Non-Patent Document 1 has been published as a technique for optimizing the power consumption of the entire DC in consideration of the power consumption of the air conditioner and the power consumption of the server (IT device).
  • the air-conditioning linked IT load allocation optimization method for data centers in Non-Patent Document 1 by collecting operation information and monitoring information of IT equipment in data centers, future changes in load on IT equipment can be predicted. Calculate the power increment of the air conditioner according to the power increment. Then, an optimization problem that minimizes the objective function, which is the power consumption of the data center, is solved so that the load concentration rate on the IT equipment increases in time series, that is, the number of operating IT equipment is reduced. In this way, the allocation of IT loads (virtual machines) to IT equipment that minimizes the power consumption of the data center is calculated.
  • Non-Patent Document 1 in the technology described in Non-Patent Document 1, in the air conditioning power model used to calculate the power of the air conditioning facility, a general-purpose rule-based standard that does not depend on facility conditions that differ for each DC is adopted. Therefore, it was difficult to optimize for reducing the total power consumption of the DC, taking into account individual equipment conditions such as the location of the air conditioning equipment, airflow, server layout in the DC, and thermal cooling efficiency. . In addition, no consideration has been given to how to allocate the overall load to each room in which the server is placed in one DC in order to reduce the power consumption of the entire DC.
  • the present invention has been made in view of such points, and the object of the present invention is to appropriately distribute the load to each room installed in the DC and reduce the power consumption of the DC as a whole.
  • a power amount control device is communicatively connected to a server and an air conditioner in a room in a data center in which a plurality of rooms in which a plurality of servers and one or more air conditioners are arranged is installed.
  • an in-room power control device provided for each room to control power consumption; and a power control device connected for communication with the room power control device for each room to control the power consumption of the entire data center.
  • each room of the data center includes a plurality of server areas in which a group of servers in which virtual resources are arranged as loads are arranged, and air conditioning control by the air conditioner.
  • a plurality of air-conditioned areas for measuring the effect are set, and the power amount control device acquires information on the total load amount processed in the data center and changes the load allocation ratio to each room.
  • a distribution pattern generating unit that generates a plurality of inter-room load distribution patterns indicating load distribution patterns and transmits them to each of the in-room power amount control devices that are in charge of the rooms, and each room determined from the load distribution ratio.
  • the total power consumption in the room which indicates the power consumption of the entire room in the load arrangement pattern in which the total amount of server power consumption and air conditioning power consumption in the room is the smallest, is calculated as the inter-room load for each distribution pattern, receiving from each of the in-room power amount control devices and totaling the total power consumption in the room received from each of the in-room power amount control devices for each of the inter-room load distribution patterns; a load distribution ratio determining unit that determines, as a load distribution ratio to each room, a load distribution pattern between rooms that minimizes the total power consumption indicating the total amount, wherein the in-room power amount control device , the information of the external factor including the intake air temperature in the server area, the outside air temperature, and the server power consumption amount for each server area, which is the predicted amount when the virtual resource as the load is arranged in the server.
  • the value of each of the external factors is divided into predetermined range widths, the ranges divided for each external factor are combined to define a situation classification, and it is determined to which situation classification the obtained external factor information belongs.
  • the situation recognition unit uses the situation recognition unit, the total load amount, and the load allocation ratio, the load allocated to the own room is calculated, and the virtual resource as the calculated load is allocated to one of the plurality of servers.
  • a server power consumption estimating unit for estimating the server power consumption of a group of servers belonging to each of the server areas for each calculated layout pattern; and the server power consumption of each of the server areas.
  • Situation classification determination results using electric energy are obtained from the situation recognition unit, and control value electric energy correspondence information in which the air conditioning control value of the air conditioner is associated with the air conditioning electric energy consumption is generated for each of the situation classifications.
  • the air conditioning control value and the air conditioning power consumption of the air conditioner in the relevant Situation classification are acquired for each arrangement pattern, and the server power consumption for each server area is totaled for each arrangement pattern. calculating the sum total of the total power consumption of the server and the air conditioning power consumption, and determining the arrangement pattern with the smallest calculated total as the arrangement pattern for arranging the virtual resource as the load; an arrangement pattern determination unit that transmits the calculated smallest total amount in the determined arrangement pattern to the power amount control device as the total power consumption in the room.
  • the load can be appropriately distributed to each room installed in the DC, and the power consumption of the entire DC can be reduced.
  • FIG. 1 is a functional block diagram showing a configuration example of a power amount control device according to an embodiment
  • FIG. FIG. 4 is a diagram for explaining inter-room load distribution patterns generated by the power amount control device according to the present embodiment
  • It is a functional block which shows the structural example of the room
  • FIG. 4 is a diagram for explaining Situation classification according to the present embodiment
  • FIG. 10 is a diagram for explaining a process of determining an arrangement pattern with the smallest in-room total power consumption
  • 4 is a sequence diagram showing the flow of processing executed by the power control system according to the embodiment
  • FIG. 2 is a hardware configuration diagram showing an example of a computer that implements the functions of the power amount control device and the room power amount control device according to the present embodiment
  • FIG. 1 is a diagram showing the overall configuration of a power amount control system 1 according to this embodiment.
  • a power consumption control system 1 includes a DC (data center) 1000 having a plurality of rooms 100 each having a plurality of servers 3 and one or more air conditioners 4; A room power amount control device 20 that is communicatively connected to one or more air conditioners 4 and provided corresponding to each room 100, and a total power consumption of the entire DC 1000 that is communicatively connected to each room power amount control device 20 and a power amount control device 10 that controls the Note that the power amount control device 10 and each in-room power amount control device 20 may be provided inside the DC 1000 or may be provided at a location separate from the DC 1000 .
  • FIG. 2 is a diagram showing the configuration inside one room 100 of the DC 1000 according to this embodiment.
  • a plurality of rooms 100 exist in the DC 1000, and in the rooms 100, as shown in FIG. is installed.
  • the air conditioning power consumption of the entire room due to the operation of one or more air conditioners 4 is measured for each room 100 by a power measurement device (not shown).
  • Each in-room electric energy control device 20 corresponding to each room 100 controls the air conditioner 4 (in FIG. 2, air conditioners “1", “2 , and 3), or transmit air-conditioning control information, or directly communicate with each air conditioner 4 without going through the air-conditioning management device.
  • the in-room power amount control device 20 may acquire state information of the server 3 provided in the room 100 or transmit control information via a server management device (not shown). It may be directly connected to the server 3 for communication.
  • the servers 3 in the entire room are divided into areas where a plurality of servers 3 are arranged and controlled as "server areas".
  • the server area 30 is an area that accommodates a group of servers on which virtual resources are arranged.
  • FIG. 2 shows an example in which server areas "1" to "6" are provided.
  • DC 1000 is described assuming that a virtualization infrastructure is constructed and operated.
  • OpenStack registered trademark
  • software for building cloud environments and Kubernetes (registered trademark)
  • software for operating and managing containerized workloads and services there is OpenStack is mainly used for management and operation of physical machines and virtual machines (VM).
  • VM virtual machines
  • Kubernetes is mainly used for managing and operating containers.
  • an application virtualized on a virtualization platform (configured with one or more containers, one or more VMs, etc.) is referred to as a virtual resource.
  • the minimum execution unit of an application is a Pod that consists of one or more containers.
  • an "air-conditioned area” is provided in association with the server area 30 of the server group.
  • the air-conditioning area 40 is a large area for measuring the effect of air-conditioning control, and faces either the suction port side or the discharge port side of the server 3 .
  • the air blown from the air conditioner 4 passes through, for example, pipes provided under the floor of the room 100, to the air-conditioned area 40 (air-conditioned area "3", "4", "7” in FIG. "8”). Then, the air whose temperature has been raised by the heat of each server 3 is supplied from the suction port of the pipe provided in the air-conditioned area 40 (air-conditioned areas "1", "2", "5", and “6” in FIG. 2) on the outlet side. Intake and return air flow to the air conditioner 4 is generated.
  • a plurality of sensors are installed in each of the air-conditioned areas 40 .
  • a temperature sensor is also installed at the intake port of the server 3 in each server area 30 .
  • a sensor (such as a temperature sensor) is also installed outside the DC 1000 .
  • Information (sensor information) obtained from these sensors can be acquired by the in-room electric energy control device 20 and the electric energy control device 10 via a communication line or the like.
  • the power amount control system 1 acquires the total load amount that the power amount control device 10 processes in a predetermined time from an external device (for example, a system management device or the like). Then, the power amount control device 10 determines the total power consumption in each room 100 when the load allocation ratio to each room 100 is changed (the sum of the server power consumption and the air conditioning power consumption, which will be described later). “total power consumption in the room”) is calculated by the room power amount control device 20 of each room 100, and the load is distributed among the rooms 100 according to the load distribution ratio that minimizes the total amount of each room 100. .
  • the in-room power consumption control device 20 of each room 100 classifies the server power consumption determined by the intake air temperature, the outside air temperature, and the load arrangement pattern of each server area 30 in the room 100 as a situation classification, and temperature reward in each situation.
  • the air-conditioning control values that satisfy the conditions and the air-conditioning power amounts thereof are stored as a learning history.
  • the in-room power consumption control device 20 calculates server power consumption and air conditioning power consumption for each of the server area 30 air inlet temperature and outside air temperature with respect to the load amount distributed to each room 100.
  • the total power consumption in the room when executing the load arrangement pattern and the air conditioning control value that minimizes the total power consumption is calculated and transmitted to the power amount control device 10 .
  • the in-room electric energy control device 20 of each room 100 arranges virtual resources according to an arrangement pattern that minimizes the total in-room power consumption with respect to the load amount based on the load distribution ratio determined by the electric energy control device 10. and air conditioning control.
  • FIG. 3 is a functional block diagram showing a configuration example of the power amount control device 10 according to this embodiment.
  • the power amount control device 10 calculates the load allocation ratio to each room 100 with respect to the total load amount of the DC 1000 by calculating the total amount of server power consumption and air conditioning power consumption for each room 100 (total power consumption in the room). ) is minimized.
  • the power amount control device 10 is configured by a computer having a control section 11 , an input/output section 12 and a storage section 13 .
  • the input/output unit 12 inputs and outputs information to and from each in-room power amount control device 20 and the like.
  • the input/output unit 12 includes a communication interface for transmitting and receiving information via a communication line, and an input/output interface for inputting/outputting information between an input device such as a keyboard (not shown) and an output device such as a monitor. Configured.
  • the storage unit 13 is configured by a hard disk, flash memory, RAM (Random Access Memory), or the like.
  • the storage unit 13 temporarily stores a program for executing each function of the control unit 11 and information necessary for processing of the control unit 11 .
  • the control unit 11 controls overall processing executed by the power amount control device 10, and as shown in FIG. be.
  • the inter-room load distribution pattern generation unit 111 acquires the total load amount (DC total load amount) processed within the DC 1000 . Then, the inter-room load distribution pattern generation unit 111 generates an inter-room load distribution pattern indicating N different load distributions with different load distribution ratios to the respective rooms 100 for the DC total load. . The inter-room load distribution pattern generation unit 111 calculates, for each generated inter-room load distribution pattern, the total DC load amount and the load distribution ratio of each room 100 with respect to the total DC load amount indicated by the inter-room load distribution pattern. are transmitted to each of the in-room power amount control devices 20 .
  • FIG. 4 is a diagram for explaining the inter-room load distribution pattern by the inter-room load distribution pattern generation unit 111 of the power amount control device 10 according to the present embodiment.
  • the inter-room load distribution pattern generation unit 111 sets the load distribution ratio to be distributed to each room 100 (room “A”, room “B”, and room “C” in FIG. 4), for example, , "50:50:0", “100:0:0”, “0:50:50”, etc. are generated as inter-room load distribution patterns.
  • This load distribution ratio pattern is set in advance based on a predetermined distribution ratio logic.
  • the value obtained by dividing the ratio 100 by m (for example, the value "10” obtained by dividing the ratio by 10) is the minimum reference distribution unit, and "100:0:0” ... "90:10:0” ... "40” :30:30”!10:10:80"..., N types of inter-room load distribution patterns are generated.
  • the inter-room load distribution pattern generation unit 111 generates information on the load distribution ratio of each room 100 with respect to the total DC load indicated by the generated inter-room load distribution pattern, and information on the total load (total DC load). are transmitted to each room power amount control device 20 .
  • each in-room power amount control device 20 executes control of the air conditioner 4 with the load arrangement pattern and the air conditioning control value that minimize the server power consumption and the air conditioning power consumption with respect to the given load amount. Calculate the total power consumption in the room when
  • the load distribution ratio determination unit 112 acquires the total in-room power consumption (total of air-conditioning power and server power) in each room 100 from each room power control device 20 . Then, the load distribution ratio determination unit 112 sums the total power consumption in each room 100 for each load distribution pattern between rooms, and determines the load between the rooms that minimizes the total amount (total power consumption). Decide on a distribution pattern. Then, the load distribution ratio determination unit 112 transmits the load distribution ratio of each room 100 indicated by the determined inter-room load distribution pattern to each of the in-room power amount control devices 20 .
  • the total in-room power consumption (P(A)) of room “A”, the total in-room power consumption (P(B)) of room “B”, and the total power consumption in room “C” The load distribution ratio "0:50:50" of "distribution pattern 3" (symbol a in FIG. 4) that minimizes the total amount (total power consumption) of the total power consumption (P(C)) is indicates that you have been selected.
  • the load distribution ratio determination unit 112 transmits the load distribution ratio determined in this manner to each of the in-room power amount control devices 20 .
  • FIG. 5 is a functional block showing a configuration example of the room power consumption control device 20 according to this embodiment.
  • the in-room power consumption control device 20 classifies each situation that causes a change in power consumption in the room 100 as a Situation, and in each situation, the server power consumption and the air conditioning power consumption are calculated with respect to a predetermined load amount. Calculate the total power consumption in the room when executing the load arrangement and the air conditioning control value that minimize the total. Then, each in-room power amount control device 20 determines the minimum in-room total power consumption for the load amount based on the load distribution ratio of each room 100 indicated by the inter-room load distribution pattern determined by the power amount control device 10.
  • the in-room power amount control device 20 is configured by a computer having a control section 21 , an input/output section 22 and a storage section 23 .
  • the input/output unit 22 inputs and outputs information between the power amount control device 10 and each device (each server 3 and each air conditioner 4) in the DC 1000 and the like.
  • the input/output unit 22 includes a communication interface for transmitting and receiving information via a communication line, and an input/output interface for inputting and outputting information between an input device such as a keyboard (not shown) and an output device such as a monitor. Configured.
  • the storage unit 23 is configured by a hard disk, flash memory, RAM (Random Access Memory), or the like.
  • the storage unit 23 temporarily stores a program for executing each function of the control unit 21 and information necessary for processing of the control unit 21 .
  • the storage unit 23 also stores a server power amount learning model 231, operation history information 232, control value power amount correspondence information 233, and the like (details will be described later).
  • the control unit 21 controls overall processing executed by the in-room power consumption control device 20, and as shown in FIG. 214 , a load placement control unit 215 , and an air conditioning control unit 216 .
  • the situation recognition unit 211 determines the "server area inlet temperature”, the “outside temperature (outside temperature)", and the "server power consumption for each server area” determined by the load arrangement pattern in the room 100 in the DC 1000 before control. ” is a Situation component, and each information of this Situation component is acquired. This Situation component is an external factor that affects the increase or decrease in air conditioning power consumption.
  • the situation recognition unit 211 acquires temperature information from a plurality of temperature sensors installed around the air inlets of the servers 3 in each server area 30 and calculates the average value of the "air inlet temperature of the server area”. Calculate the average temperature of the inlet every 30. Then, the situation recognition unit 211 averages the calculated average temperature for each server area 30 for the entire room 100, and sets the obtained temperature as the "server area inlet temperature”.
  • the situation recognition unit 211 regards the information obtained from the temperature sensor set outside the DC 1000 as the "outside air temperature (outside air temperature)". “Server power consumption for each server area” is information calculated by the server power consumption estimation unit 213 (details will be described later).
  • the situation recognizing unit 211 determines to which Situation classification the information (external factor information) that becomes each acquired external factor belongs.
  • Each external factor is divided into a plurality of ranges between the minimum value and the maximum value according to the characteristics of the external factor. A combination of ranges obtained by dividing each external factor is defined as one situation. Description will be made below with reference to FIG.
  • each external factor is defined as a "factor”, and a range to be divided is defined (hereinafter referred to as "division definition").
  • the external factor of "factor2" is "outside temperature (outside air temperature)", and the division definition is "0 to 48 degrees divided into 6".
  • the external factor of 'factor3' is 'server power consumption in server area '1'', and the division definition is 'division of 0-200W into 20'.
  • the external factor of 'factor 8' is 'server power consumption in server area '6'', and the division definition is 'dividing 0-200 W into 20'.
  • the external factor information acquired by the situation recognition unit 211 is the external factor information 51 shown in FIG.
  • the situation recognition unit 211 determines that the value of "factor 1" (air inlet temperature of the server area) is "25”, so the “range” is included in the “24-32 range” (24 degrees or more and less than 32 degrees).
  • the "factor range identifier” is "factor1-4". For example, this "factor range identifier” divides 0-48 degrees into 6, 0 degrees to 8 degrees is “factor1-1”, 8 degrees to 16 degrees is “factor1-2”, 16 degrees to 24 degrees It is information that identifies the range to which less than "factor1-3” belongs. The same is true for other "factors”.
  • the situation recognition unit 211 combines the information of the "factor range identifiers" of the external factors to form a "Situation classification" and determines that it is "factor1-4_factor2-4_factor3-4_factor4-4_factor5-5_factor6-5_factor7-4_factor8-4". In this manner, the situation recognition unit 211 determines the "Situation classification" based on the acquired information of the external factors.
  • the arrangement pattern calculation unit 212 obtains from the power amount control device 10 information on the load distribution ratio of each room 100 with respect to the DC total load indicated by the inter-room load distribution pattern, and the total load. (DC total load amount) information, the load amount assigned to the room in charge of itself is obtained. Then, the placement pattern calculation unit 212 obtains virtual resource amount information (for example, the number of CPU cores) to be newly placed, and based on the most recent resource usage (for example, CPU usage rate), new virtual resources (VM, container etc.) in each server 3 is calculated. Note that after allocating virtual resources to each server 3, the allocation pattern calculation unit 212 sets the resource occupation amount of each server 3 to be equal to or less than server capacity (upper limit) ⁇ predetermined threshold.
  • server capacity upper limit
  • the server power consumption estimation unit 213 estimates the power consumption of each server 3 for each arrangement pattern calculated by the arrangement pattern calculation unit 212, using a learning model (server power consumption learning model 231). Then, the server power consumption estimating unit 213 calculates the total server power consumption for each server area 30 in each arrangement pattern based on the server arrangement configuration for each server area 30 .
  • the server power consumption estimating unit 213 uses as input data the intake air temperature of the server area and information on resource usage (for example, CPU usage rate, memory usage rate, etc.), and estimates the server power consumption.
  • the power consumption of each server 3 is predicted for each arrangement pattern using a learning model (server power consumption learning model 231) as output data.
  • the server power consumption learning model 231 is generated in advance as learning data from the inlet temperature, the resource usage of the server 3, and information on the server power consumption which is the result information at that time.
  • the server power consumption estimation unit 213 calculates the server power consumption for each server area 30 by adding up the server power consumption of each server 3 in the server area 30 based on the server arrangement configuration for each server area 30. calculate.
  • the layout pattern determination unit 214 sums up the server power consumption for each server area 30 in each virtual resource layout pattern calculated by the layout pattern calculation unit 212, and stores the total server power consumption, which is the total value, in storage. Calculate the total amount of air conditioning power consumption obtained from the control value power amount correspondence information 233 stored in the unit 23 (total power consumption in the room), and the total amount (total power consumption in the room) is the smallest An arrangement pattern is determined as an arrangement pattern for arranging virtual resources in the Situation classification of the room 100 .
  • This control value electric energy correspondence information 233 is information stored for each Situation classification. value) and the air conditioning power consumption when each air conditioner 4 executes the air conditioning control value.
  • the air conditioning control value is a parameter for controlling the air conditioner 4, and includes at least temperature (target temperature), and may also include air volume, air direction, and the like. In this embodiment, it is assumed that the parameters of the air conditioning control value are the target temperature and the air volume.
  • the information of the optimal air conditioning control value (target temperature, air volume, etc.) for each Situation classification and the air conditioning power consumption when executing it, stored in the control value/electric energy correspondence information 233, is based on past records. Although it can be obtained by a method using data (stored in the storage unit 23 as the operation history information 232) or a rule-based calculation method, in the present embodiment, a learning model (air conditioning control learning model) is constructed and An example of calculation will be described below.
  • the layout pattern determining unit 214 generates a learning model (air conditioning control learning model) by executing the following learning phase and operation phase.
  • the arrangement pattern determination unit 214 randomly generates air conditioning control values (target temperature, air volume, etc.) for each Situation classification up to a predetermined number of times (N times).
  • the air conditioning control unit 216 causes each air conditioner 4 to operate with the randomly generated air conditioning control value.
  • the arrangement pattern determination unit 214 provides, for each Situation classification, external factor information, an air conditioning control value, a reward (area reward) calculated when the control is executed (details will be described later), and air conditioning power consumption information. is stored as the operation history information 232 .
  • the arrangement pattern determination unit 214 refers to the operation history information 232, and determines the external factor information, the air conditioning control value, and the reward (area reward) for each Situation classification. ) is taken in to generate air conditioning control learning data, and the learning model (air conditioning control learning model) is made to learn.
  • the arrangement pattern determination unit 214 inputs the external factor information into the air conditioning control learning model for each Situation classification to obtain the air conditioning control values (target temperature, air volume, etc.). ), and information on the reward (area reward) and air conditioning power consumption when the air conditioner 4 is controlled with the air conditioning control value is stored as the operation history information 232 . Then, the arrangement pattern determination unit 214 ends the learning phase and shifts to the operation phase when the condition based on the predetermined reward described later is satisfied in the air conditioning control learning model of the corresponding Situation class.
  • the reward is an index for evaluating the result of executing the control of the air conditioner 4 based on the calculated air conditioning control value, and the reward (temperature reward) is calculated as an indication of how much the target temperature has been reached. .
  • an area reward as an index for evaluating each air-conditioned area 40 and an overall reward as an index for evaluating the room 100 as a whole are set.
  • the area reward is calculated, for example, based on the difference between the target temperature and the temperature after the control of the air conditioner 4 for a predetermined time. Specifically, it is assumed that the temperature (average area temperature) of the air-conditioned area 40 at the start of control is 38 degrees and the target temperature is 31 degrees. At this time, if the temperature after control is 32 degrees, it is 1 degree higher than the target temperature, so the reward is "90%".
  • the reward is calculated as "-10%" when the temperature is one degree lower than the target temperature.
  • the overall reward is an index for judging the pass/fail of air conditioning control for the room 100 as a whole. This overall reward determines whether the air conditioning control of the room 100 as a whole is successful or not based on whether or not the reward (overall reward) calculated by a predetermined logic using the area reward is equal to or greater than a predetermined threshold (acceptance threshold). It is.
  • the predetermined logic is, for example, that the average value of each area reward is equal to or greater than a predetermined threshold (acceptance threshold), and is arbitrarily set.
  • the arrangement pattern determination unit 214 ends the learning phase and shifts to the operation phase. Then, when the arrangement pattern determination unit 214 determines that the overall reward is acceptable, the arrangement pattern determination unit 214, for each Situation classification, sets the air conditioning control value (target temperature, air volume, etc.) and the power consumption of each air conditioner 4 during air conditioning control (air conditioning power consumption) to generate the control value power amount correspondence information 233 .
  • the arrangement pattern determination unit 214 determines, based on the air conditioning control value that reduces the power consumption cost at the end of the degeneracy operation and the air conditioning power consumption when the air conditioning control value is executed, The control value electric energy correspondence information 233 is updated. This concludes the explanation of the processing for generating the control value electric energy correspondence information 233 using the learning model (air conditioning control learning model).
  • the layout pattern determination unit 214 determines the layout pattern with the smallest total power consumption in the room in the situation classification of each room 100 as described above. For example, as shown in FIG. 7, the layout pattern determination unit 214 determines the outside air temperature obtained from the temperature sensor and the intake air temperature of the server area (symbol b in FIG. , the arrangement pattern (the load arrangement pattern of each server area 30 indicated by symbol c in FIG. 7) with the smallest total power consumption in the room corresponding to . Note that the arrangement pattern determination unit 214 also stores, as the operation history information 232, information such as the total power consumption in the room in the load arrangement pattern for each Situation classification. Then, the arrangement pattern determination unit 214 transmits information on the total power consumption in the room (information on the minimum total power consumption in the room) in the determined load arrangement pattern of the room 100 to the power control device 10. .
  • the load allocation control unit 215 allocates virtual resources (VMs, containers, etc.) to each server 3 based on the load allocation pattern to each server 3 .
  • the load allocation control unit 215 acquires information on the load distribution ratio of each room 100 indicated by the inter-room load distribution pattern determined by the power amount control device 10, the total load amount (DC total load amount) Based on the information, determine the amount of load assigned to the room that you are in charge of. Then, the load allocation control unit 215 distributes the virtual resources (VMs, containers, etc.) to each server area 30 based on the allocation pattern determined by the allocation pattern determination unit 214 that has the smallest total power consumption in the room. is placed on the server 3 of
  • the air-conditioning control unit 216 controls each air conditioner 4 based on the information of the air-conditioning control value (target temperature, air volume, etc.) in a certain Situation calculated by the arrangement pattern determining unit 214 .
  • the air conditioning control unit 216 stores external factor information, air conditioning control values (target temperature, air volume, etc.), rewards obtained when the controls are executed (area rewards), and air conditioning power consumption. information is stored as operation history information 232 .
  • the air conditioning control unit 216 determines In the load amount, each air conditioner 4 is controlled based on the information of the air conditioning control value (target temperature, air volume, etc.) in the layout pattern determined by the layout pattern determination unit 214 that has the smallest total power consumption in the room.
  • FIG. 8 is a sequence diagram showing the flow of processing executed by the power amount control system 1. As shown in FIG. Here, it is assumed that the server power amount learning model 231 and the control value power amount correspondence information 233 are stored in advance in the storage unit 23 of each in-room power amount control device 20 .
  • the inter-room load distribution pattern generation unit 111 of the power amount control device 10 acquires the total load amount (DC total load amount) to be processed in the DC 1000 from an external device (system management device, etc.) (step S1). .
  • the inter-room load distribution pattern generation unit 111 generates an inter-room load distribution pattern indicating N different load distributions with different load distribution ratios to the respective rooms 100 for the DC total load. (step S2).
  • the inter-room load distribution pattern generation unit 111 calculates, for each generated inter-room load distribution pattern, the total DC load amount and the load distribution ratio of each room 100 with respect to the total DC load amount indicated by the inter-room load distribution pattern. are transmitted to each of the in-room power amount control devices 20 (step S3).
  • the layout pattern calculation unit 212 of each in-room electric energy control device 20 acquires the information of the load distribution ratio of each room 100 indicated by the inter-room load distribution pattern obtained from the electric energy control device 10, and the total Based on the information on the amount of load (total DC load amount), information on the amount of load allocated to the room that the user is in charge of is obtained. Then, the arrangement pattern calculation unit 212 calculates an arrangement pattern for arranging the virtual resources on each server 3 in the own room 100 (step S4).
  • the server power consumption estimating unit 213 of each in-room power amount control device 20 calculates the power consumption of each server 3 for each layout pattern calculated by the layout pattern calculating unit 212, and calculates the server power consumption learning model 231. estimated using Then, the server power consumption estimation unit 213 sums the server power consumption of each server 3 in the server area 30 based on the server arrangement configuration of each server area 30, thereby calculating the server power consumption of each server area 30. Calculate (step S5).
  • the situation recognition unit 211 of each in-room power amount control device 20 obtains information (external factor information) on the outside air temperature, the air inlet temperature of the server area, and the server power consumption amount for each server area 30 for each arrangement pattern. Obtain and determine the Situation classification (step S6).
  • each room power consumption control device 20 totals the server power consumption for each server area 30 in each layout pattern, and the total server power consumption, which is the total value, and A total amount (in-room total power consumption) of the air conditioning power consumption obtained from the control value power amount correspondence information 233 stored in the storage unit 23 is calculated (step S7).
  • the layout pattern determining unit 214 determines the layout pattern with the smallest total amount (total power consumption in the room) among the layout patterns as the layout pattern for arranging virtual resources in the situation classification of the room 100. do.
  • the arrangement pattern determining unit 214 transmits information of the minimum total power consumption in the room in the load arrangement pattern to the power amount control device 10 among the loads allocated to the own room 100 (step S8).
  • the load distribution ratio determining unit 112 of the power amount control device 10 totals the total in-room power consumption of each room 100 for each inter-room load distribution pattern, and the total amount (total power consumption) A room-to-room load distribution pattern that minimizes is determined (step S9).
  • the load distribution ratio determination unit 112 transmits the load distribution ratio of each room 100 indicated by the determined inter-room load distribution pattern to each in-room power amount control device 20 (step S10).
  • each room electric energy control device 10 acquires the information of the load distribution ratio of each room 100 indicated by the inter-room load distribution pattern determined by the electric energy control device 10, the total load amount Based on the information of (total DC load), determine the amount of load assigned to the room in charge of the user. Then, the load allocation control unit 215 distributes the virtual resources (VMs, containers, etc.) to each server area 30 based on the allocation pattern determined by the allocation pattern determination unit 214 that has the smallest total power consumption in the room.
  • the virtual resources VMs, containers, etc.
  • the air conditioning control unit 216 refers to the control value electric energy correspondence information 233, and controls each air conditioner 4 based on the information of the air conditioning control value (target temperature, air volume, etc.) in the arrangement pattern (step S11).
  • the power amount control system 1 can appropriately determine the load allocation ratio to each room 100 with respect to the total load amount set for the DC 1000. Therefore, it is possible to reduce the power consumption of the DC 1000 as a whole, which is the sum of the power consumption of each room 100 .
  • FIG. 9 is a hardware configuration diagram showing an example of a computer 900 that realizes the functions of the power amount control device 10 and the room power amount control device 20 according to this embodiment.
  • the computer 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM 903, a HDD (Hard Disk Drive) 904, an input/output I/F (Interface) 905, a communication I/F 906 and a media I/F 907. have.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM 903 Random Access Memory
  • HDD Hard Disk Drive
  • I/F Interface
  • the CPU 901 operates based on programs stored in the ROM 902 or HDD 904, and performs control by the control unit.
  • the ROM 902 stores a boot program executed by the CPU 901 when the computer 900 is started, a program related to the hardware of the computer 900, and the like.
  • the CPU 901 controls an input device 910 such as a mouse and keyboard, and an output device 911 such as a display and printer via an input/output I/F 905 .
  • the CPU 901 acquires data from the input device 910 and outputs the generated data to the output device 911 via the input/output I/F 905 .
  • a GPU Graphics Processing Unit
  • a GPU may be used together with the CPU 901 as a processor.
  • the HDD 904 stores programs executed by the CPU 901 and data used by the programs.
  • Communication I/F 906 receives data from other devices via a communication network (for example, NW (Network) 920) and outputs it to CPU 901, and transmits data generated by CPU 901 to other devices via the communication network. Send to device.
  • NW Network
  • the media I/F 907 reads programs or data stored in the recording medium 912 and outputs them to the CPU 901 via the RAM 903 .
  • the CPU 901 loads a program related to target processing from the recording medium 912 onto the RAM 903 via the media I/F 907, and executes the loaded program.
  • the recording medium 912 is an optical recording medium such as a DVD (Digital Versatile Disc) or a PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto Optical disk), a magnetic recording medium, a semiconductor memory, or the like.
  • the CPU 901 of the computer 900 executes a program loaded on the RAM 903 to control the power amount control device 10. and the functions of the in-room power amount control device 20 are realized. Data in the RAM 903 is stored in the HDD 904 .
  • the CPU 901 reads a program related to target processing from the recording medium 912 and executes it. In addition, the CPU 901 may read a program related to target processing from another device via the communication network (NW 920).
  • a power amount control system is connected to a server 3 and an air conditioner 4 in a room 100 in a data center 1000 in which a plurality of rooms 100 in which a plurality of servers 3 and one or more air conditioners 4 are arranged.
  • the in-room power consumption control device 20 provided for each room 100 to control the power consumption in the room 100 and the room power consumption control device 20 for each room 100 are connected for communication, and the power consumption of the entire data center 1000 is controlled.
  • a power amount control device 10 for controlling the amount of power, wherein each room 100 of a data center 1000 is provided with a plurality of server groups in which virtual resources are arranged as loads.
  • a server area 30 and a plurality of air conditioning areas 40 for measuring the effect of air conditioning control by the air conditioner 4 are set.
  • the power amount control device 10 acquires information on the total load amount to be processed in the data center, and generates a plurality of inter-room load distribution patterns indicating the load distribution pattern in which the load distribution ratio to each room 100 is changed. Then, the distribution pattern generation unit (inter-room load distribution pattern generation unit 111) that transmits to each of the room power amount control devices 20 in charge of the room 100 and the load of each room 100 determined from the load distribution ratio , the total power consumption in the room, which indicates the power consumption of the entire room 100 in the load arrangement pattern in which the total amount of server power consumption and air conditioning power consumption in the room is the smallest, for each inter-room load distribution pattern, The total power consumption received from each of the in-room power amount control devices 20 is summed for each inter-room load distribution pattern, and indicates the total power consumption. and a load distribution ratio determination unit 112 that determines the inter-room load distribution pattern that minimizes the amount as the load distribution ratio to each room 100 .
  • the in-room power consumption control device 20 includes the intake air temperature in the server area 30, the outside temperature, and the server power consumption for each server area 30, which is the predicted amount when virtual resources as loads are arranged in the server 3.
  • Acquire external factor information divide the value of each external factor into a predetermined range width, combine the divided ranges for each external factor to define a situation classification, and which situation classification the acquired external factor information belongs to Using the situation recognition unit 211 that determines a server power consumption estimating unit 213 estimating the server power consumption of each server group belonging to each server area 30 for each calculated placement pattern; Situation classification determination results using each server power consumption are obtained from the situation recognition unit 211, and for each situation classification, the air conditioning control value of the air conditioner 4 is associated with the air conditioning power consumption control value power consumption correspondence By referring to the information 233, the air conditioning control value and air conditioning power consumption of the air conditioner 4 in the relevant Situation classification are obtained for each layout pattern, and the server power consumption for each server area 30 is totaled for each layout pattern.
  • the sum total of the total power consumption of the server and the power consumption of the air conditioner is calculated, and the arrangement pattern with the smallest calculated total amount is determined as the arrangement pattern for arranging the virtual resource as the load, and an arrangement pattern determination unit 214 that transmits the calculated smallest total amount in the determined arrangement pattern to the power amount control device 10 as the in-room total power consumption.
  • the power amount control system 1 can appropriately determine the load allocation ratio to each room 100 with respect to the total load amount set in the DC 1000. Therefore, it is possible to reduce the power consumption of the DC 1000 as a whole, which is the sum of the power consumption of each room 100 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

電力量制御システム（１）は、ＤＣ（１０００）内の複数のサーバ（３）および空調機（４）が配置される各ルーム（１００）への負荷振分比率を示すルーム間負荷振分パターンを生成し、各ルーム（１００）のルーム内総消費電力量の合計が最小となる負荷振分比率を決定する電力量制御装置（１０）と、負荷振分比率により振り分けられた負荷において、サーバ消費電力量と空調消費電力量の合計量が最も小さい負荷の配置パターン決定するルーム内電力量制御装置（２０）とを備える。

Description

電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム
　本発明は、データセンタ（以下、「ＤＣ」と称する場合がある。）における消費電力量を低減する、電力量制御システム、電力量制御方法、電力量制御装置、および、プログラムに関する。
　データセンタ（ＤＣ）における空調の消費電力量の比率は大きな比率を占めており、ＤＣの数や規模の拡大に応じて、空調の消費電力量の削減が求められている。また、ＤＣにおけるデータ処理量は、年々増加傾向にあり、ＤＣ全体としての電力消費効率（ある一定量のデータ処理に対するＤＣ全体の消費電力量）の向上が必要となる。
　空調の消費電力量、および、サーバ（ＩＴ装置）の消費電力量を考慮し、ＤＣ全体の消費電力量を最適化する技術として、非特許文献１に記載の技術が公開されている。
　非特許文献１のデータセンタ向け空調連係ＩＴ負荷配置最適化方式では、データセンタのＩＴ機器の稼働情報や監視情報を収集することにより、ＩＴ機器の将来の負荷の推移を予測し、ＩＴ機器の電力増分に応じた空調設備の電力増分を算出する。そして、時系列でＩＴ機器への負荷集約率が高まるように、つまりＩＴ機器の稼働台数が削減されるように、データセンタの電力量である目的関数が最小となる最適化問題を解く。これにより、データセンタの電力量を最小化するＩＴ機器へのＩＴ負荷（仮想マシン）の配置を算出する。
沖津潤　外４名、「環境配慮型データセンタ向け空調連係ＩＴ負荷配置最適化方式」、ＦＩＴ（Forum on Information Technology）２０１０、第９回情報科学技術フォーラム、ＲＣ－００９
　しかしながら、非特許文献１に記載の技術では、空調設備の電力の算出に用いる空調電力モデルにおいて、ＤＣごとに異なる設備条件に依存しない汎用的なルールベース基準を採用している。そのため、空調設備の配置位置、気流、ＤＣ内のサーバ配置構成、熱冷却効率などの個別の設備条件を考慮した、ＤＣのトータルとしての電力量を低減するための最適化を行うことは難しかった。また、１つのＤＣ内において、サーバが配置される各ルームに全体の負荷をどのように割り振れば、ＤＣ全体の消費電力量を削減できるかについて考慮されていなかった。
　このような点に鑑みて本発明がなされたのであり、本発明は、ＤＣに設置される各ルームへ負荷を適切に振り分け、ＤＣ全体の消費電力量を低減することを課題とする。
　本発明に係る電力量制御装置は、複数のサーバおよび１つ以上の空調機が配置されるルームが複数設置されるデータセンタにおける前記ルーム内のサーバおよび空調機に通信接続され、当該ルーム内の消費電力量を制御し前記ルームごとに設けられるルーム内電力量制御装置と、前記ルームごとの前記ルーム内電力量制御装置と通信接続され、前記データセンタ全体の消費電力量を制御する電力量制御装置と、を備える電力量制御システムであって、前記データセンタの各ルームには、負荷として仮想リソースを配置するまとまったサーバ群が配置される複数のサーバエリアと、前記空調機による空調制御の効果を測定する複数の空調エリアとが、設定されており、前記電力量制御装置は、前記データセンタ内で処理する総負荷量の情報を取得し、各ルームへの負荷振分比率を変更した負荷の振分パターンを示すルーム間負荷振分パターンを複数生成し、前記ルームを担当する前記ルーム内電力量制御装置それぞれに送信する振分パターン生成部と、前記負荷振分比率から求まる各ルームの負荷に応じて、当該ルーム内のサーバ消費電力量および空調消費電力量の合計量が最も小さい前記負荷の配置パターンにおけるルーム全体の電力量を示すルーム内総消費電力量を、前記ルーム間負荷振分パターンそれぞれについて、前記ルーム内電力量制御装置それぞれから受信し、前記ルーム内電力量制御装置それぞれから受信した前記ルーム内総消費電力量を、前記ルーム間負荷振分パターンごとに合計し、その合計量を示す合計消費電力量が最小となるルーム間負荷振分パターンを、各ルームへの負荷振分比率として決定する負荷振分比率決定部とを備え、前記ルーム内電力量制御装置は、前記サーバエリアにおける吸気口温度、外気温、前記負荷としての仮想リソースが前記サーバに配置された場合の予測量である前記サーバエリアごとのサーバ消費電力量、を含む外界因子の情報を取得し、前記外界因子それぞれの値を所定のレンジ幅に分割し、前記外界因子ごとに分割したレンジを組み合わせてSituation分類として定義し、取得した前記外界因子の情報がどのSituation分類に属するかを判定する状況認識部と、前記総負荷量および前記負荷振分比率を用いて、自身のルームに振り分けられた負荷を算出し、算出した前記負荷としての仮想リソースを、前記複数のサーバのいずれかに配置する配置パターンを算出する配置パターン算出部と、算出した配置パターン毎に、前記サーバエリアそれぞれに属するサーバ群のサーバ消費電力量を推定するサーバ消費電力量推定部と、前記サーバエリアそれぞれのサーバ消費電力量を用いたSituation分類の判定結果を前記状況認識部から取得し、前記Situation分類ごとに、前記空調機の空調制御値に、前記空調消費電力量を対応付けた制御値電力量対応情報を参照して、当該Situation分類における、前記空調機の空調制御値および前記空調消費電力量を、配置パターン毎に取得し、配置パターンそれぞれにおいて、前記サーバエリアごとのサーバ消費電力量を合計し、その合計であるトータルのサーバ消費電力量と、前記空調消費電力量との合計量を算出し、算出した合計量が最も小さい配置パターンを、前記負荷としての仮想リソースを配置する配置パターンに決定し、決定した配置パターンにおける当該算出した最も小さい合計量を、前記ルーム内総消費電力量として前記電力量制御装置に送信する配置パターン決定部と、を備えることを特徴とする。
　本発明によれば、ＤＣに設置される各ルームへ負荷を適切に振り分け、ＤＣ全体の消費電力量を低減することができる。
本実施形態に係る電力量制御システムの全体構成を示す図である。 本実施形態に係るＤＣの１つのルーム内の構成を示す図である。 本実施形態に係る電力量制御装置の構成例を示す機能ブロック図である。 本実施形態に係る電力量制御装置が生成するルーム間負荷振分パターンを説明するための図である。 本実施形態に係るルーム内電力量制御装置の構成例を示す機能ブロックである。 本実施形態に係るSituation分類を説明するための図である。 ルーム内総消費電力量が最も小さい配置パターンの決定処理を説明するための図である。 本実施形態に係る電力制御システムが実行する処理の流れを示すシーケンス図である。 本実施形態に係る電力量制御装置およびルーム内電力量制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　次に、本発明を実施するための形態（以下、「本実施形態」と称する。）について説明する。
　図１は、本実施形態に係る電力量制御システム１の全体構成を示す図である。
　図１に示すように、電力量制御システム１は、複数のサーバ３および１以上の空調機４を備えるルーム１００を複数有するＤＣ（データセンタ）１０００と、ルーム１００内の複数のサーバ３および１つ以上の空調機４と通信接続され、各ルーム１００に対応して設けられるルーム内電力量制御装置２０と、各ルーム内電力量制御装置２０に通信接続され、ＤＣ１０００全体のトータルの消費電力量を制御する電力量制御装置１０とを備えて構成される。
　なお、電力量制御装置１０および各ルーム内電力量制御装置２０は、ＤＣ１０００の内部に設けられていてもよいし、ＤＣ１０００とは別の場所に設けられていてもよい。
　図２は、本実施形態に係るＤＣ１０００の１つのルーム１００内の構成を示す図である。
　ＤＣ１０００には、複数のルーム１００が存在し、そのルーム１００内に、図２で示すように、複数のサーバ３が設置されるとともに、ルーム１００内の空調を制御する１つ以上の空調機４が設置される。なお、１つ以上の空調機４が稼働することによるルーム全体の空調の消費電力量は、図示を省略した電力量測定装置によりルーム１００毎に測定される。
　各ルーム１００に対応するルーム内電力量制御装置２０それぞれは、図示を省略した空調管理装置を介して、ルーム１００内に設けられた空調機４（図２においては、空調機「１」「２」「３」）の状態情報を取得したり、空調制御情報を送信したりしてもよいし、空調管理装置を介さず直接各空調機４と通信接続されていてもよい。
　また、ルーム内電力量制御装置２０は、図示を省略したサーバ管理装置を介して、ルーム１００内に設けられたサーバ３の状態情報を取得したり制御情報を送信したりしてもよいし、直接サーバ３と通信接続されていてもよい。
　本実施形態におけるＤＣ１０００の各ルーム１００では、収容するルーム全体のサーバ３について、図２で示すように、複数のサーバ３が配置されるエリアごとに区分けし、「サーバエリア」として制御を行う。このサーバエリア３０は、仮想リソースを配置するまとまったサーバ群を収容するエリアである。図２においては、サーバエリア「１」～「６」が設けられた例を示している。
　なお、ＤＣ１０００では、仮想化基盤が構築され運用されるものとして説明する。オープンソースの仮想化基盤としては、クラウド環境構築用のソフトウェアであるOpenStack（登録商標）や、コンテナ化されたワークロードやサービスを運用管理するためのソフトウェアであるKubernetes（登録商標）が知られている。OpenStackは、主に物理マシンや仮想マシン（ＶＭ）の管理・運用に用いられる。Kubernetesは、主にコンテナの管理・運用に用いられる。
　本明細書においては、仮想化基盤において仮想化されたアプリケーション（１つ以上のコンテナや、１つ以上のＶＭ等で構成）のことを仮想リソースと称する。なお、Kubernetesでは、アプリケーションの最小実行単位が、1つ以上のコンテナにより構成されるＰｏｄとなる。
　本実施形態では、サーバ群のサーバエリア３０に対応付けて、図２で示すように、「空調エリア」を設ける。空調エリア４０は、空調制御による効果を測定するまとまったエリアであり、サーバ３の吸込口側、吐出口側のいずれかに面しているものとする。
　空調機４から送風される空気は、例えばルーム１００のフロアの床下に設けられた配管等を介して、吸込口側の空調エリア４０（図２では、空調エリア「３」「４」「７」「８」）から吹き出される。そして、吐出口側の空調エリア４０（図２では、空調エリア「１」「２」「５」「６」）に設けられた配管の吸込口から、各サーバ３の熱により温度上昇した空気を取り込み、空調機４へと戻る気流を生じさせる。
　この空調エリア４０それぞれには、複数のセンサ（温度センサ等）が設置される。また、各サーバエリア３０のサーバ３の吸気口にも温度センサが設置される。さらに、ＤＣ１０００の外部にもセンサ（温度センサ等）が設置される。これらのセンサから得られた情報（センサ情報）を、通信回線等を介して、ルーム内電力量制御装置２０や電力量制御装置１０が取得することができる。
　本実施形態に係る電力量制御システム１は、電力量制御装置１０が、所定の時間で処理する総負荷量を、外部装置（例えば、システム管理装置等）から取得する。そして、電力量制御装置１０は、各ルーム１００への負荷振分比率を変更させた場合の各ルーム１００内の総消費電力量（サーバ消費電力量と空調消費電力量の合計であり、後記する「ルーム内総消費電力量」）を各ルーム１００のルーム内電力量制御装置２０に算出させ、各ルーム１００の合計量が最小となる負荷振分比率により、ルーム１００間の負荷振分を行う。
　各ルーム１００のルーム内電力量制御装置２０は、ルーム１００内の各サーバエリア３０の吸気口温度、外気温及び負荷配置パターンによって決定されるサーバ消費電力量をSituation分類とし、各Situationにおける温度報酬条件を満たす空調制御値とその空調電力量とを学習履歴として保持する。そして、ルーム内電力量制御装置２０は、その学習履歴に基づき、各ルーム１００に振り分けられた負荷量に対し、サーバエリア３０の吸気口温度および外気温ごとの、サーバ消費電力量と空調消費電力量との合計が最小となる負荷配置パターン及び空調制御値を実行した際のルーム内総消費電力量を算出して、電力量制御装置１０に送信する。
　そして、各ルーム１００のルーム内電力量制御装置２０は、電力量制御装置１０が決定した負荷振分比率に基づく負荷量について、最小のルーム内総消費電力量となる配置パターンによる仮想リソースの配置と空調制御とを実行する。
　次に、本実施形態に係る電力量制御システム１を構成する、電力量制御装置１０およびルーム内電力量制御装置２０について、具体的に説明する。
＜電力量制御装置＞
　図３は、本実施形態に係る電力量制御装置１０の構成例を示す機能ブロック図である。
　電力量制御装置１０は、ＤＣ１０００の総負荷量に対して、各ルーム１００への負荷振分比率を、ルーム１００毎のサーバ消費電力量および空調消費電力量の合計量（ルーム内総消費電力量）が最小となる比率により負荷分配する。
　この電力量制御装置１０は、制御部１１、入出力部１２、記憶部１３を備えるコンピュータにより構成される。
　入出力部１２は、各ルーム内電力量制御装置２０等との間の情報について入出力を行う。この入出力部１２は、通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置との間で情報の入出力を行う入出力インタフェースとから構成される。
　記憶部１３は、ハードディスクやフラッシュメモリ、ＲＡＭ（Random Access Memory）等により構成される。
　この記憶部１３には、制御部１１の各機能を実行させるためのプログラムや、制御部１１の処理に必要な情報が一時的に記憶される。
　制御部１１は、電力量制御装置１０が実行する処理の全般を司り、図３で示すように、ルーム間負荷振分パターン生成部１１１と、負荷振分比率決定部１１２とを含んで構成される。
　ルーム間負荷振分パターン生成部１１１（振分パターン生成部）は、ＤＣ１０００内で処理する総負荷量（ＤＣ総負荷量）を取得する。そして、ルーム間負荷振分パターン生成部１１１は、ＤＣ総負荷量について、各ルーム１００への負荷振分比率を変更したＮ通りの負荷量の振り分けを示す、ルーム間負荷振分パターンを生成する。
　ルーム間負荷振分パターン生成部１１１は、生成したルーム間負荷振分パターンごとに、ＤＣ総負荷量と、ルーム間負荷振分パターンで示されるＤＣ総負荷量に対する各ルーム１００の負荷振分比率とを、ルーム内電力量制御装置２０それぞれに送信する。
　図４は、本実施形態に係る電力量制御装置１０のルーム間負荷振分パターン生成部１１１によるルーム間負荷振分パターンを説明するための図である。
　図４で示すように、ルーム間負荷振分パターン生成部１１１は、各ルーム１００（図４では、ルーム「Ａ」，ルーム「Ｂ」，ルーム「Ｃ」）に振り分ける負荷振分比率を、例えば、「５０：５０：０」、「１００：０：０」「０：５０：５０」等のルーム間負荷振分パターンとして生成する。
　この負荷振分比率のパターンは、所定の振分比率ロジックに基づき、予め設定しておく。例えば、比率１００をｍ等分した値（例えば、１０等分した値「１０」）を最小の基準の振分単位として、「１００：０：０」…「９０：１０：０」…「４０：３０：３０」…「１０：１０：８０」…のように、Ｎ通りのルーム間負荷振分パターンを生成する。
　ルーム間負荷振分パターン生成部１１１は、生成したルーム間負荷振分パターンで示されるＤＣ総負荷量に対する各ルーム１００の負荷振分比率の情報と、総負荷量（ＤＣ総負荷量）の情報とを、各ルーム内電力量制御装置２０に送信する。これにより、各ルーム内電力量制御装置２０は、与えられた負荷量に関し、サーバ消費電力量と空調消費電力量が最小となる、負荷配置パターンおよび空調制御値での空調機４の制御を実行した場合のルーム内総消費電力量を算出する（詳細は後記）。
　図３に戻り、負荷振分比率決定部１１２は、各ルーム内電力量制御装置２０から、各ルーム１００における、ルーム内総消費電力量（空調電力量およびサーバ電力量の合計）を取得する。そして、負荷振分比率決定部１１２は、ルーム間負荷振分パターンごとに、各ルーム１００のルーム内総消費電力量を合計し、その合計量（合計消費電力量）が最小となるルーム間負荷振分パターンを決定する。そして、負荷振分比率決定部１１２は、決定したルーム間負荷振分パターンで示される各ルーム１００の負荷振分比率を、ルーム内電力量制御装置２０それぞれに送信する。
　図４においては、ルーム「Ａ」のルーム内総消費電力量（Ｐ（Ａ））と、ルーム「Ｂ」のルーム内総消費電力量（Ｐ（Ｂ））と、ルーム「Ｃ」のルーム内総消費電力量（Ｐ（Ｃ））の合計量（合計消費電力量）が最小となる、「振分パターン３」（図４の符号ａ）の負荷振分比率「０：５０：５０」が選ばれたことを示している。負荷振分比率決定部１１２は、このようにして決定した負荷振分比率を、ルーム内電力量制御装置２０それぞれに送信する。
＜ルーム内電力量制御装置＞
　次に、本実施形態に係るルーム内電力量制御装置２０について説明する。
　図５は、本実施形態に係るルーム内電力量制御装置２０の構成例を示す機能ブロックである。
　ルーム内電力量制御装置２０は、ルーム１００内において、消費電力の変化を与える各状況をSituationとして分類し、各状況において、所定の負荷量に対し、サーバ消費電力量と空調消費電力量との合計が最小となる負荷配置および空調制御値を実行した際のルーム内総消費電力量を算出する。そして、各ルーム内電力量制御装置２０は、電力量制御装置１０が決定したルーム間負荷振分パターンで示される各ルーム１００の負荷振分比率に基づく負荷量について、最小のルーム内総消費電力量となる負荷配置パターンでの仮想リソースの配置と空調制御とを実行する。
　このルーム内電力量制御装置２０は、制御部２１、入出力部２２、記憶部２３を備えるコンピュータにより構成される。
　入出力部２２は、電力量制御装置１０や、ＤＣ１０００内の各装置（各サーバ３および各空調機４）等との間の情報について入出力を行う。この入出力部２２は、通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置との間で情報の入出力を行う入出力インタフェースとから構成される。
　記憶部２３は、ハードディスクやフラッシュメモリ、ＲＡＭ（Random Access Memory）等により構成される。
　この記憶部２３には、制御部２１の各機能を実行させるためのプログラムや、制御部２１の処理に必要な情報が一時的に記憶される。また、この記憶部２３には、サーバ電力量学習モデル２３１、運用履歴情報２３２、および、制御値電力量対応情報２３３などが格納される（詳細は後記）。
　制御部２１は、ルーム内電力量制御装置２０が実行する処理の全般を司り、図５で示すように、状況認識部２１１、配置パターン算出部２１２、サーバ消費電力量推定部２１３、配置パターン決定部２１４、負荷配置制御部２１５、および、空調制御部２１６を含んで構成される。
　状況認識部２１１は、制御前のＤＣ１０００内のルーム１００における、「サーバエリアの吸気口温度」、「外気温度（外気温）」、負荷配置パターンによって決定される「サーバエリアごとのサーバ消費電力量」を、Situation構成要素とし、このSituation構成要素の各情報を取得する。このSituation構成要素は、空調消費電力量の増減に影響を及ぼす外界因子である。
　状況認識部２１１は、「サーバエリアの吸気口温度」を、各サーバエリア３０のサーバ３の吸気口周辺に設置された複数の温度センサから温度情報を取得して平均値を算出し、サーバエリア３０ごとの吸気口の平均温度を算出する。そして、状況認識部２１１は、算出したサーバエリア３０ごとの平均温度を、ルーム１００全体で平均し、得られた温度を「サーバエリアの吸気口温度」とする。
　状況認識部２１１は、ＤＣ１０００の外部に設定された温度センサから得られる情報を「外気温度（外気温）」とする。
　「サーバエリアごとのサーバ消費電力量」は、サーバ消費電力量推定部２１３により算出される情報である（詳細は後記）。
　状況認識部２１１は、取得した各外界因子となる情報（外界因子情報）が、どのSituation分類に属するかを判定する。
　各外界因子は、最小値～最大値の間でその外界因子の特性に応じて複数個のレンジに分割される。そして、各外界因子を分割したレンジを組み合わせたものを、１Situationとして定義する。以下、図６を参照して説明する。
　図６で示すように、外界因子のそれぞれを「factor」とし、分割するレンジを定義（以下、「分割定義」と称する。）する。
　例えば、図６のSituation分類情報５２で示す「factor１」の外界因子は「サーバエリアの吸気口温度」であり、分割定義は「0－48度を６分割」である。「factor２」の外界因子は「外気温度（外気温）」であり、分割定義は「0－48度を６分割」である。「factor３」の外界因子は「サーバエリア「１」のサーバ消費電力量」であり、分割定義は「0－200Ｗを20分割」である。以下同様に、「factor８」の外界因子は「サーバエリア「６」のサーバ消費電力量」であり、分割定義は「0－200Ｗを20分割」である。
　ここで、状況認識部２１１が取得した外界因子の情報が、図６で示す外界因子情報５１であったとする。この場合、状況認識部２１１は、「factor１」（サーバエリアの吸気口温度）の値が「25」であるから、「レンジ」として「24－32レンジ」（24度以上32度未満）に含まれるとし、「factorレンジ識別子」を「factor1-4」とする。この「factorレンジ識別子」は、例えば、0－48度を６分割した、0度以上8度未満を「factor1-1」、8度以上16度未満を「factor1-2」、16度以上24度未満を「factor1-3」のようにし、属するレンジを識別する情報である。他の「factor」において同様である。
　状況認識部２１１は、外界因子の「factorレンジ識別子」の情報を組み合わせて「Situation分類」とし、「factor1-4_factor2-4_factor3-4_factor4-4_factor5-5_factor6-5_factor7-4_factor8-4」であると判定する。
　このようにして、状況認識部２１１は、外界因子の取得情報に基づき、「Situation分類」を判定する。
　図５に戻り、配置パターン算出部２１２は、電力量制御装置１０から取得した、ルーム間負荷振分パターンで示されるＤＣ総負荷量に対する各ルーム１００の負荷振分比率の情報と、総負荷量（ＤＣ総負荷量）の情報とに基づき、自身が担当するルームに振り分けられた負荷量を得る。そして、配置パターン算出部２１２は、新規配置予定の仮想リソース量情報（例えば、ＣＰＵコア数）を求め、直近のリソース使用状況（例えば、ＣＰＵ使用率）に基づき、新規の仮想リソース（ＶＭ、コンテナ等）を各サーバ３に配置した配置パターンを算出する。なお、配置パターン算出部２１２は、各サーバ３に仮想リソースを配置後、各サーバ３におけるリソース占有量が、サーバ容量（上限値）×所定の閾値以下となるようにする。
　サーバ消費電力量推定部２１３は、配置パターン算出部２１２が算出した配置パターン毎に、各サーバ３の消費電力量を、学習モデル（サーバ電力量学習モデル２３１）を活用して推定する。そして、サーバ消費電力量推定部２１３は、サーバエリア３０ごとのサーバ配置構成に基づき、各配置パターンにおけるサーバエリア３０ごとのトータルのサーバ消費電力量を算出する。
　具体的には、サーバ消費電力量推定部２１３は、サーバエリアの吸気口温度、および、リソース使用状況（例えば、ＣＰＵ使用率、メモリ使用率等）の情報を入力データとし、サーバ消費電力量を出力データとする学習モデル（サーバ電力量学習モデル２３１）により、配置パターン毎に各サーバ３の消費電力量を予測する。
　なお、このサーバ電力量学習モデル２３１は、吸気口温度と、サーバ３のリソース使用量と、その時の結果情報であるサーバ消費電力量の情報を学習データとして、予め生成しておく。
　また、サーバ消費電力量推定部２１３は、サーバエリア３０ごとのサーバ配置構成に基づき、サーバエリア３０の各サーバ３のサーバ消費電力量を合算することにより、サーバエリア３０ごとのサーバ消費電力量を算出する。
　配置パターン決定部２１４は、配置パターン算出部２１２が算出した仮想リソースの各配置パターンにおいて、サーバエリア３０ごとのサーバ消費電力量を合計し、その合計値であるトータルのサーバ消費電力量と、記憶部２３に格納された制御値電力量対応情報２３３から得られる空調消費電力量との合計量（ルーム内総消費電力量）を計算し、その合計量（ルーム内総消費電力量）が最も小さい配置パターンを、そのルーム１００のSituation分類において、仮想リソースを配置する配置パターンとして決定する。
　この制御値電力量対応情報２３３は、Situation分類ごとに記憶される情報であり、状況認識部２１１により判定されたSituation分類で示される各状況において、最適な各空調機４の制御値（空調制御値）と、その空調制御値を各空調機４が実行した場合の空調消費電力量が格納される。
　ここで、空調制御値は、空調機４を制御するためのパラメータであり、少なくとも温度（目標温度）を含み、他に風量や風向等が含まれていてもよい。本実施形態では、空調制御値のパラメータが、目標温度と風量であるものとして説明する。
　この制御値電力量対応情報２３３に格納される、Situation分類ごとの、最適な空調制御値（目標温度、風量等）と、それを実行した際の空調消費電力量との情報は、過去の実績データ（運用履歴情報２３２として記憶部２３に保存される。）を用いた手法やルールベースの算出手法により求めることができるが、本実施形態では、学習モデル（空調制御学習モデル）を構築して算出する例として、以下説明する。
≪制御値電力量対応情報の生成処理≫
　配置パターン決定部２１４は、学習モデル（空調制御学習モデル）を、以下に示す、学習フェーズおよび運用フェーズに実行することにより生成する。
　まず、配置パターン決定部２１４は、学習フェーズにおいて、所定の回数（Ｎ回）まで、Situation分類ごとに、ランダムに空調制御値（目標温度、風量等）を生成する。そして、空調制御部２１６により、ランダムに生成した空調制御値により各空調機４を実行させる。
　配置パターン決定部２１４は、Situation分類ごとに、外界因子情報、空調制御値、その制御を実行した際に、算出される報酬（エリア報酬）（詳細は後記）、および、空調消費電力量の情報を、運用履歴情報２３２として記憶する。
　そして、配置パターン決定部２１４は、学習フェーズにおいて所定の回数（Ｎ回）に達すると、運用履歴情報２３２を参照し、Situation分類ごとに、外界因子情報、空調制御値、および、報酬（区域報酬）を取り込み空調制御学習データを生成し、学習モデル（空調制御学習モデル）に学習させる。
　また、配置パターン決定部２１４は、学習フェーズにおける所定の回数（Ｎ回）以降では、外界因子情報を、Situation分類ごとの空調制御学習モデルに入力することにより、空調制御値（目標温度、風量等）を出力し、その空調制御値での空調機４の制御を実行した際の報酬（エリア報酬）および空調消費電力量の情報を運用履歴情報２３２として記憶する。そして、配置パターン決定部２１４は、該当Situation分類の空調制御学習モデルにおいて、後記する所定の報酬に基づく条件を満たした場合に、学習フェーズを終了し運用フェーズに移行する。
　ここで、報酬は、算出された空調制御値による空調機４の制御を実行した結果を評価する指標であり、目標温度にどれだけ達したかを示すものとして報酬（温度報酬）が計算される。また、報酬は、空調エリア４０毎に評価する指標としてのエリア報酬と、ルーム１００全体として評価する指標としての全体報酬が設定される。
　エリア報酬は、例えば、目標温度と所定時間の空調機４の制御後の温度の差に基づき算出される。具体的には、制御開始時の該当空調エリア４０の温度（エリア平均温度）が38度あり、目標温度が31度であるとする。このとき制御後の温度が32度であった場合、目標温度より1度高いため、報酬は「90％」となる。なお、ここでは、目標温度より１度低い場合に報酬を「－10％」として算出している。
　全体報酬は、ルーム１００全体としての空調制御の合否を判定するための指標である。この全体報酬は、エリア報酬を用いた所定のロジックにより算出された報酬（全体報酬）が、所定の閾値（合格閾値）以上であるか否かにより、ルーム１００全体として空調制御の合否を判定するものである。所定のロジックは、例えば、各エリア報酬の平均値が所定の閾値（合格閾値）以上であること等であり、任意に設定される。
　配置パターン決定部２１４は、該当Situation分類の空調制御学習モデルにおいて、算出した全体報酬が、所定の合格閾値を超え合格と判定された場合には、学習フェーズを終了し運用フェーズに移行する。
　そして、配置パターン決定部２１４は、全体報酬について合格と判定した場合、Situation分類ごとに、空調制御値（目標温度、風量等）とその空調制御の際の各空調機４の消費電力量（空調消費電力量）を取得して、制御値電力量対応情報２３３を生成する。
　配置パターン決定部２１４は、各Situation分類の空調制御学習モデルが、学習フェーズから運用フェーズに移行した後、つまり、あるSituation分類において、所定の報酬（全体報酬）を満たす空調制御値に収束した後に、その収束した値から報酬（全体報酬）を満たす、より低制御コスト（より消費電力コストが小さい）の空調制御値がないかを、低コスト方向の空調制御値の試行探索を段階的に実行（縮退稼働）することにより探索してもよい。配置パターン決定部２１４は、縮退稼働を行った場合には、縮退稼働終了時の、より消費電力コストが小さくなる空調制御値と、その空調制御値を実行した際の空調消費電力量とにより、制御値電力量対応情報２３３を更新する。
　以上で、学習モデル（空調制御学習モデル）を用いた制御値電力量対応情報２３３の生成処理の説明を終える。
　配置パターン決定部２１４は、上記のように各ルーム１００のSituation分類において、ルーム内総消費電力量が最も小さい配置パターンを決定する。例えば、図７で示すように、配置パターン決定部２１４は、自身のルーム１００に振り分けられた負荷量において、温度センサから得られた外気温およびサーバエリアの吸気口温度（図７の符号ｂ）に対応する、ルーム内総消費電力量が最も小さい配置パターン（図７の符号ｃで示す各サーバエリア３０の負荷配置パターン）を決定する。なお、配置パターン決定部２１４は、各Situation分類での負荷配置パターンにおけるルーム内総消費電力量の情報等についても、運用履歴情報２３２として記憶しておく。そして、配置パターン決定部２１４は、決定した自身のルーム１００の負荷配置パターンにおけるルーム内総消費電力量の情報（最小のルーム内総消費電力量の情報）を、電力量制御装置１０に送信する。
　負荷配置制御部２１５は、各サーバ３への負荷配置パターンに基づき、仮想リソース（ＶＭ，コンテナ等）を、各サーバ３に配置する。
　なお、負荷配置制御部２１５は、電力量制御装置１０が決定したルーム間負荷振分パターンで示される各ルーム１００の負荷振分比率の情報を取得すると、総負荷量（ＤＣ総負荷量）の情報に基づき、自身が担当するルームに振り分けられた負荷量を確定する。そして、負荷配置制御部２１５は、その負荷量において、配置パターン決定部２１４が決定したルーム内総消費電力量が最も小さい配置パターンに基づき、仮想リソース（ＶＭ，コンテナ等）を、各サーバエリア３０のサーバ３に配置する。
　空調制御部２１６は、配置パターン決定部２１４が算出した、あるSituationでの空調制御値の情報（目標温度、風量等）に基づき、各空調機４の制御を行う。
　なお、空調制御部２１６は、Situation分類ごとに、外界因子情報、空調制御値（目標温度、風量等）、その制御を実行した際に得られる報酬（エリア報酬）、および、空調消費電力量の情報を、運用履歴情報２３２として記憶する。
　また、空調制御部２１６は、負荷配置制御部２１５が、電力量制御装置１０が決定したルーム間負荷振分パターンで示される各ルーム１００の負荷振分比率の情報を取得した場合に、確定した負荷量において、配置パターン決定部２１４が決定したルーム内総消費電力量が最も小さい配置パターンでの空調制御値の情報（目標温度、風量等）に基づき、各空調機４の制御を行う。
≪処理の流れ≫
　次に、本実施形態に係る電力量制御システム１の実行する処理の流れについて説明する。
　図８は、電力量制御システム１が実行する処理の流れを示すシーケンス図である。
　なお、ここでは、各ルーム内電力量制御装置２０の記憶部２３に、サーバ電力量学習モデル２３１および制御値電力量対応情報２３３が予め格納されているものとして説明する。
　まず、電力量制御装置１０のルーム間負荷振分パターン生成部１１１は、外部装置（システム管理装置等）から、ＤＣ１０００内で処理する総負荷量（ＤＣ総負荷量）を取得する（ステップＳ１）。
　続いて、ルーム間負荷振分パターン生成部１１１は、ＤＣ総負荷量について、各ルーム１００への負荷振分比率を変更したＮ通りの負荷量の振り分けを示す、ルーム間負荷振分パターンを生成する（ステップＳ２）。
　ルーム間負荷振分パターン生成部１１１は、生成したルーム間負荷振分パターンごとに、ＤＣ総負荷量と、ルーム間負荷振分パターンで示されるＤＣ総負荷量に対する各ルーム１００の負荷振分比率とを、ルーム内電力量制御装置２０それぞれに送信する（ステップＳ３）。
　次に、各ルーム内電力量制御装置２０の配置パターン算出部２１２は、電力量制御装置１０から取得した、ルーム間負荷振分パターンで示される各ルーム１００の負荷振分比率の情報と、総負荷量（ＤＣ総負荷量）の情報とに基づき、自身が担当するルームに振り分けられる負荷量の情報を得る。
　そして、配置パターン算出部２１２は、自ルーム１００において、仮想リソースを各サーバ３に配置する配置パターンを算出する（ステップＳ４）。
　続いて、各ルーム内電力量制御装置２０のサーバ消費電力量推定部２１３は、配置パターン算出部２１２が算出した配置パターン毎に、各サーバ３の消費電力量を、サーバ電力量学習モデル２３１を用いて推定する。
　そして、サーバ消費電力量推定部２１３は、サーバエリア３０ごとのサーバ配置構成に基づき、サーバエリア３０の各サーバ３のサーバ消費電力量を合算することにより、サーバエリア３０ごとのサーバ消費電力量を算出する（ステップＳ５）。
　次に、各ルーム内電力量制御装置２０の状況認識部２１１は、配置パターン毎に、外気温、サーバエリアの吸気口温度、サーバエリア３０ごとのサーバ消費電力量の情報（外界因子情報）を取得し、Situation分類を判定する（ステップＳ６）。
　続いて、各ルーム内電力量制御装置２０の配置パターン決定部２１４は、各配置パターンにおいて、サーバエリア３０ごとのサーバ消費電力量を合計し、その合計値であるトータルのサーバ消費電力量と、記憶部２３に格納された制御値電力量対応情報２３３から得られる空調消費電力量との合計量（ルーム内総消費電力量）を計算する（ステップＳ７）。
　そして、配置パターン決定部２１４は、各配置パターンのうち、その合計量（ルーム内総消費電力量）が最も小さい配置パターンを、そのルーム１００のSituation分類において、仮想リソースを配置する配置パターンとして決定する。
　次に、配置パターン決定部２１４は、自ルーム１００に振り分けられた負荷量において、負荷配置パターンにおける最小のルーム内総消費電力量の情報を、電力量制御装置１０に送信する（ステップＳ８）。
　次に、電力量制御装置１０の負荷振分比率決定部１１２は、ルーム間負荷振分パターンごとに、各ルーム１００のルーム内総消費電力量を合計し、その合計量（合計消費電力量）が最小となるルーム間負荷振分パターンを決定する（ステップＳ９）。
　続いて、負荷振分比率決定部１１２は、決定したルーム間負荷振分パターンで示される各ルーム１００の負荷振分比率を、ルーム内電力量制御装置２０それぞれに送信する（ステップＳ１０）。
　各ルーム内電力量制御装置１０の負荷配置制御部２１５は、電力量制御装置１０が決定したルーム間負荷振分パターンで示される各ルーム１００の負荷振分比率の情報を取得すると、総負荷量（ＤＣ総負荷量）の情報に基づき、自身が担当するルームに振り分けられた負荷量を確定する。そして、負荷配置制御部２１５は、その負荷量において、配置パターン決定部２１４が決定したルーム内総消費電力量が最も小さい配置パターンに基づき、仮想リソース（ＶＭ，コンテナ等）を、各サーバエリア３０のサーバ３に配置する。また、空調制御部２１６は、制御値電力量対応情報２３３を参照して、当該配置パターンでの空調制御値の情報（目標温度、風量等）に基づき、各空調機４の制御を行う（ステップＳ１１）。
　このように、電力量制御システム１は、ＤＣ１０００に設定される総負荷量に対し、各ルーム１００への負荷振分比率を適切に決定することができる。よって、各ルーム１００の消費電力量の合計であるＤＣ１０００全体の消費電力量を低減することが可能となる。
＜ハードウェア構成＞
　本実施形態に係る電力量制御装置１０およびルーム内電力量制御装置２０は、例えば図９に示すような構成のコンピュータ９００によって実現される。
　図９は、本実施形態に係る電力量制御装置１０およびルーム内電力量制御装置２０の機能を実現するコンピュータ９００の一例を示すハードウェア構成図である。コンピュータ９００は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０２、ＲＡＭ９０３、ＨＤＤ（Hard Disk Drive）９０４、入出力Ｉ／Ｆ（Interface）９０５、通信Ｉ／Ｆ９０６およびメディアＩ／Ｆ９０７を有する。
　ＣＰＵ９０１は、ＲＯＭ９０２またはＨＤＤ９０４に記憶されたプログラムに基づき作動し、制御部による制御を行う。ＲＯＭ９０２は、コンピュータ９００の起動時にＣＰＵ９０１により実行されるブートプログラムや、コンピュータ９００のハードウェアに係るプログラム等を記憶する。
　ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、マウスやキーボード等の入力装置９１０、および、ディスプレイやプリンタ等の出力装置９１１を制御する。ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、入力装置９１０からデータを取得するともに、生成したデータを出力装置９１１へ出力する。なお、プロセッサとしてＣＰＵ９０１とともに、ＧＰＵ（Graphics Processing Unit）等を用いても良い。
　ＨＤＤ９０４は、ＣＰＵ９０１により実行されるプログラムおよび当該プログラムによって使用されるデータ等を記憶する。通信Ｉ／Ｆ９０６は、通信網（例えば、ＮＷ（Network）９２０）を介して他の装置からデータを受信してＣＰＵ９０１へ出力し、また、ＣＰＵ９０１が生成したデータを、通信網を介して他の装置へ送信する。
　メディアＩ／Ｆ９０７は、記録媒体９１２に格納されたプログラムまたはデータを読み取り、ＲＡＭ９０３を介してＣＰＵ９０１へ出力する。ＣＰＵ９０１は、目的の処理に係るプログラムを、メディアＩ／Ｆ９０７を介して記録媒体９１２からＲＡＭ９０３上にロードし、ロードしたプログラムを実行する。記録媒体９１２は、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、磁気記録媒体、半導体メモリ等である。
　例えば、コンピュータ９００が本発明の電力量制御装置１０およびルーム内電力量制御装置２０として機能する場合、コンピュータ９００のＣＰＵ９０１は、ＲＡＭ９０３上にロードされたプログラムを実行することにより、電力量制御装置１０およびルーム内電力量制御装置２０の機能を実現する。また、ＨＤＤ９０４には、ＲＡＭ９０３内のデータが記憶される。ＣＰＵ９０１は、目的の処理に係るプログラムを記録媒体９１２から読み取って実行する。この他、ＣＰＵ９０１は、他の装置から通信網（ＮＷ９２０）を介して目的の処理に係るプログラムを読み込んでもよい。
＜効果＞
　以下、本発明に係る電力量制御システム１等の効果について説明する。
　本発明に係る電力量制御システムは、複数のサーバ３および１つ以上の空調機４が配置されるルーム１００が複数設置されるデータセンタ１０００におけるルーム１００内のサーバ３および空調機４に通信接続され、当該ルーム１００内の消費電力量を制御しルーム１００ごとに設けられるルーム内電力量制御装置２０と、ルーム１００ごとのルーム内電力量制御装置２０と通信接続され、データセンタ１０００全体の消費電力量を制御する電力量制御装置１０と、を備える電力量制御システム１であって、データセンタ１０００の各ルーム１００には、負荷として仮想リソースを配置するまとまったサーバ群が配置される複数のサーバエリア３０と、空調機４による空調制御の効果を測定する複数の空調エリア４０とが、設定されている。
　電力量制御装置１０は、データセンタ内で処理する総負荷量の情報を取得し、各ルーム１００への負荷振分比率を変更した負荷の振分パターンを示すルーム間負荷振分パターンを複数生成し、ルーム１００を担当するルーム内電力量制御装置２０それぞれに送信する振分パターン生成部（ルーム間負荷振分パターン生成部１１１）と、負荷振分比率から求まる各ルーム１００の負荷に応じて、当該ルーム内のサーバ消費電力量および空調消費電力量の合計量が最も小さい負荷の配置パターンにおけるルーム１００全体の電力量を示すルーム内総消費電力量を、ルーム間負荷振分パターンそれぞれについて、ルーム内電力量制御装置２０それぞれから受信し、ルーム内電力量制御装置２０それぞれから受信したルーム内総消費電力量を、ルーム間負荷振分パターンごとに合計し、その合計量を示す合計消費電力量が最小となるルーム間負荷振分パターンを、各ルーム１００への負荷振分比率として決定する負荷振分比率決定部１１２とを備える。
　ルーム内電力量制御装置２０は、サーバエリア３０における吸気口温度、外気温、負荷としての仮想リソースがサーバ３に配置された場合の予測量であるサーバエリア３０ごとのサーバ消費電力量、を含む外界因子の情報を取得し、外界因子それぞれの値を所定のレンジ幅に分割し、外界因子ごとに分割したレンジを組み合わせてSituation分類として定義し、取得した外界因子の情報がどのSituation分類に属するかを判定する状況認識部２１１と、総負荷量および負荷振分比率を用いて、自身のルームに振り分けられた負荷を算出し、算出した負荷としての仮想リソースを、複数のサーバ３のいずれかに配置する配置パターンを算出する配置パターン算出部２１２と、算出した配置パターン毎に、サーバエリア３０それぞれに属するサーバ群のサーバ消費電力量を推定するサーバ消費電力量推定部２１３と、サーバエリア３０それぞれのサーバ消費電力量を用いたSituation分類の判定結果を状況認識部２１１から取得し、Situation分類ごとに、空調機４の空調制御値に、空調消費電力量を対応付けた制御値電力量対応情報２３３を参照して、当該Situation分類における、空調機４の空調制御値および空調消費電力量を、配置パターン毎に取得し、配置パターンそれぞれにおいて、サーバエリア３０ごとのサーバ消費電力量を合計し、その合計であるトータルのサーバ消費電力量と、空調消費電力量との合計量を算出し、算出した合計量が最も小さい配置パターンを、負荷としての仮想リソースを配置する配置パターンに決定し、決定した配置パターンにおける当該算出した最も小さい合計量を、ルーム内総消費電力量として電力量制御装置１０に送信する配置パターン決定部２１４と、を備える。
　このようにすることで、電力量制御システム１は、ＤＣ１０００に設定される総負荷量に対し、各ルーム１００への負荷振分比率を適切に決定することができる。よって、各ルーム１００の消費電力量の合計であるＤＣ１０００全体の消費電力量を低減することが可能となる。
　なお、本発明は、以上説明した実施形態に限定されるものではなく、多くの変形が本発明の技術的思想内で当分野において通常の知識を有する者により可能である。
　１　　　電力量制御システム
　３　　　サーバ
　４　　　空調機
　１０　　電力量制御装置
　１１，２１　制御部
　１２，２２　入出力部
　１３，２３　記憶部
　２０　　ルーム内電力量制御装置
　３０　　サーバエリア
　４０　　空調エリア
　１００　ルーム
　１１１　ルーム間負荷振分パターン生成部（振分パターン生成部）
　１１２　負荷振分比率決定部
　２１１　状況認識部
　２１２　配置パターン算出部
　２１３　サーバ消費電力量推定部
　２１４　配置パターン決定部
　２１５　負荷配置制御部
　２１６　空調制御部
　２３１　サーバ電力量学習モデル
　２３２　運用履歴情報
　２３３　制御値電力量対応情報
　１０００　データセンタ（ＤＣ）

Claims (4)

  1. 　複数のサーバおよび１つ以上の空調機が配置されるルームが複数設置されるデータセンタにおける前記ルーム内のサーバおよび空調機に通信接続され、当該ルーム内の消費電力量を制御し前記ルームごとに設けられるルーム内電力量制御装置と、前記ルームごとの前記ルーム内電力量制御装置と通信接続され、前記データセンタ全体の消費電力量を制御する電力量制御装置と、を備える電力量制御システムであって、
    　前記データセンタの各ルームには、負荷として仮想リソースを配置するまとまったサーバ群が配置される複数のサーバエリアと、前記空調機による空調制御の効果を測定する複数の空調エリアとが、設定されており、
    　前記電力量制御装置は、
    　前記データセンタ内で処理する総負荷量の情報を取得し、各ルームへの負荷振分比率を変更した負荷の振分パターンを示すルーム間負荷振分パターンを複数生成し、前記ルームを担当する前記ルーム内電力量制御装置それぞれに送信する振分パターン生成部と、
    　前記負荷振分比率から求まる各ルームの負荷に応じて、当該ルーム内のサーバ消費電力量および空調消費電力量の合計量が最も小さい前記負荷の配置パターンにおけるルーム全体の電力量を示すルーム内総消費電力量を、前記ルーム間負荷振分パターンそれぞれについて、前記ルーム内電力量制御装置それぞれから受信し、
    　前記ルーム内電力量制御装置それぞれから受信した前記ルーム内総消費電力量を、前記ルーム間負荷振分パターンごとに合計し、その合計量を示す合計消費電力量が最小となるルーム間負荷振分パターンを、各ルームへの負荷振分比率として決定する負荷振分比率決定部とを備え、
    　前記ルーム内電力量制御装置は、
    　前記サーバエリアにおける吸気口温度、外気温、前記負荷としての仮想リソースが前記サーバに配置された場合の予測量である前記サーバエリアごとのサーバ消費電力量、を含む外界因子の情報を取得し、前記外界因子それぞれの値を所定のレンジ幅に分割し、前記外界因子ごとに分割したレンジを組み合わせてSituation分類として定義し、取得した前記外界因子の情報がどのSituation分類に属するかを判定する状況認識部と、
    　前記総負荷量および前記負荷振分比率を用いて、自身のルームに振り分けられた負荷を算出し、算出した前記負荷としての仮想リソースを、前記複数のサーバのいずれかに配置する配置パターンを算出する配置パターン算出部と、
    　算出した配置パターン毎に、前記サーバエリアそれぞれに属するサーバ群のサーバ消費電力量を推定するサーバ消費電力量推定部と、
    　前記サーバエリアそれぞれのサーバ消費電力量を用いたSituation分類の判定結果を前記状況認識部から取得し、前記Situation分類ごとに、前記空調機の空調制御値に、前記空調消費電力量を対応付けた制御値電力量対応情報を参照して、当該Situation分類における、前記空調機の空調制御値および前記空調消費電力量を、配置パターン毎に取得し、
    　配置パターンそれぞれにおいて、前記サーバエリアごとのサーバ消費電力量を合計し、その合計であるトータルのサーバ消費電力量と、前記空調消費電力量との合計量を算出し、算出した合計量が最も小さい配置パターンを、前記負荷としての仮想リソースを配置する配置パターンに決定し、決定した配置パターンにおける当該算出した最も小さい合計量を、前記ルーム内総消費電力量として前記電力量制御装置に送信する配置パターン決定部と、を備える
    　ことを特徴とする電力量制御システム。
  2. 　複数のサーバおよび１つ以上の空調機が配置されるルームが複数設置されるデータセンタにおける前記ルーム内のサーバおよび空調機に通信接続され、当該ルーム内の消費電力量を制御し前記ルームごとに設けられるルーム内電力量制御装置と、前記ルームごとの前記ルーム内電力量制御装置と通信接続され、前記データセンタ全体の消費電力量を制御する電力量制御装置と、を備える電力量制御システムの電力量制御方法であって、
    　前記データセンタの各ルームには、負荷として仮想リソースを配置するまとまったサーバ群が配置される複数のサーバエリアと、前記空調機による空調制御の効果を測定する複数の空調エリアとが、設定されており、
    　前記電力量制御装置は、
    　前記データセンタ内で処理する総負荷量の情報を取得し、各ルームへの負荷振分比率を変更した負荷の振分パターンを示すルーム間負荷振分パターンを複数生成し、前記ルームを担当する前記ルーム内電力量制御装置それぞれに送信するステップと、
    　前記負荷振分比率から求まる各ルームの負荷に応じて、当該ルーム内のサーバ消費電力量および空調消費電力量の合計量が最も小さい前記負荷の配置パターンにおけるルーム全体の電力量を示すルーム内総消費電力量を、前記ルーム間負荷振分パターンそれぞれについて、前記ルーム内電力量制御装置それぞれから受信するステップと、
    　前記ルーム内電力量制御装置それぞれから受信した前記ルーム内総消費電力量を、前記ルーム間負荷振分パターンごとに合計し、その合計量を示す合計消費電力量が最小となるルーム間負荷振分パターンを、各ルームへの負荷振分比率として決定するステップと、を実行し、
    　前記ルーム内電力量制御装置は、
    　前記サーバエリアにおける吸気口温度、外気温、前記負荷としての仮想リソースが前記サーバに配置された場合の予測量である前記サーバエリアごとのサーバ消費電力量、を含む外界因子の情報を取得し、前記外界因子それぞれの値を所定のレンジ幅に分割し、前記外界因子ごとに分割したレンジを組み合わせてSituation分類として定義し、取得した前記外界因子の情報がどのSituation分類に属するかを判定するステップと、
    　前記総負荷量および前記負荷振分比率を用いて、自身のルームに振り分けられた負荷を算出し、算出した前記負荷としての仮想リソースを、前記複数のサーバのいずれかに配置する配置パターンを算出するステップと、
    　算出した配置パターン毎に、前記サーバエリアそれぞれに属するサーバ群のサーバ消費電力量を推定するステップと、
    　前記サーバエリアそれぞれのサーバ消費電力量を用いたSituation分類の判定結果を取得し、前記Situation分類ごとに、前記空調機の空調制御値に、前記空調消費電力量を対応付けた制御値電力量対応情報を参照して、当該Situation分類における、前記空調機の空調制御値および前記空調消費電力量を、配置パターン毎に取得するステップと、
    　配置パターンそれぞれにおいて、前記サーバエリアごとのサーバ消費電力量を合計し、その合計であるトータルのサーバ消費電力量と、前記空調消費電力量との合計量を算出し、算出した合計量が最も小さい配置パターンを、前記負荷としての仮想リソースを配置する配置パターンに決定し、決定した配置パターンにおける当該算出した最も小さい合計量を、前記ルーム内総消費電力量として前記電力量制御装置に送信するステップと、を実行する
    　ことを特徴とする電力量制御方法。
  3. 　複数のサーバおよび１つ以上の空調機が配置されるルームが複数設置されるデータセンタにおける前記ルーム内のサーバおよび空調機の消費電力量を制御する、前記ルームごとに設けられる各ルーム内電力量制御装置に通信接続され、前記データセンタ全体の消費電力量を制御する電力量制御装置であって、
    　前記電力量制御装置は、
    　前記データセンタ内で処理する総負荷量の情報を取得し、各ルームへの負荷振分比率を変更した負荷の振分パターンを示すルーム間負荷振分パターンを複数生成し、前記ルームを担当する前記ルーム内電力量制御装置それぞれに送信する振分パターン生成部と、
    　前記負荷振分比率から求まる各ルームの負荷に応じて、当該ルーム内のサーバ消費電力量および空調消費電力量の合計量が最も小さい前記負荷の配置パターンにおけるルーム全体の電力量を示すルーム内総消費電力量を、前記ルーム間負荷振分パターンそれぞれについて、前記ルーム内電力量制御装置それぞれから受信し、
    　前記ルーム内電力量制御装置それぞれから受信した前記ルーム内総消費電力量を、前記ルーム間負荷振分パターンごとに合計し、その合計量を示す合計消費電力量が最小となるルーム間負荷振分パターンを、各ルームへの負荷振分比率として決定する負荷振分比率決定部とを備える
    　ことを特徴とする電力量制御装置。
  4. 　コンピュータを、請求項３に記載の電力量制御装置として機能させるためのプログラム。
PCT/JP2022/007496 2022-02-24 2022-02-24 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム WO2023162067A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/007496 WO2023162067A1 (ja) 2022-02-24 2022-02-24 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/007496 WO2023162067A1 (ja) 2022-02-24 2022-02-24 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム

Publications (1)

Publication Number Publication Date
WO2023162067A1 true WO2023162067A1 (ja) 2023-08-31

Family

ID=87764990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007496 WO2023162067A1 (ja) 2022-02-24 2022-02-24 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム

Country Status (1)

Country Link
WO (1) WO2023162067A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015192A (ja) * 2008-06-30 2010-01-21 Hitachi Ltd 情報処理システムおよびそのシステムにおける省電力制御方法
US20120116595A1 (en) * 2010-11-09 2012-05-10 Hitachi, Ltd. Information apparatus and method of optimizing cooling efficiency of air conditioner
US20120278045A1 (en) * 2011-04-27 2012-11-01 Hitachi, Ltd. Management computer, computer system including the same, and method for providing allocating plan for it equipment
WO2013042615A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電子計算機システム及び仮想マシン配置方法
JP2013092951A (ja) * 2011-10-27 2013-05-16 Hitachi Ltd 情報処理システム、その省電力制御方法、及び装置
WO2015166758A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 エネルギー制御システム、エネルギー制御装置、エネルギー制御方法及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015192A (ja) * 2008-06-30 2010-01-21 Hitachi Ltd 情報処理システムおよびそのシステムにおける省電力制御方法
US20120116595A1 (en) * 2010-11-09 2012-05-10 Hitachi, Ltd. Information apparatus and method of optimizing cooling efficiency of air conditioner
US20120278045A1 (en) * 2011-04-27 2012-11-01 Hitachi, Ltd. Management computer, computer system including the same, and method for providing allocating plan for it equipment
WO2013042615A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電子計算機システム及び仮想マシン配置方法
JP2013092951A (ja) * 2011-10-27 2013-05-16 Hitachi Ltd 情報処理システム、その省電力制御方法、及び装置
WO2015166758A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 エネルギー制御システム、エネルギー制御装置、エネルギー制御方法及び記録媒体

Similar Documents

Publication Publication Date Title
CN110096349B (zh) 一种基于集群节点负载状态预测的作业调度方法
CN102084316B (zh) 用于管理数据中心操作以提高冷却效率的方法和装置
CN109800066B (zh) 一种数据中心节能调度方法及系统
Ben Alla et al. A novel task scheduling approach based on dynamic queues and hybrid meta-heuristic algorithms for cloud computing environment
CN109375994B (zh) 基于rbf神经网络的数据中心任务温度预测及调度方法
CN107239336B (zh) 一种实现任务调度的方法及装置
JP4724730B2 (ja) 情報処理システムの運用管理方法、運用管理プログラム、および運用管理装置、ならびに情報処理システム
US20140229146A1 (en) In-situ optimization of chilled water plants
US8761955B2 (en) Management computer, computer system including the same, and method for providing allocating plan for it equipment
CN109165093A (zh) 一种计算节点集群弹性分配系统及方法
Su et al. An agent-based distributed real-time optimal control strategy for building HVAC systems for applications in the context of future IoT-based smart sensor networks
Rajabzadeh et al. Energy-aware framework with Markov chain-based parallel simulated annealing algorithm for dynamic management of virtual machines in cloud data centers
CN105373432A (zh) 一种基于虚拟资源状态预测的云计算资源调度方法
Mehranzadeh et al. A novel-scheduling algorithm for cloud computing based on fuzzy logic
CN116467076A (zh) 一种基于集群可用资源的多集群调度方法及系统
CN112433807A (zh) 面向数据中心全局能耗优化的气流感知型虚拟机调度方法
WO2023162067A1 (ja) 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム
Carnerero et al. Probabilistically certified management of data centers using predictive control
Do Comparison of allocation schemes for virtual machines in energy-aware server farms
CN113883689A (zh) 一种空调系统
CN111083201B (zh) 一种工业物联网中数据驱动制造服务的节能资源分配方法
CN106507640B (zh) 一种绿色数据中心温度感知的服务器管理方法
CN115168058B (zh) 线程负载均衡方法、装置、设备及存储介质
Lin et al. Allocating workload to minimize the power consumption of data centers
CN113094149B (zh) 一种数据中心虚拟机放置方法、系统、介质及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22928597

Country of ref document: EP

Kind code of ref document: A1