WO2020218563A1 - 機械学習装置、空調システム及び機械学習方法 - Google Patents

機械学習装置、空調システム及び機械学習方法 Download PDF

Info

Publication number
WO2020218563A1
WO2020218563A1 PCT/JP2020/017806 JP2020017806W WO2020218563A1 WO 2020218563 A1 WO2020218563 A1 WO 2020218563A1 JP 2020017806 W JP2020017806 W JP 2020017806W WO 2020218563 A1 WO2020218563 A1 WO 2020218563A1
Authority
WO
WIPO (PCT)
Prior art keywords
heat
air
temperature
machine learning
water
Prior art date
Application number
PCT/JP2020/017806
Other languages
English (en)
French (fr)
Inventor
尚利 藤田
中山　浩
岡本　康令
Original Assignee
ダイキン工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダイキン工業株式会社 filed Critical ダイキン工業株式会社
Priority to US17/604,491 priority Critical patent/US11959652B2/en
Priority to CN202080016455.6A priority patent/CN113474594A/zh
Priority to JP2021516293A priority patent/JPWO2020218563A1/ja
Priority to EP20794146.9A priority patent/EP3961114B1/en
Publication of WO2020218563A1 publication Critical patent/WO2020218563A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F3/00—Air-conditioning systems in which conditioned primary air is supplied from one or more central stations to distributing units in the rooms or spaces where it may receive secondary treatment; Apparatus specially designed for such systems
    • F24F3/001—Air-conditioning systems in which conditioned primary air is supplied from one or more central stations to distributing units in the rooms or spaces where it may receive secondary treatment; Apparatus specially designed for such systems in which the air treatment in the central station takes place by means of a heat-pump or by means of a reversible cycle
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/46—Improving electric energy efficiency or saving
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • F24F11/83—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air by controlling the supply of heat-exchange fluids to heat-exchangers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F5/00—Air-conditioning systems or apparatus not covered by F24F1/00 or F24F3/00, e.g. using solar heat or combined with household units such as an oven or water heater
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/19—Control of temperature characterised by the use of electric means
    • G05D23/1917—Control of temperature characterised by the use of electric means using digital means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/10—Temperature
    • F24F2110/12—Temperature of the outside air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/20—Humidity
    • F24F2110/22—Humidity of the outside air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2140/00—Control inputs relating to system states
    • F24F2140/50—Load
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2140/00—Control inputs relating to system states
    • F24F2140/60—Energy consumption
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control

Definitions

  • This disclosure relates to machine learning devices, air conditioning systems and machine learning methods.
  • an air conditioning system is a system that moves the amount of heat by transporting a heat medium and adjusts the temperature or humidity of the target space.
  • the movement of the amount of heat is optimized (the flow rate and temperature of the heat medium are optimized). The configuration for this has been proposed.
  • Patent Document 1 proposes a configuration that simulates the energy consumption of an air conditioning system and optimizes the transfer of heat amount so that the energy consumption is reduced.
  • the optimum amount of heat is transferred (optimal heat medium) depending on the combination of the operating conditions of the equipment that supplies the amount of heat, the operating conditions of the equipment that uses the supplied heat, or the load. Flow rate, temperature) will be different.
  • the present disclosure provides machine learning devices, air conditioning systems and machine learning methods that optimize the transfer of heat.
  • the machine learning device is In an air conditioning system having a device on the heat supply side, a device on the heat utilization side, and a heat transfer device for transferring a heat medium from the device on the heat supply side to the device on the heat utilization side, the heat transfer device is a heat medium.
  • a machine learning device that learns at least one of the temperature and flow rate when transporting
  • a state variable acquisition unit that acquires a state variable including the operating conditions of the equipment on the heat supply side, the operating conditions of the equipment on the heat utilization side, and a value that correlates with the amount of heat required for the equipment on the heat utilization side.
  • a learning unit that learns by associating the state variable with at least one of the temperature and the flow rate. It has a reward calculation unit that calculates a reward based on the total value of the power consumption of the device on the heat supply side, the power consumption of the device on the heat utilization side, and the power consumption of the heat transfer device. The learning unit learns using the reward.
  • the second aspect of the present disclosure is the machine learning device according to the first aspect.
  • the operating conditions of the equipment on the heat supply side include any of an outside air temperature, an outside air wet-bulb temperature, and an underground temperature that affect the processing capacity of the equipment on the heat supply side.
  • the third aspect of the present disclosure is the machine learning device according to the first aspect.
  • the operating conditions of the equipment on the heat utilization side include either a suction air temperature or a cold water return water temperature that affects the processing capacity of the equipment on the heat utilization side.
  • the fourth aspect of the present disclosure is the machine learning device according to the third aspect.
  • the operating conditions of the equipment on the heat utilization side further include either an air volume or a chilled water flow rate.
  • the fifth aspect of the present disclosure is the machine learning device according to the first aspect.
  • the value that correlates with the amount of heat required for the device on the heat utilization side includes either the supply air temperature or the cold water supply temperature.
  • the sixth aspect of the present disclosure is the machine learning device according to the fifth aspect.
  • the temperature at which the heat transfer device conveys the heat medium includes the chilled water supply temperature and the cooling water supply temperature, and the flow rate when the heat transfer device conveys the heat medium includes the chilled water flow rate and the cooling water flow rate. Is included.
  • the seventh aspect of the present disclosure is the machine learning device according to the first aspect.
  • the heat supply side device includes an air cooling chiller
  • the heat utilization side device includes an air conditioner
  • the heat transfer device includes a chilled water pump.
  • the eighth aspect of the present disclosure is the machine learning device according to the first aspect.
  • the heat supply side device includes a cooling tower
  • the heat utilization side device includes a water cooling chiller
  • the heat transfer device includes a cooling water pump.
  • the ninth aspect of the present disclosure is the machine learning device according to the first aspect.
  • the heat supply side equipment includes a geothermal heat exchanger
  • the heat utilization side equipment includes a water cooling chiller
  • the heat transfer device includes a cooling water pump.
  • the tenth aspect of the present disclosure is the machine learning device according to the first aspect.
  • the heat supply side equipment includes a cooling tower, a cooling water pump, and a water cooling chiller
  • the heat utilization side equipment includes an air conditioner
  • the heat transfer device includes a cold water pump. Is done.
  • the eleventh aspect of the present disclosure is the machine learning device according to the first aspect.
  • the heat supply side equipment includes a cooling tower
  • the heat utilization side equipment includes a water cooling chiller, a cold water pump, and an air conditioner
  • the heat transfer device includes a cooling water pump. ..
  • the twelfth aspect of the present disclosure is the machine learning device according to the first aspect.
  • the reward calculation unit may perform the above. Lower the reward.
  • the thirteenth aspect of the present disclosure is the machine learning device according to the first aspect.
  • the device on the heat supply side is based on the predetermined upper limit value or lower limit value. Be driven.
  • the air conditioning system is When the equipment on the heat supply side, the equipment on the heat utilization side, the heat transfer device that transfers the heat medium from the equipment on the heat supply side to the equipment on the heat utilization side, and the heat transfer device convey the heat medium.
  • An air conditioning system with a machine learning device that learns at least one of heat and flow.
  • the machine learning device A state variable acquisition unit that acquires a state variable including the operating conditions of the equipment on the heat supply side, the operating conditions of the equipment on the heat utilization side, and a value that correlates with the amount of heat required for the equipment on the heat utilization side.
  • a learning unit that learns by associating the state variable with at least one of the temperature and the flow rate. It has a reward calculation unit that calculates a reward based on the total value of the power consumption of the device on the heat supply side, the power consumption of the device on the heat utilization side, and the power consumption of the heat transfer device. The learning unit learns using the reward.
  • the heat transfer device is a heat medium. It is a machine learning method that learns at least one of the temperature and the flow rate when transporting.
  • the machine learning device is With a water-cooled chiller A cooling water pump that supplies cooling water that cools the refrigerant by heat exchange in the water-cooled chiller, A cooling tower that cools the cooling water conveyed from the water-cooled chiller by contacting it with the outside air.
  • Air conditioner and In an air conditioning system having a chilled water pump that supplies chilled water cooled by the refrigerant by heat exchange in the water-cooled chiller to the air conditioner, the temperature of the cooling water supplied by the chilled water pump and the chilled water pump A machine learning device that learns at least one set of a set of a temperature of cold water supplied by the cooling water pump or a set of a flow rate of cooling water supplied by the cooling water pump and a flow rate of cold water supplied by the cold water pump. And A state variable acquisition unit that acquires a state variable including the operating conditions of the cooling tower, the operating conditions of the air conditioner, and the load of the air conditioner.
  • a learning unit that learns by associating the state variable with at least one of the pairs. It has a cooling tower, a water-cooled chiller, a cooling water pump, a cold water pump, and a reward calculation unit that calculates a reward based on the total power consumption of the air conditioner. The learning unit learns using the reward.
  • the machine learning device is With a chiller unit that heats or cools water, A water pump that supplies water heated or cooled by the chiller unit, In an air conditioning system having a heat exchanger that exchanges heat between passing air and water supplied by the pump, and an air conditioner that sends the air that has passed through the heat exchanger to a target space, the water pump.
  • a machine learning device that learns at least one of the temperature and flow rate of water supplied by A state variable acquisition unit that acquires a state variable including the operating conditions of the chiller unit, the operating conditions of the air conditioner, and the load of the air conditioner.
  • a learning unit that learns by associating the state variable with at least one of the temperature and the flow rate. It has a reward calculation unit that calculates a reward based on the total value of the power consumption of the chiller unit, the air conditioner, and the water pump. The learning unit learns using the reward.
  • FIG. 1 is a diagram showing an example of a system configuration of an air conditioning system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the machine learning device.
  • FIG. 3 is a first diagram showing an example of the functional configuration of the machine learning device.
  • FIG. 4 is a first flowchart showing the flow of reinforcement learning processing by the machine learning device.
  • FIG. 5 is a first diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • FIG. 6 is a second diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • FIG. 7 is a third diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • FIG. 8 is a fourth diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • FIG. 1 is a diagram showing an example of a system configuration of an air conditioning system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the machine learning device.
  • FIG. 3 is
  • FIG. 9 is a fifth diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • FIG. 10 is a sixth diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • FIG. 11 is a second diagram showing an example of the functional configuration of the machine learning device.
  • FIG. 12 is a second flowchart showing the flow of the reinforcement learning process by the machine learning device.
  • FIG. 13 is a third diagram showing an example of the functional configuration of the machine learning device.
  • FIG. 14 is a third flowchart showing the flow of reinforcement learning processing by the machine learning device.
  • FIG. 15 is a first diagram showing an example of a system configuration of an air conditioning system including a cooling water circuit and a cooling water circuit.
  • FIG. 16 is a diagram showing details of the cooling water circuit.
  • FIG. 17 is a first diagram for explaining the function of the heat medium control device.
  • FIG. 18 is a fourth diagram showing an example of the functional configuration of the machine learning device.
  • FIG. 19 is a fourth flowchart showing the flow of reinforcement learning processing by the machine learning device.
  • FIG. 20 is a first diagram showing an example of a system configuration of an air conditioning system including a water circuit.
  • FIG. 21 is a first diagram showing a detailed configuration of the air conditioner.
  • FIG. 22 is a second diagram for explaining the function of the heat medium control device.
  • FIG. 23 is a fifth diagram showing an example of the functional configuration of the machine learning device.
  • FIG. 24 is a fifth flowchart showing the flow of reinforcement learning processing by the machine learning device.
  • FIG. 20 is a first diagram showing an example of a system configuration of an air conditioning system including a water circuit.
  • FIG. 21 is a first diagram showing a detailed configuration of the air conditioner.
  • FIG. 22 is a second diagram for explaining the function of the heat medium control device
  • FIG. 25 is a second diagram showing an example of a system configuration of an air conditioning system including a water circuit.
  • FIG. 26 is a second diagram showing a detailed configuration of the air conditioner.
  • FIG. 27 is a first diagram showing an installation mode of the fan coil unit in the target space.
  • FIG. 28 is a third diagram showing an example of a system configuration of an air conditioning system including a water circuit.
  • FIG. 29 is a third diagram showing a detailed configuration of the air conditioner.
  • FIG. 30 is a second view showing the installation mode of the fan coil unit in the target space.
  • FIG. 1 is a diagram showing an example of a system configuration of an air conditioning system.
  • the air conditioning system 100 includes an air conditioning device 110 and a machine learning device 150.
  • the air conditioner 110 includes a plurality of devices, and these devices can be roughly classified into a device on the heat supply side 120, a device on the heat utilization side 140, and a heat transfer device 130.
  • the heat utilization side 140 refers to the side that receives the heat supply and is close to the target space that is air-conditioned with respect to the transport direction of the heat medium.
  • the heat supply side 120 is a side that supplies heat and refers to a side far from the target space to be air-conditioned with respect to the transport direction of the heat medium.
  • the heat transfer device 130 is a device that transfers the amount of heat by transferring a heat medium from the device on the heat supply side 120 to the device on the heat utilization side 140.
  • the amount of heat is specified based on the temperature of the heat medium and the flow rate of the heat medium.
  • the device on the heat supply side 120 operates so as to achieve at least one of the target values of the temperature and the flow rate of the heat medium transmitted from the machine learning device 150 under predetermined operating conditions. To do.
  • the device of the heat utilization side 140 has a target set in advance for the device of the heat utilization side 140 under predetermined operating conditions and the temperature and flow rate of the heat medium conveyed from the device of the heat supply side 120. It works to achieve the value.
  • the machine learning device 150 ⁇ Operating conditions of the equipment on the heat supply side 120 and ⁇ Operating conditions of 140 devices on the heat utilization side and -The load of the equipment on the heat utilization side 140 (value that correlates with the amount of heat required to achieve the target value in the equipment on the heat utilization side 140) and Is obtained from the air conditioner 110 as a “state variable”.
  • the machine learning device 150 acquires the power consumption of the device on the heat supply side 120, the power consumption of the device on the heat utilization side 140, and the power consumption of the heat transfer device 130 in a predetermined period from the air conditioning device 110. Calculate "total power consumption”.
  • the machine learning device 150 calculates at least one target value of the temperature and the flow rate of the heat medium based on the state variable and the total power consumption acquired from the air conditioning device 110, and transmits the target value to the device on the heat supply side 120. Specifically, the machine learning device 150 learns by associating the acquired state variable with the target value of at least one of the temperature and the flow rate of the heat medium by using the reward calculated based on the acquired total power consumption. .. Further, the machine learning device 150 calculates at least one target value of the temperature and the flow rate of the heat medium associated with the current state variable based on the learning result, and transmits the target value to the device on the heat supply side 120.
  • the machine learning device 150 changes the model parameters so that the power consumption is reduced by performing reinforcement learning using the reward calculated based on the total power consumption of the air conditioner 110, and the heat medium. Calculate the target value of at least one of the temperature and the flow rate of. This makes it possible to optimize the transfer of heat in the air conditioning system 100.
  • the machine learning device 150 automatically constructs a model that associates a state variable including operating conditions and loads with a target value of at least one of the temperature and flow rate of the heat medium while acquiring actual data.
  • a highly accurate model can be easily constructed.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the machine learning device.
  • the machine learning device 150 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203.
  • the CPU 201, ROM 202, and RAM 203 form a so-called computer.
  • the machine learning device 150 includes an auxiliary storage device 204, a display device 205, an operation device 206, and an I / F (Interface) device 207.
  • the hardware of the machine learning device 150 is connected to each other via the bus 208.
  • the CPU 201 is an arithmetic device that executes various programs (for example, a machine learning program described later) installed in the auxiliary storage device 204.
  • ROM 202 is a non-volatile memory.
  • the ROM 202 functions as a main storage device, and stores various programs, data, and the like necessary for the CPU 201 to execute various programs installed in the auxiliary storage device 204.
  • the ROM 202 stores boot programs such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).
  • RAM 203 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the RAM 203 functions as a main storage device and provides a work area that is expanded when various programs installed in the auxiliary storage device 204 are executed by the CPU 201.
  • Auxiliary storage device 204 stores various programs and information used when various programs are executed.
  • the display device 205 is a display device that displays the internal state of the machine learning device 150.
  • the operation device 206 is, for example, an operation device for the manager of the machine learning device 150 to perform various operations on the machine learning device 150.
  • the I / F device 207 is a connection device that connects to the device included in the air-conditioning device 110 and transmits / receives data to / from the device included in the air-conditioning device 110.
  • FIG. 3 is a first diagram showing an example of the functional configuration of the machine learning device.
  • the machine learning device 150 has a machine learning program installed, and when the program is executed, the machine learning device 150 has a power consumption acquisition unit 310, a reward calculation unit 320, and a state variable acquisition unit. 330, functions as a reinforcement learning unit 340.
  • the power consumption acquisition unit 310 acquires the power consumption of the device of the heat supply side 120 for a predetermined period, the power consumption of the device of the heat utilization side 140 for a predetermined period, and the power consumption of the heat transfer device 130 for a predetermined period. Notify the reward calculation unit 320 of the total value.
  • the reward calculation unit 320 calculates the reward based on the total value notified from the power consumption acquisition unit 310, and notifies the reinforcement learning unit 340.
  • the state variable acquisition unit 330 sets the operating conditions of the equipment on the heat supply side 120 in a predetermined period, the operating conditions of the equipment on the heat utilization side 140 in a predetermined period, and the load of the equipment on the heat utilization side 140 in a predetermined period. As a variable, it is acquired from each device included in the air conditioner device 110. Further, the state variable acquisition unit 330 notifies the reinforcement learning unit 340 of the acquired state variable.
  • the reinforcement learning unit 340 has a calorific value model 341, and changes the model parameters of the calorific value model 341 so that the reward notified from the reward calculation unit 320 is maximized. As a result, the reinforcement learning unit 340 performs reinforcement learning on the calorific value model 341 that associates the state variable with the target value of at least one of the temperature and the flow rate of the heat medium.
  • the reinforcement learning unit 340 calculates at least one of the temperature and the flow rate of the heat medium, which is calculated by inputting the current state variable notified by the state variable acquisition unit 330 into the heat quantity model 341 whose model parameters have been changed. Get the target value of. Further, the reinforcement learning unit 340 transmits the acquired target values of at least one of the temperature and the flow rate of the heat medium to the device on the heat supply side 120. As a result, the equipment on the heat supply side 120 operates so as to achieve at least one target value of the temperature and the flow rate of the transmitted heat medium. As a result, according to the machine learning device 150, the power consumption of the air conditioner 110 can be reduced.
  • FIG. 4 is a first flowchart showing the flow of reinforcement learning processing by the machine learning device.
  • step S401 the state variable acquisition unit 330 acquires the state variable for a predetermined period from each device included in the air conditioner 110.
  • step S402 the power consumption acquisition unit 310 determines the power consumption of the device of the heat supply side 120 for a predetermined period, the power consumption of the device of the heat utilization side 140 for a predetermined period, and the power consumption of the heat transfer device 130 for a predetermined period. To calculate the total value.
  • step S403 the reward calculation unit 320 calculates the reward based on the calculated total value.
  • step S404 the reward calculation unit 320 determines whether or not the calculated reward is equal to or greater than a predetermined threshold value. If it is determined in step S404 that the threshold value is not equal to or higher than the predetermined threshold value (NO in step S404), the process proceeds to step S405.
  • step S405 the reinforcement learning unit 340 performs machine learning on the calorific value model 341 so that the calculated reward is maximized.
  • step S406 the reinforcement learning unit 340 executes the calorific value model 341 by inputting the current state variable into the calorific value model 341. As a result, the reinforcement learning unit 340 outputs at least one target value of the temperature and the flow rate of the heat medium.
  • step S407 the reinforcement learning unit 340 transmits at least one target value of the temperature and the flow rate of the output heat medium to the device on the heat supply side 120. After that, the process returns to step S401.
  • step S404 if it is determined in step S404 that the threshold value is equal to or higher than the predetermined threshold value (YES in step S404), the reinforcement learning process is terminated.
  • the air conditioning system is ⁇ Equipment on the heat supply side and ⁇ Equipment on the heat utilization side and ⁇ A heat transfer device that transfers a heat medium from the equipment on the heat supply side to the equipment on the heat utilization side, -A machine learning device that learns at least one of the temperature and flow rate when the heat transfer device transfers the heat medium, Have.
  • the machine learning device -Acquire state variables including the operating conditions of the equipment on the heat supply side, the operating conditions of the equipment on the heat utilization side, and the load of the equipment on the heat utilization side.
  • the reward is calculated based on the total value of the power consumption of the equipment on the heat supply side, the power consumption of the equipment on the heat utilization side, and the power consumption of the heat transfer device.
  • the calculated reward is used.
  • the machine learning device changes the model parameters so that the power consumption is reduced by performing reinforcement learning using the reward calculated based on the total value of the power consumption of each device, and the heat medium. Calculate the target value of at least one of the temperature and the flow rate of.
  • the machine learning device automatically constructs a model that associates a state variable including operating conditions with a target value of at least one of the temperature and flow rate of the heat medium while acquiring actual data.
  • the specific examples of the equipment on the heat supply side 120 and the equipment on the heat utilization side 140 are not mentioned.
  • the air conditioner 110 includes various devices, and the combination of the device on the heat supply side 120 and the device on the heat utilization side 140 is also various.
  • the second embodiment a specific example of the device on the heat supply side 120 and a specific example of the device on the heat utilization side will be given, and the learning data set used for reinforcement learning will be described in detail.
  • the second embodiment first, a case where the equipment included in the heat supply side 120 or the heat utilization side 140 is formed in a plurality of stages will be described.
  • the description will be focused on the differences from the first embodiment.
  • FIG. 5 is a first diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • the equipment on the heat supply side 120 includes a cooling tower 501, a water-cooled chiller 502, and a cooling water pump 503.
  • the cooling tower 501 includes, for example, an open type cooling tower and a closed type cooling tower.
  • the device on the heat utilization side 140 includes an air conditioner 511.
  • the air conditioner 511 includes, for example, an external air conditioning air handling unit, an indoor fan coil unit, and a water heat source heat pump air conditioner.
  • the machine learning device 150 affects the processing capacity of the device on the heat supply side 120 as an operating condition of the device on the heat supply side 120 included in the state variable.
  • ⁇ Outside air wet bulb temperature of open cooling tower, ⁇ Outside air wet-bulb temperature of a closed cooling tower, Etc. are acquired.
  • the outside air wet-bulb temperature may be read as the outside air temperature.
  • the machine learning device 150 affects the processing capacity of the device of the heat utilization side 140 as an operating condition of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Suction air temperature, suction air humidity, (and air volume) of the external air handling unit ⁇ Suction air temperature, suction air humidity, (and air volume) of the indoor fan coil unit, ⁇ Water heat source Heat pump Air conditioner suction air temperature, suction air humidity, (and air volume), Etc. are acquired.
  • the suction air temperature and the suction air humidity may be read as the outside air temperature and the outside air humidity.
  • the suction air temperature and the suction air humidity may be read as the room temperature and the room humidity. Further, when the machine learning device 150 acquires the suction air temperature and the suction air humidity from the water heat source heat pump air conditioner, the suction air temperature and the suction air humidity are read as outside air temperature, outside air humidity, or room temperature and room humidity. You may get it. Alternatively, it may be obtained by replacing it with the refrigerant pressure, the refrigerant temperature, and the operating status of the compressor.
  • the machine learning device 150 sets the amount of heat required for achieving the target value in the device of the heat utilization side 140 as the load of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume) of the external air handling unit, -Indoor fan coil unit air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume), ⁇ Compressor load factor of water heat source heat pump air conditioner, Etc. are acquired.
  • the machine learning device 150 calculates data that correlates with the amount of heat required to achieve the target value in the device on the heat utilization side 140 from the air side or from the cold water side instead of acquiring from the compressor load factor. You may.
  • the machine learning device 150 uses the power consumption of the heat supply side 120 for calculating the total power consumption as the power consumption.
  • ⁇ Power consumption of cold water pump 521, Etc. are acquired.
  • the machine learning device 150 sets the target value of at least one of the temperature and the flow rate of the heat medium. ⁇ Target value of cold water supply temperature, ⁇ Target value of cold water flow rate, Is calculated.
  • FIG. 6 is a second diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • the equipment on the heat supply side 120 includes a cooling tower 601.
  • the cooling tower 601 includes, for example, an open type cooling tower and a closed type cooling tower.
  • the equipment on the heat utilization side 140 includes a water-cooled chiller 611, an air conditioner 612, and a cold water pump 613.
  • the air conditioner 612 includes, for example, an external air conditioning air handling unit, an indoor fan coil unit, and a water heat source heat pump air conditioner.
  • the machine learning device 150 affects the processing capacity of the device on the heat supply side 120 as an operating condition of the device on the heat supply side 120 included in the state variable.
  • ⁇ Outside air wet bulb temperature of open cooling tower, ⁇ Outside air wet-bulb temperature of a closed cooling tower, Etc. are acquired.
  • the outside air wet-bulb temperature may be read as the outside air temperature.
  • the machine learning device 150 affects the processing capacity of the device of the heat utilization side 140 as an operating condition of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Suction air temperature, suction air humidity, (and air volume) of the external air handling unit ⁇ Suction air temperature, suction air humidity, (and air volume) of the indoor fan coil unit, ⁇ Water heat source Heat pump Air conditioner suction air temperature, suction air humidity, (and air volume), Etc. are acquired.
  • the suction air temperature and the suction air humidity may be read as the outside air temperature and the outside air humidity.
  • the suction air temperature and the suction air humidity may be read as the room temperature and the room humidity. Further, when the machine learning device 150 acquires the suction air temperature and the suction air humidity from the water heat source heat pump air conditioner, the suction air temperature and the suction air humidity are read as outside air temperature, outside air humidity, or room temperature and room humidity. You may get it. Alternatively, it may be obtained by replacing it with the refrigerant pressure, the refrigerant temperature, and the operating status of the compressor.
  • the machine learning device 150 sets the amount of heat required for achieving the target value in the device of the heat utilization side 140 as the load of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Supply air temperature, supply air humidity, or suction air temperature, suction air humidity, (and air volume) of the external air handling unit, -Indoor fan coil unit air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume) ⁇ Compressor load factor of water heat source heat pump air conditioner, Etc. are acquired.
  • the machine learning device 150 calculates data that correlates with the amount of heat required to achieve the target value in the device on the heat utilization side 140 from the air side or from the cold water side instead of acquiring from the compressor load factor. You may.
  • the machine learning device 150 uses the power consumption of the heat supply side 120 for calculating the total power consumption as the power consumption.
  • ⁇ Power consumption of cooling tower 601 As the power consumption of the heat utilization side 140 for acquiring data such as, etc. and calculating the total power consumption, ⁇ Power consumption of water-cooled chiller 611, -Power consumption of air conditioner 612-Power consumption of cold water pump 613, As the power consumption of the heat transfer device 130 for acquiring data such as, etc. and calculating the total power consumption.
  • ⁇ Power consumption of cooling water pump 621, Etc. are acquired.
  • the machine learning device 150 sets the target value of at least one of the temperature and the flow rate of the heat medium. ⁇ Target value of cooling water supply temperature, ⁇ Target value of cooling water flow rate, Is calculated.
  • reinforcement learning can be performed using the learning data sets shown in the above specific examples 1 and 2.
  • FIG. 7 is a third diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • the device on the heat supply side 120 includes an air-cooled chiller 701 (an example of a chiller unit).
  • the air-cooled chiller 701 includes, for example, an air-cooled heat pump refrigerator.
  • the device on the heat utilization side 140 includes an air conditioner 711.
  • the air conditioner 711 includes, for example, an external air conditioning air handling unit, an indoor fan coil unit, and a water heat source heat pump air conditioner.
  • the machine learning device 150 affects the processing capacity of the device on the heat supply side 120 as an operating condition of the device on the heat supply side 120 included in the state variable. ⁇ Outside air temperature during cooling of air-cooled heat pump refrigerator ⁇ Outside air wet-bulb temperature during heating of air-cooled heat pump refrigerator Etc. are acquired. When the machine learning device 150 acquires the outside air temperature or the outside air wet-bulb temperature from the air-cooled heat pump refrigerator, the machine learning device 150 may read the outside air temperature or the outside air wet-bulb temperature as the operating status of the compressor and the fan.
  • the machine learning device 150 affects the processing capacity of the device of the heat utilization side 140 as an operating condition of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Suction air temperature, suction air humidity, (and air volume) of the external air handling unit ⁇ Suction air temperature, suction air humidity, (and air volume) of the indoor fan coil unit, ⁇ Water heat source Heat pump Air conditioner suction air temperature, suction air humidity, (and air volume), Etc. are acquired.
  • the suction air temperature and the suction air humidity may be read as the outside air temperature and the outside air humidity.
  • the suction air temperature and the suction air humidity may be read as the room temperature and the room humidity. Further, when the machine learning device 150 acquires the suction air temperature and the suction air humidity from the water heat source heat pump air conditioner, the suction air temperature and the suction air humidity are read as outside air temperature, outside air humidity, or room temperature and room humidity. You may get it. Alternatively, it may be obtained by replacing it with the refrigerant pressure, the refrigerant temperature, and the operating status of the compressor.
  • the machine learning device 150 sets the amount of heat required for achieving the target value in the device of the heat utilization side 140 as the load of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume) of the external air handling unit, -Indoor fan coil unit air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume), ⁇ Compressor load factor of water heat source heat pump air conditioner, Etc. are acquired.
  • the machine learning device 150 calculates data that correlates with the amount of heat required to achieve the target value in the device on the heat utilization side 140 from the air side or from the cold water side instead of acquiring from the compressor load factor. You may.
  • the machine learning device 150 uses the power consumption of the heat supply side 120 for calculating the total power consumption as the power consumption.
  • ⁇ Power consumption of air-cooled chiller 701 As the power consumption of the heat utilization side 140 for acquiring data such as, etc. and calculating the total power consumption, ⁇ Power consumption of air conditioner 711, As the power consumption of the heat transfer device 130 for acquiring data such as, etc. and calculating the total power consumption.
  • ⁇ Power consumption of cold water pump 721, Etc. are acquired.
  • the machine learning device 150 sets the target value of at least one of the temperature and the flow rate of the heat medium. ⁇ Target value of cold water supply temperature, ⁇ Target value of cold water flow rate, Is calculated.
  • FIG. 8 is a fourth diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • the equipment on the heat supply side 120 includes a cooling tower or a geothermal heat exchanger 801.
  • the cooling tower or the geothermal heat exchanger 801 includes, for example, an open cooling tower, a closed cooling tower, and a geothermal heat exchanger.
  • the device on the heat utilization side 140 includes a water-cooled chiller 811.
  • the water-cooled chiller 811 includes, for example, a water-cooled heat pump refrigerator and an absorption chiller.
  • the machine learning device 150 affects the processing capacity of the device on the heat supply side 120 as an operating condition of the device on the heat supply side 120 included in the state variable.
  • ⁇ Outside air wet bulb temperature of open cooling tower, ⁇ Outside air wet-bulb temperature of a closed cooling tower, ⁇ Underground temperature of the geothermal heat exchanger, Etc. are acquired.
  • the outside air wet-bulb temperature may be read as the outside air temperature.
  • the underground temperature may be read as the outlet temperature of the geothermal heat exchanger.
  • the machine learning device 150 affects the processing capacity of the device of the heat utilization side 140 as an operating condition of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Cold water return temperature (or cold water return temperature and cold water flow rate) of the water-cooled heat pump refrigerator, ⁇ Cold water return temperature (or cold water return temperature and cold water flow rate) of the absorption chiller, Etc. are acquired.
  • the machine learning device 150 sets the amount of heat required for achieving the target value in the device of the heat utilization side 140 as the load of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Water-cooled heat pump Refrigerator load factor, cold water supply temperature (or cold water return temperature and cold water flow rate), ⁇ Cold water supply temperature (or cold water return temperature, cold water flow rate) of the absorption chiller, Etc. are acquired.
  • the machine learning device 150 uses the power consumption of the heat supply side 120 for calculating the total power consumption as the power consumption.
  • ⁇ Cooling tower power consumption As the power consumption of the heat utilization side 140 for acquiring data such as, etc. and calculating the total power consumption, ⁇ Power consumption of water-cooled chiller 811 As the power consumption of the heat transfer device 130 for acquiring data such as, etc. and calculating the total power consumption.
  • ⁇ Power consumption of cooling water pump 821, Etc. are acquired.
  • the machine learning device 150 sets the target value of at least one of the temperature and the flow rate of the heat medium. ⁇ Target value of cooling water supply temperature, ⁇ Target value of cooling water flow rate, Is calculated.
  • reinforcement learning can be performed using the learning data sets shown in the above specific examples 1 and 2.
  • FIG. 9 is a fifth diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • the equipment on the heat supply side 120 includes an air-cooled chiller 901 and a cooling tower 902. Since the types of equipment included in the air-cooled chiller 901 and the cooling tower 902 have already been described, the description thereof will be omitted here.
  • the device on the heat utilization side 140 includes an air conditioner 911. Since the types of devices included in the air conditioner 911 have already been described, the description thereof will be omitted here.
  • the machine learning device 150 affects the processing capacity of the device on the heat supply side 120 as an operating condition of the device on the heat supply side 120 included in the state variable. ⁇ Outside air temperature during cooling of air-cooled heat pump refrigerator ⁇ Outside air wet-bulb temperature during heating of air-cooled heat pump refrigerator ⁇ Outside air wet bulb temperature of open cooling tower, ⁇ Outside air wet-bulb temperature of a closed cooling tower, Etc. are acquired. Since the replacement of the machine learning device 150 when acquiring these operating conditions has already been described, the description thereof will be omitted here.
  • the machine learning device 150 affects the processing capacity of the device of the heat utilization side 140 as an operating condition of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Suction air temperature, suction air humidity, (and air volume) of the external air handling unit, ⁇ Suction air temperature, suction air humidity, (and air volume) of the indoor fan coil unit, ⁇ Water heat source Heat pump Air conditioner suction air temperature, suction air humidity, (and air volume), Etc. are acquired.
  • the machine learning device 150 sets the amount of heat required for achieving the target value in the device of the heat utilization side 140 as the load of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume) of the external air handling unit, -Indoor fan coil unit air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume) are acquired.
  • the machine learning device 150 uses the power consumption of the heat supply side 120 for calculating the total power consumption as the power consumption.
  • ⁇ Power consumption of air-cooled chiller 901, ⁇ Power consumption of cooling tower 902 As the power consumption of the heat utilization side 140 for acquiring data such as, etc. and calculating the total power consumption, ⁇ Power consumption of air conditioner 911, As the power consumption of the heat transfer device 130 for acquiring data such as, etc. and calculating the total power consumption.
  • ⁇ Power consumption of cold water pump 921, Etc. are acquired.
  • the machine learning device 150 sets the target value of at least one of the temperature and the flow rate of the heat medium. ⁇ Target value of cold water supply temperature, ⁇ Target value of cold water flow rate, Is calculated.
  • FIG. 10 is a sixth diagram showing a specific example of the heat supply side device and the heat utilization side device.
  • the device on the heat supply side 120 includes an air-cooled chiller 1001. Since the types of devices included in the air-cooled chiller 1001 have already been described, the description thereof will be omitted here.
  • the equipment on the heat utilization side 140 includes an air conditioner 1011, a multi air conditioner 1012 for a water-cooled building, and a multi air conditioner 1013 for a water-cooled building. Since the types of devices included in the air conditioner 1011 have already been described, the description thereof will be omitted here. Further, the multi air conditioners 1012 and 1013 for water-cooled buildings include, for example, heat source units and indoor units of multi air conditioners for water-cooled buildings.
  • the machine learning device 150 affects the processing capacity of the device on the heat supply side 120 as an operating condition of the device on the heat supply side 120 included in the state variable. ⁇ Outside air temperature during cooling of air-cooled heat pump refrigerator ⁇ Outside air wet-bulb temperature during heating of air-cooled heat pump refrigerator Etc. are acquired. Since the replacement of the machine learning device 150 when acquiring these operating conditions has already been described, the description thereof will be omitted here.
  • the machine learning device 150 affects the processing capacity of the device of the heat utilization side 140 as an operating condition of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Suction air temperature, suction air humidity, (and air volume) of the external air handling unit ⁇ Suction air temperature, suction air humidity, (and air volume) of the indoor fan coil unit, ⁇ Water heat source Heat pump Air conditioner suction air temperature, suction air humidity, (and air volume), ⁇ Indoor temperature, indoor humidity, etc. of multi air conditioners for water-cooled buildings Etc. are acquired.
  • the machine learning device 150 sets the amount of heat required for achieving the target value in the device of the heat utilization side 140 as the load of the device of the heat utilization side 140 included in the state variable.
  • ⁇ Air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume) of the external air handling unit, -Indoor fan coil unit air supply temperature, air supply humidity, or suction air temperature, suction air humidity, (and air volume) are acquired.
  • the machine learning device 150 uses the power consumption of the heat supply side 120 for calculating the total power consumption as the power consumption.
  • ⁇ Power consumption of air-cooled chiller 1001 As the power consumption of the heat utilization side 140 for acquiring data such as, etc. and calculating the total power consumption, -Power consumption of air conditioner 1011 ⁇ Power consumption of multi air conditioners 1012 and 1013 for water-cooled buildings, As the power consumption of the heat transfer device 130 for acquiring data such as, etc. and calculating the total power consumption.
  • ⁇ Power consumption of cold water pump 1021 Etc. are acquired.
  • the machine learning device 150 sets the target value of at least one of the temperature and the flow rate of the heat medium. ⁇ Target value of cold water supply temperature, ⁇ Target value of total cold water flow rate, Is calculated.
  • reinforcement learning can be performed using the learning data sets shown in the above specific examples 1 and 2.
  • the reward calculation unit 320 calculates the reward based on the total value notified by the power consumption acquisition unit 310, and notifies the reinforcement learning unit 340.
  • the method of calculating the reward by the reward calculation unit 320 is not limited to this.
  • a signal indicating that the abnormality has occurred is acquired as risk information, and the acquired risk information is added to the reward. It may be configured to calculate.
  • the fifth embodiment will be described focusing on the differences from the first embodiment.
  • FIG. 11 is a second diagram showing an example of the functional configuration of the machine learning device. The difference from FIG. 3 is that the machine learning device 150 according to the fifth embodiment has the risk information acquisition unit 1110.
  • the risk information acquisition unit 1110 acquires a signal indicating that the abnormality has occurred as risk information and notifies the reward calculation unit 320. To do.
  • the risk information acquisition unit 1110 generated, for example, in an air-cooled heat pump refrigerator.
  • ⁇ High pressure abnormality (high temperature, low flow rate), low pressure abnormality (low temperature, low flow rate), ⁇ Heat exchanger freezing (low temperature, low flow rate), heat exchanger drift (low flow rate) Etc. are acquired as risk information.
  • the risk information acquisition unit 1110 is generated by, for example, a water-cooled heat pump refrigerator or a water heat source heat pump air conditioner.
  • High pressure abnormality high temperature, low flow rate
  • low pressure abnormality low temperature, low flow rate
  • heat exchanger freezing low temperature, low flow rate
  • heat exchanger drift low flow rate
  • Etc. Etc.
  • the risk information acquisition unit 1110 generated, for example, in an absorption chiller.
  • Heat exchanger freezing low temperature, low flow rate
  • heat exchanger drift low flow rate
  • Etc. are acquired as risk information.
  • FIG. 12 is a second flowchart showing the flow of the reinforcement learning process by the machine learning device. The difference from the flowchart shown in FIG. 4 is steps S1201 and S1202.
  • step S1201 the risk information acquisition unit 1110 determines whether or not a signal indicating that some abnormality has occurred has been acquired as risk information from the device of the heat supply side 120 or the device of the heat utilization side 140.
  • step S1202 the reward calculation unit 320 subtracts the reward calculated in step S403 according to the acquired risk information.
  • the reinforcement learning unit 340 transmits at least one target value of the temperature and the flow rate of the heat medium calculated by the heat quantity model 341 to the device on the heat supply side 120. did.
  • the output method of at least one target value of the temperature and the flow rate of the heat medium is not limited to this.
  • the upper limit value or the lower limit value may be output.
  • the sixth embodiment will be described focusing on the differences from the first embodiment.
  • FIG. 13 is a third diagram showing an example of the functional configuration of the machine learning device. The difference from FIG. 3 is that the machine learning device 150 according to the sixth embodiment has an upper / lower limit value limiting unit 1310.
  • the upper / lower limit value limiting unit 1310 acquires at least one target value of the temperature and the flow rate of the heat medium calculated by the calorific value model 341 and output by the reinforcement learning unit 340. Further, the upper / lower limit value limiting unit 1310 determines whether or not the acquired target value of at least one of the temperature and the flow rate of the heat medium exceeds the upper / lower limit value of the flow rate and the temperature that can be set in the equipment on the heat supply side 120. judge. When the upper / lower limit value limiting unit 1310 determines that the upper / lower limit value is exceeded, the upper / lower limit value limiting unit 1310 transmits the upper limit value or the lower limit value to the device on the heat supply side 120.
  • the upper / lower limit value limiting unit 1310 determines that the upper / lower limit value is not exceeded, the upper / lower limit value limiting unit 1310 transmits at least one target value of the temperature and the flow rate of the acquired heat medium to the device on the heat supply side 120.
  • FIG. 14 is a third flowchart showing the flow of reinforcement learning processing by the machine learning device. The difference from the flowchart shown in FIG. 4 is steps S1401 and S1402.
  • step S1401 the upper / lower limit value limiting unit 1310 sets the upper / lower limit value at which at least one of the target values of the temperature and the flow rate of the heat medium output by the reinforcement learning unit 340 in step S406 can be set in the device on the heat supply side 120. Judge whether or not it exceeds.
  • step S1401 If it is determined in step S1401 that the upper and lower limit values have been exceeded (YES in step S1401), the process proceeds to step S1402.
  • step S1401 the upper / lower limit value limiting unit 1310 outputs the upper limit value or the lower limit value to the device on the heat supply side 120.
  • step S1401 determines whether the upper and lower limit values are not exceeded (NO in step S1401). If it is determined in step S1401 that the upper and lower limit values are not exceeded (NO in step S1401), the process proceeds to step S407. In this case, the upper / lower limit value limiting unit 1310 outputs at least one target value of the temperature and the flow rate of the heat medium output by the reinforcement learning unit 340 in step S406 to the device on the heat supply side 120.
  • a specific circuit configuration for transporting a heat medium in an air conditioning system including a cooling tower, a water cooling chiller, and an air conditioner (the air conditioning system shown in the second embodiment above). Clarify the circuit, cold water circuit).
  • FIG. 15 is a diagram showing an example of a system configuration of an air conditioning system including a cooling water circuit and a cooling water circuit. Further, FIG. 16 is a diagram showing details of the cooling water circuit.
  • FIGS. 15 and 16 the configuration of the entire air conditioning system 100, each device of the air conditioning system 100, and the configuration of each circuit will be described with reference to FIGS. 15 and 16.
  • the air-conditioning system 100 shown in FIG. 15 is installed in a relatively large building such as a building, a factory, a hospital, or a hotel.
  • the air conditioning device 110 includes a heat medium control device 1500, a cooling tower 1510, a water cooling chiller group 1520, a primary side chilled water pump 1530, a secondary side chilled water pump 1540, and an air conditioner 1550.
  • a cooling water circuit 1560 is formed between the cooling tower 1510 and the water-cooled chiller group 1520, and a chilled water circuit 1570 is formed between the water-cooled chiller group 1520 and the air conditioner 1550.
  • Cooling tower and cooling water circuit In the cooling tower 1510, the fan 1513 of the main body 1512 operates under the control of the heat medium control device 1500 to bring the cooling water circulating in the cooling water circuit 1560 into contact with the outside air. Cool it down.
  • the cooling tower 1510 is provided with a wet-bulb thermometer 1511, and by measuring the wet-bulb temperature of the outside air, the outside air wet-bulb temperature is output to the heat medium control device 1500.
  • the cooling water circuit 1560 is provided with a cooling water pump 1562 (see FIG. 15).
  • the cooling water pump 1562 is a pump whose discharge flow rate can be adjusted, and circulates the cooling water in the cooling water circuit 1560.
  • the cooling water pump 1562 is driven by an inverter by the heat medium control device 1500.
  • the cooling water circuit 1560 is provided with temperature detection sensors 1575a, 1575b, 1576a, 1576b (see FIG. 16).
  • the temperature detection sensor 1575a is attached near the inlet of the water-cooled chiller 1521a and measures the cooling water temperature T3a.
  • the temperature detection sensor 1575b is attached near the inlet of the water-cooled chiller 1521b and measures the cooling water temperature T3b.
  • the temperature detection sensor 1576a is attached near the outlet of the water-cooled chiller 1521a and measures the cooling water temperature T4a. Further, the temperature detection sensor 1576b is attached near the inlet of the water-cooled chiller 1521b and measures the cooling water temperature T4b.
  • the cooling water temperature measured by the temperature detection sensors 1575a, 1575b, 1576a, 1576b is output to the heat medium control device 1500.
  • a flow meter 1563 is attached to the cooling water circuit 1560 (see FIG. 16).
  • the flow meter 1563 is attached to the outlet side of the water-cooled chillers 1521a and 1521b and the inlet side of the cooling tower 1510, and measures the flow rate of the cooling water circulating in the cooling water circuit 1560.
  • the water-cooled chiller group 1520 has water-cooled chillers 1521a and 1521b, which are water-cooled heat source machines.
  • the water-cooled chillers 1521a and 1521b are connected in parallel with each other in the cooling water circuit 1560 (see FIG. 16).
  • Compressors (not shown), radiators 1522a, 1522b (see FIG. 16), chiller-side expansion valves (not shown), evaporators 1523a, 1523b (see FIG. 15), etc. are sequentially connected to the water-cooled chillers 1521a and 1521b. It has a refrigerant circuit (not shown). The inside of the refrigerant circuit is filled with refrigerant. The cooling water circulating in the cooling water circuit 1560 passes through the radiators 1522a and 1522b to exchange heat with the refrigerant inside the refrigerant circuit. Further, the refrigerant inside the refrigerant circuit exchanges heat with the cold water circulating in the cold water circuit 1570 in the evaporators 1523a and 1523b.
  • the water-cooled chillers 1521a and 1521b cool or heat cold water as a heat medium via the refrigerant circuit.
  • the cold water circuit 1570 is formed by connecting pipes L1 to L4 filled with cold water as a heat medium (see FIG. 15).
  • the number of connecting pipes L1 is provided according to the number of water-cooled chillers 1521a and 1521b (two in the case of FIG. 15), and one end of the evaporator 1523a is on the outlet side of each of the water-cooled chillers 1521a and 1521b. It is connected to 1523b. The other end of the connecting pipe L1 is connected to the inflow port of the tank 1574.
  • One end of the connecting pipe L2 is connected to the outlet of the tank 1574, and the other end is connected to the utilization side heat exchanger 1551 which is the inlet side of the air conditioner 1550.
  • One end of the connecting pipe L3 is connected to the outlet side of the air conditioner 1550, and the other end is connected to the header 1571.
  • the number of connecting pipes L4 (two in the case of FIG. 15) corresponding to the number of water-cooled chillers 1521a and 1521b is provided and connected to the evaporators 1523a and 1523b.
  • the connecting pipes L1 to L4 connect the water-cooled chillers 1521a and 1521b and the air conditioner 1550 in an annular shape. Further, in the present embodiment, a connecting pipe L5 that directly connects the header 1571 and the tank 1574 is provided without using the water-cooled chillers 1521a and 1521b.
  • the connecting pipe L4 is provided with primary side chilled water pumps 1531 and 1532 as primary side chilled water pumps 1530, the number corresponding to the number of water cooled chillers 1521a and 1521b (two in the case of FIG. 15).
  • the primary side chilled water pumps 1531 and 1532 are capacity-variable pumps whose capacity can be adjusted and whose discharge capacity can be adjusted, and are driven by an inverter by the heat medium control device 1500.
  • the primary side chilled water pumps 1531 and 1532 circulate the chilled water in the chilled water circuit 1570 by transporting the chilled water flowing out from the utilization side heat exchanger 1551 of the air conditioner 1550 to the water cooling chillers 1521a and 1521b. That is, the primary side chilled water pumps 1531 and 1532 circulate the chilled water in the connecting pipes L1 to L4 between the water-cooled chillers 1521a and 1521b and the air conditioner 1550.
  • a tank 1574 is provided between the connecting pipes L1 and L2.
  • the tank 1574 is connected to the water-cooled chillers 1521a and 1521b via the connecting pipe L1 and is connected to the air conditioner 1550 via the connecting pipe L2.
  • Cold water heated or cooled by the water-cooled chillers 1521a and 1521b is stored in the tank 1574.
  • the secondary side chilled water pump 1540 is provided in the connecting pipe L2. Like the primary side chilled water pumps 1531 and 1532, the secondary side chilled water pump 1540 is a capacity variable pump whose capacity can be adjusted and whose discharge capacity can be adjusted, and is driven by an inverter by the heat medium control device 1500. .. The secondary side chilled water pump 1540 circulates the chilled water in the chilled water circuit 1570 by transporting the chilled water from the water-cooled chillers 1521a and 1521b to the air conditioner 1550.
  • a flow meter 1575 is attached to the connecting pipe L3.
  • the flow meter 1575 is attached to the front side of the header 1571 in the connecting pipe L3.
  • the flow meter 1575 measures the flow rate of cold water circulating in the cold water circuit 1570.
  • the temperature detection sensors 1573a and 1573b are attached to the connecting pipe L1
  • the temperature detection sensors 1572a and 1572b are attached to the connecting pipe L4, respectively.
  • the temperature detection sensor 1573a measures the chilled water temperature T1a near the outlet of the water-cooled chiller 1521a
  • the temperature detection sensor 1573b measures the chilled water temperature T1b near the outlet of the water-cooled chiller 1521b.
  • the temperature detection sensor 1572a measures the chilled water temperature T2a near the inlet of the water-cooled chiller 1521a
  • the temperature detection sensor 1572b measures the chilled water temperature T2b near the inlet of the water-cooled chiller 1521b.
  • the cold water temperature measured by the temperature detection sensors 1572a, 1572b, 1573a, and 1573b is output to the heat medium control device 1500.
  • the air conditioning device 1550 is connected to the air conditioning target space RM by a duct or the like.
  • the air conditioner 1550 includes a user-side heat exchanger 1551, a blower fan 1552, a temperature detection sensor 1553, and a humidity detection sensor 1554.
  • the user-side heat exchanger 1551 heats or cools the air by exchanging heat between the air taken in from the air-conditioned space RM and the cold water in the chilled water circuit 1570.
  • the user-side heat exchanger 1551 is, for example, a fin-and-tube heat exchanger having a plurality of heat transfer fins and a heat transfer tube penetrating the heat transfer fins.
  • the blower fan 1552 is a blower capable of adjusting the amount of blown air of heated or cooled air by changing the rotation speed stepwise by driving an inverter.
  • the blower fan 1552 forms a flow of air blown into the air-conditioned space RM via the user-side heat exchanger 1551.
  • the temperature detection sensor 1553 measures the suction air temperature of the air conditioner 1550 and outputs it to the heat medium control device 1500. Further, the humidity detection sensor 1554 measures the suction air humidity of the air conditioner 1550 and outputs it to the heat medium control device 1500.
  • FIG. 17 is a first diagram for explaining the function of the heat medium control device.
  • the heat medium control device 1500 is a device for comprehensively controlling the air conditioning system 100, and is electrically connected to various sensors and various driving devices (pumps, fans, valves) and the like constituting the air conditioning device 110.
  • the heat medium control device 1500 specifies the operating conditions of the cooling tower 1510 and the operating conditions of the air conditioner 1550 based on the outputs of various sensors and the like. Further, the heat medium control device 1500 identifies the load of the air conditioner 1550 based on the outputs of various sensors and the like. Then, the heat medium control device 1500 transmits to the machine learning device 150 a "state variable" including the operating conditions of the cooling tower 1510, the operating conditions of the air conditioner 1550, and the load of the air conditioner 1550.
  • the operating conditions of the cooling tower 1510 included in the state variables include The outside air wet-bulb temperature measured by the wet-bulb thermometer 1511 of the cooling tower 1510. Is included.
  • the operating conditions of the air conditioner 1550 included in the state variables include The suction air temperature measured by the temperature detection sensor 1553 of the air conditioner 1550, The suction air humidity measured by the humidity detection sensor 1554 of the air conditioner 1550, Is included.
  • the load of the air conditioner 1550 included in the state variable is -Currently required amount of heat for the air conditioner 1550 (calculated using the suction air temperature, supply air temperature target value, and air volume), Is included.
  • state variables may include the load of the cooling tower 1510 and the load of the water-cooled chiller group 1520.
  • the difference in the temperature of the back and forth water of the cooling water is determined by using, for example, the difference between the cooling water temperatures T3a and T3b measured by the temperature detection sensors 1575a and 1575b and the cooling water temperatures T4a and T4b measured by the temperature detection sensors 1576a and 1576b. It is calculated. Further, the cooling water flow rate is calculated from, for example, the voltage or frequency when the cooling water pump 1562 is driven by the inverter, or is measured by the flow meter 1563.
  • the return water temperature difference of chilled water is calculated using, for example, the difference between the chilled water temperatures T1a and T1b measured by the temperature detection sensors 1573a and 1573b and the chilled water temperatures T2a and T2b measured by the temperature detection sensors 1572a and 1572b. ..
  • the chilled water flow rate is calculated from, for example, the voltage and frequency of the primary side chilled water pumps 1531 and 1532 or the secondary side chilled water pump 1540 when the inverter is driven, or is measured by a flow meter 1575.
  • the heat medium control device 1500 identifies the power consumption of various drive devices and transmits the power consumption to the machine learning device 150.
  • the power consumption of various drive devices is ⁇ Power consumption of cooling tower 1510, ⁇ Power consumption of water-cooled chiller group 1520, ⁇ Power consumption of cooling water pump 1562, ⁇ Power consumption of the primary side chilled water pump 1530 and the secondary side chilled water pump 1540, ⁇ Power consumption of air conditioner 1550, Is included.
  • the heat medium control device 1500 outputs a state variable and power consumption to the machine learning device 150 from the machine learning device 150.
  • the heat medium control device 1500 Based on the set of the acquired cooling water temperature target value and the chilled water temperature target value, or ⁇ Based on the set of the target value of the cooling water flow rate and the target value of the chilled water flow rate
  • the air conditioner 110 (fan 1513, cooling water pump 1562, primary side chilled water pump 1530, secondary side chilled water pump 1540, chiller side expansion valve 1710, blower fan 1552, etc.) is controlled.
  • FIG. 18 is a fourth diagram showing an example of the functional configuration of the machine learning device.
  • the machine learning device 150 has a machine learning program installed, and when the program is executed, the machine learning device 150 has a power consumption acquisition unit 310, a reward calculation unit 320, and a state variable acquisition unit. 330, functions as a reinforcement learning unit 340.
  • the power consumption acquisition unit 310 is described by the heat medium control device 1500. ⁇ Power consumption of cooling tower 1510, ⁇ Power consumption of water-cooled chiller group 1520, ⁇ Power consumption of cooling water pump 1562, ⁇ Power consumption of the primary side chilled water pump 1530, ⁇ Power consumption of secondary side chilled water pump 1540, ⁇ Power consumption of air conditioner 1550, To calculate the total value. Further, the power consumption acquisition unit 310 notifies the reward calculation unit 320 of the calculated total power consumption.
  • the reward calculation unit 320 calculates the reward based on the total power consumption notified by the power consumption acquisition unit 310, and notifies the reinforcement learning unit 340.
  • the state variable acquisition unit 330 acquires the state variables (operating conditions of the cooling tower 1510, operating conditions of the air conditioner 1550, load of the air conditioner 1550) from the heat medium control device 1500, and notifies the reinforcement learning unit 340. ..
  • the reinforcement learning unit 340 has a calorific value model 341, and changes the model parameters of the calorific value model 341 so that the reward notified from the reward calculation unit 320 is maximized.
  • the reinforcement learning unit 340 ⁇ State variables and -A set of at least one of a set of a cooling water temperature target value and a chilled water temperature target value, or a set of a cooling water flow rate target value and a chilled water flow rate target value, and a set of at least one of them. Reinforcement learning is performed on the calorific value model 341 to be associated with.
  • the reinforcement learning unit 340 is calculated by inputting the current state variable notified by the state variable acquisition unit 330 into the calorific value model 341 whose model parameters have been changed. -A set of the target value of the cooling water temperature and the target value of the chilled water temperature, or ⁇ A set of the target value of the cooling water flow rate and the target value of the chilled water flow rate, Get a set of target values for at least one of. Further, the reinforcement learning unit 340 transmits the acquired target value set to the air conditioner 110. As a result, the air conditioner 110 operates so as to realize the set of the transmitted target values. As a result, according to the machine learning device 150, the power consumption of the air conditioner 110 can be reduced.
  • FIG. 19 is a fourth flowchart showing the flow of reinforcement learning processing by the machine learning device.
  • step S1901 the state variable acquisition unit 330 acquires the state variable for a predetermined period from the heat medium control device 1500.
  • step S1902 the power consumption acquisition unit 310 acquires each power consumption for a predetermined period from the heat medium control device 1500 and calculates the total value.
  • step S1903 the reward calculation unit 320 calculates the reward based on the calculated total power consumption.
  • step S1904 the reward calculation unit 320 determines whether or not the calculated reward is equal to or greater than a predetermined threshold value. If it is determined in step S1904 that the threshold value is not equal to or higher than the predetermined threshold value (NO in step S1904), the process proceeds to step S1905.
  • step S1905 the reinforcement learning unit 340 performs machine learning on the calorific value model 341 so that the calculated reward is maximized.
  • step S1906 the reinforcement learning unit 340 executes the calorific value model 341 by inputting the current state variable into the calorific value model 341.
  • the reinforcement learning unit 340 targets at least one of a set of the target value of the cooling water temperature and the target value of the chilled water temperature, or a set of the target value of the cooling water flow rate and the target value of the chilled water flow rate. Output a set of values.
  • step S1907 the reinforcement learning unit 340 transmits the output target value set to the heat medium control device 1500. After that, the process returns to step S1901.
  • step S1904 if it is determined in step S1904 that the threshold value is equal to or higher than the predetermined threshold value (YES in step S1904), the reinforcement learning process is terminated.
  • the heat medium in the air conditioning system including a cooling tower, a water cooling chiller, and an air conditioner and optimizing the transfer of heat in the cooling water circuit and the chilled water circuit is specified. Clarified the circuit configuration.
  • an air conditioning system (the third above) is provided with an air-cooled chiller (chiller unit) and an air conditioner (air han unit) to optimize the transfer of heat in the cold water circuit (water circuit).
  • an air-cooled chiller chloriller unit
  • an air conditioner air han unit
  • FIG. 20 is a first diagram showing an example of a system configuration of an air conditioning system including a water circuit.
  • the air conditioning system 100 is a central air conditioning system, and realizes air conditioning in a target space SP in a building such as a house, a building, a factory, or a public facility.
  • a target space SP in a building such as a house, a building, a factory, or a public facility.
  • the air conditioning system 100 is applied to the building BL including a plurality of (here, three) target spaces SP (SP1, SP2, SP3) will be described.
  • the air conditioning system 100 includes an air conditioning device 110 and a machine learning device 150.
  • the air conditioner 110 takes in the outside air OA and supplies it to the target space SP in harmony to perform air conditioning such as cooling, heating, ventilation, dehumidification and / or humidification in the target space SP.
  • the outside air OA is the air outside the target space SP, and is the outdoor air in the present embodiment.
  • the air conditioner 110 further includes a heat medium control device 2000, a chiller unit 2010, an air conditioner unit 2020, and a remote controller 2030.
  • the heat medium control device 2000 includes commands (commands related to start / stop, operation type, set temperature, set humidity, set air volume, etc.) and load status (temperature / humidity of outside air OA, temperature / humidity of inside air IA, etc.) input to the remote control 2030. Control the operation of each device according to temperature, humidity, etc.).
  • FIG. 21 is a first diagram showing a detailed configuration of the air conditioner. As shown in FIG. 21, the air conditioner unit 2020 and the chiller unit 2010 have a water circuit C1 and a refrigerant circuit C2.
  • the water circuit C1 is a circuit in which a heat medium (water: "W” shown in FIG. 21) that exchanges heat with the outside air OA circulates.
  • the water circuit C1 is configured so as to straddle the chiller unit 2010 and the air conditioner unit 2020.
  • the air heat exchanger 2133 arranged in the air conditioner unit 2020, the water heat exchanger 2122 arranged in the chiller unit 2010, and the water pump Pa are mainly connected by the first pipe P1. It is composed.
  • the water circuit C1 By controlling the operation of the water pump Pa, water as a heat medium is conveyed in a predetermined direction (the direction indicated by the two-dot chain arrow d1 in FIG. 21) in the water circuit C1.
  • the flow rate of water in the water circuit C1 is mainly adjusted by the rotation speed of the water pump Pa.
  • the water circuit C1 (on the first pipe P1) includes a header collecting pipe for merging and dividing water and an on-off valve for blocking the flow of water. It is assumed that equipment such as a pump different from the water pump Pa is arranged.
  • the refrigerant circuit C2 is a circuit in which a refrigerant that serves as a cooling source for water in the water circuit C1 circulates.
  • the refrigerant circuit C2 is configured in the chiller unit 2010.
  • the refrigerant circuit C2 mainly includes a compressor 2121 arranged in the chiller unit 2010, a water heat exchanger 2122, an expansion valve 2123, an outdoor heat exchanger 2124, and a four-way switching valve 2125. It is configured by being connected by P2.
  • the predetermined direction refers to the direction indicated by the alternate long and short dash arrow d2 in FIG. 21 during normal cycle operation, and indicates the direction opposite to d2 during reverse cycle operation.
  • the chiller unit 2010 is an example of a “heat source device”.
  • the chiller unit 2010 is an air conditioner unit in operation in which the refrigerant circuit C2 performs a refrigeration cycle to cool or heat the water (W) in the water circuit C1 and discharge the cooled or heated water (W). Supply to 2020.
  • the chiller unit 2010 mainly includes a compressor 2121, a water heat exchanger 2122, an expansion valve 2123, an outdoor heat exchanger 2124, a four-way switching valve 2125, an outdoor fan 2126, and a water pump Pa.
  • another heat source device such as a refrigerator or a boiler may be arranged instead of the chiller unit 2010, another heat source device such as a refrigerator or a boiler may be arranged.
  • Compressor 2121 is a device that compresses low-pressure refrigerant until it reaches high pressure in the refrigeration cycle.
  • a compressor having a closed structure with a built-in compressor motor is adopted as the compressor 2121.
  • a positive displacement compression element (not shown) such as a scroll type is housed in the compressor 2121, and the compression element is rotationally driven by the compressor motor.
  • the compressor motor is driven by an inverter, which controls the capacity of the compressor 2121. That is, the compressor 2121 has a variable capacity.
  • the water heat exchanger 2122 is a device that cools or heats water by exchanging heat between the water in the water circuit C1 and the refrigerant in the refrigerant circuit C2.
  • the water heat exchanger 2122 is formed with a water flow path communicating with the water circuit C1 and a refrigerant flow path communicating with the refrigerant circuit C2, whereby the water heat exchanger 2122 can be connected to the water in the water flow path. Heat exchanges with the refrigerant in the refrigerant flow path.
  • the water heat exchanger 2122 functions as an evaporator of the low-pressure refrigerant during the normal cycle operation (cooling operation or dehumidifying operation) to cool the cold water.
  • the water heat exchanger 2122 functions as a condenser of the high-pressure refrigerant during the reverse cycle operation (heating operation) to heat the hot water.
  • the expansion valve 2123 functions as a refrigerant reducing means or a flow rate adjusting means.
  • the expansion valve 2123 is an electric expansion valve capable of controlling the opening degree.
  • the outdoor heat exchanger 2124 is a device that exchanges heat between the refrigerant and air in the refrigerant circuit C2, and dissipates heat to the air or absorbs heat from the air.
  • the outdoor heat exchanger 2124 has a heat transfer tube communicating with the refrigerant circuit C2 and heat transfer fins.
  • the outdoor heat exchanger 2124 exchanges heat between the air passing around the heat transfer tube and the heat transfer fin (outdoor air flow described later) and the refrigerant passing through the heat transfer tube.
  • the outdoor heat exchanger 2124 functions as a condenser for the high-pressure refrigerant during the positive cycle operation and as an evaporator for the low-pressure refrigerant during the heating operation.
  • the four-way switching valve 2125 is a valve that switches the flow of the refrigerant circuit C2.
  • the four-way switching valve 2125 has four connection ports and is connected to the suction pipe and discharge pipe of the compressor 2121, the gas side of the refrigerant flow path of the water heat exchanger 2122, and the gas side of the outdoor heat exchanger 2124, respectively. Will be done. As a result, the four-way switching valve 2125 switches between the first state and the second state.
  • the gas side of the refrigerant flow path of the water heat exchanger 2122 is communicated with the suction pipe of the compressor 2121, and the discharge pipe of the compressor 2121 is communicated with the gas side of the outdoor heat exchanger 2124. This is the state (see the solid line of the four-way switching valve 2125 in FIG. 21).
  • the discharge pipe of the compressor 2121 and the gas side of the refrigerant flow path of the water heat exchanger 2122 are communicated with each other, and the gas side of the outdoor heat exchanger 2124 and the suction pipe of the compressor 2121 are connected. It is in a state of communication (see the broken line of the four-way switching valve 2125 in FIG. 21).
  • the four-way switching valve 2125 is controlled to the first state during the forward cycle operation and to the second state during the reverse cycle operation.
  • the outdoor fan 2126 is a blower that generates an outdoor air flow.
  • the outdoor air flow is a flow of air that flows into the chiller unit 2010, passes through the outdoor heat exchanger 2124, and flows out of the chiller unit 2010.
  • the outdoor air flow is a cooling source for the refrigerant in the outdoor heat exchanger 2124 during normal cycle operation and a heating source for the refrigerant in the outdoor heat exchanger 2124 during reverse cycle operation.
  • the outdoor fan 2126 has a fan motor, and the rotation speed is adjusted by driving the fan motor with an inverter. That is, the outdoor fan 2126 has a variable air volume.
  • the water pump Pa is arranged in the water circuit C1.
  • the water pump Pa sucks and discharges water during operation.
  • the water pump Pa has a motor as a drive source, and the rotation speed is adjusted by driving the motor with an inverter. That is, the water pump Pa has a variable discharge flow rate.
  • Air Han Unit 2020 is an example of an “air conditioner”.
  • the air conditioner unit 2020 cools, dehumidifies, heats, and / or humidifies the outside air OA.
  • the air conditioner unit 2020 is arranged outdoors (outside the target space SP).
  • the air conditioner unit 2020 mainly has an air heat exchanger 2133, a humidifier 2135, and an air supply fan 2138.
  • the air heat exchanger 2133 (heat exchanger) is a device that functions as a cooler or heater for outside air OA.
  • the air heat exchanger 2133 is arranged in the water circuit C1.
  • the air heat exchanger 2133 has a heat transfer tube and heat transfer fins that communicate with the water circuit C1.
  • the air heat exchanger 2133 exchanges heat between the outside air OA passing around the heat transfer tube and the heat transfer fin and the water passing through the heat transfer tube.
  • the humidifier 2135 is a device for humidifying the outside air OA that has passed through the air heat exchanger 2133.
  • the method and model of the humidifier 2135 are not particularly limited, but here, it is assumed that a general natural evaporation type humidifier is adopted.
  • the air supply fan 2138 (air conditioning fan) is a blower that takes in the outside air OA into the air conditioner unit 2020 and sends it to the target space SP via the duct D1.
  • the model of the air supply fan 2138 is not particularly limited, but in the present embodiment, the sirocco fan is adopted as the air supply fan 2138.
  • an air flow path FP through which the outside air OA flows is formed in the air conditioner unit 2020 (see the broken line arrow “FP” in FIG. 21), and the outside air OA becomes the air flow path FP during the operation of the air supply fan 2138. It flows along.
  • the air supply fan 2138 has a fan motor, and the rotation speed is adjusted by driving the fan motor with an inverter. That is, the air supply fan 2138 has a variable air volume.
  • the air heat exchanger 2133, the humidifier 2135, and the air supply fan 2138 are arranged in the air conditioner unit 2020 in the order from the windward side to the leeward side of the air flow path FP.
  • the leeward end of the air flow path FP is connected to the duct D1.
  • various sensors are arranged in the air conditioner unit 2020.
  • Various sensors arranged in the air conditioner unit 2020 include, for example, an outside air temperature sensor S1 for measuring the temperature of the outside air OA sucked into the air conditioner unit 2020, and an outside air humidity sensor S2 for measuring the humidity.
  • the supply air temperature sensor S3 for measuring the temperature (supply air temperature) of the supply air SA sent to the duct D1 (that is, the target space SP) is included.
  • the remote controller 2030 is an input device for the user to input various commands such as start / stop of the air conditioner unit 2020, operation type, set temperature, set humidity, set humidity, and set air volume to the air conditioning system 100. is there.
  • the remote controller 2030 also functions as a display device for displaying predetermined information (for example, the operating state of the air conditioning system 100, the temperature and humidity of the inside air IA, the temperature and humidity of the outside air OA, and the like).
  • the remote controller 2030 has various sensors such as, for example.
  • -Indoor temperature sensor S4 (FIG. 22) that measures the temperature of the indoor air (inside air IA) of the target space SP
  • -Indoor humidity sensor S5 (Fig. 22) that measures humidity
  • -Carbon dioxide concentration sensor S6 (Fig. 22) that measures carbon dioxide concentration, Etc.
  • the water in the water circuit C1 is cooled or heated so as to reach the target water temperature Tw, up by exchanging heat with the refrigerant in the refrigerant circuit C2 in the water heat exchanger 2122.
  • the water cooled or heated in the water heat exchanger 2122 is supplied to the air conditioner unit 2020 and is heated or cooled by exchanging heat with the outside air OA in the air heat exchanger 2133.
  • the water that has passed through the air heat exchanger 2133 is transported to the water heat exchanger 2122 again.
  • the refrigerant in the refrigerant circuit C2 is compressed by the compressor 2121 and discharged as a high-pressure refrigerant.
  • the high-pressure refrigerant discharged from the compressor 2121 is condensed or dissipated by heat exchange with air (outdoor air flow generated by the outdoor fan 2126) in the outdoor heat exchanger 2124.
  • the refrigerant that has passed through the outdoor heat exchanger 2124 is decompressed by the expansion valve 2123 to become a low-pressure refrigerant, and then conveyed to the water heat exchanger 2122.
  • the low-pressure refrigerant conveyed to the water heat exchanger 2122 evaporates or is heated by heat exchange with the water in the water circuit C1.
  • the low-pressure refrigerant that has passed through the water heat exchanger 2122 is transported to the compressor 2121 again.
  • the refrigerant in the refrigerant circuit C2 is compressed by the compressor 2121 and discharged as a high-pressure refrigerant.
  • the high-pressure refrigerant discharged from the compressor 2121 is condensed or dissipated by heat exchange with the water in the water circuit C1 in the water heat exchanger 2122.
  • the refrigerant that has passed through the water heat exchanger 2122 is decompressed by the expansion valve 2123 to become a low-pressure refrigerant, and then conveyed to the outdoor heat exchanger 2124.
  • the low-pressure refrigerant conveyed to the outdoor heat exchanger 2124 evaporates or is heated by heat exchange with air (outdoor air flow generated by the outdoor fan 2126).
  • the low-pressure refrigerant that has passed through the outdoor heat exchanger 2124 is transferred to the compressor 2121 again.
  • the outside air OA is cooled, dehumidified, or heated by heat exchange with water.
  • the air that has passed through the air heat exchanger 2133 is sent to the target space SP as an air supply SA.
  • the humidifier 2135 is in operation, the air that has passed through the air heat exchanger 2133 is humidified by the humidifier 2135 and then sent to the target space SP as an air supply SA.
  • FIG. 22 is a second diagram for explaining the function of the heat medium control device.
  • the heat medium control device 2000 is a device for comprehensively controlling the air conditioning system 100, and includes various sensors and various drive devices (humidifier, compressor, pump, fan, valve) and electricity constituting the air conditioning device 110. Is connected.
  • the heat medium control device 2000 is a drive device (humidification) based on the target value (target water temperature Tw), up) of the temperature of the water circulating in the water circuit C1 output from the machine learning device 150. Controls the operation of vessels, compressors, pumps, fans, valves, etc.).
  • the heat medium control device 2000 includes the capacity of the compressor 2121, the opening degree of the expansion valve 2123, the state of the four-way switching valve 2125, the rotation speed of the outdoor fan 2126, the rotation speed of the water pump Pa, and the start / stop of the humidifier 2135. , Or control the rotation speed of the air supply fan 2138.
  • the heat medium control device 2000 acquires the outputs of various sensors and transmits / receives signals to / from the remote controller 2030 in controlling the operation of the various drive devices.
  • the heat medium control device 2000 specifies the operating conditions of the chiller unit 2010 and the operating conditions of the air conditioner unit 2020 based on the outputs of various sensors and the like. Further, the heat medium control device 2000 identifies the load of the air conditioner unit 2020 based on the outputs of various sensors and the like. Further, the heat medium control device 2000 transmits to the machine learning device 150 a "state variable" including the operating conditions of the chiller unit 2010, the operating conditions of the air han unit 2020, and the load of the air han unit 2020.
  • the operating conditions of the chiller unit 2010 included in the state variables include ⁇ Replaced by the outside air temperature during cooling, the outside air wet-bulb temperature during heating (however, in reality, the frequency of the compressor 2121, the state of the four-way switching valve 2125, the rotation speed of the outdoor fan 2126, and the rotation speed of the water pump Pa). Value), Is included.
  • the operating conditions of the air conditioner unit 2020 included in the state variables include -Coil inlet air temperature of the air conditioner unit 2020 (or the temperature of the outside air OA outside the target space SP, the temperature of the inside air IA inside the target space SP), Is included.
  • the coil inlet air temperature is measured by the outside air temperature sensor S1.
  • the temperature of the inside air IA in the target space SP is measured by the room temperature sensor S4.
  • the operating conditions of the air conditioner unit 2020 included in the state variable further include.
  • -Coil inlet air humidity of the air conditioner unit 2020 (or outside air OA humidity outside the target space SP, humidity of the inside air IA inside the target space SP), May be included.
  • the coil inlet air humidity is measured by the outside air humidity sensor S2.
  • the humidity of the inside air IA in the target space SP is measured by the indoor humidity sensor S5.
  • the operating conditions of the air conditioner unit 2020 included in the state variables include ⁇ Air volume of air supply fan 2138, May be included.
  • Air conditioner unit 2020 air supply set temperature
  • the supply air set temperature is specified based on a command (command related to the set temperature) input to the remote controller 2030.
  • the load of the air conditioner 2020 is further increased.
  • Humidity set for air supply of air conditioner 2020 May be included.
  • the supply air set humidity is specified based on the command (command related to the set humidity) input to the remote controller 2030.
  • the heat medium control device 2000 identifies the power consumption of various drive devices and transmits the power consumption to the machine learning device 150.
  • the power consumption of various drive devices is ⁇ Power consumption of chiller unit 2010, ⁇ Power consumption of air conditioner 2020, ⁇ Power consumption of water pump Pa, Is included.
  • the heat medium control device 2000 outputs a state variable and each power consumption to the machine learning device 150 from the machine learning device 150.
  • the heat medium control device 2000 is ⁇ Based on the acquired water temperature target value, or ⁇ Based on the target value of water flow rate It controls the operation of the air conditioner 110 (compressor 2121, expansion valve 2123, four-way switching valve 2125, outdoor fan 2126, water pump Pa, air supply fan 2138, etc.).
  • FIG. 23 is a fifth diagram showing an example of the functional configuration of the machine learning device.
  • the machine learning device 150 has a machine learning program installed, and when the program is executed, the machine learning device 150 has a power consumption acquisition unit 310, a reward calculation unit 320, and a state variable acquisition unit. 330, functions as a reinforcement learning unit 340.
  • the power consumption acquisition unit 310 acquires each power consumption (power consumption of the chiller unit 2010, power consumption of the air han unit 2020, power consumption of the water pump Pa) from the heat medium control device 1500. Further, the power consumption acquisition unit 310 calculates the total value of the acquired power consumption, and notifies the reward calculation unit 320 of the calculated total power consumption.
  • the reward calculation unit 320 calculates the reward based on the total power consumption notified by the power consumption acquisition unit 310, and notifies the reinforcement learning unit 340.
  • the state variable acquisition unit 330 acquires the state variables (operating conditions of the chiller unit 2010, operating conditions of the air han unit 2020, load of the air han unit 2020) from the heat medium control device 1500, and notifies the reinforcement learning unit 340.
  • the reinforcement learning unit 340 has a calorific value model 341, and changes the model parameters of the calorific value model 341 so that the reward notified from the reward calculation unit 320 is maximized.
  • the reinforcement learning unit 340 ⁇ State variables and -At least one of the target value of water temperature or the target value of water flow rate, Reinforcement learning is performed on the calorific value model 341 to be associated with.
  • the reinforcement learning unit 340 is calculated by inputting the current state variable notified by the state variable acquisition unit 330 into the calorific value model 341 whose model parameters have been changed. ⁇ Target value of water temperature or ⁇ Target value of water flow rate, Get at least one of them. Further, the reinforcement learning unit 340 transmits the acquired target value to the air conditioner 110. As a result, the air conditioner 110 operates so as to realize the transmitted target value. As a result, according to the machine learning device 150, the power consumption of the air conditioner 110 can be reduced.
  • FIG. 24 is a fifth flowchart showing the flow of reinforcement learning processing by the machine learning device.
  • step S2401 the state variable acquisition unit 330 acquires the state variable for a predetermined period from the heat medium control device 2000.
  • step S2402 the power consumption acquisition unit 310 acquires each power consumption from the heat medium control device 2000 and calculates the total value.
  • step S2403 the reward calculation unit 320 calculates the reward based on the calculated total power consumption.
  • step S2404 the reward calculation unit 320 determines whether or not the calculated reward is equal to or greater than a predetermined threshold value. If it is determined in step S2404 that the threshold value is not equal to or higher than the predetermined threshold value (NO in step S2404), the process proceeds to step S2405.
  • step S2405 the reinforcement learning unit 340 performs machine learning on the calorific value model 341 so that the calculated reward is maximized.
  • step S2406 the reinforcement learning unit 340 executes the calorific value model 341 by inputting the current state variable into the calorific value model 341. As a result, the reinforcement learning unit 340 outputs at least one of the target value of the water temperature and the target value of the water flow rate.
  • step S2407 the reinforcement learning unit 340 transmits the output target value to the heat medium control device 2000, and then returns to step S2401.
  • step S2404 if it is determined in step S2404 that the threshold value is equal to or higher than the predetermined threshold value (YES in step S2404), the reinforcement learning process is terminated.
  • the transfer of heat in the water circuit can be optimized in the air conditioning system including the chiller unit and the air conditioner unit.
  • FIG. 25 is a second diagram showing an example of a system configuration of an air conditioning system including a water circuit. Further, FIG. 26 is a second diagram showing a detailed configuration of the air conditioner.
  • the air conditioning system 100a has a plurality of fan coil units 2020a (here, the same number as the target space SP) instead of the air conditioner unit 2020.
  • the fan coil unit 2020a takes in the air (inside air IA) of the target space SP, cools or heats it, or dehumidifies it, and supplies the air conditioning system 100a to the target space SP as an air supply SA.
  • the humidifying function may not be provided in this embodiment.
  • the chiller unit 2010 and the fan coil unit 2020a have a water circuit C1'instead of the water circuit C1.
  • the air heat exchanger 2133 arranged in each fan coil unit 2020a, the water heat exchanger 2122 arranged in the chiller unit 2010, and the water pump Pa are mainly connected by the first pipe P1. Consists of.
  • the fan coil unit 2020a is an example of an "air conditioner” that cools, dehumidifies, and heats the inside air IA.
  • the fan coil unit 2020a is arranged in the target space SP.
  • FIG. 27 is a first diagram showing an installation mode of the fan coil unit in the target space.
  • each fan coil unit 2020a adopts a ceiling-embedded type installed in the ceiling CL of the target space SP.
  • each fan coil unit 2020a is installed so that the air outlet is exposed from the ceiling CL in the target space SP.
  • Each fan coil unit 2020a has an air heat exchanger 2133a and an air supply fan 2138a, similarly to the air conditioner unit 2020.
  • the air heat exchanger 2133a and the air supply fan 2138a are arranged in the order from the windward side to the leeward side of the air flow path FP'in which the inside air IA flows.
  • the leeward end of the air flow path FP' communicates with the target space SP.
  • the fan coil unit 2020a is not connected to the duct D1 unlike the air conditioner unit 2020.
  • the fan coil unit 2020a does not send the supply air SA to the target space SP by taking in the outside air OA, but takes in the inside air IA, cools, dehumidifies, and heats it, and then sends the supply air SA to the target space SP.
  • the machine learning device 150 consumes the water temperature as the target value or the water flow rate as the target value by the same method as in the eighth embodiment. It is possible to output the optimum target value for reducing power consumption.
  • the machine learning device 150 uses the same method as that of the eighth embodiment to obtain an optimum target value. Can be output.
  • the number of fan coil units 2020a does not have to be the same as the number of target space SPs, and may be larger or smaller than the number of target space SPs. For example, a plurality of fan coil units 2020a may be arranged in one target space SP.
  • FIG. 28 is a third diagram showing an example of a system configuration of an air conditioning system including a water circuit. Further, FIG. 29 is a third diagram showing a detailed configuration of the air conditioner.
  • FIG. 28 is a third diagram showing an example of a system configuration of an air conditioning system including a water circuit.
  • FIG. 29 is a third diagram showing a detailed configuration of the air conditioner.
  • the air conditioning system 100b has a fan coil unit 2020b instead of the fan coil unit 2030a.
  • the fan coil unit 2020b takes in the outside air OA through the duct D2, cools or heats it, dehumidifies or humidifies it, and sends the air supply SA to the target space SP.
  • the fan coil unit 2020b is an example of an "air conditioner” and, like the fan coil unit 2020a, has an air heat exchanger 2133, a humidifier 2135, and an air supply fan 2138 (see FIG. 29).
  • the air heat exchanger 2133, the humidifier 2135, and the air supply fan 2138 are arranged in the order from the windward side to the leeward side of the air flow path FP through which the outside air OA flows.
  • the windward end of the air flow path FP is connected to the duct D2.
  • the fan coil unit 2020b takes in the outside air OA through the duct D2, cools, dehumidifies, heats or humidifies it, and then sends the air supply SA to the target space SP.
  • the fan coil unit 2020b is associated with any target space SP and is installed in the corresponding target space SP.
  • FIG. 30 is a second diagram showing an installation mode of the fan coil unit in the target space.
  • the ceiling-embedded type installed in the ceiling CL of the target space SP is adopted for each fan coil unit 2020b. As shown in FIG. 30, each fan coil unit 2020b is installed so that the air outlet is exposed from the ceiling CL in the target space SP.
  • the duct D2 is a member that forms a flow path for outside air OA.
  • One end of the duct D2 is connected to the corresponding fan coil unit 2030b so that the outside air OA is taken into the fan coil unit 2020b by driving the air supply fan 2138.
  • the other end is connected to the intake port H2 (see FIG. 28) formed in the target space SP.
  • the machine learning device 150 is consumed as a target value of the water temperature or a target value of the water flow rate by the same method as in the eighth embodiment. It is possible to output the optimum target value for reducing power consumption.
  • the machine learning device 150 can output an optimum target value by using the same method as that of the eighth embodiment even when the above-mentioned items are mixed and arranged.
  • the transfer of heat in the water circuit can be optimized in the air conditioning system including the chiller unit and the fan coil unit.
  • the timing of acquiring the power consumption used for calculating the reward is not mentioned.
  • the power consumption acquisition unit 310 may acquire the power consumption after a lapse of a predetermined period after the reinforcement learning unit 340 transmits at least one target value of the temperature and the flow rate of the heat medium.
  • the reward is calculated using the total value of the power consumption, but the total value of the energy consumption used for calculating the reward is not limited to the total value of the power consumption.
  • the reward may be calculated using the total value of energy consumption such as energy consumption efficiency (COP: CoefficientOfPerformance), carbon dioxide emission, and energy cost (electricity cost, gas cost).
  • the details of the model (calorific value model) used when performing machine learning are not particularly mentioned, but any kind of model is applied to the model used when performing machine learning. And. Specifically, any kind of model such as an NN (Neural Network) model, a random forest model, and an SVM (Support Vector Machine) model is applied.
  • NN Neuronal Network
  • SVM Serial Vector Machine
  • the air conditioning system 100 in the eighth embodiment may be configured not to perform the heating operation. That is, the chiller unit 2010 does not have to be a heat pump type.
  • the humidifier 2135 may be omitted as appropriate. That is, the air conditioning system 100b may be configured so as not to perform the humidification operation.
  • the air conditioning system 100b is applied to the building BL including the three target spaces SP.
  • the installation environment of the air conditioning system 100 is not limited to this.
  • the air conditioning system 100b may be applied to a building containing four or more target space SPs.
  • the air conditioning system 100b may be applied to a building containing two or less (including one) target space SPs.
  • the number of fan coil units 2020b may be appropriately changed according to the number of target space SPs.
  • a plurality of fan coil units may be arranged in one target space SP.
  • the air conditioning system 100 has been described as having one chiller unit 2010 and one air conditioner unit 2020.
  • the number of the chiller unit 2010 and the air conditioner unit 2020 included in the air conditioning system 100 is not necessarily limited to one, and can be appropriately changed according to the installation environment and design specifications. That is, the air conditioning system 100 may have a plurality of chiller units 2010 and / or a plurality of air conditioner units 2020, respectively. The number of chiller units 2010 and the number of air conditioner units 2020 do not necessarily have to be the same.
  • the air flowing into the air conditioner unit 2020 is not limited to this.
  • the air flowing into the air conditioner unit 2020 may be a mixture of outside air and return air, or all inside air.
  • the configuration mode of the refrigerant circuit (C2) configured in the eighth and ninth embodiments can be appropriately changed according to the installation environment and design specifications.
  • the four-way switching valve 2125 may be omitted.
  • a water heat exchanger may be arranged instead of the outdoor heat exchanger 2124, and the refrigerant may be cooled or heated by exchanging heat between the refrigerant and water in the water heat exchanger.
  • the configuration mode of the water circuit C1 configured in the air conditioner unit 2020 can be appropriately changed according to the installation environment and design specifications.
  • HFC refrigerants such as R32 and R410A are assumed, but they do not necessarily have to be HFC refrigerants.
  • other refrigerants eg, HFO1234yf, HFO1234ze (E), CO2, ammonia, etc.
  • the heat medium circulating in the water circuit C1 does not necessarily have to be water, and another fluid may be used.
  • the arrangement positions of the various sensors included in the air conditioning system 100 are not necessarily limited to the embodiments of the eighth and ninth embodiments, and can be changed as appropriate.
  • the outside air temperature sensor S1, the outside air humidity sensor S2, and the supply air temperature sensor S3 do not necessarily have to be arranged in the air han unit 2020, and may be arranged in another unit or independently.
  • the indoor temperature sensor S4, the indoor humidity sensor S5, and / or the carbon dioxide concentration sensor S6 do not necessarily have to be arranged in the remote controller 2030, and may be arranged in another unit or may be arranged independently. May be good.
  • the installation mode of the machine learning device 150 has not been particularly described, but the installation mode of the machine learning device 150 can be appropriately selected.
  • the heat medium control device 2000 may be installed in the management room of the building BL, or may be installed in a remote location communicably connected by WAN or LAN.
  • the configuration mode of the heat medium control device 2000 and the machine learning device 150 may be changed as appropriate.
  • the heat medium control device 2000 and the machine learning device 150 may be arranged integrally or distributed, and may be connected via a communication network. Further, in the case of being integrally arranged, it may be configured by one computer or by connecting a plurality of devices (for example, a PC, a smartphone, etc.).
  • Air conditioning system 110 Air conditioning equipment 120: Heat supply side 130: Heat transfer device 140: Heat utilization side 150: Machine learning device 310: Power consumption acquisition unit 320: Reward calculation unit 330: State variable acquisition unit 340: Reinforcement learning unit 341: Heat quantity model 1110: Risk information acquisition unit 1310: Upper and lower limit value limiting unit 1500: Heat medium control device 1510: Cooling tower 1520: Water cooling chiller group 1530: Primary side chilled water pump 1540: Secondary side chilled water pump 1550: Air conditioner 2000: Heat medium control device 2010: Chiller unit 2020: Air-conditioning unit 2020a, 2020b: Fan coil unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Sustainable Development (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

熱量の移動を最適化する機械学習装置を提供する。機械学習装置は、熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置であって、前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、前記学習部は、前記報酬を用いて学習する。

Description

機械学習装置、空調システム及び機械学習方法
　本開示は、機械学習装置、空調システム及び機械学習方法に関する。
　一般に、空調システムは熱媒体を搬送することで熱量を移動させ、対象空間の温度または湿度を調整するシステムであり、従来より、熱量の移動を最適化（熱媒体の流量、温度を最適化）するための構成が提案されている。
　例えば、下記特許文献１等には、空調システムの消費エネルギーをシミュレーションし、消費エネルギーが削減されるように、熱量の移動を最適化する構成が提案されている。
特開２００４－２９３８４４号公報 特開２００４－５３１２７号公報 特開２０１８－１７３２２１号公報
　一方で、空調システムの場合、熱量を供給する側の機器の運転条件や、供給された熱量を利用する側の機器の運転条件あるいは負荷等の組み合わせによって、最適な熱量の移動（最適な熱媒体の流量、温度）が異なってくる。
　このため、上記のように、消費エネルギーをシミュレーションして熱量の移動を最適化しようとした場合、予め、膨大な数の組み合わせについて消費エネルギーのデータを取得し、空調システムの各機器の特性に応じたモデルを構築しておく必要があり、作業負荷が高い。
　本開示は、熱量の移動を最適化する機械学習装置、空調システム及び機械学習方法を提供する。
　本開示の第１の態様による機械学習装置は、
　熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置であって、
　前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
　前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、
　前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
　前記学習部は、前記報酬を用いて学習する。
　本開示の第１の態様によれば、熱量の移動を最適化する機械学習装置を提供することができる。
　また、本開示の第２の態様は、第１の態様に記載の機械学習装置であって、
　前記熱供給側の機器の運転条件には、前記熱供給側の機器の処理能力に影響を与える外気温度、外気湿球温度、地中温度のいずれかが含まれる。
　また、本開示の第３の態様は、第１の態様に記載の機械学習装置であって、
　前記熱利用側の機器の運転条件には、前記熱利用側の機器の処理能力に影響を与える吸込空気温度、冷水還水温度のいずれかが含まれる。
　また、本開示の第４の態様は、第３の態様に記載の機械学習装置であって、
　前記熱利用側の機器の運転条件には、更に、風量、冷水流量のいずれかが含まれる。
　また、本開示の第５の態様は、第１の態様に記載の機械学習装置であって、
　前記熱利用側の機器に必要な熱量に相関する値には、給気温度、冷水送水温度のいずれかが含まれる。
　また、本開示の第６の態様は、第５の態様に記載の機械学習装置であって、
　前記熱搬送装置が熱媒体を搬送する際の温度には、冷水送水温度、冷却水送水温度が含まれ、前記熱搬送装置が熱媒体を搬送する際の流量には、冷水流量、冷却水流量のいずれかが含まれる。
　また、本開示の第７の態様は、第１の態様に記載の機械学習装置であって、
　前記熱供給側の機器には空冷チラーが含まれ、前記熱利用側の機器には空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる。
　また、本開示の第８の態様は、第１の態様に記載の機械学習装置であって、
　前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
　また、本開示の第９の態様は、第１の態様に記載の機械学習装置であって、
　前記熱供給側の機器には地中熱交換器が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
　また、本開示の第１０の態様は、第１の態様に記載の機械学習装置であって、
　前記熱供給側の機器には冷却塔と、冷却水ポンプと、水冷チラーとが含まれ、前記熱利用側の機器には、空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる。
　また、本開示の第１１の態様は、第１の態様に記載の機械学習装置であって、
　前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーと、冷水ポンプと、空気調和装置とが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
　また、本開示の第１２の態様は、第１の態様に記載の機械学習装置であって、
　前記学習部により学習された前記温度と流量の少なくともいずれか一方に基づいて前記熱供給側の機器が運転されることで、前記空調システムのリスクが高まった場合に、前記報酬算出部は、前記報酬を下げる。
　また、本開示の第１３の態様は、第１の態様に記載の機械学習装置であって、
　前記学習部により学習された前記温度と流量の少なくともいずれか一方が、予め定められた上限値または下限値を超える場合、予め定められた上限値または下限値に基づいて前記熱供給側の機器が運転される。
　また、本開示の第１４の態様による空調システムは、
　熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置と、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、を有する空調システムであって、
　前記機械学習装置は、
　前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
　前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、
　前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
　前記学習部は、前記報酬を用いて学習する。
　本開示の第１４の態様によれば、熱量の移動を最適化する空調システムを提供することができる。
　また、本開示の第１５の態様による機械学習方法は、
　熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習方法であって、
　前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得工程と、
　前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習工程と、
　前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出工程と、を有し、
　前記学習工程は、前記報酬を用いて学習する。
　本開示の第１５の態様によれば、熱量の移動を最適化する機械学習方法を提供することができる。
　本開示の第１６の態様による機械学習装置は、
　水冷チラーと、
　前記水冷チラー内での熱交換により冷媒を冷却する冷却水を供給する冷却水ポンプと、
　前記水冷チラーから搬送された前記冷却水を外気と接触させて冷却する冷却塔と、
　空気調和装置と、
　前記水冷チラー内での熱交換により前記冷媒により冷却された冷水を前記空気調和装置に供給する冷水ポンプと、を有する空調システムおいて、前記冷却水ポンプが供給する冷却水の温度と前記冷水ポンプが供給する冷水の温度との組、または、前記冷却水ポンプが供給する冷却水の流量と前記冷水ポンプが供給する冷水の流量との組、の少なくともいずれか一方の組を学習する機械学習装置であって、
　前記冷却塔の運転条件と、前記空気調和装置の運転条件と、前記空気調和装置の負荷とを含む状態変数を取得する状態変数取得部と、
　前記状態変数と、少なくともいずれか一方の組とを関連付けて学習する学習部と、
　前記冷却塔、前記水冷チラー、前記冷却水ポンプ、前記冷水ポンプ、前記空気調和装置の消費電力の合計値に基づいて、報酬を算出する報酬算出部と、を有し、
　前記学習部は、前記報酬を用いて学習する。
　本開示の第１６の態様によれば、熱量の移動を最適化する機械学習装置を提供することができる。
　また、本開示の第１７の態様による機械学習装置は、
　水を加熱または冷却するチラーユニットと、
　前記チラーユニットにより加熱または冷却された水を供給する水ポンプと、
　通過する空気と前記ポンプにより供給される水とを熱交換させる熱交換器を有し、該熱交換器を通過した空気を対象空間に送る空気調和装置と、を有する空調システムにおいて、前記水ポンプが供給する水の温度または流量の少なくともいずれか一方を学習する機械学習装置であって、
　前記チラーユニットの運転条件と、前記空気調和装置の運転条件と、前記空気調和装置の負荷とを含む状態変数を取得する状態変数取得部と、
　前記状態変数と、前記温度または流量の少なくともいずれか一方とを関連付けて学習する学習部と、
　前記チラーユニット、前記空気調和装置、前記水ポンプの消費電力の合計値に基づいて、報酬を算出する報酬算出部と、を有し、
　前記学習部は、前記報酬を用いて学習する。
　本開示の第１７の態様によれば、熱量の移動を最適化する機械学習装置を提供することができる。
図１は、空調システムのシステム構成の一例を示す図である。 図２は、機械学習装置のハードウェア構成の一例を示す図である。 図３は、機械学習装置の機能構成の一例を示す第１の図である。 図４は、機械学習装置による強化学習処理の流れを示す第１のフローチャートである。 図５は、熱供給側機器及び熱利用側機器の具体例を示す第１の図である。 図６は、熱供給側機器及び熱利用側機器の具体例を示す第２の図である。 図７は、熱供給側機器及び熱利用側機器の具体例を示す第３の図である。 図８は、熱供給側機器及び熱利用側機器の具体例を示す第４の図である。 図９は、熱供給側機器及び熱利用側機器の具体例を示す第５の図である。 図１０は、熱供給側機器及び熱利用側機器の具体例を示す第６の図である。 図１１は、機械学習装置の機能構成の一例を示す第２の図である。 図１２は、機械学習装置による強化学習処理の流れを示す第２のフローチャートである。 図１３は、機械学習装置の機能構成の一例を示す第３の図である。 図１４は、機械学習装置による強化学習処理の流れを示す第３のフローチャートである。 図１５は、冷却水回路及び冷水回路を含む空調システムのシステム構成の一例を示す第１の図である。 図１６は、冷却水回路の詳細を示す図である。 図１７は、熱媒体制御装置の機能を説明するための第１の図である。 図１８は、機械学習装置の機能構成の一例を示す第４の図である。 図１９は、機械学習装置による強化学習処理の流れを示す第４のフローチャートである。 図２０は、水回路を含む空調システムのシステム構成の一例を示す第１の図である。 図２１は、空調機器の詳細構成を示す第１の図である。 図２２は、熱媒体制御装置の機能を説明するための第２の図である。 図２３は、機械学習装置の機能構成の一例を示す第５の図である。 図２４は、機械学習装置による強化学習処理の流れを示す第５のフローチャートである。 図２５は、水回路を含む空調システムのシステム構成の一例を示す第２の図である。 図２６は、空調機器の詳細構成を示す第２の図である。 図２７は、対象空間におけるファンコイルユニットの設置態様を示す第１の図である。 図２８は、水回路を含む空調システムのシステム構成の一例を示す第３の図である。 図２９は、空調機器の詳細構成を示す第３の図である。 図３０は、対象空間におけるファンコイルユニットの設置態様を第２の図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
　［第１の実施形態］
　＜空調システムのシステム構成＞
　はじめに、第１の実施形態に係る空調システムのシステム構成について説明する。図１は、空調システムのシステム構成の一例を示す図である。図１に示すように、空調システム１００は、空調機器１１０と、機械学習装置１５０とを有する。
　空調機器１１０には複数の機器が含まれ、それらの機器は、熱供給側１２０の機器と、熱利用側１４０の機器と、熱搬送装置１３０とに大別することができる。ここで、熱利用側１４０とは、熱量の供給を受ける側であって、熱媒体の搬送方向に対して、空気調和される対象空間に近い側を指すものとする。また、熱供給側１２０とは、熱量を供給する側であって、熱媒体の搬送方向に対して、空気調和される対象空間から遠い側を指すものとする。
　また、熱搬送装置１３０とは、熱供給側１２０の機器から、熱利用側１４０の機器に熱媒体を搬送することで、熱量を移動させる装置である。熱量は、熱媒体の温度と熱媒体の流量とに基づいて特定される。
　図１に示すように、熱供給側１２０の機器は、所定の運転条件のもとで、機械学習装置１５０から送信された、熱媒体の温度と流量の少なくとも一方の目標値を実現するよう動作する。
　また、熱利用側１４０の機器は、所定の運転条件と、熱供給側１２０の機器より搬送された熱媒体の温度と流量とのもとで、予め熱利用側１４０の機器に設定された目標値を実現するよう動作する。
　一方、機械学習装置１５０は、
・熱供給側１２０の機器の運転条件と、
・熱利用側１４０の機器の運転条件と、
・熱利用側１４０の機器の負荷（熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する値）と、
を“状態変数”として、空調機器１１０より取得する。
　また、機械学習装置１５０は、空調機器１１０より、所定期間における熱供給側１２０の機器の消費電力と、熱利用側１４０の機器の消費電力と、熱搬送装置１３０の消費電力とを取得し、“合計消費電力”を算出する。
　また、機械学習装置１５０は、空調機器１１０より取得した状態変数及び合計消費電力に基づいて、熱媒体の温度と流量の少なくとも一方の目標値を算出し、熱供給側１２０の機器に送信する。具体的には、機械学習装置１５０は、取得した合計消費電力に基づいて算出した報酬を用いて、取得した状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付けて学習する。また、機械学習装置１５０は、学習の結果に基づき、現在の状態変数に関連付けられた熱媒体の温度と流量の少なくとも一方の目標値を算出し、熱供給側１２０の機器に送信する。
　このように、機械学習装置１５０は、空調機器１１０の合計消費電力に基づいて算出される報酬を用いて強化学習を行うことで、消費電力が削減されるようにモデルパラメータを変更し、熱媒体の温度と流量の少なくとも一方の目標値を算出する。これにより、空調システム１００において、熱量の移動を最適化することができる。
　また、機械学習装置１５０は、運転条件、負荷を含む状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付けるモデルを、実際のデータを取得しながら自動的に構築する。これにより、機械学習装置１５０によれば、精度の高いモデルを簡単に構築することができる。
　＜機械学習装置のハードウェア構成＞
　次に、機械学習装置１５０のハードウェア構成について説明する。図２は、機械学習装置のハードウェア構成の一例を示す図である。図２に示すように、機械学習装置１５０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、機械学習装置１５０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７を有する。機械学習装置１５０の各ハードウェアは、バス２０８を介して相互に接続される。
　ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、後述する機械学習プログラム等）を実行する演算デバイスである。ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、主記憶デバイスとして機能し、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラムやデータ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
　ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、主記憶デバイスとして機能し、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する。
　補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。
　表示装置２０５は、機械学習装置１５０の内部状態を表示する、表示デバイスである。操作装置２０６は、例えば、機械学習装置１５０の管理者が機械学習装置１５０に対して各種操作を行うための操作デバイスである。Ｉ／Ｆ装置２０７は、空調機器１１０に含まれる機器と接続し、空調機器１１０に含まれる機器との間でデータを送受信する接続デバイスである。
　＜機械学習装置の機能構成＞
　次に、機械学習装置１５０の機能構成の詳細について説明する。図３は、機械学習装置の機能構成の一例を示す第１の図である。上述したように、機械学習装置１５０には機械学習プログラムがインストールされており、当該プログラムが実行されることで、機械学習装置１５０は、消費電力取得部３１０、報酬算出部３２０、状態変数取得部３３０、強化学習部３４０として機能する。
　消費電力取得部３１０は、熱供給側１２０の機器による所定期間の消費電力と、熱利用側１４０の機器による所定期間の消費電力と、熱搬送装置１３０の所定期間の消費電力とを取得し、合計値を報酬算出部３２０に通知する。
　報酬算出部３２０は、消費電力取得部３１０より通知された合計値に基づいて、報酬を算出し、強化学習部３４０に通知する。
　状態変数取得部３３０は、熱供給側１２０の機器の所定期間における運転条件と、熱利用側１４０の機器の所定期間における運転条件と、熱利用側１４０の機器の所定期間における負荷とを、状態変数として、空調機器１１０に含まれる各機器より取得する。また、状態変数取得部３３０は、取得した状態変数を強化学習部３４０に通知する。
　強化学習部３４０は、熱量モデル３４１を有し、報酬算出部３２０より通知される報酬が最大となるように、熱量モデル３４１のモデルパラメータを変更する。これにより、強化学習部３４０は、状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付ける熱量モデル３４１について、強化学習を行う。
　また、強化学習部３４０は、モデルパラメータが変更された熱量モデル３４１に、状態変数取得部３３０より通知された現在の状態変数を入力することで算出される、熱媒体の温度と流量の少なくとも一方の目標値を取得する。更に、強化学習部３４０は、取得した熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信する。これにより、熱供給側１２０の機器は、送信された熱媒体の温度と流量の少なくとも一方の目標値を実現するように動作する。この結果、機械学習装置１５０によれば、空調機器１１０の消費電力を削減することができる。
　＜強化学習処理の流れ＞
　次に、機械学習装置１５０による強化学習処理の流れについて説明する。図４は、機械学習装置による強化学習処理の流れを示す第１のフローチャートである。
　ステップＳ４０１において、状態変数取得部３３０は、空調機器１１０に含まれる各機器より、所定期間の状態変数を取得する。
　ステップＳ４０２において、消費電力取得部３１０は、熱供給側１２０の機器による所定期間の消費電力と、熱利用側１４０の機器による所定期間の消費電力と、熱搬送装置１３０の所定期間の消費電力とを取得し、合計値を算出する。
　ステップＳ４０３は、報酬算出部３２０は、算出された合計値に基づいて、報酬を算出する。
　ステップＳ４０４において、報酬算出部３２０は、算出した報酬が所定の閾値以上であるか否かを判定する。ステップＳ４０４において、所定の閾値以上でないと判定された場合には（ステップＳ４０４においてＮＯの場合には）、ステップＳ４０５に進む。
　ステップＳ４０５において、強化学習部３４０は、算出された報酬が最大となるように熱量モデル３４１について機械学習を行う。
　ステップＳ４０６において、強化学習部３４０は、現在の状態変数を熱量モデル３４１に入力することで、熱量モデル３４１を実行させる。これにより、強化学習部３４０は、熱媒体の温度と流量の少なくとも一方の目標値を出力する。
　ステップＳ４０７において、強化学習部３４０は、出力した熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信する。その後、ステップＳ４０１に戻る。
　一方、ステップＳ４０４において、所定の閾値以上であると判定された場合には（ステップＳ４０４においてＹＥＳの場合には）、強化学習処理を終了する。
　＜まとめ＞
　以上の説明から明らかなように、第１の実施形態に係る空調システムは、
・熱供給側の機器と、
・熱利用側の機器と、
・熱供給側の機器から熱利用側の機器へ熱媒体を搬送する熱搬送装置と、
・熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、
を有する。
　また、機械学習装置は、
・熱供給側の機器の運転条件及び熱利用側の機器の運転条件と、熱利用側の機器の負荷とを含む状態変数を取得する。
・状態変数と、温度と流量の少なくとも一方とを関連付けて学習する。
・熱供給側の機器の消費電力と熱利用側の機器の消費電力と熱搬送装置の消費電力との合計値に基づいて報酬を算出する。
・状態変数と、熱媒体の温度と流量の少なくとも一方とを関連付けて学習する際、算出した報酬を用いて行う。
　このように、機械学習装置は、各機器の消費電力の合計値に基づいて算出される報酬を用いて強化学習を行うことで、消費電力が削減されるようにモデルパラメータを変更し、熱媒体の温度と流量の少なくとも一方の目標値を算出する。また、機械学習装置は、運転条件を含む状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付けるモデルを、実際のデータを取得しながら自動的に構築する。
　この結果、第１の実施形態によれば、精度の高いモデルを簡単に構築することが可能になるとともに、熱量の移動を最適化することができる。
　［第２の実施形態］
　上記第１の実施形態では、熱供給側１２０の機器と、熱利用側１４０の機器の具体例について言及しなかった。一方で、空調機器１１０には様々な機器が含まれ、熱供給側１２０の機器と、熱利用側１４０の機器との組み合わせも様々である。
　そこで、第２の実施形態では、熱供給側１２０の機器の具体例と、熱利用側の機器の具体例とを挙げ、強化学習に用いる学習用データセットについて詳細に説明する。なお、第２の実施形態では、まず、熱供給側１２０または熱利用側１４０に含まれる機器が、複数段に形成される場合について説明する。ただし、第２の実施形態では、説明を簡略化すべく、上記第１の実施形態との相違点を中心に説明を行う。
　＜熱供給側機器及び熱利用側機器の具体例１＞
　図５は、熱供給側機器及び熱利用側機器の具体例を示す第１の図である。図５に示す具体例の場合、熱供給側１２０の機器には、冷却塔５０１と、水冷チラー５０２と、冷却水ポンプ５０３とが含まれる。なお、冷却塔５０１には、例えば、開放式の冷却塔と密閉式の冷却塔とが含まれる。
　また、図５に示す具体例の場合、熱利用側１４０の機器には、空気調和装置５１１が含まれる。なお、空気調和装置５１１には、例えば、外調エアハンドリングユニット、室内ファンコイルユニット、水熱源ヒートポンプ空調機が含まれる。
　上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、機械学習装置１５０は、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・冷却塔５０１の消費電力、
・水冷チラー５０２の消費電力、
・冷却水ポンプ５０３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置５１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ５２１の消費電力、
等のデータを取得する。
　更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
　＜熱供給側機器及び熱利用側機器の具体例２＞
　図６は、熱供給側機器及び熱利用側機器の具体例を示す第２の図である。図６に示す具体例の場合、熱供給側１２０の機器には、冷却塔６０１が含まれる。なお、冷却塔６０１には、例えば、開放式の冷却塔と密閉式の冷却塔とが含まれる。
　また、図６に示す具体例の場合、熱利用側１４０の機器には、水冷チラー６１１と、空気調和装置６１２と、冷水ポンプ６１３とが含まれる。なお、空気調和装置６１２には、例えば、外調エアハンドリングユニット、室内ファンコイルユニット、水熱源ヒートポンプ空調機が含まれる。
　上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、機械学習装置１５０は、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから吸込空気温度、吸込み空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・冷却塔６０１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・水冷チラー６１１の消費電力、
・空気調和装置６１２の消費電力
・冷水ポンプ６１３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷却水ポンプ６２１の消費電力、
等のデータを取得する。
　更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷却水送水温度の目標値、
・冷却水流量の目標値、
を算出する。
　＜まとめ＞
　以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
　［第３の実施形態］
　上記第２の実施形態では、熱供給側１２０または熱利用側１４０に含まれる機器が、複数段に形成される場合について説明した。これに対して、第３の実施形態では、熱供給側１２０及び熱利用側１４０に含まれる機器が、いずれも単数段で形成される場合について説明する。
　＜熱供給側機器及び熱利用側機器の具体例１＞
　図７は、熱供給側機器及び熱利用側機器の具体例を示す第３の図である。図７に示す具体例の場合、熱供給側１２０の機器には、空冷チラー７０１（チラーユニットの一例）が含まれる。なお、空冷チラー７０１には、例えば、空冷ヒートポンプ冷凍機が含まれる。
　また、図７に示す具体例の場合、熱利用側１４０の機器には、空気調和装置７１１が含まれる。なお、空気調和装置７１１には、例えば、外調エアハンドリングユニット、室内ファンコイルユニット、水熱源ヒートポンプ空調機が含まれる。
　上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、空冷ヒートポンプ冷凍機から外気温度または外気湿球温度を取得する際、外気温度または外気湿球温度を、圧縮機及びファンの運転状況と読み替えて取得してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・空冷チラー７０１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置７１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ７２１の消費電力、
等のデータを取得する。
　更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
　＜熱供給側機器及び熱利用側機器の具体例２＞
　図８は、熱供給側機器及び熱利用側機器の具体例を示す第４の図である。図８に示す具体例の場合、熱供給側１２０の機器には、冷却塔または地中熱交換器８０１が含まれる。なお、冷却塔または地中熱交換器８０１には、例えば、開放式の冷却塔と密閉式の冷却塔と地中熱交換器とが含まれる。
　また、図８に示す具体例の場合、熱利用側１４０の機器には、水冷チラー８１１が含まれる。なお、水冷チラー８１１には、例えば、水冷ヒートポンプ冷凍機と吸収式冷凍機とが含まれる。
　上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
・地中熱交換器の地中温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。また、機械学習装置１５０は、地中熱交換器から地中温度を取得する際、地中温度を、地中熱交換器出口温度と読み替えて取得してもよい。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・水冷ヒートポンプ冷凍機の冷水還水温度（または、冷水還水温度及び冷水流量）、
・吸収式冷凍機の冷水還水温度（または、冷水還水温度及び冷水流量）、
等のデータを取得する。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・水冷ヒートポンプ冷凍機の負荷率、冷水送水温度（または、冷水還水温度及び冷水流量）、
・吸収式冷凍機の冷水送水温度（または、冷水還水温度、冷水流量）、
等のデータを取得する。
　また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・冷却塔の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・水冷チラー８１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷却水ポンプ８２１の消費電力、
等のデータを取得する。
　更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷却水送水温度の目標値、
・冷却水流量の目標値、
を算出する。
　＜まとめ＞
　以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
　［第４の実施形態］
　上記第３の実施形態では、熱供給側１２０または熱利用側１４０に含まれる機器が、単数段に形成される場合について説明した。これに対して、第４の実施形態では、熱供給側１２０及び熱利用側１４０に含まれる機器が、いずれも単数段で並列に形成される場合について説明する。
　＜熱供給側機器及び熱利用側機器の具体例１＞
　図９は、熱供給側機器及び熱利用側機器の具体例を示す第５の図である。図９に示す具体例の場合、熱供給側１２０の機器には、空冷チラー９０１、冷却塔９０２が含まれる。なお、空冷チラー９０１、冷却塔９０２に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
　また、図９に示す具体例の場合、熱利用側１４０の機器には、空気調和装置９１１が含まれる。なお、空気調和装置９１１に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
　上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０がこれらの運転条件を取得する際の読み替えについては、既に説明済みであるため、ここでは説明を省略する。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。
　また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・空冷チラー９０１の消費電力、
・冷却塔９０２の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置９１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ９２１の消費電力、
等のデータを取得する。
　更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
　＜熱供給側機器及び熱利用側機器の具体例２＞
　図１０は、熱供給側機器及び熱利用側機器の具体例を示す第６の図である。図１０に示す具体例の場合、熱供給側１２０の機器には、空冷チラー１００１が含まれる。なお、空冷チラー１００１に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
　また、図１０に示す具体例の場合、熱利用側１４０の機器には、空気調和装置１０１１、水冷ビル用マルチエアコン１０１２、水冷ビル用マルチエアコン１０１３が含まれる。なお、空気調和装置１０１１に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。また、水冷ビル用マルチエアコン１０１２、１０１３には、例えば、水冷ビル用マルチエアコンの熱源機及び室内機が含まれる。
　上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０がこれらの運転条件を取得する際の読み替えについては、既に説明済みであるため、ここでは説明を省略する。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
・水冷ビル用マルチエアコンの室内温度、室内湿度、
等のデータを取得する。
　また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
・水冷ビル用マルチエアコンの圧縮機負荷率（または室内機運転容量）、
等のデータを取得する。
　また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・空冷チラー１００１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置１０１１の消費電力、
・水冷ビル用マルチエアコン１０１２、１０１３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ１０２１の消費電力、
等のデータを取得する。
　更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水トータル流量の目標値、
を算出する。
　＜まとめ＞
　以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
　［第５の実施形態］
　上記第１乃至第４の実施形態では、報酬算出部３２０が、消費電力取得部３１０より通知された合計値に基づいて、報酬を算出し、強化学習部３４０に通知するものとして説明した。しかしながら、報酬算出部３２０による報酬の算出方法はこれに限定されない。
　例えば、熱供給側１２０の機器または熱利用側１４０の機器において何らかの異常が発生した場合には、異常が発生したことを示す信号をリスク情報として取得し、取得したリスク情報を加味して報酬を算出するように構成してもよい。以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
　＜機械学習装置の機能構成＞
　はじめに、第５の実施形態に係る機械学習装置１５０の機能構成の詳細について説明する。図１１は、機械学習装置の機能構成の一例を示す第２の図である。図３との相違点は、第５の実施形態に係る機械学習装置１５０の場合、リスク情報取得部１１１０を有する点である。
　リスク情報取得部１１１０は、熱供給側１２０の機器または熱利用側１４０の機器において何らかの異常が発生した場合に、異常が発生したことを示す信号をリスク情報として取得し、報酬算出部３２０に通知する。
　リスク情報取得部１１１０は、例えば、空冷ヒートポンプ冷凍機で発生した、
・高圧異常（高温、低流量）、低圧異常（低温、低流量）、
・熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）
等を示す信号をリスク情報として取得する。
　あるいは、リスク情報取得部１１１０は、例えば、水冷ヒートポンプ冷凍機、水熱源ヒートポンプ空調機で発生した、
・高圧異常（高温、低流量）、低圧異常（低温、低流量）、熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）、
等を示す信号をリスク情報として取得する。
　あるいは、リスク情報取得部１１１０は、例えば、吸収式冷凍機で発生した、
・熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）、
等を示す信号をリスク情報として取得する。
　＜強化学習処理の流れ＞
　次に、機械学習装置１５０による強化学習処理の流れについて説明する。図１２は、機械学習装置による強化学習処理の流れを示す第２のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１２０１、Ｓ１２０２である。
　ステップＳ１２０１において、リスク情報取得部１１１０は、熱供給側１２０の機器または熱利用側１４０の機器より、何らかの異常が発生したことを示す信号を、リスク情報として取得したか否かを判定する。
　ステップＳ１２０２において、報酬算出部３２０は、ステップＳ４０３において算出した報酬を、取得したリスク情報に応じて減算する。
　＜まとめ＞
　以上の説明から明らかなように、機械学習装置１５０では、消費電力の合計値に基づいて算出した報酬を、取得したリスク情報に応じて減算する。これにより、機械学習装置１５０によれば、リスク情報を加味して算出された報酬を用いて強化学習を行うことが可能となる。
　［第６の実施形態］
　上記第１乃至第４の実施形態では、強化学習部３４０が、熱量モデル３４１により算出された熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信するものとして説明した。しかしながら、熱媒体の温度と流量の少なくとも一方の目標値の出力方法はこれに限定されない。
　例えば、算出された熱媒体の温度と流量の少なくとも一方の目標値が、所定の上下限値を超えていた場合には、当該上限値または当該下限値を出力するように構成してもよい。以下、第６の実施形態について、上記第１の実施形態との相違点を中心に説明する。
　＜機械学習装置の機能構成＞
　はじめに、第６の実施形態に係る機械学習装置１５０の機能構成の詳細について説明する。図１３は、機械学習装置の機能構成の一例を示す第３の図である。図３との相違点は、第６の実施形態に係る機械学習装置１５０の場合、上下限値制限部１３１０を有する点である。
　上下限値制限部１３１０は、熱量モデル３４１により算出され、強化学習部３４０が出力した熱媒体の温度と流量の少なくとも一方の目標値を取得する。また、上下限値制限部１３１０は、取得した熱媒体の温度と流量の少なくとも一方の目標値が、熱供給側１２０の機器に設定されうる流量、温度の上下限値を超えているか否かを判定する。また、上下限値制限部１３１０は、上下限値を超えていると判定した場合には、上限値または下限値を、熱供給側１２０の機器に送信する。一方、上下限値制限部１３１０は、上下限値を超えていないと判定した場合には、取得した熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信する。
　＜強化学習処理の流れ＞
　次に、機械学習装置１５０による強化学習処理の流れについて説明する。図１４は機械学習装置による強化学習処理の流れを示す第３のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１４０１、Ｓ１４０２である。
　ステップＳ１４０１において、上下限値制限部１３１０は、ステップＳ４０６において強化学習部３４０により出力された熱媒体の温度と流量の少なくとも一方の目標値が、熱供給側１２０の機器に設定されうる上下限値を超えているか否かを判定する。
　ステップＳ１４０１において、上下限値を超えていると判定した場合には（ステップＳ１４０１においてＹＥＳの場合には）、ステップＳ１４０２に進む。
　ステップＳ１４０１において、上下限値制限部１３１０は、上限値または下限値を、熱供給側１２０の機器に出力する。
　一方、ステップＳ１４０１において、上下限値を超えていないと判定した場合には（ステップＳ１４０１においてＮＯの場合には）、ステップＳ４０７に進む。この場合、上下限値制限部１３１０は、ステップＳ４０６において強化学習部３４０により出力された熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に出力する。
　＜まとめ＞
　以上の説明から明らかなように、機械学習装置１５０では、熱供給側１２０に送信する熱媒体の温度と流量の少なくとも一方の目標値を、上下限値に応じて制限する。これにより、機械学習装置１５０によれば、熱供給側１２０の機器を安全に動作させることができる。
　［第７の実施形態］
　上記第１乃至第６の実施形態では、空調システムのシステム構成について説明する際、熱媒体を搬送するための具体的な回路構成について省略した。そこで、以下の実施形態では、熱媒体を搬送するための具体的な回路構成を明示しながら空調システムのシステム構成について説明する。
　そのうち、本実施形態では、冷却塔、水冷チラー、空気調和装置を備える空調システム（上記第２の実施形態で示した空調システム）における、熱媒体を搬送するための具体的な回路構成（冷却水回路、冷水回路）について明示する。
　＜空調システムのシステム構成＞
　図１５は、冷却水回路及び冷水回路を含む空調システムのシステム構成の一例を示す図である。また、図１６は、冷却水回路の詳細を示す図である。以下、図１５、図１６を用いて、空調システム１００全体の構成、空調システム１００の各機器、各回路の構成について説明する。
　（１）空調システム全体の構成
　図１５に示す空調システム１００は、例えば、ビル、工場、病院、ホテル等の、比較的大きい建物内に設置される。
　図１５に示す空調システム１００の場合、空調機器１１０は、熱媒体制御装置１５００、冷却塔１５１０、水冷チラー群１５２０、一次側冷水ポンプ１５３０、二次側冷水ポンプ１５４０、空気調和装置１５５０を有する。
　図１５に示すように、冷却塔１５１０と水冷チラー群１５２０との間には冷却水回路１５６０が形成され、水冷チラー群１５２０と空気調和装置１５５０との間には冷水回路１５７０が形成される。
　（２）冷却塔及び冷却水回路
　冷却塔１５１０は、本体１５１２が有するファン１５１３が、熱媒体制御装置１５００の制御のもとで動作し、冷却水回路１５６０を循環する冷却水を外気と接触させることで冷却する。冷却塔１５１０には、湿球温度計１５１１が設けられ、外気の湿球温度を計測することで、外気湿球温度を熱媒体制御装置１５００に出力する。
　冷却水回路１５６０には、冷却水ポンプ１５６２が設けられる（図１５参照）。冷却水ポンプ１５６２は、吐出流量の調整が可能なポンプであり、冷却水回路１５６０内の冷却水を循環させる。冷却水ポンプ１５６２は、熱媒体制御装置１５００によりインバータ駆動される。
　また、冷却水回路１５６０には、温度検出センサ１５７５ａ、１５７５ｂ、１５７６ａ、１５７６ｂが設けられる（図１６参照）。温度検出センサ１５７５ａは、水冷チラー１５２１ａの入口付近に取り付けられ、冷却水温度Ｔ３ａを計測する。また、温度検出センサ１５７５ｂは、水冷チラー１５２１ｂの入口付近に取り付けられ、冷却水温度Ｔ３ｂを計測する。
　また、温度検出センサ１５７６ａは、水冷チラー１５２１ａの出口付近に取り付けられ、冷却水温度Ｔ４ａを計測する。更に、温度検出センサ１５７６ｂは、水冷チラー１５２１ｂの入口付近に取り付けられ、冷却水温度Ｔ４ｂを計測する。
　なお、温度検出センサ１５７５ａ、１５７５ｂ、１５７６ａ、１５７６ｂで計測された冷却水温度は熱媒体制御装置１５００に出力される。
　また、冷却水回路１５６０には、流量計１５６３が取り付けられる（図１６参照）。流量計１５６３は、水冷チラー１５２１ａ、１５２１ｂの出口側、かつ、冷却塔１５１０の入口側に取り付けられ、冷却水回路１５６０を循環する冷却水の流量を計測する。
　（３）水冷チラー群
　水冷チラー群１５２０は、水冷式の熱源機である水冷チラー１５２１ａ、１５２１ｂを有する。水冷チラー１５２１ａ、１５２１ｂは、冷却水回路１５６０内において互いに並列に接続される（図１６参照）。
　水冷チラー１５２１ａ、１５２１ｂは、圧縮機（不図示）、放熱器１５２２ａ、１５２２ｂ（図１６参照）、チラー側膨張弁（不図示）、蒸発器１５２３ａ、１５２３ｂ（図１５参照）等が順次接続される冷媒回路（不図示）を有する。冷媒回路内部には、冷媒が充填されている。冷却水回路１５６０を循環する冷却水は、放熱器１５２２ａ、１５２２ｂ内を通過することで、冷媒回路内部の冷媒との間で熱交換を行う。更に、冷媒回路内部の冷媒は、蒸発器１５２３ａ、１５２３ｂにおいて、冷水回路１５７０を循環する冷水との間で熱交換を行う。
　このように、水冷チラー１５２１ａ、１５２１ｂは、冷媒回路を介して、熱媒体としての冷水を、冷却または加熱する。
　（４）冷水回路
　冷水回路１５７０は、熱媒体としての冷水が充填された連絡配管Ｌ１～Ｌ４によって形成される（図１５参照）。
　具体的には、連絡配管Ｌ１は、水冷チラー１５２１ａ、１５２１ｂの数に応じた数（図１５の場合は２本）設けられ、一端が各水冷チラー１５２１ａ、１５２１ｂの出口側となる蒸発器１５２３ａ、１５２３ｂに連結される。また、連絡配管Ｌ１は、他端がタンク１５７４の流入口に連結される。
　連結配管Ｌ２は、一端がタンク１５７４の流出口に連結され、他端が空気調和装置１５５０の入口側となる利用側熱交換器１５５１に連結される。連結配管Ｌ３は、一端が空気調和装置１５５０の出口側に連結され、他端がヘッダー１５７１に連結される。連絡配管Ｌ４は、水冷チラー１５２１ａ、１５２１ｂの数に応じた数（図１５の場合は２本）設けられ、蒸発器１５２３ａ、１５２３ｂに連結される。
　このように、連結配管Ｌ１～Ｌ４は、水冷チラー１５２１ａ、１５２１ｂと、空気調和装置１５５０とを環状に接続する。なお、本実施形態においては、更に、水冷チラー１５２１ａ、１５２１ｂを介さずに、ヘッダー１５７１と、タンク１５７４との間を直接連結する連結配管Ｌ５が設けられる。
　連結配管Ｌ４には、一次側冷水ポンプ１５３０として、水冷チラー１５２１ａ、１５２１ｂの数に応じた数（図１５の場合は２台）の一次側冷水ポンプ１５３１、１５３２が設けられる。
　一次側冷水ポンプ１５３１、１５３２は、容量調整が可能、かつ、吐出容量が調整可能な容量可変型のポンプであって、熱媒体制御装置１５００によりインバータ駆動される。一次側冷水ポンプ１５３１、１５３２は、空気調和装置１５５０の利用側熱交換器１５５１から流出した冷水を、水冷チラー１５２１ａ、１５２１ｂへと搬送することで、冷水回路１５７０内の冷水を循環させる。つまり、一次側冷水ポンプ１５３１、１５３２は、連絡配管Ｌ１～Ｌ４内の冷水を、水冷チラー１５２１ａ、１５２１ｂと空気調和装置１５５０との間で循環させる。
　また、連結配管Ｌ１、Ｌ２の間には、タンク１５７４が設けられる。タンク１５７４は、連結配管Ｌ１を介して水冷チラー１５２１ａ、１５２１ｂに接続され、連結配管Ｌ２を介して空気調和装置１５５０に接続される。タンク１５７４には、水冷チラー１５２１ａ、１５２１ｂによって加熱または冷却された冷水が貯留される。
　また、連結配管Ｌ２には、二次側冷水ポンプ１５４０が設けられる。二次側冷水ポンプ１５４０は、一次側冷水ポンプ１５３１、１５３２と同様、容量調整が可能、かつ、吐出容量が調整可能な容量可変型のポンプであって、熱媒体制御装置１５００によりインバータ駆動される。二次側冷水ポンプ１５４０は、水冷チラー１５２１ａ、１５２１ｂから空気調和装置１５５０へと冷水を搬送することで、冷水回路１５７０内の冷水を循環させる。
　また、連結配管Ｌ３には、流量計１５７５が取り付けられる。流量計１５７５は、連絡配管Ｌ３において、ヘッダー１５７１の手前側に取り付けられる。流量計１５７５は、冷水回路１５７０を循環する冷水の流量を計測する。
　また、連結配管Ｌ１には、温度検出センサ１５７３ａ、１５７３ｂが、連結配管Ｌ４には、温度検出センサ１５７２ａ、１５７２ｂがそれぞれ取り付けられる。このうち、温度検出センサ１５７３ａは、水冷チラー１５２１ａの出口付近において、冷水温度Ｔ１ａを計測し、温度検出センサ１５７３ｂは、水冷チラー１５２１ｂの出口付近において、冷水温度Ｔ１ｂを計測する。
　また、温度検出センサ１５７２ａは、水冷チラー１５２１ａの入口付近において、冷水温度Ｔ２ａを計測し、温度検出センサ１５７２ｂは、水冷チラー１５２１ｂの入口付近において、冷水温度Ｔ２ｂを計測する。
　なお、温度検出センサ１５７２ａ、１５７２ｂ、１５７３ａ、１５７３ｂにより計測された冷水温度は、熱媒体制御装置１５００に出力される。
　（５）空気調和装置
　図１５に示すように、空気調和装置１５５０は、空調対象空間ＲＭにダクト等で接続される。空気調和装置１５５０は、利用側熱交換器１５５１、送風ファン１５５２、温度検出センサ１５５３、湿度検出センサ１５５４を有する。
　利用側熱交換器１５５１は、空調対象空間ＲＭから取り込んだ空気を冷水回路１５７０内の冷水との間で熱交換させることで、空気を加熱または冷却させる。利用側熱交換器１５５１は、例えば、複数の伝熱フィンと、該伝熱フィンを貫通する伝熱管とを有する、フィンアンドチューブ式の熱交換器である。
　送風ファン１５５２は、インバータ駆動によって回転数を段階的に変化させることで、加熱または冷却された空気の送風量を調節可能な送風機である。送風ファン１５５２は、利用側熱交換器１５５１を経て空調対象空間ＲＭ内へと吹き出される空気の流れを形成する。
　温度検出センサ１５５３は、空気調和装置１５５０の吸込空気温度を計測し、熱媒体制御装置１５００に出力する。また、湿度検出センサ１５５４は、空気調和装置１５５０の吸込空気湿度を計測し、熱媒体制御装置１５００に出力する。
　＜熱媒体制御装置の機能＞
　次に、熱媒体制御装置１５００の機能について簡単に説明する。図１７は、熱媒体制御装置の機能を説明するための第１の図である。熱媒体制御装置１５００は、空調システム１００を統括的に制御するための装置であり、空調機器１１０を構成する各種センサや各種駆動装置（ポンプ、ファン、弁）等と電気的に接続される。
　本実施形態において、熱媒体制御装置１５００は、各種センサの出力等に基づいて、冷却塔１５１０の運転条件、空気調和装置１５５０の運転条件を特定する。また、熱媒体制御装置１５００は、各種センサの出力等に基づいて、空気調和装置１５５０の負荷を特定する。そして、熱媒体制御装置１５００は、冷却塔１５１０の運転条件と、空気調和装置１５５０の運転条件と、空気調和装置１５５０の負荷とを含む「状態変数」を、機械学習装置１５０に送信する。
　なお、状態変数に含まれる冷却塔１５１０の運転条件には、
・冷却塔１５１０の湿球温度計１５１１により計測された外気湿球温度、
が含まれる。
　また、状態変数に含まれる空気調和装置１５５０の運転条件には、
・空気調和装置１５５０の温度検出センサ１５５３により計測された吸込空気温度、
・空気調和装置１５５０の湿度検出センサ１５５４により計測された吸込空気湿度、
が含まれる。
　また、状態変数に含まれる空気調和装置１５５０の負荷には、
・空気調和装置１５５０に現在必要な熱量（吸込空気温度、給気温度目標値、風量とを用いて算出される）、
が含まれる。
　なお、状態変数には、冷却塔１５１０の負荷と、水冷チラー群１５２０の負荷とが含まれていてもよい。
　冷却塔１５１０の負荷は、
・現在の空調システム１００の運転能力が空気調和装置１５５０の負荷（給気温度目標値）を満足している場合、または、
・現在の空調システム１００の運転能力が空気調和装置１５５０の負荷に近づくように運転している場合、すなわち、空調システム１００の運転状態が始動後に「負荷＝運転能力」となる定常運転に遷移した場合、
例えば、冷却水の往還水温度差と冷却水流量との積により算出される。
　冷却水の往還水温度差は、例えば温度検出センサ１５７５ａ、１５７５ｂにより計測される冷却水温度Ｔ３ａ、Ｔ３ｂと、温度検出センサ１５７６ａ、１５７６ｂにより計測される冷却水温度Ｔ４ａ、Ｔ４ｂとの差分を用いて算出される。また、冷却水流量は、例えば冷却水ポンプ１５６２のインバータ駆動時の電圧や周波数から計算される、または流量計１５６３により計測される。
　一方、水冷チラー群１５２０の負荷は、
・空調システム１００の運転状態が「負荷＝運転能力」となる定常運転である場合、
冷水の往還水温度差と冷水流量との積や、水冷チラー群１５２０の負荷率により算出される。
　冷水の往還水温度差は、例えば温度検出センサ１５７３ａ、１５７３ｂにより計測される冷水温度Ｔ１ａ、Ｔ１ｂと、温度検出センサ１５７２ａ、１５７２ｂにより計測される冷水温度Ｔ２ａ、Ｔ２ｂとの差分を用いて算出される。
　冷水流量は、例えば、一次側冷水ポンプ１５３１、１５３２または二次側冷水ポンプ１５４０のインバータ駆動時の電圧や周波数から計算される、または流量計１５７５により計測される。
　また、本実施形態において、熱媒体制御装置１５００は、各種駆動装置の消費電力を特定し、機械学習装置１５０に送信する。なお、各種駆動装置の消費電力には、
・冷却塔１５１０の消費電力、
・水冷チラー群１５２０の消費電力、
・冷却水ポンプ１５６２の消費電力、
・一次側冷水ポンプ１５３０、二次側冷水ポンプ１５４０の消費電力、
・空気調和装置１５５０の消費電力、
が含まれる。
　更に、本実施形態において、熱媒体制御装置１５００は、機械学習装置１５０に対して、状態変数、消費電力を出力することで、機械学習装置１５０から、
・冷却水温度の目標値と、冷水温度の目標値との組、または、
・冷却水流量の目標値と、冷水流量の目標値との組、
の少なくともいずれか一方を取得する。
　熱媒体制御装置１５００は、
・取得した冷却水温度の目標値と、冷水温度の目標値との組に基づいて、あるいは、
・冷却水流量の目標値と、冷水流量の目標値との組に基づいて、
空調機器１１０（ファン１５１３、冷却水ポンプ１５６２、一次側冷水ポンプ１５３０、二次側冷水ポンプ１５４０、チラー側膨張弁１７１０、送風ファン１５５２等）を制御する。
　＜機械学習装置の機能構成＞
　次に、機械学習装置１５０の機能構成について説明する。図１８は、機械学習装置の機能構成の一例を示す第４の図である。
　上述したように、機械学習装置１５０には機械学習プログラムがインストールされており、当該プログラムが実行されることで、機械学習装置１５０は、消費電力取得部３１０、報酬算出部３２０、状態変数取得部３３０、強化学習部３４０として機能する。
　消費電力取得部３１０は、熱媒体制御装置１５００より、
・冷却塔１５１０の消費電力、
・水冷チラー群１５２０の消費電力、
・冷却水ポンプ１５６２の消費電力、
・一次側冷水ポンプ１５３０の消費電力、
・二次側冷水ポンプ１５４０の消費電力、
・空気調和装置１５５０の消費電力、
を取得し、合計値を算出する。また、消費電力取得部３１０は、算出した合計消費電力を、報酬算出部３２０に通知する。
　報酬算出部３２０は、消費電力取得部３１０より通知された合計消費電力に基づいて、報酬を算出し、強化学習部３４０に通知する。
　状態変数取得部３３０は、熱媒体制御装置１５００より、状態変数（冷却塔１５１０の運転条件、空気調和装置１５５０の運転条件、空気調和装置１５５０の負荷）を取得し、強化学習部３４０に通知する。
　強化学習部３４０は、熱量モデル３４１を有し、報酬算出部３２０より通知される報酬が最大となるように、熱量モデル３４１のモデルパラメータを変更する。これにより、強化学習部３４０は、
・状態変数と、
・冷却水温度の目標値と冷水温度の目標値との組、または、冷却水流量の目標値と冷水流量の目標値との組、の少なくともいずれか一方の目標値の組と、
を関連付ける熱量モデル３４１について、強化学習を行う。
　また、強化学習部３４０は、モデルパラメータが変更された熱量モデル３４１に、状態変数取得部３３０より通知された現在の状態変数を入力することで算出される、
・冷却水温度の目標値と冷水温度の目標値との組、または、
・冷却水流量の目標値と冷水流量の目標値との組、
の少なくともいずれか一方の目標値の組を取得する。更に、強化学習部３４０は、取得した目標値の組を、空調機器１１０に送信する。これにより、空調機器１１０は、送信された目標値の組を実現するように動作する。この結果、機械学習装置１５０によれば、空調機器１１０の消費電力を削減することができる。
　＜強化学習処理の流れ＞
　次に、機械学習装置１５０による強化学習処理の流れについて説明する。図１９は、機械学習装置による強化学習処理の流れを示す第４のフローチャートである。
　ステップＳ１９０１において、状態変数取得部３３０は、熱媒体制御装置１５００より、所定期間の状態変数を取得する。
　ステップＳ１９０２において、消費電力取得部３１０は、熱媒体制御装置１５００より、所定期間の各消費電力を取得し、合計値を算出する。
　ステップＳ１９０３は、報酬算出部３２０は、算出した合計消費電力に基づいて、報酬を算出する。
　ステップＳ１９０４において、報酬算出部３２０は、算出した報酬が所定の閾値以上であるか否かを判定する。ステップＳ１９０４において、所定の閾値以上でないと判定された場合には（ステップＳ１９０４においてＮＯの場合には）、ステップＳ１９０５に進む。
　ステップＳ１９０５において、強化学習部３４０は、算出された報酬が最大となるように熱量モデル３４１について機械学習を行う。
　ステップＳ１９０６において、強化学習部３４０は、現在の状態変数を熱量モデル３４１に入力することで、熱量モデル３４１を実行させる。これにより、強化学習部３４０は、冷却水温度の目標値と冷水温度の目標値との組、または、冷却水流量の目標値と冷水流量の目標値との組、の少なくともいずれか一方の目標値の組を出力する。
　ステップＳ１９０７において、強化学習部３４０は、出力した目標値の組を、熱媒体制御装置１５００に送信する。その後、ステップＳ１９０１に戻る。
　一方、ステップＳ１９０４において、所定の閾値以上であると判定された場合には（ステップＳ１９０４においてＹＥＳの場合には）、強化学習処理を終了する。
　＜まとめ＞
　以上の説明から明らかなように、第７の実施形態では、冷却塔、水冷チラー、空気調和装置を備える空調システムにおいて、冷却水回路及び冷水回路における熱量の移動を最適化することができる。
　［第８の実施形態］
　上記第７の実施形態では、冷却塔、水冷チラー、空気調和装置を備え、冷却水回路及び冷水回路における熱量の移動を最適化する空調システム（上記第２の実施形態）における熱媒体の具体的な回路構成について明示した。
　これに対して、第８の実施形態では、空冷チラー（チラーユニット）、空気調和装置（エアハンユニット）を備え、冷水回路（水回路）における熱量の移動を最適化する空調システム（上記第３の実施形態）における熱媒体の具体的な回路構成について明示する。
　＜空調システムのシステム構成＞
　図２０は、水回路を含む空調システムのシステム構成の一例を示す第１の図である。空調システム１００は、セントラル空調方式の空調システムであり、家屋、ビル、工場、公共施設等の建築物内の対象空間ＳＰにおいて空気調和を実現する。本実施形態では、空調システム１００が、複数（ここでは３つ）の対象空間ＳＰ（ＳＰ１、ＳＰ２、ＳＰ３）を含む建物ＢＬに適用される場合について説明する。
　図２０に示すように、空調システム１００は、空調機器１１０と機械学習装置１５０とを有する。空調機器１１０は、外気ＯＡを取り込み、調和して対象空間ＳＰに供給することで、対象空間ＳＰにおける冷房、暖房、換気、除湿及び／または加湿等の空気調和を行う。外気ＯＡは、対象空間ＳＰ外の空気であり、本実施形態では屋外の空気である。
　図２０に示すように、空調機器１１０は、更に、熱媒体制御装置２０００、チラーユニット２０１０、エアハンユニット２０２０、リモコン２０３０を有する。熱媒体制御装置２０００は、リモコン２０３０に入力されたコマンド（発停、運転種別、設定温度、設定湿度、設定風量等に係るコマンド）、及び負荷状況（外気ＯＡの温度・湿度や、内気ＩＡの温度・湿度等）に応じて、各機器の運転を制御する。
　＜空調機器の構成＞
　次に、空調機器１１０を有する各装置（ここでは、チラーユニット２０１０、エアハンユニット２０２０、リモコン２０３０）の構成、及び、各回路の構成について説明する。
　（１）水回路及び冷媒回路
　はじめに、空調機器１１０において熱媒体を搬送するための具体的な回路構成について説明する。図２１は、空調機器の詳細構成を示す第１の図である。図２１に示すように、エアハンユニット２０２０及びチラーユニット２０１０は、水回路Ｃ１と冷媒回路Ｃ２とを有する。
　水回路Ｃ１は、外気ＯＡと熱交換を行う熱媒体（水：図２１に示す「Ｗ」）が循環する回路である。水回路Ｃ１は、チラーユニット２０１０とエアハンユニット２０２０とに跨って構成される。水回路Ｃ１は、主として、エアハンユニット２０２０に配置される空気熱交換器２１３３と、チラーユニット２０１０に配置される水熱交換器２１２２及び水ポンプＰａと、が第１配管Ｐ１で接続されることで構成される。
　水ポンプＰａの運転が制御されることで、熱媒体としての水が、水回路Ｃ１において所定方向（図２１の二点鎖線矢印ｄ１が示す方向）に搬送される。水回路Ｃ１における水の流量は、主として水ポンプＰａの回転数により調整される。なお、図２１においては図示を省略しているが、水回路Ｃ１（第１配管Ｐ１上）には、水を合流・分流させるためのヘッダー集合管や水の流れを遮断するための開閉弁、水ポンプＰａとは別のポンプ等の機器が配置されているものとする。
　冷媒回路Ｃ２は、水回路Ｃ１内の水の冷却源となる冷媒が循環する回路である。冷媒回路Ｃ２は、チラーユニット２０１０内に構成される。冷媒回路Ｃ２は、主として、チラーユニット２０１０内に配置される圧縮機２１２１と、水熱交換器２１２２と、膨張弁２１２３と、室外熱交換器２１２４と、四路切換弁２１２５と、が第２配管Ｐ２で接続されることで構成される。圧縮機２１２１の運転が制御されるとともに膨張弁２１２３の開度が制御されることで、熱媒体としての冷媒が、冷媒回路Ｃ２において所定方向に搬送され、蒸気圧縮冷凍サイクルが行われる。なお、所定方向とは、正サイクル運転時の場合、図２１の二点鎖線矢印ｄ２が示す方向を指し、逆サイクル運転時の場合、ｄ２とは逆の方向を指す。
　（２）チラーユニット
　チラーユニット２０１０は「熱源装置」の一例である。チラーユニット２０１０は、冷媒回路Ｃ２が冷凍サイクルを行うことで、水回路Ｃ１内の水（Ｗ）の冷却または加熱を行い、冷却または加熱後の水（Ｗ）を吐出して運転中のエアハンユニット２０２０に供給する。チラーユニット２０１０は、主として、圧縮機２１２１、水熱交換器２１２２、膨張弁２１２３、室外熱交換器２１２４、四路切換弁２１２５、室外ファン２１２６及び水ポンプＰａを有する。なお、チラーユニット２０１０に代えて、冷凍機やボイラー等の他の熱源装置を配置してもよい。
　圧縮機２１２１は、冷凍サイクルにおいて低圧の冷媒が高圧になるまで圧縮する機器である。ここでは、圧縮機２１２１として、圧縮機モータが内蔵された密閉式構造の圧縮機が採用される。圧縮機２１２１内には、例えばスクロール式等の容積式の圧縮要素（図示省略）が収容されており、圧縮機モータによって圧縮要素が回転駆動される。圧縮機モータはインバータ駆動され、これにより圧縮機２１２１の容量制御が行われる。すなわち、圧縮機２１２１は、容量可変である。
　水熱交換器２１２２は、水回路Ｃ１内の水と、冷媒回路Ｃ２内の冷媒と、を熱交換させ、水を冷却または加熱する機器である。水熱交換器２１２２には、水回路Ｃ１に連通する水流路と、冷媒回路Ｃ２に連通する冷媒流路とが形成されており、これにより、水熱交換器２１２２は、水流路内の水と冷媒流路内の冷媒とを熱交換させる。具体的には、水熱交換器２１２２は、正サイクル運転（冷房運転や除湿運転）中、低圧冷媒の蒸発器として機能して冷水を冷却する。また、水熱交換器２１２２は、逆サイクル運転（暖房運転）中、高圧冷媒の凝縮器として機能して温水を加熱する。
　膨張弁２１２３は、冷媒の減圧手段または流量調整手段として機能する。本実施形態において、膨張弁２１２３は、開度制御が可能な電動膨張弁である。
　室外熱交換器２１２４は、冷媒回路Ｃ２において冷媒と空気とを熱交換させる機器であり、空気に放熱する、または、空気から吸熱する。室外熱交換器２１２４は、冷媒回路Ｃ２に連通する伝熱管、及び伝熱フィンを有する。室外熱交換器２１２４は、伝熱管及び伝熱フィンの周囲を通過する空気（後述する室外空気流）と、伝熱管を通過する冷媒とを熱交換させる。室外熱交換器２１２４は、正サイクル運転中、高圧冷媒の凝縮器として機能し、暖房運転中、低圧冷媒の蒸発器として機能する。
　四路切換弁２１２５は、冷媒回路Ｃ２の流れを切り換える弁である。四路切換弁２１２５は、４つの接続ポートを有し、圧縮機２１２１の吸入配管、吐出配管、水熱交換器２１２２の冷媒流路のガス側、室外熱交換器２１２４のガス側、にそれぞれ接続される。これにより、四路切換弁２１２５は、第１状態と第２状態とを切り換える。
　第１状態とは、水熱交換器２１２２の冷媒流路のガス側と圧縮機２１２１の吸入配管とを連通させるとともに、圧縮機２１２１の吐出配管と室外熱交換器２１２４のガス側とを連通させる状態である（図２１の四路切換弁２１２５の実線を参照）。
　一方、第２状態とは、圧縮機２１２１の吐出配管と水熱交換器２１２２の冷媒流路のガス側とを連通させるとともに、室外熱交換器２１２４のガス側と圧縮機２１２１の吸入配管とを連通させる状態である（図２１の四路切換弁２１２５の破線を参照）。四路切換弁２１２５は、正サイクル運転時には第１状態に制御され、逆サイクル運転時には第２状態に制御される。
　室外ファン２１２６は、室外空気流を生成する送風機である。室外空気流は、チラーユニット２０１０内に流入し、室外熱交換器２１２４を通過してチラーユニット２０１０外に流出する空気の流れである。室外空気流は、正サイクル運転時における室外熱交換器２１２４内の冷媒の冷却源であり、逆サイクル運転時における室外熱交換器２１２４内の冷媒の加熱源である。室外ファン２１２６は、ファンモータを有し、当該ファンモータがインバータ駆動されることで回転数が調整される。すなわち、室外ファン２１２６は、風量可変である。
　水ポンプＰａは、水回路Ｃ１に配置される。水ポンプＰａは、運転中、水を吸引して吐出する。水ポンプＰａは、駆動源であるモータを有し、当該モータがインバータ駆動されることで回転数が調整される。すなわち、水ポンプＰａは、吐出流量可変である。
　（３）エアハンユニット
　エアハンユニット２０２０は、「空気調和装置」の一例である。エアハンユニット２０２０は、外気ＯＡの冷却、除湿、加熱、及び／または加湿を行う。エアハンユニット２０２０は、室外（対象空間ＳＰ外）に配置される。
　エアハンユニット２０２０は、主として、空気熱交換器２１３３、加湿器２１３５及び給気ファン２１３８を有する。
　空気熱交換器２１３３（熱交換器）は、外気ＯＡの冷却器または加熱器として機能する機器である。空気熱交換器２１３３は、水回路Ｃ１に配置される。空気熱交換器２１３３は、水回路Ｃ１に連通する伝熱管、及び伝熱フィンを有する。空気熱交換器２１３３は、伝熱管及び伝熱フィンの周囲を通過する外気ＯＡと、伝熱管を通過する水とを熱交換させる。
　加湿器２１３５は、空気熱交換器２１３３を通過した外気ＯＡを加湿するための機器である。加湿器２１３５の方式や型式は特に限定されないが、ここでは一般的な自然蒸発式の加湿器が採用されるものとする。
　給気ファン２１３８（空調ファン）は、外気ＯＡをエアハンユニット２０２０内に取り込み、ダクトＤ１を介して対象空間ＳＰへ送る送風機である。給気ファン２１３８の型式については特に限定されないが、本実施形態においては、給気ファン２１３８としてシロッコファンが採用されるものとする。ここで、エアハンユニット２０２０には、外気ＯＡが流れる空気流路ＦＰが形成され（図２１に破線矢印「ＦＰ」を参照）、給気ファン２１３８の運転中、外気ＯＡは、空気流路ＦＰに沿って流れる。給気ファン２１３８は、ファンモータを有し、当該ファンモータがインバータ駆動されることで回転数が調整される。すなわち、給気ファン２１３８は、風量可変である。
　エアハンユニット２０２０には、空気流路ＦＰの風上側から風下側に向かう順に、空気熱交換器２１３３、加湿器２１３５、及び給気ファン２１３８が配置される。空気流路ＦＰの風下側の端部は、ダクトＤ１に接続される。
　また、エアハンユニット２０２０には、各種センサが配置される。エアハンユニット２０２０に配置される各種センサには、例えば、エアハンユニット２０２０内に吸入される外気ＯＡの温度を計測する外気温度センサＳ１、及び湿度を計測する外気湿度センサＳ２が含まれる。更に、ダクトＤ１（すなわち対象空間ＳＰ）に送られる給気ＳＡの温度（給気温度）を計測する給気温度センサＳ３が含まれる。
　（４）リモコン
　リモコン２０３０は、ユーザが空調システム１００に対して、エアハンユニット２０２０の発停、運転種別、設定温度、設定湿度、設定湿度、設定風量等の各種コマンドを入力するための入力装置である。なお、リモコン２０３０は、所定の情報（例えば空調システム１００の運転状態、内気ＩＡの温度や湿度、または外気ＯＡの温度や湿度等）を表示するための表示装置としても機能する。
　また、リモコン２０３０には、各種センサとして、例えば、
・対象空間ＳＰの室内の空気（内気ＩＡ）の温度を計測する室内温度センサＳ４（図２２）、
・湿度を計測する室内湿度センサＳ５（図２２）、
・二酸化炭素濃度を計測する二酸化炭素濃度センサＳ６（図２２）、
等が配置される。
　（５）空調機器を構成する各装置の運転中の動作
　次に、空調機器１１０を構成する各装置の運転中の動作について説明する。空調機器１１０の運転時には、通常、水ポンプＰａが駆動し、水回路Ｃ１において水が循環する。また、圧縮機２１２１が駆動し、冷媒回路Ｃ２において冷媒が循環する。
　また、空調機器１１０の運転中、水回路Ｃ１内の水は、水熱交換器２１２２において、冷媒回路Ｃ２内の冷媒と熱交換されることで目標水温Ｔｗ，ｕｐとなるように冷却または加熱される。水熱交換器２１２２において冷却または加熱された水は、エアハンユニット２０２０に供給され、空気熱交換器２１３３において外気ＯＡと熱交換されることで加熱または冷却される。空気熱交換器２１３３を通過した水は、再び水熱交換器２１２２に搬送される。
　冷房運転時には、冷媒回路Ｃ２内の冷媒が、圧縮機２１２１において圧縮され、高圧冷媒として吐出される。圧縮機２１２１から吐出された高圧冷媒は、室外熱交換器２１２４で、空気（室外ファン２１２６が生成する室外空気流）と熱交換されることで凝縮される、または、放熱する。室外熱交換器２１２４を通過した冷媒は、膨張弁２１２３において減圧され低圧冷媒となった後、水熱交換器２１２２に搬送される。水熱交換器２１２２に搬送された低圧冷媒は、水回路Ｃ１内の水と熱交換されることで蒸発する、または、加熱される。水熱交換器２１２２を通過した低圧冷媒は、再び圧縮機２１２１に搬送される。
　一方、暖房運転時には、冷媒回路Ｃ２内の冷媒が圧縮機２１２１において圧縮され、高圧冷媒として吐出される。圧縮機２１２１から吐出された高圧冷媒は、水熱交換器２１２２で、水回路Ｃ１内の水と熱交換されることで凝縮される、または、放熱する。水熱交換器２１２２を通過した冷媒は、膨張弁２１２３において減圧され低圧冷媒となった後、室外熱交換器２１２４に搬送される。室外熱交換器２１２４に搬送された低圧冷媒は、空気（室外ファン２１２６が生成する室外空気流）と熱交換されることで蒸発する、または、加熱される。室外熱交換器２１２４を通過した低圧冷媒は、再び圧縮機２１２１に搬送される。
　運転中のエアハンユニット２０２０の空気熱交換器２１３３においては、外気ＯＡが水と熱交換されることで冷却、除湿、または加熱される。空気熱交換器２１３３を通過した空気は、給気ＳＡとして対象空間ＳＰに送られる。このとき、加湿器２１３５が運転中の場合には、空気熱交換器２１３３を通過した空気は、加湿器２１３５によって加湿された後に給気ＳＡとして対象空間ＳＰに送られる。
　＜熱媒体制御装置の機能＞
　次に、熱媒体制御装置２０００の機能について簡単に説明する。図２２は、熱媒体制御装置の機能を説明するための第２の図である。熱媒体制御装置２０００は、空調システム１００を統括的に制御するための装置であり、空調機器１１０を構成する各種センサや各種駆動装置（加湿器、圧縮機、ポンプ、ファン、弁）等と電気的に接続される。
　具体的には、熱媒体制御装置２０００は、機械学習装置１５０から出力された、水回路Ｃ１を循環する水の温度の目標値（目標水温Ｔｗ），ｕｐ）に基づいて、各種駆動装置（加湿器、圧縮機、ポンプ、ファン、弁等）の動作を制御する。
　例えば、熱媒体制御装置２０００は、圧縮機２１２１の容量、膨張弁２１２３の開度、四路切換弁２１２５の状態、室外ファン２１２６の回転数、水ポンプＰａの回転数、加湿器２１３５の発停、または給気ファン２１３８の回転数等を制御する。なお、熱媒体制御装置２０００は、各種駆動装置の動作を制御するにあたり、各種センサの出力を取得するとともに、リモコン２０３０との間で信号の送受信を行う。
　また、熱媒体制御装置２０００は、各種センサの出力等に基づいて、チラーユニット２０１０の運転条件、エアハンユニット２０２０の運転条件を特定する。また、熱媒体制御装置２０００は、各種センサの出力等に基づいて、エアハンユニット２０２０の負荷を特定する。更に、熱媒体制御装置２０００は、チラーユニット２０１０の運転条件と、エアハンユニット２０２０の運転条件と、エアハンユニット２０２０の負荷とを含む「状態変数」を、機械学習装置１５０に送信する。
　なお、状態変数に含まれるチラーユニット２０１０の運転条件には、
・冷房時の外気温度、暖房時の外気湿球温度（ただし、実際には、圧縮機２１２１の周波数、四路切換弁２１２５の状態、室外ファン２１２６の回転数、水ポンプＰａの回転数によって読み替えられた値）、
が含まれる。
　また、状態変数に含まれるエアハンユニット２０２０の運転条件には、
・エアハンユニット２０２０のコイル入口空気温度（あるいは、対象空間ＳＰ外の外気ＯＡ温度、対象空間ＳＰ内の内気ＩＡの温度）、
が含まれる。コイル入口空気温度は、外気温度センサＳ１によって計測される。また、対象空間ＳＰ内の内気ＩＡの温度は、室内温度センサＳ４によって計測される。
　なお、状態変数に含まれるエアハンユニット２０２０の運転条件には、更に、
・エアハンユニット２０２０のコイル入口空気湿度（あるいは、対象空間ＳＰ外の外気ＯＡ湿度、対象空間ＳＰ内の内気ＩＡの湿度）、
が含まれていてもよい。コイル入口空気湿度は、外気湿度センサＳ２によって計測される。また、対象空間ＳＰ内の内気ＩＡの湿度は、室内湿度センサＳ５によって計測される。
　更に、状態変数に含まれるエアハンユニット２０２０の運転条件には、
・給気ファン２１３８の風量、
が含まれていてもよい。
　また、エアハンユニット２０２０の負荷には、
・エアハンユニット２０２０の給気設定温度、
が含まれる。給気設定温度は、リモコン２０３０に入力されたコマンド（設定温度に関するコマンド）に基づいて特定される。
　なお、エアハンユニット２０２０の負荷には、更に、
・エアハンユニット２０２０の給気設定湿度、
が含まれていてもよい。給気設定湿度は、リモコン２０３０に入力されたコマンド（設定湿度に関するコマンド）に基づいて特定される。
　また、本実施形態において、熱媒体制御装置２０００は、各種駆動装置の消費電力を特定し、機械学習装置１５０に送信する。なお、各種駆動装置の消費電力には、
・チラーユニット２０１０の消費電力、
・エアハンユニット２０２０の消費電力、
・水ポンプＰａの消費電力、
が含まれる。
　更に、本実施形態において、熱媒体制御装置２０００は、機械学習装置１５０に対して、状態変数、各消費電力を出力することで、機械学習装置１５０から、
・水温度の目標値（目標水温）、または、
・水流量の目標値（目標水量）、
の少なくともいずれか一方を取得する。
　熱媒体制御装置２０００は、
・取得した水温度の目標値に基づいて、あるいは、
・水流量の目標値に基づいて、
空調機器１１０（圧縮機２１２１、膨張弁２１２３、四路切換弁２１２５、室外ファン２１２６、水ポンプＰａ、給気ファン２１３８等）の動作を制御する。
　＜機械学習装置の機能構成＞
　次に、機械学習装置１５０の機能構成について説明する。図２３は、機械学習装置の機能構成の一例を示す第５の図である。
　上述したように、機械学習装置１５０には機械学習プログラムがインストールされており、当該プログラムが実行されることで、機械学習装置１５０は、消費電力取得部３１０、報酬算出部３２０、状態変数取得部３３０、強化学習部３４０として機能する。
　消費電力取得部３１０は、熱媒体制御装置１５００より、各消費電力（チラーユニット２０１０の消費電力、エアハンユニット２０２０の消費電力、水ポンプＰａの消費電力）を取得する。また、消費電力取得部３１０は、取得した消費電力の合計値を算出し、算出した合計消費電力を、報酬算出部３２０に通知する。
　報酬算出部３２０は、消費電力取得部３１０より通知された合計消費電力に基づいて、報酬を算出し、強化学習部３４０に通知する。
　状態変数取得部３３０は、熱媒体制御装置１５００より、状態変数（チラーユニット２０１０の運転条件、エアハンユニット２０２０の運転条件、エアハンユニット２０２０の負荷）を取得し、強化学習部３４０に通知する。
　強化学習部３４０は、熱量モデル３４１を有し、報酬算出部３２０より通知される報酬が最大となるように、熱量モデル３４１のモデルパラメータを変更する。これにより、強化学習部３４０は、
・状態変数と、
・水温度の目標値、または、水流量の目標値、の少なくともいずれか一方と、
を関連付ける熱量モデル３４１について、強化学習を行う。
　また、強化学習部３４０は、モデルパラメータが変更された熱量モデル３４１に、状態変数取得部３３０より通知された現在の状態変数を入力することで算出される、
・水温度の目標値、または、
・水流量の目標値、
の少なくともいずれか一方を取得する。更に、強化学習部３４０は、取得した目標値を、空調機器１１０に送信する。これにより、空調機器１１０は、送信された目標値を実現するように動作する。この結果、機械学習装置１５０によれば、空調機器１１０の消費電力を削減することができる。
　＜強化学習処理の流れ＞
　次に、機械学習装置１５０による強化学習処理の流れについて説明する。図２４は、機械学習装置による強化学習処理の流れを示す第５のフローチャートである。
　ステップＳ２４０１において、状態変数取得部３３０は、熱媒体制御装置２０００より、所定期間の状態変数を取得する。
　ステップＳ２４０２において、消費電力取得部３１０は、熱媒体制御装置２０００より、各消費電力を取得し、合計値を算出する。
　ステップＳ２４０３は、報酬算出部３２０は、算出した合計消費電力に基づいて、報酬を算出する。
　ステップＳ２４０４において、報酬算出部３２０は、算出した報酬が所定の閾値以上であるか否かを判定する。ステップＳ２４０４において、所定の閾値以上でないと判定された場合には（ステップＳ２４０４においてＮＯの場合には）、ステップＳ２４０５に進む。
　ステップＳ２４０５において、強化学習部３４０は、算出された報酬が最大となるように熱量モデル３４１について機械学習を行う。
　ステップＳ２４０６において、強化学習部３４０は、現在の状態変数を熱量モデル３４１に入力することで、熱量モデル３４１を実行させる。これにより、強化学習部３４０は、水温度の目標値、水流量の目標値の少なくともいずれか一方を出力する。
　ステップＳ２４０７において、強化学習部３４０は、出力した目標値を、熱媒体制御装置２０００に送信し、その後、ステップＳ２４０１に戻る。
　一方、ステップＳ２４０４において、所定の閾値以上であると判定された場合には（ステップＳ２４０４においてＹＥＳの場合には）、強化学習処理を終了する。
　＜まとめ＞
　以上の説明から明らかなように、第８の実施形態では、チラーユニット、エアハンユニットを備える空調システムにおいて、水回路における熱量の移動を最適化することができる。
　［第９の実施形態］
　上記第８の実施形態では、チラーユニット、エアハンユニットを備える空調システムについて説明した。これに対して、第９の実施形態では、上記第８の実施形態の変形例として、エアハンユニットに代えて、ファンコイルユニットを備える空調システムについて説明する。
　＜空調システムのシステム構成（変形例１）＞
　図２５は、水回路を含む空調システムのシステム構成の一例を示す第２の図である。また、図２６は、空調機器の詳細構成を示す第２の図である。
　図２５に示すように、空調システム１００ａは、エアハンユニット２０２０の代わりに、ファンコイルユニット２０２０ａを複数（ここでは対象空間ＳＰと同数）有する。空調システム１００ａは、運転中、ファンコイルユニット２０２０ａが対象空間ＳＰの空気（内気ＩＡ）を取り込み、冷却若しくは加熱、または除湿して、給気ＳＡとして対象空間ＳＰに供給する。なお、本実施形態において加湿の機能はなくてもよい。
　また、図２６に示すように、チラーユニット２０１０及びファンコイルユニット２０２０ａは、水回路Ｃ１の代わりに水回路Ｃ１’を有する。水回路Ｃ１’は、主として、各ファンコイルユニット２０２０ａに配置される空気熱交換器２１３３と、チラーユニット２０１０に配置される水熱交換器２１２２及び水ポンプＰａと、が第１配管Ｐ１で接続されることで構成される。
　ファンコイルユニット２０２０ａは「空気調和装置」の一例であり、内気ＩＡの冷却、除湿、加熱を行う。ファンコイルユニット２０２０ａは、対象空間ＳＰに配置される。
　図２７は、対象空間におけるファンコイルユニットの設置態様を示す第１の図である。本実施形態において、各ファンコイルユニット２０２０ａには、対象空間ＳＰの天井ＣＬに設置される天井埋込型が採用されるものとする。図２７に示すように、各ファンコイルユニット２０２０ａは、対象空間ＳＰにおいて吹出口が天井ＣＬから露出するように設置される。
　各ファンコイルユニット２０２０ａは、エアハンユニット２０２０と同様に、空気熱交換器２１３３ａ、及び給気ファン２１３８ａを有する。空気熱交換器２１３３ａ、及び給気ファン２１３８ａは、内気ＩＡが流れる空気流路ＦＰ’の風上側から風下側に向かう順に配置される。各ファンコイルユニット２０３０ａにおいて、空気流路ＦＰ’の風下側の端部は、対象空間ＳＰと連通する。ファンコイルユニット２０２０ａは、エアハンユニット２０２０とは異なり、ダクトＤ１に接続されない。ファンコイルユニット２０２０ａは、外気ＯＡを取り込むことで対象空間ＳＰに給気ＳＡを送るのではなく、内気ＩＡを取り込み、冷却、除湿、加熱したうえで対象空間ＳＰに給気ＳＡを送る。
　なお、図２５に示すファンコイルユニット２０２０ａを有する空調システム１００ａにおいても、機械学習装置１５０は、上記第８の実施形態と同様の手法で、水温度の目標値または水流量の目標値として、消費電力を削減する最適な目標値を出力することができる。
　また、空調システム１００ａにおいて、ファンコイルユニット２０２０ａとエアハンユニット２０２０とを混合して配置した場合であっても、機械学習装置１５０は、上記第８の実施形態と同様の手法で、最適な目標値を出力することができる。
　なお、ファンコイルユニット２０２０ａの台数については、対象空間ＳＰと同数である必要はなく、対象空間ＳＰの数より多くても少なくてもよい。例えば、１つの対象空間ＳＰに複数のファンコイルユニット２０２０ａが配置されてもよい。
　＜空調システムのシステム構成（変形例２）＞
　続いて、他の変形例について説明する。図２８は、水回路を含む空調システムのシステム構成の一例を示す第３の図である。また、図２９は、空調機器の詳細構成を示す第３の図である。以下、図２５に示した空調システム１００ａ及び図２６に示した空調機器の詳細構成との相違点を中心に説明する。
　図２８に示すように、空調システム１００ｂは、ファンコイルユニット２０３０ａの代わりに、ファンコイルユニット２０２０ｂを有する。空調システム１００ｂは、運転中、ファンコイルユニット２０２０ｂがダクトＤ２を介して外気ＯＡを取り込み、冷却若しくは加熱、または除湿若しくは加湿して、対象空間ＳＰに給気ＳＡを送る。
　ファンコイルユニット２０２０ｂは「空気調和装置」の一例であり、ファンコイルユニット２０２０ａと同様に、空気熱交換器２１３３、加湿器２１３５及び給気ファン２１３８を有する（図２９参照）。
　図２９に示すように、空気熱交換器２１３３、加湿器２１３５、及び給気ファン２１３８は、外気ＯＡが流れる空気流路ＦＰの風上側から風下側に向かう順に配置される。また、ファンコイルユニット２０２０ｂは、ファンコイルユニット２０２０ａとは異なり、空気流路ＦＰの風上側端部がダクトＤ２に接続される。また、ファンコイルユニット２０２０ｂは、ダクトＤ２を介して外気ＯＡを取り込んで冷却、除湿、加熱または加湿したうえで対象空間ＳＰに給気ＳＡを送る。
　なお、本実施形態において、ファンコイルユニット２０２０ｂは、いずれかの対象空間ＳＰに対応付けられており、対応する対象空間ＳＰに設置される。図３０は、対象空間におけるファンコイルユニットの設置態様を示す第２の図である。本実施形態において、各ファンコイルユニット２０２０ｂには、対象空間ＳＰの天井ＣＬに設置される天井埋込型が採用されるものとする。図３０に示すように、各ファンコイルユニット２０２０ｂは、対象空間ＳＰにおいて吹出口が天井ＣＬから露出するように設置される。
　図３０において、ダクトＤ２は、外気ＯＡの流路を形成する部材である。ダクトＤ２は、給気ファン２１３８が駆動することで外気ＯＡがファンコイルユニット２０２０ｂに取り込まれるように、その一端が、対応するファンコイルユニット２０３０ｂに接続される。また、他端が、対象空間ＳＰに形成された吸気口Ｈ２（図２８参照）に接続される。
　なお、図２８に示すファンコイルユニット２０２０ｂを有する空調システム１００ｂにおいても、機械学習装置１５０は、上記第８の実施形態と同様の手法で、水温度の目標値または水流量の目標値として、消費電力を削減する最適な目標値を出力することができる。
　また、空調システム１００ｂにおいて、
・ファンコイルユニット２０２０ｂと、
・エアハンユニット２０２０及び／またはファンコイルユニット２０２０ａと、
を混合して配置した場合であっても、機械学習装置１５０は、上記第８の実施形態と同様の手法を用いて、最適な目標値を出力することができる。
　＜まとめ＞
　以上の説明から明らかなように、第９の実施形態では、チラーユニット、ファンコイルユニットを備える空調システムにおいて、水回路における熱量の移動を最適化することができる。
　［その他の実施形態］
　上記各実施形態では、報酬の算出に用いる消費電力の取得タイミングについて言及しなかった。しかしながら、例えば、消費電力取得部３１０は、強化学習部３４０が熱媒体の温度と流量の少なくとも一方の目標値を送信してから、所定期間経過後に、消費電力を取得してもよい。
　また、上記各実施形態では、消費電力の合計値を用いて報酬を算出するものとして説明したが、報酬の算出に用いる消費エネルギーの合計値は、消費電力の合計値に限定されない。例えば、エネルギー消費効率（ＣＯＰ：Coefficient Of Performance）、二酸化炭素排出量、エネルギーコスト（電気代、ガス代）等の消費エネルギーの合計値を用いて報酬を算出してもよい。
　また、上記各実施形態では、機械学習を行う際に用いるモデル（熱量モデル）の詳細について特に言及しなかったが、機械学習を行う際に用いるモデルには任意の種類のモデルが適用されるものとする。具体的には、ＮＮ（Neural Network）モデルや、ランダムフォレストモデル、ＳＶＭ（Support Vector Machine）モデル等、任意の種類のモデルが適用される。
　また、上記第８の実施形態における空調システム１００は、暖房運転を行わないように構成されてもよい。すなわち、チラーユニット２０１０はヒートポンプ式でなくてもよい。
　また、上記第９の実施形態における空調システム１００ｂにおいて、加湿器２１３５は、適宜省略されてもよい。すなわち、空調システム１００ｂは、加湿運転を行わないように構成されてもよい。
　また、上記第９の実施形態では、空調システム１００ｂが３つの対象空間ＳＰを含む建物ＢＬに適用される場合について説明した。しかし、空調システム１００の設置環境についてはこれに限定されない。例えば空調システム１００ｂは、４つ以上の対象空間ＳＰを含む建物に適用されてもよい。また、例えば空調システム１００ｂは、２つ以下（１つを含む）の対象空間ＳＰを含む建物に適用されてもよい。このような場合、ファンコイルユニット２０２０ｂの台数については対象空間ＳＰの数に応じて適宜変更されてもよい。また、１つの対象空間ＳＰに複数台のファンコイルユニットが配置されてもよい。
　また、上記第８の実施形態では、空調システム１００は、１台のチラーユニット２０１０と、１台のエアハンユニット２０２０とを有するものとして説明した。しかしながら、空調システム１００が有するチラーユニット２０１０及びエアハンユニット２０２０の台数は必ずしも１台に限定されず、設置環境や設計仕様に応じて適宜変更が可能である。すなわち、空調システム１００は、チラーユニット２０１０、及び／またはエアハンユニット２０２０をそれぞれ複数有していてもよい。なお、チラーユニット２０１０の台数とエアハンユニット２０２０の台数は、必ずしも同数である必要はない。
　また、上記第８の実施形態では、エアハンユニット２０２０に流入する空気が全て外気である場合について説明した。しかし、エアハンユニット２０２０に流入する空気はこれに限定されない。例えばエアハンユニット２０２０に流入する空気は、外気と還気との混合または全て内気であってもよい。
　また、上記第８及び第９の実施形態において構成される冷媒回路（Ｃ２）の構成態様については、設置環境や設計仕様に応じて適宜変更が可能であるとする。例えば暖房運転について省略される場合には四路切換弁２１２５については省略されてもよい。また、室外熱交換器２１２４の代わりに水熱交換器を配置し、水熱交換器において冷媒と水とを熱交換させることで、冷媒の冷却または加熱が行われるように構成されてもよい。また、エアハンユニット２０２０において構成される水回路Ｃ１の構成態様についても設置環境や設計仕様に応じて適宜変更が可能であるとする。
　また、上記第８及び第９の実施形態において冷媒回路（Ｃ２）を循環する冷媒としては、Ｒ３２やＲ４１０ＡのようなＨＦＣ冷媒が想定されるが、必ずしもＨＦＣ冷媒である必要はない。例えば、他の冷媒（例えばＨＦＯ１２３４ｙｆ、ＨＦＯ１２３４ｚｅ（Ｅ）やＣＯ２やアンモニア等）が用いられてもよい。また、水回路Ｃ１において循環する熱媒体についても必ずしも水である必要はなく、他の流体が用いられてもよい。
　また、空調システム１００に含まれる各種センサの配置位置は、上記第８及び第９の実施形態における態様に必ずしも限定されず、適宜変更が可能である。例えば、外気温度センサＳ１、外気湿度センサＳ２、及び給気温度センサＳ３は、必ずしもエアハンユニット２０２０に配置される必要はなく、他のユニットに配置されてもよいし、独立して配置されてもよい。また、室内温度センサＳ４、室内湿度センサＳ５、及び／または二酸化炭素濃度センサＳ６は、必ずしもリモコン２０３０に配置される必要はなく、他のユニットに配置されてもよいし、独立して配置されてもよい。
　また、上記第８及び第９の実施形態では、機械学習装置１５０の設置態様について特に説明していなかったが、機械学習装置１５０の設置態様については適宜選択が可能である。例えば、熱媒体制御装置２０００は、建物ＢＬの管理室に配置されてもよいし、ＷＡＮやＬＡＮで通信可能に接続された遠隔地に設置されてもよい。
　また、熱媒体制御装置２０００と機械学習装置１５０の構成態様についても適宜変更されてもよい。例えば、熱媒体制御装置２０００と機械学習装置１５０とは、一体的に配置されても、分散して配置され、通信ネットワークを介して接続されてもよい。また、一体的に配置される場合にあっては、１台のコンピュータにより構成されても、複数のデバイス（例えば、ＰＣやスマートフォン等）が接続されることで構成されてもよい。
　以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
　本出願は、２０１９年４月２６日に出願された日本国特許出願第２０１９－０８６７８１号及び２０１９年４月２６日に出願された日本国特許出願第２０１９－０８６７８２号及び２０１９年４月２６日に出願された日本国特許出願第２０１９－０８６７８５号に基づきそれらの優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
　１００　　　　　　　　　：空調システム
　１１０　　　　　　　　　：空調機器
　１２０　　　　　　　　　：熱供給側
　１３０　　　　　　　　　：熱搬送装置
　１４０　　　　　　　　　：熱利用側
　１５０　　　　　　　　　：機械学習装置
　３１０　　　　　　　　　：消費電力取得部
　３２０　　　　　　　　　：報酬算出部
　３３０　　　　　　　　　：状態変数取得部
　３４０　　　　　　　　　：強化学習部
　３４１　　　　　　　　　：熱量モデル
　１１１０　　　　　　　　：リスク情報取得部
　１３１０　　　　　　　　：上下限値制限部
　１５００　　　　　　　　：熱媒体制御装置
　１５１０　　　　　　　　：冷却塔
　１５２０　　　　　　　　：水冷チラー群
　１５３０　　　　　　　　：一次側冷水ポンプ
　１５４０　　　　　　　　：二次側冷水ポンプ
　１５５０　　　　　　　　：空気調和装置
　２０００　　　　　　　　：熱媒体制御装置
　２０１０　　　　　　　　：チラーユニット
　２０２０　　　　　　　　：エアハンユニット
　２０２０ａ、２０２０ｂ　：ファンコイルユニット

Claims (17)

  1. 　熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置であって、
    　前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
    　前記状態変数と、前記温度と流量の少なくとも一方とを関連付けて学習する学習部と、
    　前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
    　前記学習部は、前記報酬を用いて学習する機械学習装置。
  2. 　前記熱供給側の機器の運転条件には、前記熱供給側の機器の処理能力に影響を与える外気温度、外気湿球温度、地中温度のいずれかが含まれる、請求項１に記載の機械学習装置。
  3. 　前記熱利用側の機器の運転条件には、前記熱利用側の機器の処理能力に影響を与える吸込空気温度、冷水還水温度のいずれかが含まれる、請求項１に記載の機械学習装置。
  4. 　前記熱利用側の機器の運転条件には、更に、風量、冷水流量のいずれかが含まれる、請求項３に記載の機械学習装置。
  5. 　前記熱利用側の機器に必要な熱量に相関する値には、給気温度、冷水送水温度のいずれかが含まれる、請求項１に記載の機械学習装置。
  6. 　前記熱搬送装置が熱媒体を搬送する際の温度には、冷水送水温度、冷却水送水温度が含まれ、前記熱搬送装置が熱媒体を搬送する際の流量には、冷水流量、冷却水流量のいずれかが含まれる、請求項５に記載の機械学習装置。
  7. 　前記熱供給側の機器には空冷チラーが含まれ、前記熱利用側の機器には空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる、請求項１に記載の機械学習装置。
  8. 　前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる、請求項１に記載の機械学習装置。
  9. 　前記熱供給側の機器には地中熱交換器が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる、請求項１に記載の機械学習装置。
  10. 　前記熱供給側の機器には冷却塔と、冷却水ポンプと、水冷チラーとが含まれ、前記熱利用側の機器には空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる、請求項１に記載の機械学習装置。
  11. 　前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーと、冷水ポンプと、空気調和装置とが含まれ、前記熱搬送装置には冷却水ポンプが含まれる、請求項１に記載の機械学習装置。
  12. 　前記学習部により学習された前記温度と流量の少なくともいずれか一方に基づいて前記熱供給側の機器が運転されることで、前記空調システムのリスクが高まった場合に、前記報酬算出部は、前記報酬を下げる、請求項１に記載の機械学習装置。
  13. 　前記学習部により学習された前記温度と流量の少なくともいずれか一方が、予め定められた上限値または下限値を超える場合、予め定められた上限値または下限値に基づいて前記熱供給側の機器が運転される、請求項１に記載の機械学習装置。
  14. 　熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置と、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、を有する空調システムであって、
    　前記機械学習装置は、
    　前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
    　前記状態変数と前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、
    　前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
    　前記学習部は、前記報酬を用いて学習する空調システム。
  15. 　熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習方法であって、
    　前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得工程と、
    　前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習工程と、
    　前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出工程と、を有し、
    　前記学習工程は、前記報酬を用いて学習する機械学習方法。
  16. 　水冷チラーと、
    　前記水冷チラー内での熱交換により冷媒を冷却する冷却水を供給する冷却水ポンプと、
    　前記水冷チラーから搬送された前記冷却水を外気と接触させて冷却する冷却塔と、
    　空気調和装置と、
    　前記水冷チラー内での熱交換により前記冷媒により冷却された冷水を前記空気調和装置に供給する冷水ポンプと、を有する空調システムおいて、前記冷却水ポンプが供給する冷却水の温度と前記冷水ポンプが供給する冷水の温度との組、または、前記冷却水ポンプが供給する冷却水の流量と前記冷水ポンプが供給する冷水の流量との組、の少なくとも一方の組を学習する機械学習装置であって、
    　前記冷却塔の運転条件と、前記空気調和装置の運転条件と、前記空気調和装置の負荷とを含む状態変数を取得する状態変数取得部と、
    　前記状態変数と、少なくとも一方の組とを関連付けて学習する学習部と、
    　前記冷却塔、前記水冷チラー、前記冷却水ポンプ、前記冷水ポンプ、前記空気調和装置の消費エネルギーの合計値に基づいて、報酬を算出する報酬算出部と、を有し、
    　前記学習部は、前記報酬を用いて学習する機械学習装置。
  17. 　熱媒体を加熱または冷却する熱源装置と、
    　前記熱源装置により加熱または冷却された熱媒体を吐出するポンプと、
    　通過する空気と前記ポンプにより吐出される熱媒体とを熱交換させる熱交換器を有し、該熱交換器を通過した空気を対象空間に送る空気調和装置と、を有する空調システムにおいて、前記ポンプが供給する熱媒体の温度または流量の少なくとも一方を学習する機械学習装置であって、
    　前記熱源装置の運転条件と、前記空気調和装置の運転条件と、前記空気調和装置の負荷とを含む状態変数を取得する状態変数取得部と、
    　前記状態変数と、前記熱媒体の温度または流量の少なくとも一方とを関連付けて学習する学習部と、
    　前記熱源装置、前記空気調和装置、前記ポンプの消費エネルギーの合計値に基づいて、報酬を算出する報酬算出部と、を有し、
    　前記学習部は、前記報酬を用いて学習する機械学習装置。
PCT/JP2020/017806 2019-04-26 2020-04-24 機械学習装置、空調システム及び機械学習方法 WO2020218563A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/604,491 US11959652B2 (en) 2019-04-26 2020-04-24 Machine learning apparatus, air conditioning system, and machine learning method
CN202080016455.6A CN113474594A (zh) 2019-04-26 2020-04-24 机器学习装置、空调系统以及机器学习方法
JP2021516293A JPWO2020218563A1 (ja) 2019-04-26 2020-04-24
EP20794146.9A EP3961114B1 (en) 2019-04-26 2020-04-24 Air conditioning system, and machine learning method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2019-086782 2019-04-26
JP2019086782 2019-04-26
JP2019-086781 2019-04-26
JP2019086785 2019-04-26
JP2019086781 2019-04-26
JP2019-086785 2019-04-26

Publications (1)

Publication Number Publication Date
WO2020218563A1 true WO2020218563A1 (ja) 2020-10-29

Family

ID=72942778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017806 WO2020218563A1 (ja) 2019-04-26 2020-04-24 機械学習装置、空調システム及び機械学習方法

Country Status (5)

Country Link
US (1) US11959652B2 (ja)
EP (1) EP3961114B1 (ja)
JP (1) JPWO2020218563A1 (ja)
CN (1) CN113474594A (ja)
WO (1) WO2020218563A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021354A (zh) * 2021-11-08 2022-02-08 北京建筑大学 一种风机盘管换热量计算模型的构建方法及构建装置
WO2023003027A1 (ja) * 2021-07-21 2023-01-26 ダイキン工業株式会社 エリア通知システム
WO2023191007A1 (ja) * 2022-03-31 2023-10-05 ダイキン工業株式会社 換気装置及び換気方法
JP7445718B1 (ja) 2022-08-24 2024-03-07 東京瓦斯株式会社 熱源システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11751360B2 (en) * 2020-03-17 2023-09-05 International Business Machines Corporation Intelligently deployed cooling fins
US20210356182A1 (en) * 2020-05-15 2021-11-18 Netenergy (Naim Energy Technologies, Llc) Liquid subcooling utilizing phase change composite thermal energy storage and phase change composite thermal energy storage module therefor
US20240093900A1 (en) * 2022-09-19 2024-03-21 Microsoft Technology Licensing, Llc Machine teaching with method of moments

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004053127A (ja) 2002-07-19 2004-02-19 Hitachi Plant Eng & Constr Co Ltd 空調設備及びその制御方法
JP2004293844A (ja) 2003-03-26 2004-10-21 Hitachi Plant Eng & Constr Co Ltd 空調設備
JP2008256258A (ja) * 2007-04-04 2008-10-23 Toshiba Corp 空調システム制御装置
JP2012127573A (ja) * 2010-12-15 2012-07-05 Hitachi Plant Technologies Ltd 熱源システム
JP2017142595A (ja) * 2016-02-09 2017-08-17 ファナック株式会社 生産制御システムおよび統合生産制御システム
JP2018173221A (ja) 2017-03-31 2018-11-08 ダイキン工業株式会社 空調システム
JP2019002591A (ja) * 2017-06-12 2019-01-10 清水建設株式会社 設備制御装置、設備制御システム、及び設備制御方法
JP2019026103A (ja) * 2017-07-31 2019-02-21 本田技研工業株式会社 自動運転のポリシー生成装置及び車両
JP2019086781A (ja) 2017-11-09 2019-06-06 東友ファインケム株式会社Ｄｏｎｇｗｏｏ Ｆｉｎｅ−Ｃｈｅｍ Ｃｏ．， Ｌｔｄ． 着色感光性樹脂組成物、これを用いて製造されるカラーフィルタおよび前記カラーフィルタを含む表示装置
JP2019086785A (ja) 2018-12-27 2019-06-06 株式会社ニコン 撮像素子および撮像装置
JP2019086782A (ja) 2017-11-09 2019-06-06 ハンス−ペーター・ヴィルファーＨａｎｓ−Ｐｅｔｅｒ Ｗｉｌｆｅｒ エフェクタ用保護ケージ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201129823Y (zh) 2007-11-21 2008-10-08 厦门立思科技有限公司 基于人工神经网络技术的中央空调节能控制装置
KR101936635B1 (ko) * 2012-02-14 2019-04-03 엘지전자 주식회사 공기조화기용 실내기
KR20170068958A (ko) 2015-12-10 2017-06-20 삼성전자주식회사 공조 시스템에서 온도를 제어하기 위한 장치 및 방법
US20180100662A1 (en) * 2016-10-11 2018-04-12 Mitsubishi Electric Research Laboratories, Inc. Method for Data-Driven Learning-based Control of HVAC Systems using High-Dimensional Sensory Observations
US10643121B2 (en) * 2017-01-19 2020-05-05 Deepmind Technologies Limited Optimizing data center controls using neural networks
CN107726546B (zh) * 2017-10-11 2019-10-01 武汉鸿图节能环保集团有限公司 无人运营的中央空调智能系统及其控制方法
US10852023B2 (en) * 2018-05-15 2020-12-01 Johnson Controls Technology Company Building management autonomous HVAC control using reinforcement learning with occupant feedback
US20190042979A1 (en) * 2018-06-28 2019-02-07 Intel Corporation Thermal self-learning with reinforcement learning agent

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004053127A (ja) 2002-07-19 2004-02-19 Hitachi Plant Eng & Constr Co Ltd 空調設備及びその制御方法
JP2004293844A (ja) 2003-03-26 2004-10-21 Hitachi Plant Eng & Constr Co Ltd 空調設備
JP2008256258A (ja) * 2007-04-04 2008-10-23 Toshiba Corp 空調システム制御装置
JP2012127573A (ja) * 2010-12-15 2012-07-05 Hitachi Plant Technologies Ltd 熱源システム
JP2017142595A (ja) * 2016-02-09 2017-08-17 ファナック株式会社 生産制御システムおよび統合生産制御システム
JP2018173221A (ja) 2017-03-31 2018-11-08 ダイキン工業株式会社 空調システム
JP2019002591A (ja) * 2017-06-12 2019-01-10 清水建設株式会社 設備制御装置、設備制御システム、及び設備制御方法
JP2019026103A (ja) * 2017-07-31 2019-02-21 本田技研工業株式会社 自動運転のポリシー生成装置及び車両
JP2019086781A (ja) 2017-11-09 2019-06-06 東友ファインケム株式会社Ｄｏｎｇｗｏｏ Ｆｉｎｅ−Ｃｈｅｍ Ｃｏ．， Ｌｔｄ． 着色感光性樹脂組成物、これを用いて製造されるカラーフィルタおよび前記カラーフィルタを含む表示装置
JP2019086782A (ja) 2017-11-09 2019-06-06 ハンス−ペーター・ヴィルファーＨａｎｓ−Ｐｅｔｅｒ Ｗｉｌｆｅｒ エフェクタ用保護ケージ
JP2019086785A (ja) 2018-12-27 2019-06-06 株式会社ニコン 撮像素子および撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3961114A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023003027A1 (ja) * 2021-07-21 2023-01-26 ダイキン工業株式会社 エリア通知システム
JP2023016479A (ja) * 2021-07-21 2023-02-02 ダイキン工業株式会社 エリア通知システム
JP7280525B2 (ja) 2021-07-21 2023-05-24 ダイキン工業株式会社 エリア通知システム
CN114021354A (zh) * 2021-11-08 2022-02-08 北京建筑大学 一种风机盘管换热量计算模型的构建方法及构建装置
CN114021354B (zh) * 2021-11-08 2024-04-30 北京建筑大学 一种风机盘管换热量计算模型的构建方法及构建装置
WO2023191007A1 (ja) * 2022-03-31 2023-10-05 ダイキン工業株式会社 換気装置及び換気方法
JP7445718B1 (ja) 2022-08-24 2024-03-07 東京瓦斯株式会社 熱源システム

Also Published As

Publication number Publication date
US20220205661A1 (en) 2022-06-30
US11959652B2 (en) 2024-04-16
EP3961114A1 (en) 2022-03-02
EP3961114B1 (en) 2024-01-03
EP3961114A4 (en) 2022-06-22
JPWO2020218563A1 (ja) 2020-10-29
CN113474594A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
WO2020218563A1 (ja) 機械学習装置、空調システム及び機械学習方法
US8660702B2 (en) Central cooling and circulation energy management control system
CN101539322B (zh) 制热待机的室内机电子膨胀阀的控制方法
JP2018173264A (ja) 空調システム
US10101043B2 (en) HVAC system and method of operation
US8001802B2 (en) Air conditioner
TW201809560A (zh) 用以控制冷凍系統之系統及方法
CN103423823A (zh) 复合式基站机房空调
US20240053077A1 (en) Systems and methods for humidity control in an air conditioning system
JP6819807B2 (ja) 空調システム、機械学習装置及び機械学習方法
JP6907653B2 (ja) 空調システム
CN114026368B (zh) 外部空气处理装置和空调系统
US20230358415A1 (en) Integrated space conditioning and water heating/cooling systems and methods thereto
JP2020183856A (ja) 機械学習装置、空調システム及び機械学習方法
US11313577B2 (en) Air-conditioning system, machine learning apparatus, and machine learning method
CN212457133U (zh) 一种高能效比机房空调系统
KR101649447B1 (ko) 도시가스를 이용한 지열히트펌프 시스템
JP2014035091A (ja) 空調システム
CN102620490A (zh) 一种新风除湿加干盘管制冷的空调机组
WO2020035944A1 (ja) 熱源システム
US11378290B2 (en) Water source heat pump dual functioning condensing coil
KR20200124871A (ko) 냉난방, 냉장 및 냉동기능을 구비한 가스엔진 구동의 히트펌프 올인원 통합 제어 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20794146

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516293

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020794146

Country of ref document: EP

Effective date: 20211126