WO2020199648A1 - 空调的控制方法和装置 - Google Patents

空调的控制方法和装置 Download PDF

Info

Publication number
WO2020199648A1
WO2020199648A1 PCT/CN2019/125505 CN2019125505W WO2020199648A1 WO 2020199648 A1 WO2020199648 A1 WO 2020199648A1 CN 2019125505 W CN2019125505 W CN 2019125505W WO 2020199648 A1 WO2020199648 A1 WO 2020199648A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
current
air
temperature
operating parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/125505
Other languages
English (en)
French (fr)
Inventor
谭建明
李绍斌
宋德超
岳冬
陈翀
罗晓宇
邓家璧
王鹏飞
肖文轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to US17/600,506 priority Critical patent/US11965666B2/en
Publication of WO2020199648A1 publication Critical patent/WO2020199648A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/04—Program control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Program control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control

Definitions

  • the method before the collected air conditioning operating parameters at each moment are filled in default parameters based on the constraint network model to obtain multiple sets of target air conditioning operating parameters, the method further includes: operating based on multiple sets of standard air conditioning Construct a second reward matrix with parameters, where multiple sets of standard air-conditioning operating parameters are air-conditioning operating parameters that meet preset conditions; obtain training set data and validation set data in the second reward matrix; train radial basis function neural based on training set data Network model, where the radial basis function neural network model includes an input layer, a hidden layer and an output layer.
  • a control device for an air conditioner includes: a first construction unit for constructing a first reward matrix according to multiple sets of target air-conditioning operating parameters, where each set of target air-conditioning operating parameters includes at least indoor ambient temperature, outdoor ambient temperature, set temperature, and indoor evaporator intermediate Temperature, outdoor condenser intermediate temperature, compressor operating frequency, electronic expansion valve opening, and external fan speed; the first calculation unit is used to calculate the current action in the current state based on the first reward matrix and Q-learning algorithm The maximum expected profit, where the current state is characterized by the current indoor ambient temperature and the current outdoor ambient temperature, and the current action is characterized by the current compressor operating frequency, current electronic expansion valve opening and current external fan speed; the first acquisition unit is used to acquire The target action parameter under the maximum expected profit, and the operation of the air conditioner is controlled based on the target action parameter, where the target action parameter includes at least the target compressor operating frequency, the target electronic expansion valve opening and the target external fan speed.
  • the current action is characterized by the current compressor operating frequency, current electronic expansion valve opening and current external fan speed; obtain the target action parameters under the maximum expected profit, and control the air conditioner based on the target action parameters Operation, where the target action parameters include at least the target compressor operating frequency, the target electronic expansion valve opening and the target external fan speed, which solves the need for manual setting of the closed-loop automatic control parameters of the air conditioner in the related technology, and the adaptive ability of the air conditioner control is poor
  • the first reward matrix is learned to obtain the maximum expected profit, and the operation of the air conditioner is controlled according to the target action parameters under the maximum expected profit, thereby achieving improved closed-loop automatic control and adaptation of the air conditioner The effect of ability.
  • obtaining the target action parameter under the maximum expected profit includes: calculating the target action parameter according to the following formula:
  • the present disclosure also provides a computer program product, which, when executed on a data processing device, is suitable for executing a program that initializes the following method steps: constructing a first reward matrix according to multiple sets of target air conditioner operating parameters, wherein each set of target air conditioners Operating parameters include at least indoor ambient temperature, outdoor ambient temperature, set temperature, indoor evaporator intermediate temperature, outdoor condenser intermediate temperature, compressor operating frequency, electronic expansion valve opening and external fan speed; based on the first reward matrix and Q -Learning algorithm to calculate the maximum expected benefit of performing the current action in the current state, where the current state is characterized by the current indoor ambient temperature and the current outdoor ambient temperature, and the current action is determined by the current compressor operating frequency, current electronic expansion valve opening and current Characterization of the speed of the external fan; obtain the target action parameters under the maximum expected profit, and control the operation of the air conditioner based on the target action parameters, where the target action parameters include at least the target compressor operating frequency, the target electronic expansion valve opening and the target external fan speed.
  • Reward represents the reward value
  • f( ⁇ , ⁇ ) represents the reward function
  • ⁇ T indoor represents the difference between the current indoor temperature and the set temperature
  • ⁇ T outdoor represents the difference between the outdoor temperature and the outdoor temperature under the target working condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

一种空调的控制方法和装置。该方法包括：根据多组目标空调运行参数构建第一奖励矩阵；基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。解决了相关技术中空调的闭环自动控制参数需要人工设定，空调控制的自适应能力差的问题。

Description

空调的控制方法和装置
相关申请
本公开要求2019年04月01日申请的，申请号为201910258756.9，名称为“空调的控制方法和装置”的中国专利申请的优先权，在此将其全文引入作为参考。
技术领域
本公开涉及空调控制技术领域，具体而言，涉及一种空调的控制方法和装置。
背景技术
对空调系统的运行控制进行优化，不仅能提升资源的利用率，而且也会提升室内温度实时调控的性能，提升用户居家生活的舒适感，目前采用闭环自动控制策略(PID)控制空调的运行，传统的PID空调控制策略，其PID参数依据个人经验确定、在空调运行的过程中缺乏自适应调节能力、无法满足不同工况的控制要求，且能耗较高，控制精度不高，用户体验较差，如何实现对空调进行节能、高效的控制，提高泛化能力和用户体验，发明人所了解的技术中还没有相应的方法。
针对相关技术中空调的闭环自动控制参数需要人工设定，空调控制的自适应能力差的问题，目前尚未提出有效的解决方案。
发明内容
本公开提供一种空调的控制方法和装置，以解决相关技术中空调的闭环自动控制参数需要人工设定，空调控制的自适应能力差的问题。
根据本公开的一个方面，提供了一种空调的控制方法。该方法包括：根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
在一个实施例中，在根据多组目标空调运行参数构建第一奖励矩阵之前，该方法还包 括：采集实际工况下的多个时刻下的空调运行参数，其中，采集到的每个时刻下的空调运行参数至少包括以下之一：室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数，其中，约束网络模型的输入至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度，约束网络模型的输出至少包括压缩机运行频率、电子膨胀阀开度以及外风机转速。
在一个实施例中，在基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数之前，该方法还包括：基于多组标准空调运行参数构建第二奖励矩阵，其中，多组标准空调运行参数为满足预设条件的空调运行参数；在第二奖励矩阵中获取训练集数据和验证集数据；基于训练集数据训练径向基函数神经网络模型，其中，径向基函数神经网络模型包含输入层、隐含层和输出层，以目标损失函数调节径向基函数神经网络模型的隐含层的神经元的数量；基于验证集数据对径向基函数神经网络模型的准确率进行验证；在径向基函数神经网络模型的准确率大于预设值的情况下，将径向基函数神经网络模型作为约束网络模型。
在一个实施例中，在基于多组标准空调运行参数构建第二奖励矩阵之前，该方法还包括：采集实验条件下的多组实验空调运行参数，其中，每组实验空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；按下式计算每组实验空调运行数据的奖励值：
Re ward＝f(ΔT 室内,ΔT 室外)
其中，Re ward表示奖励值，f(·,·)表示奖励函数，ΔT 室内表示当室内温度与设定温度的差值，ΔT 室外表示室外温度与目标工况下的室外温度的差值；将奖励值满足预设奖励值范围的整组实验空调运行参数作为一组标准空调运行参数。
在一个实施例中，基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益包括：根据下式计算最大期望收益：
Q(s,a)＝R(s,a)+Θ*max{Q(s next,a next)}
其中，s表示当前状态，a表示当前动作，s next表示下一状态，a next表示下一动作，R(s,a)表示第一奖励矩阵，Q(s next,a next)表示在状态s next下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益，Θ表示贪婪因子。
在一个实施例中，获取最大期望收益下的目标动作参数包括：根据下式计算目标动作参数：
Q(s,a)＝max{Q(s,a next)}
其中，s表示当前状态，a next表示下一动作，Q(s,a next)表示在状态s下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益；将Q(s,a)下得到的a next对应的压缩机运行频率、电子膨胀阀开度和外风机转速作为目标动作参数。
在一个实施例中，在基于目标动作参数控制空调的运行之后，该方法还包括：基于反馈数据修改第一奖励矩阵中的参数，其中，反馈数据为对空调的运行情况的反馈数据；基于修改后的第一奖励矩阵对约束网络模型进行更新。
根据本公开的另一方面，提供了一种空调的控制装置。该装置包括：第一构建单元，用于根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；第一计算单元，用于基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；第一获取单元，用于获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
为了实现上述目的，根据本公开的另一方面，提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述任意一种空调的控制方法。
为了实现上述目的，根据本公开的另一方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一种空调的控制方法。
通过本公开，采用以下步骤：根据多组目标空调运行参数构建第一奖励矩阵，其中， 每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速，解决了相关技术中空调的闭环自动控制参数需要人工设定，空调控制的自适应能力差的问题。通过根据目标空调运行参数构建第一奖励矩阵，对第一奖励矩阵进行学习得到最大期望收益，并根据最大期望收益下的目标动作参数控制空调的运行，进而达到了提高空调的闭环自动控制自适应能力的效果。
附图说明
构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是根据本公开实施例提供的空调的控制方法的流程图；
图2是根据本公开实施例提供的另一种空调的控制方法的流程图；以及
图3是根据本公开实施例提供的空调的控制装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元 的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本公开的实施例，提供了一种空调的控制方法。
图1是根据本公开实施例的空调的控制方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101，根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速。
需要说明的是，第一奖励矩阵为优化空调控制运行的数据基础，具体的，以组别为矩阵的行，以各个组别下的目标空调运行参数为列，构建第一奖励矩阵。
可选地，在本公开实施例提供的空调的控制方法中，在根据多组目标空调运行参数构建第一奖励矩阵之前，该方法还包括：采集实际工况下的多个时刻下的空调运行参数，其中，采集到的每个时刻下的空调运行参数至少包括以下之一：室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数，其中，约束网络模型的输入至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度，约束网络模型的输出至少包括压缩机运行频率、电子膨胀阀开度以及外风机转速。
需要说明的是，在实际工况中采集数据时，由于构建第一奖励矩阵的每组目标空调运行参数存在没有全部检测到的情况，采用训练好的约束网络模型CE(f，v，d)对缺省的参数进行预测，从而得到一组完整的数据，例如，在目标时刻检测到室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度，但由于检测环境的限制，未能检测到该时刻下的压缩机运行频率、电子膨胀阀开度以及外风机转速，则将检测到的室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度输入约束网络模型CE(f，v，d)，通过约束网络模型CE(f，v，d)对参数进行训练，输出相应的压缩机运行频率、电子膨胀阀开度以及外风机转速，从而实现对目标时刻下未检测到的缺省参数的填充。
可选地，在本公开实施例提供的空调的控制方法中，在基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数之前，该方法还包括：基于多组标准空调运行参数构建第二奖励矩阵，其中，多组标准空调运行参数为满足预设条件的空调运行参数；在第二奖励矩阵中获取训练集数据和验证集数据；基于 训练集数据训练径向基函数神经网络模型，其中，径向基函数神经网络模型包含输入层、隐含层和输出层，以目标损失函数调节径向基函数神经网络模型的隐含层的神经元的数量；基于验证集数据对径向基函数神经网络模型的准确率进行验证；在径向基函数神经网络模型的准确率大于预设值的情况下，将径向基函数神经网络模型作为约束网络模型。
需要说明的是，由于需要采用约束网络模型对实际工况下的未检测到的缺省参数进行填充，为了保证数据预测的准确性，需要建立合适的约束网络模型，具体地，在试验条件下，基于多组标准空调运行参数构建第二奖励矩阵，首先对第二奖励矩阵中元素所对应的空调运行数据进行训练集和验证集的划分，之后初始化径向基神经网络模型，以训练集数据训练径向基神经网络模型，训练过程中以“均方根差值”作为损失函数，即当损失函数达到目标值时模型训练结束，从而确保训练的有效性。在训练结束后，基于验证集对训练好的模型进行验证，具体的，在模型中输入一组训练集数据中的部分数据，预测出剩余的数据，将预测出的数据和真实数据作对比，以验证模型的准确性，具体地，若预设值为90％，若模型准确率达到90％以上，则定义该模型为标准舒适节能约束网络模型，若准确率不足，则重新采集数据进行网络训练直至准确率达到90％。
可选地，在本公开实施例提供的空调的控制方法中，在基于多组标准空调运行参数构建第二奖励矩阵之前，该方法还包括：采集实验条件下的多组实验空调运行参数，其中，每组实验空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；按下式计算每组实验空调运行数据的奖励值：
Re ward＝f(ΔT 室内,ΔT 室外)
其中，Re ward表示奖励值，f(·,·)表示奖励函数，ΔT 室内表示当室内温度与设定
温度的差值，ΔT 室外表示室外温度与目标工况下的室外温度的差值；将奖励值满足预设
奖励值范围的整组实验空调运行参数作为一组标准空调运行参数。
具体地，采集实验条件下的多组实验空调运行参数，计算该组实验空调运行数据的奖励值，不同型号空调具有不同的预设奖励值范围，若预设奖励值为1，若计算出的奖励值为0，不满足预设条件，则剔除该组实验空调运行数据，若计算出的奖励值为1，满足预设条件，则将该组数据作为一组标准空调运行参数，判断该组参数属于哪个工况，具体地，根据室内环境温度、室外环境温度进行不同工况下的数据划分，如表1所示：
Figure PCTCN2019125505-appb-000001
例如，将室内环境温度T1满足T1＜16，室外环境温度外环T2满足41＜T2≤44的工况确定为第一工况，若该组标准空调运行参数中室内环境温度满足T1＜16，室外环境温度外环满足41＜T2≤44，将该组标准空调运行参数填入第一工况对应的空格中，也即，将满足Reward函数且能够稳定运行一定时间的数据放入奖励矩阵，实现蒙特卡洛思想与以专家经验为基础的Reward函数相结合，以在每个工况下构建第二奖励矩阵。
步骤S102，基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征。
可选地，在本公开实施例提供的空调的控制方法中，基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益包括：根据下式计算最大期望收益：
Q(s,a)＝R(s,a)+Θ*max{Q(s next,a next)}
其中，s表示当前状态，a表示当前动作，s next表示下一状态，a next表示下一动作，R(s,a)表示第一奖励矩阵，Q(s next,a next)表示在状态s next下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益，Θ表示贪婪因子。
需要说明的是，以上即为利用获取的第一奖励矩阵RCE`及上述公式进行Q表的学习的过程，其中，Q与R同阶，s表示当前状态，至少由当前室内环境温度、当前室外 环境温度表征，a表示当前动作，由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征，s next表示下一个可能状态，a next表示下一个可能动作，Θ为贪婪因子一般设置为0.8。
步骤S103，获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
可选地，在本公开实施例提供的空调的控制方法中，获取最大期望收益下的目标动作参数包括：根据下式计算目标动作参数：
Q(s,a)＝max{Q(s,a next)}
其中，s表示当前状态，a next表示下一动作，Q(s,a next)表示在状态s下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益；将Q(s,a)下得到的a next对应的压缩机运行频率、电子膨胀阀开度和外风机转速作为目标动作参数。
需要说明的是，确定最大期望下的可能的动作，获取该动作下的压缩机运行频率、电子膨胀阀开度和外风机转速，并基于获取的参数优化空调的运行，即实现了提高空调的闭环自动控制自适应能力的效果。
可选地，在本公开实施例提供的空调的控制方法中，在基于目标动作参数控制空调的运行之后，该方法还包括：基于反馈数据修改第一奖励矩阵中的参数，其中，反馈数据为对空调的运行情况的反馈数据；基于修改后的第一奖励矩阵对约束网络模型进行更新。
需要说明的是，以实际用户的反馈验证上一步中空调运行控制策略的优劣性，具体地，以用户反馈数据对第二奖励矩阵进行修改，并以修改后的实际奖励矩阵所对应的数据集对约束网络模型CE(f，v，d)更新，使其与当下运行环境更加契合，满足用户需求。
本公开实施例提供的空调的控制方法，通过根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；获取最大期望收益下的 目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速，解决了相关技术中空调的闭环自动控制参数需要人工设定，空调控制的自适应能力差的问题。通过根据目标空调运行参数构建第一奖励矩阵，对第一奖励矩阵进行学习得到最大期望收益，并根据最大期望收益下的目标动作参数控制空调的运行，进而达到了提高空调的闭环自动控制自适应能力的效果。
图2是根据本公开实施例的空调的控制方法的流程图。如图2所示，该方法包括以下步骤：
根据多组实验空调运行参数和Reward函数构建初始奖励矩阵，其中，初始奖励矩阵中的参数为满足Reward函数预设范围值的实验空调运行参数，基于初始奖励矩阵中的训练集数据训练RBF神经网络模型，以构建约束网络模型，基于初始奖励矩阵中的验证集数据验证训练后的模型是否满足准确性要求，在满足准确性要求的情况下，以约束网络模型为基础确定实际奖励矩阵，具体的，根据约束网络模型对实际工况中的运行参数对未检测到的缺省参数进行预测，根据实际运行参数和预测出的运行参数构建实际奖励矩阵，基于实际奖励矩阵和Q-learning算法计算当前状态下执行当前动作的最大期望收益，基于最大期望收益下的目标动作参数控制空调的运行。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本公开实施例还提供了一种空调的控制装置，需要说明的是，本公开实施例的空调的控制装置可以用于执行本公开实施例所提供的用于空调的控制方法。以下对本公开实施例提供的空调的控制装置进行介绍。
图3是根据本公开实施例的空调的控制装置的示意图。如图3所示，该装置包括：第一构建单元10、第一计算单元20和第一获取单元30。
具体地，第一构建单元10，用于根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速。
第一计算单元20，用于基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征。
第一获取单元30，用于获取最大期望收益下的目标动作参数，并基于目标动作参数控 制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
可选地，在本公开实施例提供的空调的控制装置中，该装置还包括：第一采集单元，用于在根据多组目标空调运行参数构建第一奖励矩阵之前，采集实际工况下的多个时刻下的空调运行参数，其中，采集到的每个时刻下的空调运行参数至少包括以下之一：室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；填充单元，用于基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数，其中，约束网络模型的输入至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度，约束网络模型的输出至少包括压缩机运行频率、电子膨胀阀开度以及外风机转速。
可选地，在本公开实施例提供的空调的控制装置中，该装置还包括：第二构建单元，用于在基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数之前，基于多组标准空调运行参数构建第二奖励矩阵，其中，多组标准空调运行参数为满足预设条件的空调运行参数；第二获取单元，用于在第二奖励矩阵中获取训练集数据和验证集数据；训练单元，用于基于训练集数据训练径向基函数神经网络模型，其中，径向基函数神经网络模型包含输入层、隐含层和输出层，以目标损失函数调节径向基函数神经网络模型的隐含层的神经元的数量；验证单元，用于基于验证集数据对径向基函数神经网络模型的准确率进行验证；第一确定单元，用于在径向基函数神经网络模型的准确率大于预设值的情况下，将径向基函数神经网络模型作为约束网络模型。
可选地，在本公开实施例提供的空调的控制装置中，该装置还包括：第二采集单元，用于在基于多组标准空调运行参数构建第二奖励矩阵之前，采集实验条件下的多组实验空调运行参数，其中，每组实验空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；第二计算单元，用于按下式计算每组实验空调运行数据的奖励值：
Re ward＝f(ΔT 室内,ΔT 室外)
其中，Re ward表示奖励值，f(·,·)表示奖励函数，ΔT 室内表示当室内温度与设定温度的差值，ΔT 室外表示室外温度与目标工况下的室外温度的差值；第二确定单元，用于将奖励值满足预设奖励值范围的整组实验空调运行参数作为一组标准空调运行参数。
可选地，在本公开实施例提供的空调的控制装置中，第一计算单元20包括：第一计 算模块，用于根据下式计算最大期望收益：
Q(s,a)＝R(s,a)+Θ*max{Q(s next,a next)}
其中，s表示当前状态，a表示当前动作，s next表示下一状态，a next表示下一动作，R(s,a)表示第一奖励矩阵，Q(s next,a next)表示在状态s next下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益，Θ表示贪婪因子。
可选地，在本公开实施例提供的空调的控制装置中，第一获取单元30包括：第二计算模块，用于根据下式计算目标动作参数：
Q(s,a)＝max{Q(s,a next)}
其中，s表示当前状态，a next表示下一动作，Q(s,a next)表示在状态s下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益；确定模块，用于将Q(s,a)下得到的a next对应的压缩机运行频率、电子膨胀阀开度和外风机转速作为目标动作参数。
可选地，在本公开实施例提供的空调的控制装置中，该装置还包括：修改单元，用于在基于目标动作参数控制空调的运行之后，基于反馈数据修改第一奖励矩阵中的参数，其中，反馈数据为对空调的运行情况的反馈数据；更新单元，用于基于修改后的第一奖励矩阵对约束网络模型进行更新。
本公开实施例提供的空调的控制装置，通过第一构建单元10根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；第一计算单元20基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；第一获取单元30获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速，解决了相关技术中空调的闭环自动控制参数需要人工设定，空调控制的自适应能力差的问题，通过根据目标空调运行参数构建第一奖励矩阵，对第一奖励矩阵进行学习得到最大期望收益，并根据最大期望收益下的目标动作参数控制空调的运行，进而达到了提高空调的闭环自动控制自适应能力的效果。
空调的控制装置包括处理器和存储器，上述第一构建单元10、第一计算单元20和第一获取单元30等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中空调的闭环自动控制参数需要人工设定，空调控制的自适应能力差的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现空调的控制方法。
本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行空调的控制方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
在根据多组目标空调运行参数构建第一奖励矩阵之前，该方法还包括：采集实际工况下的多个时刻下的空调运行参数，其中，采集到的每个时刻下的空调运行参数至少包括以下之一：室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数，其中，约束网络模型的输入至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度，约束网络模型的输出至少包括压缩机运行频率、电子膨胀阀开度以及外风机转速。
在基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得 到多组目标空调运行参数之前，该方法还包括：基于多组标准空调运行参数构建第二奖励矩阵，其中，多组标准空调运行参数为满足预设条件的空调运行参数；在第二奖励矩阵中获取训练集数据和验证集数据；基于训练集数据训练径向基函数神经网络模型，其中，径向基函数神经网络模型包含输入层、隐含层和输出层，以目标损失函数调节径向基函数神经网络模型的隐含层的神经元的数量；基于验证集数据对径向基函数神经网络模型的准确率进行验证；在径向基函数神经网络模型的准确率大于预设值的情况下，将径向基函数神经网络模型作为约束网络模型。
在基于多组标准空调运行参数构建第二奖励矩阵之前，该方法还包括：采集实验条件下的多组实验空调运行参数，其中，每组实验空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；按下式计算每组实验空调运行数据的奖励值：
Re ward＝f(ΔT 室内,ΔT 室外)
其中，Re ward表示奖励值，f(·,·)表示奖励函数，ΔT 室内表示当室内温度与设定温度的差值，ΔT 室外表示室外温度与目标工况下的室外温度的差值；将奖励值满足预设奖励值范围的整组实验空调运行参数作为一组标准空调运行参数。
基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益包括：根据下式计算最大期望收益：
Q(s,a)＝R(s,a)+Θ*max{Q(s next,a next)}
其中，s表示当前状态，a表示当前动作，s next表示下一状态，a next表示下一动作，R(s,a)表示第一奖励矩阵，Q(s next,a next)表示在状态s next下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益，Θ表示贪婪因子。
获取最大期望收益下的目标动作参数包括：根据下式计算目标动作参数：
Q(s,a)＝max{Q(s,a next)}
其中，s表示当前状态，a next表示下一动作，Q(s,a next)表示在状态s下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益；将Q(s,a)下得到的a next对应的压缩机运行频率、电子膨胀阀开度和外风机转速作为目标动作参数。
在基于目标动作参数控制空调的运行之后，该方法还包括：基于反馈数据修改第一奖 励矩阵中的参数，其中，反馈数据为对空调的运行情况的反馈数据；基于修改后的第一奖励矩阵对约束网络模型进行更新。本文中的设备可以是服务器、PC、PAD、手机等。
本公开还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：根据多组目标空调运行参数构建第一奖励矩阵，其中，每组目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，当前状态由当前室内环境温度和当前室外环境温度表征，当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；获取最大期望收益下的目标动作参数，并基于目标动作参数控制空调的运行，其中，目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
在根据多组目标空调运行参数构建第一奖励矩阵之前，该方法还包括：采集实际工况下的多个时刻下的空调运行参数，其中，采集到的每个时刻下的空调运行参数至少包括以下之一：室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数，其中，约束网络模型的输入至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度，约束网络模型的输出至少包括压缩机运行频率、电子膨胀阀开度以及外风机转速。
在基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到多组目标空调运行参数之前，该方法还包括：基于多组标准空调运行参数构建第二奖励矩阵，其中，多组标准空调运行参数为满足预设条件的空调运行参数；在第二奖励矩阵中获取训练集数据和验证集数据；基于训练集数据训练径向基函数神经网络模型，其中，径向基函数神经网络模型包含输入层、隐含层和输出层，以目标损失函数调节径向基函数神经网络模型的隐含层的神经元的数量；基于验证集数据对径向基函数神经网络模型的准确率进行验证；在径向基函数神经网络模型的准确率大于预设值的情况下，将径向基函数神经网络模型作为约束网络模型。
在基于多组标准空调运行参数构建第二奖励矩阵之前，该方法还包括：采集实验条件下的多组实验空调运行参数，其中，每组实验空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；按下式计算每组实验空调运行数据的奖励值：
Re ward＝f(ΔT 室内,ΔT 室外)
其中，Re ward表示奖励值，f(·,·)表示奖励函数，ΔT 室内表示当室内温度与设定温度的差值，ΔT 室外表示室外温度与目标工况下的室外温度的差值；将奖励值满足预设奖励值范围的整组实验空调运行参数作为一组标准空调运行参数。
基于第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益包括：根据下式计算最大期望收益：
Q(s,a)＝R(s,a)+Θ*max{Q(s next,a next)}
其中，s表示当前状态，a表示当前动作，s next表示下一状态，a next表示下一动作，R(s,a)表示第一奖励矩阵，Q(s next,a next)表示在状态s next下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益，Θ表示贪婪因子。
获取最大期望收益下的目标动作参数包括：根据下式计算目标动作参数：
Q(s,a)＝max{Q(s,a next)}
其中，s表示当前状态，a next表示下一动作，Q(s,a next)表示在状态s下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益；将Q(s,a)下得到的a next对应的压缩机运行频率、电子膨胀阀开度和外风机转速作为目标动作参数。
在基于目标动作参数控制空调的运行之后，该方法还包括：基于反馈数据修改第一奖励矩阵中的参数，其中，反馈数据为对空调的运行情况的反馈数据；基于修改后的第一奖励矩阵对约束网络模型进行更新。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器 以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因 此，本公开可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本公开的实施例而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。

Claims (10)

  1. 一种空调控制方法，其特征在于，包括：
    根据多组目标空调运行参数构建第一奖励矩阵，其中，每组所述目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；
    基于所述第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，所述当前状态由当前室内环境温度和当前室外环境温度表征，所述当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；
    获取所述最大期望收益下的目标动作参数，并基于所述目标动作参数控制空调的运行，其中，所述目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
  2. 根据权利要求1所述的空调控制方法，其特征在于，在根据多组目标空调运行参数构建第一奖励矩阵之前，所述方法还包括：
    采集实际工况下的多个时刻下的空调运行参数，其中，采集到的每个时刻下的空调运行参数至少包括以下之一：室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；
    基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到所述多组目标空调运行参数，其中，所述约束网络模型的输入至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度，所述约束网络模型的输出至少包括压缩机运行频率、电子膨胀阀开度以及外风机转速。
  3. 根据权利要求2所述的空调控制方法，其特征在于，在基于约束网络模型对采集到的每个时刻下的空调运行参数进行缺省参数的填充，得到所述多组目标空调运行参数之前，所述方法还包括：
    基于多组标准空调运行参数构建第二奖励矩阵，其中，所述多组标准空调运行参数为满足预设条件的空调运行参数；
    在所述第二奖励矩阵中获取训练集数据和验证集数据；
    基于所述训练集数据训练径向基函数神经网络模型，其中，所述径向基函数神经网络模型包含输入层、隐含层和输出层，以目标损失函数调节所述径向基函数神经网络模型的隐含层的神经元的数量；
    基于所述验证集数据对所述径向基函数神经网络模型的准确率进行验证；
    在所述径向基函数神经网络模型的准确率大于预设值的情况下，将所述径向基函数神 经网络模型作为所述约束网络模型。
  4. 根据权利要求3所述的空调控制方法，其特征在于，在基于多组标准空调运行参数构建第二奖励矩阵之前，所述方法还包括：
    采集实验条件下的多组实验空调运行参数，其中，每组所述实验空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；
    按下式计算每组所述实验空调运行数据的奖励值：
    Re ward＝f(ΔT 室内,ΔT 室外)
    其中，Re ward表示奖励值，f(·,·)表示奖励函数，ΔT 室内表示当室内温度与设定温度的差值，ΔT 室外表示室外温度与目标工况下的室外温度的差值；
    将奖励值满足预设奖励值范围的整组实验空调运行参数作为一组标准空调运行参数。
  5. 根据权利要求1所述的空调控制方法，其特征在于，基于所述第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益包括：
    根据下式计算所述最大期望收益：
    Q(s,a)＝R(s,a)+Θ*max{Q(s next,a next)}
    其中，s表示当前状态，a表示当前动作，s next表示下一状态，a next表示下一动作，R(s,a)表示所述第一奖励矩阵，Q(s next,a next)表示在状态s next下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益，Θ表示贪婪因子。
  6. 根据权利要求5所述的空调控制方法，其特征在于，获取所述最大期望收益下的目标动作参数包括：
    根据下式计算所述目标动作参数：
    Q(s,a)＝max{Q(s,a next)}
    其中，s表示当前状态，a next表示下一动作，Q(s,a next)表示在状态s下执行动作a next获得的最大期望收益，Q(s,a)表示在状态s下执行动作a获得的最大期望收益；
    将Q(s,a)下得到的a next对应的压缩机运行频率、电子膨胀阀开度和外风机转速作为目标动作参数。
  7. 根据权利要求2所述的空调控制方法，其特征在于，在基于所述目标动作参数控 制空调的运行之后，所述方法还包括：
    基于反馈数据修改所述第一奖励矩阵中的参数，其中，所述反馈数据为对空调的运行情况的反馈数据；
    基于修改后的第一奖励矩阵对所述约束网络模型进行更新。
  8. 一种空调控制装置，其特征在于，包括：
    第一构建单元，用于根据多组目标空调运行参数构建第一奖励矩阵，其中，每组所述目标空调运行参数至少包括室内环境温度、室外环境温度、设定温度、室内蒸发器中间温度、室外冷凝器中间温度、压缩机运行频率、电子膨胀阀开度以及外风机转速；
    第一计算单元，用于基于所述第一奖励矩阵和Q-learning算法，计算在当前状态下执行当前动作的最大期望收益，其中，所述当前状态由当前室内环境温度和当前室外环境温度表征，所述当前动作由当前压缩机运行频率、当前电子膨胀阀开度和当前外风机转速表征；
    第一获取单元，用于获取所述最大期望收益下的目标动作参数，并基于所述目标动作参数控制空调的运行，其中，所述目标动作参数至少包括目标压缩机运行频率、目标电子膨胀阀开度和目标外风机转速。
  9. 一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至7中任意一项所述的空调控制方法。
  10. 一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的空调控制方法。
PCT/CN2019/125505 2019-04-01 2019-12-16 空调的控制方法和装置 Ceased WO2020199648A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/600,506 US11965666B2 (en) 2019-04-01 2019-12-16 Control method for air conditioner, and device for air conditioner and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910258756.9 2019-04-01
CN201910258756.9A CN111765604B (zh) 2019-04-01 2019-04-01 空调的控制方法和装置

Publications (1)

Publication Number Publication Date
WO2020199648A1 true WO2020199648A1 (zh) 2020-10-08

Family

ID=72664878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/125505 Ceased WO2020199648A1 (zh) 2019-04-01 2019-12-16 空调的控制方法和装置

Country Status (3)

Country Link
US (1) US11965666B2 (zh)
CN (1) CN111765604B (zh)
WO (1) WO2020199648A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330852A (zh) * 2021-12-21 2022-04-12 清华大学 一体化数据中心柜末端空调系统节能优化方法及装置
WO2022111232A1 (zh) * 2020-11-30 2022-06-02 中兴通讯股份有限公司 水冷系统的控制模型优化方法、电子设备和存储介质
CN114714845A (zh) * 2021-01-04 2022-07-08 广州汽车集团股份有限公司 一种汽车空调温度调节方法及系统
CN115097920A (zh) * 2022-07-29 2022-09-23 苏州浪潮智能科技有限公司 一种调节服务器机箱的温度的方法、装置、服务器及介质
CN115451492A (zh) * 2022-09-05 2022-12-09 中国电子工程设计院有限公司 新风机组的控制方法、电子设备及存储介质
CN115493254A (zh) * 2021-06-18 2022-12-20 佛山市顺德区美的电子科技有限公司 空调器控制方法、空调器和可读存储介质
WO2023005312A1 (zh) * 2021-07-29 2023-02-02 青岛海尔空调器有限总公司 空调控制方法、装置、电子设备及存储介质
CN115800909A (zh) * 2022-11-24 2023-03-14 青岛海尔空调器有限总公司 空调器的控制方法、空调器的控制装置及空调器
CN115789911A (zh) * 2022-11-17 2023-03-14 中国联合网络通信集团有限公司 一种空调控制方法、装置、电子设备及存储介质
CN115930372A (zh) * 2023-01-09 2023-04-07 南方电网数字平台科技(广东)有限公司 基于峰谷优化的空调智能调控方法及装置
CN116007147A (zh) * 2023-01-05 2023-04-25 珠海格力节能环保制冷技术研究中心有限公司 空调及其运行频率控制方法、装置、计算机设备和介质
CN116017936A (zh) * 2022-12-06 2023-04-25 北京纪新泰富机电技术股份有限公司 一种空调机房的控制方法及装置、电子设备及存储介质
CN116642248A (zh) * 2023-05-16 2023-08-25 珠海格力电器股份有限公司 空调器的控制方法、控制装置及空调器
CN117529617A (zh) * 2021-06-21 2024-02-06 微软技术许可有限责任公司 生成计算设备的风扇控制信号
CN117518958A (zh) * 2023-12-29 2024-02-06 珠海格力电器股份有限公司 智能窗帘的控制方法、装置、存储介质和智能窗帘系统

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331660B2 (ja) * 2019-11-26 2023-08-23 横河電機株式会社 装置、方法およびプログラム
JP7484382B2 (ja) 2020-04-24 2024-05-16 横河電機株式会社 制御装置、制御方法および制御プログラム
CN114526540B (zh) * 2020-11-23 2024-09-10 广东美的制冷设备有限公司 空调器及其控制方法和计算机可读存储介质
US11897314B2 (en) * 2021-01-20 2024-02-13 Bayerische Motoren Werke Aktiengesellschaft Method, computer program and system for improving a user experience
CN113154649A (zh) * 2021-03-30 2021-07-23 北京金茂绿建科技有限公司 一种环境控制方法及装置
US20220343243A1 (en) * 2021-04-23 2022-10-27 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for resource allocation in ride-hailing platforms
CN113639410A (zh) * 2021-07-09 2021-11-12 青岛海尔空调电子有限公司 热泵系统除霜过程中电子膨胀阀的控制方法及存储介质
CN113865257B (zh) * 2021-10-11 2023-01-20 珠海格力电器股份有限公司 冰箱控制方法、装置、系统及冰箱
CN114110919B (zh) * 2021-12-01 2023-05-09 珠海格力电器股份有限公司 外风机控制方法、装置、计算机可读存储介质和空调器
CN114543273B (zh) * 2022-02-28 2022-12-02 上海交通大学 一种集中空调供冷系统自适应深度学习优化节能控制算法
CN115899947B (zh) * 2022-06-21 2025-02-11 珠海格力电器股份有限公司 一种空调器制冷剂含量的检测方法、设备以及存储介质
CN115425910B (zh) * 2022-09-09 2023-04-21 磐吉奥科技股份有限公司 温度补偿方法、装置、电机控制器和存储介质
CN115614943B (zh) * 2022-09-16 2024-07-26 宁波奥克斯电气股份有限公司 一种新风空调的控制方法、装置及一种新风空调
CN115729093B (zh) * 2022-11-08 2025-09-05 北京市农林科学院智能装备技术研究中心 一种菇房空调控制调节方法及系统
CN115654706B (zh) * 2022-11-14 2024-06-28 珠海格力电器股份有限公司 一种空调的控制方法、装置、空调和存储介质
CN115823729A (zh) * 2022-11-14 2023-03-21 西安交通大学 一种空调自吸式调节装置及控制方法
CN115773579A (zh) * 2022-11-30 2023-03-10 珠海格力电器股份有限公司 热水器的节能控制方法及装置、热水器
CN116164383B (zh) * 2022-12-15 2025-12-05 珠海格力节能环保制冷技术研究中心有限公司 空调器及其冷媒追加方法、存储介质
CN116125787A (zh) * 2022-12-20 2023-05-16 珠海格力电器股份有限公司 设备控制方法、装置、存储介质及电子设备
CN116358114B (zh) * 2023-05-06 2024-08-20 国网浙江省电力有限公司综合服务分公司 一种基于深度强化学习的空调温度控制方法
CN116697543B (zh) * 2023-06-28 2026-01-30 北京建筑大学 风机盘管档位控制方法、装置及空调
CN117346314A (zh) * 2023-09-15 2024-01-05 Tcl空调器(中山)有限公司 空调风管机的控制方法、装置、电子设备及存储介质
CN117073170A (zh) * 2023-09-19 2023-11-17 珠海格力电器股份有限公司 控制方法、装置、设备及存储介质
CN117190434A (zh) * 2023-10-11 2023-12-08 珠海格力节能环保制冷技术研究中心有限公司 一种定频空调系统及其控制方法、装置和存储介质
CN118560223B (zh) * 2024-07-31 2024-10-11 常州腾龙汽车零部件股份有限公司 基于深度学习的新能源汽车热管理系统控制方法
CN121089233A (zh) * 2025-09-29 2025-12-09 浙江大冲能源科技股份有限公司 基于冷凝热节能优化一体化运维的冷凝热优化系统和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932264A (zh) * 2015-06-03 2015-09-23 华南理工大学 基于rbf网络的q学习框架仿人机器人稳定控制方法
CN106322656A (zh) * 2016-08-23 2017-01-11 海信（山东）空调有限公司 一种空调控制方法及服务器和空调系统
CN106487011A (zh) * 2016-11-28 2017-03-08 东南大学 一种基于q学习的户用微电网能量优化方法
CN108482055A (zh) * 2017-12-28 2018-09-04 重庆广播电视大学 一种电动汽车空调系统
WO2018234945A1 (ja) * 2017-06-22 2018-12-27 株式会社半導体エネルギー研究所 レイアウト設計システム及びレイアウト設計方法
CN109193721A (zh) * 2018-09-29 2019-01-11 华南理工大学 一种基于强化学习的电动汽车充放电策略优化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9222711B2 (en) * 2010-03-12 2015-12-29 Mitsubishi Electric Corporation Refrigerating and air-conditioning apparatus
US9618224B2 (en) * 2013-07-26 2017-04-11 Honeywell International Inc. Air quality based ventilation control for HVAC systems
US9651929B2 (en) * 2014-09-29 2017-05-16 International Business Machines Corporation HVAC system control integrated with demand response, on-site energy storage system and on-site energy generation system
US20180100662A1 (en) * 2016-10-11 2018-04-12 Mitsubishi Electric Research Laboratories, Inc. Method for Data-Driven Learning-based Control of HVAC Systems using High-Dimensional Sensory Observations
CN108489016A (zh) * 2018-01-31 2018-09-04 青岛海尔空调电子有限公司 一种空调自适应的控制方法及装置
CN109341010B (zh) * 2018-09-19 2021-04-30 新智能源系统控制有限责任公司 一种电制冷机空调系统用供能一体化的控制方法和装置
CN109341013B (zh) * 2018-09-30 2021-02-26 广东美的制冷设备有限公司 空调器及其控制方法、装置
CN109323425B (zh) * 2018-11-15 2021-05-25 广东美的制冷设备有限公司 空调的控制方法、装置及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932264A (zh) * 2015-06-03 2015-09-23 华南理工大学 基于rbf网络的q学习框架仿人机器人稳定控制方法
CN106322656A (zh) * 2016-08-23 2017-01-11 海信（山东）空调有限公司 一种空调控制方法及服务器和空调系统
CN106487011A (zh) * 2016-11-28 2017-03-08 东南大学 一种基于q学习的户用微电网能量优化方法
WO2018234945A1 (ja) * 2017-06-22 2018-12-27 株式会社半導体エネルギー研究所 レイアウト設計システム及びレイアウト設計方法
CN108482055A (zh) * 2017-12-28 2018-09-04 重庆广播电视大学 一种电动汽车空调系统
CN109193721A (zh) * 2018-09-29 2019-01-11 华南理工大学 一种基于强化学习的电动汽车充放电策略优化方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111232A1 (zh) * 2020-11-30 2022-06-02 中兴通讯股份有限公司 水冷系统的控制模型优化方法、电子设备和存储介质
CN114714845A (zh) * 2021-01-04 2022-07-08 广州汽车集团股份有限公司 一种汽车空调温度调节方法及系统
CN114714845B (zh) * 2021-01-04 2024-03-19 广州汽车集团股份有限公司 一种汽车空调温度调节方法及系统
CN115493254A (zh) * 2021-06-18 2022-12-20 佛山市顺德区美的电子科技有限公司 空调器控制方法、空调器和可读存储介质
CN117529617A (zh) * 2021-06-21 2024-02-06 微软技术许可有限责任公司 生成计算设备的风扇控制信号
WO2023005312A1 (zh) * 2021-07-29 2023-02-02 青岛海尔空调器有限总公司 空调控制方法、装置、电子设备及存储介质
CN114330852B (zh) * 2021-12-21 2022-09-23 清华大学 一体化数据中心柜末端空调系统节能优化方法及装置
CN114330852A (zh) * 2021-12-21 2022-04-12 清华大学 一体化数据中心柜末端空调系统节能优化方法及装置
CN115097920B (zh) * 2022-07-29 2023-08-08 苏州浪潮智能科技有限公司 一种调节服务器机箱的温度的方法、装置、服务器及介质
CN115097920A (zh) * 2022-07-29 2022-09-23 苏州浪潮智能科技有限公司 一种调节服务器机箱的温度的方法、装置、服务器及介质
CN115451492A (zh) * 2022-09-05 2022-12-09 中国电子工程设计院有限公司 新风机组的控制方法、电子设备及存储介质
CN115789911A (zh) * 2022-11-17 2023-03-14 中国联合网络通信集团有限公司 一种空调控制方法、装置、电子设备及存储介质
CN115789911B (zh) * 2022-11-17 2024-05-03 中国联合网络通信集团有限公司 一种空调控制方法、装置、电子设备及存储介质
CN115800909A (zh) * 2022-11-24 2023-03-14 青岛海尔空调器有限总公司 空调器的控制方法、空调器的控制装置及空调器
CN116017936A (zh) * 2022-12-06 2023-04-25 北京纪新泰富机电技术股份有限公司 一种空调机房的控制方法及装置、电子设备及存储介质
CN116007147A (zh) * 2023-01-05 2023-04-25 珠海格力节能环保制冷技术研究中心有限公司 空调及其运行频率控制方法、装置、计算机设备和介质
CN115930372A (zh) * 2023-01-09 2023-04-07 南方电网数字平台科技(广东)有限公司 基于峰谷优化的空调智能调控方法及装置
CN116642248A (zh) * 2023-05-16 2023-08-25 珠海格力电器股份有限公司 空调器的控制方法、控制装置及空调器
CN117518958A (zh) * 2023-12-29 2024-02-06 珠海格力电器股份有限公司 智能窗帘的控制方法、装置、存储介质和智能窗帘系统
CN117518958B (zh) * 2023-12-29 2024-04-16 珠海格力电器股份有限公司 智能窗帘的控制方法、装置、存储介质和智能窗帘系统

Also Published As

Publication number Publication date
US11965666B2 (en) 2024-04-23
CN111765604A (zh) 2020-10-13
US20220205666A1 (en) 2022-06-30
CN111765604B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
WO2020199648A1 (zh) 空调的控制方法和装置
US9429921B2 (en) Method and system for energy control management
WO2021063033A1 (zh) 空调能耗模型训练方法与空调系统控制方法
Wang et al. A machine learning-based control strategy for improved performance of HVAC systems in providing large capacity of frequency regulation service
WO2023040694A1 (zh) 制冷机房能效计算方法、装置和电子设备
CN105091209B (zh) 一种基于空调负荷预测的控制系统及方法
WO2021082478A1 (zh) 空调系统能耗预测方法及装置
CN108844190B (zh) 空调自学习最优控制系统
CN115585538B (zh) 室内温度的调节方法、装置、电子设备及存储介质
CN114543274A (zh) 一种建筑中央空调温湿度优化控制方法及系统
CN112902392A (zh) 自适应调整的空调控制方法、电子设备及存储介质
CN110928341B (zh) 温度控制方法、装置、设备及存储介质
CN110542178B (zh) 具有自学习能力的空调冷冻机房控制方法及系统
WO2021082511A1 (zh) 模型训练方法、控制参数确定方法及装置
CN110779185A (zh) 运行控制方法、装置、空调器以及存储介质
CN114065994A (zh) 空调系统能耗优化方法、装置、设备及计算机存储介质
CN116839173A (zh) 一种能耗优化方法、装置、存储介质和电子设备
Yan et al. Load reduction by a demand response enhanced chilled water distributor for centralized air-conditioning systems in commercial building
CN116928850B (zh) 空调的控制方法、控制装置和空调器
CN117824114A (zh) 一种冷水机组最优控制方法、装置、终端及介质
CN114755919A (zh) 空调机房控制方法及装置、设备及存储介质
CN115877714B (zh) 一种制冷系统控制方法、装置、电子设备及存储介质
CN119687715A (zh) 冷却塔水温的控制方法、装置、电子设备和存储介质
CN111486573A (zh) 一种中央空调集群调控方法、系统以及设备
CN117375005A (zh) 面向需求响应的空调负荷控制及外特性生成方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19922721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19922721

Country of ref document: EP

Kind code of ref document: A1