WO2025041240A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2025041240A1
WO2025041240A1 PCT/JP2023/030055 JP2023030055W WO2025041240A1 WO 2025041240 A1 WO2025041240 A1 WO 2025041240A1 JP 2023030055 W JP2023030055 W JP 2023030055W WO 2025041240 A1 WO2025041240 A1 WO 2025041240A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
transfer
model
models
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/030055
Other languages
English (en)
French (fr)
Inventor
崇洋 秦
翠 児玉
正人 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/030055 priority Critical patent/WO2025041240A1/ja
Priority to JP2025541196A priority patent/JPWO2025041240A1/ja
Publication of WO2025041240A1 publication Critical patent/WO2025041240A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Definitions

  • the disclosed technology relates to a control device, a control method, and a program.
  • Reinforcement learning is a technology that makes it possible to select optimal control (policy).
  • Patent Document 1 there is a technology that optimizes behavior for controlling air conditioning in a target space (see Patent Document 1). With this technology, the environment of the space to be controlled is reproduced, and reinforcement learning is used in behavior exploration to optimize the behavior. As noted in Patent Document 1, reinforcement learning is known to be effective in optimizing the control of air conditioning equipment and the like.
  • the disclosed technology has been developed in consideration of the above points, and aims to provide a control device, control method, and program that can reduce the computational costs associated with learning using transfer learning.
  • a first aspect of the present disclosure is a control device, comprising: a transfer learning unit that performs transfer learning in a predetermined manner to obtain multiple models using information on one or more source models that are models used for predetermined control and that have been previously trained at the source, in transfer learning using reinforcement learning, and creates multiple models; and a transfer model selection unit that selects a transfer model to be output to the destination from among the multiple models created, based on at least one index of the reward, loss function, and learning step.
  • the second aspect of the present disclosure is a control method, in which a computer executes a process of performing transfer learning using reinforcement learning, using information on one or more source models that are used for a predetermined control and that have been previously trained at the source, performing transfer learning in a predetermined manner to obtain multiple models, creating multiple models, and selecting a transfer model to be output to the destination from among the multiple models created based on at least one index of the reward, loss function, and learning step.
  • the disclosed technology uses transfer learning to reduce the computational costs associated with learning.
  • FIG. 1 is a schematic diagram showing an example of a system for calculating a scenario by optimal control using reinforcement learning.
  • FIG. 2 is a block diagram showing the configuration of the control system.
  • FIG. 3 is a block diagram showing the hardware configuration of the control device.
  • FIG. 4 is a diagram for explaining the relationship between the control device and the system to be controlled.
  • FIG. 5 is a diagram showing an aspect of a system to be controlled.
  • FIG. 6 is a flowchart showing the flow of the control process.
  • FIG. 7 is a schematic diagram showing an image of the method of this embodiment.
  • FIG. 1 is a schematic diagram showing an example of a system that performs scenario calculation by optimal control using reinforcement learning.
  • processing is performed in an environment reproduction unit and a scenario calculation unit, and a model used in the scenario calculation unit is learned using reinforcement learning.
  • environment reproduction unit people flow data is input and an environment is reproduced using an environment reproduction simulator.
  • the people flow data may be, for example, a people flow vector predicted using a prediction model from past people flow data.
  • the scenario calculation unit Since energy saving information and comfort information (temperature, humidity, and the amount of movement of people flow, etc.) can be obtained from the reproduced environment, these various information obtained from the reproduced environment are output to the scenario calculation unit and used as reward information.
  • a model using DNN Deep Neural Network
  • a scenario that optimizes behavior control is calculated using the model.
  • the temperature for each time period for each of multiple cold air outlets can be calculated as an air conditioning system for a building. Examples include “cold air outlet 1, time zone 9:00, temperature 22.5°C/time zone 9:30, temperature 22.0°C --, "cold air outlet 2, time zone 9:00, temperature 24.1°C/time zone 9:30, temperature 24.5°C!, etc.
  • the above example can refer to the method of action calculation by an optimal control device in Patent Document 1.
  • the method in Patent Document 1 it is possible to acquire environmental data of the real space, reproduce the environment of the target space, obtain a model that calculates optimal control measures based on the reproduced environment through machine learning (reinforcement learning), and select optimal actions.
  • machine learning reinforcementment learning
  • optimal actions when applied to an actual building, learning and inference must be performed with a calculation cost lower than the energy that can be reduced by the above method, and depending on the measured data and environment, this condition may not be met.
  • a method of transfer learning in which a base model is selected from a model learned in a finite time. For example, a model is learned for each of multiple floors in the same building, and a model learned on one floor is transferred to multiple floors.
  • reinforcement learning of an air conditioning control agent is used as an example of reinforcement learning, but this embodiment can apply the transfer model (control model) method using transfer learning using reinforcement learning to the control of various facilities and equipment in environments that can be reproduced by an environmental reproduction model, not limited to air conditioning equipment.
  • Transfer learning using reinforcement learning refers to bringing a model into an environment other than the original environment (an environmental simulator in this embodiment) to speed up learning and improve accuracy.
  • a method of deep reinforcement learning is used among the reinforcement learning methods, and hereinafter, even when simply referring to reinforcement learning, deep reinforcement learning is used.
  • the trained model at the transfer source is selected as follows: (1) for a reward function in which the reward is regarded as a function of the learning step, the center of the maximum peak in multiple ranges in which the moving average curve of the reward function is upwardly convex (projecting), (2) the center of the minimum peak in multiple ranges in which the moving average curve of the loss function is downwardly convex, and (3) the final model in a limited learning period.
  • models (1), (2), and (3) are given as initial values, and (a) all-layer learning or (b) learning of only the output layer is performed as the learning means.
  • the trained model and learning means at the transfer source are selected based on the criteria that the moving average curve of the reward function is larger and the moving average of the loss value is smaller.
  • an environmental simulation is performed as necessary, and if none of the models meets the building criteria, additional learning is performed to advance the agent's learning.
  • FIG. 2 is a block diagram showing the configuration of the control system.
  • the control system 100 is connected to a control device 110 and a plurality of systems 102 to be controlled.
  • the systems 102 are the systems to be controlled, and become a source system (102A) and a destination system (102B) depending on the processing mode of the control device 110.
  • the relationship between the systems 102 and the control device 110 will be described later.
  • the systems 102 and the control device 110 will be described as separate systems, but the control device 110 may be a device that includes the systems 102.
  • FIG. 3 is a block diagram showing the hardware configuration of the control device 110.
  • the control device 110 has a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, a display unit 16, and a communication interface (I/F) 17.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage 14 an input unit
  • I/F communication interface
  • the CPU 11 is a central processing unit that executes various programs and controls each part. That is, the CPU 11 reads the programs from the ROM 12 or storage 14, and executes the programs using the RAM 13 as a working area. The CPU 11 controls each of the above components and performs various calculation processes according to the programs stored in the ROM 12 or storage 14. In this embodiment, the control programs are stored in the ROM 12 or storage 14.
  • ROM 12 stores various programs and data.
  • RAM 13 temporarily stores programs or data as a working area.
  • Storage 14 is composed of a storage device such as an HDD (Hard Disk Drive) or SSD (Solid State Drive), and stores various programs including an operating system, and various data.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used to perform various inputs.
  • the display unit 16 is, for example, a liquid crystal display, and displays various information.
  • the display unit 16 may also function as the input unit 15 by adopting a touch panel system.
  • the communication interface 17 is an interface for communicating with other devices such as terminals.
  • a wired communication standard such as Ethernet (registered trademark) or FDDI
  • a wireless communication standard such as 4G, 5G, or Wi-Fi (registered trademark) is used.
  • Each functional configuration of the control device 110 is realized by the CPU 11 reading out a control program stored in the ROM 12 or storage 14, expanding it in the RAM 13, and executing it.
  • control device 110 includes a memory unit 112, a learning model selection unit 120, a transfer learning unit 122, and a transfer model selection unit 124. Each unit of the control device 110 will be described below with reference to its relationship with the system 102.
  • FIG. 4 is a diagram for explaining the relationship between the control device 110 and the system 102 to be controlled.
  • the system from which the transfer model is learned is the transfer source system 102A
  • the system that performs control using the transfer model that has been transferred and learned is the transfer destination system 102B.
  • the transfer source system 102A is a system that corresponds to the representative floor of the facility.
  • the transfer destination system 102B is a system that corresponds to each floor in relation to the representative floor.
  • the system 102 in FIG. 4 is a basic configuration for explaining the parts necessary for model transfer by the processing of the control device 110.
  • the system 102 is explained as an aspect including a control learning unit 1020 and a scenario calculation unit 1022.
  • the control learning unit 1020 of the transfer source system 102A performs reinforcement learning of the air conditioning control agent for a set time.
  • the environmental data and BEMS data in the environmental DB are used for the reinforcement learning.
  • the environmental prediction result is output to the control learning unit 1020.
  • the control model is stored in the control model DB by learning of the control learning unit 1020.
  • the scenario calculation unit 1022 calculates a scenario using the control model in the control model DB.
  • the control model DB is updated with the transfer model by the control device 110.
  • the control model is a model used to control the equipment in the environment, and is a model used to calculate the control scenario in the scenario calculation unit. If no transfer occurs, the control model is learned in the transfer destination system 102B, but if a transfer occurs, the control model is learned instead using a transfer model obtained by transfer learning.
  • the source system 102A is assumed to be performing normal deep reinforcement learning. Therefore, as a prerequisite, deep reinforcement learning is performed in the control learning section of the source system 102A, and the learned control model is stored in the control model DB.
  • the control models stored in the control model DB include (1) a unique control model when learning has converged, and (1) multiple model candidates when learning has not converged. Therefore, (1) if learning has converged, the learned control model is input to the control device 110. (2) If learning has not converged, all models in the middle of learning (model candidates) are input to the control device 110.
  • the learning model selection unit 120 acquires the source control model (including models in the middle of learning), the score of the sum of the rewards and penalties of each of the control models (hereinafter also simply referred to as the score), and the loss value of each of the control models (values output by a loss function) from the control model of the source system 102A as information on the source model (input of a1 in Figure 4). For example, the learning model selection unit 120 selects a model to be used as a learning target for transfer from among the transfer models input from the source system 102A using a predetermined index. Note that the loss values arranged in the order of the learning steps are used as an index for the loss function.
  • the learning model selection unit 120 (1) if the learning has converged, only one control model that has completed learning is input, and the input control model is output as is. Therefore, in this case, the processing of the transfer model selection unit 124 may be omitted. (2) If the learning has not converged, all models in the middle of learning are input together with the reward and loss value, and an arbitrary model is selected and output to the transfer learning unit 122.
  • the indicator of the model selected by the learning model selection unit 120 can be, for example, "the model with the maximum reward (the model with the maximum score),” “the model with the minimum loss value (the value output by the loss function),” and "the model with the most learning steps in the aborted range.” Any number of models may be selected, which is one or more. As described above, when the learning of the transfer source model is aborted midway, the learning model selection unit 120 can select the transfer source model from among the multiple transfer source models in the middle of learning, based on at least one indicator of the reward, loss function, and learning steps.
  • the transfer learning unit 122 takes over the learning of the control model performed by the control learning unit of the transfer destination system 102B.
  • the transfer learning unit 122 acquires in advance environmental data (including BEMS data) from the environmental data DB and an environmental simulator from the transfer destination system 102B and stores them in the storage unit 112.
  • the transfer learning unit 122 uses these to carry out additional learning using the trained model of the transfer source, or a candidate model in the middle of learning, as a base model.
  • the transfer learning unit 122 performs multiple types of reinforcement learning with the weights of the selected source model transferred (copied to the destination model) to create multiple models. Examples of multiple transfer methods are given below. For example, there is a method (first method) in which "the weights of the source model are set as initial values, all weights are updated, and reinforcement learning is performed.” In addition, for example, reinforcement learning is performed using a method (second method) in which "the weights of the source model are frozen, and the transferred weights are not updated.” All of these methods are applied to each of the one or more selected source models.
  • first method the weights of the source model are set as initial values, all weights are updated, and reinforcement learning is performed.
  • reinforcement learning is performed using a method (second method) in which "the weights of the source model are frozen, and the transferred weights are not updated.” All of these methods are applied to each of the one or more selected source models.
  • the number of models (transfer model candidates) created is "the number of models selected (by the learning model selection unit 120) x the number of methods applied (by the transfer learning unit 122)."
  • the transfer learning unit 122 applies the first method and the second method to the source model to create multiple models.
  • the transfer model selection unit 124 selects a transfer model based on the reward and loss value of the transfer model created by the transfer learning unit 122. For example, it selects one "model with the maximum reward in transfer learning”. It may also select one "model with the minimum loss value in transfer learning”. It may also select one "model with the most learning steps in transfer learning”. In other words, the transfer model selection unit 124 selects a transfer model based on any one of the indicators of reward, loss function, and learning steps, and outputs it to the transfer destination system 102B. In the transfer destination system 102B, the output transfer model is updated as the control model in the control model DB.
  • FIG. 6 is a flowchart showing the flow of the control process.
  • the CPU 11 reads out a control program from the ROM 12 or storage 14, expands it in the RAM 13, and executes it, thereby performing the control process.
  • the process is performed via the system 102 (102A, 102B).
  • step S100 the source system 102A (control learning unit 1020) performs reinforcement learning of the air-conditioning control agent for a set period of time, for example, and stores the learned control model in the control DB.
  • the control learning unit 1020 performs reinforcement learning of the air-conditioning control agent using the source environmental simulator for a limited period of time, such as four hours.
  • the score of the sum of the rewards and penalties acquired is stored together with the learning step.
  • step S102 the source system 102A outputs one or more source models stored in the control DB and information about the source models to the control device 110.
  • step S104 the CPU 11, as the learning model selection unit 120, selects a model to be used as the transfer learning target from among the input transfer models using a predetermined index.
  • a model to be used as the transfer learning target is given below.
  • the scores of each learning step of the reinforcement learning performed in the control learning unit 1020 are tallied, and the learning steps are regarded as the time axis to calculate a moving average of the scores, for example, every 1000 learning steps.
  • the model closest to the maximum step around the maximum value of the calculated moving average of the scores is selected as a candidate for the air conditioning control agent.
  • the model of the last learning step within the limited time is also selected as a candidate for the air conditioning control agent. Note that a loss value may be used instead of a reward for the score.
  • step S106 the CPU 11, as the transfer learning unit 122, performs multiple types of reinforcement learning with the weights of the source model transferred, to create multiple models.
  • the reinforcement learning in this processing step creates, for example, two new air conditioning control agents with the selected source model as the initial value, and performs multiple types of reinforcement learning.
  • the first method freezes everything except the output layer so that no updates are made through learning.
  • the second method does not freeze any layers, and all layers are updated through learning. In this processing, reinforcement learning is performed for each method.
  • step S108 the CPU 11, as the transfer model selection unit 124, selects a transfer model based on the reward and loss values of the multiple models created.
  • the scores of each learning step in which multiple models (transfer model candidates) are learned are tallied, and the learning steps are treated as the time axis to calculate a moving average of the scores, for example, every 1000 learning steps. Then, the model closest to the maximum step around the maximum value of the moving average of the scores is selected as the transfer model.
  • step S110 the CPU 11, functioning as the transfer model selection unit 124, outputs the selected transfer model to the transfer destination model.
  • step S112 the transfer destination system 102B (scenario calculation unit 1022) uses the input transfer model (control model) to calculate a control scenario for the floor corresponding to the system.
  • control system 100 of this embodiment can reduce the computational costs associated with learning by using transfer learning.
  • FIG. 7 is a schematic diagram showing an image of the method of this embodiment.
  • the best models are selected from among models that have stopped learning in a limited time in any one or a small number of spaces. For example, it is expected that there will be multiple spaces (floors) with similar environments in an office building. Taking into account divisions, there can be 30 or more source systems, such as 30 floors in a 30-story office building. Therefore, when a model is transferred, the learning time can be reduced on the destination floor.
  • the reduction rate be ⁇ , and assume that learning can be done in ⁇ T ⁇ T for the learning time T for one floor. In this case, whereas 30T was required to train 30 floors, it can be done in T + 29 ⁇ T ⁇ 30T. The larger ⁇ is, the greater the reduction, and the lower the average learning cost per floor can be.
  • the index in the learning model selection unit 120 is exemplified as the score of the sum of rewards and penalties, but is not limited to this.
  • the following conditions may be used instead of the score as an index, and the maximum or minimum value of the corresponding condition may be used as the selection criterion in the learning model selection unit 120.
  • the following combinations may also be used as indexes.
  • the transfer model selection unit 124 may also use the following conditions and the following combinations as indexes.
  • the control process executed by the CPU after reading the software may be executed by various processors other than the CPU.
  • processors in this case include PLDs (Programmable Logic Devices) whose circuit configuration can be changed after manufacture, such as FPGAs (Field-Programmable Gate Arrays), GPUs (Graphics Processing Units), and dedicated electrical circuits that are processors having a circuit configuration designed specifically to execute specific processes, such as ASICs (Application Specific Integrated Circuits).
  • the control process may be executed by one of these various processors, or by a combination of two or more processors of the same or different types (for example, multiple FPGAs, a combination of a CPU and an FPGA, etc.). More specifically, the hardware structure of these various processors is an electrical circuit that combines circuit elements such as semiconductor devices.
  • the program is pre-stored (installed) in the storage 14, but this is not limiting.
  • the program may be provided in a form stored in a non-transitory storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory.
  • the program may also be downloaded from an external device via a network.
  • Memory at least one processor coupled to the memory; Including, The processor, In transfer learning using reinforcement learning, a plurality of models are created by performing transfer learning using a predetermined method for obtaining a plurality of models using information on one or a plurality of transfer source models that are used for a predetermined control and have been previously learned at the transfer source; Selecting a transfer model to be output to a transfer destination from among the multiple models created based on at least one index of a reward, a loss function, and a learning step;
  • the control device is configured as follows.
  • a non-transitory storage medium storing a program executable by a computer to execute a control process
  • a plurality of models are created by performing transfer learning in a predetermined manner for obtaining a plurality of models using information on one or a plurality of transfer source models which are models used for a predetermined control and have been previously learned at a transfer source; Selecting a transfer model to be output to a transfer destination from among the multiple models created based on at least one index of a reward, a loss function, and a learning step;
  • Non-transitory storage media
  • Control system 102 System 102A Transfer source system 102B Transfer destination system 110 Control device 112 Storage unit 120 Learning model selection unit 122 Transfer learning unit 124 Transfer model selection unit 1020 Control learning unit 1022 Scenario calculation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Feedback Control In General (AREA)

Abstract

制御装置は、強化学習を用いた転移学習において、所定の制御に用いられるモデルであって予め転移元で学習された１又は複数の転移元モデルの情報を用いて、複数のモデルを得るための所定の方法で転移学習を行い、複数のモデルを作成する転移学習部と、報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、作成された複数のモデルの中から、転移先に出力する転移モデルを選択する転移モデル選択部と、を含む。

Description

制御装置、制御方法、及びプログラム
　開示の技術は、制御装置、制御方法、及びプログラムに関する。
　強化学習を用いた制御の最適化に関する技術がある。強化学習は最適な制御（方策）を選択可能とする技術である。
　例えば、対象空間内の空調を制御するための行動を最適化する技術がある（特許文献１参照）。この技術では、制御しようとする空間の環境を再現することで、行動探索において強化学習を用いて行動を最適するように制御を行っている。特許文献１にもあるように、空調機器等の制御を最適化するためには、強化学習が有効であることが知られている。
特許7014299号
　しかしながら、強化学習を用いた方策決定モデルは収束が遅く、学習ステップを進めても必ずしも精度が右肩上がりにはならない、という課題があった。
　開示の技術は、上記の点に鑑みてなされたものであり、転移学習を用いて、学習に係る計算コストを削減可能な制御装置、制御方法、及びプログラムを提供することを目的とする。
　本開示の第１態様は、制御装置であって、強化学習を用いた転移学習において、所定の制御に用いられるモデルであって予め転移元で学習された１又は複数の転移元モデルの情報を用いて、複数のモデルを得るための所定の方法で転移学習を行い、複数のモデルを作成する転移学習部と、報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、作成された複数のモデルの中から、転移先に出力する転移モデルを選択する転移モデル選択部と、を含む。
　本開示の第２態様は、制御方法であって、強化学習を用いた転移学習において、所定の制御に用いられるモデルであって予め転移元で学習された１又は複数の転移元モデルの情報を用いて、複数のモデルを得るための所定の方法で転移学習を行い、複数のモデルを作成し、報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、作成された複数のモデルの中から、転移先に出力する転移モデルを選択する、処理をコンピュータが実行する。
　開示の技術によれば、転移学習を用いて、学習に係る計算コストを削減できる。
図１は、強化学習を用いた最適制御によるシナリオ算出を行うシステムの一例を示す概略図である。 図２は、制御システムの構成を示すブロック図である。 図３は、制御装置のハードウェア構成を示すブロック図である。 図４は、制御装置と制御対象のシステムとの関連性を説明するための図である。 図５は、制御対象のシステムの態様を示す図である。 図６は、制御処理の流れを示すフローチャートである。 図７は、本実施形態の手法のイメージを示す概略図である。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　まず、本開示の前提及び概要について説明する。本開示の前提とするシステムについて例示する。図１は、強化学習を用いた最適制御によるシナリオ算出を行うシステムの一例を示す概略図である。当該システムにおいては環境再現部及びシナリオ算出部で処理を行うが、強化学習を用いてシナリオ算出部で用いるモデルを学習する。環境再現部では、人流データを入力として環境再現シミュレータを用いて環境を再現する。人流データは、例えば、過去の人流データから予測モデルを用いて予測された人流ベクトルとすればよい。再現された環境からは、省エネルギー情報、及び快適性情報（温及び湿度、並びに人流の運動量など）が得られるため、再現された環境から得られたこれらの各種情報をシナリオ算出部に出力し、報酬の情報として利用する。シナリオ算出部では、報酬の情報を用いてＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）によるモデルを学習し、モデルを用いて行動制御を最適化するシナリオを算出する。シナリオとしては、例えば、ビルの空調設備として、複数の冷風吹出口の各々ごとの時間帯別の気温を算出できる。例としては、「冷風吹出口１、時間帯９：００、気温２２．５℃／時間帯９：３０、気温２２．０℃・・・」、「冷風吹出口２、時間帯９：００、気温２４．１℃／時間帯９：３０、気温２４．５℃・・・」等である。
　なお、上記の例は、特許文献１の最適制御装置による行動算出の手法を参照できる。特許文献１の手法を参照することにより、実空間の環境データを取得し、対象空間の環境を再現し、再現された環境に基づいて最適な制御手段を計算するモデルを機械学習（強化学習）により獲得し、最適な行動を選択することが可能となる。しかしながら、実際のビルに適用する場合には、上記の手法により削減可能なエネルギーよりも小さい計算コストによって学習及び推論を実施できなければならず、計測されたデータや環境によっては、その条件を満たさないことがあった。
　以上のような前提において、強化学習によるモデルの学習コストが高いため、学習コストを抑える必要があった。強化学習の課題として、強化学習を用いた方策決定モデルは学習の収束が遅いこと、必ずしも学習ステップを進めれば精度が右肩上がりではないこと、実運用上は限られた時間内で得られた好適なモデルを用いて運用しなければならないこと、が挙げられる。
　そこで、本実施形態では、有限時間で学習したモデルからベースモデルを選択し転移学習する手法を用いる。例えば、同じビルの複数のフロアごとにモデルを学習しているが、１フロアで学習したモデルを複数フロアへ転移させる。なお、以下では、強化学習の態様として、空調制御エージェントの強化学習を例に説明するが、空調設備に限らず、環境再現モデルで再現可能な環境における様々な設備及び機器の制御について、本実施形態で、強化学習を用いた転移学習による転移モデル（制御モデル）の手法を適用できる。なお、強化学習を用いた転移学習というのは、元の環境（本実施形態では環境シミュレータ）とは別の環境へモデルを持ち込んで、学習の高速化及び精度向上を図ることを指す。なお、本実施形態では、強化学習のうち、深層強化学習の手法を用いることとし、以下、単に強化学習という場合も深層強化学習を用いているとする。
　本実施形態への適用を想定する転移学習の手法の一態様を例示する。転移元での学習済モデルは（１）報酬を学習ステップの関数とみなした報酬関数について、その移動平均曲線が上に凸な（突起状な）複数の範囲における最大のピークの中央、（２）損失関数の移動平均曲線が下に凸な複数の範囲における最小ピークの中央、（３）限られた学習期間における終局モデル、を選択する。転移先に向けての学習は、初期値として（１）及び（２）及び（３）のモデルを与え、学習手段として（ａ）全レイヤ学習、又は（ｂ）出力層のみの学習を実施し、（１）～（３）及び（ａ）（ｂ）を組み合わせた最大６通りの転移学習の結果から、報酬関数の移動平均曲線がより大きいこと、ロス値の移動平均が小さいこと、を基準に転移元での学習済モデルと学習手段とを選定する。また必要に応じて環境シミュレーションを実施し、いずれのモデルも建物の基準を満たさなかった場合は学習を追加で実施することによりエージェントの学習を進める。以上の手順で学習することで、時間制限のある中で最良のモデルを選択し、かつ学習途中においても動作可能な好適なモデルの選択が可能となる。本実施形態では、以上のような転移学習の手法を活用することで計算コストの削減を実現する。
　以下、本実施形態の構成について説明する。図２は、制御システムの構成を示すブロック図である。制御システム１００は、制御対象の複数のシステム１０２と、制御装置１１０とが接続されている。システム１０２は、制御対象のシステムであり、制御装置１１０の処理態様において転移元システム（１０２Ａ）、転移先システム（１０２Ｂ）となる。システム１０２及び制御装置１１０の関係性については後述する。なお、システム１０２と、制御装置１１０とを分けたシステムとして説明するが、制御装置１１０はシステム１０２を包含した装置としてもよい。
　図３は、制御装置１１０のハードウェア構成を示すブロック図である。図３に示すように、制御装置１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、制御プログラムが格納されている。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
　表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。
　通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
　次に、制御システム１００における制御装置１１０の各機能構成について説明する。制御装置１１０の各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された制御プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
　図１に示すように、制御装置１１０は、記憶部１１２と、学習モデル選択部１２０と、転移学習部１２２と、転移モデル選択部１２４と、を含んで構成されている。制御装置１１０の各部については、以下、システム１０２との関係を参照しつつ説明する。
　図４は、制御装置１１０と制御対象のシステム１０２との関連性を説明するための図である。システム１０２は、転移モデルの学習元とするシステムを転移元システム１０２Ａとし、転移学習した転移モデルを用いた制御を行うシステムを転移先システム１０２Ｂとする。転移元システム１０２Ａは、施設の代表フロアに対応するシステムである。転移先システム１０２Ｂは、代表フロアに対して各フロアに対応するシステムである。
　なお、図４のシステム１０２は、制御装置１１０の処理によるモデルの転移に必要な部分を説明するための基本構成である。システム１０２は、図５に示すように、制御学習部１０２０及びシナリオ算出部１０２２を含む態様として説明される。転移元システム１０２Ａの制御学習部１０２０では、定められた時間だけ空調制御エージェントの強化学習を行う。強化学習には、環境ＤＢの環境データ及びＢＥＭＳデータが用いられる。制御学習部１０２０から学習途中のモデルを用いて作成した制御シナリオを環境シミュレータに入力すると、環境予測結果が制御学習部１０２０に出力される。制御学習部１０２０の学習により制御モデルが制御モデルＤＢに格納される。シナリオ算出部１０２２は、制御モデルＤＢの制御モデルを用いてシナリオを算出する。ここで、転移先システム１０２Ｂについては、制御装置１１０により転移モデルで制御モデルＤＢが更新される。制御モデルは、環境における設備の制御に用いられるモデルであり、シナリオ算出部で制御シナリオを算出するために用いられるモデルである。なお、転移しない場合は転移先システム１０２Ｂの中で制御モデルを学習するが、転移する場合は転移学習による転移モデルで制御モデルの学習を代替する。
　転移元システム１０２Ａでは、通常の深層強化学習をしている前提となる。よって前提として、転移元システム１０２Ａの制御学習部において深層強化学習を行い、学習された制御モデルが制御モデルＤＢに格納される。制御モデルＤＢに格納される制御モデルは、（１）学習が収束している場合の一意の制御モデル、（１）学習が収束していない場合の複数のモデル候補がある。そのため、（１）学習が収束していれば、学習済の制御モデルを制御装置１１０に入力する。（２）学習が収束していなければ、学習途中のモデル（モデル候補）の全てを制御装置１１０に入力する。
　学習モデル選択部１２０は、転移元システム１０２Ａの制御モデルから、転移元の制御モデル（学習途中のモデルを含む）、当該制御モデルそれぞれの報酬及び罰則の総和のスコア（以下、単にスコアとも記載する）、及び当該制御モデルそれぞれのロス値（損失関数の出力する値）を、転移元モデルの情報として取得する（図４：ａ１の入力）。学習モデル選択部１２０は、例えば、転移元システム１０２Ａから入力された転移モデルの中から、所定の指標を用いて、転移の学習対象にするモデルを選択する。なお、学習ステップの順にロス値を並べたものを損失関数の指標とする。
　学習モデル選択部１２０では、（１）学習が収束している場合は、学習完了済みの制御モデルが１つしか入力されないので、当該入力の制御モデルをそのまま出力する。よって、この場合、転移モデル選択部１２４の処理は省略してもよい。（２）学習が収束していない場合は、学習途中のモデルの全てが、報酬及びロス値と共に全て入力され、任意のモデルを選択し、転移学習部１２２に出力する。学習モデル選択部１２０で選択するモデルの指標は、例えば「報酬が最大の値であるモデル（スコアが最大のモデル）」、例えば「ロス値（損失関数の出力する値）が最小であるモデル」、及び「打ち切った範囲で一番学習ステップが多いモデル」等とすることができる。選択するモデルは１つ以上の任意の数でよい。以上のように、学習モデル選択部１２０は、転移元モデルの学習が途中で打ち切られた場合には、学習途中の複数の転移元モデルの中から、報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、転移元モデルを選択できる。
　転移学習部１２２は、転移先システム１０２Ｂの制御学習部で行う制御モデルの学習を代替する。転移学習部１２２の処理にあたって、転移先システム１０２Ｂからは、予め環境データＤＢの環境データ（ＢＥＭＳデータを含む）及び環境シミュレータを取得し、記憶部１１２に格納しておく。転移学習部１２２は、これらを用いて、転移元の学習済モデル、又は学習途中のモデル候補をベースモデルとして、追加の学習を実施する。
　転移学習部１２２は、選択された転移元モデルの重みを転移（転移先のモデルへ複写すること）した状態で複数種類の強化学習を行い、複数のモデルを作成する。複数の転移の方法の例を挙げる。例えば「転移元モデルの重みを初期値とし、全ての重みを更新して強化学習をする」方法（第１の方法）がある。また、例えば「転移元モデルの重みを凍結し、転移した重みは更新しない」方法（第２の方法）をもって強化学習する。これらの方法を選択した１つ以上の転移元モデルそれぞれに、全て適用する。そのため、「（学習モデル選択部１２０で）選択したモデルの数×（転移学習部１２２で）適用した方法の数」、だけモデル（転移モデル候補）が作成される。以上のように、転移学習部１２２は、第１の方法及び第２の方法をそれぞれ転移元モデルに適用して、複数のモデルを作成する。
　転移モデル選択部１２４では、転移学習部１２２で作成された転移モデルの報酬及びロス値をもとに、転移モデルを選択する。例えば「転移学習における報酬が最大のモデル」を１つ選択する。また、例えば「転移学習におけるロス値が最小のモデル」を１つ選択してもよい。また、例えば「転移学習における学習ステップが最多のモデル」を１つ選択してもよい。すなわち、転移モデル選択部１２４は、報酬、損失関数、及び学習ステップの何れか１つの指標に基づいて転移モデルを選択し、転移先システム１０２Ｂに出力する。転移先システム１０２Ｂでは、出力された転移モデルが、制御モデルＤＢの制御モデルとして更新される。
　次に、制御システム１００の作用について説明する。図６は、制御処理の流れを示すフローチャートである。制御装置１１０では、ＣＰＵ１１がＲＯＭ１２又はストレージ１４から制御プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、制御処理が行なわれる。システム１０２（１０２Ａ、１０２Ｂ）を介して処理が行われる。
　ステップＳ１００において、転移元システム１０２Ａ（制御学習部１０２０）は、例えば、定められた時間だけ空調制御エージェントの強化学習を実施し、学習される制御モデルを制御ＤＢに保存する。ここで、制御学習部１０２０では、例え４時間など限られた時間で転移元の環境シミュレータを用い、空調制御エージェントの強化学習を実施する。強化学習においては獲得した報酬及び罰則の総和のスコアを学習ステップと共に保存する。
　ステップＳ１０２において、転移元システム１０２Ａは、制御ＤＢに保存された１又は複数の転移元モデル及び当該転移元モデルの情報を制御装置１１０に出力する。
　ステップＳ１０４において、ＣＰＵ１１は、学習モデル選択部１２０として、入力された転移モデルの中から、所定の指標を用いて、転移の学習対象にするモデルを選択する。選択態様について例示する。本処理では、例えば、転移元モデルの情報を元に、制御学習部１０２０で行われた強化学習の各学習ステップのスコアを集計し、学習ステップを時間軸とみなしてスコアの移動平均を、例えば１０００学習ステップごとに算出する。そして、算出したスコアの移動平均の最大値の周辺で最大のステップに最も近いモデルを空調制御エージェントの候補として選択する。また、限られた時間内の最後の学習ステップのモデルも空調制御エージェントの候補として選択する。なお、スコアは、報酬に代えてロス値を用いてもよい。
　ステップＳ１０６において、ＣＰＵ１１は、転移学習部１２２として、転移元モデルの重みを転移した状態で複数種類の強化学習を行い、複数のモデルを作成する。本処理ステップの強化学習は、選択した転移元モデルを初期値とした新しい空調制御エージェントを例えば２つ作成して、複数種類の強化学習を実施する。第１の方法は、出力層以外をすべて凍結させて学習による更新を行わないようにする。第２の方法は、全ての層を凍結せず、全ての層を学習によって更新する。本処理では、それぞれの方法で、強化学習をそれぞれ実施する。
　ステップＳ１０８において、ＣＰＵ１１は、転移モデル選択部１２４として、作成された複数のモデルの報酬及びロス値をもとに、転移モデルを選択する。本処理ステップでは、例えば、複数のモデル（転移モデル候補）を学習した各学習ステップのスコアを集計し、学習ステップを時間軸とみなしてスコアの移動平均を、例えば１０００学習ステップごとに算出する。そして、スコアの移動平均の最大値の周辺で最大のステップに最も近いモデルを転移モデルとして選択する。
　ステップＳ１１０において、ＣＰＵ１１は、転移モデル選択部１２４として、選択した転移モデルを転移先モデルに出力する。
　ステップＳ１１２において、転移先システム１０２Ｂ（シナリオ算出部１０２２）は、入力された転移モデル（制御モデル）を用いて、当該システムに対応するフロアにおける制御シナリオを算出する。
　以上説明したように本実施形態の制御システム１００によれば、転移学習を用いて、学習に係る計算コストを削減できる。
　図７は、本実施形態の手法のイメージを示す概略図である。オフィスビルなど環境が類似した空間（フロア）が複数存在する場合において、任意の１～少数の空間で限られた時間で学習を打ち切ったモデルの中から最良のモデルを複数選択する。例えば、オフィスビルなどでは類似した環境の空間（フロア）が複数個あることが想定される。３０階建てのオフィスビルなら３０個のフロアなど、区切りを考慮すれば３０以上の転移元システムが想定される。そのため、モデルを転移させると転移先のフロアでは学習時間が削減できる。
　また、他の空間へ１つ以上の方法で転移させることで、複数の空間の学習を独立に行った場合の総学習時間よりも少ない時間で学習が可能である。転移モデル候補を複数個学習し、その中で最良の転移モデルを空間ごとに選択することで、学習及び推論に必要なトータルの計算コストを削減することができる。転移による学習時間の削減について例示する。削減率をαとし、１フロアの学習時間Ｔに対してαＴ＜Ｔで学習できるとする。この場合、３０フロアの学習に３０Ｔ必要だったところが、Ｔ＋２９αＴ＜３０Ｔで学習できるようになり、このαが大きくなるほど削減量は大きくなり、１フロア平均の学習コストを抑えられる。
　なお、上述した実施形態に限定されるものではなく、種々の変形により実施することができる。例えば、学習モデル選択部１２０における指標は、報酬及び罰則の総和のスコアを例示したがこれに限定されるものではない。例えば、指標をスコアの代わりに以下の各条件を用いて、学習モデル選択部１２０で該当の条件の最大値又は最小値を選択基準としてもよい。また、以下の組み合わせを指標としてもよい。同様に、転移モデル選択部１２４においても、以下の各条件を及び以下の組み合わせを指標としてもよい。
・損失関数の出力するロス値の－１倍（－１倍は最小値を指す）
・外気温と学習ステップの中でシミュレートした室温の相関係数
・天気情報における湿度と学習ステップの中でシミュレートした湿度の相関係数
・学習ステップの中でモデルが選択したアクションの種別の数
・環境シミュレータのＰＭＶ値の絶対値の－１倍
・スコアの移動平均、及び、上記の指標の２つ以上の線形結合による値
　なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した制御処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、制御処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記実施形態では、プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　強化学習を用いた転移学習において、所定の制御に用いられるモデルであって予め転移元で学習された１又は複数の転移元モデルの情報を用いて、複数のモデルを得るための所定の方法で転移学習を行い、複数のモデルを作成し、
　報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、作成された複数のモデルの中から、転移先に出力する転移モデルを選択する、
　ように構成されている制御装置。
　（付記項２）
　制御処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　強化学習を用いた転移学習において、所定の制御に用いられるモデルであって予め転移元で学習された１又は複数の転移元モデルの情報を用いて、複数のモデルを得るための所定の方法で転移学習を行い、複数のモデルを作成し、
　報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、作成された複数のモデルの中から、転移先に出力する転移モデルを選択する、
　非一時的記憶媒体。
１００ 制御システム
１０２ システム
１０２Ａ      転移元システム
１０２Ｂ      転移先システム
１１０ 制御装置
１１２ 記憶部
１２０ 学習モデル選択部
１２２ 転移学習部
１２４ 転移モデル選択部
１０２０      制御学習部
１０２２      シナリオ算出部

Claims (6)

  1. 　強化学習を用いた転移学習において、所定の制御に用いられるモデルであって予め転移元で学習された１又は複数の転移元モデルの情報を用いて、複数のモデルを得るための所定の方法で転移学習を行い、複数のモデルを作成する転移学習部と、
    　報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、作成された複数のモデルの中から、転移先に出力する転移モデルを選択する転移モデル選択部と、
    　を含む制御装置。
  2. 　学習モデル選択部を更に含み、
    　前記学習モデル選択部は、前記転移元モデルの学習が途中で打ち切られた場合には、学習途中の複数の転移元モデルの中から、報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、前記転移学習の対象とする１以上の前記転移元モデルを選択する、請求項１に記載の制御装置。
  3. 　前記学習モデル選択部は、前記報酬に関する前記指標として、前記転移元モデルの情報として、各学習の報酬及び罰則の総和のスコアを集計し、学習ステップを時間軸とみなしてスコアの移動平均を算出する、請求項２に記載の制御装置。
  4. 　前記転移学習部は、前記所定の方法による転移学習において、第１の方法として、前記転移元モデルの重みを初期値とし、全ての重みを更新して強化学習をする方法を用い、第２の方法として、転移元モデルの重みを凍結し、転移した重みは更新しない方法を用い、前記第１の方法及び前記第２の方法をそれぞれ前記転移元モデルに適用して、複数のモデルを作成する、請求項１に記載の制御装置。
  5. 　強化学習を用いた転移学習において、所定の制御に用いられるモデルであって予め転移元で学習された１又は複数の転移元モデルの情報を用いて、複数のモデルを得るための所定の方法で転移学習を行い、複数のモデルを作成し、
    　報酬、損失関数及び学習ステップの少なくとも１つの指標に基づいて、作成された複数のモデルの中から、転移先に出力する転移モデルを選択する、
    　処理をコンピュータが実行する制御方法。
  6. 　コンピュータを請求項１～４の何れか１項に記載の制御装置の各部として機能させるためのプログラム。
PCT/JP2023/030055 2023-08-21 2023-08-21 制御装置、制御方法、及びプログラム Pending WO2025041240A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/030055 WO2025041240A1 (ja) 2023-08-21 2023-08-21 制御装置、制御方法、及びプログラム
JP2025541196A JPWO2025041240A1 (ja) 2023-08-21 2023-08-21

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030055 WO2025041240A1 (ja) 2023-08-21 2023-08-21 制御装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2025041240A1 true WO2025041240A1 (ja) 2025-02-27

Family

ID=94731862

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/030055 Pending WO2025041240A1 (ja) 2023-08-21 2023-08-21 制御装置、制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2025041240A1 (ja)
WO (1) WO2025041240A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089446A (ja) * 2019-03-13 2021-06-10 ダイキン工業株式会社 モデルの選定方法および深層強化学習方法
JP2021117625A (ja) * 2020-01-24 2021-08-10 株式会社奥村組 土の粒度分布の推定方法
WO2021157067A1 (ja) * 2020-02-07 2021-08-12 株式会社日立ハイテク 学習処理装置及び方法
JP2021182329A (ja) * 2020-05-20 2021-11-25 株式会社日立製作所 学習モデル選択方法
JP2022153142A (ja) * 2021-03-29 2022-10-12 ソニーグループ株式会社 情報処理システム、生体試料処理装置及びプログラム
JP2022174740A (ja) * 2021-05-11 2022-11-24 株式会社島津製作所 学習支援システムおよび学習支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089446A (ja) * 2019-03-13 2021-06-10 ダイキン工業株式会社 モデルの選定方法および深層強化学習方法
JP2021117625A (ja) * 2020-01-24 2021-08-10 株式会社奥村組 土の粒度分布の推定方法
WO2021157067A1 (ja) * 2020-02-07 2021-08-12 株式会社日立ハイテク 学習処理装置及び方法
JP2021182329A (ja) * 2020-05-20 2021-11-25 株式会社日立製作所 学習モデル選択方法
JP2022153142A (ja) * 2021-03-29 2022-10-12 ソニーグループ株式会社 情報処理システム、生体試料処理装置及びプログラム
JP2022174740A (ja) * 2021-05-11 2022-11-24 株式会社島津製作所 学習支援システムおよび学習支援方法

Also Published As

Publication number Publication date
JPWO2025041240A1 (ja) 2025-02-27

Similar Documents

Publication Publication Date Title
CN114580688A (zh) 水冷系统的控制模型优化方法、电子设备和存储介质
JP4392604B2 (ja) 空調負荷予測方法
KR20230052450A (ko) 딥 러닝 기반의 반도체 소자의 특성 예측 방법 및 이를 수행하는 컴퓨팅 장치
CN113821903A (zh) 温度控制方法和设备、模块化数据中心及存储介质
JPWO2020065808A1 (ja) 情報処理装置及びシステム、並びに、モデル適応方法及びプログラム
CN111090899A (zh) 一种用于城市建筑空间布局设计方法
KR20190043419A (ko) 조기 중단에 기반한 심층 신경망의 연산 제어 방법 및 시스템
WO2018143019A1 (ja) 情報処理装置、情報処理方法およびプログラム記録媒体
CN118313484B (zh) 一种自动驾驶中基于模型的离线到在线强化学习方法
CN118378094B (zh) 芯片布局模型训练及运用方法、装置、电子设备及存储介质
CN118940624B (zh) 模型训练方法、装置及可读存储介质
JP2021089446A (ja) モデルの選定方法および深層強化学習方法
KR20230027588A (ko) 딥 러닝 모델의 생성 방법 및 이를 수행하는 컴퓨팅 장치 장치
JP2025009891A (ja) デジタルツインを使用してシステムを制御するためのデバイスおよび方法
CN114692348A (zh) 基于多保真深度学习代理模型的组件布局温度场预测方法
CN114676640A (zh) 基于遗传算法和maddpg算法的楼栋排布方法
CN115222310A (zh) 路径规划方法及装置、存储介质、终端
JP7841613B2 (ja) 推定装置、学習装置、推定方法、学習方法、及びプログラム
CN111680838A (zh) 一种空调负荷聚合功率预测方法及系统
CN117444978A (zh) 一种气动软体机器人的位置控制方法及其系统、设备
JP7533595B2 (ja) 予測方法、予測装置、及び予測プログラム
CN116451007A (zh) 用于运行技术系统的设备、系统和计算机实现的方法
KR20250009080A (ko) 메타버스 서비스를 위한 하이브리드 모델을 포함하는 컴퓨팅 부하 예측 시스템 및 그 방법
JP7687520B2 (ja) 強化学習装置、強化学習方法、及び強化学習プログラム
KR20230012869A (ko) 공조 시스템의 하이브리드 모델, 하이브리드 모델 학습 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23949701

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025541196

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025541196

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE