JP7483827B1 - Learning device, learning method, and learning program - Google Patents
Learning device, learning method, and learning program Download PDFInfo
- Publication number
- JP7483827B1 JP7483827B1 JP2022172553A JP2022172553A JP7483827B1 JP 7483827 B1 JP7483827 B1 JP 7483827B1 JP 2022172553 A JP2022172553 A JP 2022172553A JP 2022172553 A JP2022172553 A JP 2022172553A JP 7483827 B1 JP7483827 B1 JP 7483827B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- narrowing
- history
- explanatory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 66
- 238000001914 filtration Methods 0.000 description 37
- 241000196324 Embryophyta Species 0.000 description 28
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
【課題】模倣学習においてJIT法による逐次学習に適する学習データを用い、モデルの精度の向上を図る。
【解決手段】処理装置10は、説明変数と目的変数との組み合わせである第1のデータを収集する収集部132と、第1のデータから、少なくとも、説明変数と指定された説明変数との距離に基づいて第2のデータを取得する取得部133と、第2のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む絞り込み部134と、学習データを用いて、説明変数から目的変数を出力するモデルを更新する更新部135と、を有する。
【選択図】図2
The present invention aims to improve the accuracy of a model by using learning data suitable for sequential learning using the JIT method in imitation learning.
[Solution] The processing device 10 has a collection unit 132 that collects first data which is a combination of explanatory variables and objective variables, an acquisition unit 133 that acquires second data from the first data based on at least the distance between the explanatory variables and a specified explanatory variable, a narrowing down unit 134 that narrows down learning data from the second data based on specified narrowing down conditions, and an update unit 135 that uses the learning data to update a model that outputs the objective variable from the explanatory variables.
[Selected figure] Figure 2
Description
本発明は、学習装置、学習方法及び学習プログラムに関する。 The present invention relates to a learning device, a learning method, and a learning program.
従来、人間の行動を機械学習モデルに学習させ、当該モデルを用いて人間又はロボット等に動作を教示する模倣学習という技術が知られている。 A technique known as imitation learning is known in which a machine learning model learns human behavior and then uses the model to teach actions to humans or robots, etc.
また、観測されたデータを大量に蓄積しておき、蓄積されたデータの中から要求点の近傍のデータを抽出し、当該抽出したデータを用いてモデルの逐次学習を行うJust-In-Time(JIT)法という技術が知られている(例えば、非特許文献1を参照)。 There is also a known technique known as the Just-In-Time (JIT) method, which accumulates a large amount of observed data, extracts data near the desired point from the accumulated data, and sequentially trains a model using the extracted data (see, for example, Non-Patent Document 1).
ここで、例えば化学プラントにおいては、時間の経過に応じて、機器の経年劣化、触媒の劣化、生産ロード計画の変更等の環境の変化が生じる。 Here, for example, in a chemical plant, environmental changes occur over time, such as deterioration of equipment with age, deterioration of catalysts, and changes to production load plans.
これに対し、化学プラントにおけるオペレータによる機器の操作を学習する模倣学習にJIT法を適用して、モデルを環境の変化に適応させることが考えられる。 In response to this, it is possible to apply the JIT method to imitation learning, which learns how operators operate equipment in chemical plants, and adapt the model to changes in the environment.
しかしながら、オペレータの操作履歴には、非定常状態や、経験が浅いオペレータによる運転など、学習に適さない履歴が含まれる。一方、オペレータの操作履歴には、経験が豊富なオペレータによる運転など、積極的にモデルに学習してほしい履歴も含まれる。このようなオペレータの操作履歴全てを一律で学習するとモデルの精度が上がらない場合がある。 However, the operator's operation history includes history that is not suitable for learning, such as unsteady states and driving by inexperienced operators. On the other hand, the operator's operation history also includes history that is actively desired for the model to learn, such as driving by experienced operators. If all such operator operation history is learned uniformly, the accuracy of the model may not improve.
そこで、人が、モデルに、学習して欲しい履歴及び学習して欲しくない履歴を個別に取捨選択すると、選別する人自身の主観が入るため、恣意的な学習になるおそれがある。さらに、この場合、膨大なデータ量の操作履歴を定期的に人手で選別するという煩雑な処理負担が必要となるという問題がある。 If a person were to individually select the history they want the model to learn and the history they do not want the model to learn, there is a risk that the learning will be arbitrary, as the person making the selection will be subjective. Furthermore, in this case, there is the problem that a cumbersome processing burden will be required to manually select huge amounts of data on operation history on a regular basis.
本発明は、上記に鑑みてなされたものであって、模倣学習においてJIT法による逐次学習に適する学習データを用い、モデルの精度の向上を図ることができる学習装置、学習方法及び学習プログラムを提供することを目的とする。 The present invention has been made in consideration of the above, and aims to provide a learning device, a learning method, and a learning program that can improve the accuracy of a model by using learning data suitable for sequential learning using the JIT method in imitation learning.
上述した課題を解決し、目的を達成するために、学習装置は、説明変数と目的変数との組み合わせである第1のデータを収集する収集部と、前記第1のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第2のデータを取得する取得部と、前記第2のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む絞り込み部と、前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新する更新部と、を有することを特徴とする。 To solve the above-mentioned problems and achieve the objective, the learning device is characterized by having a collection unit that collects first data, which is a combination of explanatory variables and objective variables, an acquisition unit that acquires second data from the first data based on at least the distance between the explanatory variables and a specified explanatory variable, a narrowing unit that narrows down learning data from the second data based on a predetermined narrowing condition, and an update unit that uses the learning data to update a model that outputs the objective variable from the explanatory variables.
本発明によれば、模倣学習においてJIT法による逐次学習に適する学習データを用い、モデルの精度の向上を図る。 According to the present invention, learning data suitable for sequential learning using the JIT method is used in imitation learning to improve the accuracy of the model.
以下に、本願に係る学習装置、学習方法及び学習プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。 Below, embodiments of the learning device, learning method, and learning program according to the present application will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments described below.
[実施の形態]
[実施の形態の構成]
まず、図1を用いて、プラント運用システムについて説明する。プラント運用システム1は、プラントにおける製品の生産工程の管理及び制御を行うためのシステムである。プラントには、化学製品を生産するための化学プラントが含まれる。
[Embodiment]
[Configuration of the embodiment]
First, a plant operation system will be described with reference to Fig. 1. The plant operation system 1 is a system for managing and controlling a production process of a product in a plant. The plant includes a chemical plant for producing chemical products.
図1に示すように、処理装置10、端末装置20及びプラントシステム30を有する。
As shown in FIG. 1, the system has a
処理装置10は、模倣学習を行うためのモデルに関する処理を行う。処理装置10は学習装置として機能することができる。
The
また、処理装置10及びプラントシステム30は、ネットワークを介して互いにデータ通信ができるように接続されている。例えば、ネットワークはインターネット及びイントラネットである。
The
プラントシステム30は、生産工程で使用される機器及び分散制御システム(DCS:Distributed Control System)を含むものであってもよい。例えば、機器は、反応器、冷却器、気液分離器等である。
The
端末装置20は、パーソナルコンピュータ、タブレット型端末及びスマートフォン等の情報処理装置、または、プラントの機器を操作するための専用の端末である。
The
オペレータ(操作者)は、端末装置20を介してプラントシステム30に含まれる機器を操作するユーザである。なお、処理装置10において使用されるモデルは、システム管理者等によって適宜管理される。
The operator is a user who operates the equipment included in the
図1に基づき、プラント運用システム1の各装置の処理を説明する。 The processing of each device in the plant operation system 1 will be explained based on Figure 1.
端末装置20は、オペレータの操作に応じて、プラントシステム30の機器を操作する(ステップS1)。例えば、端末装置20は、操作により、機器内の温度、機器内の圧力、生産工程における生産量の目標値、機器に投入する原料の量等を設定する。
The
プラントシステム30は、端末装置20からの操作に従い稼働する(ステップS2)。そして、プラントシステム30は、稼働の履歴を処理装置10に送信する(ステップS3)。
The
例えば、履歴には、プラントシステム30の各所に設置されたセンサのセンサ値、端末装置20からの操作によって設定された設定値が含まれる。また、履歴は、各レコードに時刻(タイムスタンプ)が付された時系列データであってもよい。
For example, the history includes sensor values of sensors installed at various locations in the
端末装置20は、オペレータの操作に応じて、学習データとして使用する履歴の絞り込み条件を送信する(ステップS4)。絞り込み条件は、操作を指示した操作者の識別情報、所定の期間、所定の状況、及び/または、所定の操作の内容に対応する履歴を絞り込むように、予め設定されたものである。また、絞り込み条件は、システム管理者等によって設定されたものでもよい。
The
処理装置10は、モデルの学習のために使用する学習データを履歴の中から絞り込み、例えば重みを付与して、モデルの学習を行い、モデルを使った推論を行う(ステップS5)。処理装置10の各処理の詳細については後述する。
The
さらに、処理装置10は、推論結果をオペレータの端末装置20に提供する(ステップS6)。例えば、推論結果は、状況から予測される操作内容であり、予測される操作内容を示すガイダンス画面21が、端末装置20の画面に表示される。オペレータは、例えば、端末装置20に表示されたガイダンス画面21の操作内容に従いプラントシステム30を操作する(ステップS1)。
The
ここで、推論に使用するモデルは、オペレータの操作内容を模倣学習により学習する。そのため、モデルによる推論結果として得られる操作内容に従うことで、他のオペレータが操作を模倣することができる。 The model used for inference learns the operations of the operator through imitation learning. Therefore, other operators can imitate the operations by following the operations obtained as a result of inference by the model.
図2を用いて、処理装置10について詳細に説明する。図2は、実施の形態に係る処理装置10の構成例を示す図である。
The
図2に示すように、処理装置10は、通信部11、記憶部12及び制御部13を有する。
As shown in FIG. 2, the
通信部11は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部11はNIC(Network Interface Card)である。
The
記憶部12は、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の記憶装置である。なお、記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。
The
記憶部12は、処理装置10で実行されるOS(Operating System)や各種プログラムを記憶する。記憶部12は、履歴DB121、絞り込み条件DB122及びモデル情報123を記憶する。
The
履歴DB121は、プラントシステム30から提供された履歴を含む情報である。図3は、履歴DB121の例を示す図である。図3に示すように、履歴DB121は、時刻(time)、オペレータ(operator)、状況(situation)、実施内容(operation)等の説明変数リスト、目的変数である設定値を含む。また、履歴DB121は、重みを含んでもよい。
History DB121 is information including history provided from
時刻は、操作実施時刻を示す。オペレータの項目は、機器の操作を行ったオペレータの識別情報を示す。状況の項目は、第1温度、第2温度、第1流量等の項目を有する。状況の項目は、図3に記載の項目以外に、第1圧力、第2圧力、CO2濃度等を含んでもよい。 The time indicates the time when the operation was performed. The operator item indicates identification information of the operator who operated the equipment. The status item includes items such as a first temperature, a second temperature, and a first flow rate. The status item may include a first pressure, a second pressure, a CO2 concentration, and the like in addition to the items shown in FIG. 3.
第1温度、第2温度、第1圧力、第2圧力及び第1流量は、それぞれプラントシステム30の各所に設置されたセンサのセンサ値である。
The first temperature, the second temperature, the first pressure, the second pressure, and the first flow rate are sensor values of sensors installed at various locations in the
第1温度、第2温度、第1圧力、第2圧力及び第1流量は、モデルの説明変数であって、製品の生産工程における状況を表す説明変数の一例である。 The first temperature, the second temperature, the first pressure, the second pressure, and the first flow rate are explanatory variables of the model and are examples of explanatory variables that represent the situation in the product production process.
CO2濃度は、生産工程で発生するCO2の濃度である。 The CO2 concentration is the concentration of CO2 generated in the production process.
なお、時刻は、第1温度、第2温度、第1圧力、第2圧力、第1流量及びCO2濃度が取得された日時を示すタイムスタンプである。 The time is a time stamp indicating the date and time when the first temperature, the second temperature, the first pressure, the second pressure, the first flow rate, and the CO2 concentration were acquired.
実施内容(operation)は、例えば、プラント制御で良く利用される制御手法であるPID制御のSV値(設定値)、MV値(制御出力)などであり、端末装置20からの操作によって設定される設定値である。設定値は、実際に設定された値を正規化した値であってもよい。また、設定値は、モデルの目的変数に相当する。
The operation is, for example, the SV value (set value) and MV value (control output) of PID control, which is a control method often used in plant control, and is a set value set by operation from the
設定値は、モデルの目的変数であって、生産工程における機器の操作を表す目的変数の一例である。 The set value is the objective variable of the model and is an example of an objective variable that represents the operation of equipment in the production process.
例えば、図3には、「山田太郎」による操作によって、時刻「13:21:01」における第1温度が「102.1℃」であり、第2温度が「103.0℃」であり、第1流量が「311.2m3/s」であり、実施内容(operation)が「206.3」であることが示されている。 For example, FIG. 3 shows that, as a result of operations by "Yamada Taro," at the time "13:21:01," the first temperature is "102.1°C," the second temperature is "103.0°C," the first flow rate is "311.2 m3 /s," and the operation is "206.3."
絞り込み条件DB122は、予め設定された絞り込み条件を含む情報である。絞り込み条件は、モデルの学習データを選別するための条件である。絞り込み条件は、例えば、オペレータの操作に応じて端末装置20によって設定される。絞り込み条件により履歴DB121から検索された履歴が、モデルの学習データとして使用される。
The filtering condition DB122 is information including preset filtering conditions. The filtering conditions are conditions for selecting learning data for a model. The filtering conditions are set, for example, by the
例えば、絞り込み条件には、所定のオペレータの識別情報が設定される。この場合には、絞り込み条件によって設定されたオペレータの操作による履歴が、学習データとして絞り込まれる。熟練したオペレータと経験が浅いオペレータとが存在し、熟練したオペレータの履歴をモデルに模倣させたい場合に、熟練したオペレータの識別情報を絞り込み条件に設定することによって、この熟練したオペレータの操作による履歴のみを絞り込むことが可能になる。なお、経験豊富な班長等の操作による履歴は、他の履歴よりも大きい重みが付与されてもよい。 For example, the filtering conditions may be set to the identification information of a specific operator. In this case, the history resulting from the operations of the operator set by the filtering conditions is narrowed down as learning data. When there are experienced operators and inexperienced operators and it is desired to have the model imitate the history of the experienced operator, it is possible to narrow down only the history resulting from operations of this experienced operator by setting the identification information of the experienced operator as the filtering conditions. Note that the history resulting from operations by an experienced team leader, etc. may be weighted more heavily than other histories.
また、絞り込み条件は、時刻または期間が設定される。例えば、昼間は体制が厚く積極的な運転が可能であるが、夜間は体制が薄く積極的な運転が減少する場合、絞り込み条件に、昼間(例えば、8時から18時)の期間が設定されることで、昼間の履歴のみを絞り込むことが可能になる。なお、昼間の所定期間の履歴は、重み付けされてもよい。 In addition, the filtering conditions are set to a time or a period. For example, if the daytime is a busy time and active driving is possible, but the nighttime is a lighter time and active driving decreases, the filtering conditions can be set to a daytime period (e.g., 8:00 to 18:00), making it possible to filter out only the daytime history. Note that the history for a specified period during the day may be weighted.
また、絞り込み条件には、状況が設定される。例えば、絞り込み条件として、第1温度と第2温度との平均の変動が閾値未満である状況が設定される。通常と異なる運転に関する履歴を学習データから除外したい場合、絞り込み条件に、通常と異なる運転時の状況が除外されるような状況が設定されることで、通常と異なる運転に関する履歴を学習データから除外することが可能になる。 In addition, a situation is set as the filtering condition. For example, a situation in which the average fluctuation between the first temperature and the second temperature is less than a threshold is set as the filtering condition. When it is desired to exclude history relating to unusual driving from the learning data, a situation in which unusual driving situations are excluded is set as the filtering condition, making it possible to exclude history relating to unusual driving from the learning data.
通常と異なる運転は、例えば、工場の立ち上げ、立ち下げ、一時的な保守作業等がある。そして、このような運転時には、例えば、第1温度と第2温度との平均が30分前と比較して1度以上、上昇している場合があり、このような運転時から30分間の履歴が除外されるように絞り込み条件が設定される。具体的には、絞り込み条件として、第1温度と第2温度との平均と、30分前の平均からの上昇が1℃未満である状況が設定される。 Examples of unusual operations include factory start-up and shutdown, temporary maintenance work, etc. During such operations, for example, the average of the first temperature and the second temperature may increase by 1 degree or more compared to 30 minutes prior, and the filtering conditions are set so that the history for 30 minutes from such operations is excluded. Specifically, the filtering conditions are set to be the average of the first temperature and the second temperature, and a situation in which the increase from the average 30 minutes prior is less than 1 degree Celsius.
また、絞り込み条件として、操作目標となる値の所定期間の分散が閾値を下回った状況が設定される。品質安定時の履歴をモデルに模倣させたい場合、絞り込み条件として、例えば、操作目標となる値の過去30分の分散が0.3を下回った状況を設定する。これによって、オペレーションにより品質が安定した場合の履歴を絞り込むことができる。 In addition, the narrowing condition is set to a situation where the variance of the target value for operation over a specified period of time falls below a threshold. If you want the model to mimic the history of stable quality, you can set the narrowing condition to a situation where the variance of the target value for operation over the past 30 minutes falls below 0.3, for example. This makes it possible to narrow down the history of cases where quality has stabilized through operation.
また、絞り込み条件として、実施内容が設定される。例えば、所定の機器に対する設定値の変更後に、所定期間内に変更前の設定値に戻した実施内容が設定される。例えば、バルブ開度を変更してから5分以内に元に戻した場合の履歴を学習データとするために、絞り込み条件として、バルブ開度の設定値が変更され、変更後5分以外に元のバルブ開度の設定値に戻った場合が設定される。 In addition, the implementation content is set as the narrowing down condition. For example, the implementation content is set to be when the setting value of a specific device is changed and then returned to the setting value before the change within a specific period of time. For example, in order to use the history of the case where the valve opening is changed and then returned to the original setting value within 5 minutes as learning data, the narrowing down condition is set to be the case where the valve opening setting is changed and then returned to the original valve opening setting other than 5 minutes after the change.
モデル情報123は、モデルを構築するためのパラメータ等の情報である。モデルがニューラルネットワークである場合、モデル情報123は、各層の重み及びバイアスであり、モデルがLasso回帰やRidge回帰の場合は正則化パラメータである。さらに、モデル情報123は、前処理の順番、移動平均処理における窓幅(ウィンドウサイズ)等のパラメータを含む。
The
制御部13は、処理装置10全体を制御する。制御部13は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。
The
また、制御部13は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部13は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部13は、受付部131、収集部132、取得部133、絞り込み部134、更新部135、推論部136、及び、表示制御部137を有する。図4を用いて、処理装置10の各機能部の処理を説明する。図4は、処理装置10の処理を説明する図である。
The
受付部131は、例えば、端末装置20から、絞り込み条件を受け付け(図4の(1))、絞り込み条件DB122に格納する。受付部131は、絞り込み条件を新規に受け付けるほか、修正、削除(一部削除を含む)も受け付ける。
The
収集部132は、プラントシステム30における稼働の履歴を収集し(図4の(2))、収集した履歴を履歴DB121に格納する。履歴は、説明変数と目的変数との組み合わせである第1のデータの一例である。
The
取得部133は、履歴DB121に含まれる履歴の中から、説明変数と指定された説明変数との距離に基づいて履歴を取得する。履歴DB121に含まれる履歴は、第1のデータの一例である。また、取得部133によって取得される履歴は、第2のデータの一例である。取得部133は、履歴DB121に含まれるデータ(第1のデータ)の中から、説明変数と指定された説明変数との距離、及び、重みに基づいて第2のデータを取得してもよい。
The
取得部133は、履歴検索用キー(説明変数及び/または目的変数)が指定されると、この履歴検索キーに類似する過去の履歴群を、履歴DB121から取得する(図4の(3))。取得部133は、履歴検索キー(例えば、現在の状況を示す説明変数)と近い状況で収集された過去の履歴群(説明変数、目的変数)(第2のデータ)を、履歴DB121から取得する。
When a history search key (explanatory variables and/or objective variables) is specified, the
指定された説明変数を要求点と呼ぶ。例えば、要求点は、所定の時刻における説明変数(履歴DB121の各センサ値に相当)である。なお、要求点における目的変数(設定値)は未知であってもよい。 The specified explanatory variable is called a request point. For example, a request point is an explanatory variable (corresponding to each sensor value in history DB121) at a specific time. Note that the objective variable (set value) at the request point may be unknown.
ここで、JIT法では、多次元ベクトルである訓練用のデータ(本実施形態の履歴DB121に相当)と多次元ベクトルである要求点との距離を基に類似履歴が取得される。例えば、取得部133は、JIT法を用いて、計算されたユークリッド距離が小さいk(kは整数)個のレコードであるk最近傍(k-NN:k Nearest Neighbors)を取得する。なお、訓練用のデータと要求点との距離は、ユークリッド距離に限られず、例えばマハラノビス距離及びコサイン類似度等であってもよい。
Here, in the JIT method, similar history is acquired based on the distance between the training data (corresponding to the
また、取得部133は、訓練用のデータと要求点との距離だけでなく、履歴DB121の重みを参照してレコードを取得してもよい。ここでは、重みが大きいほど取得対象として望ましいデータである場合、例えば、取得部133は、履歴DB121の中から、k最近傍であって、かつ重みが大きいデータを優先して取得する。
The
絞り込み部134は、取得部133によって取得された過去の履歴群(第2のデータ)から、所定の絞り込み条件に基づいて、学習データを絞り込む(図4の(4))。絞り込み条件は、前述のように、操作を指示したオペレータの識別情報、所定の期間、所定の状況、及び/または、操作によって設定される設定値に対応するデータを、過去の履歴群から絞り込むように予め設定された条件であり、絞り込み条件DB122から読み出される。
The narrowing down
絞り込み部134は、絞り込み条件にオペレータの識別情報が設定されている場合には、第2のデータから、絞り込み条件に設定されたオペレータの操作による履歴を、学習データとして絞り込む。
When the operator's identification information is set in the narrowing down condition, the narrowing down
絞り込み部134は、絞り込み条件に時刻または期間が設定されている場合には、第2のデータから、絞り込み条件に設定された時刻または期間の履歴を、学習データとして絞り込む。
When a time or period is set as the filtering condition, the
絞り込み部134は、絞り込み条件に状況が設定されている場合には、第2のデータから、絞り込み条件に設定された状況に対応する履歴を、学習データとして絞り込む。
When a situation is set as a filtering condition, the
絞り込み部134は、絞り込み条件に実施内容が設定されている場合には、第2のデータから、絞り込み条件に設定された実施内容に対応する履歴を、学習データとして絞り込む。
When implementation details are set as the filtering conditions, the
なお、取得部133が、指定された履歴検索用キー(説明変数及び/または目的変数)と絞り込み条件とを用いて、この履歴検索キーに類似し、かつ、絞り込み条件に合致する過去の履歴群を、履歴DB121から取得してもよい。なお、この場合、絞り込み部134は省略される。このように、取得部133が、一度の処理で過去の履歴群を絞り込むことで、学習データ数の偏りを減らすことができる。
The
更新部135は、絞り込み部134によって絞り込まれた学習データを用いて、説明変数から目的変数を出力するモデルの学習を行い(図4の(5))、モデルを更新する(図4の(6))。
The
更新部135は、モデル情報123から構築したモデルに、説明変数を入力することにより計算された目的変数と、絞り込み部134によって絞り込まれた学習データに含まれる目的変数との差分を表す目的関数を計算し、該目的関数が小さくなるように、学習の終了条件を満たすまでモデルのパラメータ、すなわちモデル情報123を繰り返し更新する。なお、学習データに重みが付与されている場合には、付与された重みで学習データを学習する。
The
推論部136は、更新後のモデル情報123から構築したモデルに、予測用の説明変数を入力することにより目的変数を計算する。すなわち、推論部136は推論処理を行う(図4の(7))。推論された目的変数は、例えば、状況から予測される操作内容である。
The
表示制御部137は、推論された目的変数(例えば、操作内容)を示すガイダンス画面を、端末装置20に表示させることで、推論結果をオペレータに提示する。
The
[実施の形態の処理]
図5を用いて実施の形態における処理手順を説明する。図5は、実施の形態における処理の手順を示すフローチャートである。
[Processing of the embodiment]
The processing procedure in the embodiment will be described with reference to Fig. 5. Fig. 5 is a flow chart showing the processing procedure in the embodiment.
図5に示すように、まず、処理装置10は、例えば、端末装置20から、絞り込み条件を受け付ける(ステップS11)。処理装置10は、新規の絞り込み条件に限らず、条件の追加、修正、削除などを受け付けてもよい。そして、処理装置10は、受け付けた絞り込み条件DB122に格納する(ステップS12)。
As shown in FIG. 5, first, the
図6は、実施の形態における処理の手順を示すフローチャートである。図6に示すように、処理装置10は、プラントシステム30における稼働の履歴を収集し(ステップS21)、収集した履歴を履歴DB121に格納する。
Figure 6 is a flowchart showing the processing procedure in the embodiment. As shown in Figure 6, the
処理装置10は、履歴DB121に含まれる履歴の中から、説明変数と指定された説明変数との距離に基づいてデータを抽出する。処理装置10は、履歴検索キー(説明変数及び/または目的変数)が指定されると、この履歴検査キーに類似する過去の履歴群を、履歴DB121から取得する(ステップS22)。
The
処理装置10は、ステップS22において取得した履歴群から、絞り込み条件DB122に格納されている絞り込み条件に基づいて、学習データを絞り込む(ステップS23)。
The
処理装置10は、絞り込み部134によって絞り込まれた学習データを用いて、説明変数から目的変数を出力するモデルの学習を行い(ステップS24)、モデルを更新する(ステップS25)。
The
処理装置10は、更新後のモデル情報123から構築したモデルに、予測用の説明変数(例えば、第1温度、第2温度、第1流量など)を入力することにより目的変数(例えば、操作内容)を推論する(ステップS26)。
The
処理装置10は、ステップS25において推論された目的変数(例えば、操作内容)を示すガイダンス画面を、端末装置20に表示させることで、推論結果をオペレータに提示する(ステップS27)。
The
[実施の形態の効果]
このように、実施の形態に係る処理装置10は、説明変数と目的変数との組み合わせである第1のデータを収集し、第1のデータから、少なくとも、説明変数と指定された説明変数との距離に基づいて第2のデータを取得する。そして、処理装置10は、第2のデータから、所定の絞り込み条件に基づいて、学習データを絞り込み、この学習データを用いて、説明変数から目的変数を出力するモデルを更新する。
[Effects of the embodiment]
In this way, the
このように、処理装置10は、膨大なデータ量の履歴から、絞り込み条件にしたがって、学習に適した履歴を自動で絞り込み、モデルを更新するため、人手による履歴の選別が不要となる。
In this way, the
また、処理装置10は、プラントシステム30から収集された履歴から、所定の絞り込み条件にしたがって、学習に適した学習データを絞り込むため、選別する人自身の主観を入れることなく、学習に適した履歴を適正に選別することができる。また、処理装置10は、操作を指示した操作者の識別情報、所定の期間、所定の状況、及び/または、操作によって設定される設定値に対応するように設定された絞り込み条件を用いて、学習に適した履歴を正確に絞り込むことができる。
The
したがって、処理装置10は、学習に適した履歴のみを用いて、モデルを更新することができるため、モデルの推論精度を向上させることができる。特に、処理装置10は、模倣学習においてJIT法による逐次学習に適する学習データを用いてモデル更新を行うため、プラントシステム30の適切な操作と、モデルの精度向上とを並行して実現することができる。
The
[システム構成等]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU(Central Processing Unit)及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、CPUだけでなく、GPU等の他のプロセッサによって実行されてもよい。
[System configuration, etc.]
In addition, each component of each device shown in the figure is functionally conceptual, and does not necessarily have to be physically configured as shown in the figure. In other words, the specific form of distribution and integration of each device is not limited to that shown in the figure, and all or a part of it can be functionally or physically distributed or integrated in any unit depending on various loads, usage conditions, etc. Furthermore, each processing function performed by each device can be realized in whole or in any part by a CPU (Central Processing Unit) and a program analyzed and executed by the CPU, or can be realized as hardware by wired logic. Note that the program may be executed not only by the CPU but also by other processors such as a GPU.
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 Furthermore, among the processes described in this embodiment, all or part of the processes described as being performed automatically can be performed manually, or all or part of the processes described as being performed manually can be performed automatically using known methods. In addition, the information including the processing procedures, control procedures, specific names, various data, and parameters shown in the above documents and drawings can be changed as desired unless otherwise specified.
[プログラム]
一実施形態として、処理装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を処理装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置には、タブレット型端末、スマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
[program]
In one embodiment, the
また、処理装置10は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の学習処理に関するサービスを提供するサーバとして実装することもできる。例えば、サーバは、要求点の指定を入力とし、学習済みのモデルを出力とする学習サービスを提供するサーバ装置として実装される。この場合、サーバは、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の学習処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
The
図7は、プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
Figure 7 is a diagram showing an example of a computer that executes a program. The
メモリ1010は、ROM(Read Only Memory)1011及びRAM(Random Access Memory)1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
The
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、処理装置10の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、処理装置10における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
The hard disk drive 1090 stores, for example, an
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020は、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した実施形態の処理を実行する。
The setting data used in the processing of the above-described embodiment is stored as
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
The
1 プラント運用システム
10 処理装置
20 端末装置
30 プラントシステム
11 通信部
12 記憶部
13 制御部
121 履歴DB
122 絞り込み条件DB
123 モデル情報
131 受付部
132 収集部
133 取得部
134 絞り込み部
135 更新部
136 推論部
137 表示制御部
Reference Signs List 1
122 Narrowing Condition DB
123
Claims (5)
前記第1のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第2のデータを取得する取得部と、
前記第2のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む絞り込み部と、
前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新する更新部と、
を有し、
前記絞り込み条件として、通常と異なる運転時の状況が除外されるような状況が設定され、
前記絞り込み部は、前記絞り込み条件に基づいて、前記通常と異なる運転に関する履歴を前記学習データから除外することを特徴とする学習装置。 A collection unit that collects first data, which is a combination of explanatory variables and objective variables;
an acquisition unit that acquires second data from the first data based on at least a distance between the explanatory variable and a specified explanatory variable;
a narrowing-down unit that narrows down learning data from the second data based on a predetermined narrowing-down condition;
an update unit that updates a model that outputs the objective variable from the explanatory variables using the learning data;
having
As the narrowing condition, a situation is set such that an unusual driving situation is excluded,
The narrowing-down unit is configured to exclude history data relating to unusual driving from the learning data based on the narrowing-down conditions.
前記絞り込み条件は、前記操作を指示した操作者の識別情報、所定の期間、所定の前記状況、及び/または、前記操作によって設定される設定値に対応するデータを、前記第2のデータから絞り込むように予め設定された条件であることを特徴とする請求項1に記載の学習装置。 the first data is a combination of the explanatory variables representing a situation in a production process of a product and the objective variables representing an operation of a device in the production process;
The learning device according to claim 1, characterized in that the narrowing-down conditions are conditions that are preset to narrow down the second data to data corresponding to the identification information of the operator who instructed the operation, a specified period, a specified situation, and/or a setting value set by the operation.
説明変数と目的変数との組み合わせである第1のデータを収集する工程と、
前記第1のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第2のデータを取得する工程と、
前記第2のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む工程と、
前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新する工程と、
を含み、
前記絞り込み条件として、通常と異なる運転時の状況が除外されるような状況が設定され、
前記絞り込む工程は、前記絞り込み条件に基づいて、前記通常と異なる運転に関する履歴を前記学習データから除外することを特徴とする学習方法。 A learning method executed by a learning device, comprising:
collecting first data which is a combination of explanatory variables and objective variables;
acquiring second data from the first data based at least on a distance between the explanatory variable and a specified explanatory variable;
Narrowing down learning data from the second data based on a predetermined narrowing down condition;
updating a model that outputs the objective variable from the explanatory variables using the learning data;
Including,
As the narrowing condition, a situation is set such that an unusual driving situation is excluded,
A learning method characterized in that the narrowing down step excludes the history of driving that is different from normal from the learning data based on the narrowing down conditions.
前記第1のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第2のデータを取得するステップと、
前記第2のデータから、所定の絞り込み条件に基づいて、学習データを絞り込むステップと、
前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新するステップと、
をコンピュータに実行させ、
前記絞り込み条件として、通常と異なる運転時の状況が除外されるような状況が設定され、
前記絞り込むステップは、前記絞り込み条件に基づいて、前記通常と異なる運転に関する履歴を前記学習データから除外する学習プログラム。 A step of collecting first data which is a combination of explanatory variables and a response variable;
acquiring second data from the first data based at least on a distance between the explanatory variable and a specified explanatory variable;
Narrowing down learning data from the second data based on a predetermined narrowing down condition;
updating a model that outputs the objective variable from the explanatory variables using the learning data;
Run the following on your computer:
As the narrowing condition, a situation is set such that an unusual driving situation is excluded,
The narrowing down step is a learning program for excluding the history of driving that is different from the normal driving from the learning data based on the narrowing down conditions.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022172553A JP7483827B1 (en) | 2022-10-27 | 2022-10-27 | Learning device, learning method, and learning program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022172553A JP7483827B1 (en) | 2022-10-27 | 2022-10-27 | Learning device, learning method, and learning program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7483827B1 true JP7483827B1 (en) | 2024-05-15 |
JP2024070288A JP2024070288A (en) | 2024-05-23 |
Family
ID=91030836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022172553A Active JP7483827B1 (en) | 2022-10-27 | 2022-10-27 | Learning device, learning method, and learning program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7483827B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004355189A (en) | 2003-05-28 | 2004-12-16 | Jfe Steel Kk | Result predicting device |
JP2008033505A (en) | 2006-07-27 | 2008-02-14 | Omron Corp | Method and device for retrieving data, and controller |
JP2022035737A (en) | 2020-08-21 | 2022-03-04 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Control system, control method, control device and program |
-
2022
- 2022-10-27 JP JP2022172553A patent/JP7483827B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004355189A (en) | 2003-05-28 | 2004-12-16 | Jfe Steel Kk | Result predicting device |
JP2008033505A (en) | 2006-07-27 | 2008-02-14 | Omron Corp | Method and device for retrieving data, and controller |
JP2022035737A (en) | 2020-08-21 | 2022-03-04 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Control system, control method, control device and program |
Also Published As
Publication number | Publication date |
---|---|
JP2024070288A (en) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10360517B2 (en) | Distributed hyperparameter tuning system for machine learning | |
Ren et al. | A tutorial review of neural network modeling approaches for model predictive control | |
EP3404593A1 (en) | Method and system for data based optimization of performance indicators in process and manufacturing industries | |
JP7009438B2 (en) | Computer systems and methods for monitoring key performance indicators (KPIs) using time series pattern models | |
Udugama et al. | The role of big data in industrial (bio) chemical process operations | |
JP7081728B1 (en) | Driving support equipment, driving support methods and programs | |
US20240142922A1 (en) | Analysis method, analysis program and information processing device | |
JP6962042B2 (en) | Simulation equipment and simulation method | |
Glavan et al. | Production modelling for holistic production control | |
Reis et al. | Data-centric process systems engineering: A push towards PSE 4.0 | |
Chen et al. | Inn: An interpretable neural network for ai incubation in manufacturing | |
JP7483827B1 (en) | Learning device, learning method, and learning program | |
Zheng et al. | Linear subspace principal component regression model for quality estimation of nonlinear and multimode industrial processes | |
Ravari et al. | Structure-based inverse reinforcement learning for quantification of biological knowledge | |
JP7513798B2 (en) | Learning device, learning method, and learning program | |
JP7400064B1 (en) | Learning devices, learning methods and learning programs | |
JP2010049392A (en) | Device for tuning pid controller, program for turning pid controller, and method for tuning pid controller | |
Natali et al. | Online graph learning from time-varying structural equation models | |
Sagdatullin et al. | Development of a cyber-physical subsystem for support and decision making of managing oil production and transportation processes under uncertainty conditions | |
JP2024064997A (en) | Learning device, learning method, and learning program | |
Wong et al. | Postdecision-state-based approximate dynamic programming for robust predictive control of constrained stochastic processes | |
JP2022170171A (en) | Management device, management method, and program | |
Pinon et al. | A model-based approach to meta-Reinforcement Learning: Transformers and tree search | |
CN115968479A (en) | System and method for automating data science processes | |
Durand et al. | Integrated design of control actuator layer and economic model predictive control for nonlinear processes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7483827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |