JP7257262B2

JP7257262B2 - Evaluation system, evaluation method and program

Info

Publication number: JP7257262B2
Application number: JP2019106013A
Authority: JP
Inventors: 雄仁宮▲崎▼
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2019-06-06
Filing date: 2019-06-06
Publication date: 2023-04-13
Anticipated expiration: 2039-06-06
Also published as: JP2020201304A

Description

本発明は、評価システム、評価方法及びプログラムに関するものである。 The present invention relates to an evaluation system, evaluation method and program.

プラント等の運転時に取得した時系列データを用いて、プラント状態の推移を評価する評価システムが知られている（例えば、特許文献１参照）。 2. Description of the Related Art There is known an evaluation system that evaluates the transition of a plant state using time-series data acquired during operation of a plant or the like (see Patent Document 1, for example).

特開２０１９－０６６９８９号公報JP 2019-066989 A

本発明は、操作を適切に評価することができる評価システム、評価方法及びプログラムを提供することを課題とする。 An object of the present invention is to provide an evaluation system, an evaluation method, and a program capable of appropriately evaluating operations.

本発明の評価システムは、プラントの運転状態を変化させるために適切に操作された操作パラメータデータと、前記操作パラメータデータを特徴づける条件データとを入力として学習し、時点ごとに適切な操作の操作パラメータデータを予測する第一予測モデルを記憶した第一予測モデル記憶部と、評価対象が操作した場合における条件データを前記第一予測モデルの入力として、時点ごとに適切な操作の操作パラメータデータを予測する第一予測部と、前記第一予測部が予測した前記操作パラメータデータと、前記評価対象が行った操作の前記操作パラメータデータとを比較して評価する評価部とを備える。 The evaluation system of the present invention learns by inputting operation parameter data appropriately operated to change the operating state of the plant and condition data characterizing the operation parameter data, and performs appropriate operation at each point in time. A first prediction model storage unit that stores a first prediction model that predicts parameter data, and condition data in the case where the evaluation target operates are input to the first prediction model, and operation parameter data for an appropriate operation for each time is stored. A first prediction unit for prediction, and an evaluation unit for comparing and evaluating the operation parameter data predicted by the first prediction unit and the operation parameter data of the operation performed by the evaluation target.

また、本発明の評価方法は、プラントの運転状態を変化させるために適切に操作された操作パラメータデータと、前記操作パラメータデータを特徴づける条件データとを入力として学習し、時点ごとに適切な操作の操作パラメータデータを予測する第一予測モデルを第一予測モデル記憶部に記憶するステップと、評価対象が操作した場合における条件データを前記第一予測モデルの入力として、時点ごとに適切な操作の操作パラメータデータを予測するステップと、予測された前記操作パラメータデータと、前記評価対象が行った操作の前記操作パラメータデータとを比較して評価するステップと、を含む。 In addition, the evaluation method of the present invention learns by inputting operation parameter data appropriately operated to change the operating state of the plant and condition data characterizing the operation parameter data, and performs appropriate operation at each point in time. A step of storing a first prediction model for predicting the operation parameter data of in the first prediction model storage unit, and condition data in the case where the evaluation target operates A step of predicting operation parameter data, and a step of comparing and evaluating the predicted operation parameter data with the operation parameter data of the operation performed by the evaluation target.

また、本発明のプログラムは、評価システムとして動作するコンピュータに、プラントの運転状態を変化させるために適切に操作された操作パラメータデータと、前記操作パラメータデータを特徴づける条件データとを入力として学習し、時点ごとに適切な操作の操作パラメータデータを予測する第一予測モデルを第一予測モデル記憶部に記憶するステップと、評価対象が操作した場合における条件データを前記第一予測モデルの入力として、時点ごとに適切な操作の操作パラメータデータを予測するステップと、予測された前記操作パラメータデータと、前記評価対象が行った操作の前記操作パラメータデータとを比較して評価するステップと、を実行させる。 In addition, the program of the present invention learns by inputting operation parameter data appropriately operated to change the operating state of the plant and condition data characterizing the operation parameter data into a computer that operates as an evaluation system. , storing in the first prediction model storage unit a first prediction model that predicts operation parameter data of an appropriate operation for each time point; A step of predicting operation parameter data of an appropriate operation for each time point, and a step of comparing and evaluating the predicted operation parameter data with the operation parameter data of the operation performed by the evaluation object are executed. .

これらの構成によれば、操作を適切に評価することができる。 According to these configurations, it is possible to appropriately evaluate the operation.

図１は、シミュレータの一例を示すブロック図である。FIG. 1 is a block diagram showing an example of a simulator. 図２は、第一実施形態に係る評価システムの一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the evaluation system according to the first embodiment. 図３は、第一予測モデルの教師データの一例を示す図である。FIG. 3 is a diagram showing an example of teacher data of the first prediction model. 図４は、第一予測モデルに入力される、評価データの一例を示す図である。FIG. 4 is a diagram showing an example of evaluation data input to the first prediction model. 図５は、第一実施形態に係る評価の一例を示す図である。FIG. 5 is a diagram showing an example of evaluation according to the first embodiment. 図６は、第一実施形態に係る評価システムの評価方法の一例を示すフローチャートである。FIG. 6 is a flow chart showing an example of an evaluation method of the evaluation system according to the first embodiment. 図７は、第二実施形態に係る評価システムの一例を示すブロック図である。FIG. 7 is a block diagram showing an example of an evaluation system according to the second embodiment. 図８は、第二予測モデルの教師データの一例を示す図である。FIG. 8 is a diagram showing an example of teacher data of the second prediction model. 図９は、第二実施形態に係る評価の一例を示す図である。FIG. 9 is a diagram showing an example of evaluation according to the second embodiment. 図１０は、第二実施形態に係る評価システムの評価方法の一例を示すフローチャートである。FIG. 10 is a flow chart showing an example of an evaluation method of the evaluation system according to the second embodiment.

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。 EMBODIMENT OF THE INVENTION Below, embodiment which concerns on this invention is described in detail based on drawing. In addition, this invention is not limited by this embodiment. In addition, components in the following embodiments include components that can be easily replaced by those skilled in the art, or components that are substantially the same. Furthermore, the components described below can be combined as appropriate, and when there are multiple embodiments, each embodiment can be combined.

［第一実施形態］
＜評価装置とシミュレータとを含む全体の概略＞
図１は、シミュレータの一例を示すブロック図である。図２は、第一実施形態に係る評価システムの一例を示すブロック図である。本実施形態に係る評価システム１０は、プラントの操作、及び、運転訓練を行う運転訓練シミュレータ（以下、「シミュレータ」という。）１００等を使用した訓練における操作を評価するものである。本実施形態では、評価システム１０は、シミュレータ１００から取得した訓練時のデータから、訓練時の訓練（評価）対象の操作を評価するものとして説明する。プラントは、例えば、原子力プラントである。 [First embodiment]
<Overview including evaluation device and simulator>
FIG. 1 is a block diagram showing an example of a simulator. FIG. 2 is a block diagram showing an example of the evaluation system according to the first embodiment. An evaluation system 10 according to the present embodiment evaluates operation of a plant and operation in training using an operation training simulator (hereinafter referred to as "simulator") 100 or the like for conducting operation training. In this embodiment, the evaluation system 10 evaluates the operation of a training (evaluation) target during training from training data obtained from the simulator 100 . The plant is, for example, a nuclear power plant.

＜シミュレータ＞
シミュレータ１００は、プラントの運転状態をシミュレートするコンピュータである。シミュレータ１００は、例えば、プラントのオペレータの運転訓練のために用いられる。シミュレータ１００は、プラントの制御盤と同様に構成された制御盤を有しており、実機と同様の操作が可能である。シミュレータ１００は、評価システム１０と運転データを送受信可能である。シミュレータ１００は、操作受付部１０１と、運転データ取得部１０２と、運転データ記憶部１０３と、運転データ送信部１０４とを備える。 <Simulator>
The simulator 100 is a computer that simulates plant operating conditions. Simulator 100 is used, for example, for plant operator training. The simulator 100 has a control panel configured in the same manner as the control panel of the plant, and can be operated in the same manner as the actual machine. Simulator 100 can transmit and receive operation data to and from evaluation system 10 . The simulator 100 includes an operation reception unit 101 , an operation data acquisition unit 102 , an operation data storage unit 103 and an operation data transmission unit 104 .

操作受付部１０１は、オペレータの制御盤に対する操作を受け付ける。操作受付部１０１は、例えば、プラントに設置された弁、ポンプ等に対する操作のようなプラントの運転状態を変化させる操作を受け付けて、弁、ポンプ等を制御する操作パラメータデータを生成する。操作パラメータデータには、受け付けた操作の操作項目と操作量とを示す情報を含む。操作パラメータデータは、弁またはポンプ等の操作項目と操作量とを含む。例えば、「給水制御弁」を操作した場合、操作項目「給水制御弁」、操作量「１０．００」［％］を含む操作パラメータデータが生成される。 The operation reception unit 101 receives an operator's operation on the control panel. The operation receiving unit 101 receives, for example, an operation that changes the operating state of the plant, such as an operation on valves, pumps, etc. installed in the plant, and generates operation parameter data for controlling the valves, pumps, and the like. The operation parameter data includes information indicating the operation item and the amount of operation of the accepted operation. The operation parameter data includes operation items such as valves or pumps and operation amounts. For example, when the "water supply control valve" is operated, operation parameter data including the operation item "water supply control valve" and the operation amount "10.00" [%] is generated.

運転データ取得部１０２は、プラントの状態を示すプラントパラメータや、操作パラメータデータ、警報発信状態を表す警報データ等、プラント運転時に生成されるあらゆるデータを時系列で運転データとして取得する。 The operation data acquisition unit 102 acquires all kinds of data generated during plant operation, such as plant parameters indicating the state of the plant, operation parameter data, and alarm data indicating the alarm issuing state, as operation data in chronological order.

運転データ取得部１０２は、所定時間ごとに運転データを取得する。 The operating data acquisition unit 102 acquires operating data at predetermined time intervals.

運転データ記憶部１０３は、運転データを記憶する。 The operating data storage unit 103 stores operating data.

運転データ送信部１０４は、運転データ記憶部１０３に記憶した運転データを評価システム１０へ送信する。運転データ送信部１０４は、例えば、所定期間ごと、運転データが生成されるごと、評価システム１０からの要求に応じて、または、所望のタイミングで運転データを評価システム１０へ送信する。 The driving data transmission unit 104 transmits the driving data stored in the driving data storage unit 103 to the evaluation system 10 . For example, the driving data transmission unit 104 transmits the driving data to the evaluation system 10 at predetermined intervals, each time driving data is generated, in response to a request from the evaluation system 10, or at desired timing.

なお、運転データ記憶部１０３はシミュレータ１００に設けられていなくてもよい。その場合、運転データ取得部１０２が取得した運転データを運転データ送信部１０４により評価システム１０に送信する。 Note that the driving data storage unit 103 may not be provided in the simulator 100 . In that case, the driving data acquired by the driving data acquisition unit 102 is transmitted to the evaluation system 10 by the driving data transmission unit 104 .

＜評価システム＞
評価システム１０は、第一予測モデルを使用して、時点ごとに適切な操作を予測して、予測した操作と、評価対象が行った操作とを比較して、評価対象の操作を評価する。本実施形態では、評価対象となるのは人（以降、評価対象者）である。適切な操作とは、プラントの運転経験が多い熟練者が行う操作、または、プラントの運転状態に対して、理想、最適または正解とされる操作を含む。評価システム１０は、ＣＰＵ、記憶装置、入出力インタフェース、通信インタフェースを備えたコンピュータである。評価システム１０は、１台でも複数台でもよい。 <Evaluation system>
The evaluation system 10 uses the first prediction model to predict an appropriate operation for each time point, compares the predicted operation with the operation performed by the evaluation object, and evaluates the operation of the evaluation object. In this embodiment, an evaluation target is a person (hereinafter referred to as an evaluation target person). Appropriate operation includes an operation performed by an expert who has a lot of experience in plant operation, or an operation that is ideal, optimal, or correct for the operating state of the plant. The evaluation system 10 is a computer having a CPU, a storage device, an input/output interface, and a communication interface. The evaluation system 10 may be one or more.

評価システム１０は、シミュレータ１００とデータを送受信可能である。評価システム１０は、運転データ取得部１１と、運転データ記憶部１２と、教師データ生成部１３と、第一予測モデル生成部１４と、第一予測モデル記憶部１５と、評価データ生成部１６と、第一予測部１７と、評価部１８と、評価出力部１９とを備える。運転データ取得部１１と運転データ記憶部１２と教師データ生成部１３と第一予測モデル生成部１４と第一予測モデル記憶部１５と評価データ生成部１６と第一予測部１７と評価部１８と評価出力部１９との各機能は、実行可能なプログラムの形式で記憶装置に記憶されている。これらのプログラムを読み出して展開することによって、各機能の処理が実行可能である。 The evaluation system 10 can transmit and receive data to and from the simulator 100 . The evaluation system 10 includes a driving data acquisition unit 11, a driving data storage unit 12, a teacher data generation unit 13, a first prediction model generation unit 14, a first prediction model storage unit 15, and an evaluation data generation unit 16. , a first prediction unit 17 , an evaluation unit 18 , and an evaluation output unit 19 . A driving data acquisition unit 11, a driving data storage unit 12, a teacher data generation unit 13, a first prediction model generation unit 14, a first prediction model storage unit 15, an evaluation data generation unit 16, a first prediction unit 17, and an evaluation unit 18 Each function of the evaluation output section 19 is stored in the storage device in the form of an executable program. Processing of each function can be executed by reading and expanding these programs.

運転データ取得部１１は、シミュレータ１００から運転データを取得する。運転データ取得部１１は、例えば、所定期間ごと、シミュレータ１００で運転データが生成されるごと、評価システム１０からの要求に応じて、または、所望のタイミングで運転データをシミュレータ１００から取得する。 The operating data acquisition unit 11 acquires operating data from the simulator 100 . For example, the operating data acquisition unit 11 acquires operating data from the simulator 100 at predetermined intervals, each time the simulator 100 generates operating data, in response to a request from the evaluation system 10, or at desired timing.

運転データ記憶部１２は、運転データ取得部１１が取得した運転データを記憶する。 The operating data storage unit 12 stores the operating data acquired by the operating data acquiring unit 11 .

運転データ記憶部１２は、記憶した運転データが教師データ生成用であるか否かを識別可能な情報を合わせて記憶してもよい。例えば、操作パラメータデータに対応する操作を行ったオペレータが熟練者である場合、教師データ生成用であることを示す情報を記憶してもよい。また、一例では、運転データごとに教師データ生成用であるか否かの入力操作を受け付け、入力操作に応じて、教師データ生成用であるかを示す情報を記憶してもよい。さらに、運転データと所定の基準データとを比較することにより、教師データ生成用であることを判断してもよい。 The driving data storage unit 12 may also store information that enables identification of whether or not the stored driving data is for generating teacher data. For example, if the operator who performed the operation corresponding to the operation parameter data is an expert, information indicating that the data is for generating teacher data may be stored. In one example, an input operation as to whether or not each driving data is for generation of teacher data may be accepted, and information indicating whether or not the data is for generation of teacher data may be stored according to the input operation. Further, it may be determined that the data is for teacher data generation by comparing the driving data with predetermined reference data.

運転データ記憶部１２は、記憶した運転データが評価用データであるか否かを識別可能な情報を合わせて記憶してもよい。例えば、操作パラメータデータに対応する操作を行ったオペレータが、運転経験が少ない訓練者を含む評価対象者である場合、運転データとともに、評価用データであることを示す情報を記憶してもよい。また、一例では、運転データごとに評価用データであるか否かの入力操作を受け付け、入力操作に応じて、評価用データであることを示す情報を記憶してもよい。さらに、運転データと所定の基準データとを比較することにより、評価用データであることを判断してもよい。 The operating data storage unit 12 may also store information that enables identification of whether or not the stored operating data is evaluation data. For example, if the operator who performed the operation corresponding to the operation parameter data is an evaluation subject including a trainee with little driving experience, information indicating that the operation data is evaluation data may be stored together with the operation data. In one example, an input operation as to whether or not each driving data is evaluation data may be received, and information indicating that the operation data is evaluation data may be stored according to the input operation. Further, it may be determined that the data is evaluation data by comparing the operation data with predetermined reference data.

教師データ生成部１３は、評価システム１０で第一予測モデルを生成する際に使用する教師データを運転データから生成する。教師データ生成部１３は、プラントが適切に操作された場合における、訓練（評価）対象となる操作項目についての操作パラメータデータと、この操作パラメータデータを特徴づける条件データに基づいて、教師データを生成する。条件データには、例えば、時系列で取得されたプラントの運転状態を示すプラントパラメータデータが含まれる。プラントパラメータデータは、例えば、時点ごとのプラントの所定部の圧力、温度、水位、流量等のデータを含む。条件データは、プラントパラメータデータの変化率や移動平均を含んでもよい。また、条件データは、訓練（評価）対象となる操作項目とは別の操作項目についての操作パラメータデータを含んでもよい。例えば、２つの弁を操作する場合、一方の弁の操作パラメータデータを訓練（評価）対象とし、他方の弁の操作パラメータデータを条件データとして取得することができる。あるいは、条件データは、操作受付部１０１が操作を受け付けた時刻の情報を含んでもよい。ここで、時刻とは、例えば運転訓練が開始されてからの経過時間とすることができる。なお、運転データ取得部１１がもともと取得した運転データに変化率や移動平均等の情報がない場合であっても、教師データ生成部１３にて算出することにより条件データとすることができる。 The teacher data generation unit 13 generates teacher data, which is used when the evaluation system 10 generates the first prediction model, from the driving data. The teacher data generation unit 13 generates teacher data based on operation parameter data for operation items to be trained (evaluated) when the plant is properly operated, and condition data characterizing the operation parameter data. do. The condition data includes, for example, plant parameter data indicating the operational state of the plant acquired in time series. The plant parameter data includes, for example, data such as pressure, temperature, water level, flow rate, etc. of a predetermined part of the plant at each point in time. The condition data may also include rate of change and moving average of plant parameter data. The condition data may also include operation parameter data for an operation item other than the operation item to be trained (evaluated). For example, when operating two valves, the operation parameter data of one valve can be used as a training (evaluation) target, and the operation parameter data of the other valve can be acquired as condition data. Alternatively, the condition data may include information on the time when the operation accepting unit 101 accepted the operation. Here, the time can be, for example, the elapsed time from the start of driving training. Even if the operating data originally acquired by the operating data acquisition unit 11 does not contain information such as the rate of change or the moving average, the condition data can be obtained by calculation by the teacher data generation unit 13 .

一例では、教師データ生成部１３は、運転データ記憶部１２が記憶した運転データのうち、教師データであることを示す情報が記憶された運転データを取得して、教師データを生成する。 In one example, the teaching data generation unit 13 acquires the driving data stored with information indicating that it is teaching data from among the driving data stored in the driving data storage unit 12, and generates teaching data.

ここで、プラントが適切に操作された場合とは、プラントの運転経験が多い熟練者が操作した場合、または、プラントの運転状態に対して、理想、最適または正解とされる操作がされた場合を含む。さらに、ロボットやＡＩ等を含むコンピュータにより理想、最適または正解とされる操作がされた場合であってもよい。 Here, the case where the plant is properly operated means the case where it is operated by a skilled person who has a lot of experience in plant operation, or the case where the ideal, optimal, or correct operation is performed for the operating state of the plant. including. Furthermore, it may be a case where a computer including a robot, AI, or the like performs an ideal, optimal, or correct operation.

図３を用いて、第一予測モデルの教師データについて説明する。図３は、第一予測モデルの教師データの一例を示す図である。本実施形態において、教師データは、説明変数となる条件データと目的変数となる訓練（評価）対象の操作パラメータデータとを含む。本実施形態では、教師データに含まれる条件データは、シミュレータ１００が模擬した、プラントパラメータデータである。本実施形態では、プラントパラメータデータは、プラントの所定部の圧力である「給水圧力」と、プラントの所定部の流量である「給水流量」とを含む。プラントパラメータデータは、さらに、プラントの所定部の温度である「給水温度」を含んでもよい。 The teacher data of the first prediction model will be described with reference to FIG. FIG. 3 is a diagram showing an example of teacher data of the first prediction model. In this embodiment, the teacher data includes condition data as explanatory variables and operation parameter data to be trained (evaluated) as objective variables. In this embodiment, the condition data included in the teacher data is plant parameter data simulated by the simulator 100 . In this embodiment, the plant parameter data includes "feed water pressure", which is the pressure in a predetermined part of the plant, and "feed water flow rate", which is the flow rate in a predetermined part of the plant. The plant parameter data may further include "feedwater temperature" which is the temperature of a given part of the plant.

本実施形態では、教師データに含まれる目的変数となる操作パラメータデータは、シミュレータ１００に対する操作の操作項目である「給水制御弁」と、その操作量とを含む。 In the present embodiment, the operation parameter data, which is the objective variable included in the teacher data, includes the "water supply control valve", which is the operation item for the operation of the simulator 100, and its operation amount.

第一予測モデル生成部１４は、教師データ生成部１３から取得した教師データに基づいて、第一予測モデルを生成する。第一予測モデル生成部１４は、プラントの運転状態を変化させるためにオペレータが適切に操作した操作パラメータデータと、操作パラメータデータを特徴づける条件データとを入力として学習して、時点ごとに適切な操作を予測する第一予測モデルを生成する。第一予測モデルは、操作パラメータデータの操作項目ごとに生成される。予測される操作は、操作項目と操作量とを含む操作パラメータで表される。 The first prediction model generation unit 14 generates a first prediction model based on the training data acquired from the training data generation unit 13 . The first prediction model generation unit 14 learns by inputting the operation parameter data appropriately operated by the operator to change the operating state of the plant and the condition data characterizing the operation parameter data, Generate a first predictive model that predicts manipulation. A first prediction model is generated for each operation item of the operation parameter data. A predicted operation is represented by an operation parameter including an operation item and an operation amount.

本実施形態では、第一予測モデルは、木構造を使用して分類や回帰を行う機械学習の手法の一つである決定木とする。第一予測モデル生成部１４は、教師データに含まれる条件データを説明変数とし、操作パラメータデータを目的変数として、決定木分析によって第一予測モデルを生成する。決定木分析による第一予測モデルの生成は、公知のいずれかの方法を使用すればよい。生成された決定木で表される第一予測モデルは、評価対象者が操作した場合における条件データが入力されると、入力された条件データが示す適切な操作を予測可能である。また、第一予測モデルは決定木に限定されず、他の機械学習、ディープラーニング等によって生成してもよい。 In this embodiment, the first prediction model is a decision tree, which is one of the machine learning techniques that perform classification and regression using a tree structure. The first prediction model generation unit 14 generates a first prediction model by decision tree analysis using condition data included in the teacher data as explanatory variables and operation parameter data as objective variables. Any known method may be used to generate the first prediction model by decision tree analysis. The first prediction model represented by the generated decision tree can predict an appropriate operation indicated by the input condition data when the condition data for the operation by the person to be evaluated is input. Also, the first prediction model is not limited to a decision tree, and may be generated by other machine learning, deep learning, or the like.

第一予測モデル記憶部１５は、第一予測モデル生成部１４が生成した第一予測モデルを記憶する。第一予測モデルは、操作パラメータデータの操作項目ごとに記憶される。 The first prediction model storage unit 15 stores the first prediction model generated by the first prediction model generation unit 14 . A first prediction model is stored for each operation item of the operation parameter data.

評価データ生成部１６は、評価システム１０で評価する、評価対象者の評価データを運転データから生成する。評価データ生成部１６は、評価対象者によって操作が行われた場合における条件データと、対応する操作パラメータデータとに基づいて、評価データを生成する。より詳しくは、評価データ生成部１６は、運転データ記憶部１２が記憶した運転データのうち、評価データであることを示す情報が記憶された運転データを取得して、評価データを生成する。生成される評価データは、図３に示す教師データと同様に、条件データと操作パラメータデータとを含む。 The evaluation data generation unit 16 generates evaluation data of the person to be evaluated, which is evaluated by the evaluation system 10, from the driving data. The evaluation data generation unit 16 generates evaluation data based on the condition data and the corresponding operation parameter data when the operation is performed by the person to be evaluated. More specifically, the evaluation data generation unit 16 acquires, from among the operation data stored in the operation data storage unit 12, operation data stored with information indicating that it is evaluation data, and generates evaluation data. The generated evaluation data includes condition data and operation parameter data, like the teacher data shown in FIG.

第一予測部１７は、評価データを第一予測モデルの入力として、時点ごとに適切な操作の操作パラメータを予測する。第一予測モデルは、評価データとして、条件データを入力とし、操作パラメータデータを入力としない。第一予測部１７は、時点ごとに、評価対象者が操作した場合と同じ条件データが示す状態において、熟練者であればどのような操作をしたかを予測する。 The first prediction unit 17 uses the evaluation data as input for the first prediction model and predicts operation parameters for appropriate operations at each point in time. The first prediction model receives, as evaluation data, condition data and does not input operation parameter data. The first prediction unit 17 predicts, at each point in time, what kind of operation a skilled person would have performed in the same state indicated by the condition data as when the person to be evaluated performed the operation.

図４を用いて、第一予測モデルに入力される評価データの条件データについて説明する。図４は、第一予測モデルに入力される、評価データの一例を示す図である。本実施形態では、条件データは、プラントパラメータデータを含む。本実施形態のプラントパラメータデータは、シミュレータ１００が模擬した、プラントの所定部の圧力である「給水圧力」と、プラントの所定部の流量である「給水流量」とを含む。プラントパラメータデータは、さらに、プラントの所定部の温度である「給水温度」を含んでもよい。 Condition data of evaluation data input to the first prediction model will be described with reference to FIG. FIG. 4 is a diagram showing an example of evaluation data input to the first prediction model. In this embodiment, the condition data includes plant parameter data. The plant parameter data of the present embodiment includes "feed water pressure", which is the pressure of a predetermined portion of the plant, and "feed water flow rate," which is the flow rate of a predetermined portion of the plant, simulated by the simulator 100. FIG. The plant parameter data may further include "feedwater temperature" which is the temperature of a given part of the plant.

ここで、第一予測モデルに入力される評価データの条件データは、教師データの条件データと同じ項目を含むことが望ましい。例えば、教師データの条件データが「給水圧力」と「給水流量」の２つのプラントパラメータデータである場合、評価データの条件データも「給水圧力」と「給水流量」とする。 Here, it is desirable that the condition data of the evaluation data input to the first prediction model include the same items as the condition data of the teacher data. For example, if the condition data of the teacher data are two plant parameter data of "water supply pressure" and "water supply flow rate", the condition data of the evaluation data are also set to be "water supply pressure" and "water supply flow rate".

評価部１８は、第一予測部１７が予測した操作を示す操作パラメータデータと、評価対象者が行った操作を示す操作パラメータデータとを比較して評価する。 The evaluation unit 18 compares and evaluates the operation parameter data indicating the operation predicted by the first prediction unit 17 and the operation parameter data indicating the operation performed by the person to be evaluated.

評価部１８は、第一予測部１７が予測した操作の操作パラメータデータの軌跡と、評価対象者が行った操作の操作パラメータデータの軌跡とを重ねてグラフとして表示してもよい。より詳しくは、評価部１８は、操作項目ごとに、第一予測部１７が予測した操作の操作パラメータデータの操作量の軌跡と、評価対象者が行った操作の操作パラメータデータの操作量の軌跡とを重ねてグラフとして表示してもよい。例えば、評価部１８は、横軸を時間、縦軸を操作項目の操作量としたグラフで表示してもよい。 The evaluation unit 18 may display the trajectory of the operation parameter data of the operation predicted by the first prediction unit 17 and the trajectory of the operation parameter data of the operation performed by the person to be evaluated in the form of a graph. More specifically, the evaluation unit 18 calculates, for each operation item, the trajectory of the operation amount of the operation parameter data of the operation predicted by the first prediction unit 17 and the trajectory of the operation amount of the operation parameter data of the operation performed by the evaluation target person. and may be displayed as a graph. For example, the evaluation unit 18 may display a graph in which the horizontal axis is time and the vertical axis is the operation amount of the operation item.

一例では、評価部１８は、予測結果を図５に示すような時系列のグラフとして出力する際に対応付けを行いやすくするため、図４に示すように、評価データに時刻データを付加してもよい。時刻には、例えば、プラントパラメータデータの取得時刻や訓練開始からの経過時間が含まれる。時刻データの付加は必須ではなく、時刻データを付加しない場合、運転データの取得間隔や取得順番に基づいて、時刻が算出可能である。本実施形態では、訓練開始からの経過時間を付加している。 In one example, the evaluation unit 18 adds time data to the evaluation data as shown in FIG. good too. The time includes, for example, the acquisition time of the plant parameter data and the elapsed time from the start of training. The addition of time data is not essential, and if the time data is not added, the time can be calculated based on the acquisition interval and acquisition order of the operation data. In this embodiment, the elapsed time from the start of training is added.

一例では、評価部１８は、上記した、第一予測部１７が予測した操作の操作パラメータデータの軌跡と、評価対象者が行った操作の操作パラメータデータを重ねたものに、さらに評価対象者が行った運転時の条件データを重ねてグラフとして表示してもよい。 In one example, the evaluation unit 18 superimposes the trajectory of the operation parameter data of the operation predicted by the first prediction unit 17 and the operation parameter data of the operation performed by the evaluation subject, and further adds the operation parameter data of the operation performed by the evaluation subject. The condition data during the operation performed may be superimposed and displayed as a graph.

評価部１８は、時点ごとに、第一予測部１７が予測した操作の操作パラメータデータと、評価対象者が行った操作の操作パラメータデータとを比較して、評価を得点として算出してもよい。より詳しくは、評価部１８は、時点ごとに、第一予測部１７が予測した操作の操作パラメータデータの操作量と、評価対象者が行った操作の操作パラメータデータの操作量との差分に応じた得点を算出してもよい。評価対象者の操作パラメータデータの操作量と、予測した操作パラメータデータの操作量との差分が小さいときは、評価対象者は熟練者と同様の操作を行えており、差分が大きいときは、評価対象者が行った操作には改善の余地がある。これらにより、得点は、差分が大きいほど低く、差分が小さいほど高くする。なお、訓練の内容に応じて適宜得点に重みづけをすることもでき、例えば、差分が一定値を超えた場合、得点を半分にする等が可能である。 The evaluation unit 18 may compare the operation parameter data of the operation predicted by the first prediction unit 17 and the operation parameter data of the operation performed by the person to be evaluated at each point in time, and calculate the evaluation as a score. . More specifically, at each point in time, the evaluation unit 18 calculates a You may also calculate the score. When the difference between the operation amount of the operation parameter data of the person to be evaluated and the operation amount of the operation parameter data predicted is small, the person to be evaluated can perform operations similar to those of the skilled person. There is room for improvement in the operation performed by the subject. As a result, the larger the difference, the lower the score, and the smaller the difference, the higher the score. Note that the scores can be appropriately weighted according to the content of the training. For example, if the difference exceeds a certain value, the score can be halved.

評価出力部１９は、評価部１８の評価結果を、図示しない表示部に表示したり、印刷して出力したりする。より詳しくは、評価出力部１９は、第一予測部１７が予測した操作の操作パラメータデータの軌跡と、評価対象者が行った操作の操作パラメータデータの軌跡とを重ねて表示部に表示したり、印刷して出力したりする。また、評価出力部１９は、さらに、対応するプラントパラメータデータを含む条件データを重ねて表示部に表示したり、印刷して出力したりしてもよい。 The evaluation output unit 19 displays the evaluation result of the evaluation unit 18 on a display unit (not shown) or prints and outputs the result. More specifically, the evaluation output unit 19 displays on the display unit the trajectory of the operation parameter data of the operation predicted by the first prediction unit 17 and the trajectory of the operation parameter data of the operation performed by the person to be evaluated, superimposed on each other. , to print and output. Moreover, the evaluation output unit 19 may further superimpose the condition data including the corresponding plant parameter data on the display unit, or print and output the condition data.

評価出力部１９は、第一予測部１７が予測した操作パラメータデータと、評価対象者が行った操作の操作パラメータデータとの差分に応じた得点を表示部に表示したり、印刷して出力したりしてもよい。 The evaluation output unit 19 displays, on the display unit, or prints and outputs a score according to the difference between the operation parameter data predicted by the first prediction unit 17 and the operation parameter data of the operation performed by the person to be evaluated. You can

＜評価結果の出力＞
図５は、第一実施形態に係る評価の一例を示す図である。横軸が経過時間［分］、縦軸が「給水制御弁」の操作量を示す給水制御弁操作量［％］である。評価対象者である訓練生Ｘが「給水制御弁」を操作した時系列の操作パラメータデータが実線で示され、第一予測部１７が予測した「給水制御弁」の操作量の予測値を示す時系列の操作パラメータデータが破線で示される。評価対象者は、０分から４分までの間で、給水制御弁操作量を－５［％］程度から２５［％］程度まで段階的に増加させる。例えば、２分の時点においては、評価対象者は給水制御弁操作量を９［％］程度としていたのに対し、第一予測部１７による予測値は給水制御弁操作量を２５［％］程度にしており、その時点において、評価対象者の操作量と予測値との間に大きな差異がある。また、例えば、４分以降においては、評価対象者の操作量と予測値との間には大きな差異がない。また、評価対象者の「給水制御弁操作量」の操作の得点は「６４点」と算出される。 <Output of evaluation results>
FIG. 5 is a diagram showing an example of evaluation according to the first embodiment. The horizontal axis is the elapsed time [minute], and the vertical axis is the water supply control valve operation amount [%] indicating the operation amount of the "water supply control valve". Time-series operation parameter data when the trainee X who is the subject of evaluation operated the "water supply control valve" is indicated by a solid line, and indicates the predicted value of the operation amount of the "water supply control valve" predicted by the first prediction unit 17. Time-series operational parameter data are indicated by dashed lines. The person to be evaluated increases the water supply control valve operation amount in steps from about -5 [%] to about 25 [%] from 0 minutes to 4 minutes. For example, at the time of 2 minutes, the subject of evaluation had the water supply control valve operation amount of about 9 [%], whereas the predicted value by the first prediction unit 17 was about 25 [%] of the water supply control valve operation amount. At that time, there is a large difference between the operation amount of the subject of evaluation and the predicted value. Further, for example, after 4 minutes, there is no significant difference between the operation amount of the person to be evaluated and the predicted value. In addition, the score for the operation of the "water supply control valve operation amount" of the person to be evaluated is calculated as "64 points".

＜評価システムにおける評価方法＞
次に、図６を参照して、評価システム１０を用いた、評価対象者の評価方法について説明する。図６は、第一実施形態に係る評価システムの評価方法の一例を示すフローチャートである。下記の処理の順番は一例であり、適宜順番を入れ替えてもよい。 <Evaluation method in the evaluation system>
Next, with reference to FIG. 6, an evaluation method for an evaluation subject using the evaluation system 10 will be described. FIG. 6 is a flow chart showing an example of an evaluation method of the evaluation system according to the first embodiment. The order of the following processes is an example, and the order may be changed as appropriate.

評価システム１０は、運転データ取得部１１によって、シミュレータ１００から教師データ生成用の運転データを取得する（ステップＳ１１）。また、運転データ取得部１１が取得した運転データを運転データ記憶部１２へ記憶する。評価システム１０は、ステップＳ１２へ進む。 The evaluation system 10 acquires driving data for generating teacher data from the simulator 100 by the driving data acquisition unit 11 (step S11). Further, the operating data acquired by the operating data acquisition unit 11 is stored in the operating data storage unit 12 . The evaluation system 10 proceeds to step S12.

評価システム１０は、教師データ生成部１３によって、取得した運転データのうち熟練者が操作した運転データ、言い換えると、適切な操作がされた運転データから教師データを生成する（ステップＳ１２）。評価システム１０は、ステップＳ１３へ進む。 The evaluation system 10 uses the training data generation unit 13 to generate training data from the driving data in which the expert operated, in other words, the driving data in which the appropriate operation was performed among the acquired driving data (step S12). The evaluation system 10 proceeds to step S13.

評価システム１０は、生成した教師データに基づいて、第一予測モデル生成部１４によって、第一予測モデルを生成する（ステップＳ１３）。評価システム１０は、ステップＳ１４へ進む。 The evaluation system 10 uses the first prediction model generation unit 14 to generate a first prediction model based on the generated teacher data (step S13). The evaluation system 10 proceeds to step S14.

評価システム１０は、第一予測モデル生成部１４が生成した第一予測モデルを第一予測モデル記憶部１５へ記憶する（ステップＳ１４）。評価システム１０は、ステップＳ１５へ進む。 The evaluation system 10 stores the first prediction model generated by the first prediction model generation unit 14 in the first prediction model storage unit 15 (step S14). The evaluation system 10 proceeds to step S15.

評価システム１０は、運転データ取得部１１によって、シミュレータ１００から評価データ生成用の運転データを取得する（ステップＳ１５）。評価システム１０は、ステップＳ１６へ進む。 The evaluation system 10 obtains the driving data for generating the evaluation data from the simulator 100 by the driving data obtaining unit 11 (step S15). The evaluation system 10 proceeds to step S16.

評価システム１０は、評価データ生成部１６によって、取得した運転データのうち評価対象者が操作したデータから評価データを生成する（ステップＳ１６）。評価システム１０は、ステップＳ１７へ進む。 The evaluation system 10 uses the evaluation data generation unit 16 to generate evaluation data from data operated by the person to be evaluated among the acquired driving data (step S16). The evaluation system 10 proceeds to step S17.

評価システム１０は、第一予測部１７によって、評価データに含まれる条件データを第一予測モデルの入力として、時点ごとに適切な操作を予測する（ステップＳ１７）。評価システム１０は、ステップＳ１８へ進む。 The evaluation system 10 uses the condition data included in the evaluation data as an input to the first prediction model by the first prediction unit 17, and predicts an appropriate operation for each time point (step S17). The evaluation system 10 proceeds to step S18.

評価システム１０は、評価部１８によって、第一予測部１７が予測した操作を示す操作パラメータデータと、評価対象者が行った操作を示す操作パラメータデータとを比較して評価する（ステップＳ１８）。評価システム１０は、ステップＳ１９へ進む。 The evaluation system 10 compares and evaluates the operation parameter data indicating the operation predicted by the first prediction unit 17 and the operation parameter data indicating the operation performed by the person to be evaluated by the evaluation unit 18 (step S18). The evaluation system 10 proceeds to step S19.

評価システム１０は、評価出力部１９によって、評価部１８の評価結果を出力する（ステップＳ１９）。評価システム１０は、処理を終了する。 The evaluation system 10 outputs the evaluation result of the evaluation unit 18 by the evaluation output unit 19 (step S19). Evaluation system 10 ends the process.

なお、上述のステップＳ１１からＳ１９に示される評価方法は一例であり、本発明はこれに限定されるものではない。例えば、熟練者が操作したデータ及び評価対象者が操作したデータを含んだ運転データを評価システム１０が取得し、運転データから教師データを生成した後、評価データを生成してもよい。つまり、２回目の運転データ取得（Ｓ１５）を行わなくてもよい。 Note that the evaluation method shown in steps S11 to S19 described above is an example, and the present invention is not limited to this. For example, the evaluation system 10 may acquire driving data including data operated by an expert and data operated by a person to be evaluated, generate teaching data from the driving data, and then generate evaluation data. That is, it is not necessary to perform the second operation data acquisition (S15).

＜効果＞
以上のように、本実施形態では、第一予測部１７が、評価対象者が操作した場合における条件データを第一予測モデルの入力として、時点ごとに適切な操作の操作パラメータデータを予測する。また、本実施形態では、評価部１８が、第一予測部１７が予測した操作パラメータデータと、評価対象者が行った操作の操作パラメータデータとを比較して評価する。本実施形態によれば、評価対象者が行った操作の操作量と操作タイミングとを適切に評価することができる。 <effect>
As described above, in the present embodiment, the first prediction unit 17 predicts operation parameter data of an appropriate operation for each time point, using the condition data in the case where the person to be evaluated performs the operation as an input to the first prediction model. Further, in the present embodiment, the evaluation unit 18 compares the operation parameter data predicted by the first prediction unit 17 and the operation parameter data of the operation performed by the person to be evaluated for evaluation. According to this embodiment, it is possible to appropriately evaluate the operation amount and the operation timing of the operation performed by the person to be evaluated.

本実施形態では、評価出力部１９が、第一予測部１７が予測した操作の操作パラメータデータの軌跡と、評価対象者が行った操作の操作パラメータデータの軌跡とを重ねて表示したり出力したりする。本実施形態によれば、時点ごとに、評価対象者が行った操作と熟練者の操作とに差異があるか否かを容易に確認することができる。 In this embodiment, the evaluation output unit 19 displays or outputs the trajectory of the operation parameter data of the operation predicted by the first prediction unit 17 and the trajectory of the operation parameter data of the operation performed by the person to be evaluated in an overlapping manner. or According to this embodiment, it is possible to easily check whether or not there is a difference between the operation performed by the person to be evaluated and the operation performed by the expert at each point in time.

本実施形態では、評価部１８は、第一予測部１７が予測した操作パラメータデータと、評価対象者が行った操作の操作パラメータデータとの差分と、差分に応じた得点とを出力する。本実施形態によれば、時点ごとに、評価対象者が行った操作と熟練者の操作とに差異があるか否かを容易に確認することができる。 In this embodiment, the evaluation unit 18 outputs the difference between the operation parameter data predicted by the first prediction unit 17 and the operation parameter data of the operation performed by the person to be evaluated, and a score corresponding to the difference. According to this embodiment, it is possible to easily check whether or not there is a difference between the operation performed by the person to be evaluated and the operation performed by the expert at each point in time.

本実施形態では、評価部１８は、第一予測部１７が予測した操作パラメータデータと、評価対象者が行った操作の操作パラメータデータとの差分に応じた得点とを出力する。本実施形態によれば、時点ごとに、評価対象者が行った操作を定量的に評価することができる。 In this embodiment, the evaluation unit 18 outputs a score according to the difference between the operation parameter data predicted by the first prediction unit 17 and the operation parameter data of the operation performed by the person to be evaluated. According to this embodiment, the operation performed by the person to be evaluated can be quantitatively evaluated at each point in time.

本実施形態では、条件データは、圧力、温度、水位及び流量のうち少なくともいずれか一つのデータを含む。本実施形態によれば、プラントの運転状態に基づいて、評価対象者が行った操作を適切に評価することができる。 In this embodiment, the condition data includes at least one data of pressure, temperature, water level and flow rate. According to this embodiment, the operation performed by the person to be evaluated can be appropriately evaluated based on the operating state of the plant.

本実施形態では、条件データ及び操作パラメータデータは、シミュレータ１００から取得した運転データから取得する。本実施形態では、シミュレータ１００が模擬した運転状態において、評価対象者が行った操作を適切に評価することができる。 In this embodiment, the condition data and the operation parameter data are acquired from the operating data acquired from the simulator 100. FIG. In this embodiment, the operation performed by the person to be evaluated can be appropriately evaluated in the driving state simulated by the simulator 100 .

本実施形態では、操作パラメータデータは、弁またはポンプ等の操作項目と操作量とを含む。本実施形態によれば、プラントの運転状態に応じて評価対象者が行った操作を適切に評価することができる。 In this embodiment, the operation parameter data includes operation items such as valves or pumps and operation amounts. According to this embodiment, the operation performed by the person to be evaluated can be appropriately evaluated according to the operating state of the plant.

本実施形態では、プラントは、原子力プラントである。本実施形態によれば、原子力プラントにおいて評価対象者が行った操作を適切に評価することができる。 In this embodiment, the plant is a nuclear power plant. According to this embodiment, it is possible to appropriately evaluate the operation performed by the person to be evaluated in the nuclear power plant.

［第二実施形態］
＜評価システム＞
図７は、第二実施形態に係る評価システムの一例を示すブロック図である。図８は、第二予測モデルの教師データの一例を示す図である。図９は、第二実施形態に係る評価の一例を示す図である。図１０は、第二実施形態に係る評価システムの評価方法の一例を示すフローチャートである。本実施形態では、評価システム１０Ａは、第二予測モデル生成部２１Ａと、第二予測モデル記憶部２２Ａと、第二予測部２３Ａと、第二予測結果出力部２４Ａとを備える点で、第一実施形態の評価システム１０と異なる。評価システム１０Ａは、基本的な構成は第一実施形態と同様である。以下の説明においては、第一実施形態と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。 [Second embodiment]
<Evaluation system>
FIG. 7 is a block diagram showing an example of an evaluation system according to the second embodiment. FIG. 8 is a diagram showing an example of teacher data of the second prediction model. FIG. 9 is a diagram showing an example of evaluation according to the second embodiment. FIG. 10 is a flow chart showing an example of an evaluation method of the evaluation system according to the second embodiment. In the present embodiment, the evaluation system 10A includes a second prediction model generation unit 21A, a second prediction model storage unit 22A, a second prediction unit 23A, and a second prediction result output unit 24A. It differs from the evaluation system 10 of the embodiment. The basic configuration of the evaluation system 10A is the same as that of the first embodiment. In the following description, the same reference numerals or corresponding reference numerals are given to the same constituent elements as in the first embodiment, and detailed explanation thereof will be omitted.

第二予測モデル生成部２１Ａは、取得された運転データのうち任意の２つと、評価部１８が評価した差分を複数の評価段階に分類した評価分類とを入力として学習し、２つの運転データの組み合わせで示される２つの運転データの各パラメータがとり得る値の全領域にわたって評価分類を予測する第二予測モデルを生成する。本実施形態では、評価対象者が行った操作の操作パラメータデータのうち任意の１つと、これを特徴づける条件データのうち任意の１つと、評価部１８が評価した差分を複数の評価段階に分類した評価分類とを入力として学習し、操作パラメータデータと条件データとのいずれかの組み合わせで示される各パラメータがとり得る値の全領域にわたって評価分類を予測する第二予測モデルを生成する。なお、入力とするデータは本実施形態に限られるものではなく、例えば、異なる２つの操作パラメータデータを設定してもよいし、異なる２つのプラントパラメータデータを設定することができる。本実施形態では、第二予測モデルは、操作パラメータデータの操作項目と条件データとの組み合わせごとに生成される。以下では、操作パラメータデータと条件データとのいずれかの組み合わせで示される領域を、「評価領域」という。 The second prediction model generation unit 21A learns by inputting any two of the acquired driving data and evaluation classifications obtained by classifying the difference evaluated by the evaluation unit 18 into a plurality of evaluation stages, and learning the two driving data. A second prediction model is generated that predicts the evaluation classification over the entire range of possible values for each parameter of the two driving data shown in combination. In this embodiment, an arbitrary one of the operation parameter data of the operation performed by the person to be evaluated, an arbitrary one of the condition data characterizing it, and the difference evaluated by the evaluation unit 18 are classified into a plurality of evaluation stages. A second prediction model is generated that learns with the obtained evaluation classification as an input and predicts the evaluation classification over the entire range of possible values for each parameter indicated by any combination of the operation parameter data and the condition data. The data to be input is not limited to this embodiment, and for example, two different operation parameter data may be set, or two different plant parameter data may be set. In this embodiment, the second prediction model is generated for each combination of the operation item of the operation parameter data and the condition data. Hereinafter, an area indicated by any combination of operation parameter data and condition data will be referred to as an "evaluation area".

本実施形態では、第二予測モデル生成部２１Ａは、教師データに含まれる操作パラメータデータ及び条件データを説明変数とし、評価分類を目的変数として、決定木分析によって第二予測モデルを生成する。 In the present embodiment, the second prediction model generation unit 21A generates the second prediction model by decision tree analysis using the operation parameter data and condition data included in the teacher data as explanatory variables and the evaluation classification as the objective variable.

差分の良否について説明する。評価部１８が評価した差分とは、時点ごとの、第一予測部１７が予測した操作の操作パラメータデータの操作量と、評価対象者が行った操作の操作パラメータデータの操作量との差分である。評価部１８は、時点ごとに、差分に応じて良否を設定する。例えば、評価部１８は、差分が小さい順に、すなわち、評価が良い順に、良否を「ＶｅｒｙＧｏｏｄ」、「Ｇｏｏｄ」、「Ｂａｄ」、「ＶｅｒｙＢａｄ」の４段階で設定する。「ＶｅｒｙＧｏｏｄ」は、評価対象者の操作の評価が非常に良く、熟練者の操作に近いことを示す。「Ｇｏｏｄ」は、改善の余地があるが、評価対象者の操作の評価が良いことを示す。「Ｂａｄ」は、評価対象者の操作の評価がやや悪いことを示す。「ＶｅｒｙＢａｄ」は、評価対象者の操作の評価が非常に悪いことを示す。良否は、操作の要求が定義されたマニュアル等に基づいて設定してもよいし、熟練者等の判断によって設定してもよい。このような差分の良否を、評価分類としてもよい。 The quality of the difference will be explained. The difference evaluated by the evaluation unit 18 is the difference between the operation amount of the operation parameter data of the operation predicted by the first prediction unit 17 and the operation amount of the operation parameter data of the operation performed by the person to be evaluated. be. The evaluation unit 18 sets pass/fail at each point in time according to the difference. For example, the evaluation unit 18 sets the quality in four stages of "Very Good", "Good", "Bad", and "Very Bad" in ascending order of difference, that is, in ascending order of evaluation. "Very Good" indicates that the evaluation of the operation by the person to be evaluated is very good and is close to that of an expert. "Good" indicates that there is room for improvement, but the evaluation subject's operation is good. "Bad" indicates that the evaluation subject's operation is somewhat poorly evaluated. "Very Bad" indicates that the subject's evaluation of the operation is very bad. The pass/fail may be set based on a manual or the like in which operation requirements are defined, or may be set based on the judgment of an expert or the like. The quality of such a difference may be used as the evaluation classification.

図８を用いて、第二予測モデルの入力データについて説明する。入力データは、操作パラメータデータと条件データと評価分類を含む。本実施形態では、教師データに含まれる操作パラメータデータは、シミュレータ１００に対する操作の操作項目である「給水制御弁」と、その操作量とを含む。教師データに含まれる条件データは、シミュレータ１００が模擬した、プラントの所定部の流量である「給水流量」である。教師データに含まれる評価分類は、例えば、１行目のデータは「Ｇｏｏｄ」、２行目のデータは「Ｂａｄ」と記録されている。 Input data of the second prediction model will be described with reference to FIG. The input data includes operational parameter data, condition data and evaluation classification. In this embodiment, the operation parameter data included in the teacher data includes a "water supply control valve", which is an operation item for operating the simulator 100, and its operation amount. The condition data included in the teacher data is the "water supply flow rate", which is the flow rate of a predetermined portion of the plant simulated by the simulator 100. FIG. The evaluation classification included in the teacher data is recorded as, for example, "Good" for the data in the first row and "Bad" for the data in the second row.

本実施形態では、第二予測モデルは、木構造を使用して分類や回帰を行う機械学習の手法の一つである決定木とする。決定木分析による第二予測モデルの生成は、公知のいずれかの方法を使用すればよく限定されない。また、第二予測モデルは決定木に限定されず、他の機械学習、ディープラーニング等によって生成してもよい。 In this embodiment, the second prediction model is a decision tree, which is one of the machine learning techniques that perform classification and regression using a tree structure. Generation of the second prediction model by decision tree analysis is not limited as long as any known method is used. Also, the second prediction model is not limited to a decision tree, and may be generated by other machine learning, deep learning, or the like.

第二予測モデルは、評価領域の全領域にわたって評価分類を予測する。第二予測モデルは、評価領域において、例えば、「ＶｅｒｙＧｏｏｄ」、「Ｇｏｏｄ」、「Ｂａｄ」、「ＶｅｒｙＢａｄ」の４段階の評価分類を全領域にわたって網羅的に予測する。 A second prediction model predicts the rating classification over the entire rating domain. The second prediction model exhaustively predicts the evaluation classification of four stages of "Very Good", "Good", "Bad", and "Very Bad" over the entire evaluation area, for example.

第二予測モデル記憶部２２Ａは、第二予測モデル生成部２１Ａが生成した第二予測モデルを記憶する。第二予測モデルは、操作パラメータデータの操作項目と条件データとの組み合わせごとに記憶される。 22 A of 2nd prediction model memory|storage parts memorize|store the 2nd prediction model which 21 A of 2nd prediction model production|generation parts produced|generated. A second prediction model is stored for each combination of the operation item of the operation parameter data and the condition data.

第二予測部２３Ａは、第二予測モデルを使用して、評価対象者が行った操作の操作パラメータデータを縦軸または横軸とし、条件データを横軸または縦軸として、第二予測モデルを使用して、全領域にわたって評価分類を予測する。なお、縦軸と横軸はこれに限られるものではなく、第二予測モデル生成部２１Ａ時の入力で選択されたものに従って設定される。例えば、異なる２つの操作パラメータデータであることもあるし、異なる２つのプラントパラメータデータである場合もありうる。 Using the second prediction model, the second prediction unit 23A sets the operation parameter data of the operation performed by the person to be evaluated on the vertical axis or the horizontal axis, and the condition data on the horizontal axis or the vertical axis. is used to predict the rating classification across all regions. Note that the vertical axis and horizontal axis are not limited to these, and are set according to what is selected by the input at the time of the second prediction model generating section 21A. For example, it may be two different operating parameter data or two different plant parameter data.

第二予測結果出力部２４Ａは、第二予測部２３Ａが予測した評価領域の全領域にわたる評価分類を識別可能に表示する。第二予測部２３Ａは、第二予測部２３Ａが予測した評価領域に、評価分類と、第一予測部１７が予測した操作パラメータデータの予測値の軌跡と、評価対象者が行った操作の操作パラメータデータの軌跡とを重ねて表示したり、出力したりしてもよい。 The second prediction result output unit 24A identifiably displays the evaluation classification over the entire evaluation region predicted by the second prediction unit 23A. The second prediction unit 23A stores, in the evaluation region predicted by the second prediction unit 23A, the evaluation classification, the trajectory of the predicted value of the operation parameter data predicted by the first prediction unit 17, and the operation performed by the person to be evaluated. The trajectory of the parameter data may be superimposed and displayed or output.

＜第二予測結果の出力＞
図９は、横軸がプラントパラメータデータの給水流量［ｍ^３／ｈ］、縦軸が操作パラメータデータの「給水制御弁」の操作量を示す給水制御弁操作量［％］である。給水流量と給水制御弁操作量とで示される全領域において、本実施形態の評価分類である良否が表示される。また、良否の境界で区切られた良否領域が色分けされて表示される。さらに、評価対象者である訓練生Ｘが「給水制御弁」を操作した時系列の操作パラメータデータが実線で示され、第一予測部１７が予測した操作パラメータデータの予測値が破線で示され、良否領域に重ねて表示される。このような表示を確認することにより、熟練者は、操作の開始から終了まで、流量変化が少なく、常に良否領域が「ＶｅｒｙＧｏｏｄ」であることがわかる。評価対象者は、操作の開始から終了まで、給水流量と給水制御弁操作量とが増減し、良否領域が「Ｇｏｏｄ」→「ＶｅｒｙＧｏｏｄ」→「Ｇｏｏｄ」→「Ｂａｄ」→「ＶｅｒｙＢａｄ」→「Ｂａｄ」→「Ｇｏｏｄ」と変化することがわかる。このように、訓練時に、評価対象者及び熟練者がどのように操作を行ったのかを、評価とともに確認可能な表示がなされる。なお、本実施形態では「ＶｅｒｙＢａｄ」～「ＶｅｒｙＧｏｏｄ」で表される４段階の良否を評価分類としたが、本発明はこれに限られるものではない。例えば、より詳細な評価を行うために、段階をさらに細かく分けたりしてもよく、評価がわかり易く表示されるように、適宜最適な段階数に分類することができる。 <Output of second prediction result>
In FIG. 9, the horizontal axis is the water supply flow rate [m ³ /h] of the plant parameter data, and the vertical axis is the water supply control valve operation amount [%] indicating the operation amount of the "water supply control valve" of the operation parameter data. In the entire area indicated by the water supply flow rate and the water supply control valve operation amount, the quality, which is the evaluation classification of the present embodiment, is displayed. In addition, the pass/fail regions separated by the pass/fail boundaries are displayed in different colors. Furthermore, the time-series operation parameter data when the trainee X who is the subject of evaluation operated the "water supply control valve" is indicated by a solid line, and the predicted value of the operation parameter data predicted by the first prediction unit 17 is indicated by a dashed line. , are superimposed on the pass/fail area. By checking such a display, the expert can see that the flow rate changes little from the start to the end of the operation, and that the pass/fail region is always "Very Good". From the start to the end of the operation, the water supply flow rate and the water supply control valve operation amount increased and decreased, and the quality area was "Good" → "Very Good" → "Good" → "Bad" → "Very Bad" → It can be seen that there is a change from "Bad" to "Good". In this way, during the training, how the person to be evaluated and the expert performed operations are displayed together with the evaluation so that they can be confirmed. In the present embodiment, the evaluation classification is based on four levels of quality represented by "Very Bad" to "Very Good", but the present invention is not limited to this. For example, in order to perform a more detailed evaluation, the grades may be divided into even finer grades, and the grades can be appropriately classified into the optimal number of grades so that the evaluation can be displayed in an easy-to-understand manner.

＜評価システムにおける評価方法＞
次に、図１０を参照して、本実施形態における、評価システム１０Ａを用いた評価対象者の評価方法について説明する。図１０に示す処理は、図６に示す処理を実行した後に実行される。下記の処理の順番は一例であり、適宜順番を入れ替えてもよい。なお、図１０に示す処理は、必ずしも図６のステップＳ１９までの処理を実行した後に実行される必要はなく、図６のステップＳ１８までの処理を実行した後に実行されてもよい。 <Evaluation method in the evaluation system>
Next, with reference to FIG. 10, an evaluation method for an evaluation subject using the evaluation system 10A in this embodiment will be described. The processing shown in FIG. 10 is executed after the processing shown in FIG. 6 is executed. The order of the following processes is an example, and the order may be changed as appropriate. Note that the process shown in FIG. 10 does not necessarily have to be executed after executing the process up to step S19 in FIG. 6, and may be executed after executing the process up to step S18 in FIG.

評価システム１０Ａは、第二予測モデル生成部２１Ａによって、評価対象者が行った操作の操作パラメータデータのうち任意の１つと、これに対応した条件データのうち任意の１つと、評価部１８が評価した差分を複数の評価段階に分類した評価分類とを入力として学習し、操作パラメータデータと条件データとのいずれかの組み合わせで示される全領域にわたって評価分類を予測する第二予測モデルを生成する（ステップＳ２１）。評価システム１０Ａは、ステップＳ２２へ進む。 The evaluation system 10A uses the second predictive model generation unit 21A to generate an arbitrary one of the operation parameter data of the operation performed by the person to be evaluated, an arbitrary one of the corresponding condition data, and the evaluation unit 18 evaluates Generate a second prediction model that predicts the evaluation classification over the entire area indicated by any combination of the operation parameter data and the condition data by learning with the evaluation classification obtained by classifying the difference into multiple evaluation stages as input ( step S21). The evaluation system 10A proceeds to step S22.

評価システム１０Ａは、第二予測モデル生成部２１Ａが生成した第二予測モデルを第二予測モデル記憶部２２Ａへ記憶する（ステップＳ２２）。評価システム１０Ａは、ステップＳ２３へ進む。 The evaluation system 10A stores the second prediction model generated by the second prediction model generation unit 21A in the second prediction model storage unit 22A (step S22). The evaluation system 10A proceeds to step S23.

評価システム１０Ａは、第二予測部２３Ａによって、第二予測モデルを使用して、評価対象者が行った操作の操作パラメータデータまたは評価対象者が操作した場合における条件データを縦軸または横軸とし、評価対象者が行った操作の操作パラメータデータまたは評価対象者が操作した場合における条件データを横軸または縦軸として、第二予測モデルを使用して、全領域にわたって評価段階を予測する（ステップＳ２３）。評価システム１０Ａは、ステップＳ２４へ進む。 Using the second prediction model, the evaluation system 10A uses the second prediction unit 23A to set the operation parameter data of the operation performed by the person to be evaluated or the condition data when the person to be evaluated operates on the vertical axis or the horizontal axis. , using the second prediction model, with the operation parameter data of the operation performed by the person to be evaluated or the condition data when the person to be evaluated operates on the horizontal axis or the vertical axis, predict the evaluation grade over the entire area (step S23). The evaluation system 10A proceeds to step S24.

評価システム１０Ａは、第二予測結果出力部２４Ａによって、第二予測部２３Ａが予測した結果と、評価対象者が行った操作の操作パラメータデータの軌跡とを重ねて表示する（ステップＳ２４）。評価システム１０Ａは、処理を終了する。 The evaluation system 10A causes the second prediction result output unit 24A to display the result predicted by the second prediction unit 23A and the trajectory of the operation parameter data of the operation performed by the person to be evaluated in a superimposed manner (step S24). The evaluation system 10A ends the processing.

＜効果＞
以上のように、本実施形態では、第二予測部２３Ａは、評価対象者が操作した場合における操作パラメータデータと条件データとのいずれかの組み合わせを縦軸及び横軸として、第二予測モデルを使用して、縦軸と横軸とで表される全領域にわたる評価分類を予測する。本実施形態では、第二予測結果出力部２４Ａが、第二予測部２３Ａが予測した結果と、評価対象者が行った操作の操作パラメータデータの軌跡とを重ねて表示する。本実施形態によれば、操作パラメータデータの軌跡とともに評価対象者の操作の良否を容易に確認することができる。また、縦軸及び横軸のいずれにも操作パラメータデータを設定せず、他データを設定した場合でも、２つのパラメータの相関が評価分類をベースにして確認できる。 <effect>
As described above, in the present embodiment, the second prediction unit 23A generates the second prediction model with the vertical axis and the horizontal axis representing any combination of the operation parameter data and the condition data when the person to be evaluated operates. is used to predict the rating classification over the entire region represented by the vertical and horizontal axes. In this embodiment, the second prediction result output unit 24A displays the result predicted by the second prediction unit 23A and the trajectory of the operation parameter data of the operation performed by the person to be evaluated in an overlapping manner. According to the present embodiment, it is possible to easily confirm the quality of the operation of the person to be evaluated along with the trajectory of the operation parameter data. Also, even if the operation parameter data is not set on either the vertical axis or the horizontal axis, and other data is set, the correlation between the two parameters can be confirmed based on the evaluation classification.

本実施形態では、第二予測結果出力部２４Ａが、第二予測部２３Ａが予測した結果と、評価対象者が行った操作の操作パラメータデータの軌跡と、第一予測部１７が予測した操作パラメータデータとを重ねて出力する。本実施形態によれば、時点ごとに、評価対象者の操作の良否とともに、評価対象者が行った操作と熟練者の操作とに差異があるか否かを容易に確認することができる。 In the present embodiment, the second prediction result output unit 24A outputs the result predicted by the second prediction unit 23A, the trajectory of the operation parameter data of the operation performed by the person to be evaluated, and the operation parameter predicted by the first prediction unit 17. Data is overlaid and output. According to the present embodiment, it is possible to easily check whether the operation performed by the person to be evaluated is good or not and whether or not there is a difference between the operation performed by the person to be evaluated and the operation performed by the expert at each point in time.

上記の各実施形態において、操作パラメータデータの操作項目の一例として、弁、ポンプ等を例示したがこれに限定されず、プラントの運転状態を変化させるための操作を示すものであればよい。 In each of the above-described embodiments, valves, pumps, and the like have been exemplified as examples of operation items of operation parameter data, but the present invention is not limited to these, and any operation for changing the operating state of the plant may be indicated.

上記の各実施形態において、プラントパラメータデータの一例として、時点ごとのプラントの所定部の圧力、温度、水位、流量等のデータを例示したが、これに限定されない。 In each of the above-described embodiments, as an example of plant parameter data, data such as pressure, temperature, water level, and flow rate of a predetermined portion of the plant at each point in time were exemplified, but the present invention is not limited to this.

上記の第二実施形態では、第二予測部２３Ａにおいて、評価対象者が行った操作の操作パラメータデータを縦軸とし、評価対象者が操作した場合における条件データを横軸としたが、これに限定されない。評価対象者が行った操作の操作パラメータデータを横軸とし、評価対象者が操作した場合における条件データを縦軸としてもよい。 In the second embodiment described above, in the second prediction unit 23A, the vertical axis represents the operation parameter data of the operation performed by the person to be evaluated, and the horizontal axis represents the condition data when the person to be evaluated performs the operation. Not limited. The operation parameter data of the operation performed by the subject of evaluation may be plotted on the horizontal axis, and the condition data when the subject of evaluation performs the operation may be plotted on the vertical axis.

上記の各実施形態では、シミュレータ１００から取得した訓練時のデータを使用して、訓練時の操作を評価するものとして説明したが、これに限定されない。例えば、実機から、リアルタイムまたは所定期間ごとに取得したデータを使用して、実機の操作を評価することも可能である。 In each of the above-described embodiments, the training data acquired from the simulator 100 is used to evaluate the operation during training, but the present invention is not limited to this. For example, it is possible to evaluate the operation of the actual machine using data obtained in real time or at predetermined intervals.

上記の各実施形態では、評価対象は人（訓練生等）であることを想定したが、本発明はこれに限られるものではない。例えば、評価対象がロボットやＡＩ等を含むコンピュータであってもよい。この場合、ロボットやＡＩの運転能力を適切に評価することができる。 In each of the embodiments described above, it is assumed that the subject of evaluation is a person (a trainee or the like), but the present invention is not limited to this. For example, the evaluation target may be a computer including a robot, an AI, or the like. In this case, it is possible to appropriately evaluate the driving ability of the robot or AI.

上記の各実施形態では、プラントが原子力プラントであるものとして説明したがこれに限定されず、例えば、火力プラント、化学プラント等にも適用可能である。 In each of the above embodiments, the plant is described as being a nuclear power plant, but the present invention is not limited to this, and can also be applied to, for example, a thermal power plant, a chemical plant, and the like.

１０評価システム
１１運転データ取得部
１２運転データ記憶部
１３教師データ生成部
１４第一予測モデル生成部
１５第一予測モデル記憶部
１６評価データ生成部
１７第一予測部
１８評価部
１９評価出力部
２１Ａ第二予測モデル生成部
２２Ａ第二予測モデル記憶部
２３Ａ第二予測部
２４Ａ第二予測結果出力部
１００シミュレータ（運転訓練シミュレータ）
１０１操作受付部
１０２運転データ取得部
１０３運転データ記憶部
１０４運転データ送信部 10 evaluation system 11 operation data acquisition unit 12 operation data storage unit 13 teacher data generation unit 14 first prediction model generation unit 15 first prediction model storage unit 16 evaluation data generation unit 17 first prediction unit 18 evaluation unit 19 evaluation output unit 21A Second prediction model generation unit 22A Second prediction model storage unit 23A Second prediction unit 24A Second prediction result output unit 100 simulator (operating training simulator)
101 operation reception unit 102 operation data acquisition unit 103 operation data storage unit 104 operation data transmission unit

Claims

(1) Predicting the appropriate operation parameter data for each time point by learning with the operation parameter data appropriately operated to change the operating state of the plant and the condition data characterizing the operation parameter data as inputs; a first prediction model storage unit that stores a prediction model;
a first prediction unit that predicts operation parameter data of an appropriate operation for each time point using condition data in the case where the evaluation target operates, as an input of the first prediction model;
an evaluation unit that compares and evaluates the operation parameter data predicted by the first prediction unit and the operation parameter data of the operation performed by the evaluation target;
A rating system with

2. The evaluation system according to claim 1, wherein said condition data includes plant parameter data indicating the operating state of the plant.

3. The evaluation output unit according to claim 1, further comprising an evaluation output unit that superimposes and outputs the trajectory of the operation parameter data of the operation predicted by the first prediction unit and the trajectory of the operation parameter data of the operation performed by the evaluation target. rating system.

4. The evaluation unit according to any one of claims 1 to 3, wherein the evaluation unit outputs a score corresponding to a difference between the operation parameter data predicted by the first prediction unit and the operation parameter data of the operation performed by the evaluation target. The rating system described in Section.

An arbitrary one of the operation parameter data of the operation performed by the evaluation object, an arbitrary one of the corresponding plant parameter data, and the difference evaluated by the evaluation unit are classified into a plurality of evaluation stages. a second prediction model storage unit that stores a second prediction model that learns with the classification as an input and predicts the evaluation classification over the entire region indicated by any combination of the operation parameter data and the plant parameter data;
Evaluate over the entire region using the second prediction model, with any combination of the operation parameter data and the plant parameter data that is the condition data when the evaluation target is operated as the vertical axis and the horizontal axis. a second predictor that predicts the classification;
3. The rating system of claim 2, further comprising:

A second prediction result output in which the result predicted by the second prediction unit, the trajectory of the operation parameter data of the operation performed by the evaluation target, and the operation parameter data predicted by the first prediction unit are output in an overlapping manner. 6. The rating system of claim 5, comprising:

7. The evaluation system according to any one of claims 1 to 6, wherein the condition data and the operational parameter data are acquired from an operation training simulator of the plant.

8. The evaluation system according to any one of claims 1 to 7, wherein the operation parameter data includes operation items and operation amounts including valves or pumps.

Any combination of the operation parameter data of the operation performed by the evaluation object and the plant parameter data indicating the operating state of the plant, which is condition data when the evaluation object is operated, and the difference evaluated by the evaluation unit are classified into a plurality of evaluation stages , and a second prediction model that predicts the evaluation classification over the entire region indicated by the combination of the two operation parameter data and the plant parameter data is stored. a two-prediction model storage unit;
Evaluation classification over the entire area using the second prediction model , with any combination of the operation parameter data and the plant parameter data, which is the condition data when the evaluation object is operated, as the vertical axis and the horizontal axis. a second prediction unit that predicts
5. The rating system according to any one of claims 1 to 4, further comprising:

10. The evaluation system according to any one of claims 1 to 9, wherein said plant is a nuclear power plant.

(1) Predicting the appropriate operation parameter data for each time point by learning with the operation parameter data appropriately operated to change the operating state of the plant and the condition data characterizing the operation parameter data as inputs; storing the prediction model in a first prediction model storage;
A step of predicting operation parameter data of an appropriate operation for each time point using condition data in the case where the evaluation target is operated as an input of the first prediction model;
a step of comparing and evaluating the predicted operation parameter data and the operation parameter data of the operation performed by the evaluation target;
evaluation methods, including

Any combination of the operation parameter data of the operation performed by the evaluation object and the plant parameter data indicating the operating state of the plant, which is the condition data when the evaluation object is operated, and the difference evaluated by the evaluation object are classified into a plurality of evaluation stages , and a second prediction model is learned that predicts the evaluation classification over the entire region indicated by the combination of the two operation parameter data and the plant parameter data. a step of storing in a model storage unit;
Evaluation classification over the entire area using the second prediction model , with any combination of the operation parameter data and the plant parameter data, which is the condition data when the evaluation object is operated, as the vertical axis and the horizontal axis. predicting the
The evaluation method according to claim 11, comprising:

a computer acting as a rating system,
(1) Predicting the appropriate operation parameter data for each time point by learning with the operation parameter data appropriately operated to change the operating state of the plant and the condition data characterizing the operation parameter data as inputs; storing the prediction model in a first prediction model storage;
A step of predicting operation parameter data of an appropriate operation for each time point using condition data in the case where the evaluation target is operated as an input of the first prediction model;
a step of comparing and evaluating the predicted operation parameter data and the operation parameter data of the operation performed by the evaluation target;
program to run.

Any combination of the operation parameter data of the operation performed by the evaluation object and the plant parameter data indicating the operating state of the plant, which is the condition data when the evaluation object is operated, and the difference evaluated by the evaluation object are classified into a plurality of evaluation stages , and a second prediction model is learned that predicts the evaluation classification over the entire region indicated by the combination of the two operation parameter data and the plant parameter data. a step of storing in a model storage unit;
Evaluation classification over the entire area using the second prediction model , with any combination of the operation parameter data and the plant parameter data, which is the condition data when the evaluation object is operated, as the vertical axis and the horizontal axis. predicting the
14. The program of claim 13, comprising:

to the computer,
(1) Predicting the appropriate operation parameter data for each time point by learning with the operation parameter data appropriately operated to change the operating state of the plant and the condition data characterizing the operation parameter data as inputs; storing the prediction model in a first prediction model storage;
A step of predicting operation parameter data of an appropriate operation for each time point using condition data in the case where the evaluation target is operated as an input of the first prediction model;
a step of comparing and evaluating the predicted operation parameter data and the operation parameter data of the operation performed by the evaluation target;
program to run.