WO2021066194A1 - 学習装置、学習方法および学習プログラム - Google Patents

学習装置、学習方法および学習プログラム Download PDF

Info

Publication number
WO2021066194A1
WO2021066194A1 PCT/JP2020/037783 JP2020037783W WO2021066194A1 WO 2021066194 A1 WO2021066194 A1 WO 2021066194A1 JP 2020037783 W JP2020037783 W JP 2020037783W WO 2021066194 A1 WO2021066194 A1 WO 2021066194A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
model
task
parameters
unit
Prior art date
Application number
PCT/JP2020/037783
Other languages
English (en)
French (fr)
Inventor
裕貴 造酒
良介 丹野
恵介 切通
Original Assignee
エヌ・ティ・ティ・コミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌ・ティ・ティ・コミュニケーションズ株式会社 filed Critical エヌ・ティ・ティ・コミュニケーションズ株式会社
Priority to CN202080058191.0A priority Critical patent/CN114270372A/zh
Publication of WO2021066194A1 publication Critical patent/WO2021066194A1/ja
Priority to US17/711,034 priority patent/US20220230067A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to a learning device, a learning method, and a learning program.
  • CNN convolutional neural networks
  • the features obtained from the middle layer of CNN trained using a large-scale data set of good quality such as ImageNet are extremely versatile and can be diverted to various tasks such as object recognition, image conversion, and image retrieval. Is known to be.
  • fine tuning has been established as a basic technology in the image field, and the current situation is that various trained models are shared by open source.
  • the transfer learning method such as fine tuning described above is limited to the image field, and is not limited to other fields such as natural language processing and speech recognition.
  • the learning device of the present invention uses an acquisition unit for acquiring time-series data related to a processing target and time-series data acquired by the acquisition unit as a learning data set.
  • a first learning unit that performs a learning process that updates the parameters of the first model by solving the first task for the first model including a neural network composed of a plurality of layers.
  • the second model including the neural network whose initial value is the parameter of the first model that has been trained by the first learning unit using the training data set. It is characterized by having a second learning unit that performs a learning process for updating the parameters of the second model by solving a second task different from the task.
  • the learning method of the present invention is a learning method executed by a learning device, in which an acquisition step of acquiring time-series data relating to a processing target and a time-series data acquired by the acquisition step are used as a learning data set.
  • the second model including the neural network whose initial value is the parameter of the first model that has been trained by the first learning step using the training data set the first model is used. It is characterized by including a second learning step of performing a learning process of updating the parameters of the second model by solving a second task different from the task.
  • the learning program of the present invention uses an acquisition step for acquiring time-series data related to a processing target and the time-series data acquired by the acquisition step as a learning data set, and is a neural network composed of a plurality of layers.
  • the first learning step of performing a learning process for updating the parameters of the first model by solving the first task for the first model including the above, and the training data set are used.
  • FIG. 1 is a block diagram showing a configuration example of the learning device according to the first embodiment.
  • FIG. 2 is a diagram illustrating a process of updating the parameters of the entire model.
  • FIG. 3 is a diagram illustrating a process of updating some parameters of the model.
  • FIG. 4 is a diagram illustrating an outline of a learning process executed by the learning device.
  • FIG. 5 is a flowchart showing an example of the flow of learning processing in the learning device according to the first embodiment.
  • FIG. 6 is a diagram showing a computer that executes a learning program.
  • the learning device the learning method, and the embodiment of the learning program according to the present application will be described in detail based on the drawings.
  • the learning device, learning method, and learning program according to the present application are not limited by this embodiment.
  • FIG. 1 is a block diagram showing a configuration example of the learning device according to the first embodiment.
  • the learning device 10 is a device that learns a model that inputs time series data.
  • the model that the learning device 10 learns may be any model.
  • the learning device 10 collects a plurality of data acquired by sensors installed in monitored equipment such as a factory or a plant, and inputs the collected data to predict an abnormality in the monitored equipment. Learn the model of.
  • the learning device 10 has a communication processing unit 11, a control unit 12, and a storage unit 13. The processing of each part of the learning device 10 will be described below.
  • the communication processing unit 11 controls communication related to various information exchanged with the connected device.
  • the storage unit 13 stores data and programs required for various processes by the control unit 12, and has a data storage unit 13a and a learned model storage unit 13b.
  • the storage unit 13 is a storage device such as a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory).
  • the data storage unit 13a stores time-series data acquired by the acquisition unit 12a, which will be described later.
  • the data storage unit 13a may be used for sensor data (for example, data such as temperature, pressure, sound, vibration, etc.) provided in a target device such as a factory, plant, building, or data center, or sensor attached to a human body.
  • Sensor data for example, data such as temperature, pressure, sound, vibration, etc.
  • a target device such as a factory, plant, building, or data center
  • Data for example, acceleration data of an accelerometer
  • the trained model storage unit 13b stores the trained model learned by the second learning unit 12c, which will be described later.
  • the trained model storage unit 13b stores the prediction model of the neural network for predicting the abnormality of the monitored equipment as the trained model.
  • the control unit 12 has an internal memory for storing a program that defines various processing procedures and required data, and executes various processing by these.
  • the control unit 12 has an acquisition unit 12a, a first learning unit 12b, and a second learning unit 12c.
  • the control unit 12 is, for example, an electronic circuit such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphical Processing Unit), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array). It is an integrated circuit such as.
  • the acquisition unit 12a acquires time-series data related to the processing target. For example, the acquisition unit 12a acquires sensor data. To explain with a specific example, the acquisition unit 12a periodically (for example, every minute) receives numerical data of a multivariate time series from a sensor installed in a monitored facility such as a factory or a plant. It is stored in the data storage unit 13a.
  • the data acquired by the sensor is, for example, various data such as temperature, pressure, sound, and vibration of the equipment to be monitored, the equipment in the plant, and the reactor.
  • the sensor data is not limited to the above, and the acquisition unit 12a may acquire the sensor data from the acceleration sensor attached to the human body as the sensor data, for example.
  • the data acquired by the acquisition unit 12a is not limited to the data acquired by the sensor, and may be, for example, numerical data manually input.
  • the first learning unit 12b uses the time series data acquired by the acquisition unit 12a as a learning data set, and performs a first task for the first model including a neural network composed of a plurality of layers.
  • the learning process that updates the parameters of the first model is performed by solving.
  • the first learning unit 12b reads out the time series data stored in the data storage unit 13a as a learning data set. Then, the first learning unit 12b inputs the learning data set into the neural network composed of, for example, the input layer, the convolution layer, the fully connected layer, and the output layer, and what is the task (target task) originally desired to be solved. By solving different pseudo tasks, a learning process that updates the parameters of the first model is performed.
  • the second learning unit 12c uses the training data set for the second model including the neural network whose initial value is the parameter of the first model that has been trained by the first learning unit 12b. Then, the learning process of updating the parameters of the second model is performed by solving the second task different from the first task.
  • the second learning unit 12c reads out the same time-series data as the time-series data used in the first learning unit 12b from the data storage unit 13a as a learning data set. Then, for example, the second learning unit 12c inputs the learning data set with the model learned by the first learning unit 12b as the initial value, and solves the task originally desired to be solved, thereby causing the second model to be solved. Perform learning process to update parameters.
  • the second learning unit 12c may perform the learning process of updating the parameters of the entire second model by solving the second task, or by solving the second task. A learning process for updating some parameters of the second model may be performed.
  • FIG. 2 is a diagram illustrating a process of updating the parameters of the entire model.
  • FIG. 3 is a diagram illustrating a process of updating some parameters of the model.
  • (1) shows the learning process of the first learning unit 12b
  • (2) shows the learning process of the second learning unit 12c.
  • the first learning unit 12b of the learning device 10 is a task that the first learning unit 12b originally wants to solve in order to obtain the initial weight value of the first model.
  • Self-supervised learning in different pseudo-tasks eg regression).
  • the second learning unit 12c of the learning device 10 has the same learning as (1) of FIG. 2 with the first model learned by the first learning unit 12b as the initial value. Fine tuning of the entire second model (input layer, convolution layer, fully connected layer, output layer) is performed by inputting the data set for the purpose and solving the task that is originally desired to be solved.
  • the second learning unit 12c of the learning device 10 has the same learning as in FIG. 3 (1) with the first model learned by the first learning unit 12b as the initial value. Fine tuning of a part of the second model is performed by inputting the data set for the purpose and solving the task to be solved originally.
  • the second learning unit 12c applies the parameters as they are to the input layer, the convolutional layer, and a part of the fully connected layer, and other parts of the fully connected layer. Fine-tune only a part and the output layer. That is, the second learning unit 12b applies the parameters learned in the first learning unit 12b as they are to some layers closer to the input layer, and learns only some layers closer to the output layer with the task to be solved. Perform processing.
  • the second learning unit 12c of the learning device 10 inputs the learning data set with the first model learned by the first learning unit 12b as the initial value, and solves the task originally desired to be solved. Then, fine tune the second model. That is, the learning device 10 performs fine tuning and transfer learning on the time series data, which was difficult in the past, by performing self-supervised learning on the time series data.
  • the pseudo task described above may be a task different from the target task that is originally desired to be solved, and any task may be set in a pseudo manner.
  • the target task to be solved is a task that classifies sensor data (for example, a task that classifies actions from an acceleration sensor attached to the body)
  • the value of the sensor data after a predetermined time is predicted as a pseudo task. You may set the task to be done.
  • the first learning unit 12b uses the sensor data acquired by the acquisition unit 12a as a learning data set, and sets the value of the sensor data after a predetermined time with respect to the first model.
  • a learning process is performed to update the parameters of the first model by solving the task to be predicted. That is, the first learning unit 12b is, for example, a task of predicting a future value after several steps of one sensor from a plurality of sensors acquired as a pseudo task from a plurality of sensors acquired as a pseudo task. Train the model.
  • the second learning unit 12c uses the learning data set to solve the task of classifying the sensor data by using the parameters of the model that has been trained by the first learning unit 12b as initial values. Perform learning process to update model parameters. That is, the second learning unit 12c performs fine tuning of the second model in the task of classifying the sensor data with the first model learned by the first learning unit 12b as the initial value.
  • the target task to be solved is a task for detecting an abnormal value of the sensor data (for example, a task for detecting an abnormal behavior from an acceleration sensor attached to the body)
  • a predetermined time of the sensor data is set as a pseudo task. You may set a task to predict later values.
  • the first learning unit 12b uses the sensor data acquired by the acquisition unit 12a as a learning data set, and sets the value of the sensor data after a predetermined time with respect to the first model.
  • a learning process is performed to update the parameters of the first model by solving the task to be predicted. That is, the first learning unit 12b learns the first model in a task of predicting a future value after several steps of one sensor from a plurality of sensors acquired as a pseudo task, for example.
  • the second learning unit 12c sets the parameter of the first model that has been learned by the first learning unit 12b as an initial value, and solves the task of detecting an abnormal value of the sensor data to solve the model. Perform learning process to update parameters. That is, the second learning unit 12c performs fine tuning of the second model in the task of detecting the sensor data abnormality with the model learned by the first learning unit 12b as the initial value.
  • the target task to be solved is to solve the task of predicting the value of the sensor data after a predetermined time (for example, the task of predicting the acceleration after a few seconds from the acceleration sensor attached to the body), it is simulated.
  • a task may be set in which the sensor data is divided into fixed sections and the order is randomly rearranged and rearranged in the correct order.
  • the first learning unit 12b uses the sensor data acquired by the acquisition unit 12a as a learning data set, divides the sensor data into a fixed section with respect to the first model, and orders them in order. Update the parameters of the first model by solving the task of rearranging the randomly rearranged ones in the correct order. That is, the first learning unit 12b, for example, divides the data of a plurality of sensors acquired as a pseudo task in a certain section, and performs learning such that the data randomly rearranged is rearranged in the correct order.
  • the second learning unit 12c uses the learning data set and sets the parameter of the first model that has been trained by the first learning unit 12b as an initial value, and sets the value of the sensor data after a predetermined time. Update the parameters of the second model by solving the task of predicting. That is, the second learning unit 12c performs fine tuning of the model in the task of regressing the sensor data with the learned model as the initial value.
  • FIG. 4 is a diagram illustrating an outline of a learning process executed by the learning device.
  • the learning device 10 executes a two-step learning step of a learning step of solving a pseudo task (learning STEP1) and a learning step of solving a target task originally desired to be solved (learning STEP2).
  • the learning device 10 uses the weight of the model learned in the learning STEP1 as the initial value of the model in the learning STEP2.
  • the first learning unit 12b of the learning device 10 performs self-supervised learning with a pseudo task (for example, regression) different from the task originally desired to be solved in order to obtain the weight initial value of the first model. Do.
  • the second learning unit 12c of the learning device 10 inputs the learning data set with the first model learned by the first learning unit 12b as the initial value, and performs the task (for example, classification) originally desired to be solved.
  • the task for example, classification
  • the learning device 10 performs fine tuning on the time-series data, which was difficult in the past, by performing self-supervised learning on the time-series data.
  • the pseudo task pretext task
  • the pseudo task exemplifies a task of regressing sensor data or a task of rearranging randomly sorted sensor data in the correct order (Jigsaw pazzle). , Other tasks.
  • the first learning unit 12c of the learning device 10 is a pseudo task (for example, regression) different from the task originally desired to be solved in order to obtain the weight initial value of the first model, and has self-supervised learning. Do learning. Then, the second learning unit 12c of the learning device 10 inputs the learning data set with the first model learned by the first learning unit 12b as the initial value, and solves the task originally desired to be solved. Fine tune the second model. That is, in the learning device 10, fine tuning for time-series data, which was difficult in the past, can be performed by performing self-supervised learning for time-series data, and the model for time-series data can be quickly and accurately performed. It is possible to do learning.
  • fine tuning for time-series data which was difficult in the past, can be performed by performing self-supervised learning for time-series data, and the model for time-series data can be quickly and accurately performed. It is possible to do learning.
  • FIG. 5 is a flowchart showing an example of the flow of learning processing in the learning device according to the first embodiment.
  • the first learning unit 12b learns the model by a pseudo task (step S102). For example, the first learning unit 12b performs a learning process of updating the parameters of the first model by inputting a learning data set into the neural network and solving a pseudo task different from the task originally desired to be solved. Do.
  • the second learning unit 12c learns the model with the task to be solved, using the learned model as the initial value (step S103). For example, the second learning unit 12c sets the model learned by the first learning unit 12b as an initial value, inputs a learning data set, and solves the task originally desired to be solved to solve the second model. Perform learning process to update parameters.
  • the second learning unit 12c stores the learned model in the learned model storage unit 13c of the storage unit 13 (step S104).
  • the learning device 10 according to the first embodiment acquires time-series data related to the processing target. Then, the learning device 10 uses the acquired time-series data as a learning data set to solve the first task for the first model including the neural network composed of a plurality of layers. Performs learning process to update the parameters of one model. Subsequently, the learning device 10 uses the training data set to perform the first task for the second model including the neural network whose initial value is the parameter of the first model for which the training process has been performed. A learning process is performed to update the parameters of the second model by solving a different second task. As a result, the learning device 10 according to the first embodiment can quickly and accurately learn the model related to the time series data.
  • the learning device 10 in the learning device 10 according to the first embodiment, fine tuning is possible for time-series data, which was difficult in the past, and the accuracy and learning speed are improved as compared with learning using a random initial value for the model. Versatility is improved.
  • the feature expression of the data effective for the target task to be solved for the time series data is acquired by solving the pseudo task in advance.
  • Another advantage of self-supervised learning is that you don't have to create new labeled datasets, and you can take advantage of the vast majority of unlabeled data.
  • self-supervised learning for time-series data fine-tuning, which was difficult due to the absence of a general-purpose, large-scale data set, becomes possible, and accuracy and general for various tasks for time-series data. Improvement of conversion performance can be expected.
  • each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured. Further, each processing function performed by each device is realized by a CPU or GPU and a program that is analyzed and executed by the CPU or GPU, or as hardware by wired logic. It can be realized.
  • program It is also possible to create a program in which the processing executed by the learning device described in the above embodiment is described in a language that can be executed by a computer.
  • a calculation program in which the processing executed by the learning device 10 according to the embodiment is described in a language that can be executed by a computer.
  • the same effect as that of the above embodiment can be obtained by executing the calculation program by the computer.
  • the same processing as that of the above embodiment may be realized by recording the calculation program on a computer-readable recording medium, reading the calculation program recorded on the recording medium into the computer, and executing the program.
  • FIG. 6 is a diagram showing a computer that executes a calculation program.
  • the computer 1000 has, for example, a memory 1010, a CPU 1020, a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. However, each of these parts is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012, as illustrated in FIG.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090, as illustrated in FIG.
  • the disk drive interface 1040 is connected to the disk drive 1100 as illustrated in FIG.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120, as illustrated in FIG.
  • the video adapter 1060 is connected, for example, to a display 1130, as illustrated in FIG.
  • the hard disk drive 1090 stores, for example, OS1091, application program 1092, program module 1093, and program data 1094. That is, the above-mentioned calculation program is stored in, for example, the hard disk drive 1090 as a program module in which instructions executed by the computer 1000 are described.
  • the various data described in the above embodiment are stored as program data in, for example, a memory 1010 or a hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 into the RAM 1012 as needed, and executes various processing procedures.
  • the program module 1093 and program data 1094 related to the calculation program are not limited to the case where they are stored in the hard disk drive 1090, and may be stored in, for example, a removable storage medium and read by the CPU 1020 via a disk drive or the like. Good.
  • the program module 1093 and the program data 1094 related to the calculation program are stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.), and are stored via the network interface 1070. It may be read by the CPU 1020.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

学習装置（１０）は、処理対象に関する時系列データを取得する。そして、学習装置（１０）は、取得した時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで第一のモデルのパラメータを更新する学習処理を行う。続いて、学習装置（１０）は、学習用データセットを用いて、学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで第二のモデルのパラメータを更新する学習処理を行う。

Description

学習装置、学習方法および学習プログラム
　本発明は、学習装置、学習方法および学習プログラムに関する。
　従来、ニューラルネットワークの学習を行うには各層毎に予め重みの初期値を設定する必要があり、初期重みは乱数として初期化される事が多い。設定された重みの初期値によってはニューラルネットワークの学習結果も大きく変化するなど初期値依存性が高く、適切な重みの初期化をする必要があり、様々な重み初期化の方法が存在する。良い初期値を得ることで、精度が向上する、学習が安定する、学習のロスの収束が早い、過学習を抑止する等をもたらし良い学習結果を得るために重要である。
　特に、画像の分野において現在最も顕著な成功を収めている畳み込みニューラルネットワーク（Convolutional　Neural　Network、以下、ＣＮＮと略して記載）により構成されるネットワークについては、事前に大規模な学習データを用いた教師あり学習を行って得られた学習済みのパラメータを重みの初期値として、対象となるタスクを学習するファインチューニング（Fine-tuning）と呼ばれる重み初期値のアプローチを取る事が一般的である。
　これはImangeNetのような質が良い大規模データセットを用いて学習させたＣＮＮの中間層から得られる特徴は非常に汎用性が高く、物体認識・画像変換・画像検索といった様々なタスクへ転用可能であることが知られている。
　このように画像分野においてはファインチューニングは、基本技術として確立されており、様々な学習済みモデルがオープンソースで共有されるのが今日の現状である。ただし、上記で述べたファインチューニングといった転移学習手法は画像分野に限定され、自然言語処理、音声認識といった他分野においてはこの限りではない。
　また、時系列データへのニューラルネットワークの応用に関する研究は発達段階にあり研究事例自体が少ない。特に時系列データへの転移学習手法は確立されておらず、一般的にネットワークの重み初期化は乱数による初期化を利用する。
"Transfer　learning　for　time　series　classification"、［online］、［2019年9月6日検索］、インターネット＜https://arxiv.org/pdf/1811.01533.pdf＞
　しかしながら、従来の手法では、時系列データに関するモデルについて、迅速かつ精度よく学習を行うことができない場合があるという課題があった。例えば、画像分野では一般的に行われているファインチューニングや、転移学習は時系列解析の分野ではほとんど用いられていない。なぜなら、時系列データはデータによって、ドメイン（対象、データ収集過程、平均・分散・データの特性、生成過程）が異なるなど単純なファインチューニングは困難である。また、画像分野のImageNetのような汎用かつ大規模なデータセットが存在しないことも一因である。
　そのため、時系列データを入力とするモデルの学習においてはファインチューニングや、転移学習を用いずにモデルの重み初期値としてランダムな値を用いることが一般的だが、そのために精度が低い、学習速度が遅いなどの問題がある。
　上述した課題を解決し、目的を達成するために、本発明の学習装置は、処理対象に関する時系列データを取得する取得部と、前記取得部によって取得された時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行う第一の学習部と、前記学習用データセットを用いて、前記第一の学習部によって学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行う第二の学習部とを有することを特徴とする。
　また、本発明の学習方法は、学習装置によって実行される学習方法であって、処理対象に関する時系列データを取得する取得工程と、前記取得工程によって取得された時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行う第一の学習工程と、前記学習用データセットを用いて、前記第一の学習工程によって学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行う第二の学習工程とを含むことを特徴とする。
　また、本発明の学習プログラムは、処理対象に関する時系列データを取得する取得ステップと、前記取得ステップによって取得された時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行う第一の学習ステップと、前記学習用データセットを用いて、前記第一の学習ステップによって学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行う第二の学習ステップとをコンピュータに実行させることを特徴とする。
　本発明によれば、時系列データに関するモデルについて、迅速かつ精度よく学習を行うことができるという効果を奏する。
図１は、第１の実施形態に係る学習装置の構成例を示すブロック図である。 図２は、モデル全体のパラメータを更新する処理を説明する図である。 図３は、モデルの一部のパラメータを更新する処理を説明する図である。 図４は、学習装置によって実行される学習処理の概要について説明する図である。 図５は、第１の実施形態に係る学習装置における学習処理の流れの一例を示すフローチャートである。 図６は、学習プログラムを実行するコンピュータを示す図である。
　以下に、本願に係る学習装置、学習方法および学習プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る学習装置、学習方法および学習プログラムが限定されるものではない。
［第１の実施形態］
　以下の実施の形態では、第１の実施形態に係る学習装置１０の構成、学習装置１０の処理の流れを順に説明し、最後に第１の実施形態による効果を説明する。
［学習装置の構成］
　まず、図１を用いて、学習装置１０の構成を説明する。図１は、第１の実施形態に係る学習装置の構成例を示すブロック図である。学習装置１０は、時系列データを入力とするモデルを学習する装置である。学習装置１０が学習するモデルはどのようなモデルであってもよい。例えば、学習装置１０は、工場やプラントなどの監視対象設備に設置されるセンサによって取得された複数のデータを収集し、収集された複数のデータを入力として、監視対象設備の異常を予測するためのモデルを学習する。
　図１に示すように、この学習装置１０は、通信処理部１１、制御部１２および記憶部１３を有する。以下に学習装置１０が有する各部の処理を説明する。
　通信処理部１１は、接続される装置との間でやり取りする各種情報に関する通信を制御する。また、記憶部１３は、制御部１２による各種処理に必要なデータおよびプログラムを格納し、データ記憶部１３ａおよび学習済みモデル記憶部１３ｂを有する。例えば、記憶部１３は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子等の記憶装置である。
　データ記憶部１３ａは、後述する取得部１２ａによって取得された時系列データを記憶する。例えば、データ記憶部１３ａは、工場、プラント、ビル、データセンタ等の対象機器に設けられたセンサのデータ（例えば、温度や圧力、音、振動等のデータ）や、人体に取り付けられたセンサのデータ（例えば、加速度センサの加速度のデータ）を記憶する。
　学習済みモデル記憶部１３ｂは、後述する第二の学習部１２ｃによって学習された学習済みモデルを記憶する。例えば、学習済みモデル記憶部１３ｂは、学習済みモデルとして、監視対象設備の異常を予測するためのニューラルネットワークの予測モデルを記憶する。
　制御部１２は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１２は、取得部１２ａ、第一の学習部１２ｂおよび第二の学習部１２ｃを有する。ここで、制御部１２は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphical　Processing　Unit）などの電子回路やＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などの集積回路である。
　取得部１２ａは、処理対象に関する時系列データを取得する。例えば、取得部１２ａは、センサデータを取得する。具体例を挙げて説明すると、取得部１２ａは、例えば、工場やプラントなどの監視対象設備に設置されるセンサから多変量時系列の数値データを定期的（例えば、１分ごと）に受信し、データ記憶部１３ａに格納する。
　ここでセンサが取得するデータとは、例えば、監視対象設備である工場、プラント内の装置や反応炉についての温度や圧力、音、振動等の各種データである。また、センサデータは上記に限定されるものではなく、取得部１２ａは、例えば、センサデータとして、人体に取り付けた加速度センサからセンサデータを取得するようにしてもよい。また、取得部１２ａが取得するデータはセンサが取得したデータに限定されるものではなく、例えば、人的に入力された数値データ等でもよい。
　第一の学習部１２ｂは、取得部１２ａによって取得された時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで第一のモデルのパラメータを更新する学習処理を行う。
　例えば、第一の学習部１２ｂは、データ記憶部１３ａに記憶された時系列データを学習用データセットとして読み出す。そして、第一の学習部１２ｂは、例えば、入力層、畳込み層、全結合層および出力層で構成されるニューラルネットワークに学習用データセットを入力し、本来解きたいタスク（ターゲットタスク）とは異なる疑似的なタスクを解かせることで、第一のモデルのパラメータを更新する学習処理を行う。
　第二の学習部１２ｃは、学習用データセットを用いて、第一の学習部１２ｂによって学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで第二のモデルのパラメータを更新する学習処理を行う。
　例えば、第二の学習部１２ｃは、第一の学習部１２ｂで使用された時系列データと同一の時系列データを学習用データセットとしてデータ記憶部１３ａから読み出す。そして、第二の学習部１２ｃは、例えば、第一の学習部１２ｂによって学習したモデルを初期値として、学習用データセットを入力し、本来解きたいタスクを解かせることで、第二のモデルのパラメータを更新する学習処理を行う。
　ここで、第二の学習部１２ｃは、第二のタスクを解かせることで第二のモデル全体のパラメータを更新する学習処理を行うようにしてもよいし、第二のタスクを解かせることで第二のモデルの一部のパラメータを更新する学習処理を行うようにしてもよい。
　ここで、図２および図３を用いて、学習装置１０によって実行される学習処理について説明する。図２は、モデル全体のパラメータを更新する処理を説明する図である。図３は、モデルの一部のパラメータを更新する処理を説明する図である。図２および図３の例では、（１）が第一の学習部１２ｂの学習処理であり、（２）が第二の学習部１２ｃの学習処理を示すものである。
　図２（１）および図３（１）に例示するように、まず、学習装置１０の第一の学習部１２ｂは、第一のモデルの重み初期値を得るために、本来解きたいタスクとは異なる疑似的なタスク（例えば、回帰）で、自己教師あり学習を行う。
　そして、図２の（２）例では、学習装置１０の第二の学習部１２ｃは、第一の学習部１２ｂによって学習した第一のモデルを初期値として、図２の（１）と同じ学習用データセットを入力し、本来解きたいタスクを解かせることで、第二のモデル全体（入力層、畳み込み層、全結合層、出力層）のファインチューニングを行う。
　また、図３の（２）例では、学習装置１０の第二の学習部１２ｃは、第一の学習部１２ｂによって学習した第一のモデルを初期値として、図３の（１）と同じ学習用データセットを入力し、本来解きたいタスクを解かせることで、第二のモデル一部のファインチューニングを行う。
　例えば、図３の（２）に例示するように、第二の学習部１２ｃは、入力層、畳み込み層、および、全結合層の一部についてはパラメータをそのまま適用し、全結合層のその他の一部と出力層のみファインチューニングを行う。つまり、第二の学習部１２ｂは、入力層により近い一部の層については第一の学習部１２ｂで学習したパラメータをそのまま適用し、出力層により近い一部の層のみ、解きたいタスクで学習処理を行う。
　このように、学習装置１０の第二の学習部１２ｃは、第一の学習部１２ｂによって学習した第一のモデルを初期値として、学習用データセットを入力し、本来解きたいタスクを解かせることで、第二のモデルのファインチューニングを行う。つまり、学習装置１０では、時系列データに対して自己教師あり学習を行うことによって従来では困難だった時系列データに対するファインチューニング、転移学習を実行する。
　なお、上記した疑似的なタスクは、本来解きたいターゲットタスクと異なるタスクであればよく、どのようなタスクを疑似的に設定してもよい。例えば、本来解きたいターゲットタスクが、センサデータを分類するタスク（例えば、体につけた加速度センサから行動を分類するタスク）である場合には、疑似タスクとして、センサデータの所定時間後の値を予測するタスクを設定してもよい。
　この場合には、例えば、第一の学習部１２ｂは、取得部１２ａによって取得されたセンサデータを学習用データセットとして用いて、第一のモデルに対して、センサデータの所定時間後の値を予測するタスクを解かせることで第一のモデルのパラメータを更新する学習処理を行う。つまり、第一の学習部１２ｂは、例えば、疑似タスクとして取得した複数のセンサから疑似タスクとして取得した複数のセンサからある１つのセンサの数ステップ後の未来の値を予測するタスクで第一のモデルの学習を行う。
　そして、第二の学習部１２ｃは、学習用データセットを用いて、第一の学習部１２ｂによって学習処理が行われたモデルのパラメータを初期値として、センサデータを分類するタスクを解かせることでモデルのパラメータを更新する学習処理を行う。つまり、第二の学習部１２ｃは、第一の学習部１２ｂで学習した第一のモデルを初期値としてセンサデータを分類するタスクで第二のモデルのファインチューニングを行う。
　また、例えば、本来解きたいターゲットタスクが、センサデータの異常値を検知するタスクである場合（例えば、体につけた加速度センサから異常行動を検知するタスク）に、疑似タスクとして、センサデータの所定時間後の値を予測するタスクを設定してもよい。
　この場合には、例えば、第一の学習部１２ｂは、取得部１２ａによって取得されたセンサデータを学習用データセットとして用いて、第一のモデルに対して、センサデータの所定時間後の値を予測するタスクを解かせることで第一のモデルのパラメータを更新する学習処理を行う。つまり、第一の学習部１２ｂは、例えば、疑似タスクとして取得した複数のセンサからある１つのセンサの数ステップ後の未来の値を予測するタスクで第一のモデルの学習を行う。
　そして、第二の学習部１２ｃは、第一の学習部１２ｂによって学習処理が行われた第一のモデルのパラメータを初期値として、センサデータの異常値を検知するタスクを解かせることでモデルのパラメータを更新する学習処理を行う。つまり、第二の学習部１２ｃは、第一の学習部１２ｂで学習したモデルを初期値としてセンサデータ異常検知するタスクで第二のモデルのファインチューニングを行う。
　また、例えば、本来解きたいターゲットタスクが、センサデータの所定時間後の値を予測するタスクを解かせるである場合（例えば、体につけた加速度センサから数秒後の加速度を予測するタスク）に、疑似タスクとして、センサデータを一定区間で区切り、順番をランダムに並び替えたものを正しい順番に並び替えるタスクを設定してもよい。
　この場合には、例えば、第一の学習部１２ｂは、取得部１２ａによって取得されたセンサデータを学習用データセットとして用いて、第一のモデルに対して、センサデータを一定区間で区切り、順番をランダムに並び替えたものを正しい順番に並び替えるタスクを解かせることで第一のモデルのパラメータを更新する。つまり、第一の学習部１２ｂは、例えば、疑似タスクとして取得した複数のセンサのデータをある一定区間で区切り、順番をランダムに並び替えたものを正しい順番に並び替えるような学習を行う。
　そして、第二の学習部１２ｃは、学習用データセットを用いて、第一の学習部１２ｂによって学習処理が行われた第一のモデルのパラメータを初期値として、センサデータの所定時間後の値を予測するタスクを解かせることで第二のモデルのパラメータを更新する。つまり、第二の学習部１２ｃは、学習したモデルを初期値としてセンサデータを回帰するタスクでモデルのファインチューニングを行う。
　ここで、図４の例を用いて、学習装置１０によって実行される学習処理の概要を説明する。図４は、学習装置によって実行される学習処理の概要について説明する図である。図４に例示するように、学習装置１０では、疑似タスクを解く学習ステップ（学習ＳＴＥＰ１）、および、本来解きたいターゲットタスクを解く学習ステップ（学習ＳＴＥＰ２）の２段階の学習ステップを実行する。学習装置１０は、学習ＳＴＥＰ１で学習したモデルの重みを学習ＳＴＥＰ２のモデルの初期値として使う。
　つまり、学習装置１０の第一の学習部１２ｂは、第一のモデルの重み初期値を得るために、本来解きたいタスクとは異なる疑似的なタスク（例えば、回帰）で、自己教師あり学習を行う。
　そして、学習装置１０の第二の学習部１２ｃは、第一の学習部１２ｂによって学習した第一のモデルを初期値として、学習用データセットを入力し、本来解きたいタスク（例えば、分類）を解かせることで、第二のモデルのファインチューニングを行う。つまり、学習装置１０では、時系列データに対して自己教師あり学習を行うことによって従来では困難だった時系列データに対するファインチューニングを実行する。なお、図４の例では、疑似タスク（pretextタスク）が、センサデータを回帰するタスク、もしくは、ランダムに並び替えられたセンサデータを正しい順番に並び替えるタスク（Jigsaw　pazzle）を例示しているが、その他のタスクであってもよい。
　このように、学習装置１０の第一の学習部１２ｃは、第一のモデルの重み初期値を得るために、本来解きたいタスクとは異なる疑似的なタスク（例えば、回帰）で、自己教師あり学習を行う。そして、学習装置１０の第二の学習部１２ｃは、第一の学習部１２ｂによって学習した第一のモデルを初期値として、学習用データセットを入力し、本来解きたいタスクを解かせることで、第二のモデルのファインチューニングを行う。つまり、学習装置１０では、時系列データに対して自己教師あり学習を行うことによって従来では困難だった時系列データに対するファインチューニングを実行することができ、時系列データに関するモデルについて、迅速かつ精度よく学習を行うことが可能である。
［学習装置の処理手順］
　次に、図５を用いて、第１の実施形態に係る学習装置１０による処理手順の例を説明する。図５は、第１の実施形態に係る学習装置における学習処理の流れの一例を示すフローチャートである。
　図５に例示するように、学習装置１０の取得部１２ａがデータを取得すると（ステップＳ１０１肯定）、第一の学習部１２ｂは、疑似的なタスクでモデルを学習する（ステップＳ１０２）。例えば、第一の学習部１２ｂは、ニューラルネットワークに学習用データセットを入力し、本来解きたいタスクとは異なる疑似的なタスクを解かせることで、第一のモデルのパラメータを更新する学習処理を行う。
　続いて、第二の学習部１２ｃは、学習したモデルを初期値として、解きたいタスクでモデルを学習する（ステップＳ１０３）。例えば、第二の学習部１２ｃは、例えば、第一の学習部１２ｂによって学習したモデルを初期値として、学習用データセットを入力し、本来解きたいタスクを解かせることで、第二のモデルのパラメータを更新する学習処理を行う。
　そして、第二の学習部１２ｃは、所定の終了条件を満たして学習処理を終了すると、学習済みモデルを記憶部１３の学習済みモデル記憶部１３ｃに格納する（ステップＳ１０４）。
［第１の実施形態の効果］
　第１の実施形態に係る学習装置１０は、処理対象に関する時系列データを取得する。そして、学習装置１０は、取得した時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで第一のモデルのパラメータを更新する学習処理を行う。続いて、学習装置１０は、学習用データセットを用いて、学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで第二のモデルのパラメータを更新する学習処理を行う。これにより、第１の実施形態に係る学習装置１０では、時系列データに関するモデルについて、迅速かつ精度よく学習を行うことができる。
　つまり、第１の実施形態に係る学習装置１０では、従来では困難であった時系列データに対してファインチューニングが可能となり、モデルにランダムな初期値を用いた学習に比べて精度や学習速度、汎用性が向上する。
　また、従来の画像分野における自己教師あり学習では画像のドメインに応じて適切なpretext　task（疑似タスク）を設定する必要があるが、第１の実施形態に係る学習装置１０では、例えば、時系列データはその性質上数ステップ後を予測するような回帰は簡単に設定できるので疑似タスクを考える負担が少ない。なお、時系列データの特性上、擬似的なタスクとして回帰タスクを解くことは容易であり、自己教師あり学習との親和性が高い。
　学習装置１０では、例えば、時系列データに対して解きたいターゲットタスクに有効なデータの特徴表現を擬似的なタスクを事前に解くことで獲得する。また、自己教師あり学習のメリットとして、ラベル付きの新しいデータセットを作る必要がない、大多数のラベルがついてないデータを活用できるという点がある。時系列データに対して自己教師あり学習を用いることによって、汎用で大規模なデータセットが存在しないために困難であったファインチューニングが可能となり、時系列データに対する様々なタスクに対して精度、汎化性能の向上が期待できる。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵおよび当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　また、上記実施形態において説明した学習装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係る学習装置１０が実行する処理をコンピュータが実行可能な言語で記述した算出プログラムを作成することもできる。この場合、コンピュータが算出プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかる算出プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された算出プログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
　図６は、算出プログラムを実行するコンピュータを示す図である。図６に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。
　メモリ１０１０は、図６に例示するように、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図６に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図６に例示するように、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図６に例示するように、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図６に例示するように、例えばディスプレイ１１３０に接続される。
　ここで、図６に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、算出プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。
　また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。
　なお、算出プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、算出プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　１０　学習装置
　１１　通信処理部
　１２　制御部
　１２ａ　取得部
　１２ｂ　第一の学習部
　１２ｃ　第二の学習部
　１３　記憶部
　１３ａ　データ記憶部
　１３ｂ　学習済みモデル記憶部

Claims (8)

  1. 　処理対象に関する時系列データを取得する取得部と、
    　前記取得部によって取得された時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行う第一の学習部と、
    　前記学習用データセットを用いて、前記第一の学習部によって学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行う第二の学習部と
    　を有することを特徴とする学習装置。
  2. 　前記第二の学習部は、前記第二のタスクを解かせることで前記第二のモデル全体のパラメータを更新する学習処理を行うことを特徴とする請求項１に記載の学習装置。
  3. 　前記第二の学習部は、前記第二のタスクを解かせることで前記第二のモデルにおける一部のパラメータを更新する学習処理を行うことを特徴とする請求項１に記載の学習装置。
  4. 　前記取得部は、前記時系列データとして、センサデータを取得し、
    　前記第一の学習部は、前記取得部によって取得されたセンサデータを学習用データセットとして用いて、前記第一のモデルに対して、前記センサデータの所定時間後の値を予測するタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行い、
    　前記第二の学習部は、前記学習用データセットを用いて、前記第一の学習部によって学習処理が行われた第一のモデルのパラメータを初期値として、前記センサデータを分類するタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行うことを特徴とする請求項１に記載の学習装置。
  5. 　前記取得部は、前記時系列データとして、センサデータを取得し、
    　前記第一の学習部は、前記取得部によって取得されたセンサデータを学習用データセットとして用いて、前記第一のモデルに対して、前記センサデータの所定時間後の値を予測するタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行い、
    　前記第二の学習部は、前記学習用データセットを用いて、前記第一の学習部によって学習処理が行われた第一のモデルのパラメータを初期値として、前記センサデータの異常値を検知するタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行うことを特徴とする請求項１に記載の学習装置。
  6. 　前記取得部は、前記時系列データとして、センサデータを取得し、
    　前記第一の学習部は、前記取得部によって取得されたセンサデータを学習用データセットとして用いて、前記第一のモデルに対して、前記センサデータを一定区間で区切り、順番をランダムに並び替えたものを正しい順番に並び替えるタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行い、
    　前記第二の学習部は、前記学習用データセットを用いて、前記第一の学習部によって学習処理が行われた第一のモデルのパラメータを初期値として、前記センサデータの所定時間後の値を予測するタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行うことを特徴とする請求項１に記載の学習装置。
  7. 　学習装置によって実行される学習方法であって、
    　処理対象に関する時系列データを取得する取得工程と、
    　前記取得工程によって取得された時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行う第一の学習工程と、
    　前記学習用データセットを用いて、前記第一の学習工程によって学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行う第二の学習工程と
    　を含むことを特徴とする学習方法。
  8. 　処理対象に関する時系列データを取得する取得ステップと、
    　前記取得ステップによって取得された時系列データを学習用データセットとして用いて、複数の層で構成されるニューラルネットワークを含む第一のモデルに対して、第一のタスクを解かせることで前記第一のモデルのパラメータを更新する学習処理を行う第一の学習ステップと、
    　前記学習用データセットを用いて、前記第一の学習ステップによって学習処理が行われた第一のモデルのパラメータを初期値としたニューラルネットワークを含む第二のモデルに対して、第一のタスクと異なる第二のタスクを解かせることで前記第二のモデルのパラメータを更新する学習処理を行う第二の学習ステップと
    　をコンピュータに実行させることを特徴とする学習プログラム。
PCT/JP2020/037783 2019-10-04 2020-10-05 学習装置、学習方法および学習プログラム WO2021066194A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080058191.0A CN114270372A (zh) 2019-10-04 2020-10-05 学习装置、学习方法及学习程序
US17/711,034 US20220230067A1 (en) 2019-10-04 2022-04-01 Learning device, learning method, and learning program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019184138A JP7396847B2 (ja) 2019-10-04 2019-10-04 学習装置、学習方法および学習プログラム
JP2019-184138 2019-10-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/711,034 Continuation US20220230067A1 (en) 2019-10-04 2022-04-01 Learning device, learning method, and learning program

Publications (1)

Publication Number Publication Date
WO2021066194A1 true WO2021066194A1 (ja) 2021-04-08

Family

ID=75336527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037783 WO2021066194A1 (ja) 2019-10-04 2020-10-05 学習装置、学習方法および学習プログラム

Country Status (4)

Country Link
US (1) US20220230067A1 (ja)
JP (1) JP7396847B2 (ja)
CN (1) CN114270372A (ja)
WO (1) WO2021066194A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022250053A1 (ja) * 2021-05-26 2022-12-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 学習方法、学習装置、及び、プログラム
KR102538475B1 (ko) * 2022-04-21 2023-05-31 주식회사 앤트랩 사전 정의 작업 기반 데이터 선별 방법, 이를 이용한 능동 학습 방법, 그리고 이를 구현한 컴퓨팅 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228313A1 (en) * 2018-01-23 2019-07-25 Insurance Services Office, Inc. Computer Vision Systems and Methods for Unsupervised Representation Learning by Sorting Sequences

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228313A1 (en) * 2018-01-23 2019-07-25 Insurance Services Office, Inc. Computer Vision Systems and Methods for Unsupervised Representation Learning by Sorting Sequences

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"CNN transfer learning and fine tuning", QITA.COM, 8 January 2019 (2019-01-08), XP055810848, Retrieved from the Internet <URL:https://qiita.com/Phoeboooo/items/667409baf4b95f41fa55> *
ERHAN, DUMITRU, YOSHUA BENGIO; AARON COURVILLE; PIERRE-ANTOINE MANZAGOL; PASCAL VINCENT; SAMY BENGIO: "Why does unsupervised pre-training help deep learning", IN PROCEEDINGS OF THE THIRTEENTH INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND STATISTICS, vol. 11, 2010, pages 625 - 660, XP055263028 *
LEE, HSIN-YING; HUANG JIA-BIN; SINGH MANEESH; YANG MING-HSUAN: "Unsupervised representation learning by sorting sequences", IN PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, 2017, pages 667 - 676, XP033282922, DOI: 10.1109/ICCV.2017.79 *
MALHOTRA, PANKAJ, VISHNU TV; LOVEKESH VIG; PUNEET AGARWAL; GAUTAM SHROFF: "TimeNet: Pre-trained deep recurrent neural network for time series classification", ARXIV.ORG. 20170623, 23 June 2017 (2017-06-23), XP080772899, Retrieved from the Internet <URL:https://arxiv.org/pdf/1706.08838.pdf> [retrieved on 20201120] *
WANG, YU-XIONG; RAMANAN DEVA; HEBERT MARTIAL: "Growing a brain: Fine-tuning by increasing model capacity", IN PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2017, pages 3029 - 3038, XP033249649, DOI: 10.1109/CVPR.2017.323 *

Also Published As

Publication number Publication date
CN114270372A (zh) 2022-04-01
JP2021060762A (ja) 2021-04-15
JP7396847B2 (ja) 2023-12-12
US20220230067A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
US10810491B1 (en) Real-time visualization of machine learning models
JP6755849B2 (ja) 人工ニューラルネットワークのクラスに基づく枝刈り
US11610131B2 (en) Ensembling of neural network models
US20180300630A1 (en) Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
WO2021066194A1 (ja) 学習装置、学習方法および学習プログラム
Guo et al. Deep convolution feature learning for health indicator construction of bearings
KR20110133497A (ko) 툴 성능 저하 및 미스매치의 검출을 위한 방법 및 시스템
CN107977748B (zh) 一种多变量扭曲时间序列预测方法
US20200057937A1 (en) Electronic apparatus and controlling method thereof
CN115427968A (zh) 边缘计算设备中的鲁棒人工智能推理
US20220011760A1 (en) Model fidelity monitoring and regeneration for manufacturing process decision support
CN114861522B (zh) 一种基于人工智能元学习技术的精密制造质量监测方法和装置
JP2018528511A (ja) 生産システムにおける出力効率の最適化
Hong et al. Remaining useful life prediction using time-frequency feature and multiple recurrent neural networks
CN116089870A (zh) 基于元学习的小样本条件下工业设备故障预测方法及装置
CN114358274A (zh) 训练用于图像识别的神经网络的方法和设备
JP2024041064A (ja) センサ測定値の異常検出
EP3832413A1 (en) System, device and method for model based analytics
JP7163977B2 (ja) 推定装置、学習装置、それらの方法、およびプログラム
JP6871352B1 (ja) 学習装置、学習方法および学習プログラム
Pham et al. Recurrent neural network for classifying of HPC applications
WO2020251037A1 (ja) 学習装置、抽出装置、学習方法、抽出方法、学習プログラムおよび抽出プログラム
Paniagua et al. Nonlinear system identification using modified variational autoencoders
EP4170562A1 (en) Determining a measure of subject similarity
WO2023066693A1 (en) Determining a measure of subject similarity

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20871434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20871434

Country of ref document: EP

Kind code of ref document: A1