JP2024003643A - ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム - Google Patents

ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム Download PDF

Info

Publication number
JP2024003643A
JP2024003643A JP2022102925A JP2022102925A JP2024003643A JP 2024003643 A JP2024003643 A JP 2024003643A JP 2022102925 A JP2022102925 A JP 2022102925A JP 2022102925 A JP2022102925 A JP 2022102925A JP 2024003643 A JP2024003643 A JP 2024003643A
Authority
JP
Japan
Prior art keywords
data
model
remaining life
learning
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022102925A
Other languages
English (en)
Inventor
昌尚 棗田
Masanao Natsumeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022102925A priority Critical patent/JP2024003643A/ja
Priority to US18/212,486 priority patent/US20230419109A1/en
Publication of JP2024003643A publication Critical patent/JP2024003643A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】機器の余寿命を推定するニューラルネットワークを適切に学習する。【解決手段】ニューラルネットワークの学習方法は、保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法である。ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、複数のメンテナンスサイクルデータを含む学習データから得られる第１のモデルの出力及び第２のモデルの出力を用いて、メンテナンスサイクルデータの終端を基準とする余寿命を予測するように第１のモデルの重みパラメータを更新する。【選択図】図３

Description

この開示は、ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システムの技術分野に関する。
各種機器のメンテナンスを行うために、機器の余寿命（即ち、故障発生までの期間）を推定する方法が知られている。例えば特許文献１では、機械学習モデルによって、工作機械の数値制御装置に設けられるＮＡＮＤフラッシュメモリの余寿命を予測することが開示されている。特許文献２では、関数深層ネットワークにより監視対象システムの余寿命を予測することが開示されている。特許文献３では、２つの機械学習モデル（人工知能部）を切り替えて余寿命を予測することが開示されている。
特許第６３８６５２３号公報 特開２０２０－１９８０８１号公報 特開２０２１－０５６１５３号公報
この開示は、先行技術文献に開示された技術を改善することを目的とする。
この開示のニューラルネットワークの学習方法の一の態様は、保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法であって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する。
この開示のコンピュータプログラムの一の態様は、保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法であって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、ニューラルネットワークの学習方法をコンピュータに実行させる。
この開示の余寿命予測システムの一の態様は、保全の対象である対象機器の余寿命を予測するニューラルネットワークを備える余寿命予測システムであって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、前記第１のモデルは、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように重みパラメータを更新することで学習されている。
第１実施形態に係る余寿命予測システムのハードウェア構成を示すブロック図である。 第１実施形態に係る余寿命予測システムの機能的構成を示すブロック図である。 第１実施形態に係る余寿命予測システムの学習動作の流れを示すフローチャートである。 第１実施形態に係る余寿命予測システムの予測動作の流れを示すフローチャートである。 各メンテナンスサイクルでの対象となる機器の健全度の時間変化を示す概念図である。 第１実施形態に係る余寿命予測システムが実行する学習方法を示す概念図である。 第１実施形態に係る余寿命予測システムが実行する学習方法の流れを示すフローチャートである。 第２実施形態に係る余寿命予測システムが実行する学習方法を示す概念図である。 第２実施形態に係る余寿命予測システムが実行する学習方法の流れを示すフローチャートである。 第３実施形態に係る余寿命予測システムによる損失関数の計算方法の流れを示すフローチャートである。 第４実施形態に係る余寿命予測システムの学習動作の流れを示すフローチャートである。 第５実施形態に係る余寿命予測システムの学習動作の流れを示すフローチャートである。 第６実施形態に係る余寿命予測システムの学習動作の流れを示すフローチャートである。
以下、図面を参照しながら、ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システムの実施形態について説明する。なお、以下では、余寿命予測システムにおいてニューラルネットワークの学習方法が実行される例を挙げて説明を進める。
＜第１実施形態＞
第１実施形態に係る余寿命予測システムについて、図１から図７を参照して説明する。
（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る余寿命予測システムのハードウェア構成について説明する。図１は、第１実施形態に係る余寿命予測システムのハードウェア構成を示すブロック図である。
図１に示すように、第１実施形態に係る余寿命予測システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。余寿命予測システム１０は更に、入力装置１５と、出力装置１６と、を備えていてもよい。上述したプロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。
プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、余寿命予測システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、対象機器の余寿命を予測するための機能ブロック、及びニューラルネットワークを学習するための機能ブロックが実現される。即ち、プロセッサ１１は、本実施形態に係る余寿命予測システム１０における各制御を実行するコントローラとして機能してよい。
プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成されてよい。プロセッサ１１は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、ＳＲＡＭ(Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)であってよい。また、ＲＡＭ１２に代えて、他の種類の揮発性メモリが用いられてもよい。
ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、ＥＰＲＯＭ(Ｅｒａｓａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)であってよい。また、ＲＯＭ１３に代えて、他の種類の不揮発性 メモリが用いられてもよい。
記憶装置１４は、余寿命予測システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入力装置１５は、余寿命予測システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置１５は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。入力装置１５は、例えばマイクを含む音声入力が可能な装置であってもよい。
出力装置１６は、余寿命予測システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、余寿命予測システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。また、出力装置１６は、余寿命予測システム１０に関する情報を音声出力可能なスピーカ等であってもよい。出力装置１６は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。また、出力装置１６は、画像以外の形式で情報を出力する装置であってもよい。例えば、出力装置１６は、余寿命予測システム１０に関する情報を音声で出力するスピーカであってもよい。
なお、図１では、複数の装置を含んで構成される余寿命予測システム１０の例を挙げたが、これらの全部又は一部の機能を、１つの装置で実現してもよい。その場合、余寿命予測システムは、例えば上述したプロセッサ１１、ＲＡＭ１２、ＲＯＭ１３のみを備えて構成され、その他の構成要素（即ち、記憶装置１４、入力装置１５、及び出力装置１６）については、余寿命予測システム１０に接続される外部の装置が備えるようにしてもよい。また、余寿命予測システムは、一部の演算機能を外部の装置（例えば、外部サーバやクラウド等）によって実現するものであってもよい。
（機能的構成）
次に、図２を参照しながら、第１実施形態に係る余寿命予測システム１０の機能的構成について説明する。図２は、第１実施形態に係る余寿命予測システムの機能的構成を示すブロック図である。
図２に示すように、第１実施形態に係る余寿命予測システム１０は、その機能を実現するための構成要素として、データ収集部１１０と、学習部１２０と、予測部１３０と、出力部１４０と、記憶部１５０と、を備えて構成されている。データ収集部１１０、学習部１２０、予測部１３０、及び出力部１４０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。また、記憶部１５０は、例えば上述した記憶装置１４（図１参照）によって実現されてよい。
データ収集部１１０は、保全の対象である対象機器のメンテナンスサイクルデータを収集可能に構成されている。メンテナンスサイクルデータは、対象機器の保全直後から次回保全直前までの期間における時系列の稼働データである。なお、対象機器は、保全を行う機器であれば特に限定されないが、一例として、ハードディスク、ＮＡＮＤフラッシュメモリ、回転機器（例えば、ポンプやファン等）が挙げられる。ハードディスクの場合、メンテナンスサイクルデータには、Ｗｒｉｔｅ Ｃｏｕｎｔ、Ａｖｅｒａｇｅ Ｗｒｉｔｅ Ｒｅｓｐｏｎｓｅ Ｔｉｍｅ、Ｍａｘ Ｗｒｉｔｅ Ｒｅｓｐｏｎｓｅ Ｔｉｍｅ、Ｗｒｉｔｅ Ｔｒａｎｓｆｅｒ Ｒａｔｅ、Ｒｅａｄ Ｃｏｕｎｔ，Ａｖｅｒａｇｅ Ｒｅａｄ Ｒｅｓｐｏｎｓｅ Ｔｉｍｅ、Ｍａｘ Ｒｅａｄ Ｔｉｍｅ、Ｒｅａｄ Ｔｒａｎｓｆｅｒ Ｒａｔｅ、Ｂｕｓｙ Ｒａｔｉｏ、Ｂｕｓｙ Ｔｉｍｅ等が含まれていてよい。ＮＡＮＤフラッシュメモリの場合、メンテナンスサイクルデータには、書き換え回数、書き換え間隔、読み出し回数、使用環境における温度、エラー率、製造メーカに関する情報及び製造ロットに関する情報、並びに、ＮＡＮＤフラッシュメモリに対して誤り訂正符号化（ＥＣＣ）処理を行うメモリコントローラのＥＣＣ性能に関する情報、製造メーカに関する情報及び製造ロットに関する情報等が含まれていてよい。回転機器の場合、メンテナンスサイクルデータには、加速度センサ、超音波（ＡＥセンサ）、電流、モータのトルク、歪ゲージ等の出力値等が含まれていてよい。
学習部１２０は、データ収集部１１０で収集されたメンテナンスサイクルデータを学習データとして用いることで、対象機器の余寿命（即ち、故障が発生するまでの期間）を予測するモデルを学習可能に構成されている。なお、本実施形態に係る余寿命予測システム１０は、余寿命を予測するモデルとして、第１のモデル及び第２のモデルを含んでいるが、学習部１２０は、少なくとも第１のモデルを学習可能に構成されればよい。ただし、学習部１２０は、第１のモデル及び第２のモデルの両方を学習可能に構成されてもよい。第２のモデルの学習については、後述する他の実施形態で説明する。
予測部１３０は、学習部１２０で学習されたモデルを用いて、対象機器の余寿命を予測可能に構成されている。具体的には、予測部１３０は、データ収集部１１０で収集されたメンテナンスサイクルデータを、余寿命予測用のデータとして学習済みのモデルに入力することで、そのメンテナンスサイクルデータに対応する対象機器の余寿命を予測可能に構成されている。予測部１３０による予測動作については、後に詳しく説明する。
出力部１４０は、余寿命予測システム１０における各種情報を出力可能に構成されている。例えば、出力部１４０は、予測部１３０で予測した対象機器の余寿命に関する情報を出力するように構成されてよい。この場合、出力される情報は、余寿命の値を示すものであってもよいし、余寿命に応じたアラーム（例えば、メンテナンスを促すための情報）等であってもよい。出力部１４０は、上述した出力装置１６を介して、各種情報を出力可能に構成されてよい。例えば、出力部１４０は、モニタやスピーカ等を介して各種情報を出力するように構成されてよい。
記憶部１５０は、余寿命予測システム１０で扱う各種情報を記憶可能に構成されている。記憶部１５０は、例えば学習部１２０で学習されたモデルを記憶可能に構成されてよい。また、記憶部１５０は、データ収集部１１０で収集されたメンテナンスサイクルデータを記憶可能に構成されてよい。
（学習動作）
次に、図３を参照しながら、第１実施形態に係る余寿命予測システム１０による学習動作（即ち、余寿命を予測するモデルを学習する際の動作）について説明する。図３は、第１実施形態に係る余寿命予測システムの学習動作の流れを示すフローチャートである。
図３に示すように、第１実施形態に係る余寿命予測システム１０の学習動作が開始されると、まずデータ収集部１１０がメンテナンスサイクルデータを取得する（ステップＳ１０１）。この際、データ収集部１１０は、対象機器から新たにメンテナンスサイクルデータを収集してもよいし、記憶部１５０から過去に収集したメンテナンスサイクルデータを取得してもよい。データ収集部１１０が取得したメンテナンスサイクルデータは、学習部１２０に出力される。
続いて、学習部１２０がメンテナンスサイクルデータを学習データとして用いることで、対象機器の余寿命を予測するモデルを学習する（ステップＳ１０２）。なお、学習部１２０によるモデルの学習動作については、後に詳しく説明する。学習が終了すると、学習部１２０は、学習済みのモデルを記憶部１５０に保存する（ステップＳ１０３）。
（予測動作）
次に、図４を参照しながら、第１実施形態に係る余寿命予測システム１０による予測動作（即ち、学習済みのモデルを用いて余寿命を予測する際の動作）について説明する。図４は、第１実施形態に係る余寿命予測システムの予測動作の流れを示すフローチャートである。
図４に示すように、第１実施形態に係る余寿命予測システム１０の予測動作が開始されると、まず予測部１３０が学習済みのモデルを記憶部１５０から読み込む（ステップＳ２０１）。なお、ここで読み込まれるモデルは、第１のモデルのみであってよい。
続いて、データ収集部１１０が、余寿命予測用のメンテナンスサイクルデータを取得する（ステップＳ２０２）。この際、データ収集部１１０は、対象機器から新たにメンテナンスサイクルデータを収集してもよいし、記憶部１５０から過去に収集したメンテナンスサイクルデータを取得してもよい。データ収集部１１０が取得したメンテナンスサイクルデータは、予測部１３０に出力される。
続いて、予測部１３０が、学習済みのモデルを用いて対象機器の余寿命を予測する（ステップＳ２０３）。そして、予測部１３０は、予測した余寿命が所定閾値を下回っているか否かを判定する（ステップＳ２０４）。なお、ここでの「所定閾値」は、対象機器のメンテナンスを行うべきか否かを判定するための閾値であり、予め任意の値が設定されていてよい。
予測した余寿命が所定閾値を下回っている場合（ステップＳ２０４：ＹＥＳ）、出力部１４０がユーザにアラームを出力する（ステップＳ２０５）。アラームには、例えばメンテナンス作業を促すような情報が含まれていてよい。一方、予測した余寿命が所定閾値を下回っていない場合（ステップＳ２０４：ＮＯ）、上述したステップＳ２０５の処理は省略されてよい。ただし、予測した余寿命に基づいて、次回のメンテナンス作業をいつ頃行えばよいかを示す情報を出力するようにしてもよい。
（学習データ及びモデル）
次に、図５及び図６を参照しながら、第１実施形態に係る余寿命予測システム１０で用いられる学習データと、学習データを用いて学習されるモデルについて詳しく説明する。図５は、各メンテナンスサイクルでの対象となる機器の健全度の時間変化を示す概念図である。図６は、第１実施形態に係る余寿命予測システムが実行する学習方法を示す概念図である。
図５において、第１実施形態に係る余寿命予測システム１０は、学習データとして複数のメンテナンスサイクルデータ（例えば、図中のデータＡ～Ｆを参照）を用いる。これら複数のメンテナンスサイクルデータは、それぞれ別々の機器から取得されるものであってもよいし、同一の機器から別タイミングで取得されるものであってもよい。メンテナンスサイクルデータは、メンテンナンスサイクル毎に、対象機器や、その周辺に敷設されたセンサから取得される値、或いはその統計値（メンテナンスサイクル全体ではない一定期間ごと）であり、典型的には多次元の時系列データであってよい。なお、図中の健全度は、仮想的な指標であり、実際には観測できない値であってよい。ここでの健全度は、劣化領域（即ち、健全度が低下している領域）において余寿命に一致する。
複数のメンテナンスサイクルデータは、メンテナンス直前である終端時刻の余寿命（即ち、図中の丸で囲んだ部分）にばらつきが存在する。このため、それぞれの終端時刻の余寿命をメンテンナンスが必要な時期に想到する値（例えば、０と仮定）を用いて学習を行うと、不適切な学習となってしまうおそれがある。しかるに本実施形態に係る余寿命予測システム１０は、後述するように、メンテナンスサイクルデータにおける任意の時刻及び最終時刻の余寿命（任意の基準値を基準とする相対的な余寿命）を用いてモデルの学習を実行する。
図６に示すように、第１実施形態に係る余寿命予測システム１０は、対象機器の余寿命を予測するモデルとして、第１のモデルと、第２のモデルとを備えている。第１のモデル及び第２のモデルの各々はニューラルネットワークを含んで構成されており、それぞれＴＳＳ２Ｖｅｃ（回帰型ニューラルネットワーク（ＲＮＮ、ＬＳＴＭ、ＧＲＵ等）、ＣＮＮ、Ｔｒａｎｓｆｏｒｍｅｒなど、系列データをベクトルに変換できるニューラルネットワーク）、非線形変換（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ等のベクトルを別のベクトルに変換するニューラルネットワーク）、及びＶｅｃ２ＨＩ（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ等のベクトルをスカラー値に変換するニューラルネットワーク）を含んでいてよい。
第１のモデルは、メンテナンスサイクルデータから取り出した任意の時刻の部分時系列データ（即ち、メンテナンスサイクルデータに含まれる全期間のうち、任意の一部の期間を抜き出したデータ）を入力とする。なお、ここでの任意の時刻は特に限定されるものではないが、終端から大きく離れた時刻では劣化情報を含まない可能性があるため、メンテナンスサイクルの終端に比較的近い部分であることが好ましい。第１のモデルは、入力された任意の時刻の部分時系列データから、対象機器の任意の時刻の余寿命ｒｉｊ（“ｉ”は、メンテナンスサイクルのインデックス、“ｊ”は各メンテナンスサイクル内の時刻インデックス）を、任意の基準値を基準とする値として推定する。なお、余寿命を予測する際には、後述する別の基準値を算出し、算出した基準値を用いて予測する。このため、ここでの「基準値」は定義されていなくてもよい。
第２のモデルは、メンテナンスサイクルデータから取り出した終端時刻の部分時系列データ（即ち、メンテナンスサイクルデータに含まれる全期間のうち、終端時刻を含む一部の期間を抜き出したデータ）を入力とする。そして、第２のモデルは、入力された終端時刻の部分時系列データから、対象機器の最終時刻（即ち、メンテナンス直前の時刻）の余寿命ｅｉを、第１のモデルでも用いた基準値を基準とする値として推定する。
第１のモデルは、第１のモデルの出力である任意の時刻の余寿命ｒｉｊと、第２のモデルの出力である最終時刻の余寿命ｅｉと、を用いて学習される。具体的には、第１のモデルは、任意の時刻の余寿命ｒｉｊ及び最終時刻の余寿命ｅｉを用いて、メンテナンスサイクルデータの終端を基準とする余寿命（即ち、メンテナンス直前の状態から故障が発生するまでの期間）を予測するように学習される。第１のモデルは、例えば、任意の時刻の余寿命ｒｉｊ及び最終時刻の余寿命ｅｉから計算される損失が小さくなるように、誤差逆伝搬法を用いて重みパラメータが変更されてよい。この場合の損失Ｌｅは、例えば下記式（１）のように計算されてよい。
Figure 2024003643000002
なお、ｄｉｊは、メンテナンスサイクルデータにおける実際に観測された余寿命の差（即ち、任意の時刻の余寿命と、最終時刻の余寿命との差）を示す値である。観測された余寿命の差は、その期間中の使用回数または稼働時間であってもよい。
（学習方法の流れ）
次に、図７を参照しながら、第１実施形態に係る余寿命予測システム１０が実行する学習方法（具体的には、図３で説明したステップＳ１０２の処理）の流れについて詳しく説明する。図７は、第１実施形態に係る余寿命予測システムが実行する学習方法の流れを示すフローチャートである。
図７に示すように、第１実施形態に係る余寿命予測システム１０が実行する学習方法では、まず学習部１３０は、評価値（詳しくは後述）を初期化する（ステップＳ３０１）。また、学習部１３０は、第１のモデル及び第２のパラメータの重みパラメータを初期化する（ステップＳ３０２）。ここでは、第１のモデルと第２モデルとが同一となるように重みパラメータが初期化されてよい。
続いて、学習部１３０は、学習データに含まれるメンテナンスサイクルデータから任意の時刻の部分時系列データ、対応する相対余寿命の値（メンテナンスサイクルデータの終端の余寿命を０とした余寿命の値）、及びメンテナンスサイクルデータの終端時刻に対応する部分時系列データを指定組分取り出す（ステップＳ３０３）。即ち、メンテナンスサイクルデータから、学習に用いるデータを適宜抽出する。
続いて、学習部１３０は、学習データに基づく第１のモデル及び第２のモデルの出力を用いて、損失Ｌを計算する（ステップＳ３０４）。その後、学習部１３０は、損失Ｌを最小化するよう第１のモデルの重みパラメータを更新する（ステップＳ３０５）。そして、学習部１３０は、損失Ｌを用いて評価値を計算する（ステップＳ３０６）。なお、ここでの「評価値」は、第１のモデルの重みパラメータを最良値として保存するか決定するための指標であり、例えば損失Ｌを含む関数であってもよいし、損失Ｌそのものであってもよい。
続いて、学習部１３０は、評価値が改善していれば、第１のモデルの重みパラメータを記憶部１５０に上書き保存する（ステップＳ３０７）。なお、上述したステップＳ３０３からＳ３０７の処理は、予め設定されたイテレーション数だけ繰り返される。
学習が終了すると、学習部１３０は、記憶部１５０に保存した第１のモデルの重みパラメータを読み込み、基準余寿命を算出する。ここでの「基準余寿命」は、各メンテナンスサイクルの最終時刻の余寿命ｅｉの最小値、又は、サイクル別の複数のサンプルに基づく最終時刻の余寿命の推定値（例えば、ｅｉ（ハット））の最小値である。最終時刻の余寿命の推定値は、例えば下記式（２）を用いて算出されてよい。
Figure 2024003643000003
別の形態としては、最終時刻の余寿命の推定値は、第２のモデルにｒｉｊの算出に用いた第１のモデルへの入力データを入力し、その出力をｒｉｊとして式（２）を計算した値としてもよい。
（技術的効果）
次に、第１実施形態に係る余寿命予測システム１０によって得られる技術的効果について説明する。
図１から図７で説明したように、第１実施形態に係る余寿命予測システム１０では、任意の時刻の余寿命ｒｉｊ及び最終時刻の余寿命ｅｉを用いて、メンテナンスサイクルデータの終端を基準とする余寿命を予測するように学習される。このようにすれば、取得した各メンテナンスサイクルデータの終端にばらつきが生じている場合であっても、適切な学習を行うことができる。その結果、高い精度で対象機器の余寿命を予測することが可能となり、例えば適切なタイミングでメンテナンスを実施することが可能となる。
＜第２実施形態＞
第２実施形態に係る余寿命予測システム１０について、図８及び図９を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
（第２のモデルの学習）
まず、図８を参照しながら、第２実施形態に係る余寿命予測システム１０が実行する学習方法について詳しく説明する。図８は、第２実施形態に係る余寿命予測システムが実行する学習方法を示す概念図である。
図８に示すように、第２実施形態に係る余寿命予測システム１０では、第１のモデルの重みパラメータ（即ち、学習によって更新された重みパラメータ）を用いて、第２のモデルの重みパラメータを更新する。即ち、第２実施形態に係る余寿命予測システム１０では、第１のモデルに加えて、第２のモデルについても学習されることになる。なお、第２のモデルの重みパラメータを更新する際には、少なくとも一部を更新すればよい。即ち、第２のモデルに含まれるすべての重みパラメータが更新される必要はなく、一部の重みパラメータを更新するようにしてもよい。
（学習方法の流れ）
次に、図９を参照しながら、第２実施形態に係る余寿命予測システム１０が実行する学習方法の流れについて説明する。図９は、第２実施形態に係る余寿命予測システムが実行する学習方法の流れを示すフローチャートである。なお、図９では、図７で示した処理と同様の処理に同一の符号を付している。
図９に示すように、第２実施形態に係る余寿命予測システム１０による学習においては、概ね既に説明した第１実施形態と同様の流れで処理（図７参照）が実行される。ただし、第２実施形態に係る余寿命システム１０では、第１のモデルの重みパラメータを更新する処理（ステップＳ３０５）の後に、更新後の第１のモデルの重みパラメータを用いて、第１のモデルの重みパラメータを更新する処理が実行される（ステップＳ３１１）。そして、ステップＳ３１１を含むＳ３０３からＳ３０７までの処理が、所定回数繰り返し実行されることになる。
第２のモデルの重みパラメータは、例えば第１のモデルの重みパラメータの指数平滑移動平均を用いて更新されてよい。例えば、第１のモデルの重みパラメータＷ１ｉ、第２のモデルの重みパラメータＷ２ｉとすると、上述したステップＳ３１１では、Ｗ２ｉ＝（１－ａ）Ｗ１ｉ＋ａＷ２ｉとなるよう第２のモデルの重みパラメータが更新されてよい。この場合、第２のモデルの過去の重みパラメータＷ２ｉが係数ａ（１より小さい値）だけ小さくなって考慮されることになり、この処理が繰り返されることで、指数平滑移動平均を用いた更新が実現される。
（技術的効果）
次に、第２実施形態に係る余寿命予測システム１０によって得られる技術的効果について説明する。
図８及び図９で説明したように、第２実施形態に係る余寿命予測システム１０では、第１のモデルの重みパラメータを用いて、第２のモデルの重みパラメータが更新される。このようにすれば、第１のモデルに加えて第２のモデルも学習されることになるため、第１のモデルの重みパラメータのみを更新する場合と比較して、より適切な学習を実行することができる。また、第１のモデルの重みパラメータの指数平滑移動平均を用いれば、第１のモデルの重みパラメータを適切に考慮しつつ、第２のモデルの重みパラメータを更新することが可能である。
＜第３実施形態＞
第３実施形態に係る余寿命予測システム１０について、図１０を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
（損失の計算）
まず、図１０を参照しながら、第３実施形態に係る余寿命予測システム１０による損失の計算方法について説明する。図１０は、第３実施形態に係る余寿命予測システムによる損失関数の計算方法の流れを示すフローチャートである。
第３実施形態に係る余寿命予測システム１０では、入力データが類似しているものが類似した余寿命の値を持つものとして、余寿命を予測するモデルが学習される。具体的には、余寿命を予測するモデルを学習する際に用いる損失Ｌが、Ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇの正則化項を加えたものとして計算される。具体的には、損失Ｌは、下記式（３）によって算出されてよい。
Figure 2024003643000004
なお、上記式（３）における“Ｌｅ”は式（１）で説明した値であり、“λＬｆ”がＦｅａｔｕｒｅ ｍａｔｃｈｉｎｇの正則化項である。λはハイパーパラメータであり、Ｌｆは例えば下記式（４）を用いて算出できる。
Figure 2024003643000005
図１０に示すように、上述したＬｆを計算する際には、まず学習データに含まれる複数のメンテナンスサイクルデータを２組に分割する（ステップＳ４０１）。即ち、複数のメンテナンスサイクルデータが、第１のデータ群に含まれるデータと、第２のデータ群に含まれるデータとに分割される。
続いて、各サイクルの終端から所定個数Ｎの部分時系列データを取り出す（ステップＳ４０２）。そして、取り出した部分時系列データと類似する部分時系列データを、他方の組から所定個数Ｍ取り出す（ステップＳ４０３）。なお、ここで取り出されたＮ個の部分時系列データと、Ｍ個の部分時系列データとは、互いにペア候補となる。
続いて、モデルを学習する際に、それぞれの組からランダムにペアとなる部分時系列データを所定個数Ｋ取り出す（ステップＳ４０４）。そして、取り出したＫ個の部分時系列データを、それぞれ特徴量ベクトルに変換する（ステップＳ４０５）。ここで変換された特徴量ベクトルが、上記式におけるｆｋ及びｆｋ’である。
最後に、変換した特徴量ベクトルｆｋ及びｆｋ’の期待値Ｅを用いてLfを算出する（ステップＳ４０６）。
Ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇの正則化項は、ｆｋ及びｆｋ’のＭａｘｉｍｕｍ Ｍｅａｎ Ｄｉｓｃｒｅｐａｎｃｙがカーネルを用いて計算されたものであってもよい。このとき、例えば、カーネルにはＲａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ カーネルを用いることができる。
（技術的効果）
次に、第３実施形態に係る余寿命予測システム１０によって得られる技術的効果について説明する。
図１０で説明したように、第３実施形態に係る余寿命予測システム１０では、損失Ｌを計算する際にＦｅａｔｕｒｅ ｍａｔｃｈｉｎｇの正則化項が考慮される。このようにすれば、モデルの学習をより適切に実行できるようになるため、より高い精度で対象機器の余寿命を予測することが可能となる。
＜第４実施形態＞
第４実施形態に係る余寿命予測システム１０について、図１１を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１から第３実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
（事前学習による初期値の設定）
まず、図１１を参照しながら、第４実施形態に係る余寿命予測システム１０による学習動作（具体的には、事前学習を利用した学習動作）の流れについて説明する。図１１は、第４実施形態に係る余寿命予測システムの学習動作の流れを示すフローチャートである。なお、図１１では、図３で示した処理と同様の処理に同一の符号を付している。
図１１に示すように、第４実施形態に係る余寿命予測システム１０による学習動作では、まずデータ収集部１１０が、教師あり学習データを取得する（ステップＳ５０１）。なお、ここで取得される教師あり学習データは、対象機器が健全な状態から故障に至るまでの時系列の稼働データ（ｒｕｎ－ｔｏ－ｆａｉｌｕｒｅ－ｄａｔａ）である。学習用のラベルは例えば、故障までの使用回数や稼働時間として与えられる。
続いて、学習部１３０は、教師あり学習データを用いて第１のモデル及び第２のモデルの事前学習を実行する（ステップＳ５０２）。これは、第１のモデルの事前学習を実行し、第２のモデルを事前学習された第１のモデルの重みパラメータで初期化することで実現される。そして、事前学習された重みパラメータを各モデルの重みパラメータの初期値として設定する（ステップＳ５０３）。
その後は、既に説明した第１実施形態と同様の処理（図３参照）が実行される。即ち、メンテナンスサイクルデータ（即ち、教師なし学習データ）を用いてモデルの学習が実行される。ただし、第４実施形態では、上述したように、事前学習によって各モデルの重みパラメータの初期値が設定された状態で学習が開始されることになる。このため、図７のステップＳ３０２で説明したような、重みパラメータの初期化は実行されずともよい。
事前学習において、第１のモデルは、第１のモデルの出力である任意の時刻の余寿命ｒｉｊと、与えられたラベルｒｉｊ’と、を用いて学習される。具体的には、第１のモデルは、ｒｉｊと、ｒｉｊ’が一致するように学習される。第１のモデルは、例えば、誤差逆伝搬法を用いて重みパラメータが変更されてよい。この場合の損失Ｌｅsは、例えば下記式（５）のように計算されてよい。
Figure 2024003643000006
（技術的効果）
次に、第４実施形態に係る余寿命予測システム１０によって得られる技術的効果について説明する。
図１１で説明したように、第４実施形態に係る余寿命予測システム１０では、教師あり学習データを用いた事前学習により、第１のモデル及び第２のモデルの重みパラメータの初期値が設定される。このようにすれば、各モデルの初期値が適切な値に設定されることになるため、その後の教師なし学習データを用いた学習を効率的に行うことができる。なお、本実施形態では、教師あり学習データの数が、教師なし学習データの数と比べて少ない状況（具体的には、教師あり学習データだけを用いて学習するにはデータ数が足りず、教師なし学習データも用いる必要があるような状況）を想定している。
＜第５実施形態＞
第５実施形態に係る余寿命予測システム１０について、図１２を参照して説明する。なお、第５実施形態は、上述した第１から第４実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。なお、本実施形態では、学習データには、教師ありデータと教師なしデータ（メンテナンスサイクルデータ）の２つが含むまれる。
（教師データを用いた学習）
まず、図１２を参照しながら、第５実施形態に係る余寿命予測システム１０による学習動作（教師データの有無に応じた学習動作）について説明する。図１２は、第５実施形態に係る余寿命予測システムの学習動作の流れを示すフローチャートである。なお、図１２で示す各処理は、図７のステップＳ３０３からＳ３０７に相当するものであり、図７を用いて説明したように所定回数繰り返される処理である。
図１２に示すように、第５実施形態に係る余寿命予測システム１０による学習動作では、まず学習部１３０が、教師あり学習データ（即ち、対象機器が健全な状態から故障に至るまでの時系列の稼働データ）を用いて学習を実施する。具体的には、まず学習部１３０は、教師あり学習データからデータをサンプリングする（ステップＳ６０１）。そして、学習部１３０は、教師あり学習データに基づく第１のモデルの出力を用いて、損失を計算する（ステップＳ６０２）。なお、教師あり学習データを用いる学習では、第４実施形態で説明したように、上述した数式（５）を用いて損失を計算すればよい。
続いて、学習部１３０は、損失を最小化するよう第１のモデルの重みパラメータを更新する（ステップＳ６０３）。そして、学習部１３０は、損失を用いて評価値を計算する（ステップＳ６０４）。その後、学習部１３０は、評価値が改善していれば、第１のモデルの重みパラメータを記憶部１５０に上書き保存する（ステップＳ６０５）。
上述したステップＳ６０１からＳ６０５の処理を所定回数繰り返し、教師あり学習データを用いた学習が終了すると（ステップＳ６０６：ＹＥＳ）、学習部１３０は、第２のモデルの重みパラメータを第1のモデルの重みパラメータで初期化し（ステップＳ６０７）、教師なし学習データ（即ち、メンテナンスデータ）を用いて学習を実行する。具体的には、学習部１３０は、教師なし学習データからデータをサンプリングする（ステップＳ６０８）。そして、学習部１３０は、教師なし学習データに基づく第１のモデル及び第２のモデルの出力を用いて、損失を計算する（ステップＳ６０９）。なお、教師なし学習データを用いる学習では、第１実施形態で説明したように、上述した数式（１）を用いて損失を計算すればよい。
続いて、学習部１３０は、損失を最小化するよう第１及び第２のモデルの重みパラメータを更新する（ステップＳ６１０）。そして、学習部１３０は、損失を用いて評価値を計算する（ステップＳ６１１）。その後、学習部１３０は、評価値が改善していれば、第１及び第２のモデルの重みパラメータを記憶部１５０に上書き保存する（ステップＳ６１２）。上述したステップＳ６０８からＳ６１２の処理を所定回数繰り返すと、教師なし学習データを用いた学習も終了すると判定される（ステップＳ６１３：ＹＥＳ）。
なお、ここでは教師あり学習データで学習した直後に、教師なし学習データで学習する例を挙げたが、これらの学習を同時に実施してもよい。即ち、教師あり学習データ及び教師なし学習データの両方を用いて同時に学習を行ってもよい。同時に学習を実施する場合は、データのサンプリングをそれぞれの学習データで実施した後、それぞれに対応する損失を計算し、計算した各損失の和を用いてパラメータを更新すればよい。それに続いて、評価値の算出、最良パラメータの保存の順に処理を実行すればよい。
（技術的効果）
次に、第５実施形態に係る余寿命予測システム１０によって得られる技術的効果について説明する。
図１２で説明したように、第５実施形態に係る余寿命予測システム１０では、第１および第２のモデルの重みパラメータが学習される際に、教師ありのデータと教師なしのデータ両方を用いて最終的な重みパラメータを決定する。このようにすれば、教師なしデータの情報を利用し、教師ありデータが少ない場合でも、故障発生時を基準とする余寿命を予測するモデルが学習される。その結果、より適切なメンテンナンス計画を立てることが出来る。
なお、上述した第４実施形態（図１１参照）と、第５実施形態（図１２参照）とは、組み合わせて実現されてよい。具体的には、まず第４実施形態で説明したように、事前学習によって初期値を設定した上で、第５実施形態で説明したように、教師あり学習データ及び教師なしデータによる学習が実行されてよい。このようにすれば、教師あり学習データを事前学習及びその後の学習の両方において活用し、より適切に学習を実行することが可能となる。
＜第６実施形態＞
第６実施形態に係る余寿命予測システム１０について、図１３を参照して説明する。なお、第６実施形態は、上述した第１から第５実施形態と一部の動作が異なるのみであり、その他の部分については第１から第５実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
（別モデルの学習）
まず、図１３を参照しながら、第６実施形態に係る余寿命予測システム１０による学習動作（具体的には、学習済みのモデルを用いた別モデルの学習動作）について説明する。図１３は、第６実施形態に係る余寿命予測システムによる学習動作の流れを示すフローチャートである。
図１３に示すように、第６実施形態に係る余寿命予測システム１０では、予測部１３０が、上述した各実施形態で説明した方法を用いて学習されたモデルを用いて、各メンテナンスサイクルデータの終端の余寿命を予測する（ステップＳ７０１）。
続いて、予測部１３０は、予測した終端の余寿命に基づいて、各メンテナンスサイクルデータの各時刻の余寿命を修正する（ステップＳ７０２）。ここで修正された余寿命は、各メンテナンスサイクルデータの教師データとして扱われる。
続いて、学習部１３０は、余寿命が修正されたメンテナンスサイクルデータを教師あり学習データとして、新たな機械学習モデルを学習する（ステップＳ７０３）。ここでの学習では、モデルの予測値と教師データとが互いに近づくように重みパラメータが更新されてよい。なお、ここで学習される機械学習モデルは、ニューラルネットワークを含まないモデルであってもよい。
上記のように学習される機械学習モデルは、別システム（例えば、別の場所に設置される同様のシステム）において用いられるものであってよい。即ち、ステップＳ７０１で用いる学習済みのモデルと、ステップＳ７０３で学習される機械学習モデルは、それぞれ異なる余寿命予測システムで用いられるものであってよい。
（技術的効果）
次に、第６実施形態に係る余寿命予測システム１０によって得られる技術的効果について説明する。
図１３で説明したように、第６実施形態に係る余寿命予測システム１０では、上述した各実施形態の手法で学習した、各メンテナンスサイクルの終端の余寿命を予測する学習済みのモデルを用いて、各メンテナンスサイクルの終端の余寿命を補正したうえで、余寿命を予測する新たな機械学習モデルが学習される。このようにすれば、各メンテナンスサイクルの終端の余寿命の違いを補正するための学習と、メンテナンスサイクルデータ全体にわたって余寿命を予測するための学習を分けて構成することができる。その結果、予測のもととなる稼働データが余寿命を予測するための情報を持たない期間が余寿命の大きな場合にあったとしても、補正された余寿命に基づいて、学習に用いるデータを選択してモデルを学習し、評価することで、より広範囲の余寿命を予測するモデルを学習することができる。
上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。更に、プログラム自体がサーバに記憶され、ユーザ端末にサーバからプログラムの一部または全てをダウンロード可能なようにしてもよい。
＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
付記１に記載のニューラルネットワークの学習方法は、保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法であって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、ニューラルネットワークの学習方法である。
（付記２）
付記２に記載のニューラルネットワークの学習方法は、更新された前記第１のモデルの重みパラメータを用いて、前記第２のモデルの重みパラメータの少なくとも一部を更新する、付記１に記載のニューラルネットワークの学習方法である。
（付記３）
付記３に記載のニューラルネットワークの学習方法は、更新された前記第１のモデルの重みパラメータの指数平滑移動平均を用いて、前記第２のモデルの重みパラメータの少なくとも一部を更新する、付記２に記載のニューラルネットワークの学習方法である。
（付記４）
付記４に記載のニューラルネットワークの学習方法は、前記学習データを第１データ群と第２データ群とに分割し、前記第１データ群に含まれる第１部分データと、前記第２データ群に含まれる前記第１部分データ類似する第２部分データと、を抽出し、前記第１部分データの特徴量ベクトルと、前記第２部分データの特徴量ベクトルと、が互いに類似するように前記第１のモデルの重みパラメータを更新する、付記１から３のいずれか一項に記載のニューラルネットワークの学習方法である。
（付記５）
付記５に記載のニューラルネットワークの学習方法は、前記学習データは、前記対象機器が健全な状態から故障に至るまでの時系列の稼働データである複数の教師あり学習データと、前記メンテナンスサイクルデータである複数の教師なし学習データと、を含み、前記教師あり学習データを用いて前記ニューラルネットワークを事前学習し、事前学習された前記ニューラルネットワークの重みパラメータを前記第１のモデル及び前記第２のモデルの初期値に設定した上で、前記教師なし学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、付記１から４のいずれか一項に記載のニューラルネットワークの学習方法である。
（付記６）
付記６に記載のニューラルネットワークの学習方法は、前記学習データは、前記対象機器が健全な状態から故障に至るまでの時系列の稼働データである複数の教師あり学習データと、前記メンテナンスサイクルデータである複数の教師なし学習データと、を含み、前記教師あり学習データを用いる場合には、前記第１のモデルが予測する予測値と、前記教師あり学習データが示す余寿命の実測値と、が互いに近づくように前記第１のモデルの重みパラメータを更新する、付記１から５のいずれか一項に記載のニューラルネットワークの学習方法である。
（付記７）
付記７に記載のニューラルネットワークの学習方法は、前記学習データは、前記対象機器が健全な状態から故障に至るまでの時系列の稼働データである複数の教師あり学習データと、前記メンテナンスサイクルデータである複数の教師なし学習データと、を含み、前記教師あり学習データを用いて前記ニューラルネットワークを事前学習し、事前学習された前記ニューラルネットワークの重みパラメータを前記第１のモデル及び前記第２のモデルの初期値に設定した上で、前記学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新し、前記教師あり学習データを用いる場合には、前記第１のモデルが予測する予測値と、前記教師あり学習データが示す余寿命の実測値と、が互いに近づくように前記第１のモデルの重みパラメータを更新する、付記１から６のいずれか一項に記載のニューラルネットワークの学習方法である。
（付記８）
付記８に記載のニューラルネットワークの学習方法は、前記重みパラメータが更新された前記第１のモデル又は前記第２のモデルで各メンテナンスサイクルデータの終端の余寿命を予測し、予測した前記各メンテナンスサイクルデータの終端の余寿命に基づいて、前記各メンテナンスサイクルデータの各時刻の余寿命を修正し、修正した余寿命を教師データとして含む学習データを用いて、前記対象機器の余寿命を予測する新たな機械学習モデルを学習する、請求項１から７のいずれか一項に記載のニューラルネットワークの学習方法である。
（付記９）
付記９に記載のコンピュータプログラムは、保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法であって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、ニューラルネットワークの学習方法をコンピュータに実行させるコンピュータプログラムである。
（付記１０）
付記１０に記載の記録媒体は、保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法であって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、ニューラルネットワークの学習方法をコンピュータに実行させるコンピュータプログラムが記録された記録媒体である。
（付記１１）
付記１１に記載の余寿命予測システムは、保全の対象である対象機器の余寿命を予測するニューラルネットワークを備える余寿命予測システムであって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、前記第１のモデルは、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように重みパラメータを更新することで学習されている、余寿命予測システムである。
（付記１２）
付記１２に記載の余寿命予測装置は、保全の対象である対象機器の余寿命を予測するニューラルネットワークを備える余寿命予測システムであって、前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、前記第１のモデルは、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように重みパラメータを更新することで学習されている、余寿命予測装置である。
である。
この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システムもまたこの開示の技術思想に含まれる。
１０ 余寿命予測システム
１１ プロセッサ
１４ 記憶装置１４
１１０ データ収集部
１２０ 学習部
１３０ 予測部
１４０ 出力部
１５０ 記憶部
ｒｉｊ 任意の時刻の余寿命
ｅｉ 最終時刻の余寿命

Claims (10)

  1. 保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法であって、
    前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、
    複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、
    ニューラルネットワークの学習方法。
  2. 更新された前記第１のモデルの重みパラメータを用いて、前記第２のモデルの重みパラメータの少なくとも一部を更新する、
    請求項１に記載のニューラルネットワークの学習方法。
  3. 更新された前記第１のモデルの重みパラメータの指数平滑移動平均を用いて、前記第２のモデルの重みパラメータの少なくとも一部を更新する、
    請求項２に記載のニューラルネットワークの学習方法。
  4. 前記学習データを第１データ群と第２データ群とに分割し、
    前記第１データ群に含まれる第１部分データと、前記第２データ群に含まれる前記第１部分データ類似する第２部分データと、を抽出し、
    前記第１部分データの特徴量ベクトルと、前記第２部分データの特徴量ベクトルと、が互いに類似するように前記第１のモデルの重みパラメータを更新する、
    請求項１から３のいずれか一項に記載のニューラルネットワークの学習方法。
  5. 前記学習データは、前記対象機器が健全な状態から故障に至るまでの時系列の稼働データである複数の教師あり学習データと、前記メンテナンスサイクルデータである複数の教師なし学習データと、を含み、
    前記教師あり学習データを用いて前記ニューラルネットワークを事前学習し、
    事前学習された前記ニューラルネットワークの重みパラメータを前記第１のモデル及び前記第２のモデルの初期値に設定した上で、前記教師なし学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、
    請求項１から３のいずれか一項に記載のニューラルネットワークの学習方法。
  6. 前記学習データは、前記対象機器が健全な状態から故障に至るまでの時系列の稼働データである複数の教師あり学習データと、前記メンテナンスサイクルデータである複数の教師なし学習データと、を含み、
    前記教師あり学習データを用いる場合には、前記第１のモデルが予測する予測値と、前記教師あり学習データが示す余寿命の実測値と、が互いに近づくように前記第１のモデルの重みパラメータを更新する、
    請求項１から３のいずれか一項に記載のニューラルネットワークの学習方法。
  7. 前記学習データは、前記対象機器が健全な状態から故障に至るまでの時系列の稼働データである複数の教師あり学習データと、前記メンテナンスサイクルデータである複数の教師なし学習データと、を含み、
    前記教師あり学習データを用いて前記ニューラルネットワークを事前学習し、
    事前学習された前記ニューラルネットワークの重みパラメータを前記第１のモデル及び前記第２のモデルの初期値に設定した上で、前記学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新し、
    前記教師あり学習データを用いる場合には、前記第１のモデルが予測する予測値と、前記教師あり学習データが示す余寿命の実測値と、が互いに近づくように前記第１のモデルの重みパラメータを更新する、
    請求項１から３のいずれか一項に記載のニューラルネットワークの学習方法。
  8. 前記重みパラメータが更新された前記第１のモデル又は前記第２のモデルで各メンテナンスサイクルデータの終端の余寿命を予測し、
    予測した前記各メンテナンスサイクルデータの終端の余寿命に基づいて、前記各メンテナンスサイクルデータの各時刻の余寿命を修正し、
    修正した余寿命を教師データとして含む学習データを用いて、前記対象機器の余寿命を予測する新たな機械学習モデルを学習する、
    請求項１から３のいずれか一項に記載のニューラルネットワークの学習方法。
  9. 保全の対象である対象機器の余寿命を予測するニューラルネットワークの学習方法であって、
    前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、
    複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように前記第１のモデルの重みパラメータを更新する、
    ニューラルネットワークの学習方法をコンピュータに実行させるコンピュータプログラム。
  10. 保全の対象である対象機器の余寿命を予測するニューラルネットワークを備える余寿命予測システムであって、
    前記ニューラルネットワークは、（ｉ）前記対象機器の保全直後から次回保全直前までの期間における時系列の稼働データであるメンテナンスサイクルデータの任意の時刻の余寿命を、任意の基準値を基準とする値として予測する第１のモデルと、（ｉｉ）前記メンテナンスサイクルデータの最終時刻の余寿命を、前記基準値を基準とする値として予測する第２のモデルと、を含み、
    前記第１のモデルは、複数の前記メンテナンスサイクルデータを含む学習データから得られる前記第１のモデルの出力及び前記第２のモデルの出力を用いて、前記メンテナンスサイクルデータの終端を基準とする余寿命を予測するように重みパラメータを更新することで学習されている、
    余寿命予測システム。
JP2022102925A 2022-06-27 2022-06-27 ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム Pending JP2024003643A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022102925A JP2024003643A (ja) 2022-06-27 2022-06-27 ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム
US18/212,486 US20230419109A1 (en) 2022-06-27 2023-06-21 Method of learning neural network, recording medium, and remaining life prediction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022102925A JP2024003643A (ja) 2022-06-27 2022-06-27 ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム

Publications (1)

Publication Number Publication Date
JP2024003643A true JP2024003643A (ja) 2024-01-15

Family

ID=89323076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022102925A Pending JP2024003643A (ja) 2022-06-27 2022-06-27 ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム

Country Status (2)

Country Link
US (1) US20230419109A1 (ja)
JP (1) JP2024003643A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592383B (zh) * 2024-01-19 2024-03-26 四川晟蔚智能科技有限公司 一种设备健康寿命预测方法、系统、设备及介质

Also Published As

Publication number Publication date
US20230419109A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
CN110689109B (zh) 神经网络方法和装置
US11694109B2 (en) Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure
US11650968B2 (en) Systems and methods for predictive early stopping in neural network training
JP5943358B2 (ja) 学習装置、処理装置、予測システム、学習方法、処理方法、およびプログラム
US12051232B2 (en) Anomaly detection apparatus, anomaly detection method, and program
CN109697977B (zh) 语音识别方法和设备
US20220092411A1 (en) Data prediction method based on generative adversarial network and apparatus implementing the same method
CN105095614A (zh) 更新预测模型的方法和装置
US20050273296A1 (en) Neural network model for electric submersible pump system
JP7152938B2 (ja) 機械学習モデル構築装置および機械学習モデル構築方法
US20180314978A1 (en) Learning apparatus and method for learning a model corresponding to a function changing in time series
KR20190045038A (ko) 음성 인식 방법 및 장치
CN112232495A (zh) 预测模型的训练方法、装置、介质和计算设备
JP2024003643A (ja) ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム
KR102045415B1 (ko) 자동으로 최적의 통계 모델을 결정하는 방법 및 그 장치
TWI677799B (zh) 模型構築系統及模型構築方法
JP2020027644A (ja) モータ励起信号検索方法及び電子機器
KR102157441B1 (ko) 관련성 전사를 이용한 신경망 학습 방법 및 서비스 장치
US12099915B2 (en) Method and apparatus for quantizing deep neural network
JP2019185207A (ja) モデル学習装置、モデル学習方法、プログラム
JP2024070487A (ja) ニューラルネットワークの学習方法、コンピュータプログラム、及び余寿命予測システム
US11177018B2 (en) Stable genes in comparative transcriptomics
US20240037388A1 (en) Method of learning neural network, feature selection apparatus, feature selection method, and recording medium
WO2024157398A1 (ja) 学習装置、学習方法、プログラム
US20240037389A1 (en) Method of learning neural network, feature selection apparatus, feature selection method, and recording medium