JP7363407B2 - 追加学習装置、方法、及びプログラム - Google Patents

追加学習装置、方法、及びプログラム Download PDF

Info

Publication number
JP7363407B2
JP7363407B2 JP2019210657A JP2019210657A JP7363407B2 JP 7363407 B2 JP7363407 B2 JP 7363407B2 JP 2019210657 A JP2019210657 A JP 2019210657A JP 2019210657 A JP2019210657 A JP 2019210657A JP 7363407 B2 JP7363407 B2 JP 7363407B2
Authority
JP
Japan
Prior art keywords
explanatory variable
variable
model
learning
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019210657A
Other languages
English (en)
Other versions
JP2021082139A (ja
Inventor
勇樹 上山
喜輝 伊藤
泰明 阿部
修治 稲本
信幸 阪谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019210657A priority Critical patent/JP7363407B2/ja
Priority to EP20200670.6A priority patent/EP3825928A3/en
Priority to CN202011089031.0A priority patent/CN112824987A/zh
Priority to US17/068,829 priority patent/US20210157285A1/en
Publication of JP2021082139A publication Critical patent/JP2021082139A/ja
Application granted granted Critical
Publication of JP7363407B2 publication Critical patent/JP7363407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/028—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using expert systems only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/11—Plc I-O input output
    • G05B2219/1105—I-O

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Description

本発明は、追加学習装置、追加学習方法、及び追加学習プログラムに関する。
例えば、製品を製造する製造装置では、材料や外部環境変化の影響を低減し、所望の製品品質基準を満たすように、加工等の動作を実現することを目的としている。そのために必要な指標を観測するセンサや、制御動作をアクチュエータに対して指示するコントローラが製造装置には内蔵されている。コントローラには、機械学習されたモデルを用いるデータドリブンな機能を内包するものもある。
通常、製造装置の設計の段階で想定される材料や外部環境変化の影響を加味して、既定の品質基準を満たすような実装を設計者は試みるが、実際に現場運用に入ってから想定していない変化（外乱）によって品質不良の発生につながることがある。また、こうした想定外の事象の発生率を下げる目的で、生産効率を犠牲にして対応することが多い。
上記のような装置における計測や制御等の機器動作を決めるプログラムに内包されるモデルに関する技術として、診断性能を常に好適に保ちつつ、モデルの性能を向上させる上で必要な情報を適切に保持する診断装置が提案されている。この診断装置は、工作機械から診断情報を取得し、物理的特徴を元に異常が発生した際に生じると予測される特徴量を用いて診断を行う物理モデルによる診断手段を含む。また、この診断装置は、正常時及び異常時の信号を元に学習した機械学習モデルを用いて診断を行う数理モデルによる診断手段を含む。そして、この診断装置は、両診断手段による診断結果が異なった場合に、物理モデル及び数理モデルの少なくとも一方を更新する必要があると判断し、その旨を通知する（特許文献１参照）。
特開２０１８－１１９９２４号公報
しかしながら、上記特許文献１に記載の技術では、モデルを更新する必要がある旨が通知されるが、最終的な更新判断は人が行う必要がある。この場合、例えば、材料の変更や外部環境変化が頻繁に生じると、人手で都度判断することが困難な場合がある、という問題がある。
本発明は、上記の点に鑑みてなされたものであり、未知の外乱事象に対して、人手を要することなくモデルを更新することを目的とする。
上記目的を達成するために、本発明に係る追加学習装置は、説明変数に対する目的変数を出力する予め学習されたモデルからの出力に応じた指示で制御される制御対象において観測されるデータに基づく情報を取得する取得部と、前記取得部により取得された情報に対応する説明変数が、前記モデルにおいて未知か否かを判定する判定部と、前記判定部により前記説明変数が未知であると判定された場合に、前記説明変数に対応する目的変数を取得し、前記説明変数と前記目的変数とを対応付けて、前記モデルを追加学習する追加学習部と、を含んで構成される。
また、前記追加学習部は、未知の説明変数に対応する情報が取得されてから所定時間後に前記制御対象において観測されるデータに基づく情報を、前記目的変数として取得することができる。
また、前記追加学習部は、未知の説明変数に対応する所定の目的変数を設定し、設定した目的変数に対応する出力に応じた指示で前記制御対象を制御した場合に観測されるデータに基づく情報が、予め定めた条件を満たす場合に、前記所定の目的変数を、前記未知の説明変数に対応する目的変数として取得することができる。
また、前記追加学習部は、未知の説明変数に対応する目的変数を、ユーザからの入力により取得することができる。
また、前記判定部は、前記モデルの説明変数空間において、前記モデルを学習する際の学習データとして説明変数が存在した領域と、前記学習データとして説明変数が存在しなかった領域とを示すマップ情報を保持し、前記取得部により取得された情報に対応する説明変数がいずれの領域に属するかに基づいて、前記取得部により取得された情報に対応する説明変数が未知か否かを判定することができる。
また、本発明に係る追加学習装置は、前記モデルから出力された目的変数から、前記制御対象を制御するための制御信号を生成して出力する制御部を更に含んで構成することができる。
また、前記制御対象が製造装置とすることができる。
また、本発明に係る追加学習方法は、取得部が、説明変数に対する目的変数を出力する予め学習されたモデルからの出力に応じた指示で制御される制御対象において観測されるデータに基づく情報を取得し、判定部が、前記取得部により取得された情報に対応する説明変数が、前記モデルにおいて未知か否かを判定し、追加学習部が、前記判定部により前記説明変数が未知であると判定された場合に、前記説明変数に対応する目的変数を取得し、前記説明変数と前記目的変数とを対応付けて、前記モデルを追加学習する方法である。
また、本発明に係る追加学習プログラムは、コンピュータを、説明変数に対する目的変数を出力する予め学習されたモデルからの出力に応じた指示で制御される制御対象において観測されるデータに基づく情報を取得する取得部、前記取得部により取得された情報に対応する説明変数が、前記モデルにおいて未知か否かを判定する判定部、及び、前記判定部により前記説明変数が未知であると判定された場合に、前記説明変数に対応する目的変数を取得し、前記説明変数と前記目的変数とを対応付けて、前記モデルを追加学習する追加学習部として機能させるためのプログラムである。
本発明に係る追加学習装置、方法、及びプログラムによれば、未知の外乱事象に対して、人手を要することなくモデルを更新することができる。
本実施形態に係るＰＬＣの機能構成を示すブロック図である。 本実施形態に係るＰＬＣのハードウェア構成を示すブロック図である。 マップ情報を概念的に示す図である。 モデルの追加学習の様子を概念的に示す図である。 追加学習の回数と、モデルに反映される事象の割合との関係を示す図である。 本実施形態における制御処理の流れを示すフローチャートである。 本実施形態における追加学習処理の流れを示すフローチャートである。
以下、本発明の実施形態の一例を、図面を参照しつつ説明する。本実施形態では、本発明に係る追加学習装置を搭載したＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）を例に説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法及び比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図１に示すように、本実施形態に係るＰＬＣ１０は、モデル生成装置３０で生成されたモデルを用いて、制御対象である製造装置３５の動作を制御する。製造装置３５は、例えば、搬送装置、プレス機等である。制御対象の製造装置３５は、１つであってもよいし、複数であってもよい。
図２は、本実施形態に係るＰＬＣ１０のハードウェア構成を示すブロック図である。図２に示すように、ＰＬＣ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４２、メモリ４４、記憶装置４６、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４８、記憶媒体読取装置５２、及び通信Ｉ／Ｆ５４を有する。各構成は、バス５６を介して相互に通信可能に接続されている。
記憶装置４６には、後述する制御処理及び追加学習処理を実行するための追加学習プログラムが格納されている。ＣＰＵ４２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ４２は、記憶装置４６からプログラムを読み出し、メモリ４４を作業領域としてプログラムを実行する。ＣＰＵ４２は、記憶装置４６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
メモリ４４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置４６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入出力Ｉ／Ｆ４８は、製造装置３５からのデータの入力、及び製造装置３５へのデータの出力を行うインタフェースである。また、例えば、キーボードやマウス等の、各種の入力を行うための入力装置、及び、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための出力装置が接続されてもよい。出力装置として、タッチパネルディスプレイを採用することにより、入力装置として機能させてもよい。
記憶媒体読取装置５２は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ、ブルーレイディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。
通信Ｉ／Ｆ５４は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
モデル生成装置３０のハードウェア構成は、ＰＬＣ１０のハードウェア構成と同様であるため、説明を省略する。
次に、モデル生成装置３０の機能構成について説明する。図１に示すように、モデル生成装置３０は、機能的には、生成部３２を含む。
生成部３２は、説明変数に対する目的変数を出力するモデルであって、ＰＬＣ１０により製造装置３５を制御するために利用されるモデルのパラメータを、学習データを用いて予め学習することによりモデルを生成する。
本実施形態では、説明変数は、製造装置３５において観測されるデータに基づく情報（以下、「観測情報」という）である。観測情報は、例えば、製造装置３５内のモーターの回転数、製造装置３５に設けられた各種センサにより検出されたセンサ値、これらの値に基づいて判定処理等を行った処理結果等の情報である。目的変数は、入力された説明変数に対して推論される製造装置３５の状態等の予測値である。すなわち、モデルは、観測情報に基づいて、製造装置３５の制御に必要な予測値を推論するものである。
したがって、生成部３２は、観測情報に基づく説明変数と、その観測情報が観測された場合における製造装置３５の正解の状態を示す目的変数とのペアを学習データとして、モデルのパラメータを学習することにより、モデルを生成する。生成部３２は、ＰＬＣ１０のモデル記憶部２０（詳細は後述）に、学習したモデルのパラメータを記憶する。
また、生成部３２は、説明変数空間において、モデルの学習に利用した学習データとして説明変数が存在した領域と、学習データとして説明変数が存在しなかった領域とを示すマップ情報を生成する。図３に、マップ情報を概念的に示す。図３の例では、ｙ１及びｙ２が説明変数、ｙ＾（図３中では、「ｙ」の上に「＾（ハット）」）が目的変数である。ｙ１及びｙ２の各々を各軸とする説明変数空間を、例えば図３に示すようなメッシュ状の小領域に分割する。説明変数と正解の目的変数とのペアである学習データ（図３中の黒丸）の各々について、その学習データに含まれる説明変数（図３中の白丸）が属する小領域に、説明変数が存在したことを示す値を付与する。図３の例では、学習データとして説明変数が存在した小領域を網掛けの領域で、学習データとして説明変数が存在しなかった小領域を白の領域で表している。生成部３２は、ＰＬＣ１０のモデル記憶部２０（詳細は後述）に、生成したマップ情報を記憶する。
次に、本実施形態に係るＰＬＣ１０の機能構成について説明する。
図１に示すように、ＰＬＣ１０は、機能構成として、取得部１２と、判定部１４と、追加学習部１６と、制御部１８とを含む。また、ＰＬＣ１０の所定の記憶領域には、モデル記憶部２０が記憶される。各機能構成は、ＣＰＵ４２が記憶装置４６に記憶された追加学習プログラムを読み出し、メモリ４４に展開して実行することにより実現される。
取得部１２は、製造装置３５から観測情報を取得する。取得部１２は、観測情報から特徴量を抽出するなどの必要な処理を行って、モデルに入力する説明変数に加工し、説明変数を判定部１４及び制御部１８に受け渡す。観測情報がそのままモデルに入力する説明変数となる場合には、取得部１２は、観測情報をそのまま説明変数として判定部１４及び制御部１８へ受け渡す。
判定部１４は、取得部１２から受け渡された説明変数が、モデルにおいて未知か否かを判定する。具体的には、判定部１４は、モデル記憶部２０からマップ情報を読み出し、取得部１２から受け渡された説明変数が、学習データとして説明変数が存在した小領域に属するか、学習データとして説明変数が存在しなかった領域に属するかを判定する。判定部１４は、前者の場合、取得部１２から受け渡された説明変数は既知、後者の場合、取得部１２から受け渡された説明変数は未知と判定し、判定結果を追加学習部１６へ受け渡す。
追加学習部１６は、判定部１４により説明変数が未知であると判定された場合に、未知の説明変数に対応する目的変数を取得し、未知の説明変数と取得した目的変数とを対応付けて、モデルを追加学習する。
追加学習は、オンライン学習とも呼ばれ、初期又は既存の学習データに基づき生成されたモデルの一部を、新たに得られた学習データに基づき更新する処理である。例えば、追加の学習データを用いて、確率的勾配降下法等により、モデルのパラメータを最適化することにより、モデルを追加学習することができる。
図４に、モデルの追加学習の様子を概念的に示す。図４に示すように、モデルが木構造で表される場合、追加学習により、新たなノード（図４中の黒丸で示すノード）が追加される。このように、説明変数が未知の場合、その説明変数に対応する目的変数を取得して新たな学習データとしてモデルを追加学習により更新する。このため、モデルの既存部分による推論結果は変化しない。
図５に示すように、追加学習の回数が多くなるほど、説明変数で説明される全事象、すなわち、起こり得る事象の上限のうち、学習データとして存在する既知の説明変数で説明される事象、すなわち、モデルに反映される事象の割合が高くなり、モデルによる推論の精度が向上する。
追加学習部１６は、以下のように、未知の説明変数に対応する目的変数を取得することができる。
モデルから出力される目的変数が、所定時間後に製造装置３５で観測される観測情報に応じた値であるとする。この場合、追加学習部１６は、未知の説明変数に対応する観測情報が取得されてから所定時間後に取得される観測情報に応じた値を、未知の説明変数に対応する目的変数として取得する。
また、モデルから出力される目的変数を探索的に導出可能な場合、追加学習部１６は、未知の説明変数に対応する目的変数として所定の目的変数を設定する。例えば、追加学習部１６は、マップ情報に基づいて、未知の説明変数が属する小領域の近隣の小領域のうち、説明変数が既知の小領域に属する学習データに含まれる目的変数の値を線形補間するなどして得られる値を、所定の目的変数とすることができる。追加学習部１６は、設定した目的変数に対応する出力に応じた指示で製造装置３５を制御した場合に観測される観測情報が規定範囲内の値である場合に、設定した所定の目的変数を、未知の説明変数に対応する目的変数として取得する。
また、追加学習部１６は、未知の説明変数に対応する目的変数を、ユーザからの入力により取得してもよい。
追加学習部１６は、追加学習により更新したモデルのパラメータをモデル記憶部２０に記憶する。また、追加学習部１６は、追加学習に用いた説明変数と目的変数とのペアで表される学習データに基づいて、マップ情報を更新する。具体的には、追加学習部１６は、学習データとして説明変数が存在しなかった小領域に、学習データとして説明変数が存在することを示す値を付与する。
制御部１８は、取得部１２から受け渡された説明変数をモデルに入力し、モデルから出力された目的変数に基づいて、製造装置３５を制御するための制御信号を生成して出力する。例えば、制御部１８は、モデルで予測された製造装置３５の状態に応じて、ローラーの角度を調整したり、モーターの回転速度を変更したりするための制御信号を生成する。
次に、本実施形態に係るＰＬＣ１０の作用について説明する。
まず、モデルの出力を用いて製造装置３５を制御する処理である制御処理について説明する。図６は、ＰＬＣ１０のＣＰＵ４２により実行される制御処理の流れを示すフローチャートである。ＣＰＵ４２が記憶装置４６から制御プログラムを読み出して、メモリ４４に展開して実行することにより、ＣＰＵ４２がＰＬＣ１０の各機能構成として機能し、図６に示す制御処理が繰り返し実行される。
ステップＳ１２で、制御部１８が、製造装置３５を制御するための制御信号を生成して出力する。これにより、製造装置３５が、制御信号に基づいて制御されて動作する。製造装置３５の動作に伴い、製造装置３５において観測情報が観測され、ＰＬＣ１０に出力される。
次に、ステップＳ１４で、取得部１２が、製造装置３５から観測情報を取得する。そして、取得部１２が、観測情報に必要な処理を行って、モデルに入力する説明変数に加工し、説明変数を判定部１４及び制御部１８に受け渡す。観測情報がそのままモデルに入力する説明変数となる場合には、取得部１２は、観測情報をそのまま説明変数として判定部１４及び制御部１８へ受け渡す。
次に、ステップＳ１６で、制御部１８が、取得部１２から受け渡された説明変数をモデルに入力し、モデルから出力された目的変数に基づいて、製造装置３５を制御するための制御信号を生成する。そして、処理はステップＳ１２に戻る。
次に、モデルを追加学習する追加学習処理について説明する。図７は、ＰＬＣ１０のＣＰＵ４２により実行される追加学習処理の流れを示すフローチャートである。ＣＰＵ４２が記憶装置４６から追加学習プログラムを読み出して、メモリ４４に展開して実行することにより、ＣＰＵ４２がＰＬＣ１０の各機能構成として機能し、図７に示す追加学習処理が実行される。追加学習処理は、製造装置３５から観測情報を取得する都度実行される。
ステップＳ２２で、判定部１４が、制御処理（図６）のステップＳ１４において取得部１２により取得された観測情報に基づく説明変数を受け取る。そして、判定部１４が、モデル記憶部２０からマップ情報を読み出し、マップ情報において、受け取った説明変数が、学習データとして説明変数が存在しなかった小領域に属するか否かを判定する。肯定判定の場合、判定部１４は、受け取った説明変数は未知であると判定し、処理はステップＳ２４へ移行する。否定判定の場合、受け取った説明変数は既知であるため、モデルの追加学習を行うことなく、追加学習処理は終了する。
ステップＳ２４では、追加学習部１６が、モデルから出力される目的変数が、所定時間後に製造装置３５で観測される観測情報に応じた値であるか否かを判定する。肯定判定の場合、処理はステップＳ２６へ移行し、否定判定の場合、処理はステップＳ３４へ移行する。
ステップＳ２８では、取得部１２が、所定時間待機し、次のステップＳ２８で、製造装置３５から観測情報を取得する。
次に、ステップＳ３０で、追加学習部１６が、上記ステップＳ２８で取得された観測情報に応じた値を、未知の説明変数に対応する目的変数として取得する。そして、追加学習部１６が、未知の説明変数と取得した目的変数とを対応付けて、モデルを追加学習する。
次に、ステップＳ３２で、追加学習部１６が、追加学習により更新したモデルのパラメータをモデル記憶部２０に記憶する。また、追加学習部１６が、追加学習に用いた説明変数と目的変数とのペアで表される学習データに基づいて、マップ情報を更新する。そして、追加学習処理は終了する。
一方、ステップＳ３４では、追加学習部１６が、モデルから出力される目的変数を探索的に導出可能か否かを判定する。導出可能な場合には、処理はステップＳ３６へ移行し、導出できない場合には、処理はステップＳ４４へ移行する。
ステップＳ３６では、追加学習部１６が、未知の説明変数に対応する目的変数として所定の目的変数を設定する。これにより、制御部１８が、設定された目的変数に応じた制御信号を生成して出力し、製造装置３５がこの制御信号に応じて動作する。
次に、ステップＳ３８で、取得部１２が、設定された所定の目的変数に応じた制御信号で動作した製造装置３５から観測情報を取得する。
次に、ステップＳ４０で、追加学習部１６が、上記ステップＳ３８で取得された観測情報が規定範囲内か否かを判定する。規定範囲内の場合には、処理はステップＳ４２へ移行し、規定範囲外の場合には、追加学習処理は終了する。
ステップＳ４２では、追加学習部１６が、上記ステップＳ３６で設定した所定の目的変数を、未知の説明変数に対応する目的変数として取得する。そして、追加学習部１６が、未知の説明変数と取得した目的変数とを対応付けて、モデルを追加学習し、ステップＳ３２へ移行する。
なお、上記ステップＳ４０で否定判定となった場合、ステップＳ３６に戻り、前回とは異なる目的変数を設定して、ステップＳ３６～Ｓ４０の処理を所定回数繰り返してもよい。
ステップＳ４４では、追加学習部１６が、ユーザから、未知の説明変数に対応する目的変数の入力を受け付ける。そして、次のステップＳ４６で、追加学習部１６が、受け付けた目的変数を、未知の説明変数に対応する目的変数として取得し、モデルを追加学習し、ステップＳ３２へ移行する。
以上説明したように、本実施形態に係るＰＬＣによれば、説明変数に対する目的変数を出力する予め学習されたモデルからの出力に応じた指示で制御される製造装置から観測情報を取得する。そして、取得された観測情報に対応する説明変数が、モデルにおいて未知の場合に、未知の説明変数に対応する目的変数を取得し、未知の説明変数と取得した目的変数とを対応付けて、モデルを追加学習する。
これにより、未知の外乱事象に対して、装置を止めることなく、また人手を要することなく、ＰＬＣ内でモデルを更新することができる。その結果、従来技術のように、人が都度、更新判断を行う場合に比べ、未知の事象がモデルに反映されるまでのタイムロスを減らすことができる。そのため、上記実施形態のように、ＰＬＣにより製造装置を制御しているような場面では、歩留まりの改善につながる。
なお、上記実施形態では、本発明の追加学習装置をＰＬＣに搭載した例について説明したが、これに限定されない。例えば、車両の自動運転又は運転アシストの機能にも適用することができる。この場合、車両から、アクセルやブレーキの踏み込み量、ステアリングの操舵角、速度、加速度等のデータを観測情報として取得し、観測情報に基づく説明変数を入力として、モデルにより、車両の状態を推論した予測値を目的変数として出力する。そして、目的変数に基づく制御信号を車両に出力すればよい。
また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した追加学習処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、追加学習処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態では、追加学習プログラムが記憶装置に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ブルーレイディスク、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１２ 取得部
１４ 判定部
１６ 追加学習部
１８ 制御部
２０ モデル記憶部
３０ モデル生成装置
３２ 生成部
３５ 製造装置
４２ ＣＰＵ
４４ メモリ
４６ 記憶装置
４８ 入出力Ｉ／Ｆ
５２ 記憶媒体読取装置
５４ 通信Ｉ／Ｆ

Claims (6)

  1. 説明変数に対する目的変数を出力する予め学習されたモデルからの出力に応じた指示で制御される制御対象において観測されるデータに基づく情報を取得する取得部と、
    前記取得部により取得された情報に対応する説明変数が、前記モデルにおいて未知か否かを判定する判定部と、
    前記判定部により前記説明変数が未知であると判定された場合に、前記説明変数に対応する目的変数を取得し、前記説明変数と前記目的変数とを対応付けて、前記モデルを追加学習する追加学習部と、を含み、
    前記追加学習部は、未知の説明変数に対応する情報が取得されてから所定時間後に前記制御対象において観測されるデータに基づく情報を、前記目的変数として取得する
    追加学習装置。
  2. 前記判定部は、前記モデルの説明変数空間において、前記モデルを学習する際の学習データとして説明変数が存在した領域と、前記学習データとして説明変数が存在しなかった領域とを示すマップ情報を保持し、前記取得部により取得された情報に対応する説明変数がいずれの領域に属するかに基づいて、前記取得部により取得された情報に対応する説明変数が未知か否かを判定する請求項１に記載の追加学習装置。
  3. 前記モデルから出力された目的変数から、前記制御対象を制御するための制御信号を生成して出力する制御部を更に含む請求項１又は請求項２に記載の追加学習装置。
  4. 前記制御対象が製造装置である請求項３に記載の追加学習装置。
  5. 取得部が、説明変数に対する目的変数を出力する予め学習されたモデルからの出力に応じた指示で制御される制御対象において観測されるデータに基づく情報を取得し、
    判定部が、前記取得部により取得された情報に対応する説明変数が、前記モデルにおいて未知か否かを判定し、
    追加学習部が、前記判定部により前記説明変数が未知であると判定された場合に、前記説明変数に対応する目的変数を取得し、前記説明変数と前記目的変数とを対応付けて、前記モデルを追加学習する追加学習方法であって、
    前記追加学習部は、未知の説明変数に対応する情報が取得されてから所定時間後に前記制御対象において観測されるデータに基づく情報を、前記目的変数として取得する
    追加学習方法。
  6. コンピュータを、
    説明変数に対する目的変数を出力する予め学習されたモデルからの出力に応じた指示で制御される制御対象において観測されるデータに基づく情報を取得する取得部、
    前記取得部により取得された情報に対応する説明変数が、前記モデルにおいて未知か否かを判定する判定部、及び、
    前記判定部により前記説明変数が未知であると判定された場合に、前記説明変数に対応する目的変数を取得し、前記説明変数と前記目的変数とを対応付けて、前記モデルを追加学習する追加学習部として機能させるための追加学習プログラムであって、
    前記追加学習部は、未知の説明変数に対応する情報が取得されてから所定時間後に前記制御対象において観測されるデータに基づく情報を、前記目的変数として取得する
    追加学習プログラム。
JP2019210657A 2019-11-21 2019-11-21 追加学習装置、方法、及びプログラム Active JP7363407B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019210657A JP7363407B2 (ja) 2019-11-21 2019-11-21 追加学習装置、方法、及びプログラム
EP20200670.6A EP3825928A3 (en) 2019-11-21 2020-10-08 Additional learning device, additional learning method, and additional learning program
CN202011089031.0A CN112824987A (zh) 2019-11-21 2020-10-13 追加学习装置、方法以及存储介质
US17/068,829 US20210157285A1 (en) 2019-11-21 2020-10-13 Additional learning device, additional learning method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019210657A JP7363407B2 (ja) 2019-11-21 2019-11-21 追加学習装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021082139A JP2021082139A (ja) 2021-05-27
JP7363407B2 true JP7363407B2 (ja) 2023-10-18

Family

ID=72811626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019210657A Active JP7363407B2 (ja) 2019-11-21 2019-11-21 追加学習装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US20210157285A1 (ja)
EP (1) EP3825928A3 (ja)
JP (1) JP7363407B2 (ja)
CN (1) CN112824987A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841689B2 (en) * 2018-12-27 2023-12-12 Nec Corporation Policy creation apparatus, control apparatus, policy creation method, and non-transitory computer readable medium storing policy creation program
JP2023002081A (ja) * 2021-06-22 2023-01-10 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191556A (ja) 2009-02-17 2010-09-02 Hitachi Ltd 異常検知方法及び異常検知システム
JP2013025367A (ja) 2011-07-15 2013-02-04 Wakayama Univ 設備状態監視方法およびその装置
JP2014096058A (ja) 2012-11-09 2014-05-22 Nippon Telegr & Teleph Corp <Ntt> 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム
JP2018077823A (ja) 2016-10-31 2018-05-17 新日鐵住金株式会社 物理モデルのパラメータ同定装置、方法及びプログラム、並びに製造プロセスの制御システム
JP2018206061A (ja) 2017-06-05 2018-12-27 トヨタ自動車株式会社 異常診断装置及び異常診断方法
JP2019028765A (ja) 2017-07-31 2019-02-21 株式会社安川電機 電力変換装置、サーバ、及びデータ生成方法
JP2019079275A (ja) 2017-10-25 2019-05-23 株式会社日立製作所 プラントの運転支援装置及び運転支援方法
JP2019185422A (ja) 2018-04-11 2019-10-24 株式会社Ｙｅ Ｄｉｇｉｔａｌ 故障予知方法、故障予知装置および故障予知プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308322B1 (en) * 1998-09-29 2007-12-11 Rockwell Automation Technologies, Inc. Motorized system integrated control and diagnostics using vibration, pressure, temperature, speed, and/or current analysis
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
WO2016121328A1 (ja) * 2015-01-28 2016-08-04 日本電気株式会社 予測結果表示システム、予測結果表示方法および予測結果表示プログラム
JP6304313B2 (ja) * 2016-06-22 2018-04-04 株式会社Ihi ガスタービンのタービン出口温度予測方法及びその装置
US11176423B2 (en) * 2016-10-24 2021-11-16 International Business Machines Corporation Edge-based adaptive machine learning for object recognition
JP6837848B2 (ja) 2017-01-27 2021-03-03 オークマ株式会社 診断装置
US10572773B2 (en) * 2017-05-05 2020-02-25 Intel Corporation On the fly deep learning in machine learning for autonomous machines
US10604814B2 (en) * 2017-09-27 2020-03-31 International Business Machines Coporation Manufacturing process control with deep learning-based predictive model for hot metal temperature of blast furnace
CN110248861B (zh) * 2018-01-07 2023-05-30 辉达公司 在车辆操纵过程中使用机器学习模型来引导车辆
GB2572327A (en) * 2018-03-23 2019-10-02 The Plastic Economy Ltd A system and method for manufacture and material optimisation
JP7396117B2 (ja) * 2020-02-27 2023-12-12 オムロン株式会社 モデル更新装置、方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191556A (ja) 2009-02-17 2010-09-02 Hitachi Ltd 異常検知方法及び異常検知システム
JP2013025367A (ja) 2011-07-15 2013-02-04 Wakayama Univ 設備状態監視方法およびその装置
JP2014096058A (ja) 2012-11-09 2014-05-22 Nippon Telegr & Teleph Corp <Ntt> 文書間関係推定モデル学習装置、文書間関係推定装置、方法、及びプログラム
JP2018077823A (ja) 2016-10-31 2018-05-17 新日鐵住金株式会社 物理モデルのパラメータ同定装置、方法及びプログラム、並びに製造プロセスの制御システム
JP2018206061A (ja) 2017-06-05 2018-12-27 トヨタ自動車株式会社 異常診断装置及び異常診断方法
JP2019028765A (ja) 2017-07-31 2019-02-21 株式会社安川電機 電力変換装置、サーバ、及びデータ生成方法
JP2019079275A (ja) 2017-10-25 2019-05-23 株式会社日立製作所 プラントの運転支援装置及び運転支援方法
JP2019185422A (ja) 2018-04-11 2019-10-24 株式会社Ｙｅ Ｄｉｇｉｔａｌ 故障予知方法、故障予知装置および故障予知プログラム

Also Published As

Publication number Publication date
JP2021082139A (ja) 2021-05-27
CN112824987A (zh) 2021-05-21
EP3825928A2 (en) 2021-05-26
EP3825928A3 (en) 2021-06-02
US20210157285A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP7504163B2 (ja) 異常予知装置、異常予知システム、異常予知方法及び異常予知プログラム
JP7363407B2 (ja) 追加学習装置、方法、及びプログラム
TWI716390B (zh) 伺服馬達控制裝置及衝突檢測方法
WO2021171863A1 (ja) モデル更新装置、方法、及びプログラム
JP6567205B1 (ja) 機械学習装置、補正パラメータ調整装置および機械学習方法
CN109613886B (zh) 热位移校正系统
US11892819B2 (en) Control device, control system, control method, and computer-readable storage medium
JP7416267B2 (ja) 調整システム、調整方法および調整プログラム
TW202144941A (zh) 機器狀態監視裝置以及機器狀態監視方法
CN110023857A (zh) 伺服控制装置
WO2019207767A1 (ja) 制御装置および制御方法
JP7487502B2 (ja) 学習用データ生成装置、学習装置、制御装置、学習用データ生成方法、学習方法、制御方法、学習用データ生成プログラム、学習プログラム、及び制御プログラム
US20210302921A1 (en) Controller with neural network and improved stability
CN116635802A (zh) 数控装置
CN109844658B (zh) 运动控制装置的参数化的自动优化
JP6829271B2 (ja) 測定動作パラメータ調整装置、機械学習装置及びシステム
JP2005258717A (ja) 制御装置のパラメータ設定方法及び装置並びにプログラム
Mohtat et al. Validation and refinement of a steering friction increase detection algorithm using test drive data
WO2019145052A1 (en) System and method for calibrating a torque control function of a vehicle
JP7060546B2 (ja) 歯当たり位置調整量推定装置、機械学習装置、ロボットシステム及び歯当たり位置調整量推定システム
JP5841795B2 (ja) Ｐｉｄ制御装置
JP7024829B2 (ja) 教師データ作成装置、教師データ作成方法及びプログラム
JP2018180798A (ja) 製造システムおよび製造方法
WO2021176619A1 (ja) 位置決め制御装置および位置決め方法
TW202314409A (zh) 控制裝置、控制系統以及控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R150 Certificate of patent or registration of utility model

Ref document number: 7363407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150