JP7388606B1 - 予測方法、情報処理装置、及びプログラム - Google Patents
予測方法、情報処理装置、及びプログラム Download PDFInfo
- Publication number
- JP7388606B1 JP7388606B1 JP2023559850A JP2023559850A JP7388606B1 JP 7388606 B1 JP7388606 B1 JP 7388606B1 JP 2023559850 A JP2023559850 A JP 2023559850A JP 2023559850 A JP2023559850 A JP 2023559850A JP 7388606 B1 JP7388606 B1 JP 7388606B1
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- layer
- network model
- prediction
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003062 neural network model Methods 0.000 claims abstract description 69
- 230000004913 activation Effects 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000006068 polycondensation reaction Methods 0.000 claims description 6
- 238000012644 addition polymerization Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 89
- 229920003002 synthetic resin Polymers 0.000 description 30
- 239000000057 synthetic resin Substances 0.000 description 30
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000000052 comparative effect Effects 0.000 description 6
- -1 polyethylene terephthalate Polymers 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000018044 dehydration Effects 0.000 description 4
- 238000006297 dehydration reaction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006482 condensation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 229920000180 alkyd Polymers 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920000877 Melamine resin Polymers 0.000 description 1
- 239000004640 Melamine resin Substances 0.000 description 1
- 239000004952 Polyamide Substances 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 239000004721 Polyphenylene oxide Substances 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- 229920001328 Polyvinylidene chloride Polymers 0.000 description 1
- 229920001807 Urea-formaldehyde Polymers 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 125000002887 hydroxy group Chemical group [H]O* 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000005011 phenolic resin Substances 0.000 description 1
- 229920002239 polyacrylonitrile Polymers 0.000 description 1
- 229920002647 polyamide Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 229920000570 polyether Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 229920000139 polyethylene terephthalate Polymers 0.000 description 1
- 239000005020 polyethylene terephthalate Substances 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 229920000193 polymethacrylate Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 229920002689 polyvinyl acetate Polymers 0.000 description 1
- 239000011118 polyvinyl acetate Substances 0.000 description 1
- 239000004800 polyvinyl chloride Substances 0.000 description 1
- 229920000915 polyvinyl chloride Polymers 0.000 description 1
- 239000005033 polyvinylidene chloride Substances 0.000 description 1
- 238000012628 principal component regression Methods 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 229920002050 silicone resin Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/10—Analysis or design of chemical reactions, syntheses or processes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Crystallography & Structural Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
予測対象に係る予測技術を改善する。情報処理装置１０が実行する予測方法であって、予測対象に係る実績データに基づきニューラルネットワークモデルを訓練するステップと、ニューラルネットワークモデルにより、予測対象に係る複数の説明因子に基づき、予測対象に係る目的因子を予測するステップと、を含み、ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、中間層に係る活性化関数の係数は、出力層に係る活性化関数の係数よりも大きい。
Description
本開示は、予測方法、情報処理装置、及びプログラムに関する。本願は、２０２２年１２月２８日に、日本に出願された特願２０２２―２１２７０４に基づき優先権を主張し、その内容をここに援用する。
従来から、化学反応等の物理・化学現象に係る予測を行う手法が提案されている（例えば特許文献１）。
特許文献１に記載の技術では、反応器システムの制御を最適化するために、ニューラルネットワーク、部分最小二乗法、主成分回帰等のモデリング技術を用いられることが記載されている。しかしながら、予測を行う際におけるニューラルネットワークモデルの具体的な設計方法及び最適化については考慮されておらず、合成樹脂の化学反応等の予測対象に係る予測技術には改善の余地があった。
かかる事情に鑑みてなされた本開示の目的は、予測対象に係る予測技術を改善することにある。
（１）本開示の一実施形態における予測方法は、情報処理装置が実行する予測方法であって、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練するステップと、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測するステップと、
を含み、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい。
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練するステップと、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測するステップと、
を含み、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい。
（３）本開示の一実施形態における予測方法は、（１）又は（２）に記載の予測方法であって、前記予測対象は、重縮合反応及び付加重合反応を含む。
（４）本開示の一実施形態における予測方法は、（１）から（３）のいずれかに記載の予測方法であって、前記中間素子の素子数は、前記説明因子の数の１．１倍以上６倍未満である。
（５）本開示の一実施形態における予測方法は、（１）から（４）のいずれかに記載の予測方法であって、前記入力層に入力される説明因子の数値範囲は、0以上かつ１以下であり、前記出力層から出力される目的因子の数値範囲は0.2以上かつ0.8以下である。
（６）本開示の一実施形態における情報処理装置は、制御部を備え、
前記制御部は、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練し、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測し、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい。
前記制御部は、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練し、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測し、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい。
（７）本開示の一実施形態における非一時的なコンピュータ読取可能記録媒体は、
命令を記憶した非一時的なコンピュータ読取可能記録媒体であって、前記命令は、プロセッサによって実行された時に、プロセッサに、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練することと、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測することと、
を実行させ、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい。
命令を記憶した非一時的なコンピュータ読取可能記録媒体であって、前記命令は、プロセッサによって実行された時に、プロセッサに、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練することと、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測することと、
を実行させ、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい。
本開示の一実施形態における予測方法、情報処理装置、及びプログラムによれば、予測対象に係る予測技術を改善することができる。
以下、本開示の実施形態における予測対象に係る予測を行う方法について、図面を参照して説明する。本実施形態に係る予測対象は、合成樹脂の化学反応を含む。以下、本実施形態では、予測対象が合成樹脂の化学反応である場合を一例として説明する。ここで合成樹脂の化学反応は、重縮合反応及び付加重合反応を含む。重縮合反応で合成される主な高分子材料はポリエステル、ポリアミド、ポリエチレンテレフタレート、尿素樹脂、フェノール樹脂、シリコーン樹脂、アルキド樹脂、アルキド樹脂ポリエーテル、ポリグルコシド、メラミン樹脂、ポリカーボネート等である。付加重合反応で合成される主な高分子材料はポリ(メタ)アクリル酸エステル、ポリエチレン、ポリプロピレン、ポリスチレン、ポリ塩化ビニル、ポリ酢酸ビニル、ポリ塩化ビニリデン、ポリアクリロニトリル、ポリテトラフルオロエチレン等である。
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
まず、本実施形態の概要について説明する。本実施形態における合成樹脂の化学反応に係る予測を行う方法では、合成樹脂の化学反応に係る実績データに基づきニューラルネットワークモデルが訓練される。また、訓練されたニューラルネットワークモデルにより、合成樹脂の化学反応に係る複数の説明因子に基づき、合成樹脂の化学反応に係る目的因子を予測する。ここで本実施形態に係るニューラルネットワークモデルは、入力層と中間層と出力層とを含み、中間層に係る活性化関数の係数が、出力層に係る活性化関数の係数よりも大きいことを特徴とする。
このように本実施形態によれば、ニューラルネットワークモデルが入力層と中間層と出力層とを含み、中間層に係る活性化関数の係数が、出力層に係る活性化関数の係数よりも大きいことを特徴とする。合成樹脂の化学反応にかかる予測を行う場合には、後述するように中間層に係る活性化関数の係数を出力層に係る活性化関数の係数よりも大きく設定することで学習過程が最適化され、また予測精度が向上する。したがって本実施形態によれば合成樹脂の化学反応に係る予測技術を改善することができる。
（情報処理装置の構成）
次に図１を参照して、情報処理装置１０の各構成について詳細に説明する。情報処理装置１０は、ユーザによって使用される任意の装置である。例えばパーソナルコンピュータ、サーバコンピュータ、汎用の電子機器、又は専用の電子機器が、情報処理装置１０として採用可能である。
次に図１を参照して、情報処理装置１０の各構成について詳細に説明する。情報処理装置１０は、ユーザによって使用される任意の装置である。例えばパーソナルコンピュータ、サーバコンピュータ、汎用の電子機器、又は専用の電子機器が、情報処理装置１０として採用可能である。
図１に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、入力部１３と、出力部１４とを備える。
制御部１１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、ＣＰＵ（central processing unit）若しくはＧＰＵ（graphics processing unit）などの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（field-programmable gate array）又はＡＳＩＣ（application specific integrated circuit）である。制御部１１は、情報処理装置１０の各部を制御しながら、情報処理装置１０の動作に関わる処理を実行する。
記憶部１２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは、例えば、ＲＡＭ（random access memory）又はＲＯＭ（read only memory）である。ＲＡＭは、例えば、ＳＲＡＭ（static random access memory）又はＤＲＡＭ（dynamic random access memory）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）である。記憶部１２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１２には、情報処理装置１０の動作に用いられるデータと、情報処理装置１０の動作によって得られたデータとが記憶される。
入力部１３には、少なくとも１つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーンである。また入力用インタフェースは、例えば、音声入力を受け付けるマイクロフォン、又はジェスチャー入力を受け付けるカメラ等であってもよい。入力部１３は、情報処理装置１０の動作に用いられるデータを入力する操作を受け付ける。入力部１３は、情報処理装置１０に備えられる代わりに、外部の入力機器として情報処理装置１０に接続されてもよい。接続方式としては、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はBluetooth（登録商標）などの任意の方式を用いることができる。
出力部１４には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、情報を映像で出力するディスプレイ等である。ディスプレイは、例えば、ＬＣＤ（liquid crystal display）又は有機ＥＬ（electro luminescence）ディスプレイである。出力部１４は、情報処理装置１０の動作によって得られるデータを表示出力する。出力部１４は、情報処理装置１０に備えられる代わりに、外部の出力機器として情報処理装置１０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。
情報処理装置１０の機能は、本実施形態に係るプログラムを、情報処理装置１０に相当するプロセッサで実行することにより実現される。すなわち、情報処理装置１０の機能は、ソフトウェアにより実現される。プログラムは、情報処理装置１０の動作をコンピュータに実行させることで、コンピュータを情報処理装置１０として機能させる。すなわち、コンピュータは、プログラムに従って情報処理装置１０の動作を実行することにより情報処理装置１０として機能する。
本実施形態においてプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（digital versatile disc）又はＣＤ－ＲＯＭ（compact disc read only memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムを外部サーバのストレージに格納しておき、外部サーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。
情報処理装置１０の一部又は全ての機能が、制御部１１に相当する専用回路により実現されてもよい。すなわち、情報処理装置１０の一部又は全ての機能が、ハードウェアにより実現されてもよい。
本実施形態において記憶部１２は、例えば実績データ及び予測モデルを記憶する。なお実績データ及び予測モデルは、情報処理装置１０とは別の外部装置に記憶されていてもよい。その場合、情報処理装置１０は、外部通信用インタフェースを備えていてもよい。通信用インタフェースは、有線通信又は無線通信のいずれのインタフェースであってよい。有線通信の場合、通信用インタフェースは例えばＬＡＮインタフェース、ＵＳＢである。無線通信の場合、通信用インタフェースは例えば、ＬＴＥ、４Ｇ、若しくは５Ｇなどの移動通信規格に対応したインタフェース、Bluetooth（登録商標）などの近距離無線通信に対応したインタフェースである。通信用インタフェースは、情報処理装置１０の動作に用いられるデータを受信し、また情報処理装置１０の動作によって得られるデータを送信可能である。
（情報処理装置の動作）
次に図２を参照して、本実施形態に係る情報処理装置１０の動作について説明する。
次に図２を参照して、本実施形態に係る情報処理装置１０の動作について説明する。
ステップＳ１０１：情報処理装置１０の制御部１１は、合成樹脂の化学反応に係る実績データに基づきニューラルネットワークモデルを訓練する。実績データには、合成樹脂の化学反応に係る説明因子及び目的因子が含まれる。かかる説明因子及び目的因子は予測する対象の合成樹脂の化学反応に応じて適宜選択される。予測対象の合成樹脂の化学反応は、例えば重縮合反応及び付加重合反応を含む。重縮合反応は脱水縮合反応を含む。例えば脱水縮合反応にかかる予測を行う場合、実験データは脱水縮合反応に係る複数の説明因子及び目的因子を含む。例えば複数の説明因子は脱水昇温工程に係る特徴量等を含んでもよい。また、目的因子は、水酸基価、酸価等を含んでもよい。換言すると制御部１１は、実績データに含まれるこれらの説明因子及び目的因子を教師データとして、ニューラルネットワークモデルを訓練する。
実績データの取得には、任意の手法が採用可能である。例えば制御部１１は、記憶部１２から実績データを取得する。また制御部１１は、ユーザからの実績データの入力を入力部１３により受け付けることで、実績データを取得してもよい。あるいは制御部１１は、実績データを記憶した外部装置から通信用インタフェースを介して、かかる実績データを取得してもよい。
教師データに基づき訓練されたニューラルネットワークモデルは、既知データに基づき交差検証が行われる。かかる交差検証の結果、精度が実用範囲内である場合には、当該ニューラルネットワークモデルを用いた合成樹脂の化学反応に係る予測が行われる。
ステップＳ１０２：制御部１１は、合成樹脂の化学反応に係る複数の説明因子に基づき、合成樹脂の化学反応に係る目的因子を予測する。例えば制御部１１は、ユーザからの説明因子の入力を入力部１３により受け付けることで、目的因子を取得してもよい。
ステップＳ１０３：制御部１１は、ステップＳ１０２により得られた予測結果を出力部１４により出力する。
ここで本実施形態では、活性化関数の係数が中間層と出力層とで異なることを特徴としている。具体的には、本実施形態において中間層に係る活性化関数の係数は、出力層に係る活性化関数の係数よりも大きいことを特徴としている。
図３に、本実施形態に係るニューラルネットワークモデルの概念図を示す。本実施形態に係るニューラルネットワークモデルは、入力層１００と、中間層２００と、出力層３００とを含む。本実施形態におけるニューラルネットワークモデルは全結合である。本実施形態において、ニューラルネットワークモデルの階層数は例えば２である。かかる階層数は入力層を除く層の数である。ニューラルネットワークモデルの階層数を２とすることで、合成樹脂の化学反応における物理現象にそぐわないモデル形状となることを防ぐことができる。換言すると、ニューラルネットワークモデルの階層数を必要最低限に抑えることで、合成樹脂の化学反応における物理現象に適したモデル形状を実現することができる。なお本実施形態にかかるニューラルネットワークモデルの階層数はこれに限られず、３層以上であってもよい。ニューラルネットワークモデルの階層数が３層以上である場合、ニューラルネットワークモデルの前層ほど活性化関数の係数が大きくなるように設定されてもよい。
入力層１００は、複数の素子１０１―１０４（入力素子１０１―１０４ともいう）を含む。図３に示すニューラルネットワークモデルでは入力素子数は４である。入力素子１０１―１０４は、それぞれ１番目―４番目の素子ともよばれる。入力素子１０１―１０４には、それぞれ説明因子が入力される。なお入力素子の数はこれに限られない。
中間層２００は、複数の素子２０１―２０６（中間素子２０１―２０６ともいう）を含む。図３に示すニューラルネットワークモデルでは中間素子数は６である。中間素子２０１―２０６は、それぞれ１番目―６番目の素子ともよばれる。なお中間素子の数はこれに限られない。
出力層３００は、複数の素子３０１―３０２（出力素子３０１―３０２ともいう）を含む。図３に示すニューラルネットワークモデルでは出力素子数は２である。出力素子３０１及び３０２は、それぞれ１番目及び２番目の素子ともよばれる。なお出力素子の数はこれに限られない。
入力層１００の入力素子１０１―１０４から中間層２００の中間素子２０１―２０６に入力される値は、中間層２００において中間層２００に係る活性化関数に基づき変換される。また変換された値は、出力層３００の素子３０１―３０２に出力される。中間層２００に係る活性化関数は、例えばシグモイド関数である。グラフ２１０は、中間層２００に係る活性化関数の一例を示す。中間層２００の中間素子２０１―２０６から出力層３００の出力素子３０１―３０２に入力される値は、出力層３００において、出力層３００に係る活性化関数に基づき変換されて出力される。出力層３００に係る活性化関数は、例えばシグモイド関数である。グラフ３１０は、出力層３００に係る活性化関数の一例を示す。具体的には中間層及び前記出力層に係る活性化関数は、例えばそれぞれ以下の数式（１）（２）により定められるシグモイド関数である。
本実施形態にかかるニューラルネットワークモデルでは、中間層に係る活性化関数の係数が、出力層に係る活性化関数の係数よりも大きい。これにより、合成樹脂の化学反応に係る予測を行う際のニューラルネットワークモデルの構成を最適化できる。具体的には、合成樹脂の化学反応に係る予測を行うニューラルネットワークモデルにおいては、説明因子の変化は、明確な変化として捉えられることが望ましい。そのため中間層に係る活性化関数の係数を出力層に係る活性化関数の係数よりも大きくすることにより、中間層への入力値の変化を明確な変化として出力層に伝えることができる。他方で、合成樹脂の化学反応に係る予測を行うニューラルネットワークモデルの出力層においては、教師データと目的因子の値を収束させる必要がある。そこで、出力層に係る活性化関数の係数は、中間層に係る活性化関数の係数よりも小さく設定される。このようにすることで、出力層から出力される目的因子の値は微調整される。
また活性化関数の係数を中間層と出力層とで異ならせることにより、ニューラルネットワークモデルの学習過程が最適化される。具体的には、活性化関数の係数を変更することにより、学習過程における出力層と中間層における重み変数の更新量を調整することができる。また重み変数の更新は学習過程に大きな影響がある。そのため学習過程は、更新量の調整に基づき最適化され得る。以下、Ｌ層のニューラルネットワークモデルにおける重み変数の更新量について説明する。
まずＬ番目の層（出力層）の重み変数の更新量について説明する。かかる重み変数の更新量は、損失関数の偏微分に基づき以下の数式（３）により定められる。
数式（３）における右辺の損失関数の偏微分は微分の連鎖律に基づき以下のように変形できる。
また、数式（７）は以下のように変形できる。
損失関数が二乗誤差関数である場合、損失関数は以下のように表される。
損失関数が二乗誤差関数である場合、数式（８）は以下のように変形できる。
第Ｌ層の活性化関数がシグモイド関数の場合、活性化関数は以下のように表される。
数式(１０)の右辺の第２項は、数式（１１）に基づき以下のように式変形できる。
さらに数式（１２）は以下のように変形できる。
数式（５）から数式（１３）に基づき、数式（４）は以下のように変形できる。
数式（１４）の右辺の各変数はすべて数値計算により得られる値である。したがって、左辺の値は数値計算により確定できる。したがって、数式（３）に示す出力層の各重み変数の更新量は、数値計算に基づき求めることができる。
次に、ニューラルネットワークモデルの学習過程における中間層の更新量について説明する。中間層の重み変数の更新量は、損失関数の偏微分に基づき以下の数式（１５）により定められる。
数式（１５）における右辺の損失関数の偏微分は微分の連鎖律に基づき以下のように変形できる。
数式（１９）の右辺はさらに以下のように変形できる。
第l層の活性化関数がシグモイド関数の場合、活性化関数は以下のように表される。
第l層の活性化関数が上記のシグモイド関数の場合、数式(２０)の右辺は以下のように変形できる。
数式（２２）は、さらに以下のように式変形できる。
数式（１７）から数式（２３）に基づき、数式（１６）は、以下のように変形できる。
数式（１４）及び数式（２４）に示されるように、各重み変数の更新量の算出過程において、活性化関数の係数が関係する。具体的には、中間層及び出力層の活性化関数がシグモイド関数である場合、更新量は活性化関数のal及びaLにそれぞれ比例する。換言するとシグモイド関数の係数al及びaLを変更することにより、重み変数の更新量を調整することができ、ニューラルネットワークモデルの学習過程を最適化することができる。
具体的には、合成樹脂の化学反応に係る予測を行う際のニューラルネットワークモデルにおいては、中間層に係る重み変数の更新量は比較的大きくすることが好ましい。これにより、中間層における重み変数が学習過程においてより大きく変動し、中間層への入力値の変化を明確な変化として出力層に伝えることができる。他方で、出力層に係る重み変数の更新量は比較的小さくすることが好ましい。これにより、出力層における重み変数が学習過程においてより小さく変動し、教師データと目的因子の値が収束しやすくなる。また、al>aLを満たすことにより、任意の滑らかな関数を十分な精度で近似することが可能となるため、不用意に中間層の層数を増やす必要がなくなる。これにより中間層が１層でも十分な精度を得ることができる。中間層を少なく取ることは過学習の発生を抑制する事に直結するため、学習処理の安定性、更にはモデルのロバスト性についても副次的な効果がある。
本実施形態に係るニューラルネットワークモデルにおいて、中間層におけるシグモイド関数の係数は例えば０．７５であり、出力層におけるシグモイド関数の係数は例えば０．１である。図４は、中間層のシグモイド関数の係数を０．７５とし、出力層のシグモイド関数の係数を０．１とした場合のニューラルネットワークモデルの、合成樹脂の化学反応にかかる予測の学習収束結果を示す。なお学習終了誤差は０．００３、学習回数は２０万回、入力因子数は１３、中間素子数は２０、出力因子数は１としている。図４に示すように、教師データとＡＩ収束値との値はほとんど一致しており、ほぼ限界値まで収束している。このように、合成樹脂の化学反応に係る予測を行う際のニューラルネットワークモデルにおいて、中間層におけるシグモイド関数の係数を出力層におけるシグモイド関数の係数より大きくすることで、高精度の予測モデルが得られる。
図５は、比較例として、中間層のシグモイド関数の係数を０．７５とし、出力層のシグモイド関数の係数を０．７５とした場合のニューラルネットワークモデルの学習収束結果を示す。なお学習誤差、学習回数、入力因子数、中間素子数、出力因子数は図４の学習条件と同一である。図５に示すように、教師データとＡＩ収束値との値が一部で相違しており、図４に示すニューラルネットワークモデルよりも精度が悪い。
図６は、比較例として、中間層のシグモイド関数の係数を０．１とし、出力層のシグモイド関数の係数を０．１とした場合のニューラルネットワークモデルの学習収束結果を示す。なお学習誤差、学習回数、入力因子数、中間素子数、出力因子数は図４の学習条件と同一である。図６に示すように、教師データとＡＩ収束値との値が一部で相違しており、図４に示すニューラルネットワークモデルよりも精度が悪い。
図７は、比較例として、中間層のシグモイド関数の係数を０．４とし、出力層のシグモイド関数の係数を０．４とした場合のニューラルネットワークモデルの学習収束結果を示す。なお学習誤差、学習回数、入力因子数、中間素子数、出力因子数は図４の学習条件と同一である。図７に示すように、教師データとＡＩ収束値との値が一部で相違しており、図４に示すニューラルネットワークモデルよりも精度が悪い。
以上の図４―７の各モデルの学習収束結果から示されるように、合成樹脂の化学反応を予測するニューラルネットワークモデルにおいては、中間層のシグモイド関数の係数が、出力層のシグモイド関数の係数よりも大きい場合に、最も精度が高くなることがわかる。このように、本実施形態によれば合成樹脂の化学反応に係る予測技術を改善することができる。
また本実施形態において、ニューラルネットワークモデルのハイパーパラメータは適宜調整されてよい。例えば学習定数は微分動作による重みの修正動作が行える最小の値であれば任意の値であってよい。また例えば本実施形態においてニューラルネットワークモデルの中間素子数は、説明因子数（入力層の素子数）の１.１倍以上６倍未満であってもよい。中間素子数は、出力層の素子数に基づき設定されてもよい。具体的には例えば中間素子数、シグモイド関数の係数、及び学習回数は、例えば以下のように調整できる。
１．中間素子数
・出力素子数が１の場合、１.１倍―３倍
・出力素子数が２の場合、１.１倍―４.５倍
・出力素子数が３の場合、１．１倍―６倍
２．シグモイド関数の係数
中間層：０．７０―０．８０
出力層：０．０９５―０．１５
３．学習回数
１０万回―２０万回（学習データが５０―１００組程度の場合）
１．中間素子数
・出力素子数が１の場合、１.１倍―３倍
・出力素子数が２の場合、１.１倍―４.５倍
・出力素子数が３の場合、１．１倍―６倍
２．シグモイド関数の係数
中間層：０．７０―０．８０
出力層：０．０９５―０．１５
３．学習回数
１０万回―２０万回（学習データが５０―１００組程度の場合）
また本実施形態において、各説明因子の数値範囲及び各目的因子の数値範囲は適宜調整されてよい。例えば入力層に入力される説明因子の数値範囲は、0以上かつ１以下であり、出力層から出力される目的因子の数値範囲は0.2以上かつ0.8以下であるようにしてもよい。このように説明因子側は、ニューラルネットワークが扱える０以上かつ１以下のフルスケールとしてよい。他方で、目的因子側は、0.2以上かつ0.8以下に限定することで、数値としての探索範囲を狭め、数値計算における探索を容易化することができる。
なお本実施形態において、中間層及び出力層の活性化関数がシグモイド関数である場合を説明したが、活性化関数はシグモイド関数に限られない。例えば中間層及び出力層の活性化関数は、双曲線正接関数（tanh関数）、ランプ関数（ReLU）等の関数であってもよい。
なお本実施形態では、予測対象が合成樹脂の化学反応である場合を一例として説明したが、予測対象はこれに限られない。予測対象は例えば、任意の物質の化学反応等の物理・化学現象の予測であってよい。また予測対象は、物理・化学現象等でなくてもよい。つまり、本実施形態に係る技術は、ニューラルネットワーク等を用いたモデリング全般において用いることができる。
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 入力部
１４ 出力部
入力層 １００
中間層 ２００
出力層 ３００
素子 １０１―１０４、２０１―２０６、３０１―３０２
グラフ ２１０、３１０
１１ 制御部
１２ 記憶部
１３ 入力部
１４ 出力部
入力層 １００
中間層 ２００
出力層 ３００
素子 １０１―１０４、２０１―２０６、３０１―３０２
グラフ ２１０、３１０
Claims (7)
- 情報処理装置が実行する予測方法であって、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練するステップと、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測するステップと、
を含み、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい、方法。 -
- 請求項１又は２に記載の予測方法であって、前記予測対象は、重縮合反応及び付加重合反応を含む予測方法。
- 請求項１又は２に記載の予測方法であって、前記中間層の素子数は、前記説明因子の数の１.１倍以上６倍未満である予測方法。
- 請求項１又は２に記載の予測方法であって、前記入力層に入力される説明因子の数値範囲は、0以上かつ１以下であり、前記出力層から出力される目的因子の数値範囲は0.2以上かつ0.8以下である予測方法。
- 制御部を備える情報処理装置であって、
前記制御部は、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練し、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測し、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい、情報処理装置。 - 情報処理装置が実行するプログラムであって、コンピュータに、
予測対象に係る実績データに基づきニューラルネットワークモデルを訓練することと、
前記ニューラルネットワークモデルにより、前記予測対象に係る複数の説明因子に基づき、前記予測対象に係る目的因子を予測することと、
を実行させ、
前記ニューラルネットワークモデルは、入力層と中間層と出力層とを含み、前記中間層に係る活性化関数の係数は、前記出力層に係る活性化関数の係数よりも大きい、プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022212704 | 2022-12-28 | ||
| JP2022212704 | 2022-12-28 | ||
| PCT/JP2023/019011 WO2024142427A1 (ja) | 2022-12-28 | 2023-05-22 | 予測方法、情報処理装置、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP7388606B1 true JP7388606B1 (ja) | 2023-11-29 |
Family
ID=88917854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023559850A Active JP7388606B1 (ja) | 2022-12-28 | 2023-05-22 | 予測方法、情報処理装置、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4421687A1 (ja) |
| JP (1) | JP7388606B1 (ja) |
| CN (1) | CN117882138A (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02287861A (ja) * | 1989-04-28 | 1990-11-27 | Victor Co Of Japan Ltd | ニューラルネットワーク |
| JPH04266153A (ja) * | 1991-02-20 | 1992-09-22 | Honda Motor Co Ltd | ニューラルネットワーク |
| JPH0991264A (ja) * | 1995-09-20 | 1997-04-04 | Hitachi Medical Corp | ニューラルネットワーク構造最適化装置ならびに方法 |
| JPH11232244A (ja) * | 1998-02-10 | 1999-08-27 | Hitachi Ltd | ニューラルネットワーク、その学習方法およびニューロ・ファジィ制御装置 |
-
2023
- 2023-05-22 CN CN202380013163.0A patent/CN117882138A/zh active Pending
- 2023-05-22 JP JP2023559850A patent/JP7388606B1/ja active Active
- 2023-05-22 EP EP23821471.2A patent/EP4421687A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02287861A (ja) * | 1989-04-28 | 1990-11-27 | Victor Co Of Japan Ltd | ニューラルネットワーク |
| JPH04266153A (ja) * | 1991-02-20 | 1992-09-22 | Honda Motor Co Ltd | ニューラルネットワーク |
| JPH0991264A (ja) * | 1995-09-20 | 1997-04-04 | Hitachi Medical Corp | ニューラルネットワーク構造最適化装置ならびに方法 |
| JPH11232244A (ja) * | 1998-02-10 | 1999-08-27 | Hitachi Ltd | ニューラルネットワーク、その学習方法およびニューロ・ファジィ制御装置 |
Non-Patent Citations (4)
| Title |
|---|
| 岸田 悟 ほか，階層型ニューラルネットワークのボタン選定問題への適用，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，1993年03月19日，vol. 92, no. 522，pp.97-102 |
| 岸田 悟 ほか: "階層型ニューラルネットワークのボタン選定問題への適用", 電子情報通信学会技術研究報告, vol. 92, no. 522, JPN6023028955, 19 March 1993 (1993-03-19), JP, pages 97 - 102, ISSN: 0005176101 * |
| 渡邊 栄治 ほか，講演における聴講者の動作の分析（第３報），電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会 The Institute of Ele，2019年01月17日，vol. 118, no. 420, LOIS2018-45，pp.21-26 |
| 渡邊 栄治 ほか: "講演における聴講者の動作の分析（第３報）", 電子情報通信学会技術研究報告, vol. vol. 118, no. 420, LOIS2018-45, JPN6023028954, 17 January 2019 (2019-01-17), JP, pages 21 - 26, ISSN: 0005176100 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4421687A1 (en) | 2024-08-28 |
| CN117882138A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10489688B2 (en) | Personalized digital image aesthetics in a digital medium environment | |
| WO2021091681A1 (en) | Adversarial training of machine learning models | |
| WO2022110640A1 (zh) | 一种模型优化方法、装置、计算机设备及存储介质 | |
| CN110597878A (zh) | 一种多模态数据的跨模态检索方法、装置、设备及介质 | |
| US20190073587A1 (en) | Learning device, information processing device, learning method, and computer program product | |
| US20220114479A1 (en) | Systems and methods for automatic mixed-precision quantization search | |
| US20230188788A1 (en) | Method for dynamically training a system to determine an age rating of media content | |
| JP7388606B1 (ja) | 予測方法、情報処理装置、及びプログラム | |
| CN110009048B (zh) | 一种神经网络模型的构建方法以及设备 | |
| CN115375698A (zh) | 医学图像分割方法、装置、电子设备及存储介质 | |
| CN111382619A (zh) | 图片推荐模型的生成、图片推荐方法、装置、设备及介质 | |
| WO2024142427A1 (ja) | 予測方法、情報処理装置、及びプログラム | |
| TW202427285A (zh) | 預測方法、資訊處理裝置、以及程式 | |
| WO2024176478A1 (ja) | 重縮合反応に係る予測を行う方法、情報処理装置、及びプログラム | |
| JP7388607B1 (ja) | 予測モデルの学習過程の評価を支援する方法、情報処理装置、及びプログラム | |
| JP7242595B2 (ja) | 学習装置、推論装置、学習方法及び推論方法 | |
| Liu et al. | Accurate on-line support vector regression incorporated with compensated prior knowledge | |
| CN117957615A (zh) | 进行与加聚反应有关的预测的方法、信息处理装置以及程序 | |
| Chakrabortty | Robust Semi-Parametric Inference in Semi-Supervised Settings | |
| WO2023181818A1 (ja) | 色素材料の探索方法、情報処理装置、及び非一時的なコンピュータ読取可能記録媒体 | |
| JP7235158B1 (ja) | 賦形材料の探索方法、情報処理装置、及びプログラム | |
| Chen et al. | Neural ordinary differential gray algorithm to forecasting models of controlled systems | |
| JP7255739B1 (ja) | ハードコート材料の探索方法、情報処理装置、及びプログラム | |
| CN113222020B (zh) | 一种基于数据转换和知识蒸馏的域增量学习方法 | |
| CN117836860A (zh) | 进行与缩聚反应有关的预测的方法、信息处理装置以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230927 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7388606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |