JP7359493B2 - ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム - Google Patents

ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム Download PDF

Info

Publication number
JP7359493B2
JP7359493B2 JP2022548325A JP2022548325A JP7359493B2 JP 7359493 B2 JP7359493 B2 JP 7359493B2 JP 2022548325 A JP2022548325 A JP 2022548325A JP 2022548325 A JP2022548325 A JP 2022548325A JP 7359493 B2 JP7359493 B2 JP 7359493B2
Authority
JP
Japan
Prior art keywords
hyperparameter
learning
sets
post
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022548325A
Other languages
English (en)
Other versions
JPWO2022054209A1 (ja
JPWO2022054209A5 (ja
Inventor
耕太郎 河尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AIZOTH INC.
Original Assignee
AIZOTH INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AIZOTH INC. filed Critical AIZOTH INC.
Publication of JPWO2022054209A1 publication Critical patent/JPWO2022054209A1/ja
Publication of JPWO2022054209A5 publication Critical patent/JPWO2022054209A5/ja
Application granted granted Critical
Publication of JP7359493B2 publication Critical patent/JP7359493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラムに関する。
従来、ニューラルネットワーク（以下、本明細書では「ＮＮ（Neural Network）」と記載する場合がある）が知られている。ＮＮとは、脳機能を模して構成されたモデルであり、ニューロンと呼ばれる１又は複数のノードを含む層が複数結合された構成を有している。ＮＮは、入力データに基づいて、当該入力データに対応する出力データを推測して出力するものである。
学習データを用いてＮＮを学習させることで、ＮＮは未知の入力データに対応する高精度な出力データを出力可能となる。ＮＮの学習処理を進めていくに従って、ＮＮが有するパラメータが調整（変更）されていく。学習処理により変更されるＮＮのパラメータとしては、例えば、ニューロン間を結合するエッジに定義される重みや各ニューロンに定義されるバイアスなどがある。
ＮＮが有するパラメータの中には、上述の重みやバイアスの他、学習処理によって変更されないパラメータがある。そのようなパラメータはハイパーパラメータと呼ばれる。ハイパーパラメータとしては、これに限られるものではないが、例えば、エポック数（１つの学習データの繰り返し利用回数）、隠れ層数（最も入力側にある入力層及び最も出力側にある出力層以外の層の数）、隠れ層ニューロン数（各隠れ層のニューロン数）、ドロップアウト数（学習処理において重みやバイアスを調整しないニューロン（不活性ニューロン）の数）、あるいは、バッチ数（学習データを複数のサブセットに分けたときのサブセットに含まれる学習データの数）などがある。ハイパーパラメータは、ＮＮの構造、あるいは、学習方法を表すパラメータであるとも言える。
ここで、ＮＮのハイパーパラメータに応じて、十分に学習済みの当該ＮＮの出力精度や、当該ＮＮの学習効率（所定回数の学習を行った際における当該ＮＮの出力精度）が変動することが知られている。したがって、ＮＮの管理者あるいはユーザは、当該ＮＮのハイパーパラメータを適切な値に設定するのが望ましい。なお、適切なハイパーパラメータは、ＮＮの解析対象、すなわちＮＮの入力データに応じてそれぞれ異なるのが一般的である。
このことに鑑み、従来、調整処理を用いて、ＮＮの適切なハイパーパラメータセット（複数のハイパーパラメータの項目に対する複数の値の集合）を特定する技術が提案されている。そのような調整処理の一例として、遺伝的アルゴリズム（簡略的に「ＧＡ（Genetic Algorithm）」とも呼ばれる）が知られている。例えば、特許文献１には、ＮＮのハイパーパラメータセットを個体とし、当該ハイパーパラメータセットが設定された学習済みのＮＮの出力誤差に応じた値を適応度とした遺伝的アルゴリズムによって、ＮＮの最適なハイパーパラメータセットを特定することが開示されている。また、特許文献２には、ＮＮの構造を個体とし、当該構造を有する学習済みのＮＮの出力誤差に応じた値を適応度とした遺伝的アルゴリズムによって、ＮＮの最適な構造を特定することが開示されている。
なお、ＮＮのハイパーパラメータセットを特定するものではないが、ＮＮと遺伝的アルゴリズムを組み合わせた技術として、非特許文献１には、遺伝的アルゴリズムによって、ＮＮで用いる学習データを指定することが開示されている。また、非特許文献２には、ＮＮが学習する際に局所解に落ち込むのを回避するために、ＮＮの重み及びバイアスのセットを個体とした遺伝的アルゴリズムを用いることが開示されている。
特許第６５２３３７９号公報 特許第６３５１６７１号公報
小俣光司 他，「遺伝的アルゴリズムとその評価関数としてのニューラルネットワークを用いたメタノール合成用Ｃｕ－Ｚｎ－Ａｌ酸化物触媒組成最適化」，石油学会論文誌，４５巻３号（２００２年），１９２－１９５頁 光石衛 他，「ニューラル・ネットワークと遺伝的アルゴリズムとを用いた高精密マシニングセンタの開発」，日本機械学会論文集（Ｃ編），６１巻５９１号（１９９５年１１月），３９５－４００頁
調整処理によってＮＮのハイパーパラメータセットを調整しようとする場合、その調整処理の処理量又は処理時間が膨大になるという問題が生じ得る。特に、遺伝的アルゴリズムを含む従来の調整処理においては、互いに異なるハイパーパラメータセットが設定された複数のＮＮを十分に学習させなければならない場合がある。そのような場合、調整処理のうち、当該ＮＮを学習させるための処理量又は処理時間が膨大になるという問題が生じ得る。当該問題を図８を参照しながら説明する。図８は、従来における遺伝的アルゴリズムを用いたＮＮのハイパーパラメータセットの調整処理の様子を示す概念図である。
遺伝的アルゴリズムの個体は、ＮＮのハイパーパラメータセットとなる。なお、当該個体を構成する各遺伝子は、当該ハイパーパラメータセットを構成する各ハイパーパラメータである。そして、各個体の適応度（適合度とも呼ばれる）は、各個体としての各ハイパーパラメータセットが設定された、学習済みのＮＮの性能に応じた値となる。ＮＮの性能とは、例えば、ＮＮの出力誤差（ある入力データに対するＮＮの出力データと当該入力データに対応する真のデータ（すなわち正解データ）との間の差分）、ＮＮに入力データが入力されてから出力データを出力するまでの間の時間である解析時間、あるいはこれらの組み合わせなどである。本明細書では、特に、十分に学習済みのＮＮの性能を「学習後性能」と呼び、学習後性能のうちの、十分に学習済みのＮＮの出力誤差を「学習後誤差」と、十分に学習済みのＮＮの解析時間を「学習後解析時間」と呼ぶことにする。適応度が高い程、当該個体、つまりハイパーパラメータセットが優秀であることを示す場合、例えば、学習後性能が高い（つまり学習後誤差が小さい、あるいは、学習後解析時間が短い）程、各個体の適応度を高いとすることができる。各個体に対する適応度は、同一のハイパーパラメータが設定された複数の学習済みのＮＮの複数の学習後性能に基づいて決定される場合もある。例えば、各個体に対する適応度を、同一のハイパーパラメータに対する複数の学習後誤差の平均値、あるいは、同一のハイパーパラメータに対する複数の学習後解析時間の平均値とされる場合もある。
図８に示すように、まず、初期個体群としてＮ個の個体、すなわち第１世代のＮ個のハイパーパラメータセットが用意される。第１世代のＮ個のハイパーパラメータセットに含まれる各ハイパーパラメータの値はランダムに選択されてよい。なお、図８では、第ｍ世代の第ｎ番目のハイパーパラメータセットが、「ハイパーパラメータセットｍ－ｎ」と記載されている。例えば、第１世代の第２番目のハイパーパラメータセットが、「ハイパーパラメータセット１－２」と記載されている。
次に、第１世代のＮ個のハイパーパラメータセットそれぞれの適応度が算出される。上述のように、各ハイパーパラメータセットの適応度は、当該ハイパーパラメータセットが設定されたＮＮの学習後性能に基づいて算出される。図８の例では、学習後性能として学習後誤差が示されている。したがって、各ハイパーパラメータセットに対する適応度を算出するためには、各ハイパーパラメータセットが設定されたＮ個のＮＮをそれぞれ十分に学習させなければならない。特に、各ハイパーパラメータセットの適応度を、同一のハイパーパラメータが設定された複数の（ここではＰ個の）学習済みのＮＮの学習後性能に基づいて決定する場合、Ｎ個のＮＮをそれぞれＰ回学習させる必要がある。
次に、算出された第１世代のＮ個のハイパーパラメータセットそれぞれの適応度に基づいて、第２世代のＮ個のハイパーパラメータセットが生成される。第２世代のＮ個のハイパーパラメータセットの取得方法については、例えば、第１世代のＮ個のハイパーパラメータセットのうち、適応度が高いハイパーパラメータセットを残すエリート保存、第１世代から選択された２つのハイパーパラメータセットそれぞれの一部のハイパーパラメータを交換する交叉、第１世代のハイパーパラメータセットに含まれるハイパーパラメータをランダムに変更する突然変異などの種々の方法がある。当該方法については、従来の遺伝的アルゴリズムと同様の方法を採用し得るため、ここでは詳細な説明は省略する。
さらに、第２世代のＮ個のハイパーパラメータセットそれぞれの適応度が算出される。第２世代においても、第１世代同様、各ハイパーパラメータセットに対する適応度を算出するためには、各ハイパーパラメータセットが設定されたＮ個のＮＮをそれぞれ十分に学習させる必要がある。ここでも、各ハイパーパラメータセットの適応度を、同一のハイパーパラメータが設定されたＰ個の学習済みのＮＮの学習後性能に基づいて決定する場合、Ｎ個のＮＮをそれぞれＰ回学習させる必要がある。
そして、算出された第２世代のＮ個のハイパーパラメータセットそれぞれの適応度に基づいて、第３世代のＮ個のハイパーパラメータセットが生成される。以後、上記同様の処理が世代を進めながら繰り返されていく。上述の処理を世代を進めながら繰り返していくことにより、ＮＮのハイパーパラメータが調整されていき、やがて適応度が高い個体、すなわち、学習後性能の高いＮＮのハイパーパラメータセット（理想的には最適なハイパーパラメータセット）を得ることができる。
遺伝的アルゴリズムは、所定の終了条件を満たすまで実行される。所定の終了条件とは、例えば、所定の世代までの処理が完了したこと、所定の適応度を超える個体が生成されたこと、あるいは、所定の世代のＮ個の個体の平均適応度が所定の閾値以上となったこと、などである。
上述の通りであるから、Ｇ世代分の処理を行い、１つの世代の個体としてＮ個のハイパーパラメータセットを用いる遺伝的アルゴリズムによってＮＮのハイパーパラメータセットを調整する場合、Ｇ×Ｎ個のＮＮを十分に学習させる必要があるということになる。さらに、各ハイパーパラメータセットの適応度を、同一のハイパーパラメータが設定されたＰ個の学習済みのＮＮの学習後性能に基づいて決定するならば、Ｇ×Ｎ個のＮＮをそれぞれＰ回学習させなければならず、すなわち、Ｇ×Ｎ×Ｐ個のＮＮを十分に学習させるのと同じ量の学習処理が必要となる。Ｇ×Ｎ個のＮＮ、あるいは、Ｇ×Ｎ×Ｐ個のＮＮを十分に学習させるには、学習のための処理量又は処理時間がかなり膨大となる。
遺伝的アルゴリズムの他にも、互いに異なるハイパーパラメータセットが設定された複数のＮＮの学習後誤差に基づいて、当該ＮＮのハイパーパラメータセットを調整する場合にも、当該複数のＮＮの学習後誤差を取得するためには、各ＮＮを十分に学習させる必要がある。
本明細書で開示されるハイパーパラメータ調整装置の目的は、調整処理によってニューラルネットワークのハイパーパラメータセットを調整する際の処理量又は処理時間を低減することにある。
本明細書で開示されるハイパーパラメータ調整装置は、第１ニューラルネットワークのハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの性能である学習後性能を出力するように学習器を学習させる学習処理部と、前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能に基づいて、前記第１ニューラルネットワークのハイパーパラメータセットを調整するハイパーパラメータ調整部と、を備えることを特徴とする。
前記ハイパーパラメータ調整部は、前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能を用いた、ヒューリスティックな探索手法により前記第１ニューラルネットワークのハイパーパラメータセットを調整するとよい。
前記ハイパーパラメータ調整部は、前記第１ニューラルネットワークのハイパーパラメータセットを個体とし、当該ハイパーパラメータセットを学習済みの前記学習器に入力して得られる当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの前記学習後性能に応じた値を適応度とした遺伝的アルゴリズムにより、前記第１ニューラルネットワークのハイパーパラメータセットを調整する遺伝的アルゴリズム処理部であるとよい。
前記第１ニューラルネットワークに入力される解析対象データに応じて、前記学習器のハイパーパラメータを決定する学習器パラメータ決定部と、をさらに備えるとよい。
前記学習器は、前記第１ニューラルネットワークとは異なる第２ニューラルネットワークにより構成されるとよい。
また、本明細書で開示される記録媒体は、コンピュータを、第１ニューラルネットワークのハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの性能である学習後性能を出力するように学習器を学習させる学習処理部と、前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能に基づいて、前記第１ニューラルネットワークのハイパーパラメータセットを調整するハイパーパラメータ調整部と、として機能させるためのハイパーパラメータ調整プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体である。
また、本明細書で開示されるハイパーパラメータ調整プログラムは、コンピュータを、第１ニューラルネットワークのハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの性能である学習後性能を出力するように学習器を学習させる学習処理部と、前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能に基づいて、前記第１ニューラルネットワークのハイパーパラメータセットを調整するハイパーパラメータ調整部と、として機能させることを特徴とする。
本明細書で開示されるハイパーパラメータ調整装置によれば、調整処理によってニューラルネットワークのハイパーパラメータセットを調整する際の処理量又は処理時間を低減することができる。
本実施形態に係る解析装置の構成概略図である。 第１ＮＮの構造の例を示す概念図である。 第１ＮＮの学習後誤差を示す概念図である。 第２ＮＮの学習データの例を示す図である。 第２ＮＮの学習処理の様子を示す概念図である。 本実施形態における遺伝的アルゴリズムを用いた第１ＮＮのハイパーパラメータセットの調整処理の様子を示す概念図である。 本実施形態における解析装置の処理の流れを示すフローチャートである。 従来における遺伝的アルゴリズムを用いたＮＮのハイパーパラメータセットの調整処理の様子を示す概念図である。
図１は、本実施形態に係るハイパーパラメータ調整装置としての解析装置１０の構成概略図である。本実施形態に係る解析装置１０は、サーバコンピュータにより構成される。しかしながら、以下に説明する機能を発揮可能な限りにおいて、解析装置１０としてはどのような装置であってもよい。例えば、解析装置１０は、パーソナルコンピュータなどであってもよい。
入出力インターフェース１２は、解析装置１０に対して種々の情報を入力するためのインターフェース、あるいは、解析装置１０から種々の情報を出力するためのインターフェースである。
入出力インターフェース１２は、例えば、ネットワークアダプタなどから構成されるネットワークインターフェースであってよい。ネットワークインターフェースによれば、解析装置１０は、他の装置と通信可能となり、他の装置から種々の情報を受信することができ、また、他の装置に対して種々の情報を送信することができる。
また、入出力インターフェース１２は、例えば、キーボードやマウス、あるいはタッチパネルなどから構成される入力インターフェースであってよい。入力インターフェースによれば、ユーザは、解析装置１０に種々の情報を入力することができる。
また、入出力インターフェース１２は、例えば、液晶パネルなどから構成されるディスプレイあるいはスピーカなどから構成される出力インターフェースであってよい。出力インターフェースによれば、解析装置１０は、ユーザなどに向けて種々の情報を出力することができる。
メモリ１４は、例えばＨＨＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）、あるいはＲＡＭ（Random Access Memory）などを含んで構成されている。メモリ１４は、後述のプロセッサ２０とは別に設けられてもよいし、少なくとも一部がプロセッサ２０の内部に設けられていてもよい。メモリ１４には、解析装置１０の各部を動作させるための、ハイパーパラメータ調整プログラムとしての解析プログラムが記憶される。解析プログラムは、コンピュータ（本実施形態では解析装置１０）が読み取り可能な非一時的な記録媒体に記録されることができる。その場合、解析装置１０は、当該記録媒体から解析プログラムを読み込んで実行することができる。
また、図１に示す通り、メモリ１４には第１ＮＮ（ニューラルネットワーク）１６、及び、学習器としての第２ＮＮ１８が記憶される。なお、後述するように、第１ＮＮ１６の実体は、第１ＮＮ１６の構造を定義するプログラム、第１ＮＮ１６に関する各種パラメータ、及び、入力データに対して処理を行うための処理実行プログラムなどである。したがって、メモリ１４に第１ＮＮ１６が記憶されるとは、上記プログラムや各種パラメータがメモリ１４に記憶されることを意味する。第２ＮＮ１８についても同様である。
第１ＮＮ１６は、解析装置１０の解析対象データを入力として、当該解析対象データに対応する出力データを出力するものである。解析対象データは何であってもよく、種々の分野のデータを用いることができる。すなわち、第１ＮＮ１６は幅広い分野で用いられることができる。
第１ＮＮ１６にはハイパーパラメータセットが設定されるところ、第１ＮＮ１６のハイパーパラメータセットが、ハイパーパラメータ調整装置としての解析装置１０による調整処理の対象となるハイパーパラメータセットである。第１ＮＮ１６のハイパーパラメータとしては、これらに限られるものではないが、例えば、エポック数、隠れ層数、隠れ層ニューロン数、ドロップアウト数、あるいは、バッチ数などがある。
メモリ１４には、設定されたハイパーパラメータセットが互いに異なる複数の第１ＮＮ１６が記憶される。
図２は、第１ＮＮ１６の構造の例を示す概念図である。図２に示す通り、第１ＮＮ１６は、複数の層を含んで構成されている。具体的には、最も入力側に位置する入力層、最も出力側に位置する出力層、及び、入力層と出力層の間に位置する１又は複数の隠れ層を含んで構成されている。各層は、１又は複数のニューロン（ノード）１６ａから構成される。図２の例においては、各ニューロン１６ａは全結合されており、ある層のニューロン１６ａと次の層の全てのニューロン１６ａとが、複数のエッジ１６ｂにより結合されている。
第１ＮＮ１６は、入力データに基づいて、当該入力データに対応する出力データを推測して出力するものである。第１ＮＮ１６は学習され、それにより入力データに対する出力データの精度を向上させることができる。例えば、第１ＮＮ１６は、教師有り学習によって学習されることができる。この場合、第１ＮＮ１６は、入力データと、当該入力データに対応する教師データとを含む学習データを用いて学習される。具体的には、学習データの内の入力データが第１ＮＮ１６に入力され、当該入力データに対する第１ＮＮ１６の出力データと、学習データに含まれる教師データとの誤差に基づいて、誤差逆伝搬法（バックプロパゲーション）などの手法により、各エッジ１６ｂに定義された重み、及び、各ニューロン１６ａに定義されているバイアスが変更される。なお、第１ＮＮ１６はその他の手法、例えば、教師無し学習や強化学習などにより学習されてもよい。
図３は、第１ＮＮ１６の学習後性能としての学習後誤差を示す概念図である。図３に示された第１ＮＮ１６は、十分に学習された学習済みのものである。上述の通り、解析対象データ（つまり第１ＮＮ１６の入力データ）に対する学習済みの第１ＮＮ１６の出力データと、当該解析対象データに対応する真のデータ（正解データ）との誤差を学習後誤差と呼ぶ。また、学習後性能としては、学習済みの第１ＮＮ１６に解析対象データを入力してから出力データを出力するまでの時間である学習後解析時間であってもよい。また、学習済みの第１ＮＮ１６の性能を示す学習後性能としては、学習後誤差及び学習後解析時間に限られない。
図１に戻り、第２ＮＮ１８は、第１ＮＮ１６とは異なるＮＮであり、第１ＮＮ１６のハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能を出力するように学習される学習器である。具体的には、第２ＮＮ１８は、第１ＮＮ１６のハイパーパラメータセットと、当該ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能（教師データ）とを含む学習データを用いて学習される。教師データとしての学習後性能は、学習後誤差と学習後解析時間との組み合わせなど、複数の評価値の組み合わせであってもよい。なお、第２ＮＮ１８の構造は、第１ＮＮ１８（図２参照）と同様であってよい。もちろん、第２ＮＮ１８のハイパーパラメータは、第１ＮＮ１６のハイパーパラメータと異なっていてもよい。
なお、本実施形態では、第１ＮＮ１６の学習後性能を予測する学習器として第２ＮＮ１８を用いているが、当該学習器としては、ＮＮに限られるものではない。例えば、当該学習器として重回帰分析を行う重回帰モデルを用いるようにしてもよい。重回帰分析は、目的変数（ここでは第１ＮＮ１６の学習後性能）を複数の説明変数（ここではハイパーパラメータセット）で予測するものであり、以下の式で表される。
ｙ＝ｂ１ｘ１＋ｂ２ｘ２＋・・・＋ｂｋｘｋ+ｅ
上式において、ｙは目的変数であり、ｘｎは説明変数（各ｘｎが第１ＮＮ１６の各ハイパーパラメータに相当する）であり、ｂｎは説明変数ｘｎの係数であり、ｅは定数である。上記学習データを用いた学習により、各ｘｎに対応する係数ｂｎが変更されていく。重回帰モデルにおいては、各係数ｂｎが過度に大きくならないようにするための調整パラメータλを設定することができる。当該調整パラメータλが重回帰モデルのハイパーパラメータの１つの例である。
詳しくは後述するが、学習済みの第２ＮＮ１８は、遺伝的アルゴリズムによる第１ＮＮ１６のハイパーパラメータの調整処理において用いられる。具体的には、遺伝的アルゴリズムの各世代における処理において、個体としての第１ＮＮ１６のハイパーパラメータセットに対する適応度を算出するための第１ＮＮ１６の学習後性能を算出する際に、学習済みの第２ＮＮ１８が用いられる。
第２ＮＮ１８のハイパーパラメータの設定方法、及び、第２ＮＮ１８の学習方法の詳細については、プロセッサ２０の処理と共に後述する。
プロセッサ２０は、汎用的な処理装置（例えばＣＰＵ（Central Processing Unit）など）、及び、専用の処理装置（例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、あるいは、プログラマブル論理デバイスなど）の少なくとも１つを含んで構成される。プロセッサ２０としては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図１に示す通り、プロセッサ２０は、メモリ１４に記憶された解析プログラムにより、第２ＮＮパラメータ決定部２２、学習処理部２４、ＧＡ（遺伝的アルゴリズム）処理部２６、及び、出力部２８としての機能を発揮する。
学習器パラメータ決定部としての第２ＮＮパラメータ決定部２２は、第１ＮＮ１６の学習後性能を出力する学習器のハイパーパラメータ（１つのパラメータであってもよい）を決定する。本実施形態では、第２ＮＮパラメータ決定部２２は、第２ＮＮ１８のハイパーパラメータセットを決定する。以下、第１ＮＮ１６の学習後性能を出力する学習器のハイパーパラメータを決定するための代表的な方法を説明する。
第１の方法として、第２ＮＮパラメータ決定部２２は、ユーザからの指示に応じて、第１ＮＮ１６の学習後性能を出力する学習器のハイパーパラメータ（本実施形態では第２ＮＮ１８のハイパーパラメータセット）を決定することができる。具体的には、第２ＮＮパラメータ決定部２２は、入出力インターフェース１２がユーザから取得したハイパーパラメータセットを示すハイパーパラメータ情報に基づいて、第２ＮＮ１８のハイパーパラメータセットを決定する。
例えば、ユーザがハイパーパラメータセットをユーザ端末（不図示）に入力した上で、入出力インターフェース１２としてのネットワークインターフェースは、当該ハイパーパラメータセットを示すハイパーパラメータ情報をユーザ端末から受信することができる。また、ユーザは、入出力インターフェース１２としての入力インターフェースを操作することで、第２ＮＮ１８のハイパーパラメータセットを解析装置１０に入力するようにしてもよい。
第１の方法の好適な変形例としては、解析装置１０の管理者などが、予め、第２ＮＮ１８の複数のハイパーパラメータセットを用意しておき、当該複数のハイパーパラメータセットをユーザに提示して、当該複数のハイパーパラメータセットの中から、使用する第２ＮＮ１８のハイパーパラメータセットをユーザに選択させるようにしてもよい。
複数のハイパーパラメータセットのユーザへの提示は、入出力インターフェース１２としてのネットワークインターフェースが、当該複数のハイパーパラメータセットを示す情報をユーザ端末に送信して、ユーザ端末のディスプレイに複数のハイパーパラメータセットを表示させることができる。また、入出力インターフェース１２としての出力インターフェースが、当該複数のハイパーパラメータセットを示す情報をユーザに向けて出力してもよい。
第２の方法として、第２ＮＮパラメータ決定部２２は、解析装置１０の解析対象、つまり、第１ＮＮ１６に入力される解析対象データに応じて、第１ＮＮ１６の学習後性能を出力する学習器のハイパーパラメータ（本実施形態では第２ＮＮ１８のハイパーパラメータセット）を決定することができる。
第１ＮＮ１６は、種々の解析対象データを入力とすることができるため、解析対象データに応じて、適切なハイパーパラメータセットが大きく異なる場合がある。一方、第２ＮＮ１８は、第１ＮＮ１８の解析対象データが何であろうと、その入力データは第１ＮＮ１８のハイパーパラメータセットであり、その出力データは第１ＮＮ１６の学習後性能である。したがって、第２ＮＮ１８の適切なハイパーパラメータセットは、第１ＮＮ１６のそれに比して、第１ＮＮ１６の解析対象データに応じて変動し難いものであるとは言える。しかしながら、第２ＮＮ１８の最適なハイパーパラメータセットも、第１ＮＮ１６の解析対象データに応じて異なる場合があり、そのような場合に、第１ＮＮ１６に入力される解析対象データに応じて、第２ＮＮ１８のハイパーパラメータセットを決定するのが有効である。
具体的には、過去において第１ＮＮ１６に入力された解析対象データの種別毎に、当該第１ＮＮ１６のハイパーパラメータセットの調整処理に用いられた第２ＮＮ１８のハイパーパラメータセットと、学習済みの当該第２ＮＮ１８の出力誤差とを関連付けてメモリ１４にデータベースとして記憶させておく。その上で、第２ＮＮパラメータ決定部２２は、ハイパーパラメータセットの調整対象となる第１ＮＮ１６に入力される予定の解析対象データの種別を取得し、上記データベースを参照し、当該解析対象データの種別に対応した第２ＮＮ１８のハイパーパラメータセットのうち、出力誤差の小さいものを第２ＮＮ１８のハイパーパラメータセットとして決定するようにしてもよい。あるいは、当該解析対象データの種別に対応した第２ＮＮ１８のハイパーパラメータセットのうち、出力誤差の小さい複数のハイパーパラメータセットを特定し、特定した複数のハイパーパラメータセットをユーザに提示して、ユーザに選択させるようにしてもよい。
第３の方法として、第２ＮＮパラメータ決定部２２は、従来から学習器のハイパーパラメータの最適化処理に用いられるベイズ最適化によって、第１ＮＮ１６の学習後性能を出力する学習器のハイパーパラメータ（本実施形態では第２ＮＮ１８のハイパーパラメータセット）を決定することができる。
学習処理部２４は、第１ＮＮ１６のハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能を出力するように第２ＮＮ１８を学習させる学習処理を実行する。以下、学習処理部２４による学習処理の手順を説明する。
まず、学習処理部２４は、互いに異なるハイパーパラメータセットが設定された複数の第１ＮＮ１６を学習させる。複数の第１ＮＮ１６に設定される各ハイパーパラメータセットはランダムに設定されてよい。ここでの複数の第１ＮＮ１６の数は、従来方法に比して第１ＮＮ１６のハイパーパラメータの調整処理の処理量あるいは処理時間についての優位性が失われないような数とする。具体的には、後述のＧＡ処理部２６が、遺伝的アルゴリズムにおいてＧ世代分の処理を実行し、１つの世代の個体としてＮ個のハイパーパラメータセットが用意される場合、ここでの複数の第１ＮＮ１６の数をＧ×Ｎ個未満の数とする。あるいは、後述のＧＡ処理部２６が、遺伝的アルゴリズムにおいてＧ世代分の処理を実行し、１つの世代の個体としてＮ個のハイパーパラメータセットが用意され、各ハイパーパラメータセットの適応度を、同一のハイパーパラメータが設定されたＰ個の学習済みのＮＮのＰ個の学習後性能に基づいて決定する場合、ここでの複数の第１ＮＮ１６の数をＧ×Ｎ×Ｐ個未満の数とする。
学習処理部２４は、解析対象データと、解析対象データに対応するデータ（教師データ）とから構成される学習データを用いて、各第１ＮＮ１６を学習させる。具体的には、解析対象データを第１ＮＮ１６に入力し、当該解析対象データに対する第１ＮＮ１６の出力データと、教師データとの出力誤差に基づいて、第１ＮＮ１６の各エッジ１６ｂの重み、及び各ニューロン１６ａのバイアスを変更していく。
複数の第１ＮＮ１６を十分に学習させた後、学習処理部２４は、各第１ＮＮ１６を評価して、各第１ＮＮ１６の学習後性能を算出する。具体的には、学習後性能として学習後誤差を用いる場合には、図３に示すように、対応する真のデータが既知である評価データとしての解析対象データを学習済みの第１ＮＮ１６に入力し、当該解析対象データに対する第１ＮＮ１６の出力データと、真のデータとの誤差である学習後誤差を算出する。学習後誤差は、複数の解析対象データを学習済みの１つの第１ＮＮ１６に入力したときの、複数の出力データと複数の真のデータとの間の誤差率であってもよい。また、学習後性能として学習後解析時間を用いる場合には、解析対象データを学習済みの第１ＮＮ１６に入力してから出力データが出力されるまでの時間を計測して学習後解析時間とする。学習後解析時間は、複数回解析対象データを１つの第１ＮＮ１６に入力したときの複数の解析時間の平均値であってもよい。また、学習後性能としては、学習後誤差及び学習後解析時間の組み合わせなどの、複数の評価値が表現された数値であってもよい。
ここまでの処理により、図４に示すような、第１ＮＮ１６のハイパーパラメータセットと、それに対応する学習後性能との組を複数取得することができる。なお、図４の例では、学習後性能として学習後誤差が示されている。第１ＮＮ１６のハイパーパラメータセットと、それに対応する学習後性能との組が第２ＮＮ１８を学習させるための学習データとなる。当該学習データのうち、各ハイパーパラメータセットに対応する学習後性能が教師データとなる。学習データの数は、十分に学習させた複数の第１ＮＮ１６の数となる。
次に、学習処理部２４は、第２ＮＮパラメータ決定部２２が決定したハイパーパラメータを第２ＮＮ１８のハイパーパラメータに設定する。
その上で、学習処理部２４は、第１ＮＮ１６のハイパーパラメータセットと、それに対応する学習後性能との組を学習データとして用いて、第２ＮＮ１８を学習させる。具体的には、図５に示すように、第１ＮＮ１６のハイパーパラメータセットを第２ＮＮ１８に入力し、当該ハイパーパラメータセットに対する第２ＮＮ１８の出力データ（これは第１ＮＮ１８の学習後性能を示すものである）と、教師データとの差分に基づいて、第２ＮＮ１６の各エッジの重み及び各ニューロンのバイアスを変更していく。
上述のような学習処理により、第２ＮＮ１８が十分に学習されると、第２ＮＮ１８は、第１ＮＮ１６のハイパーパラメータセットを入力することで、当該ハイパーパラメータセットが設定された第１ＮＮ１６に当該解析対象データが入力されたときの学習後性能を高精度に予測して出力できるようになる。つまり、学習済みの第２ＮＮ１８によれば、逐一第１ＮＮ１６を学習させなくても、当該第１ＮＮ１６の学習後性能を取得することができる。ここで、第２ＮＮ１８が出力する学習後性能とは、第１ＮＮ１６の学習後誤差、学習後解析時間、あるいは、これらの評価値の組み合わせを示す値である。
なお、学習処理部２４は、図４に示すような学習データを用いて、同一のハイパーパラメータセットが設定された複数の第２ＮＮ１８を学習させ、複数の学習済みの第２ＮＮ１８を用意するようにしてもよい。ちなみに、同一のハイパーパラメータセットが設定された複数の学習済みの第２ＮＮ１８のそれぞれは、同じ入力データに対して同じ出力データを出力するとは限らない。さらに、学習処理部２４は、当該学習データの一部である評価データを用いて学習済みの複数の第２ＮＮ１８の出力精度を評価し、当該複数の第２ＮＮ１８のうち、最も出力精度が高いものを後述のＧＡ処理部２６による遺伝的アルゴリズムに使用する第２ＮＮ１８として選択するようにしてもよい。
ハイパーパラメータ調整部としてのＧＡ処理部２６は、遺伝的アルゴリズムにより、第１ＮＮ１６のハイパーパラメータセットを調整する調整処理を実行する。図６は、ＧＡ処理部２６による遺伝的アルゴリズムを用いた第１ＮＮ１６のハイパーパラメータセットの調整処理の様子を示す概念図である。図６を参照しながら、ＧＡ処理部２６の処理を具体的に説明する。
図６に示される通り、ＧＡ処理部２６が用いる遺伝的アルゴリズムの個体は、第１ＮＮ１６のハイパーパラメータセットである。なお、当該個体を構成する各遺伝子は、当該ハイパーパラメータセットを構成する各ハイパーパラメータである。また、ＧＡ処理部２６が用いる遺伝的アルゴリズムにおける各個体の適応度は、各個体としての各ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能に応じた値である。なお、図８同様、図６においても、第ｍ世代の第ｎ番目のハイパーパラメータセットが、「ハイパーパラメータセットｍ－ｎ」と記載されている。
ＧＡ処理部２６は、まず、初期個体群としてＮ個の個体、すなわち第１世代のＮ個のハイパーパラメータセットを用意する。ＧＡ処理部２６は、第１世代のＮ個のハイパーパラメータセットに含まれる各ハイパーパラメータの値をランダムに選択することができる。
次に、ＧＡ処理部２６は、第１世代のＮ個のハイパーパラメータセットそれぞれの適応度を算出する。ここで、従来とは異なり、ＧＡ処理部２６は、各ハイパーパラメータセットを学習済みの第２ＮＮ１６に入力することで、各ハイパーパラメータに対応する第１ＮＮ１６の学習後性能を取得する。なお、図６の例でも、学習後性能として学習後誤差が示されている。そして、取得した学習後性能に基づいて、各ハイパーパラメータの適応度を算出する。複数の学習済みの第２ＮＮ１８が用意されている場合には、１つのハイパーパラメータを複数の第２ＮＮ１８に入力して得られた複数の学習後性能に基づいて、当該ハイパーパラメータの適応度を算出するようにしてもよい。例えば、１つのハイパーパラメータを複数の第２ＮＮ１８に入力して得られた複数の学習後性能の平均値に基づいて、当該ハイパーパラメータの適応度を算出するようにしてもよい。このように、本実施形態においては、ＧＡ処理部２６は、各ハイパーパラメータの適応度を算出するに当たり、各ハイパーパラメータセットが設定されたＮ個のＮＮを学習させる必要がない。
次に、ＧＡ処理部２６は、算出した第１世代のＮ個のハイパーパラメータセットそれぞれの適応度に基づいて、既知の方法によって、第２世代のＮ個のハイパーパラメータセットを生成する。そして、ＧＡ処理部２６は、第２世代のＮ個のハイパーパラメータセットそれぞれの適応度を算出する。第２世代においても、第１世代同様、ＧＡ処理部２６は、各ハイパーパラメータセットを学習済みの第２ＮＮ１６に入力することで、各ハイパーパラメータに対応する第１ＮＮ１６の学習後性能を取得する。つまり、第２世代においても、ＧＡ処理部２６は、各ハイパーパラメータの適応度を算出するに当たり、各ハイパーパラメータセットが設定されたＮ個のＮＮを学習させる必要がない。
さらに、ＧＡ処理部２６は、算出した第２世代のＮ個のハイパーパラメータセットそれぞれの適応度に基づいて、第３世代のＮ個のハイパーパラメータセットを生成する。以後、ＧＡ処理部２６は、上記同様の処理を世代を進めながら繰り返していく。上述の処理を世代を進めながら繰り返していくことが、第１ＮＮ１６のハイパーパラメータを調整することとなり、やがて適応度が高い個体、すなわち、学習後性能の高い第１ＮＮ１６のハイパーパラメータセット（理想的には最適なハイパーパラメータセット）を得ることができる。
ＧＡ処理部２６は、所定の終了条件を満たすまで上述の遺伝的アルゴリズムを実行する。所定の終了条件とは、例えば、所定の世代までの処理が完了した、所定の適応度を超える個体が生成された、あるいは、所定の世代のＮ個の個体の平均適応度が所定の閾値以上となった、などである。
ＧＡ処理部２６によって第１ＮＮ１６のハイパーパラメータセット（理想的には最適なハイパーパラメータ）が取得されると、学習処理部２４は、当該ハイパーパラメータセットを第１ＮＮ１６に設定する。その上で、第１ＮＮ１６を学習させる。これにより、学習処理部２４は、高い学習効率で第１ＮＮ１６を学習させることができ、また、学習済みの第１ＮＮ１６の出力誤差を小さくすることができる。
図１に戻り、出力部２８は、例えばユーザから入力された解析対象データを学習済みの第１ＮＮ１６に入力し、第１ＮＮ１６が出力した当該対象データに対応する出力データをユーザに提供する。上述のように、本実施形態で用いられる第１ＮＮ１６は、そのハイパーパラメータが調整されたものであるから、出力部２８は、解析対象データに対応する高精度な出力データをユーザに提供することができる。
本実施形態に係る解析装置１０の概要は以上の通りである。本実施形態に係る解析装置１０によれば、第１ＮＮ１６のハイパーパラメータに基づいて当該第１ＮＮ１６の学習後性能を出力するように第２ＮＮ１８が学習され、ＧＡ処理部２６による遺伝的アルゴリズムを用いた第１ＮＮ１６のハイパーパラメータの調整処理においては、学習済みの第２ＮＮ１８を用いて、各第１ＮＮ１６のハイパーパラメータに対する学習後性能が取得される。したがって、遺伝的アルゴリズムの各世代の処理において、各個体の適応度の算出、すなわち、第１ＮＮ１６の各ハイパーパラメータの学習後性能を取得する処理において、逐一第１ＮＮ１６を学習させる必要がなくなる。これにより、遺伝的アルゴリズムによって第１ＮＮ１６のハイパーパラメータセットを調整する際の処理量又は処理時間が低減される。
以下、図７に示すフローチャートに従って、本実施形態に係る解析装置１０の処理の流れを説明する。
第１ＮＮ１６の学習ステップであるステップＳ１０において、学習処理部２４は、互いに異なるハイパーパラメータセットを複数の第１ＮＮ１６に設定した上で、当該複数の第１ＮＮ１６を学習させる。
学習データ取得ステップであるステップＳ１２において、学習処理部２４は、学習済みの複数の第１ＮＮ１６を評価して、各第１ＮＮ１６の学習後性能を算出する。これにより、第２ＮＮ１８の学習データである、第１ＮＮ１６のハイパーパラメータセットと、それに対応する学習後性能との組を複数取得する。
第２ＮＮ１８のハイパーパラメータセット設定ステップであるステップＳ１４において、第２ＮＮパラメータ決定部２２は、上述のいずれかの方法によって第２ＮＮ１８のハイパーパラメータセットを決定し、第２ＮＮ１８に設定する。
第２ＮＮ１８の学習ステップであるステップＳ２０において、学習処理部２４は、ステップＳ１２で取得された学習データを用いて、第２ＮＮ１８を学習させる。学習済みの第２ＮＮ１８は、第１ＮＮ１６のハイパーパラメータを入力とし、当該ハイパーパラメータが設定された第１ＮＮ１６の学習後性能を高精度に予測して出力できるようになる。
第１ＮＮ１６のハイパーパラメータセットの調整ステップであるステップＳ１８において、ＧＡ処理部２６は、第１ＮＮ１６のハイパーパラメータセットを個体とし、当該ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能に応じた値を適応度とする遺伝的アルゴリズムにより、第１ＮＮ１６のハイパーパラメータを調整する。遺伝的アルゴリズムの各世代における適応度（つまり各ハイパーパラメータセットに対する学習後性能）は、ステップＳ１６で学習された第２ＮＮ１８を用いて取得される。当該遺伝的アルゴリズムによる処理により、調整された（理想的には最適化された）第１ＮＮ１６のハイパーパラメータが取得される。
出力データ提供ステップであるステップＳ２０において、まず、学習処理部２４は、ステップＳ１８で取得されたハイパーパラメータセットを第１ＮＮ１６に設定し、第１ＮＮ１６を学習させる。その上で、出力部２８は、解析対象データを学習済みの第１ＮＮ１６に入力して得られた出力データをユーザに提供する。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
例えば、本実施形態では、第１ＮＮ１６のハイパーパラメータセットの調整処理が、ＧＡ処理部２６による遺伝的アルゴリズムにより実行されていたが、当該調整処理は遺伝的アルゴリズムを用いた方法に限られない。
特に、調整処理は、ヒューリスティックな探索手法を用いることができる。ヒューリスティックな探索手法とは、必ずしも最適解を導き出せるとは限らないが、ある程度最適解に近い答えを出せる方法のことである。特に、ヒューリスティックな探索方法とは、試行錯誤を経て答えを出す手法を含む。本実施形態においては、試行錯誤とは、第１ＮＮ１６のハイパーパラメータを様々な値に設定してみて、その結果（各第１ＮＮ１６の学習後性能）に基づいて、第１ＮＮ１６のハイパーパラメータを調整していくことを意味する。
ヒューリスティックな探索手法としては、種々の方法が考えられる。
例えば、調整処理は、強化学習による方法であってもよい。強化学習とは、ある状態から行動を起こしたときの報酬を設定し、試行錯誤により様々な行動を起こし、その行動に対する報酬に基づいて、最適な行動や状態を探索する手法である。本実施形態の一例としては、第１ＮＮ１６のあるハイパーパラメータセットが状態に相当し、当該ハイパーパラメータセットを修正する（すなわち他のハイパーパラメータセットに変更する）という処理が行動に相当する。この場合の報酬を、修正後のハイパーパラメータセットを入力とする学習済みの学習器（例えば第２ＮＮ１８）の出力、すなわち、修正後のハイパーパラメータセットを第１ＮＮ１６に設定したときの第１ＮＮ１６の学習後性能に基づいて決定することができる。このような強化学習には、Ｑ学習やＤＱＮ（Deep Q-Network）が含まれる。
また、調整処理は、グリッドサーチを用いた方法であってもよい。グリッドサーチとは、複数のパラメータの組み合わせの最適解を探索する手法であり、可能な組み合わせを網羅的に（例えば可能な全組み合わせを）探索して、その中から最良の結果を示す組み合わせを決定する手法である。本実施形態においては、第１ＮＮ１６のハイパーパラメータセット（ハイパーパラメータの組み合わせ）を網羅的に設定し、学習済みの学習器を用いて得られた、各ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能に基づいて、設定した複数のハイパーパラメータセットの中から最良の結果を示すハイパーパラメータセットを決定する。
また、調整処理は、ランダムサーチを用いた方法であってもよい。ランダムサーチとは、グリッドサーチと同じように複数のパラメータの組み合わせの最適解を探索する手法であるが、ランダムに複数決定されたパラメータの組み合わせを探索して、その中から最良の結果を示す組み合わせを決定する手法である。本実施形態においては、第１ＮＮ１６のハイパーパラメータセット（ハイパーパラメータの組み合わせ）をランダムに設定し、学習済みの学習器を用いて得られた、各ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能に基づいて、設定した複数のハイパーパラメータセットの中から最良の結果を示すハイパーパラメータセットを決定する。
また、調整処理は、ベイズ最適化を用いた方法であってもよい。ベイズ最適化とは、複数のパラメータの組み合わせとそれらの評価値を元にAcquisition functionと呼ばれる代理関数を最適化することで、最良の評価値を示す可能性が高い組み合わせを探索する手法である。本実施形態においては、複数の第１ＮＮ１６のハイパーパラメータセット（ハイパーパラメータの組み合わせ）と、学習済みの学習器を用いて得られた、各ハイパーパラメータセットが設定された第１ＮＮ１６の学習後性能に基づいて、設定した複数のハイパーパラメータセットの中から最良の結果を示すハイパーパラメータセットを決定する。ベイズ最適化は、本来少ない試行錯誤から最適解を探索する手法であり、現状では学習器を用いることなく、ＮＮのハイパーパラメータセットの探索に用いられている。しかしながら、同じハイパーパラメータセットでも学習後性能に大きなバラツキが生じ得るＮＮの場合、実際の学習後性能の数値をそのまま用いるとそれらの無意味なバラツキまでも過度に学習した状態（過学習）となって適切な最適解が得られない可能性がある。本実施形態における学習器を用いることで、それらのバラツキを適度に緩和した学習後性能の数値を使用できるため、過学習を回避し、精度よく最適解を探索することができる。
１０ 解析装置、１２ 入出力インターフェース、１４ メモリ、１６ 第１ＮＮ、１６ａ ニューロン、１６ｂ エッジ、１８ 第２ＮＮ、２０ プロセッサ、２２ 第２ＮＮパラメータ決定部、２４ 学習処理部、２６ ＧＡ処理部、２８ 出力部。

Claims (7)

  1. 第１ニューラルネットワークのハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの性能である学習後性能を出力するように学習器を学習させる学習処理部と、
    前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能に基づいて、当該複数のハイパーパラメータセットに基づく新たな複数のハイパーパラメータセットを生成し、生成した新たな複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して、当該新たな複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能を得る、という処理を、複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークを学習させずに繰り返すことで、前記第１ニューラルネットワークのハイパーパラメータセットを調整するハイパーパラメータ調整部と、
    を備えることを特徴とするハイパーパラメータ調整装置。
  2. 前記ハイパーパラメータ調整部は、前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能を用いた、ヒューリスティックな探索手法により前記第１ニューラルネットワークのハイパーパラメータセットを調整する、
    ことを特徴とする請求項１に記載のハイパーパラメータ調整装置。
  3. 前記ハイパーパラメータ調整部は、前記第１ニューラルネットワークのハイパーパラメータセットを個体とし、当該ハイパーパラメータセットを学習済みの前記学習器に入力して得られる当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの前記学習後性能に応じた値を適応度とし、複数の前記個体の前記適応度に基づいて次世代の複数の個体を生成する処理を繰り返す遺伝的アルゴリズムにより、前記第１ニューラルネットワークのハイパーパラメータセットを調整する遺伝的アルゴリズム処理部である、
    ことを特徴とする請求項２に記載のハイパーパラメータ調整装置。
  4. 前記第１ニューラルネットワークに入力される解析対象データに応じて、前記学習器のハイパーパラメータを決定する学習器パラメータ決定部と、
    をさらに備えることを特徴とする請求項１から３のいずれか１項に記載のハイパーパラメータ調整装置。
  5. 前記学習器は、前記第１ニューラルネットワークとは異なる第２ニューラルネットワークにより構成される、
    ことを特徴とする請求項１から４のいずれか１項に記載のハイパーパラメータ調整装置。
  6. コンピュータを、
    第１ニューラルネットワークのハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの性能である学習後性能を出力するように学習器を学習させる学習処理部と、
    前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能に基づいて、当該複数のハイパーパラメータセットに基づく新たな複数のハイパーパラメータセットを生成し、生成した新たな複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して、当該新たな複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能を得る、という処理を、複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークを学習させずに繰り返すことで、前記第１ニューラルネットワークのハイパーパラメータセットを調整するハイパーパラメータ調整部と、
    として機能させるためのハイパーパラメータ調整プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。
  7. コンピュータを、
    第１ニューラルネットワークのハイパーパラメータセットを入力とし、当該ハイパーパラメータセットが設定された学習済みの前記第１ニューラルネットワークの性能である学習後性能を出力するように学習器を学習させる学習処理部と、
    前記第１ニューラルネットワークの複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して得られる、当該複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能に基づいて、当該複数のハイパーパラメータセットに基づく新たな複数のハイパーパラメータセットを生成し、生成した新たな複数のハイパーパラメータセットをそれぞれ学習済みの前記学習器に入力して、当該新たな複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークの前記学習後性能を得る、という処理を、複数のハイパーパラメータセットがそれぞれ設定された複数の前記第１ニューラルネットワークを学習させずに繰り返すことで、前記第１ニューラルネットワークのハイパーパラメータセットを調整するハイパーパラメータ調整部と、
    として機能させることを特徴とするハイパーパラメータ調整プログラム。
JP2022548325A 2020-09-10 2020-09-10 ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム Active JP7359493B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/034354 WO2022054209A1 (ja) 2020-09-10 2020-09-10 ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム

Publications (3)

Publication Number Publication Date
JPWO2022054209A1 JPWO2022054209A1 (ja) 2022-03-17
JPWO2022054209A5 JPWO2022054209A5 (ja) 2023-01-05
JP7359493B2 true JP7359493B2 (ja) 2023-10-11

Family

ID=80631925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022548325A Active JP7359493B2 (ja) 2020-09-10 2020-09-10 ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム

Country Status (5)

Country Link
US (1) US20230214668A1 (ja)
EP (1) EP4148623A4 (ja)
JP (1) JP7359493B2 (ja)
CN (1) CN115917558A (ja)
WO (1) WO2022054209A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026327A1 (ja) * 2018-07-31 2020-02-06 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154284A1 (ja) 2016-03-09 2017-09-14 ソニー株式会社 情報処理方法および情報処理装置
CN110633797A (zh) 2019-09-11 2019-12-31 北京百度网讯科技有限公司 网络模型结构的搜索方法、装置以及电子设备
JP2020123292A (ja) 2019-01-31 2020-08-13 パナソニックＩｐマネジメント株式会社 ニューラルネットワークの評価方法、ニューラルネットワークの生成方法、プログラム及び評価システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59192647A (ja) 1983-04-15 1984-11-01 Kokusan Kinzoku Kogyo Co Ltd キ−レスステアリングロツク
JP6351671B2 (ja) 2016-08-26 2018-07-04 株式会社 ディー・エヌ・エー ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法
US10360517B2 (en) * 2017-02-22 2019-07-23 Sas Institute Inc. Distributed hyperparameter tuning system for machine learning
US11120368B2 (en) * 2017-09-27 2021-09-14 Oracle International Corporation Scalable and efficient distributed auto-tuning of machine learning and deep learning models
US20200143243A1 (en) * 2018-11-01 2020-05-07 Cognizant Technology Solutions U.S. Corporation Multiobjective Coevolution of Deep Neural Network Architectures
US20210019615A1 (en) * 2019-07-18 2021-01-21 International Business Machines Corporation Extraction of entities having defined lengths of text spans
US11669735B2 (en) * 2020-01-23 2023-06-06 Vmware, Inc. System and method for automatically generating neural networks for anomaly detection in log data from distributed systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154284A1 (ja) 2016-03-09 2017-09-14 ソニー株式会社 情報処理方法および情報処理装置
JP2020123292A (ja) 2019-01-31 2020-08-13 パナソニックＩｐマネジメント株式会社 ニューラルネットワークの評価方法、ニューラルネットワークの生成方法、プログラム及び評価システム
CN110633797A (zh) 2019-09-11 2019-12-31 北京百度网讯科技有限公司 网络模型结构的搜索方法、装置以及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小川恭子ほか，進化型機械学習に基づく問題解決手法の提案，電気学会研究会資料，日本，一般社団法人電気学会，2019年05月27日，IS-19-45，pp.107-112

Also Published As

Publication number Publication date
JPWO2022054209A1 (ja) 2022-03-17
WO2022054209A1 (ja) 2022-03-17
EP4148623A1 (en) 2023-03-15
CN115917558A (zh) 2023-04-04
US20230214668A1 (en) 2023-07-06
EP4148623A4 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
US20210342699A1 (en) Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
US20210390416A1 (en) Variable parameter probability for machine-learning model generation and training
US11610131B2 (en) Ensembling of neural network models
US11853893B2 (en) Execution of a genetic algorithm having variable epoch size with selective execution of a training algorithm
KR100869516B1 (ko) 계기 노이즈 및 측정 오차의 존재 하의 인공 신경망모델의 향상된 성능
JP7236253B2 (ja) 情報処理方法および学習モデル
CN110738362A (zh) 一种基于改进的多元宇宙算法构建预测模型的方法
US11829883B2 (en) Executing a genetic algorithm on a low-power controller
JP7359493B2 (ja) ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム
CN108491686A (zh) 一种基于双向XGBoost的基因调控网络构建方法
JP2023177389A (ja) 計算プログラム、計算方法および情報処理装置
Smith-Miles et al. Meta-learning for data summarization based on instance selection method
JP2022150947A (ja) 学習モデルのハイパーパラメータ決定方法、ハイパーパラメータ決定装置、及び、生産スケジュール作成システム
WO2019198408A1 (ja) 学習装置、学習方法、及び学習プログラム
Assiroj et al. Comparing CART and C5. 0 algorithm performance of human development index
Carter Deep learning for robust meta-analytic estimation
Wilson et al. Neuromodulated Learning in Deep Neural Networks
JP7275350B2 (ja) 情報処理方法、情報処理装置および情報処理プログラム
JP7298789B2 (ja) 予測装置、学習装置、予測方法、学習方法、予測プログラム及び学習プログラム
JP7210792B2 (ja) 情報処理方法、情報処理装置および情報処理プログラム
Bangert 3.1 Basic ideas of machine learning
Bevilacqua et al. Bayesian Gene Regulatory Network Inference Optimization by means of Genetic Algorithms.
Yasui An Empirical Study of Exploration Strategies for Model-Free Reinforcement Learning
Ye et al. Learning sparse fuzzy cognitive maps by ant colony optimization
JP2024035288A (ja) タイヤの性能の評価方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20220912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230921

R150 Certificate of patent or registration of utility model

Ref document number: 7359493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150