JP6774129B1 - 解析装置、解析方法及び解析プログラム - Google Patents
解析装置、解析方法及び解析プログラム Download PDFInfo
- Publication number
- JP6774129B1 JP6774129B1 JP2020016010A JP2020016010A JP6774129B1 JP 6774129 B1 JP6774129 B1 JP 6774129B1 JP 2020016010 A JP2020016010 A JP 2020016010A JP 2020016010 A JP2020016010 A JP 2020016010A JP 6774129 B1 JP6774129 B1 JP 6774129B1
- Authority
- JP
- Japan
- Prior art keywords
- learning
- algorithms
- loss function
- model
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 60
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 133
- 230000006870 function Effects 0.000 claims abstract description 82
- 238000010801 machine learning Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims description 34
- 238000007781 pre-processing Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 22
- 238000000137 annealing Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 5
- 239000002096 quantum dot Substances 0.000 description 3
- 238000012098 association analyses Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011480 coordinate descent method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005040 ion trap Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000019988 mead Nutrition 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
- G06N10/20—Models of quantum computing, e.g. quantum circuits or universal quantum computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
- G06N10/60—Quantum algorithms, e.g. based on quantum optimisation, quantum Fourier or Hadamard transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】複数のアルゴリズムで学習処理を行った場合における学習モデルの性能を予測する解析装置、解析方法及び解析プログラムを提供する。【解決手段】解析装置１０は、所定の問題について設定された第１損失関数の大域的形状を表す第１形状情報及び学習モデルの性能を学習データとする教師あり学習によって生成された予測モデルを用いて、新たな問題について設定された第２損失関数の大域的形状を表す第２形状情報に基づいて、第２損失関数の値を小さくするように学習モデルの機械学習を実行した場合の学習モデルの性能を、複数のアルゴリズムそれぞれについて予測する。【選択図】図１
Description
本発明は、解析装置、解析方法及び解析プログラムに関する。
近年、いわゆる人工知能を様々な問題に応用する試みがなされている。例えば、下記特許文献１には、様々な現実的な事象における問題の解決に用いることを目的としたモデル選択装置が記載されている。
しかしながら、学習モデルの学習処理を行うためのアルゴリズムは複数知られており、問題に応じて学習処理のアルゴリズムを適切に選択しなければ、学習モデルの性能を十分に引き出せない場合がある。一般的には、学習モデルを設定する者の経験則に基づき、所定の問題に所定のアルゴリズムを用いることが行われており、選択されたアルゴリズムが適切であるかどうかの性能評価をする手段がなかった。
そこで、本発明は、複数のアルゴリズムで学習処理を行った場合における学習モデルの性能を予測する解析装置、解析方法及び解析プログラムを提供する。
本発明の一態様に係る解析装置は、複数のアルゴリズムを用いて、所定の問題について設定された第１損失関数の値を小さくするように所定の学習モデルの機械学習をそれぞれ行う学習部と、機械学習に基づき、第１損失関数の大域的形状を表す第１形状情報と、学習モデルの性能とを、アルゴリズムごとに算出する算出部と、複数のアルゴリズムのうち少なくともいずれかを用いて、新たな問題について設定された第２損失関数の値を小さくするような機械学習が学習部により実行され、算出部により算出された第２損失関数の大域的形状を表す第２形状情報を取得する取得部と、第１形状情報及び学習モデルの性能を学習データとする教師あり学習によって生成された予測モデルを用いて、第２形状情報に基づいて、第２損失関数の値を小さくするように学習モデルの機械学習を実行した場合の学習モデルの性能を、複数のアルゴリズムそれぞれについて予測する予測部と、を備える。
この態様によれば、複数のアルゴリズムのうち少なくとも１つのアルゴリズムを用いて学習モデルの機械学習を実行することで、他のアルゴリズムを用いて学習モデルの機械学習を実行した場合に得られる学習モデルの性能を予測することができる。
本発明によれば、複数のアルゴリズムで学習処理を行った場合における学習モデルの性能を予測する解析装置、解析方法及び解析プログラムを提供することができる。
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
図１は、本発明の実施形態に係る解析装置１０の機能ブロックの一例を示す図である。解析装置１０は、学習部１１、算出部１２、取得部１３、予測部１４、記憶部１５及び生成部１６を備える。解析装置１０は、汎用のコンピュータで構成されてもよい。
学習部１１は、複数のアルゴリズムを用いて、所定の問題について設定された第１損失関数の値を小さくするように所定の学習モデルの機械学習をそれぞれ行う。ここで、所定の問題は、例えば画像データ、系列データ及びテキストデータの少なくともいずれかについて、分類、生成及び最適化の少なくともいずれかを行う問題を含む。ここで、画像データは、静止画のデータと、動画のデータとを含む。系列データは、音声データや株価のデータを含む。また、所定の学習モデルは、画像認識モデル、系列データ解析モデル、ロボットの制御モデル、強化学習モデル、音声認識モデル、音声生成モデル、画像生成モデル、自然言語処理モデル等を含み、例えば、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、双方向ＬＳＴＭ、ＤＱＮ（Deep Q-Network）、ＶＡＥ（Variational AutoEncoder）、ＧＡＮｓ（Generative Adversarial Networks）、ＷａｖｅＮｅｔ、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）、Ｗｏｒｄ２Ｖｅｃ、ランダムフォレスト、サポートベクターマシン、ロジスティック回帰、勾配ブースティング決定木及び主成分分析等のいずれかであり、その他学習に適用可能なモデルを含む。また、学習モデルは、既存の学習済みモデルを枝刈り（Pruning）、量子化（Quantization）又は蒸留（Distillation）して得られるモデルを含む。なお、これらは一例に過ぎず、学習部１１は、これら以外の問題について、学習モデルの機械学習を行ってもよい。
また、複数のアルゴリズムは、学習モデル１２ａの機械学習を行うアルゴリズムであり、学習モデル１２ａがニューラルネットワークを含む場合、誤差逆伝播法によりニューラルネットワークのパラメータを更新し、最適化するアルゴリズムであってよい。複数のアルゴリズムは、確率的勾配降下法（stochastic gradient descent：ＳＧＤ）、モーメンタムＳＧＤ、ＡｄａＧｒａｄ、ＲＭＳＰｒｏｐ、ＡｄａＤｅｌｔａ及びＡＤＡＭ等を含む。また、複数のアルゴリズムは、学習モデル１２ａのパラメータを、量子ゲート方式又は量子アニーリング方式の量子コンピュータによって更新するアルゴリズムを含む。例えば、複数の弱学習器を組み合わせた１つの強学習器によって学習モデル１２ａを構成する場合、Hartmut Neven, Vasil S. Denchev, Geordie Rose, William G. Macready, "QBoost: Large Scale Classifier Training with Adiabatic Quantum Optimization", Proceedings of the Asian Conference on Machine Learning, PMLR 25:333-348, 2012.に記載のアルゴリズムを用いてよい。また、Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe and Seth Lloyd, "Quantum Machine Learning", Nature volume 549, pages 195-202, 2017.に記載のアルゴリズムを用いてもよい。なお、これらは一例に過ぎず、複数のアルゴリズムは、これら以外のアルゴリズムを含んでよい。また、量子コンピュータは、超伝導線路により量子ビットを構成するものであったり、イオントラップにより量子ビットを構成するものであったり、光回路によって量子ビットを構成するものであったりしてよく、ハードウェア構成は任意である。さらに、複数のアルゴリズムは、学習モデル１２ａのパラメータを、量子コンピュータ及び古典コンピュータのハイブリッド型コンピュータによって更新するアルゴリズムを含んでもよい。
算出部１２は、機械学習に基づき、第１損失関数の大域的形状を表す第１形状情報と、学習モデル１２ａの性能とを、アルゴリズムごとに算出する。所定の問題について設定された第１損失関数は、学習モデル１２ａの出力とラベルデータとに関する２乗誤差関数であったり、クロスエントロピー関数であったりしてよい。学習モデル１２ａが含む複数のパラメータをθと表すとき、第１損失関数は、複数のパラメータθに関する関数Ｌ（θ）と表せる。本明細書では、関数Ｌ（θ）の値を、第１損失関数の大域的形状を表す第１形状情報と呼ぶ。例えば、算出部１２は、学習モデル１２ａの機械学習に基づき、パラメータθに対する関数Ｌ（θ）の値を記録していき、第１損失関数の大域的形状を表す第１形状情報Ｌ（θ）を算出する。
また、学習モデル１２ａの性能は、例えば、Ｆ値で表したり、Ｆ値／（学習処理の計算時間）で表したり、第１損失関数の値で表したりしてよい。なお、Ｆ値は、適合率（precision）をＰと表し、再現率（recall）をＲと表すとき、２ＰＲ／（Ｐ＋Ｒ）により算出される値である。算出部１２は、学習モデル１２ａの機械学習に基づき、Ｆ値等で表される学習モデル１２ａの性能を算出する。
学習部１１は、学習モデル１２ａのパラメータについて複数の初期値を設定し、複数のアルゴリズムを用いて、第１損失関数の値を小さくするように所定の学習モデル１２ａの機械学習を個別に実行又は並列に実行してもよい。並列実行の場合、算出部１２は、機械学習に基づき、第１形状情報と、学習モデル１２ａの性能とを、アルゴリズムごとに並列して算出する。
学習モデル１２ａのパラメータについて複数の初期値を設定する理由は、複数の初期値を用いて学習モデル１２ａの機械学習を実行することで、損失関数の極小値に対応するパラメータが選ばれてしまうおそれを少なくすることができるからである。これにより、大域的に最適な損失関数の最小値に対応するパラメータを選ぶことができる確率を上げることができる。また、学習モデル１２ａの機械学習を複数の初期値についてそれぞれ並列実行する場合、大域的な最適解をより高速に求めることができる。
取得部１３は、複数のアルゴリズムのうち少なくともいずれかを用いて、新たな問題について設定された第２損失関数の値を小さくするような機械学習が学習部１１により実行され、算出部１２により算出された第２損失関数の大域的形状を表す第２形状情報を取得する。ここで、新たな問題は、画像データ、系列データ及びテキストデータの少なくともいずれかについて、分類、生成及び最適化の少なくともいずれかを行う問題を含む。また、第２損失関数は、学習モデル１２ａの出力とラベルデータとに関する２乗誤差関数であったり、クロスエントロピー関数であったりしてよく、第２形状情報は、複数のパラメータθに関する第２損失関数の関数形Ｌ（θ）であってよい。
予測部１４は、第１形状情報及び学習モデル１２ａの性能を学習データとする教師あり学習によって生成された予測モデル１４ａを用いる。また、予測部１４は、この予測モデル１４ａを用いて、第２形状情報に基づいて、第２損失関数の値を小さくするように学習モデル１２ａの機械学習を実行した場合の学習モデル１２ａの性能を、複数のアルゴリズムそれぞれについて予測する。例えば、予測部１４は、予測モデル１４ａに、所定のアルゴリズムの第２形状情報を入力することで、その他のアルゴリズムを含む複数のアルゴリズムそれぞれについて、機械学習を実行した場合の学習モデル１２ａの性能を出力する。
新たな問題について、いずれのアルゴリズムを用いれば学習モデル１２ａの性能を適切に引き出すことができるかを試行錯誤によって決定する場合、アルゴリズムの選定に時間を要する場合がある。本実施形態に係る解析装置１０によれば、複数のアルゴリズムのうち少なくとも１つのアルゴリズムを用いて学習モデル１２ａの機械学習を実行することで、他のアルゴリズムを用いて学習モデル１２ａの機械学習を実行した場合に得られる学習モデル１２ａの性能を予測することができる。そのため、新たな問題が与えられた場合に、いずれのアルゴリズムを用いるべきか迅速に決定することができ、学習モデル１２ａの性能を適切に引き出すことができるようになる。
学習部１１は、１又は複数のハイパーパラメータを含む複数のアルゴリズムを用いて、第１損失関数の値を小さくし、１又は複数のハイパーパラメータを複数の最適化アルゴリズムを用いて最適化して、所定の学習モデル１２ａの機械学習をそれぞれ行ってもよい。この場合、算出部１２は、機械学習に基づき、第１損失関数の大域的形状を表す第１形状情報と、学習モデル１２ａの性能とを、複数の最適化アルゴリズムごとに算出する。ここで、ハイパーパラメータは、例えばアルゴリズムがＳＧＤの場合、学習係数を含む。他のアルゴリズムに関しても、同様に、学習係数やモーメンタム係数といったハイパーパラメータが設定される。また、複数の最適化アルゴリズムは、例えば、ランダムサーチ、ベイジアン最適化、ＣＭＡ−ＥＳ、座標降下法及びネルダー−ミード法等を含む。学習部１１は、複数のアルゴリズムに関して１又は複数のハイパーパラメータを最適化する最適化アルゴリズムを用いた場合について、学習モデル１２ａの機械学習を実行した場合の学習モデル１２ａの性能を予測する。これにより、複数のアルゴリズムのうちいずれを選択すべきか予測するだけでなく、どのようなハイパーパラメータの最適化法を用いるべきであるか予測することができ、ハイパーパラメータチューニングに要する時間を短縮することができる。
記憶部１５は、第１形状情報及び学習モデル１２ａの性能を含む学習データ１５ａを記憶する。学習データ１５ａは、あるアルゴリズムによって学習モデル１２ａの機械学習を実行した場合における損失関数の大域的形状を表す第１形状情報と、その機械学習の結果得られた学習モデル１２ａの性能とを含む。
生成部１６は、学習データ１５ａを用いた教師あり学習によって、予測モデル１４ａを生成する。予測モデル１４ａは、例えばニューラルネットワークで構成されてよく、新たな問題について設定された第２損失関数の大域的形状を表す第２形状情報を入力として、複数のアルゴリズムを用いて、新たな問題について設定された第２損失関数の値を小さくするように学習モデル１２ａの機械学習を実行した場合の学習モデル１２ａの性能を予測するモデルである。
図２は、本実施形態に係る解析装置１０の物理的構成の一例を示す図である。解析装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では解析装置１０が一台のコンピュータで構成される場合について説明するが、解析装置１０は、複数のコンピュータ又は複数の演算部が組み合わされて実現されてもよい。また、図２で示す構成は一例であり、解析装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、複数のアルゴリズムを用いて、新たな問題について設定された第２損失関数の値を小さくするように学習モデルの機械学習を実行した場合の学習モデルの性能を、複数のアルゴリズムそれぞれについて予測するプログラム（解析プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、所定の問題について設定された損失関数の大域的形状及び学習モデルの性能を含む学習データといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば解析プログラムや、書き換えが行われないデータを記憶してよい。
通信部１０ｄは、解析装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、損失関数の大域的形状を表示してよい。
解析プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。解析装置１０では、ＣＰＵ１０ａが解析プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、解析装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、解析装置１０は、ＧＰＵ（Graphical Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。
図３は、本実施形態に係る解析装置１０によって学習処理を行った学習モデルの性能の一例を示す図である。同図では、ＳＧＤ、モーメンタムＳＧＤ（Momentum SGD）、ＡｄａＧｒａｄ、ＲＭＳＰｒｏｐ、ＡｄａＤｅｌｔａ、ＡＤＡＭ、量子ゲート方式及び量子アニーリング方式というアルゴリズムを用い、それぞれ、ランダムサーチ（Random Search）、ベイジアン最適化（Bayesian Optimization）、ＣＭＡ−ＥＳ、座標降下法（Coordinate Search）及びネルダー−ミード法（Nelder-Mead）によって１又は複数のハイパーパラメータを最適化した場合における学習モデルの性能を示している。例えば、ａ１〜ａ５は、アルゴリズムとしてＳＧＤを用いて、ランダムサーチ、ベイジアン最適化、ＣＭＡ−ＥＳ、座標降下法又はネルダー−ミード法によって１又は複数のハイパーパラメータを最適化した場合における学習モデルの性能を表す数値である。なお、ｂ１〜ｂ５、ｃ１〜ｃ５、ｄ１〜ｄ５、ｅ１〜ｅ５、ｆ１〜ｆ５、ｇ１〜ｇ５及びｈ１〜ｈ５は、同様に学習モデルの性能を表す数値である。
図４は、本実施形態に係る解析装置１０により算出される形状情報の一例を示す図である。同図では、簡単のため、学習モデルのパラメータとしてθ１及びθ２を示し、損失関数の値Ｌ（θ）を示している。同図に示すように、損失関数の大域的形状は、複数の極小点を含み、最小点の探索が困難な場合がある。本実施形態に係る解析装置１０は、このような損失関数の大域的形状を、学習モデル及び学習アルゴリズムの特徴量と捉え、損失関数の大域的形状から、複数のアルゴリズムを用いて学習モデルの学習処理を行った場合に関する学習モデルの性能を予測する。
図５は、本実施形態に係る解析装置１０により算出される学習データの一例を示す図である。同図では、ＳＧＤ、モーメンタムＳＧＤ（Momentum SGD）、ＡｄａＧｒａｄ、ＲＭＳＰｒｏｐ、ＡｄａＤｅｌｔａ、ＡＤＡＭ、量子ゲート方式及び量子アニーリング方式というアルゴリズムについて、第１形状情報及び学習モデルの性能を示している。例えば、Ｌａ（θ）は、アルゴリズムとしてＳＧＤを用いた場合における第１形状情報を表し、Ｓａは、アルゴリズムとしてＳＧＤを用いた場合における学習モデルの性能を表す数値である。同様に、Ｌｂ（θ）、Ｌｃ（θ）、Ｌｄ（θ）、Ｌｅ（θ）、Ｌｆ（θ）、Ｌｇ（θ）及びＬｈ（θ）は、アルゴリズムとしてＡｄａＧｒａｄ、ＲＭＳＰｒｏｐ、ＡｄａＤｅｌｔａ、ＡＤＡＭ、量子ゲート方式又は量子アニーリング方式を用いた場合における第１形状情報を表す。また、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅ、Ｓｆ、Ｓｇ及びＳｈは、アルゴリズムとしてＡｄａＧｒａｄ、ＲＭＳＰｒｏｐ、ＡｄａＤｅｌｔａ、ＡＤＡＭ、量子ゲート方式又は量子アニーリング方式を用いた場合における学習モデルの性能を表す数値である。なお、学習モデルの性能は、図３に示すように、ハイパーパラメータの最適化アルゴリズムごとに算出し、それらを学習データとしてもよい。
図６は、本実施形態に係る解析装置１０により実行される予測処理の一例を示すフローチャートである。はじめに、解析装置１０は、所定の問題及び所定の学習モデルの指定を他の情報処理装置から受け付ける（Ｓ１０）。所定の問題及び所定の学習モデルの指定は、ユーザ入力されてよい。
次に、解析装置１０は、学習モデルのパラメータについて複数の初期値を設定し（Ｓ１１）、１又は複数のハイパーパラメータを含む複数のアルゴリズムを用いて、第１損失関数の値を小さくし、１又は複数のハイパーパラメータを複数の最適化アルゴリズムを用いて最適化して、所定の学習モデルの機械学習をそれぞれ並列実行する（Ｓ１２）。
また、解析装置１０は、機械学習に基づき、第１損失関数の大域的形状を表す第１形状情報と、学習モデルの性能とを、アルゴリズムごとに並列して算出する（Ｓ１３）。そして、解析装置１０は、第１形状情報及び学習モデルの性能を学習データとして記憶部１５に記憶する（Ｓ１４）。
その後、解析装置１０は、新たな問題の指定を他の情報処理装置から受け付ける（Ｓ１５）。新たな問題の指定は、ユーザ入力されてよい。
解析装置１０は、複数のアルゴリズムのうち少なくともいずれかを用いて、新たな問題について設定された第２損失関数の値を小さくするような機械学習が学習部１１により実行され、算出部１２により算出された第２損失関数の大域的形状を表す第２形状情報を取得する（Ｓ１６）。そして、解析装置１０は、予測モデルを用いて、第２形状情報に基づいて、第２損失関数の値を小さくするように学習モデルの機械学習を実行した場合の学習モデルの性能を、複数のアルゴリズムそれぞれについて予測する（Ｓ１７）。
図７は、本実施形態に係る解析装置１０により実行される予測モデル生成処理の一例を示すフローチャートである。はじめに、解析装置１０は、第１形状情報及び学習モデルの性能を含む学習データを取得する（Ｓ２０）。なお、学習データは、インターネット等の通信ネットワークを介して、外部記憶装置から取得してもよい。
その後、解析装置１０は、学習データを用いた教師あり学習によって、第２形状情報に基づいて、第２損失関数の値を小さくするように学習モデルの機械学習を実行した場合の学習モデルの性能を、複数のアルゴリズムそれぞれについて予測する予測モデルを生成する（Ｓ２１）。そして、解析装置１０は、生成された予測モデルを記憶する。
図８は、本実施形態に係る解析装置１０によって学習処理を行った学習モデルの性能を示す図である。同図では、階層型クラスタリング、非階層型クラスタリング、トピックモデル、自己組織化マップ、アソシエーション分析、協調フィルタリング、正準相関分析、量子ゲート方式及び量子アニーリング方式という教師なし学習を用いて学習データを分類し、分類に応じた前処理アルゴリズムを適用して、それぞれ、ランダムサーチ（Random Search）、ベイジアン最適化（Bayesian Optimization）、ＣＭＡ−ＥＳ、座標降下法（Coordinate Search）及びネルダー−ミード法（Nelder-Mead）によって１又は複数のハイパーパラメータを最適化した場合における学習モデルの性能を示している。Ｇ１〜Ｇ５は、教師なし学習として階層型クラスタリングを用いて、ランダムサーチ、ベイジアン最適化、ＣＭＡ−ＥＳ、座標降下法又はネルダー−ミード法によって、階層型クラスタリングに含まれる１又は複数のハイパーパラメータを最適化した場合における学習モデルの性能を表す数値である。なお、Ｇ６〜Ｇ４５は、同様に学習モデルの性能を表す数値である。
学習部１１は、１又は複数のハイパーパラメータを含む複数の前処理アルゴリズムを用いて、機械学習に用いる学習データの前処理を行い、複数のアルゴリズムを用いて、第１損失関数の値を小さくし、１又は複数のハイパーパラメータを複数の最適化アルゴリズムを用いて最適化して、所定の学習モデルについて、前処理された学習データを用いた機械学習をそれぞれ行う。そして、算出部１２は、前処理された学習データを用いた機械学習に基づき、第１損失関数の大域的形状を表す第１形状情報と、学習モデルの性能とを、複数の前処理アルゴリズムごとに算出する。
複数の前処理アルゴリズムは、欠損値処理、外れ値の対応、連続値の離散化、データ操作、次元削減、ワンホットベクトル化、データ拡張、特徴量エンジニアリング及びビン分割を含んでよい。複数の前処理アルゴリズムは、学習データを教師なし学習を用いて分類し、分類に応じた前処理を行うアルゴリズムを含む。すなわち、複数の前処理アルゴリズムは、階層型クラスタリング、非階層型クラスタリング、トピックモデル、自己組織化マップ、アソシエーション分析、協調フィルタリング、正準相関分析、量子ゲート方式及び量子アニーリング方式といった教師なし学習を用いて学習データを分類し、分類に応じて欠損値処理、説明変数の絞り込み、ワンホットベクトル化及びビン分割の少なくともいずれかを行うアルゴリズムを含む。
図９は、本実施形態に係る解析装置１０により表示されるハイパーパラメータ調整画面を示す図である。同図では、学習アルゴリズムのハイパーパラメータを調整するためのスライドバーと、前処理アルゴリズムのハイパーパラメータを調整するためのスライドバーと、縦軸に学習アルゴリズムの種類を数値で表し、横軸に前処理アルゴリズムの種類を数値で表して、（Ｌ−損失関数）の値のヒートマップを表示している。ここで、Ｌは、損失関数の最大値である。なお、（Ｌ−損失関数）の値は、学習モデルの性能を表す値の一例であり、解析装置１０は、損失関数の値のヒートマップに替えて、学習モデルの性能を示すＦ値やＦ値／（学習処理の計算時間）のヒートマップを表示してもよい。
解析装置１０は、複数のアルゴリズムに含まれる１又は複数のハイパーパラメータと、複数の前処理アルゴリズムに含まれる１又は複数のハイパーパラメータとを調整可能に表示し、学習モデルの性能を、複数のアルゴリズム及び複数の前処理アルゴリズムそれぞれについて表示する。解析装置１０のユーザは、学習アルゴリズムのハイパーパラメータ及び前処理アルゴリズムのハイパーパラメータを調整しつつ、ヒートマップにより示される最も損失関数の値が小さくなる点（最尤点）を確認し、その点に対応する学習アルゴリズム及び前処理アルゴリズムを選択することで、複数の学習アルゴリズム及び複数の前処理アルゴリズムの中から最適なアルゴリズムを効率良く選択することができる。
図１０は、本実施形態に係る解析装置１０により実行される予測処理のフローチャートである。はじめに、解析装置１０は、学習アルゴリズムのハイパーパラメータの指定及び前処理アルゴリズムのハイパーパラメータの指定を受け付ける（Ｓ３０）。
その後、解析装置１０は、学習データを教師なし学習を用いて分類する（Ｓ３１）。そして、解析装置１０は、１又は複数のハイパーパラメータを含む複数の前処理アルゴリズムを用いて、機械学習に用いる学習データの前処理を行い、複数のアルゴリズムを用いて、第１損失関数の値を小さくし、１又は複数のハイパーパラメータを複数の最適化アルゴリズムを用いて最適化して、所定の学習モデルについて、前処理された学習データを用いた機械学習をそれぞれ実行する（Ｓ３２）。
解析装置１０は、前処理された学習データを用いた機械学習に基づき、第１損失関数の大域的形状を表す第１形状情報と、学習モデルの性能とを、複数の前処理アルゴリズムごとに算出する（Ｓ３３）。そして、解析装置１０は、第１形状情報及び学習モデルの性能を学習データとして記憶する（Ｓ３４）。
その後、解析装置１０は、新たな問題の指定を受け付ける（Ｓ３５）。そして、解析装置１０は、複数の前処理アルゴリズムのうち少なくともいずれかを用いて、新たな問題について設定された第２損失関数の値を小さくするような機械学習が学習部により実行され、算出部により算出された第２損失関数の大域的形状を表す第２形状情報を取得する（Ｓ３６）。
最後に、解析装置１０は、予測モデルを用いて、第２形状情報に基づいて、第２損失関数の値を小さくするように学習モデルの機械学習を実行した場合の学習モデルの性能を、複数の前処理アルゴリズムそれぞれについて予測する（Ｓ３７）。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
１０…解析装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…学習部、１２…算出部、１２ａ…学習モデル、１３…取得部、１４…予測部、１４ａ…予測モデル、１５…記憶部、１５ａ…学習データ、１６…生成部
Claims (13)
- 複数のアルゴリズムを用いて、所定の問題について設定された第１損失関数の値を小さくするように所定の学習モデルの機械学習をそれぞれ行う学習部と、
前記機械学習に基づき、前記第１損失関数の大域的形状を表す第１形状情報と、前記学習モデルの性能とを、アルゴリズムごとに算出する算出部と、
前記複数のアルゴリズムのうち少なくともいずれかを用いて、新たな問題について設定された第２損失関数の値を小さくするような機械学習が前記学習部により実行され、前記算出部により算出された前記第２損失関数の大域的形状を表す第２形状情報を取得する取得部と、
前記第１形状情報及び前記学習モデルの性能を学習データとする教師あり学習によって生成された予測モデルを用いて、前記第２形状情報に基づいて、前記第２損失関数の値を小さくするように前記学習モデルの機械学習を実行した場合の前記学習モデルの性能を、前記複数のアルゴリズムそれぞれについて予測する予測部と、
を備える解析装置。 - 前記学習部は、１又は複数のハイパーパラメータを含む前記複数のアルゴリズムを用いて、前記第１損失関数の値を小さくし、前記１又は複数のハイパーパラメータを複数の最適化アルゴリズムを用いて最適化して、前記所定の学習モデルの機械学習をそれぞれ行い、
前記算出部は、機械学習に基づき、前記第１損失関数の大域的形状を表す第１形状情報と、前記学習モデルの性能とを、最適化アルゴリズムごとに算出する、
請求項１に記載の解析装置。 - 前記学習データを用いた教師あり学習によって、前記予測モデルを生成する生成部をさらに備える、
請求項１又は２に記載の解析装置。 - 前記学習部は、前記学習モデルのパラメータについて複数の初期値を設定し、前記複数のアルゴリズムを用いて、前記第１損失関数の値を小さくするように前記所定の学習モデルの機械学習を並列実行し、
前記算出部は、前記機械学習に基づき、前記第１形状情報と、前記学習モデルの性能とを、アルゴリズムごとに並列して算出する、
請求項１から３のいずれか一項に記載の解析装置。 - 前記学習モデルは、ニューラルネットワークを用いたモデルを含む、
請求項１から４のいずれか一項に記載の解析装置。 - 前記複数のアルゴリズムは、前記ニューラルネットワークのパラメータを誤差逆伝播法によって更新するアルゴリズムを含む、
請求項５に記載の解析装置。 - 前記所定の問題及び前記新たな問題は、画像データ、系列データ及びテキストデータの少なくともいずれかについて、分類、生成及び最適化の少なくともいずれかを行う問題を含む、
請求項１から６のいずれか一項に記載の解析装置。 - 前記複数のアルゴリズムは、前記学習モデルのパラメータを、量子ゲート方式又は量子アニーリング方式の量子コンピュータによって更新するアルゴリズムを含む、
請求項１から７のいずれか一項に記載の解析装置。 - 前記学習部は、１又は複数のハイパーパラメータを含む複数の前処理アルゴリズムを用いて、前記機械学習に用いる学習データの前処理を行い、前記複数のアルゴリズムを用いて、前記第１損失関数の値を小さくし、前記１又は複数のハイパーパラメータを複数の最適化アルゴリズムを用いて最適化して、前記所定の学習モデルについて、前処理された前記学習データを用いた機械学習をそれぞれ行い、
前記算出部は、前処理された前記学習データを用いた機械学習に基づき、前記第１損失関数の大域的形状を表す第１形状情報と、前記学習モデルの性能とを、前記複数の前処理アルゴリズムごとに算出する、 請求項１から８のいずれか一項に記載の解析装置。 - 前記複数の前処理アルゴリズムは、前記学習データを教師なし学習を用いて分類し、分類に応じた前処理を行うアルゴリズムを含む、
請求項９に記載の解析装置。 - 前記複数のアルゴリズムに含まれる１又は複数のハイパーパラメータと、前記複数の前処理アルゴリズムに含まれる１又は複数のハイパーパラメータとを調整可能に表示し、前記学習モデルの性能を、前記複数のアルゴリズム及び前記複数の前処理アルゴリズムそれぞれについて表示する、
請求項９又は１０に記載の解析装置。 - 解析装置に備えられたプロセッサによって、
複数のアルゴリズムを用いて、所定の問題について設定された第１損失関数の値を小さくするように所定の学習モデルの機械学習をそれぞれ行うことと、
前記機械学習に基づき、前記第１損失関数の大域的形状を表す第１形状情報と、前記学習モデルの性能とを、アルゴリズムごとに算出することと、
前記複数のアルゴリズムのうち少なくともいずれかを用いて、新たな問題について設定された第２損失関数の値を小さくするような機械学習が実行され、前記第２損失関数の大域的形状を表す第２形状情報を取得することと、
前記第１形状情報及び前記学習モデルの性能を学習データとする教師あり学習によって生成された予測モデルを用いて、前記第２形状情報に基づいて、前記第２損失関数の値を小さくするように前記学習モデルの機械学習を実行した場合の前記学習モデルの性能を、前記複数のアルゴリズムそれぞれについて予測することと、
を実行する解析方法。 - 解析装置に備えられたプロセッサに、
複数のアルゴリズムを用いて、所定の問題について設定された第１損失関数の値を小さくするように所定の学習モデルの機械学習をそれぞれ行うことと、
前記機械学習に基づき、前記第１損失関数の大域的形状を表す第１形状情報と、前記学習モデルの性能とを、アルゴリズムごとに算出することと、
前記複数のアルゴリズムのうち少なくともいずれかを用いて、新たな問題について設定された第２損失関数の値を小さくするような機械学習が実行され、当該機械学習に基づき、前記第２損失関数の大域的形状を表す第２形状情報を取得することと、
前記第１形状情報及び前記学習モデルの性能を学習データとする教師あり学習によって生成された予測モデルを用いて、前記第２形状情報に基づいて、前記第２損失関数の値を小さくするように前記学習モデルの機械学習を実行した場合の前記学習モデルの性能を、前記複数のアルゴリズムそれぞれについて予測することと、
を実行させる解析プログラム。
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020016010A JP6774129B1 (ja) | 2020-02-03 | 2020-02-03 | 解析装置、解析方法及び解析プログラム |
| JP2020140108A JP7437763B2 (ja) | 2020-02-03 | 2020-08-21 | 解析装置、解析方法及び解析プログラム |
| PCT/JP2020/036328 WO2021157124A1 (ja) | 2020-02-03 | 2020-09-25 | 解析装置、解析方法及び解析プログラム |
| EP20918102.3A EP4102418A4 (en) | 2020-02-03 | 2020-09-25 | ANALYSIS DEVICE, ANALYSIS METHOD AND ANALYSIS PROGRAM |
| CN202210750874.3A CN115271091A (zh) | 2020-02-03 | 2020-09-25 | 信息处理装置、信息处理方法以及计算机可读的存储介质 |
| CN202080005675.9A CN113490956B (zh) | 2020-02-03 | 2020-09-25 | 解析装置、解析方法以及解析程序 |
| US17/608,978 US11568264B2 (en) | 2020-02-03 | 2020-09-25 | Using shape information and loss functions for predictive modelling |
| CN202110609294.8A CN113469368A (zh) | 2020-02-03 | 2020-09-25 | 解析装置、解析方法以及解析程序 |
| US17/665,424 US20220156647A1 (en) | 2020-02-03 | 2022-02-04 | Analysis device, analysis method, and analysis program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020016010A JP6774129B1 (ja) | 2020-02-03 | 2020-02-03 | 解析装置、解析方法及び解析プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020140108A Division JP7437763B2 (ja) | 2020-02-03 | 2020-08-21 | 解析装置、解析方法及び解析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6774129B1 true JP6774129B1 (ja) | 2020-10-21 |
| JP2021124805A JP2021124805A (ja) | 2021-08-30 |
Family
ID=72829627
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020016010A Active JP6774129B1 (ja) | 2020-02-03 | 2020-02-03 | 解析装置、解析方法及び解析プログラム |
| JP2020140108A Active JP7437763B2 (ja) | 2020-02-03 | 2020-08-21 | 解析装置、解析方法及び解析プログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020140108A Active JP7437763B2 (ja) | 2020-02-03 | 2020-08-21 | 解析装置、解析方法及び解析プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11568264B2 (ja) |
| EP (1) | EP4102418A4 (ja) |
| JP (2) | JP6774129B1 (ja) |
| CN (1) | CN113490956B (ja) |
| WO (1) | WO2021157124A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
| US11972052B2 (en) * | 2021-05-05 | 2024-04-30 | University Of Southern California | Interactive human preference driven virtual texture generation and search, and haptic feedback systems and methods |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0561848A (ja) * | 1991-09-02 | 1993-03-12 | Hitachi Ltd | 最適アルゴリズムの選定及び実行のための装置及び方法 |
| JPH05298277A (ja) * | 1992-04-24 | 1993-11-12 | Hitachi Ltd | ニュ−ラルネット学習装置及び学習方法 |
| JP2005135287A (ja) * | 2003-10-31 | 2005-05-26 | National Agriculture & Bio-Oriented Research Organization | 予測装置、予測方法および予測プログラム |
| JP2019159769A (ja) * | 2018-03-13 | 2019-09-19 | 富士通株式会社 | 探索プログラム、探索方法および探索装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5298277B2 (ja) | 2008-12-26 | 2013-09-25 | サンノプコ株式会社 | 樹脂改質剤、ビニル樹脂、塗料及び塗料組成物 |
| US9330362B2 (en) | 2013-05-15 | 2016-05-03 | Microsoft Technology Licensing, Llc | Tuning hyper-parameters of a computer-executable learning algorithm |
| JP6549546B2 (ja) * | 2016-10-18 | 2019-07-24 | 北海道瓦斯株式会社 | 融雪制御装置、ニューラルネットワークの学習方法、融雪制御方法及び融雪制御用プログラム |
| US11120361B1 (en) * | 2017-02-24 | 2021-09-14 | Amazon Technologies, Inc. | Training data routing and prediction ensembling at time series prediction system |
| JP6849915B2 (ja) | 2017-03-31 | 2021-03-31 | 富士通株式会社 | 比較プログラム、比較方法および比較装置 |
| US11232369B1 (en) * | 2017-09-08 | 2022-01-25 | Facebook, Inc. | Training data quality for spam classification |
| US12001918B2 (en) * | 2018-01-18 | 2024-06-04 | Google Llc | Classification using quantum neural networks |
| JP7093965B2 (ja) | 2018-06-22 | 2022-07-01 | 国立研究開発法人情報通信研究機構 | モデル選択装置、及びモデル選択方法 |
| US11704567B2 (en) * | 2018-07-13 | 2023-07-18 | Intel Corporation | Systems and methods for an accelerated tuning of hyperparameters of a model using a machine learning-based tuning service |
| CN109447277B (zh) * | 2018-10-19 | 2023-11-10 | 厦门渊亭信息科技有限公司 | 一种通用的机器学习超参黑盒优化方法及系统 |
| US11429762B2 (en) * | 2018-11-27 | 2022-08-30 | Amazon Technologies, Inc. | Simulation orchestration for training reinforcement learning models |
| JP7059166B2 (ja) * | 2018-11-29 | 2022-04-25 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
| WO2020175692A1 (ja) * | 2019-02-28 | 2020-09-03 | 旭化成株式会社 | 学習装置および判断装置 |
| CN109887284B (zh) * | 2019-03-13 | 2020-08-21 | 银江股份有限公司 | 一种智慧城市交通信号控制推荐方法、系统及装置 |
| US20210089832A1 (en) * | 2019-09-19 | 2021-03-25 | Cognizant Technology Solutions U.S. Corporation | Loss Function Optimization Using Taylor Series Expansion |
| BR112022006232A2 (pt) * | 2019-10-09 | 2022-06-28 | Ericsson Telefon Ab L M | Método e sistema para realizar detecção de evento, método e nó para gerenciar um processo de detecção de evento, e, produto de programa de computador |
-
2020
- 2020-02-03 JP JP2020016010A patent/JP6774129B1/ja active Active
- 2020-08-21 JP JP2020140108A patent/JP7437763B2/ja active Active
- 2020-09-25 WO PCT/JP2020/036328 patent/WO2021157124A1/ja unknown
- 2020-09-25 US US17/608,978 patent/US11568264B2/en active Active
- 2020-09-25 CN CN202080005675.9A patent/CN113490956B/zh active Active
- 2020-09-25 EP EP20918102.3A patent/EP4102418A4/en active Pending
-
2022
- 2022-02-04 US US17/665,424 patent/US20220156647A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0561848A (ja) * | 1991-09-02 | 1993-03-12 | Hitachi Ltd | 最適アルゴリズムの選定及び実行のための装置及び方法 |
| JPH05298277A (ja) * | 1992-04-24 | 1993-11-12 | Hitachi Ltd | ニュ−ラルネット学習装置及び学習方法 |
| JP2005135287A (ja) * | 2003-10-31 | 2005-05-26 | National Agriculture & Bio-Oriented Research Organization | 予測装置、予測方法および予測プログラム |
| JP2019159769A (ja) * | 2018-03-13 | 2019-09-19 | 富士通株式会社 | 探索プログラム、探索方法および探索装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021124805A (ja) | 2021-08-30 |
| US20220147829A1 (en) | 2022-05-12 |
| JP7437763B2 (ja) | 2024-02-26 |
| CN113490956A (zh) | 2021-10-08 |
| CN113490956B (zh) | 2022-05-31 |
| EP4102418A4 (en) | 2024-03-06 |
| WO2021157124A1 (ja) | 2021-08-12 |
| EP4102418A1 (en) | 2022-12-14 |
| US11568264B2 (en) | 2023-01-31 |
| JP2021125210A (ja) | 2021-08-30 |
| US20220156647A1 (en) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A hybrid modified PSO approach to VaR-based facility location problems with variable capacity in fuzzy random uncertainty | |
| JP6774129B1 (ja) | 解析装置、解析方法及び解析プログラム | |
| Du et al. | Exploration of financial market credit scoring and risk management and prediction using deep learning and bionic algorithm | |
| Chen et al. | Automated agriculture commodity price prediction system with machine learning techniques | |
| JP7069029B2 (ja) | 自動予測システム、自動予測方法および自動予測プログラム | |
| US11928698B2 (en) | Information processing apparatus, information processing method and program thereof | |
| JP6942900B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Khan et al. | A study of forecasting stocks price by using deep Reinforcement Learning | |
| Tembusai et al. | K-nearest neighbor with k-fold cross validation and analytic hierarchy process on data classification | |
| Bugaj et al. | Model explainability using SHAP values for LightGBM predictions | |
| CN112184412A (zh) | 一种信用评分卡模型的建模方法、装置、介质及电子设备 | |
| WO2023210665A1 (ja) | 計算グラフの改善 | |
| Roy et al. | Trust-region based multi-objective optimization for low budget scenarios | |
| Zhang et al. | Deriving equation from data via knowledge discovery and machine learning: A study of Young’s modulus of Ti-Nb alloys | |
| JP7489275B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
| Cuate et al. | An approach for the local exploration of discrete many objective optimization problems | |
| Márquez-Grajales et al. | Use of a Surrogate Model for Symbolic Discretization of Temporal Data Sets Through eMODiTS and a Training Set with Varying-Sized Instances | |
| JP7112802B1 (ja) | 学習モデルの軽量化 | |
| Zeeshan et al. | Measurement and forecasting of fluctuating Cryptocurrency prices using deep learning | |
| JP7199115B1 (ja) | 機械学習における分散学習 | |
| CN113469368A (zh) | 解析装置、解析方法以及解析程序 | |
| Chen et al. | Back temporal autoregressive matrix factorization for high-dimensional time series prediction | |
| Ajibade et al. | Feature selection using chaotic particle swarm optimization | |
| CN115329222A (zh) | 搜索结果排序方法、装置、设备及介质 | |
| Xu et al. | Incremental feature selection approach to multi-dimensional variation based on matrix dominance conditional entropy for ordered data set |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200203 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200203 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200731 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6774129 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |