JP6799519B2 - 関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム - Google Patents
関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム Download PDFInfo
- Publication number
- JP6799519B2 JP6799519B2 JP2017199891A JP2017199891A JP6799519B2 JP 6799519 B2 JP6799519 B2 JP 6799519B2 JP 2017199891 A JP2017199891 A JP 2017199891A JP 2017199891 A JP2017199891 A JP 2017199891A JP 6799519 B2 JP6799519 B2 JP 6799519B2
- Authority
- JP
- Japan
- Prior art keywords
- function
- unit
- leaf
- update
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006870 function Effects 0.000 title claims description 273
- 238000000034 method Methods 0.000 title claims description 71
- 238000004364 calculation method Methods 0.000 title claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 33
- 241001619461 Poria <basidiomycete fungus> Species 0.000 description 20
- 238000012545 processing Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000009827 uniform distribution Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Complex Calculations (AREA)
Description
は何でも良いが、典型的にはベクトルデータ)が与えられたときに、それぞれに対応する
は何でも良いが、典型的には整数スカラー)が与えられ、下記の式(1)を満たす関数f(典型的には
)を学習する問題を扱っている。
ガウス過程は平均と共分散で支配される関数への確率的生成モデルとして利用することができ、特に機械学習分野では関数近似問題への定番の道具として広く定着している。
また、近年機械学習分野において著しい活躍を示している深層学習のうち、非特許文献2では簡単のため一層のニューラルネットワークモデルを例として取り上げられている。
が与えられたもとで、
を近似する問題を考える。
<<一般化ポリア木とガウス過程の融合によるニューラルネットワークモデルの拡張>>
まず、本発明の実施の形態に係る関数学習装置の原理について説明する。
ただし、
は隠れ層から出力への重み関数、
は入力から隠れ層への重み関数である。
にとると、すなわち、uをスカラーとすると、下記の式(5)に書き直すことができる。
を[0,1]の入れ子状の階層分割、A={α,αe>0}を正の実数の集合として、一般化ポリア木を下記式(8)〜(10)のような確率生成モデルとする。
は、
の時のみ機能している。すなわち、下記の式(13)であることを意味している。
は、平均を一般化ポリア木によって与えられるV(Be)、共分散を
においてのみ非零となったガウス過程に従うものとしてモデル化することができる。
関数
が単一のガウス過程から生成されたものだとすると、すなわち、一般化ポリア木の深さが0であった場合は、平均関数
と、共分散関数
とを用いて、下記の式(14)のように表現する。
に対して、常に下記の式(15)が成り立つことである。
に対して与えられた共分散関数である。典型的には、この共分散関数ceは、人手で設計するのが一般的であり、例えばガウスカーネルを選ぶことができる。
次に、本発明の実施の形態に係る関数学習装置の構成について説明する。図1は、本発明の実施の形態に係る関数学習装置の構成を示す概略図である。
の階層分割
を逐次的に更新する。
追加では、抽出したリーフBeに対して、一様な線形分割を乱数により生成し、更新先の候補を生成する。
修正では、抽出したリーフBeの親リーフ(これをBe’と書くことにする)に対して、一様な線形分割を乱数により生成し、更新先の候補を生成する。
融合では、抽出したリーフBeの親リーフBe’に対して、その子ノードにあたる分割を削除し融合を更新先の候補とする。
図6は、本発明の実施の形態に係る関数学習装置における関数学習のための推論アルゴリズムの例を示す図である。
次に、本発明の実施の形態に係る関数計算装置の構成について説明する。図10は、本発明の実施の形態に係る関数計算装置の構成を示す概略図である。
である。これは、式(16)が、式(12)と等価な能力を実現できることが、従来の結果から導かれるためである。なお、式(12)は関数f(x)がaとgによる内積の形で表示できることを表している。
図11は、本発明の実施の形態に係る関数計算処理フローを示すフローチャートを示す。
20 関数計算装置
100 入力部
200 演算部
210 点群データ取得部
210 関数学習部
212 初期化部
214 ポリア木パラメータ更新部
216 階層分割更新部
218 反復判定部
300 出力部
400 入力部
500 演算部
520 記憶部
530 関数計算部
600 出力部
Claims (7)
- ニューラルネットワークを用いた入出力関係を表す関数を学習する関数学習装置であって、
入力データと出力データとの組を複数含む観測データに基づいて、
前記ニューラルネットワークの入力層と隠れ層との間の重みを求めるための重み関数であって、前記重みのインデックスが連続的である重み関数を学習する関数学習部を含み、
前記関数学習部は、入力データの範囲を表す領域を階層的に分割したことを表す二分木構造であって、各リーフが階層的に分割された領域を表す一般化ポリア木について、各リーフに割り当てられる実数を表すポリア木パラメータと、階層分割とを、
階層的に分割された領域の各々では、前記領域に属する入力データがガウス過程でモデル化され、
前記重み関数により求められる、入力データに適用される重みが、前記入力データが属する各階層の領域を表す各リーフに割り当てられたポリア木パラメータの乗算を用いて定められるように学習する
関数学習装置。 - 前記関数学習部は、
各リーフのポリア木パラメータと前記階層分割とを初期化する初期化部と、
前記観測データと、前記階層分割とに基づいて、前記観測データ、前記階層分割、及び前記ポリア木パラメータを用いて予め定められた目的関数を最適化するように、各リーフのポリア木パラメータを更新するポリア木パラメータ更新部と、
前記観測データと、各リーフのポリア木パラメータとに基づいて、前記目的関数を最適化するように、前記階層分割を更新する階層分割更新部と、
予め定められた反復終了条件を満たすまで、前記ポリア木パラメータ更新部による更新と、前記階層分割更新部による更新とを繰り返させる反復判定部と、
を含む請求項1記載の関数学習装置。 - ニューラルネットワークを用いた入出力関係を表す関数を計算する関数計算装置であって、
請求項1または2記載の関数学習装置によって学習された重み関数を用いた前記ニューラルネットワークの関数により、入力データに対する出力データを計算する関数計算部
を含む関数計算装置。 - ニューラルネットワークを用いた入出力関係を表す関数を学習する関数学習装置における関数学習方法であって、
関数学習部が、入力データと出力データとの組を複数含む観測データに基づいて、前記ニューラルネットワークの入力層と隠れ層との間の重みを求めるための重み関数であって、前記重みのインデックスが連続的である重み関数を学習するステップを含み、
前記関数学習部が学習するステップについては、入力データの範囲を表す領域を階層的に分割したことを表す二分木構造であって、各リーフが階層的に分割された領域を表す一般化ポリア木について、各リーフに割り当てられる実数を表すポリア木パラメータと、階層分割とを、
階層的に分割された領域の各々では、前記領域に属する入力データがガウス過程でモデル化され、
前記重み関数により求められる、入力データに適用される重みが、前記入力データが属する各階層の領域を表す各リーフに割り当てられたポリア木パラメータの乗算を用いて定められるように学習する
関数学習方法。 - 前記関数学習部が学習するステップは、
初期化部が、各リーフのポリア木パラメータと前記階層分割とを初期化するステップと、
ポリア木パラメータ更新部が、前記観測データと、前記階層分割とに基づいて、前記観測データ、前記階層分割、及び前記ポリア木パラメータを用いて予め定められた目的関数を最適化するように、各リーフのポリア木パラメータを更新するステップと、
階層分割更新部が、前記観測データと、各リーフのポリア木パラメータとに基づいて、前記目的関数を最適化するように、前記階層分割を更新するステップと、
反復判定部が、予め定められた反復終了条件を満たすまで、前記ポリア木パラメータ更新部による更新と、前記階層分割更新部による更新とを繰り返させるステップと、
を含む請求項4記載の関数学習方法。 - ニューラルネットワークを用いた入出力関係を表す関数を計算する関数計算方法であって、
関数計算部が、請求項4または5記載の関数学習方法によって学習された重み関数を用いた前記ニューラルネットワークの関数により、入力データに対する出力データを計算するステップを含む関数計算方法。 - コンピュータを、請求項1若しくは請求項2記載の関数学習装置、又は、請求項3記載の関数計算装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017199891A JP6799519B2 (ja) | 2017-10-13 | 2017-10-13 | 関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017199891A JP6799519B2 (ja) | 2017-10-13 | 2017-10-13 | 関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019074890A JP2019074890A (ja) | 2019-05-16 |
JP6799519B2 true JP6799519B2 (ja) | 2020-12-16 |
Family
ID=66544765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017199891A Active JP6799519B2 (ja) | 2017-10-13 | 2017-10-13 | 関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6799519B2 (ja) |
-
2017
- 2017-10-13 JP JP2017199891A patent/JP6799519B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019074890A (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shi et al. | Graphaf: a flow-based autoregressive model for molecular graph generation | |
Wilson et al. | A Lyapunov analysis of accelerated methods in optimization | |
Haaswijk et al. | Deep learning for logic optimization algorithms | |
Bottou et al. | Optimization methods for large-scale machine learning | |
WO2019157228A1 (en) | Systems and methods for training generative machine learning models | |
Zanette et al. | Limiting extrapolation in linear approximate value iteration | |
CN111860783B (zh) | 图节点低维表征学习方法、装置、终端设备及存储介质 | |
Sarkar et al. | Nonparametric link prediction in large scale dynamic networks | |
Li et al. | Neural-guided symbolic regression with asymptotic constraints | |
Onwubolu | Gmdh-methodology And Implementation In C (With Cd-rom) | |
Koppel et al. | Breaking bellman’s curse of dimensionality: Efficient kernel gradient temporal difference | |
Hagg et al. | Expressivity of parameterized and data-driven representations in quality diversity search | |
Al-Behadili et al. | Ant colony optimization algorithm for rule-based classification: Issues and potential solutions | |
Larios-Cárdenas et al. | A hybrid inference system for improved curvature estimation in the level-set method using machine learning | |
Angone et al. | Hybrid quantum-classical multilevel approach for maximum cuts on graphs | |
JP6190771B2 (ja) | パラメータ推定方法、装置、及びプログラム | |
Svensson et al. | Utilizing reinforcement learning for de novo drug design | |
JP6799519B2 (ja) | 関数学習装置、関数計算装置、関数学習方法、関数計算方法、及びプログラム | |
Joshi et al. | Efficient karyotyping of metaphase chromosomes using incremental learning | |
Marthaler | An overview of mathematical methods for numerical optimization | |
Tenne et al. | A memetic algorithm using a trust-region derivative-free optimization with quadratic modelling for optimization of expensive and noisy black-box functions | |
CN114974400B (zh) | 一种全局生物网络比对方法 | |
JP7045150B2 (ja) | 連続最適化問題の大域的探索装置及びプログラム | |
Grigas et al. | Stochastic in-face frank-wolfe methods for non-convex optimization and sparse neural network training | |
CN114842247A (zh) | 基于特征累加的图卷积网络半监督节点分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6799519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |