JP6838473B2 - グループ間インデックスを用いた人工ニューラルネットワークにおける加重値の表現 - Google Patents
グループ間インデックスを用いた人工ニューラルネットワークにおける加重値の表現 Download PDFInfo
- Publication number
- JP6838473B2 JP6838473B2 JP2017079962A JP2017079962A JP6838473B2 JP 6838473 B2 JP6838473 B2 JP 6838473B2 JP 2017079962 A JP2017079962 A JP 2017079962A JP 2017079962 A JP2017079962 A JP 2017079962A JP 6838473 B2 JP6838473 B2 JP 6838473B2
- Authority
- JP
- Japan
- Prior art keywords
- group
- memory
- dependent
- weights
- base group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Description
Δyは従属グループの最大加重値ymと最小加重値ylとの差分であり、
Δzはベースグループの最大加重値zmと最小加重値zlとの差分であり、
Dyzは従属グループの最小加重値ylとベースグループの最小加重値zlとの間の差分である。
図4のグラフ400のこの式を用いて、ベースグループの加重値をメモリに記憶して、従属グループの加重の加重をメモリに記憶することなく、ベースグループの加重に対応する従属グループの加重のインデックスをメモリに記憶でき、人工ニューラルネットワークのメモリ必要量を低減することができる。
iは第1のレイヤのニューロンインデックスであり、
jは第2のレイヤのニューロンインデックスであり、
mはレイヤインデックスである。
加重wijの値を合成するため、加重修正器508は、wijが属する従属グループの傾き及び切片をメモリ502から読み出し、加重wijの1つのインデックスをメモリ502から読み出し、読み出したインデックスが対応する対応するベースグループの加重wxyの値をメモリ502から読み出すように構成されていてもよい。加重修正器508は、読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重wxyの値とを用いて、従属グループの加重wijを合成し、それにより図4の式により合成された加重値yj *を計算する。
実施形態を付記する。
(付記1) グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータ実施の方法であって、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、
加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、
ベースグループと、従属グループとして他のグループとを指定するステップと、
ベースグループの加重の値をメモリに記憶するステップと、
各従属グループのグループインデックスをメモリに記憶するステップと、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを含む、
方法。
(付記2) ベースグループを指定するステップは、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、
付記1に記載の方法。
(付記3) ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、
付記1に記載の方法。
(付記4) ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、
付記1に記載の方法。
(付記5) 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、
付記4に記載の方法。
(付記6) 各従属グループの傾き及び切片を計算するステップと、
各従属グループの傾き及び切片をメモリに記憶するステップとをさらに含む、
付記1に記載の方法。
(付記7) 従属グループの傾き及び切片をメモリから読み出すステップと、
メモリから従属グループの加重のインデックスを読み出すステップと、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとを含む、
付記6に記載の方法。
(付記8) グループ間インデックスを用いて人工ニューラルネットワークにおいて加重を表現するコンピュータプログラムであって、コンピュータに、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、
加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、
ベースグループと、従属グループとして他のグループとを指定するステップと、
ベースグループの加重の値をメモリに記憶するステップと、
各従属グループのグループインデックスをメモリに記憶するステップと、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを実行させる、
コンピュータプログラム。
(付記9) ベースグループの指定は、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、
付記8に記載のコンピュータプログラム。
(付記10) ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、
付記8に記載のコンピュータプログラム。
(付記11) ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、
付記8に記載のコンピュータプログラム。
(付記12) 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、
付記11に記載のコンピュータプログラム。
(付記13) 各従属グループの傾きと切片を計算するステップと、
各従属グループの傾きと切片をメモリに記憶するステップとをさらに含む、
付記8に記載のコンピュータプログラム。
(付記14) 従属グループの傾きと切片をメモリから読み出すステップと、
メモリから従属グループの加重のインデックスを読み出すステップと、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとをさらに含む、
付記13に記載のコンピュータプログラム。
(付記15) グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータアーキテクチャであって、
メモリと、
プロセッサとを有し、該プロセッサは、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにアクセスし、
加重を昇順に並べ、
加重の略線形パターンに基づいて、並べた加重をグループに分け、
ベースグループと、従属グループとして他のグループとを指定し、
ベースグループの加重の値をメモリに記憶し、
各従属グループのグループインデックスをメモリに記憶し、
各従属グループの傾きと切片を計算し、
各従属グループの傾きと切片をメモリに記憶し、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶する、
コンピュータアーキテクチャ。
(付記16) ベースグループを指定することは、最も線形である略線形パターンを有するグループをベースグループとして指定することを含む、
付記15に記載のコンピュータアーキテクチャ。
(付記17) ベースグループを指定することは、仮想グループをベースグループとして指定することを含む、
付記15に記載のコンピュータアーキテクチャ。
(付記18) ベースグループの加重の値をメモリに記憶することは、ベースグループの加重の値を浮動小数点数としてメモリに記憶することを含む、
付記15に記載のコンピュータアーキテクチャ。
(付記19) 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶することは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶することを含む、
付記18に記載のコンピュータアーキテクチャ。
(付記20) 加重修正器をさらに有し、該加重修正器は、
従属グループの傾きと切片をメモリから読み出し、
メモリから従属グループの加重のインデックスを読み出し、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出し、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成する、
付記15に記載のコンピュータアーキテクチャ。
502 メモリ
504 メモリコントローラ
508 加重修正器
506 処理要素
Claims (20)
- グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータ実施の方法であって、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、
加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、
ベースグループと、従属グループとして他のグループとを指定するステップと、
ベースグループの加重の値をメモリに記憶するステップと、
各従属グループのグループインデックスをメモリに記憶するステップと、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを含む、
方法。 - ベースグループを指定するステップは、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、
請求項1に記載の方法。 - ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、
請求項1に記載の方法。 - ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、
請求項1に記載の方法。 - 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、
請求項4に記載の方法。 - 各従属グループの傾き及び切片を計算するステップと、
各従属グループの傾き及び切片をメモリに記憶するステップとをさらに含む、
請求項1に記載の方法。 - 従属グループの傾き及び切片をメモリから読み出すステップと、
メモリから従属グループの加重のインデックスを読み出すステップと、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとを含む、
請求項6に記載の方法。 - グループ間インデックスを用いて人工ニューラルネットワークにおいて加重を表現するコンピュータプログラムであって、コンピュータに、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにおいて、加重を昇順に並べるステップと、
加重の略線形パターンに基づいて、並べた加重をグループに分けるステップと、
ベースグループと、従属グループとして他のグループとを指定するステップと、
ベースグループの加重の値をメモリに記憶するステップと、
各従属グループのグループインデックスをメモリに記憶するステップと、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップとを実行させる、
コンピュータプログラム。 - ベースグループの指定は、最も線形である略線形パターンを有するグループをベースグループとして指定するステップを含む、
請求項8に記載のコンピュータプログラム。 - ベースグループを指定するステップは、仮想グループをベースグループとして指定するステップを含む、
請求項8に記載のコンピュータプログラム。 - ベースグループの加重の値をメモリに記憶するステップは、ベースグループの加重の値を浮動小数点数としてメモリに記憶するステップを含む、
請求項8に記載のコンピュータプログラム。 - 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶するステップは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶するステップを含む、
請求項11に記載のコンピュータプログラム。 - 各従属グループの傾きと切片を計算するステップと、
各従属グループの傾きと切片をメモリに記憶するステップとをさらに含む、
請求項8に記載のコンピュータプログラム。 - 従属グループの傾きと切片をメモリから読み出すステップと、
メモリから従属グループの加重のインデックスを読み出すステップと、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出すステップと、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成するステップとをさらに含む、
請求項13に記載のコンピュータプログラム。 - グループ間インデックスを用いた人工ニューラルネットワークにおける加重値を表現する、コンピュータアーキテクチャであって、
メモリと、
プロセッサとを有し、該プロセッサは、
ニューロンと、ニューロン間のシナプス結合とを含み、各シナプス結合は加重を含む、人工ニューラルネットワークにアクセスし、
加重を昇順に並べ、
加重の略線形パターンに基づいて、並べた加重をグループに分け、
ベースグループと、従属グループとして他のグループとを指定し、
ベースグループの加重の値をメモリに記憶し、
各従属グループのグループインデックスをメモリに記憶し、
各従属グループの傾きと切片を計算し、
各従属グループの傾きと切片をメモリに記憶し、
従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶する、
コンピュータアーキテクチャ。 - ベースグループを指定することは、最も線形である略線形パターンを有するグループをベースグループとして指定することを含む、
請求項15に記載のコンピュータアーキテクチャ。 - ベースグループを指定することは、仮想グループをベースグループとして指定することを含む、
請求項15に記載のコンピュータアーキテクチャ。 - ベースグループの加重の値をメモリに記憶することは、ベースグループの加重の値を浮動小数点数としてメモリに記憶することを含む、
請求項15に記載のコンピュータアーキテクチャ。 - 従属グループの加重の値はメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスをメモリに記憶することは、従属グループの加重の値は浮動小数点数としてメモリに記憶せずに、ベースグループの加重の1つに対応する従属グループの各加重のインデックスを整数としてメモリに記憶することを含む、
請求項18に記載のコンピュータアーキテクチャ。 - 加重修正器をさらに有し、該加重修正器は、
従属グループの傾きと切片をメモリから読み出し、
メモリから従属グループの加重のインデックスを読み出し、
読み出したインデックスが対応するベースグループの加重の値をメモリから読み出し、
読み出した加重のインデックスと、読み出した従属グループの傾き及び切片と、読み出したベースグループの加重の値とを用いて、従属グループの加重を合成する、
請求項15に記載のコンピュータアーキテクチャ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/235,017 | 2016-08-11 | ||
US15/235,017 US10521717B2 (en) | 2016-08-11 | 2016-08-11 | Representation of weight values in an artificial neural network using inter-group indexing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018026102A JP2018026102A (ja) | 2018-02-15 |
JP6838473B2 true JP6838473B2 (ja) | 2021-03-03 |
Family
ID=57909525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017079962A Active JP6838473B2 (ja) | 2016-08-11 | 2017-04-13 | グループ間インデックスを用いた人工ニューラルネットワークにおける加重値の表現 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10521717B2 (ja) |
EP (1) | EP3282400A1 (ja) |
JP (1) | JP6838473B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11640522B2 (en) | 2018-12-13 | 2023-05-02 | Tybalt, Llc | Computational efficiency improvements for artificial neural networks |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05290013A (ja) * | 1992-04-06 | 1993-11-05 | Sharp Corp | ニューラルネットワーク演算装置 |
US6067536A (en) * | 1996-05-30 | 2000-05-23 | Matsushita Electric Industrial Co., Ltd. | Neural network for voice and pattern recognition |
JPH1055346A (ja) * | 1996-05-30 | 1998-02-24 | Matsushita Electric Ind Co Ltd | ニューラルネットワーク回路 |
US10460233B2 (en) * | 2016-07-28 | 2019-10-29 | Fujitsu Limited | Self-adaptive neural networks |
-
2016
- 2016-08-11 US US15/235,017 patent/US10521717B2/en active Active
-
2017
- 2017-01-27 EP EP17153482.9A patent/EP3282400A1/en not_active Ceased
- 2017-04-13 JP JP2017079962A patent/JP6838473B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US10521717B2 (en) | 2019-12-31 |
US20180046911A1 (en) | 2018-02-15 |
JP2018026102A (ja) | 2018-02-15 |
EP3282400A1 (en) | 2018-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ba et al. | Distributed second-order optimization using kronecker-factored approximations | |
US11625614B2 (en) | Small-world nets for fast neural network training and execution | |
CN109313720A (zh) | 具有稀疏访问的外部存储器的增强神经网络 | |
CN112508186A (zh) | 训练用于图像识别的神经网络的方法和神经网络设备 | |
Lorentzen et al. | Peeking into the black box: An actuarial case study for interpretable machine learning | |
JP7433408B2 (ja) | 機械学習モデルに基づいた必須遺伝子識別方法および分析装置 | |
JP6838473B2 (ja) | グループ間インデックスを用いた人工ニューラルネットワークにおける加重値の表現 | |
CN112753039A (zh) | 随时间推移使用深度学习网络的系统和方法 | |
CN115860100A (zh) | 一种神经网络模型训练方法、装置及计算设备 | |
Tanaka et al. | Automated structure discovery and parameter tuning of neural network language model based on evolution strategy | |
CN114360661B (zh) | 基于群体智能优化模型的分子结构预测方法及相关设备 | |
CN106484532B (zh) | 面向sph流体模拟的gpgpu并行计算方法 | |
CN114168318A (zh) | 存储释放模型的训练方法、存储释放方法及设备 | |
Zheng et al. | Performance comparison of full-batch BP and mini-batch BP algorithm on spark framework | |
Silva et al. | Multiobjective optimization using variable complexity modelling for control system design | |
CN116597894A (zh) | 一种基于XGBoost特征选择与深度学习结合的基因到表型预测方法和系统 | |
WO2020059136A1 (ja) | 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム | |
KR102508105B1 (ko) | 외래생물 확산을 예측하는 방법 | |
JP7438544B2 (ja) | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 | |
Bobrowski | Large matrices inversion using the basis exchange algorithm | |
Kaur et al. | Gene selection for tumor classification using resilient backpropagation neural network | |
CN113313233A (zh) | 应对器件失配的神经网络配置参数训练和部署方法与装置 | |
KR20220101504A (ko) | 그래프 컨볼루션 네트워크 학습 방법 및 장치 | |
CN114170474A (zh) | 生成神经网络模型的对抗样本木马的方法及相关设备 | |
Khan et al. | Design and implementation of parallel SOM model on GPGPU |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6838473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |