JPH09106390A - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JPH09106390A JPH09106390A JP7263833A JP26383395A JPH09106390A JP H09106390 A JPH09106390 A JP H09106390A JP 7263833 A JP7263833 A JP 7263833A JP 26383395 A JP26383395 A JP 26383395A JP H09106390 A JPH09106390 A JP H09106390A
- Authority
- JP
- Japan
- Prior art keywords
- value
- neural network
- input
- circuit
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 デジタル方式によりハードウェア化されたニ
ューラルネットワークにおいて、勾配降下法における極
小点への補則を乱数発生手段により防止する。 【解決手段】 ニューラルネットワーク600は、乱数
を記録可能なメモリ61、パラメータの更新値を記録可
能なメモリ63A、63B、63C、乗算回路65、加
算回路66、および比較器68を含むパラメータの最適
値学習手段と、ニューラルネットワーク入出力特性計算
部64とを含む。
ューラルネットワークにおいて、勾配降下法における極
小点への補則を乱数発生手段により防止する。 【解決手段】 ニューラルネットワーク600は、乱数
を記録可能なメモリ61、パラメータの更新値を記録可
能なメモリ63A、63B、63C、乗算回路65、加
算回路66、および比較器68を含むパラメータの最適
値学習手段と、ニューラルネットワーク入出力特性計算
部64とを含む。
Description
【0001】
【発明の属する技術分野】本発明はエレクトロニクス分
野および情報処理分野に関し、特にニューラルネットワ
ークのハードウェア化に関する。
野および情報処理分野に関し、特にニューラルネットワ
ークのハードウェア化に関する。
【0002】
【従来の技術】ニューラルネットワークには、フィード
フォワードネットワーク(Feedforward network )やリ
カレントネットワーク(Recurrent network )等さまざ
まな形式のものが考案されているが、そのいずれにおい
ても、ニューロンと呼ばれるネットワークの基本構成単
位に対応する適当な基底関数の積和によって、ネットワ
ークの入出力特性が構成されている。これらのニューラ
ルネットワークは、従来、多くの場合ソフトウェアによ
って実現されているが、その動作速度を向上させる目的
で半導体装置等によるハードウェア化が望まれている。
フォワードネットワーク(Feedforward network )やリ
カレントネットワーク(Recurrent network )等さまざ
まな形式のものが考案されているが、そのいずれにおい
ても、ニューロンと呼ばれるネットワークの基本構成単
位に対応する適当な基底関数の積和によって、ネットワ
ークの入出力特性が構成されている。これらのニューラ
ルネットワークは、従来、多くの場合ソフトウェアによ
って実現されているが、その動作速度を向上させる目的
で半導体装置等によるハードウェア化が望まれている。
【0003】ハードウェアによるニューラルネットワー
クの構成に関する従来の方法は、ニューロンの応答特性
をアナログ回路によって再現するか、あるいはデジタル
回路によって再現するかによって、アナログニューラル
ネットワークとデジタルニューラルネットワークとに大
別される。いずれの型のネットワークにおいてもニュー
ロンの応答特性は、シグモイド関数またはステップ関数
である。
クの構成に関する従来の方法は、ニューロンの応答特性
をアナログ回路によって再現するか、あるいはデジタル
回路によって再現するかによって、アナログニューラル
ネットワークとデジタルニューラルネットワークとに大
別される。いずれの型のネットワークにおいてもニュー
ロンの応答特性は、シグモイド関数またはステップ関数
である。
【0004】アナログネットワークの場合には、たとえ
ば、電子情報通信学会技術報告ICD92−15,p
p.23−29に示されているように、ニューロンの応
答関数を再現するために、OPアンプが使用されてい
る。一方、デジタルネットワークの場合には、たとえば
電子情報通信学会技術報告ICD92−17,pp.3
9−46に示されているように、シグモイド関数σ
(x)はベルヌーイ数Bn を用いた多項式(1)で表わ
されている。
ば、電子情報通信学会技術報告ICD92−15,p
p.23−29に示されているように、ニューロンの応
答関数を再現するために、OPアンプが使用されてい
る。一方、デジタルネットワークの場合には、たとえば
電子情報通信学会技術報告ICD92−17,pp.3
9−46に示されているように、シグモイド関数σ
(x)はベルヌーイ数Bn を用いた多項式(1)で表わ
されている。
【0005】
【数1】
【0006】入力xについてALU(Alithmetic Logic
Unit )によりσ(x)を計算することによってニュー
ロンの応答特性が再現される。従来のネットワークにお
いては、ネットワークの特性を特定すべきパラメータの
学習値のみがRAMに記憶されている。
Unit )によりσ(x)を計算することによってニュー
ロンの応答特性が再現される。従来のネットワークにお
いては、ネットワークの特性を特定すべきパラメータの
学習値のみがRAMに記憶されている。
【0007】ネットワークの構造を特定すべきパラメー
タの最適化は、ソフトウェアまたはハードウェアによっ
て実現される学習アルゴリズムに従って実行される。ソ
フトウェアを利用した学習では、どのようなアルゴリズ
ムでも実現できるので柔軟性がある。非常によく利用さ
れる学習アルゴリズムには、勾配降下法およびそれを応
用したバックプロパゲーション学習則、自己組織化学習
則、Hebb則がある。一方ハードウェアによる学習は、ソ
フトウェアほど柔軟ではないが、演算を高速に実行でき
るという利点がある。学習機能を搭載したハードウェア
に関する従来技術については、たとえばシステム/制御
/情報Vol.38,No.8,pp.423−429
に示されている。ここでは、本発明に関連のある勾配降
下法の原理に関するものを述べる。
タの最適化は、ソフトウェアまたはハードウェアによっ
て実現される学習アルゴリズムに従って実行される。ソ
フトウェアを利用した学習では、どのようなアルゴリズ
ムでも実現できるので柔軟性がある。非常によく利用さ
れる学習アルゴリズムには、勾配降下法およびそれを応
用したバックプロパゲーション学習則、自己組織化学習
則、Hebb則がある。一方ハードウェアによる学習は、ソ
フトウェアほど柔軟ではないが、演算を高速に実行でき
るという利点がある。学習機能を搭載したハードウェア
に関する従来技術については、たとえばシステム/制御
/情報Vol.38,No.8,pp.423−429
に示されている。ここでは、本発明に関連のある勾配降
下法の原理に関するものを述べる。
【0008】ニューラルネットワークへの入力をx、ネ
ットワークの出力をF(x,ξ)とする。ただし、ξは
ネットワークの機能を決定するパラメータで、学習によ
って最適化されるものとする。出力F(x,ξ)が一致
すべき正解出力をy(x)とする。ξ、F(x,ξ)、
およびy(x)はスカラでもよいし、ベクトルでもよ
い。ここではスカラを用いて説明するが、そのことによ
って一般性が失われることはない。ネットワークの出力
精度を図る尺度として、汎関数E[F]として、 E[F]=(1/2)Σx [F(x,ξ)−y(x)]2 (2) と決める。このとき、ξの最適化過程におけるξの時間
変化が、 dξ/dt=−∂E[F]/∂ξ (3) となるようにすると、 dE[F]/dt=(∂E[F]/∂ξ)(dξ/dt)=−(∂E[F]/ ∂ξ)2 ≦0 (4) となって、ξは常にネットワークの出力誤差E[F]が
減少する方向に自動的に変化する。(2)式を数値計算
を実行するための漸化式に書直すと、 ξ(new)=ξ(old)−η(∂E[F]/∂ξ) (5) となる。η>0は学習率と呼ばれる定数で、調節可能な
パラメータである。ところで、(4)式において∂E
(F)/∂ξ=0となるようなE[F]の極小点では、
E[F]が最小ではないにもかかわらず、学習が停止す
る。このような極小点への捕捉を防ぐために、(5)式
を改良した ξ(new)=ξ(old)−η(∂E[F]/∂ξ)+αΔξ(old) (6) が利用される。ここで、Δξ(old )は前回の学習ルー
プにおけるξの変動であり、αは運動量因子と呼ばれる
調節可能なパラメータである。従来のハードウェアは、
(5)または(6)式を実現したものである。
ットワークの出力をF(x,ξ)とする。ただし、ξは
ネットワークの機能を決定するパラメータで、学習によ
って最適化されるものとする。出力F(x,ξ)が一致
すべき正解出力をy(x)とする。ξ、F(x,ξ)、
およびy(x)はスカラでもよいし、ベクトルでもよ
い。ここではスカラを用いて説明するが、そのことによ
って一般性が失われることはない。ネットワークの出力
精度を図る尺度として、汎関数E[F]として、 E[F]=(1/2)Σx [F(x,ξ)−y(x)]2 (2) と決める。このとき、ξの最適化過程におけるξの時間
変化が、 dξ/dt=−∂E[F]/∂ξ (3) となるようにすると、 dE[F]/dt=(∂E[F]/∂ξ)(dξ/dt)=−(∂E[F]/ ∂ξ)2 ≦0 (4) となって、ξは常にネットワークの出力誤差E[F]が
減少する方向に自動的に変化する。(2)式を数値計算
を実行するための漸化式に書直すと、 ξ(new)=ξ(old)−η(∂E[F]/∂ξ) (5) となる。η>0は学習率と呼ばれる定数で、調節可能な
パラメータである。ところで、(4)式において∂E
(F)/∂ξ=0となるようなE[F]の極小点では、
E[F]が最小ではないにもかかわらず、学習が停止す
る。このような極小点への捕捉を防ぐために、(5)式
を改良した ξ(new)=ξ(old)−η(∂E[F]/∂ξ)+αΔξ(old) (6) が利用される。ここで、Δξ(old )は前回の学習ルー
プにおけるξの変動であり、αは運動量因子と呼ばれる
調節可能なパラメータである。従来のハードウェアは、
(5)または(6)式を実現したものである。
【0009】
【発明が解決しようとする課題】アナログネットワーク
の場合には、ネットワークを構成すべき各素子の電気特
性を非常に均一に作製しなければならないので、素子の
製造プロセスにおける均一性に対する要求が厳しく、高
い製造歩留りを得ることは容易ではない。またシグモイ
ド関数以外の応答特性を持つニューロン、たとえば、ガ
ウス関数をニューロンとする正則化ネットワーク(Regu
larization network)を構成する場合には、ニューロン
の応答特性を正確に再現することが困難である。
の場合には、ネットワークを構成すべき各素子の電気特
性を非常に均一に作製しなければならないので、素子の
製造プロセスにおける均一性に対する要求が厳しく、高
い製造歩留りを得ることは容易ではない。またシグモイ
ド関数以外の応答特性を持つニューロン、たとえば、ガ
ウス関数をニューロンとする正則化ネットワーク(Regu
larization network)を構成する場合には、ニューロン
の応答特性を正確に再現することが困難である。
【0010】一方、従来のデジタルネットワークにおい
ては製造プロセスはアナログ方式の場合よりも容易であ
るが、ニューロンからの応答特性を実現する際、応答特
性を近似する多項式を計算して設計しなければならない
ことに加えて、ALUを使用するために回路構成、動作
が複雑になるという問題点がある。これが第1の課題で
ある。
ては製造プロセスはアナログ方式の場合よりも容易であ
るが、ニューロンからの応答特性を実現する際、応答特
性を近似する多項式を計算して設計しなければならない
ことに加えて、ALUを使用するために回路構成、動作
が複雑になるという問題点がある。これが第1の課題で
ある。
【0011】次に(5)または(6)式による勾配降下
法では、E[F]の極小点への捕捉を完全に防止するこ
とができないので、ネットワークの出力誤差が十分に小
さくなるように学習を実行することが困難である場合が
多いという問題点がある。これが第2の課題である。
法では、E[F]の極小点への捕捉を完全に防止するこ
とができないので、ネットワークの出力誤差が十分に小
さくなるように学習を実行することが困難である場合が
多いという問題点がある。これが第2の課題である。
【0012】第3の課題は学習に要する計算時間の問題
である。ソフトウェアによる学習では計算時間が多大で
あり、ハードウェアによる学習によって計算時間を減少
させたい。これが第3の課題である。本発明はこれらの
課題を解決することを目的とする。
である。ソフトウェアによる学習では計算時間が多大で
あり、ハードウェアによる学習によって計算時間を減少
させたい。これが第3の課題である。本発明はこれらの
課題を解決することを目的とする。
【0013】それゆえに請求項1に記載の発明は、任意
の応答関数を持つニューロンからなるデジタルネットワ
ークを簡潔に実現することができるとともに、勾配降下
法におけるE[F]の極小点への捕捉を防止してネット
ワークの出力誤差が十分に小さくなるように学習を実行
することができ、さらにハードウェアによる学習によっ
て計算時間を減少させることができるニューラルネット
ワークを提供することを目的とする。
の応答関数を持つニューロンからなるデジタルネットワ
ークを簡潔に実現することができるとともに、勾配降下
法におけるE[F]の極小点への捕捉を防止してネット
ワークの出力誤差が十分に小さくなるように学習を実行
することができ、さらにハードウェアによる学習によっ
て計算時間を減少させることができるニューラルネット
ワークを提供することを目的とする。
【0014】
【課題を解決するための手段】以下本発明における課題
を解決するための手段の動作原理を説明する。
を解決するための手段の動作原理を説明する。
【0015】請求項1に記載のニューラルネットワーク
装置においては、回路構成はデジタル方式とし、ニュー
ラルネットワーク内での積和は乗算回路および加算回路
により実現する。ニューロンの応答特性をf(x)とす
ると、入力xに対する値f(x)を予め計算しておき、
xをアドレスとするROMにf(x)の関数値を記録す
る。すなわちニューロンを応答関数値が記録されたRO
Mによって実現する。なおROMの代わりにRAMを用
いることもできる。
装置においては、回路構成はデジタル方式とし、ニュー
ラルネットワーク内での積和は乗算回路および加算回路
により実現する。ニューロンの応答特性をf(x)とす
ると、入力xに対する値f(x)を予め計算しておき、
xをアドレスとするROMにf(x)の関数値を記録す
る。すなわちニューロンを応答関数値が記録されたRO
Mによって実現する。なおROMの代わりにRAMを用
いることもできる。
【0016】ネットワークへの入力をX=(x1 ,
x2 ,…,xD )、ネットワークの出力をF(x)とす
ると、ガウス関数を基底関数とする正規化ネットワーク
は、(7)で表わされる。
x2 ,…,xD )、ネットワークの出力をF(x)とす
ると、ガウス関数を基底関数とする正規化ネットワーク
は、(7)で表わされる。
【0017】 F(X)=Σh=1 Nhch exp(−βh Σi=1 D (xi −θhi)2 ) ( 7) (7)式において、Nh は隠れ層ノード数、ch 、βh
およびθhiは、勾配降下法によって最適化されるパラメ
ータである。学習則の構成方法については後に述べる。
およびθhiは、勾配降下法によって最適化されるパラメ
ータである。学習則の構成方法については後に述べる。
【0018】なお正則化ネットワークの原理およびネッ
トワークの学習則については、T. Poggio and F. Giros
i, Proceedings of the IEEE, Vol.78, No.9, pp.1481-
1497(1990)において詳細に述べられている。このネッ
トワークの回路構成は以下のようなものとなる。
トワークの学習則については、T. Poggio and F. Giros
i, Proceedings of the IEEE, Vol.78, No.9, pp.1481-
1497(1990)において詳細に述べられている。このネッ
トワークの回路構成は以下のようなものとなる。
【0019】図1を参照して、正則化ネットワーク内の
処理の流れを説明する。正則化ネットワークのパラメー
タch 、βh およびθhiはRAMまたはレジスタに記録
されており、必要な際には制御回路によって管理された
これらのメモリから読出されるものとする。
処理の流れを説明する。正則化ネットワークのパラメー
タch 、βh およびθhiはRAMまたはレジスタに記録
されており、必要な際には制御回路によって管理された
これらのメモリから読出されるものとする。
【0020】まずステップ1で入力ベクトルX=
(x1 、x2 、…、xD )がネットワークに入力され
る。ステップ2でθhiがRAMから読出され、ステップ
3でxi −θ hiが加算回路によって計算され、ステップ
4でその二乗が乗算回路により計算される。次にステッ
プ5でΣi=1 D (xi −θhi)2 が加算回路によって求
められる。ステップ6でβh がRAMから読出され、ス
テップ7でステップ5で求めた和と、−βh との積Yが
乗算回路によって求められる。ステップ8で積Yをガウ
ス関数値が記録されたROMのアドレスに入力するとニ
ューロンの応答関数が求められる。ステップ9でch が
RAMから読出され、ステップ10、ステップ11でR
OMの出力とch とが乗算回路および加算回路で乗算お
よび加算され、ニューラルネットワークの出力値が得ら
れる。こうして正則化ネットワークがハードウェア化さ
れる。
(x1 、x2 、…、xD )がネットワークに入力され
る。ステップ2でθhiがRAMから読出され、ステップ
3でxi −θ hiが加算回路によって計算され、ステップ
4でその二乗が乗算回路により計算される。次にステッ
プ5でΣi=1 D (xi −θhi)2 が加算回路によって求
められる。ステップ6でβh がRAMから読出され、ス
テップ7でステップ5で求めた和と、−βh との積Yが
乗算回路によって求められる。ステップ8で積Yをガウ
ス関数値が記録されたROMのアドレスに入力するとニ
ューロンの応答関数が求められる。ステップ9でch が
RAMから読出され、ステップ10、ステップ11でR
OMの出力とch とが乗算回路および加算回路で乗算お
よび加算され、ニューラルネットワークの出力値が得ら
れる。こうして正則化ネットワークがハードウェア化さ
れる。
【0021】3層パーセプトロンの場合、出力値F
(X)は、以下のように表わされる。 F(X)=σ(Σh=1 NhWh Gh (X)−T) (8) Gh (X)=σ(Σi=1 D whixi −th ) (9) ここで、Wh 、T、whiおよびth はバックプロパゲー
ション学習則によって最適化されるべきパラメータで、
RAMまたはレジスタに記録され、必要な際にはこれら
のメモリから読出されるものとする。また、σはシグモ
イド関数であり、σ(z)=1/[1+exp(−
z)]と表わされる。多層パーセプトロンの原理と学習
則については、D. E. Rumelhart, J. L. McClelland, a
nd the PDP Research Group, Parallel Distributed ro
cessing, pp.318-362 (MIT Press, Cambridge, 1986)
において詳細に述べられている。
(X)は、以下のように表わされる。 F(X)=σ(Σh=1 NhWh Gh (X)−T) (8) Gh (X)=σ(Σi=1 D whixi −th ) (9) ここで、Wh 、T、whiおよびth はバックプロパゲー
ション学習則によって最適化されるべきパラメータで、
RAMまたはレジスタに記録され、必要な際にはこれら
のメモリから読出されるものとする。また、σはシグモ
イド関数であり、σ(z)=1/[1+exp(−
z)]と表わされる。多層パーセプトロンの原理と学習
則については、D. E. Rumelhart, J. L. McClelland, a
nd the PDP Research Group, Parallel Distributed ro
cessing, pp.318-362 (MIT Press, Cambridge, 1986)
において詳細に述べられている。
【0022】図2を参照して、3層パーセプトロンにお
ける処理の流れを説明する。まずステップ13で入力ベ
クトルX=(x1 、x2 、…、xD )がネットワークに
入力される。ステップ14でwhiがRAMから読出さ
れ、ステップ15でwhixi が乗算回路によって求めら
れる。ステップ16でΣi=1 D whixi が加算回路によ
って求められる。ステップ17でth がRAMから読出
され、ステップ18でz=Σi=1 D whixi −th が加
算回路によって求められる。ステップ19でこの値zを
シグモイド関数が記録されたROMのアドレスに入力す
るとニューロンの応答関数が求まり、(9)式のG
h (X)が得られる。
ける処理の流れを説明する。まずステップ13で入力ベ
クトルX=(x1 、x2 、…、xD )がネットワークに
入力される。ステップ14でwhiがRAMから読出さ
れ、ステップ15でwhixi が乗算回路によって求めら
れる。ステップ16でΣi=1 D whixi が加算回路によ
って求められる。ステップ17でth がRAMから読出
され、ステップ18でz=Σi=1 D whixi −th が加
算回路によって求められる。ステップ19でこの値zを
シグモイド関数が記録されたROMのアドレスに入力す
るとニューロンの応答関数が求まり、(9)式のG
h (X)が得られる。
【0023】今度はGh (X)を入力とみて、上記と同
様な演算を繰返すと、3層パーセプトロンの出力F
(X)が得られ、3層パーセプトロンがハードウェア化
される。
様な演算を繰返すと、3層パーセプトロンの出力F
(X)が得られ、3層パーセプトロンがハードウェア化
される。
【0024】すなわちステップ20でWh が読出され、
ステップ21でWh Gh が乗算回路によって求められ
る。ステップ22でΣh=1 NhWh Gh が加算回路によっ
て求められる。ステップ23でTがRAMから読出され
る。ステップ24でz′=Σh= 1 NhWh Gh −Tが加算
回路によって求められる。ステップ25でこの値z′を
シグモイド関数が記録されたROMのアドレスに入力す
るとニューロンに応答関数が求まり、ステップ26でこ
のROMの出力が3層パーセプトロンの出力F(X)と
して出力される。
ステップ21でWh Gh が乗算回路によって求められ
る。ステップ22でΣh=1 NhWh Gh が加算回路によっ
て求められる。ステップ23でTがRAMから読出され
る。ステップ24でz′=Σh= 1 NhWh Gh −Tが加算
回路によって求められる。ステップ25でこの値z′を
シグモイド関数が記録されたROMのアドレスに入力す
るとニューロンに応答関数が求まり、ステップ26でこ
のROMの出力が3層パーセプトロンの出力F(X)と
して出力される。
【0025】以上述べた手段により、デジタル方式によ
ってニューラルネットワークがハードウェア化されてい
る。
ってニューラルネットワークがハードウェア化されてい
る。
【0026】したがってアナログ方式のように精度の高
い製造技術を必要としない。またネットワークの構成単
位たるニューロンの応答特性はROMまたはRAMに記
録されているので、これらのメモリ書込むデータを変え
ることによってどのような応答特性も自由にかつ容易に
設定できる。さらにALUが一切用いられていないので
ニューロンの応答特性の計算は簡単である。
い製造技術を必要としない。またネットワークの構成単
位たるニューロンの応答特性はROMまたはRAMに記
録されているので、これらのメモリ書込むデータを変え
ることによってどのような応答特性も自由にかつ容易に
設定できる。さらにALUが一切用いられていないので
ニューロンの応答特性の計算は簡単である。
【0027】これで第1の課題が解決された。次にハー
ドウェアによる学習について説明する。ニューラルネッ
トワークの最適化すべきパラメータをまとめてξと表示
する。(5)式を改良して、 ξ(new)=ξ(old)−η(∂E[F]/∂ξ)+αΔξ(old)+ noise (10) とする。(10)式において、noise は白色ノイズ、有
色ノイズ、またはカオス時系列として合成されるランダ
ム変数であって、カウンタ回路として実装されるタイマ
によって所望の一定時間間隔で(10)式に供給され
る。学習過程において、ξが極小点に捕捉された場合
に、このランダム変数によってそのような望ましくない
極小点から脱出することができる。
ドウェアによる学習について説明する。ニューラルネッ
トワークの最適化すべきパラメータをまとめてξと表示
する。(5)式を改良して、 ξ(new)=ξ(old)−η(∂E[F]/∂ξ)+αΔξ(old)+ noise (10) とする。(10)式において、noise は白色ノイズ、有
色ノイズ、またはカオス時系列として合成されるランダ
ム変数であって、カウンタ回路として実装されるタイマ
によって所望の一定時間間隔で(10)式に供給され
る。学習過程において、ξが極小点に捕捉された場合
に、このランダム変数によってそのような望ましくない
極小点から脱出することができる。
【0028】このような一連の学習過程における処理の
流れを図3に示す。入力xがシステムに入力され、上述
のネットワーク出力計算部に転送されて、出力値と正解
値との誤差汎関数E[F]を計算する。入力xとそれに
対応する正解値は、メモリ部に保存される。誤差汎関数
E[F]は乗算・加算回路で表現し得る。汎関数E
[F]のξに対する微分も乗算・加算回路および基底関
数の応答特性を記憶したメモリ部とによって構成でき
る。学習率ηは、レジスタに保存されている。αおよび
Δξ(old )もレジスタに保存され、それらの積は乗算
回路によって計算され得る。こうして、(10)式はハ
ードウェアによって実現可能となる。誤差汎関数E
[F]の目標値E(target)および(10)式の最大反
復計算回数N(max)をレジスタに記憶させ、毎回の学
習ループで算出される誤差汎関数E[F]とE(targe
t)とを比較回路で比較してE[F]≦E(target)と
なるか、または反復ループ回数がN(max )に一致した
ときに学習を停止させ、その旨MPUに通信することに
する。このような構成においては、すべての回路は、た
とえばシリコン半導体基板上で従来のCMOSデジタル
回路によって実現することが可能である。このようなハ
ードウェアシステムを既存のMPUに結合することによ
って前節に述べた課題がすべて達成、克服される。
流れを図3に示す。入力xがシステムに入力され、上述
のネットワーク出力計算部に転送されて、出力値と正解
値との誤差汎関数E[F]を計算する。入力xとそれに
対応する正解値は、メモリ部に保存される。誤差汎関数
E[F]は乗算・加算回路で表現し得る。汎関数E
[F]のξに対する微分も乗算・加算回路および基底関
数の応答特性を記憶したメモリ部とによって構成でき
る。学習率ηは、レジスタに保存されている。αおよび
Δξ(old )もレジスタに保存され、それらの積は乗算
回路によって計算され得る。こうして、(10)式はハ
ードウェアによって実現可能となる。誤差汎関数E
[F]の目標値E(target)および(10)式の最大反
復計算回数N(max)をレジスタに記憶させ、毎回の学
習ループで算出される誤差汎関数E[F]とE(targe
t)とを比較回路で比較してE[F]≦E(target)と
なるか、または反復ループ回数がN(max )に一致した
ときに学習を停止させ、その旨MPUに通信することに
する。このような構成においては、すべての回路は、た
とえばシリコン半導体基板上で従来のCMOSデジタル
回路によって実現することが可能である。このようなハ
ードウェアシステムを既存のMPUに結合することによ
って前節に述べた課題がすべて達成、克服される。
【0029】以上のようにデジタル方式によってニュー
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるE[F]の極小点への補則をランダム
変数によって防止してネットワークの出力誤差が十分に
小さくなるように学習を実行することができ、さらにハ
ードウェアによる学習によって計算時間を減少させるこ
とができる。
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるE[F]の極小点への補則をランダム
変数によって防止してネットワークの出力誤差が十分に
小さくなるように学習を実行することができ、さらにハ
ードウェアによる学習によって計算時間を減少させるこ
とができる。
【0030】
【発明の実施の形態】以下本願の発明の実施の形態を図
面を参照しながら詳細に説明する。
面を参照しながら詳細に説明する。
【0031】図4を参照して、本願の請求項1に記載の
ニューラルネットワークにおけるニューラルネットワー
ク入出力特性計算部の実施の形態である正則化ネットワ
ーク出力計算部のハードウェアの一例を説明する。
ニューラルネットワークにおけるニューラルネットワー
ク入出力特性計算部の実施の形態である正則化ネットワ
ーク出力計算部のハードウェアの一例を説明する。
【0032】この実施の形態では、ネットワークの入力
ノード数=3、隠れ層ノード数=5、出力ノード数=
1、ニューラルネットワークの入出力データは32ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
ノード数=3、隠れ層ノード数=5、出力ノード数=
1、ニューラルネットワークの入出力データは32ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
【0033】図4において実施の形態のニューラルネッ
トワーク入出力特性計算部401はネットワーク内での
処理の流れを管理する制御部41を含む。制御部41内
には入力ノード数、隠れ層ノード数、および出力ノード
数が設定されるべきカウンタ回路が設置されている。実
施の形態のニューラルネットワーク入出力特性計算部4
01はch 、βh およびθhi(i=0,1,2;h=
0,1,2,3,4)を記憶したRAM42を含む。R
AMの代わりにレジスタを用いてもよい。
トワーク入出力特性計算部401はネットワーク内での
処理の流れを管理する制御部41を含む。制御部41内
には入力ノード数、隠れ層ノード数、および出力ノード
数が設定されるべきカウンタ回路が設置されている。実
施の形態のニューラルネットワーク入出力特性計算部4
01はch 、βh およびθhi(i=0,1,2;h=
0,1,2,3,4)を記憶したRAM42を含む。R
AMの代わりにレジスタを用いてもよい。
【0034】図4を参照して、実施の形態のニューラル
ネットワーク入出力特性計算部401は、ニューラルネ
ットワークの基本構成単位としての基底関数の関数値を
記録可能な第1の記憶手段であるROM46と、第1の
合成回路48と、第2の合成回路49とを含む。第1の
合成回路48は、加算回路44A、44Bと、乗算回路
45A、45Bとを含む。第2の合成回路49は、乗算
回路45Cと、加算回路44Cとを含む。
ネットワーク入出力特性計算部401は、ニューラルネ
ットワークの基本構成単位としての基底関数の関数値を
記録可能な第1の記憶手段であるROM46と、第1の
合成回路48と、第2の合成回路49とを含む。第1の
合成回路48は、加算回路44A、44Bと、乗算回路
45A、45Bとを含む。第2の合成回路49は、乗算
回路45Cと、加算回路44Cとを含む。
【0035】入力ポート43から入力データxi が次々
とネットワークに取込まれ、加算回路44Aの一方の入
力部に入力される。入力データはこのネットワークに入
力するに際して、0と1の間の数値に規格化されてい
る。θhiがRAM42から読込まれ、加算回路44Aの
もう一方の入力部に入力される。こうしてxi −θhiが
計算され、その結果が乗算回路45Aの2つの入力部に
同時に入力されることによって、(xi −θhi)2 が計
算される。この値はもう1つの加算回路44Bの一方の
入力部に入力される。i=0の場合にはもう一方の入力
部にはゼロ値が入力されているものとする。そして加算
回路44Bの出力は、最初ゼロ値が入力されていた入力
部に帰還される。このような過程は、制御部41の管理
のもとに入力ノード数に等しい回数繰返される。こうし
て、(2)式の和 Σi=1 D (xi −θhi)2 が求まったので、この和と−βh との積Yが乗算回路4
5Bによって得られる。
とネットワークに取込まれ、加算回路44Aの一方の入
力部に入力される。入力データはこのネットワークに入
力するに際して、0と1の間の数値に規格化されてい
る。θhiがRAM42から読込まれ、加算回路44Aの
もう一方の入力部に入力される。こうしてxi −θhiが
計算され、その結果が乗算回路45Aの2つの入力部に
同時に入力されることによって、(xi −θhi)2 が計
算される。この値はもう1つの加算回路44Bの一方の
入力部に入力される。i=0の場合にはもう一方の入力
部にはゼロ値が入力されているものとする。そして加算
回路44Bの出力は、最初ゼロ値が入力されていた入力
部に帰還される。このような過程は、制御部41の管理
のもとに入力ノード数に等しい回数繰返される。こうし
て、(2)式の和 Σi=1 D (xi −θhi)2 が求まったので、この和と−βh との積Yが乗算回路4
5Bによって得られる。
【0036】次に積Yがガウス関数値が記録されたRO
M46のアドレスに入力される。ROM46のアドレス
は、関数exp(−z)の変数zに対応し、0≦z≦2
0の範囲で、かつ、zが小数点以下4桁の精度となるよ
うにアドレス幅が設定されている。そしてROM46の
各アドレスには32ビットの精度でexp(−z)の値
が書込まれている。なお、ROM46の部分は、EPR
OMやRAMで代用されることも可能である。ROM4
6の出力値は乗算回路45Cの一方の入力部に入力され
る。この乗算回路45Cのもう一方の入力部にはRAM
42から読出されたch が入力されている。こうしてR
OM46の出力とch との積が得られる。この積は加算
回路44Cの一方の入力部に入力される。加算回路44
Cのもう一方の入力部にはh=0のときにはゼロ値が入
力されている。そして加算回路44Cの出力値は、最初
ゼロ値が入力されていた入力部に帰還される。上に述べ
た過程を制御部による制御によって隠れ層ノード数に等
しい回数繰返した後、加算回路44Cの出力がネットワ
ークの出力とされる。出力値は出力ポート47から出力
される。
M46のアドレスに入力される。ROM46のアドレス
は、関数exp(−z)の変数zに対応し、0≦z≦2
0の範囲で、かつ、zが小数点以下4桁の精度となるよ
うにアドレス幅が設定されている。そしてROM46の
各アドレスには32ビットの精度でexp(−z)の値
が書込まれている。なお、ROM46の部分は、EPR
OMやRAMで代用されることも可能である。ROM4
6の出力値は乗算回路45Cの一方の入力部に入力され
る。この乗算回路45Cのもう一方の入力部にはRAM
42から読出されたch が入力されている。こうしてR
OM46の出力とch との積が得られる。この積は加算
回路44Cの一方の入力部に入力される。加算回路44
Cのもう一方の入力部にはh=0のときにはゼロ値が入
力されている。そして加算回路44Cの出力値は、最初
ゼロ値が入力されていた入力部に帰還される。上に述べ
た過程を制御部による制御によって隠れ層ノード数に等
しい回数繰返した後、加算回路44Cの出力がネットワ
ークの出力とされる。出力値は出力ポート47から出力
される。
【0037】以上のようにデジタル方式によりニューラ
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はR
OMまたはRAMに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにALUは一切
用いられていないので、ニューロンの応答特性の計算は
簡潔である。なお、上述のネットワークにおいて、複数
の加算回路と乗算回路を用いたのは一連の処理をパイプ
ライン制御して高速に実行するためである。回路の占有
面積を小さくしたい場合には、加算回路と乗算回路を単
数使用するか、または一部を重複して使用すればよい。
また上述のネットワークにおいてROM46を複数個使
用して並列処理をさせることもできる。
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はR
OMまたはRAMに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにALUは一切
用いられていないので、ニューロンの応答特性の計算は
簡潔である。なお、上述のネットワークにおいて、複数
の加算回路と乗算回路を用いたのは一連の処理をパイプ
ライン制御して高速に実行するためである。回路の占有
面積を小さくしたい場合には、加算回路と乗算回路を単
数使用するか、または一部を重複して使用すればよい。
また上述のネットワークにおいてROM46を複数個使
用して並列処理をさせることもできる。
【0038】図5を参照して本願の請求項1に記載のニ
ューラルネットワークにおけるニューラルネットワーク
入出力特性計算部の他の実施の形態である3層パーセプ
トロンのハードウェアの一例を説明する。
ューラルネットワークにおけるニューラルネットワーク
入出力特性計算部の他の実施の形態である3層パーセプ
トロンのハードウェアの一例を説明する。
【0039】この実施の形態では、ネットワークの入力
ノード数=3、隠れ層ノード数=5、出力ノード数=
1、ニューラルネットワークの入出力データは32ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
ノード数=3、隠れ層ノード数=5、出力ノード数=
1、ニューラルネットワークの入出力データは32ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
【0040】図5を参照して、実施の形態のニューラル
ネットワーク入出力特性計算部501はニューラルネッ
トワークの基本構成単位としての規定関数の関数値を記
録可能な第1の記憶手段であるROM56と、ニューラ
ルネットワークの構造を特定するパラメータの学習値で
あるWh 、T、whi、およびth (i=0,1,2;h
=0,1,2,3,4)を記録した第2の記憶手段であ
るRAM52と、第1の合成回路58と、第2の合成回
路59と、ネットワーク内での処理の流れを管理する制
御部51とを含む。第1の合成回路58は、加算回路5
5Aと乗算回路54Aとを含む。第2の合成回路59は
乗算回路54Bと、加算回路55Bとを含む。制御部5
1内には、入力ノード数、隠れ層ノード数、および出力
ノード数が設定されるべきカウンタ回路が設置されてい
る。なおRAM52の代わりにレジスタを用いてもよ
い。
ネットワーク入出力特性計算部501はニューラルネッ
トワークの基本構成単位としての規定関数の関数値を記
録可能な第1の記憶手段であるROM56と、ニューラ
ルネットワークの構造を特定するパラメータの学習値で
あるWh 、T、whi、およびth (i=0,1,2;h
=0,1,2,3,4)を記録した第2の記憶手段であ
るRAM52と、第1の合成回路58と、第2の合成回
路59と、ネットワーク内での処理の流れを管理する制
御部51とを含む。第1の合成回路58は、加算回路5
5Aと乗算回路54Aとを含む。第2の合成回路59は
乗算回路54Bと、加算回路55Bとを含む。制御部5
1内には、入力ノード数、隠れ層ノード数、および出力
ノード数が設定されるべきカウンタ回路が設置されてい
る。なおRAM52の代わりにレジスタを用いてもよ
い。
【0041】入力ポート53から入力データxi が次々
とネットワークに取込まれ、乗算回路54Aの一部の入
力部に入力される。入力データはこのネットワークに入
力するに際して、0と1の間の数値に規格化されてい
る。次にwhiがRAM52から読込まれ、乗算回路54
Aのもう一方の入力部に入力される。こうしてwhixi
を計算し、その結果は加算回路55Aの一方の入力部に
同時に入力される。加算回路55Aのもう一方の入力部
には、最初ゼロ値が入力されており、加算回路55Aの
出力は最初ゼロ値が入力されていた入力部に帰還され
る。この過程は制御部によって管理され、入力ノード数
に等しい回数繰返される。
とネットワークに取込まれ、乗算回路54Aの一部の入
力部に入力される。入力データはこのネットワークに入
力するに際して、0と1の間の数値に規格化されてい
る。次にwhiがRAM52から読込まれ、乗算回路54
Aのもう一方の入力部に入力される。こうしてwhixi
を計算し、その結果は加算回路55Aの一方の入力部に
同時に入力される。加算回路55Aのもう一方の入力部
には、最初ゼロ値が入力されており、加算回路55Aの
出力は最初ゼロ値が入力されていた入力部に帰還され
る。この過程は制御部によって管理され、入力ノード数
に等しい回数繰返される。
【0042】次に同じ加算回路55Aを用いて、Σi=0
2 whixi とRAM52から読出されたth との差を計
算する。この差はシグモイド関数値が記録されたROM
56のアドレスに入力する。ROM56のアドレスは、
関数1/[1+exp(−z)]の変数zに対応し、0
≦z≦20の範囲で、かつzが小数点以下4桁の精度と
なるようにアドレス幅が設定されている。そしてROM
56の各アドレスには32ビットの精度で前記関数値が
書込まれている。なお、ROM56の部分は、EPRO
MやRAMで代用されることも可能である。
2 whixi とRAM52から読出されたth との差を計
算する。この差はシグモイド関数値が記録されたROM
56のアドレスに入力する。ROM56のアドレスは、
関数1/[1+exp(−z)]の変数zに対応し、0
≦z≦20の範囲で、かつzが小数点以下4桁の精度と
なるようにアドレス幅が設定されている。そしてROM
56の各アドレスには32ビットの精度で前記関数値が
書込まれている。なお、ROM56の部分は、EPRO
MやRAMで代用されることも可能である。
【0043】ROM56の出力値は乗算回路54Bの一
方の入力部に入力される。この乗算回路54Bのもう一
方の入力部にはRAM52から読出されたWh が入力さ
れている。こうしてROM56の出力とWh との積が得
られる。この積は加算回路55Bの一方の入力部に入力
される。加算回路55Bのもう一方の入力部にはh=0
のときにはゼロ値が入力されている。そして加算回路5
5Bの出力値は、最初ゼロ値が入力されていた入力部に
帰還される。上に述べた過程を制御部による制御によっ
て隠れ層ノード数に等しい回数繰返した後、加算回路5
5Bの出力を再びROM56のアドレスに入力し、RO
M56の出力を出力ポート57に送ると3層パーセプト
ロンの出力値が得られる。
方の入力部に入力される。この乗算回路54Bのもう一
方の入力部にはRAM52から読出されたWh が入力さ
れている。こうしてROM56の出力とWh との積が得
られる。この積は加算回路55Bの一方の入力部に入力
される。加算回路55Bのもう一方の入力部にはh=0
のときにはゼロ値が入力されている。そして加算回路5
5Bの出力値は、最初ゼロ値が入力されていた入力部に
帰還される。上に述べた過程を制御部による制御によっ
て隠れ層ノード数に等しい回数繰返した後、加算回路5
5Bの出力を再びROM56のアドレスに入力し、RO
M56の出力を出力ポート57に送ると3層パーセプト
ロンの出力値が得られる。
【0044】以上のようにデジタル方式によりニューラ
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はR
OMまたはRAMに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにALUは一切
用いられていないのでニューロンの応答特性の計算が簡
潔である。
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はR
OMまたはRAMに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにALUは一切
用いられていないのでニューロンの応答特性の計算が簡
潔である。
【0045】上述のネットワークにおいて複数の加算回
路と乗算回路を用いて一連の処理をパイプライン制御
し、高速処理を実現することもできる。また上述のネッ
トワークにおいてROM56を複数個使用して並列処理
をさせることもできる。
路と乗算回路を用いて一連の処理をパイプライン制御
し、高速処理を実現することもできる。また上述のネッ
トワークにおいてROM56を複数個使用して並列処理
をさせることもできる。
【0046】図6を参照して正則化ネットワークの最適
化を行なう学習回路の実施の形態を説明する。まず実施
の形態の学習回路の構成について説明する。ニューラル
ネットワーク600は、乱数を記憶するメモリ61、カ
ウンタ回路62A、62B、62C、62D、および6
2Eを含み、カウンタ回路62Aは全学習ループを計数
し、カウンタ回路62Bは摂動を加えるべき学習ループ
間隔を計数する。カウンタ回路62C、62D、62E
はch 、βh 、θhiの学習ループ回数を計数する。ニュ
ーラルネットワーク600はレジスタ63A、63B、
63C、63D、63E、63F、63G、63H、6
3I、63J、および63Kを含む。レジスタ63A、
63B、および63Cはch 、βh 、θhiの学習更新値
を記憶し、学習開始時には適当な初期値が記憶されてお
り、図4のRAM42と同じものである。レジスタ63
D、63E、63Fはある学習ループと前回の学習ルー
プにおけるch 、βh 、θhiの変動を記憶する。レジス
タ63Gはニューラルネットワークが出力すべきターゲ
ット値を記憶する。レジスタ63Hは許容誤差E(targ
et)を記憶する。レジスタ63Iは3ビットのフラグレ
ジスタであり、(0,0,1)はch 、(0,1,0)
はβh 、(1,0,0)はθhiの学習ループに対応す
る。また、(0,0,0)は学習終了を表わす。レジス
タ63Jは学習率を記憶し、レジスタ63Kは運動量因
子を記憶する。
化を行なう学習回路の実施の形態を説明する。まず実施
の形態の学習回路の構成について説明する。ニューラル
ネットワーク600は、乱数を記憶するメモリ61、カ
ウンタ回路62A、62B、62C、62D、および6
2Eを含み、カウンタ回路62Aは全学習ループを計数
し、カウンタ回路62Bは摂動を加えるべき学習ループ
間隔を計数する。カウンタ回路62C、62D、62E
はch 、βh 、θhiの学習ループ回数を計数する。ニュ
ーラルネットワーク600はレジスタ63A、63B、
63C、63D、63E、63F、63G、63H、6
3I、63J、および63Kを含む。レジスタ63A、
63B、および63Cはch 、βh 、θhiの学習更新値
を記憶し、学習開始時には適当な初期値が記憶されてお
り、図4のRAM42と同じものである。レジスタ63
D、63E、63Fはある学習ループと前回の学習ルー
プにおけるch 、βh 、θhiの変動を記憶する。レジス
タ63Gはニューラルネットワークが出力すべきターゲ
ット値を記憶する。レジスタ63Hは許容誤差E(targ
et)を記憶する。レジスタ63Iは3ビットのフラグレ
ジスタであり、(0,0,1)はch 、(0,1,0)
はβh 、(1,0,0)はθhiの学習ループに対応す
る。また、(0,0,0)は学習終了を表わす。レジス
タ63Jは学習率を記憶し、レジスタ63Kは運動量因
子を記憶する。
【0047】ニューラルネットワーク600はニューラ
ルネットワーク入出力特性計算部64を含み、これは図
4に示したニューラルネットワーク入出力特性計算部4
01と同じものである。またニューラルネットワーク6
4はガウス関数の入出力特性を記憶したメモリ部を含
む。またニューラルネットワーク600は乗算器65、
加算器66、制御回路67、および比較器68を含む。
ルネットワーク入出力特性計算部64を含み、これは図
4に示したニューラルネットワーク入出力特性計算部4
01と同じものである。またニューラルネットワーク6
4はガウス関数の入出力特性を記憶したメモリ部を含
む。またニューラルネットワーク600は乗算器65、
加算器66、制御回路67、および比較器68を含む。
【0048】次にこの正則化ネットワークの最適化を行
なう学習回路の動作について説明する。入力ベクトルX
が入力されるとニューラルネットワーク入出力特性計算
部64に転送され、出力F(X)が出力される。このと
きch 、βh 、θhiの値はレジスタ63A、63B、6
3Cから読出される。F(X)とレジスタ63Gに記憶
されたターゲット値との差が加算器66で計算され、レ
ジスタ回路に保存される。この差の二乗は乗算器65で
計算され、その値もレジスタ回路に保存される。フラグ
レジスタ63Iの状態に応じて乗算器65、加算器66
を用いて(10)式に示した演算を実行する。カウンタ
回路62Bで規定される回数ごとにメモリ61から乱数
が読出され、その値が(10)式に加えられる。ガウス
関数値はニューラルネットワーク入出力特性計算部64
に含まれているガウス関数特性を記憶しているメモリを
使用し、ch 、βh 、θhiの反復ループ数はカウンタ回
路62C、62D、62Eに指定された回数と等しくな
るごとに、ch →βh →θ hi→ch のように循環する。
各パラメータの更新の各時点においてニューラルネット
ワーク入出力特性計算部64によりF(x)が計算さ
れ、かつF(x)とターゲット値との誤差の二乗が計算
されるが、この誤差とレジスタ63Hに記憶されたE
(target)とを比較器68に入力し、誤差が許容誤差よ
りも小さくなるか、またはカウンタ回路62Aで計数さ
れるカウント数がN(max )に等しくなると、制御回路
67が学習を終了させ、その旨をCPUに通信する。
なう学習回路の動作について説明する。入力ベクトルX
が入力されるとニューラルネットワーク入出力特性計算
部64に転送され、出力F(X)が出力される。このと
きch 、βh 、θhiの値はレジスタ63A、63B、6
3Cから読出される。F(X)とレジスタ63Gに記憶
されたターゲット値との差が加算器66で計算され、レ
ジスタ回路に保存される。この差の二乗は乗算器65で
計算され、その値もレジスタ回路に保存される。フラグ
レジスタ63Iの状態に応じて乗算器65、加算器66
を用いて(10)式に示した演算を実行する。カウンタ
回路62Bで規定される回数ごとにメモリ61から乱数
が読出され、その値が(10)式に加えられる。ガウス
関数値はニューラルネットワーク入出力特性計算部64
に含まれているガウス関数特性を記憶しているメモリを
使用し、ch 、βh 、θhiの反復ループ数はカウンタ回
路62C、62D、62Eに指定された回数と等しくな
るごとに、ch →βh →θ hi→ch のように循環する。
各パラメータの更新の各時点においてニューラルネット
ワーク入出力特性計算部64によりF(x)が計算さ
れ、かつF(x)とターゲット値との誤差の二乗が計算
されるが、この誤差とレジスタ63Hに記憶されたE
(target)とを比較器68に入力し、誤差が許容誤差よ
りも小さくなるか、またはカウンタ回路62Aで計数さ
れるカウント数がN(max )に等しくなると、制御回路
67が学習を終了させ、その旨をCPUに通信する。
【0049】なお、多層パーセプトロンの学習の場合
も、上に述べたものと全く同じ技術思想において実現す
ることができる。
も、上に述べたものと全く同じ技術思想において実現す
ることができる。
【0050】以上のようにデジタル方式によってニュー
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるE[F]の極小点への補則を乱数によ
って防止し、ネットワークの出力誤差が十分に小さくな
るように学習を実行することができ、さらにハードウェ
アによる学習によって計算時間を減少させることができ
る。
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるE[F]の極小点への補則を乱数によ
って防止し、ネットワークの出力誤差が十分に小さくな
るように学習を実行することができ、さらにハードウェ
アによる学習によって計算時間を減少させることができ
る。
【図1】実施の形態のニューラルネットワーク入出力特
性計算部である正則化ネットワークにおける処理の流れ
を示すフローチャートである。
性計算部である正則化ネットワークにおける処理の流れ
を示すフローチャートである。
【図2】実施の形態のニューラルネットワーク入出力特
性計算部である3層パーセプトロンにおける処理の流れ
を示すフローチャートである。
性計算部である3層パーセプトロンにおける処理の流れ
を示すフローチャートである。
【図3】実施の形態の学習過程における処理の流れを示
すフローチャートである。
すフローチャートである。
【図4】実施の形態のニューラルネットワーク入出力特
性計算部である正則化ネットワークのブロック図であ
る。
性計算部である正則化ネットワークのブロック図であ
る。
【図5】実施の形態のニューラルネットワーク入出力特
性計算部である3層パーセプトロンのブロック図であ
る。
性計算部である3層パーセプトロンのブロック図であ
る。
【図6】実施の形態のニューラルネットワークのブロッ
ク図である。
ク図である。
41 制御部 32,42,52 RAM 44A,44B,44C 加算回路 45A,45B,45C 乗算回路 36,46,56 ROM 48,58 第1の合成回路 49,59 第2の合成回路 301 合成回路 600 ニューラルネットワーク 64 ニューラルネットワーク入出力特性計算部 61 メモリ 65 乗算回路 66 加算回路 67 制御回路 68 比較器
Claims (1)
- 【請求項1】 ニューラルネットワークの基本構成単位
としての基底関数の関数値を記録可能な第1の記憶手
段、ニューラルネットワークの構造を特定するパラメー
タの学習値および更新値を記録可能な第2の記憶手段、
前記ニューラルネットワークへの入力値と前記第2の記
憶手段から読出されたパラメータの学習値との積和を乗
算回路および加算回路によって合成する第1の合成手
段、ならびに前記第1の合成手段の合成値を前記第1の
記憶手段へのアドレスとして入力して読出された前記関
数値と前記第2の記憶手段から読出されたパラメータの
学習値との積和を乗算回路および加算回路によって合成
し当該合成した値をニューラルネットワーク入出力特性
計算部の出力値とする第2の合成手段を含むニューラル
ネットワーク入出力特性計算部と、 前記ニューラルネットワークの構造を特定するパラメー
タの最適値学習手段とを含み、 前記パラメータの最適値学習手段は、 (1) ニューラルネットワークの学習値のための入力
ベクトルおよび出力ターゲットベクトル、ならびにニュ
ーラルネットワークの構造を特定するパラメータの変動
値を記録可能な第3の記憶手段と、 (2) 前記入力ベクトルを前記ニューラルネットワー
ク入出力特性計算部に入力して得られる出力値と前記出
力ターゲットベクトルとの差に基づいてニューラルネッ
トワークの構造を特定するパラメータの仮の更新値を計
算する乗算回路および加算回路と、 (3) 前記仮の更新値の計算に使用する乱数の発生手
段と、 (4) 前記乱数発生手段から読出された乱数を前記仮
の更新値に加算して前記パラメータの更新値を計算する
回路部分とを含み、 前記(1)〜(4)による前記パラメータの更新値の計
算を所定の条件が成立するまで繰返させる制御回路とを
含むニューラルネットワーク。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7263833A JPH09106390A (ja) | 1995-10-12 | 1995-10-12 | ニューラルネットワーク |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7263833A JPH09106390A (ja) | 1995-10-12 | 1995-10-12 | ニューラルネットワーク |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09106390A true JPH09106390A (ja) | 1997-04-22 |
Family
ID=17394864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7263833A Pending JPH09106390A (ja) | 1995-10-12 | 1995-10-12 | ニューラルネットワーク |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09106390A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114207694A (zh) * | 2019-08-14 | 2022-03-18 | 日本电信电话株式会社 | 秘密梯度下降法计算方法、秘密深度学习方法、秘密梯度下降法计算系统、秘密深度学习系统、秘密计算装置及程序 |
-
1995
- 1995-10-12 JP JP7263833A patent/JPH09106390A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114207694A (zh) * | 2019-08-14 | 2022-03-18 | 日本电信电话株式会社 | 秘密梯度下降法计算方法、秘密深度学习方法、秘密梯度下降法计算系统、秘密深度学习系统、秘密计算装置及程序 |
CN114207694B (zh) * | 2019-08-14 | 2024-03-08 | 日本电信电话株式会社 | 秘密梯度下降法计算方法及系统、秘密深度学习方法及系统、秘密计算装置、记录介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lachhwani | Application of neural network models for mathematical programming problems: a state of art review | |
US4979126A (en) | Neural network with non-linear transformations | |
US5390136A (en) | Artificial neuron and method of using same | |
Bishop | Exact calculation of the Hessian matrix for the multilayer perceptron | |
US5781701A (en) | Neural network and method of using same | |
Dundar et al. | The effects of quantization on multilayer neural networks | |
Zhang et al. | Convergence of gradient method with momentum for two-layer feedforward neural networks | |
Ponnapalli et al. | A formal selection and pruning algorithm for feedforward artificial neural network optimization | |
US5283855A (en) | Neural network and method for training the neural network | |
Chen et al. | Conventional modeling of the multilayer perceptron using polynomial basis functions | |
US5455891A (en) | System and method for a learning neural network for generating random directions for weight changes | |
US5592589A (en) | Tree-like perceptron and a method for parallel distributed training of such perceptrons | |
Tang et al. | A columnar competitive model for solving combinatorial optimization problems | |
Yoon et al. | Efficient genetic algorithms for training layered feedforward neural networks | |
US5857178A (en) | Neural network apparatus and learning method thereof | |
CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
KR20200020117A (ko) | 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치 | |
JPH09106390A (ja) | ニューラルネットワーク | |
JPH04229362A (ja) | 学習機械 | |
JPH076146A (ja) | 並列データ処理システム | |
Cho et al. | Identification of nonlinear dynamic systems using higher order diagonal recurrent neural network | |
JP2000276459A (ja) | 学習による変換関数を用いた乱数発生装置,乱数発生方法および乱数発生システム | |
Basterrech et al. | A more powerful random neural network model in supervised learning applications | |
JPH05165987A (ja) | 信号処理装置 | |
JPH0916544A (ja) | ニューラルネットワーク装置 |