JPH09106390A - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JPH09106390A JPH09106390A JP7263833A JP26383395A JPH09106390A JP H09106390 A JPH09106390 A JP H09106390A JP 7263833 A JP7263833 A JP 7263833A JP 26383395 A JP26383395 A JP 26383395A JP H09106390 A JPH09106390 A JP H09106390A
- Authority
- JP
- Japan
- Prior art keywords
- value
- neural network
- input
- circuit
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 デジタル方式によりハードウェア化されたニ
ューラルネットワークにおいて、勾配降下法における極
小点への補則を乱数発生手段により防止する。 【解決手段】 ニューラルネットワーク６００は、乱数
を記録可能なメモリ６１、パラメータの更新値を記録可
能なメモリ６３Ａ、６３Ｂ、６３Ｃ、乗算回路６５、加
算回路６６、および比較器６８を含むパラメータの最適
値学習手段と、ニューラルネットワーク入出力特性計算
部６４とを含む。
ューラルネットワークにおいて、勾配降下法における極
小点への補則を乱数発生手段により防止する。 【解決手段】 ニューラルネットワーク６００は、乱数
を記録可能なメモリ６１、パラメータの更新値を記録可
能なメモリ６３Ａ、６３Ｂ、６３Ｃ、乗算回路６５、加
算回路６６、および比較器６８を含むパラメータの最適
値学習手段と、ニューラルネットワーク入出力特性計算
部６４とを含む。
Description
【０００１】
【発明の属する技術分野】本発明はエレクトロニクス分
野および情報処理分野に関し、特にニューラルネットワ
ークのハードウェア化に関する。
野および情報処理分野に関し、特にニューラルネットワ
ークのハードウェア化に関する。
【０００２】
【従来の技術】ニューラルネットワークには、フィード
フォワードネットワーク（Feedforward network ）やリ
カレントネットワーク（Recurrent network ）等さまざ
まな形式のものが考案されているが、そのいずれにおい
ても、ニューロンと呼ばれるネットワークの基本構成単
位に対応する適当な基底関数の積和によって、ネットワ
ークの入出力特性が構成されている。これらのニューラ
ルネットワークは、従来、多くの場合ソフトウェアによ
って実現されているが、その動作速度を向上させる目的
で半導体装置等によるハードウェア化が望まれている。
フォワードネットワーク（Feedforward network ）やリ
カレントネットワーク（Recurrent network ）等さまざ
まな形式のものが考案されているが、そのいずれにおい
ても、ニューロンと呼ばれるネットワークの基本構成単
位に対応する適当な基底関数の積和によって、ネットワ
ークの入出力特性が構成されている。これらのニューラ
ルネットワークは、従来、多くの場合ソフトウェアによ
って実現されているが、その動作速度を向上させる目的
で半導体装置等によるハードウェア化が望まれている。
【０００３】ハードウェアによるニューラルネットワー
クの構成に関する従来の方法は、ニューロンの応答特性
をアナログ回路によって再現するか、あるいはデジタル
回路によって再現するかによって、アナログニューラル
ネットワークとデジタルニューラルネットワークとに大
別される。いずれの型のネットワークにおいてもニュー
ロンの応答特性は、シグモイド関数またはステップ関数
である。
クの構成に関する従来の方法は、ニューロンの応答特性
をアナログ回路によって再現するか、あるいはデジタル
回路によって再現するかによって、アナログニューラル
ネットワークとデジタルニューラルネットワークとに大
別される。いずれの型のネットワークにおいてもニュー
ロンの応答特性は、シグモイド関数またはステップ関数
である。
【０００４】アナログネットワークの場合には、たとえ
ば、電子情報通信学会技術報告ＩＣＤ９２−１５，ｐ
ｐ．２３−２９に示されているように、ニューロンの応
答関数を再現するために、ＯＰアンプが使用されてい
る。一方、デジタルネットワークの場合には、たとえば
電子情報通信学会技術報告ＩＣＤ９２−１７，ｐｐ．３
９−４６に示されているように、シグモイド関数σ
（ｘ）はベルヌーイ数Ｂn を用いた多項式（１）で表わ
されている。
ば、電子情報通信学会技術報告ＩＣＤ９２−１５，ｐ
ｐ．２３−２９に示されているように、ニューロンの応
答関数を再現するために、ＯＰアンプが使用されてい
る。一方、デジタルネットワークの場合には、たとえば
電子情報通信学会技術報告ＩＣＤ９２−１７，ｐｐ．３
９−４６に示されているように、シグモイド関数σ
（ｘ）はベルヌーイ数Ｂn を用いた多項式（１）で表わ
されている。
【０００５】
【数１】
【０００６】入力ｘについてＡＬＵ（Alithmetic Logic
Unit ）によりσ（ｘ）を計算することによってニュー
ロンの応答特性が再現される。従来のネットワークにお
いては、ネットワークの特性を特定すべきパラメータの
学習値のみがＲＡＭに記憶されている。
Unit ）によりσ（ｘ）を計算することによってニュー
ロンの応答特性が再現される。従来のネットワークにお
いては、ネットワークの特性を特定すべきパラメータの
学習値のみがＲＡＭに記憶されている。
【０００７】ネットワークの構造を特定すべきパラメー
タの最適化は、ソフトウェアまたはハードウェアによっ
て実現される学習アルゴリズムに従って実行される。ソ
フトウェアを利用した学習では、どのようなアルゴリズ
ムでも実現できるので柔軟性がある。非常によく利用さ
れる学習アルゴリズムには、勾配降下法およびそれを応
用したバックプロパゲーション学習則、自己組織化学習
則、Hebb則がある。一方ハードウェアによる学習は、ソ
フトウェアほど柔軟ではないが、演算を高速に実行でき
るという利点がある。学習機能を搭載したハードウェア
に関する従来技術については、たとえばシステム／制御
／情報Ｖｏｌ．３８，Ｎｏ．８，ｐｐ．４２３−４２９
に示されている。ここでは、本発明に関連のある勾配降
下法の原理に関するものを述べる。
タの最適化は、ソフトウェアまたはハードウェアによっ
て実現される学習アルゴリズムに従って実行される。ソ
フトウェアを利用した学習では、どのようなアルゴリズ
ムでも実現できるので柔軟性がある。非常によく利用さ
れる学習アルゴリズムには、勾配降下法およびそれを応
用したバックプロパゲーション学習則、自己組織化学習
則、Hebb則がある。一方ハードウェアによる学習は、ソ
フトウェアほど柔軟ではないが、演算を高速に実行でき
るという利点がある。学習機能を搭載したハードウェア
に関する従来技術については、たとえばシステム／制御
／情報Ｖｏｌ．３８，Ｎｏ．８，ｐｐ．４２３−４２９
に示されている。ここでは、本発明に関連のある勾配降
下法の原理に関するものを述べる。
【０００８】ニューラルネットワークへの入力をｘ、ネ
ットワークの出力をＦ（ｘ，ξ）とする。ただし、ξは
ネットワークの機能を決定するパラメータで、学習によ
って最適化されるものとする。出力Ｆ（ｘ，ξ）が一致
すべき正解出力をｙ（ｘ）とする。ξ、Ｆ（ｘ，ξ）、
およびｙ（ｘ）はスカラでもよいし、ベクトルでもよ
い。ここではスカラを用いて説明するが、そのことによ
って一般性が失われることはない。ネットワークの出力
精度を図る尺度として、汎関数Ｅ［Ｆ］として、 Ｅ［Ｆ］＝（１／２）Σx ［Ｆ（ｘ，ξ）−ｙ（ｘ）］2 （２） と決める。このとき、ξの最適化過程におけるξの時間
変化が、 ｄξ／ｄｔ＝−∂Ｅ［Ｆ］／∂ξ （３） となるようにすると、 ｄＥ［Ｆ］／ｄｔ＝（∂Ｅ［Ｆ］／∂ξ）（ｄξ／ｄｔ）＝−（∂Ｅ［Ｆ］／ ∂ξ）2 ≦０ （４） となって、ξは常にネットワークの出力誤差Ｅ［Ｆ］が
減少する方向に自動的に変化する。（２）式を数値計算
を実行するための漸化式に書直すと、 ξ（ｎｅｗ）＝ξ（ｏｌｄ）−η（∂Ｅ［Ｆ］／∂ξ） （５） となる。η＞０は学習率と呼ばれる定数で、調節可能な
パラメータである。ところで、（４）式において∂Ｅ
（Ｆ）／∂ξ＝０となるようなＥ［Ｆ］の極小点では、
Ｅ［Ｆ］が最小ではないにもかかわらず、学習が停止す
る。このような極小点への捕捉を防ぐために、（５）式
を改良した ξ（ｎｅｗ）＝ξ（ｏｌｄ）−η（∂Ｅ［Ｆ］／∂ξ）＋αΔξ（ｏｌｄ） （６） が利用される。ここで、Δξ（old ）は前回の学習ルー
プにおけるξの変動であり、αは運動量因子と呼ばれる
調節可能なパラメータである。従来のハードウェアは、
（５）または（６）式を実現したものである。
ットワークの出力をＦ（ｘ，ξ）とする。ただし、ξは
ネットワークの機能を決定するパラメータで、学習によ
って最適化されるものとする。出力Ｆ（ｘ，ξ）が一致
すべき正解出力をｙ（ｘ）とする。ξ、Ｆ（ｘ，ξ）、
およびｙ（ｘ）はスカラでもよいし、ベクトルでもよ
い。ここではスカラを用いて説明するが、そのことによ
って一般性が失われることはない。ネットワークの出力
精度を図る尺度として、汎関数Ｅ［Ｆ］として、 Ｅ［Ｆ］＝（１／２）Σx ［Ｆ（ｘ，ξ）−ｙ（ｘ）］2 （２） と決める。このとき、ξの最適化過程におけるξの時間
変化が、 ｄξ／ｄｔ＝−∂Ｅ［Ｆ］／∂ξ （３） となるようにすると、 ｄＥ［Ｆ］／ｄｔ＝（∂Ｅ［Ｆ］／∂ξ）（ｄξ／ｄｔ）＝−（∂Ｅ［Ｆ］／ ∂ξ）2 ≦０ （４） となって、ξは常にネットワークの出力誤差Ｅ［Ｆ］が
減少する方向に自動的に変化する。（２）式を数値計算
を実行するための漸化式に書直すと、 ξ（ｎｅｗ）＝ξ（ｏｌｄ）−η（∂Ｅ［Ｆ］／∂ξ） （５） となる。η＞０は学習率と呼ばれる定数で、調節可能な
パラメータである。ところで、（４）式において∂Ｅ
（Ｆ）／∂ξ＝０となるようなＥ［Ｆ］の極小点では、
Ｅ［Ｆ］が最小ではないにもかかわらず、学習が停止す
る。このような極小点への捕捉を防ぐために、（５）式
を改良した ξ（ｎｅｗ）＝ξ（ｏｌｄ）−η（∂Ｅ［Ｆ］／∂ξ）＋αΔξ（ｏｌｄ） （６） が利用される。ここで、Δξ（old ）は前回の学習ルー
プにおけるξの変動であり、αは運動量因子と呼ばれる
調節可能なパラメータである。従来のハードウェアは、
（５）または（６）式を実現したものである。
【０００９】
【発明が解決しようとする課題】アナログネットワーク
の場合には、ネットワークを構成すべき各素子の電気特
性を非常に均一に作製しなければならないので、素子の
製造プロセスにおける均一性に対する要求が厳しく、高
い製造歩留りを得ることは容易ではない。またシグモイ
ド関数以外の応答特性を持つニューロン、たとえば、ガ
ウス関数をニューロンとする正則化ネットワーク（Regu
larization network）を構成する場合には、ニューロン
の応答特性を正確に再現することが困難である。
の場合には、ネットワークを構成すべき各素子の電気特
性を非常に均一に作製しなければならないので、素子の
製造プロセスにおける均一性に対する要求が厳しく、高
い製造歩留りを得ることは容易ではない。またシグモイ
ド関数以外の応答特性を持つニューロン、たとえば、ガ
ウス関数をニューロンとする正則化ネットワーク（Regu
larization network）を構成する場合には、ニューロン
の応答特性を正確に再現することが困難である。
【００１０】一方、従来のデジタルネットワークにおい
ては製造プロセスはアナログ方式の場合よりも容易であ
るが、ニューロンからの応答特性を実現する際、応答特
性を近似する多項式を計算して設計しなければならない
ことに加えて、ＡＬＵを使用するために回路構成、動作
が複雑になるという問題点がある。これが第１の課題で
ある。
ては製造プロセスはアナログ方式の場合よりも容易であ
るが、ニューロンからの応答特性を実現する際、応答特
性を近似する多項式を計算して設計しなければならない
ことに加えて、ＡＬＵを使用するために回路構成、動作
が複雑になるという問題点がある。これが第１の課題で
ある。
【００１１】次に（５）または（６）式による勾配降下
法では、Ｅ［Ｆ］の極小点への捕捉を完全に防止するこ
とができないので、ネットワークの出力誤差が十分に小
さくなるように学習を実行することが困難である場合が
多いという問題点がある。これが第２の課題である。
法では、Ｅ［Ｆ］の極小点への捕捉を完全に防止するこ
とができないので、ネットワークの出力誤差が十分に小
さくなるように学習を実行することが困難である場合が
多いという問題点がある。これが第２の課題である。
【００１２】第３の課題は学習に要する計算時間の問題
である。ソフトウェアによる学習では計算時間が多大で
あり、ハードウェアによる学習によって計算時間を減少
させたい。これが第３の課題である。本発明はこれらの
課題を解決することを目的とする。
である。ソフトウェアによる学習では計算時間が多大で
あり、ハードウェアによる学習によって計算時間を減少
させたい。これが第３の課題である。本発明はこれらの
課題を解決することを目的とする。
【００１３】それゆえに請求項１に記載の発明は、任意
の応答関数を持つニューロンからなるデジタルネットワ
ークを簡潔に実現することができるとともに、勾配降下
法におけるＥ［Ｆ］の極小点への捕捉を防止してネット
ワークの出力誤差が十分に小さくなるように学習を実行
することができ、さらにハードウェアによる学習によっ
て計算時間を減少させることができるニューラルネット
ワークを提供することを目的とする。
の応答関数を持つニューロンからなるデジタルネットワ
ークを簡潔に実現することができるとともに、勾配降下
法におけるＥ［Ｆ］の極小点への捕捉を防止してネット
ワークの出力誤差が十分に小さくなるように学習を実行
することができ、さらにハードウェアによる学習によっ
て計算時間を減少させることができるニューラルネット
ワークを提供することを目的とする。
【００１４】
【課題を解決するための手段】以下本発明における課題
を解決するための手段の動作原理を説明する。
を解決するための手段の動作原理を説明する。
【００１５】請求項１に記載のニューラルネットワーク
装置においては、回路構成はデジタル方式とし、ニュー
ラルネットワーク内での積和は乗算回路および加算回路
により実現する。ニューロンの応答特性をｆ（ｘ）とす
ると、入力ｘに対する値ｆ（ｘ）を予め計算しておき、
ｘをアドレスとするＲＯＭにｆ（ｘ）の関数値を記録す
る。すなわちニューロンを応答関数値が記録されたＲＯ
Ｍによって実現する。なおＲＯＭの代わりにＲＡＭを用
いることもできる。
装置においては、回路構成はデジタル方式とし、ニュー
ラルネットワーク内での積和は乗算回路および加算回路
により実現する。ニューロンの応答特性をｆ（ｘ）とす
ると、入力ｘに対する値ｆ（ｘ）を予め計算しておき、
ｘをアドレスとするＲＯＭにｆ（ｘ）の関数値を記録す
る。すなわちニューロンを応答関数値が記録されたＲＯ
Ｍによって実現する。なおＲＯＭの代わりにＲＡＭを用
いることもできる。
【００１６】ネットワークへの入力をＸ＝（ｘ1 ，
ｘ2 ，…，ｘD ）、ネットワークの出力をＦ（ｘ）とす
ると、ガウス関数を基底関数とする正規化ネットワーク
は、（７）で表わされる。
ｘ2 ，…，ｘD ）、ネットワークの出力をＦ（ｘ）とす
ると、ガウス関数を基底関数とする正規化ネットワーク
は、（７）で表わされる。
【００１７】 Ｆ（Ｘ）＝Σh=1 Nhｃh ｅｘｐ（−βh Σi=1 D （ｘi −θhi）2 ） （ ７） （７）式において、Ｎh は隠れ層ノード数、ｃh 、βh
およびθhiは、勾配降下法によって最適化されるパラメ
ータである。学習則の構成方法については後に述べる。
およびθhiは、勾配降下法によって最適化されるパラメ
ータである。学習則の構成方法については後に述べる。
【００１８】なお正則化ネットワークの原理およびネッ
トワークの学習則については、T. Poggio and F. Giros
i, Proceedings of the IEEE, Vol.78, No.9, pp.1481-
1497（1990）において詳細に述べられている。このネッ
トワークの回路構成は以下のようなものとなる。
トワークの学習則については、T. Poggio and F. Giros
i, Proceedings of the IEEE, Vol.78, No.9, pp.1481-
1497（1990）において詳細に述べられている。このネッ
トワークの回路構成は以下のようなものとなる。
【００１９】図１を参照して、正則化ネットワーク内の
処理の流れを説明する。正則化ネットワークのパラメー
タｃh 、βh およびθhiはＲＡＭまたはレジスタに記録
されており、必要な際には制御回路によって管理された
これらのメモリから読出されるものとする。
処理の流れを説明する。正則化ネットワークのパラメー
タｃh 、βh およびθhiはＲＡＭまたはレジスタに記録
されており、必要な際には制御回路によって管理された
これらのメモリから読出されるものとする。
【００２０】まずステップ１で入力ベクトルＸ＝
（ｘ1 、ｘ2 、…、ｘD ）がネットワークに入力され
る。ステップ２でθhiがＲＡＭから読出され、ステップ
３でｘi −θ hiが加算回路によって計算され、ステップ
４でその二乗が乗算回路により計算される。次にステッ
プ５でΣi=1 D （ｘi −θhi）2 が加算回路によって求
められる。ステップ６でβh がＲＡＭから読出され、ス
テップ７でステップ５で求めた和と、−βh との積Ｙが
乗算回路によって求められる。ステップ８で積Ｙをガウ
ス関数値が記録されたＲＯＭのアドレスに入力するとニ
ューロンの応答関数が求められる。ステップ９でｃh が
ＲＡＭから読出され、ステップ１０、ステップ１１でＲ
ＯＭの出力とｃh とが乗算回路および加算回路で乗算お
よび加算され、ニューラルネットワークの出力値が得ら
れる。こうして正則化ネットワークがハードウェア化さ
れる。
（ｘ1 、ｘ2 、…、ｘD ）がネットワークに入力され
る。ステップ２でθhiがＲＡＭから読出され、ステップ
３でｘi −θ hiが加算回路によって計算され、ステップ
４でその二乗が乗算回路により計算される。次にステッ
プ５でΣi=1 D （ｘi −θhi）2 が加算回路によって求
められる。ステップ６でβh がＲＡＭから読出され、ス
テップ７でステップ５で求めた和と、−βh との積Ｙが
乗算回路によって求められる。ステップ８で積Ｙをガウ
ス関数値が記録されたＲＯＭのアドレスに入力するとニ
ューロンの応答関数が求められる。ステップ９でｃh が
ＲＡＭから読出され、ステップ１０、ステップ１１でＲ
ＯＭの出力とｃh とが乗算回路および加算回路で乗算お
よび加算され、ニューラルネットワークの出力値が得ら
れる。こうして正則化ネットワークがハードウェア化さ
れる。
【００２１】３層パーセプトロンの場合、出力値Ｆ
（Ｘ）は、以下のように表わされる。 Ｆ（Ｘ）＝σ（Σh=1 NhＷh Ｇh （Ｘ）−Ｔ） （８） Ｇh （Ｘ）＝σ（Σi=1 D ｗhiｘi −ｔh ） （９） ここで、Ｗh 、Ｔ、ｗhiおよびｔh はバックプロパゲー
ション学習則によって最適化されるべきパラメータで、
ＲＡＭまたはレジスタに記録され、必要な際にはこれら
のメモリから読出されるものとする。また、σはシグモ
イド関数であり、σ（ｚ）＝１／［１＋ｅｘｐ（−
ｚ）］と表わされる。多層パーセプトロンの原理と学習
則については、D. E. Rumelhart, J. L. McClelland, a
nd the PDP Research Group, Parallel Distributed ro
cessing, pp.318-362 （MIT Press, Cambridge, 1986）
において詳細に述べられている。
（Ｘ）は、以下のように表わされる。 Ｆ（Ｘ）＝σ（Σh=1 NhＷh Ｇh （Ｘ）−Ｔ） （８） Ｇh （Ｘ）＝σ（Σi=1 D ｗhiｘi −ｔh ） （９） ここで、Ｗh 、Ｔ、ｗhiおよびｔh はバックプロパゲー
ション学習則によって最適化されるべきパラメータで、
ＲＡＭまたはレジスタに記録され、必要な際にはこれら
のメモリから読出されるものとする。また、σはシグモ
イド関数であり、σ（ｚ）＝１／［１＋ｅｘｐ（−
ｚ）］と表わされる。多層パーセプトロンの原理と学習
則については、D. E. Rumelhart, J. L. McClelland, a
nd the PDP Research Group, Parallel Distributed ro
cessing, pp.318-362 （MIT Press, Cambridge, 1986）
において詳細に述べられている。
【００２２】図２を参照して、３層パーセプトロンにお
ける処理の流れを説明する。まずステップ１３で入力ベ
クトルＸ＝（ｘ1 、ｘ2 、…、ｘD ）がネットワークに
入力される。ステップ１４でｗhiがＲＡＭから読出さ
れ、ステップ１５でｗhiｘi が乗算回路によって求めら
れる。ステップ１６でΣi=1 D ｗhiｘi が加算回路によ
って求められる。ステップ１７でｔh がＲＡＭから読出
され、ステップ１８でｚ＝Σi=1 D ｗhiｘi −ｔh が加
算回路によって求められる。ステップ１９でこの値ｚを
シグモイド関数が記録されたＲＯＭのアドレスに入力す
るとニューロンの応答関数が求まり、（９）式のＧ
h （Ｘ）が得られる。
ける処理の流れを説明する。まずステップ１３で入力ベ
クトルＸ＝（ｘ1 、ｘ2 、…、ｘD ）がネットワークに
入力される。ステップ１４でｗhiがＲＡＭから読出さ
れ、ステップ１５でｗhiｘi が乗算回路によって求めら
れる。ステップ１６でΣi=1 D ｗhiｘi が加算回路によ
って求められる。ステップ１７でｔh がＲＡＭから読出
され、ステップ１８でｚ＝Σi=1 D ｗhiｘi −ｔh が加
算回路によって求められる。ステップ１９でこの値ｚを
シグモイド関数が記録されたＲＯＭのアドレスに入力す
るとニューロンの応答関数が求まり、（９）式のＧ
h （Ｘ）が得られる。
【００２３】今度はＧh （Ｘ）を入力とみて、上記と同
様な演算を繰返すと、３層パーセプトロンの出力Ｆ
（Ｘ）が得られ、３層パーセプトロンがハードウェア化
される。
様な演算を繰返すと、３層パーセプトロンの出力Ｆ
（Ｘ）が得られ、３層パーセプトロンがハードウェア化
される。
【００２４】すなわちステップ２０でＷh が読出され、
ステップ２１でＷh Ｇh が乗算回路によって求められ
る。ステップ２２でΣh=1 NhＷh Ｇh が加算回路によっ
て求められる。ステップ２３でＴがＲＡＭから読出され
る。ステップ２４でｚ′＝Σh= 1 NhＷh Ｇh −Ｔが加算
回路によって求められる。ステップ２５でこの値ｚ′を
シグモイド関数が記録されたＲＯＭのアドレスに入力す
るとニューロンに応答関数が求まり、ステップ２６でこ
のＲＯＭの出力が３層パーセプトロンの出力Ｆ（Ｘ）と
して出力される。
ステップ２１でＷh Ｇh が乗算回路によって求められ
る。ステップ２２でΣh=1 NhＷh Ｇh が加算回路によっ
て求められる。ステップ２３でＴがＲＡＭから読出され
る。ステップ２４でｚ′＝Σh= 1 NhＷh Ｇh −Ｔが加算
回路によって求められる。ステップ２５でこの値ｚ′を
シグモイド関数が記録されたＲＯＭのアドレスに入力す
るとニューロンに応答関数が求まり、ステップ２６でこ
のＲＯＭの出力が３層パーセプトロンの出力Ｆ（Ｘ）と
して出力される。
【００２５】以上述べた手段により、デジタル方式によ
ってニューラルネットワークがハードウェア化されてい
る。
ってニューラルネットワークがハードウェア化されてい
る。
【００２６】したがってアナログ方式のように精度の高
い製造技術を必要としない。またネットワークの構成単
位たるニューロンの応答特性はＲＯＭまたはＲＡＭに記
録されているので、これらのメモリ書込むデータを変え
ることによってどのような応答特性も自由にかつ容易に
設定できる。さらにＡＬＵが一切用いられていないので
ニューロンの応答特性の計算は簡単である。
い製造技術を必要としない。またネットワークの構成単
位たるニューロンの応答特性はＲＯＭまたはＲＡＭに記
録されているので、これらのメモリ書込むデータを変え
ることによってどのような応答特性も自由にかつ容易に
設定できる。さらにＡＬＵが一切用いられていないので
ニューロンの応答特性の計算は簡単である。
【００２７】これで第１の課題が解決された。次にハー
ドウェアによる学習について説明する。ニューラルネッ
トワークの最適化すべきパラメータをまとめてξと表示
する。（５）式を改良して、 ξ（ｎｅｗ）＝ξ（ｏｌｄ）−η（∂Ｅ［Ｆ］／∂ξ）＋αΔξ（ｏｌｄ）＋ ｎｏｉｓｅ （１０） とする。（１０）式において、noise は白色ノイズ、有
色ノイズ、またはカオス時系列として合成されるランダ
ム変数であって、カウンタ回路として実装されるタイマ
によって所望の一定時間間隔で（１０）式に供給され
る。学習過程において、ξが極小点に捕捉された場合
に、このランダム変数によってそのような望ましくない
極小点から脱出することができる。
ドウェアによる学習について説明する。ニューラルネッ
トワークの最適化すべきパラメータをまとめてξと表示
する。（５）式を改良して、 ξ（ｎｅｗ）＝ξ（ｏｌｄ）−η（∂Ｅ［Ｆ］／∂ξ）＋αΔξ（ｏｌｄ）＋ ｎｏｉｓｅ （１０） とする。（１０）式において、noise は白色ノイズ、有
色ノイズ、またはカオス時系列として合成されるランダ
ム変数であって、カウンタ回路として実装されるタイマ
によって所望の一定時間間隔で（１０）式に供給され
る。学習過程において、ξが極小点に捕捉された場合
に、このランダム変数によってそのような望ましくない
極小点から脱出することができる。
【００２８】このような一連の学習過程における処理の
流れを図３に示す。入力ｘがシステムに入力され、上述
のネットワーク出力計算部に転送されて、出力値と正解
値との誤差汎関数Ｅ［Ｆ］を計算する。入力ｘとそれに
対応する正解値は、メモリ部に保存される。誤差汎関数
Ｅ［Ｆ］は乗算・加算回路で表現し得る。汎関数Ｅ
［Ｆ］のξに対する微分も乗算・加算回路および基底関
数の応答特性を記憶したメモリ部とによって構成でき
る。学習率ηは、レジスタに保存されている。αおよび
Δξ（old ）もレジスタに保存され、それらの積は乗算
回路によって計算され得る。こうして、（１０）式はハ
ードウェアによって実現可能となる。誤差汎関数Ｅ
［Ｆ］の目標値Ｅ（target）および（１０）式の最大反
復計算回数Ｎ（max）をレジスタに記憶させ、毎回の学
習ループで算出される誤差汎関数Ｅ［Ｆ］とＥ（targe
t）とを比較回路で比較してＥ［Ｆ］≦Ｅ（target）と
なるか、または反復ループ回数がＮ（max ）に一致した
ときに学習を停止させ、その旨ＭＰＵに通信することに
する。このような構成においては、すべての回路は、た
とえばシリコン半導体基板上で従来のＣＭＯＳデジタル
回路によって実現することが可能である。このようなハ
ードウェアシステムを既存のＭＰＵに結合することによ
って前節に述べた課題がすべて達成、克服される。
流れを図３に示す。入力ｘがシステムに入力され、上述
のネットワーク出力計算部に転送されて、出力値と正解
値との誤差汎関数Ｅ［Ｆ］を計算する。入力ｘとそれに
対応する正解値は、メモリ部に保存される。誤差汎関数
Ｅ［Ｆ］は乗算・加算回路で表現し得る。汎関数Ｅ
［Ｆ］のξに対する微分も乗算・加算回路および基底関
数の応答特性を記憶したメモリ部とによって構成でき
る。学習率ηは、レジスタに保存されている。αおよび
Δξ（old ）もレジスタに保存され、それらの積は乗算
回路によって計算され得る。こうして、（１０）式はハ
ードウェアによって実現可能となる。誤差汎関数Ｅ
［Ｆ］の目標値Ｅ（target）および（１０）式の最大反
復計算回数Ｎ（max）をレジスタに記憶させ、毎回の学
習ループで算出される誤差汎関数Ｅ［Ｆ］とＥ（targe
t）とを比較回路で比較してＥ［Ｆ］≦Ｅ（target）と
なるか、または反復ループ回数がＮ（max ）に一致した
ときに学習を停止させ、その旨ＭＰＵに通信することに
する。このような構成においては、すべての回路は、た
とえばシリコン半導体基板上で従来のＣＭＯＳデジタル
回路によって実現することが可能である。このようなハ
ードウェアシステムを既存のＭＰＵに結合することによ
って前節に述べた課題がすべて達成、克服される。
【００２９】以上のようにデジタル方式によってニュー
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるＥ［Ｆ］の極小点への補則をランダム
変数によって防止してネットワークの出力誤差が十分に
小さくなるように学習を実行することができ、さらにハ
ードウェアによる学習によって計算時間を減少させるこ
とができる。
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるＥ［Ｆ］の極小点への補則をランダム
変数によって防止してネットワークの出力誤差が十分に
小さくなるように学習を実行することができ、さらにハ
ードウェアによる学習によって計算時間を減少させるこ
とができる。
【００３０】
【発明の実施の形態】以下本願の発明の実施の形態を図
面を参照しながら詳細に説明する。
面を参照しながら詳細に説明する。
【００３１】図４を参照して、本願の請求項１に記載の
ニューラルネットワークにおけるニューラルネットワー
ク入出力特性計算部の実施の形態である正則化ネットワ
ーク出力計算部のハードウェアの一例を説明する。
ニューラルネットワークにおけるニューラルネットワー
ク入出力特性計算部の実施の形態である正則化ネットワ
ーク出力計算部のハードウェアの一例を説明する。
【００３２】この実施の形態では、ネットワークの入力
ノード数＝３、隠れ層ノード数＝５、出力ノード数＝
１、ニューラルネットワークの入出力データは３２ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
ノード数＝３、隠れ層ノード数＝５、出力ノード数＝
１、ニューラルネットワークの入出力データは３２ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
【００３３】図４において実施の形態のニューラルネッ
トワーク入出力特性計算部４０１はネットワーク内での
処理の流れを管理する制御部４１を含む。制御部４１内
には入力ノード数、隠れ層ノード数、および出力ノード
数が設定されるべきカウンタ回路が設置されている。実
施の形態のニューラルネットワーク入出力特性計算部４
０１はｃh 、βh およびθhi（ｉ＝０，１，２；ｈ＝
０，１，２，３，４）を記憶したＲＡＭ４２を含む。Ｒ
ＡＭの代わりにレジスタを用いてもよい。
トワーク入出力特性計算部４０１はネットワーク内での
処理の流れを管理する制御部４１を含む。制御部４１内
には入力ノード数、隠れ層ノード数、および出力ノード
数が設定されるべきカウンタ回路が設置されている。実
施の形態のニューラルネットワーク入出力特性計算部４
０１はｃh 、βh およびθhi（ｉ＝０，１，２；ｈ＝
０，１，２，３，４）を記憶したＲＡＭ４２を含む。Ｒ
ＡＭの代わりにレジスタを用いてもよい。
【００３４】図４を参照して、実施の形態のニューラル
ネットワーク入出力特性計算部４０１は、ニューラルネ
ットワークの基本構成単位としての基底関数の関数値を
記録可能な第１の記憶手段であるＲＯＭ４６と、第１の
合成回路４８と、第２の合成回路４９とを含む。第１の
合成回路４８は、加算回路４４Ａ、４４Ｂと、乗算回路
４５Ａ、４５Ｂとを含む。第２の合成回路４９は、乗算
回路４５Ｃと、加算回路４４Ｃとを含む。
ネットワーク入出力特性計算部４０１は、ニューラルネ
ットワークの基本構成単位としての基底関数の関数値を
記録可能な第１の記憶手段であるＲＯＭ４６と、第１の
合成回路４８と、第２の合成回路４９とを含む。第１の
合成回路４８は、加算回路４４Ａ、４４Ｂと、乗算回路
４５Ａ、４５Ｂとを含む。第２の合成回路４９は、乗算
回路４５Ｃと、加算回路４４Ｃとを含む。
【００３５】入力ポート４３から入力データｘi が次々
とネットワークに取込まれ、加算回路４４Ａの一方の入
力部に入力される。入力データはこのネットワークに入
力するに際して、０と１の間の数値に規格化されてい
る。θhiがＲＡＭ４２から読込まれ、加算回路４４Ａの
もう一方の入力部に入力される。こうしてｘi −θhiが
計算され、その結果が乗算回路４５Ａの２つの入力部に
同時に入力されることによって、（ｘi −θhi）2 が計
算される。この値はもう１つの加算回路４４Ｂの一方の
入力部に入力される。ｉ＝０の場合にはもう一方の入力
部にはゼロ値が入力されているものとする。そして加算
回路４４Ｂの出力は、最初ゼロ値が入力されていた入力
部に帰還される。このような過程は、制御部４１の管理
のもとに入力ノード数に等しい回数繰返される。こうし
て、（２）式の和 Σi=1 D （ｘi −θhi）2 が求まったので、この和と−βh との積Ｙが乗算回路４
５Ｂによって得られる。
とネットワークに取込まれ、加算回路４４Ａの一方の入
力部に入力される。入力データはこのネットワークに入
力するに際して、０と１の間の数値に規格化されてい
る。θhiがＲＡＭ４２から読込まれ、加算回路４４Ａの
もう一方の入力部に入力される。こうしてｘi −θhiが
計算され、その結果が乗算回路４５Ａの２つの入力部に
同時に入力されることによって、（ｘi −θhi）2 が計
算される。この値はもう１つの加算回路４４Ｂの一方の
入力部に入力される。ｉ＝０の場合にはもう一方の入力
部にはゼロ値が入力されているものとする。そして加算
回路４４Ｂの出力は、最初ゼロ値が入力されていた入力
部に帰還される。このような過程は、制御部４１の管理
のもとに入力ノード数に等しい回数繰返される。こうし
て、（２）式の和 Σi=1 D （ｘi −θhi）2 が求まったので、この和と−βh との積Ｙが乗算回路４
５Ｂによって得られる。
【００３６】次に積Ｙがガウス関数値が記録されたＲＯ
Ｍ４６のアドレスに入力される。ＲＯＭ４６のアドレス
は、関数ｅｘｐ（−ｚ）の変数ｚに対応し、０≦ｚ≦２
０の範囲で、かつ、ｚが小数点以下４桁の精度となるよ
うにアドレス幅が設定されている。そしてＲＯＭ４６の
各アドレスには３２ビットの精度でｅｘｐ（−ｚ）の値
が書込まれている。なお、ＲＯＭ４６の部分は、ＥＰＲ
ＯＭやＲＡＭで代用されることも可能である。ＲＯＭ４
６の出力値は乗算回路４５Ｃの一方の入力部に入力され
る。この乗算回路４５Ｃのもう一方の入力部にはＲＡＭ
４２から読出されたｃh が入力されている。こうしてＲ
ＯＭ４６の出力とｃh との積が得られる。この積は加算
回路４４Ｃの一方の入力部に入力される。加算回路４４
Ｃのもう一方の入力部にはｈ＝０のときにはゼロ値が入
力されている。そして加算回路４４Ｃの出力値は、最初
ゼロ値が入力されていた入力部に帰還される。上に述べ
た過程を制御部による制御によって隠れ層ノード数に等
しい回数繰返した後、加算回路４４Ｃの出力がネットワ
ークの出力とされる。出力値は出力ポート４７から出力
される。
Ｍ４６のアドレスに入力される。ＲＯＭ４６のアドレス
は、関数ｅｘｐ（−ｚ）の変数ｚに対応し、０≦ｚ≦２
０の範囲で、かつ、ｚが小数点以下４桁の精度となるよ
うにアドレス幅が設定されている。そしてＲＯＭ４６の
各アドレスには３２ビットの精度でｅｘｐ（−ｚ）の値
が書込まれている。なお、ＲＯＭ４６の部分は、ＥＰＲ
ＯＭやＲＡＭで代用されることも可能である。ＲＯＭ４
６の出力値は乗算回路４５Ｃの一方の入力部に入力され
る。この乗算回路４５Ｃのもう一方の入力部にはＲＡＭ
４２から読出されたｃh が入力されている。こうしてＲ
ＯＭ４６の出力とｃh との積が得られる。この積は加算
回路４４Ｃの一方の入力部に入力される。加算回路４４
Ｃのもう一方の入力部にはｈ＝０のときにはゼロ値が入
力されている。そして加算回路４４Ｃの出力値は、最初
ゼロ値が入力されていた入力部に帰還される。上に述べ
た過程を制御部による制御によって隠れ層ノード数に等
しい回数繰返した後、加算回路４４Ｃの出力がネットワ
ークの出力とされる。出力値は出力ポート４７から出力
される。
【００３７】以上のようにデジタル方式によりニューラ
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はＲ
ＯＭまたはＲＡＭに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにＡＬＵは一切
用いられていないので、ニューロンの応答特性の計算は
簡潔である。なお、上述のネットワークにおいて、複数
の加算回路と乗算回路を用いたのは一連の処理をパイプ
ライン制御して高速に実行するためである。回路の占有
面積を小さくしたい場合には、加算回路と乗算回路を単
数使用するか、または一部を重複して使用すればよい。
また上述のネットワークにおいてＲＯＭ４６を複数個使
用して並列処理をさせることもできる。
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はＲ
ＯＭまたはＲＡＭに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにＡＬＵは一切
用いられていないので、ニューロンの応答特性の計算は
簡潔である。なお、上述のネットワークにおいて、複数
の加算回路と乗算回路を用いたのは一連の処理をパイプ
ライン制御して高速に実行するためである。回路の占有
面積を小さくしたい場合には、加算回路と乗算回路を単
数使用するか、または一部を重複して使用すればよい。
また上述のネットワークにおいてＲＯＭ４６を複数個使
用して並列処理をさせることもできる。
【００３８】図５を参照して本願の請求項１に記載のニ
ューラルネットワークにおけるニューラルネットワーク
入出力特性計算部の他の実施の形態である３層パーセプ
トロンのハードウェアの一例を説明する。
ューラルネットワークにおけるニューラルネットワーク
入出力特性計算部の他の実施の形態である３層パーセプ
トロンのハードウェアの一例を説明する。
【００３９】この実施の形態では、ネットワークの入力
ノード数＝３、隠れ層ノード数＝５、出力ノード数＝
１、ニューラルネットワークの入出力データは３２ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
ノード数＝３、隠れ層ノード数＝５、出力ノード数＝
１、ニューラルネットワークの入出力データは３２ビッ
ト、単精度、浮動小数点で表現されているとするが、本
発明はこのような条件に限定されるものではない。
【００４０】図５を参照して、実施の形態のニューラル
ネットワーク入出力特性計算部５０１はニューラルネッ
トワークの基本構成単位としての規定関数の関数値を記
録可能な第１の記憶手段であるＲＯＭ５６と、ニューラ
ルネットワークの構造を特定するパラメータの学習値で
あるＷh 、Ｔ、ｗhi、およびｔh （ｉ＝０，１，２；ｈ
＝０，１，２，３，４）を記録した第２の記憶手段であ
るＲＡＭ５２と、第１の合成回路５８と、第２の合成回
路５９と、ネットワーク内での処理の流れを管理する制
御部５１とを含む。第１の合成回路５８は、加算回路５
５Ａと乗算回路５４Ａとを含む。第２の合成回路５９は
乗算回路５４Ｂと、加算回路５５Ｂとを含む。制御部５
１内には、入力ノード数、隠れ層ノード数、および出力
ノード数が設定されるべきカウンタ回路が設置されてい
る。なおＲＡＭ５２の代わりにレジスタを用いてもよ
い。
ネットワーク入出力特性計算部５０１はニューラルネッ
トワークの基本構成単位としての規定関数の関数値を記
録可能な第１の記憶手段であるＲＯＭ５６と、ニューラ
ルネットワークの構造を特定するパラメータの学習値で
あるＷh 、Ｔ、ｗhi、およびｔh （ｉ＝０，１，２；ｈ
＝０，１，２，３，４）を記録した第２の記憶手段であ
るＲＡＭ５２と、第１の合成回路５８と、第２の合成回
路５９と、ネットワーク内での処理の流れを管理する制
御部５１とを含む。第１の合成回路５８は、加算回路５
５Ａと乗算回路５４Ａとを含む。第２の合成回路５９は
乗算回路５４Ｂと、加算回路５５Ｂとを含む。制御部５
１内には、入力ノード数、隠れ層ノード数、および出力
ノード数が設定されるべきカウンタ回路が設置されてい
る。なおＲＡＭ５２の代わりにレジスタを用いてもよ
い。
【００４１】入力ポート５３から入力データｘi が次々
とネットワークに取込まれ、乗算回路５４Ａの一部の入
力部に入力される。入力データはこのネットワークに入
力するに際して、０と１の間の数値に規格化されてい
る。次にｗhiがＲＡＭ５２から読込まれ、乗算回路５４
Ａのもう一方の入力部に入力される。こうしてｗhiｘi
を計算し、その結果は加算回路５５Ａの一方の入力部に
同時に入力される。加算回路５５Ａのもう一方の入力部
には、最初ゼロ値が入力されており、加算回路５５Ａの
出力は最初ゼロ値が入力されていた入力部に帰還され
る。この過程は制御部によって管理され、入力ノード数
に等しい回数繰返される。
とネットワークに取込まれ、乗算回路５４Ａの一部の入
力部に入力される。入力データはこのネットワークに入
力するに際して、０と１の間の数値に規格化されてい
る。次にｗhiがＲＡＭ５２から読込まれ、乗算回路５４
Ａのもう一方の入力部に入力される。こうしてｗhiｘi
を計算し、その結果は加算回路５５Ａの一方の入力部に
同時に入力される。加算回路５５Ａのもう一方の入力部
には、最初ゼロ値が入力されており、加算回路５５Ａの
出力は最初ゼロ値が入力されていた入力部に帰還され
る。この過程は制御部によって管理され、入力ノード数
に等しい回数繰返される。
【００４２】次に同じ加算回路５５Ａを用いて、Σi=0
2 ｗhiｘi とＲＡＭ５２から読出されたｔh との差を計
算する。この差はシグモイド関数値が記録されたＲＯＭ
５６のアドレスに入力する。ＲＯＭ５６のアドレスは、
関数１／［１＋ｅｘｐ（−ｚ）］の変数ｚに対応し、０
≦ｚ≦２０の範囲で、かつｚが小数点以下４桁の精度と
なるようにアドレス幅が設定されている。そしてＲＯＭ
５６の各アドレスには３２ビットの精度で前記関数値が
書込まれている。なお、ＲＯＭ５６の部分は、ＥＰＲＯ
ＭやＲＡＭで代用されることも可能である。
2 ｗhiｘi とＲＡＭ５２から読出されたｔh との差を計
算する。この差はシグモイド関数値が記録されたＲＯＭ
５６のアドレスに入力する。ＲＯＭ５６のアドレスは、
関数１／［１＋ｅｘｐ（−ｚ）］の変数ｚに対応し、０
≦ｚ≦２０の範囲で、かつｚが小数点以下４桁の精度と
なるようにアドレス幅が設定されている。そしてＲＯＭ
５６の各アドレスには３２ビットの精度で前記関数値が
書込まれている。なお、ＲＯＭ５６の部分は、ＥＰＲＯ
ＭやＲＡＭで代用されることも可能である。
【００４３】ＲＯＭ５６の出力値は乗算回路５４Ｂの一
方の入力部に入力される。この乗算回路５４Ｂのもう一
方の入力部にはＲＡＭ５２から読出されたＷh が入力さ
れている。こうしてＲＯＭ５６の出力とＷh との積が得
られる。この積は加算回路５５Ｂの一方の入力部に入力
される。加算回路５５Ｂのもう一方の入力部にはｈ＝０
のときにはゼロ値が入力されている。そして加算回路５
５Ｂの出力値は、最初ゼロ値が入力されていた入力部に
帰還される。上に述べた過程を制御部による制御によっ
て隠れ層ノード数に等しい回数繰返した後、加算回路５
５Ｂの出力を再びＲＯＭ５６のアドレスに入力し、ＲＯ
Ｍ５６の出力を出力ポート５７に送ると３層パーセプト
ロンの出力値が得られる。
方の入力部に入力される。この乗算回路５４Ｂのもう一
方の入力部にはＲＡＭ５２から読出されたＷh が入力さ
れている。こうしてＲＯＭ５６の出力とＷh との積が得
られる。この積は加算回路５５Ｂの一方の入力部に入力
される。加算回路５５Ｂのもう一方の入力部にはｈ＝０
のときにはゼロ値が入力されている。そして加算回路５
５Ｂの出力値は、最初ゼロ値が入力されていた入力部に
帰還される。上に述べた過程を制御部による制御によっ
て隠れ層ノード数に等しい回数繰返した後、加算回路５
５Ｂの出力を再びＲＯＭ５６のアドレスに入力し、ＲＯ
Ｍ５６の出力を出力ポート５７に送ると３層パーセプト
ロンの出力値が得られる。
【００４４】以上のようにデジタル方式によりニューラ
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はＲ
ＯＭまたはＲＡＭに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにＡＬＵは一切
用いられていないのでニューロンの応答特性の計算が簡
潔である。
ルネットワークがハードウェア化され、アナログ方式の
場合のように精度の高い製造技術は必要としない。また
ネットワークの構成単位たるニューロンの応答特性はＲ
ＯＭまたはＲＡＭに記録されているので、これらのメモ
リに書込むデータを変えることによりどのような応答特
性も自由にかつ容易に設定できる。さらにＡＬＵは一切
用いられていないのでニューロンの応答特性の計算が簡
潔である。
【００４５】上述のネットワークにおいて複数の加算回
路と乗算回路を用いて一連の処理をパイプライン制御
し、高速処理を実現することもできる。また上述のネッ
トワークにおいてＲＯＭ５６を複数個使用して並列処理
をさせることもできる。
路と乗算回路を用いて一連の処理をパイプライン制御
し、高速処理を実現することもできる。また上述のネッ
トワークにおいてＲＯＭ５６を複数個使用して並列処理
をさせることもできる。
【００４６】図６を参照して正則化ネットワークの最適
化を行なう学習回路の実施の形態を説明する。まず実施
の形態の学習回路の構成について説明する。ニューラル
ネットワーク６００は、乱数を記憶するメモリ６１、カ
ウンタ回路６２Ａ、６２Ｂ、６２Ｃ、６２Ｄ、および６
２Ｅを含み、カウンタ回路６２Ａは全学習ループを計数
し、カウンタ回路６２Ｂは摂動を加えるべき学習ループ
間隔を計数する。カウンタ回路６２Ｃ、６２Ｄ、６２Ｅ
はｃh 、βh 、θhiの学習ループ回数を計数する。ニュ
ーラルネットワーク６００はレジスタ６３Ａ、６３Ｂ、
６３Ｃ、６３Ｄ、６３Ｅ、６３Ｆ、６３Ｇ、６３Ｈ、６
３Ｉ、６３Ｊ、および６３Ｋを含む。レジスタ６３Ａ、
６３Ｂ、および６３Ｃはｃh 、βh 、θhiの学習更新値
を記憶し、学習開始時には適当な初期値が記憶されてお
り、図４のＲＡＭ４２と同じものである。レジスタ６３
Ｄ、６３Ｅ、６３Ｆはある学習ループと前回の学習ルー
プにおけるｃh 、βh 、θhiの変動を記憶する。レジス
タ６３Ｇはニューラルネットワークが出力すべきターゲ
ット値を記憶する。レジスタ６３Ｈは許容誤差Ｅ（targ
et）を記憶する。レジスタ６３Ｉは３ビットのフラグレ
ジスタであり、（０，０，１）はｃh 、（０，１，０）
はβh 、（１，０，０）はθhiの学習ループに対応す
る。また、（０，０，０）は学習終了を表わす。レジス
タ６３Ｊは学習率を記憶し、レジスタ６３Ｋは運動量因
子を記憶する。
化を行なう学習回路の実施の形態を説明する。まず実施
の形態の学習回路の構成について説明する。ニューラル
ネットワーク６００は、乱数を記憶するメモリ６１、カ
ウンタ回路６２Ａ、６２Ｂ、６２Ｃ、６２Ｄ、および６
２Ｅを含み、カウンタ回路６２Ａは全学習ループを計数
し、カウンタ回路６２Ｂは摂動を加えるべき学習ループ
間隔を計数する。カウンタ回路６２Ｃ、６２Ｄ、６２Ｅ
はｃh 、βh 、θhiの学習ループ回数を計数する。ニュ
ーラルネットワーク６００はレジスタ６３Ａ、６３Ｂ、
６３Ｃ、６３Ｄ、６３Ｅ、６３Ｆ、６３Ｇ、６３Ｈ、６
３Ｉ、６３Ｊ、および６３Ｋを含む。レジスタ６３Ａ、
６３Ｂ、および６３Ｃはｃh 、βh 、θhiの学習更新値
を記憶し、学習開始時には適当な初期値が記憶されてお
り、図４のＲＡＭ４２と同じものである。レジスタ６３
Ｄ、６３Ｅ、６３Ｆはある学習ループと前回の学習ルー
プにおけるｃh 、βh 、θhiの変動を記憶する。レジス
タ６３Ｇはニューラルネットワークが出力すべきターゲ
ット値を記憶する。レジスタ６３Ｈは許容誤差Ｅ（targ
et）を記憶する。レジスタ６３Ｉは３ビットのフラグレ
ジスタであり、（０，０，１）はｃh 、（０，１，０）
はβh 、（１，０，０）はθhiの学習ループに対応す
る。また、（０，０，０）は学習終了を表わす。レジス
タ６３Ｊは学習率を記憶し、レジスタ６３Ｋは運動量因
子を記憶する。
【００４７】ニューラルネットワーク６００はニューラ
ルネットワーク入出力特性計算部６４を含み、これは図
４に示したニューラルネットワーク入出力特性計算部４
０１と同じものである。またニューラルネットワーク６
４はガウス関数の入出力特性を記憶したメモリ部を含
む。またニューラルネットワーク６００は乗算器６５、
加算器６６、制御回路６７、および比較器６８を含む。
ルネットワーク入出力特性計算部６４を含み、これは図
４に示したニューラルネットワーク入出力特性計算部４
０１と同じものである。またニューラルネットワーク６
４はガウス関数の入出力特性を記憶したメモリ部を含
む。またニューラルネットワーク６００は乗算器６５、
加算器６６、制御回路６７、および比較器６８を含む。
【００４８】次にこの正則化ネットワークの最適化を行
なう学習回路の動作について説明する。入力ベクトルＸ
が入力されるとニューラルネットワーク入出力特性計算
部６４に転送され、出力Ｆ（Ｘ）が出力される。このと
きｃh 、βh 、θhiの値はレジスタ６３Ａ、６３Ｂ、６
３Ｃから読出される。Ｆ（Ｘ）とレジスタ６３Ｇに記憶
されたターゲット値との差が加算器６６で計算され、レ
ジスタ回路に保存される。この差の二乗は乗算器６５で
計算され、その値もレジスタ回路に保存される。フラグ
レジスタ６３Ｉの状態に応じて乗算器６５、加算器６６
を用いて（１０）式に示した演算を実行する。カウンタ
回路６２Ｂで規定される回数ごとにメモリ６１から乱数
が読出され、その値が（１０）式に加えられる。ガウス
関数値はニューラルネットワーク入出力特性計算部６４
に含まれているガウス関数特性を記憶しているメモリを
使用し、ｃh 、βh 、θhiの反復ループ数はカウンタ回
路６２Ｃ、６２Ｄ、６２Ｅに指定された回数と等しくな
るごとに、ｃh →βh →θ hi→ｃh のように循環する。
各パラメータの更新の各時点においてニューラルネット
ワーク入出力特性計算部６４によりＦ（ｘ）が計算さ
れ、かつＦ（ｘ）とターゲット値との誤差の二乗が計算
されるが、この誤差とレジスタ６３Ｈに記憶されたＥ
（target）とを比較器６８に入力し、誤差が許容誤差よ
りも小さくなるか、またはカウンタ回路６２Ａで計数さ
れるカウント数がＮ（max ）に等しくなると、制御回路
６７が学習を終了させ、その旨をＣＰＵに通信する。
なう学習回路の動作について説明する。入力ベクトルＸ
が入力されるとニューラルネットワーク入出力特性計算
部６４に転送され、出力Ｆ（Ｘ）が出力される。このと
きｃh 、βh 、θhiの値はレジスタ６３Ａ、６３Ｂ、６
３Ｃから読出される。Ｆ（Ｘ）とレジスタ６３Ｇに記憶
されたターゲット値との差が加算器６６で計算され、レ
ジスタ回路に保存される。この差の二乗は乗算器６５で
計算され、その値もレジスタ回路に保存される。フラグ
レジスタ６３Ｉの状態に応じて乗算器６５、加算器６６
を用いて（１０）式に示した演算を実行する。カウンタ
回路６２Ｂで規定される回数ごとにメモリ６１から乱数
が読出され、その値が（１０）式に加えられる。ガウス
関数値はニューラルネットワーク入出力特性計算部６４
に含まれているガウス関数特性を記憶しているメモリを
使用し、ｃh 、βh 、θhiの反復ループ数はカウンタ回
路６２Ｃ、６２Ｄ、６２Ｅに指定された回数と等しくな
るごとに、ｃh →βh →θ hi→ｃh のように循環する。
各パラメータの更新の各時点においてニューラルネット
ワーク入出力特性計算部６４によりＦ（ｘ）が計算さ
れ、かつＦ（ｘ）とターゲット値との誤差の二乗が計算
されるが、この誤差とレジスタ６３Ｈに記憶されたＥ
（target）とを比較器６８に入力し、誤差が許容誤差よ
りも小さくなるか、またはカウンタ回路６２Ａで計数さ
れるカウント数がＮ（max ）に等しくなると、制御回路
６７が学習を終了させ、その旨をＣＰＵに通信する。
【００４９】なお、多層パーセプトロンの学習の場合
も、上に述べたものと全く同じ技術思想において実現す
ることができる。
も、上に述べたものと全く同じ技術思想において実現す
ることができる。
【００５０】以上のようにデジタル方式によってニュー
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるＥ［Ｆ］の極小点への補則を乱数によ
って防止し、ネットワークの出力誤差が十分に小さくな
るように学習を実行することができ、さらにハードウェ
アによる学習によって計算時間を減少させることができ
る。
ラルネットワークがハードウェア化されるとともに、勾
配降下法におけるＥ［Ｆ］の極小点への補則を乱数によ
って防止し、ネットワークの出力誤差が十分に小さくな
るように学習を実行することができ、さらにハードウェ
アによる学習によって計算時間を減少させることができ
る。
【図１】実施の形態のニューラルネットワーク入出力特
性計算部である正則化ネットワークにおける処理の流れ
を示すフローチャートである。
性計算部である正則化ネットワークにおける処理の流れ
を示すフローチャートである。
【図２】実施の形態のニューラルネットワーク入出力特
性計算部である３層パーセプトロンにおける処理の流れ
を示すフローチャートである。
性計算部である３層パーセプトロンにおける処理の流れ
を示すフローチャートである。
【図３】実施の形態の学習過程における処理の流れを示
すフローチャートである。
すフローチャートである。
【図４】実施の形態のニューラルネットワーク入出力特
性計算部である正則化ネットワークのブロック図であ
る。
性計算部である正則化ネットワークのブロック図であ
る。
【図５】実施の形態のニューラルネットワーク入出力特
性計算部である３層パーセプトロンのブロック図であ
る。
性計算部である３層パーセプトロンのブロック図であ
る。
【図６】実施の形態のニューラルネットワークのブロッ
ク図である。
ク図である。
４１ 制御部 ３２，４２，５２ ＲＡＭ ４４Ａ，４４Ｂ，４４Ｃ 加算回路 ４５Ａ，４５Ｂ，４５Ｃ 乗算回路 ３６，４６，５６ ＲＯＭ ４８，５８ 第１の合成回路 ４９，５９ 第２の合成回路 ３０１ 合成回路 ６００ ニューラルネットワーク ６４ ニューラルネットワーク入出力特性計算部 ６１ メモリ ６５ 乗算回路 ６６ 加算回路 ６７ 制御回路 ６８ 比較器
Claims (1)
- 【請求項１】 ニューラルネットワークの基本構成単位
としての基底関数の関数値を記録可能な第１の記憶手
段、ニューラルネットワークの構造を特定するパラメー
タの学習値および更新値を記録可能な第２の記憶手段、
前記ニューラルネットワークへの入力値と前記第２の記
憶手段から読出されたパラメータの学習値との積和を乗
算回路および加算回路によって合成する第１の合成手
段、ならびに前記第１の合成手段の合成値を前記第１の
記憶手段へのアドレスとして入力して読出された前記関
数値と前記第２の記憶手段から読出されたパラメータの
学習値との積和を乗算回路および加算回路によって合成
し当該合成した値をニューラルネットワーク入出力特性
計算部の出力値とする第２の合成手段を含むニューラル
ネットワーク入出力特性計算部と、 前記ニューラルネットワークの構造を特定するパラメー
タの最適値学習手段とを含み、 前記パラメータの最適値学習手段は、 （１） ニューラルネットワークの学習値のための入力
ベクトルおよび出力ターゲットベクトル、ならびにニュ
ーラルネットワークの構造を特定するパラメータの変動
値を記録可能な第３の記憶手段と、 （２） 前記入力ベクトルを前記ニューラルネットワー
ク入出力特性計算部に入力して得られる出力値と前記出
力ターゲットベクトルとの差に基づいてニューラルネッ
トワークの構造を特定するパラメータの仮の更新値を計
算する乗算回路および加算回路と、 （３） 前記仮の更新値の計算に使用する乱数の発生手
段と、 （４） 前記乱数発生手段から読出された乱数を前記仮
の更新値に加算して前記パラメータの更新値を計算する
回路部分とを含み、 前記（１）〜（４）による前記パラメータの更新値の計
算を所定の条件が成立するまで繰返させる制御回路とを
含むニューラルネットワーク。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7263833A JPH09106390A (ja) | 1995-10-12 | 1995-10-12 | ニューラルネットワーク |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7263833A JPH09106390A (ja) | 1995-10-12 | 1995-10-12 | ニューラルネットワーク |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09106390A true JPH09106390A (ja) | 1997-04-22 |
Family
ID=17394864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7263833A Pending JPH09106390A (ja) | 1995-10-12 | 1995-10-12 | ニューラルネットワーク |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09106390A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114207694A (zh) * | 2019-08-14 | 2022-03-18 | 日本电信电话株式会社 | 秘密梯度下降法计算方法、秘密深度学习方法、秘密梯度下降法计算系统、秘密深度学习系统、秘密计算装置及程序 |
-
1995
- 1995-10-12 JP JP7263833A patent/JPH09106390A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114207694A (zh) * | 2019-08-14 | 2022-03-18 | 日本电信电话株式会社 | 秘密梯度下降法计算方法、秘密深度学习方法、秘密梯度下降法计算系统、秘密深度学习系统、秘密计算装置及程序 |
| CN114207694B (zh) * | 2019-08-14 | 2024-03-08 | 日本电信电话株式会社 | 秘密梯度下降法计算方法及系统、秘密深度学习方法及系统、秘密计算装置、记录介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4979126A (en) | Neural network with non-linear transformations | |
| Lachhwani | Application of neural network models for mathematical programming problems: a state of art review | |
| US5390136A (en) | Artificial neuron and method of using same | |
| Bishop | Exact calculation of the Hessian matrix for the multilayer perceptron | |
| US5781701A (en) | Neural network and method of using same | |
| Zhang et al. | Convergence of gradient method with momentum for two-layer feedforward neural networks | |
| Tyagi et al. | Fuzzy C-means clustering based construction and training for second order RBF network | |
| US5283855A (en) | Neural network and method for training the neural network | |
| Ponnapalli et al. | A formal selection and pruning algorithm for feedforward artificial neural network optimization | |
| Chen et al. | Conventional modeling of the multilayer perceptron using polynomial basis functions | |
| WO1993000653A1 (en) | Neural network architecture | |
| US5592589A (en) | Tree-like perceptron and a method for parallel distributed training of such perceptrons | |
| Tang et al. | A columnar competitive model for solving combinatorial optimization problems | |
| Yoon et al. | Efficient genetic algorithms for training layered feedforward neural networks | |
| KR20200020117A (ko) | 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치 | |
| JPH09106390A (ja) | ニューラルネットワーク | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH04229362A (ja) | 学習機械 | |
| Cho et al. | Identification of nonlinear dynamic systems using higher order diagonal recurrent neural network | |
| JP2000276459A (ja) | 学習による変換関数を用いた乱数発生装置，乱数発生方法および乱数発生システム | |
| Basterrech et al. | A more powerful random neural network model in supervised learning applications | |
| JPH05165987A (ja) | 信号処理装置 | |
| Sedykh et al. | Comparison of Learning Hierarchical Dynamic Neuro-neighborhood Models Based on Perceptron and Radial-basic Functions | |
| US20240095533A1 (en) | Machine learning using gradient estimate determined using improved perturbations | |
| Valishevsky | Adaptive learning algorithm for hybrid fuzzy system |