JP2699447B2 - 信号処理装置 - Google Patents
信号処理装置Info
- Publication number
- JP2699447B2 JP2699447B2 JP63232846A JP23284688A JP2699447B2 JP 2699447 B2 JP2699447 B2 JP 2699447B2 JP 63232846 A JP63232846 A JP 63232846A JP 23284688 A JP23284688 A JP 23284688A JP 2699447 B2 JP2699447 B2 JP 2699447B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- value
- input
- layer
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】 Ａ 産業上の利用分野 本発明は、学習機能を有する信号処理装置に関し、特
に、所謂ニューラルネットワーク（Neural Network:神
経回路網）によるバックプロパゲーション（Back propa
gation:逆伝播）学習則に従った学習機能を有する信号
処理装置に関する。
に、所謂ニューラルネットワーク（Neural Network:神
経回路網）によるバックプロパゲーション（Back propa
gation:逆伝播）学習則に従った学習機能を有する信号
処理装置に関する。
Ｂ 発明の概要 本発明は、ニューラルネットワークによるバックプロ
パゲーション学習則に従った学習機能を有する信号処理
装置において、学習レートを入力の値に応じて動的に変
化させることにより、高速でしかも安定した学習を行う
ことができるようにしたものである。
パゲーション学習則に従った学習機能を有する信号処理
装置において、学習レートを入力の値に応じて動的に変
化させることにより、高速でしかも安定した学習を行う
ことができるようにしたものである。
Ｃ 従来の技術 ニューラルネットワークの学習アルゴリズムであるバ
ックプロパゲーション学習則『「Parallel Distributed
Processing」Vol.1 The MIT Press1986や日経エレクト
ロニクス1987年８月10日号,No.427.pp115−124等参照』
は、第３図に示すように、入力層（31）と出力層（33）
の間に中間層（32）を有する多層構造のニューラルネッ
トワークに適用され、高速画像処理やパターン認識等の
各種の信号処理への応用が試みられている。
ックプロパゲーション学習則『「Parallel Distributed
Processing」Vol.1 The MIT Press1986や日経エレクト
ロニクス1987年８月10日号,No.427.pp115−124等参照』
は、第３図に示すように、入力層（31）と出力層（33）
の間に中間層（32）を有する多層構造のニューラルネッ
トワークに適用され、高速画像処理やパターン認識等の
各種の信号処理への応用が試みられている。
すなわち、第３図に示すように、このニューラルネッ
トワークを構成する各ユニット（uj）は、ユニット
（ui）からユニット（uj）への結合係数wjiで結合され
るユニット（ui）の出力値oiの総和netjを例えばsigmoi
d関数などの所定の関数ｆで変換された値ojを出力す
る。すなわち、パターンｐの値が入力層の各ユニット
（uj）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（uj）の出力値opjは、 なる第１式で表される。
トワークを構成する各ユニット（uj）は、ユニット
（ui）からユニット（uj）への結合係数wjiで結合され
るユニット（ui）の出力値oiの総和netjを例えばsigmoi
d関数などの所定の関数ｆで変換された値ojを出力す
る。すなわち、パターンｐの値が入力層の各ユニット
（uj）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（uj）の出力値opjは、 なる第１式で表される。
そして、入力層（31）から出力層（33）へ向かって、
各ニューロンに対応するユニット（uj）の出力値を順次
計算していくことで、上記出力層（33）のユニット
（uj）の出力値opjが得られる。
各ニューロンに対応するユニット（uj）の出力値を順次
計算していくことで、上記出力層（33）のユニット
（uj）の出力値opjが得られる。
バックプロパゲーション学習アルゴリズムにおいて
は、パターンｐを与えたときの、出力層（33）の各ユニ
ット（uj）の実際の出力値opjと望ましい出力値tpjすな
わち教師信号との二乗誤差の総和Ep を極小化するように、結合係数wjiを変える学習処理を
出力層（33）から入力層（31）へ向かって順次に行うこ
とにより、教師信号の値tpjに最も近い出力値opjが上記
出力層（33）のユニット（uj）から出力されるようにな
る。
は、パターンｐを与えたときの、出力層（33）の各ユニ
ット（uj）の実際の出力値opjと望ましい出力値tpjすな
わち教師信号との二乗誤差の総和Ep を極小化するように、結合係数wjiを変える学習処理を
出力層（33）から入力層（31）へ向かって順次に行うこ
とにより、教師信号の値tpjに最も近い出力値opjが上記
出力層（33）のユニット（uj）から出力されるようにな
る。
そして、二乗誤差の総和Epを小さくする結合係数wji
の変化量Δpwjiを、 と決めると、上記第３式は、 Δwji＝η・δpj・opi ……第４式 に変形することができる（この過程は上述の文献を参
照）。
の変化量Δpwjiを、 と決めると、上記第３式は、 Δwji＝η・δpj・opi ……第４式 に変形することができる（この過程は上述の文献を参
照）。
ここで、ηは学習レート（定数）で、ユニットの数や
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（uj）のもつ誤差値である。
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（uj）のもつ誤差値である。
従って、上記変化量Δwjiを決定するためには、上記
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（uj）
の誤差値δpjは、 δpj＝（tpj−opj）ｆ′ｊ（netj） ……第５式 なる第５式で与えられ、中間層のユニット（uj）の誤差
値δpjは、そのユニット（uj）が結合されている各ユニ
ット（uk）（この例では出力層の各ユニット）の結合係
数wkjおよび誤差値δpkを用いて、 なる再帰関数にて計算される（上記第５式および第６式
を求める過程は上述の文献を参照）。
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（uj）
の誤差値δpjは、 δpj＝（tpj−opj）ｆ′ｊ（netj） ……第５式 なる第５式で与えられ、中間層のユニット（uj）の誤差
値δpjは、そのユニット（uj）が結合されている各ユニ
ット（uk）（この例では出力層の各ユニット）の結合係
数wkjおよび誤差値δpkを用いて、 なる再帰関数にて計算される（上記第５式および第６式
を求める過程は上述の文献を参照）。
なお、上記ｆ′ｊ（netj）は、出力関数fj（netj）の
微分値である。
微分値である。
そして、変化量Δwjiは、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 Δwji(n+1)＝η・δpj・opi＋α・Δwji(n) ……第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
ための安定化定数である。
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 Δwji(n+1)＝η・δpj・opi＋α・Δwji(n) ……第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
ための安定化定数である。
そして、この学習を繰り返し行い、出力値opjと教師
信号の値tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点が学習を完了するようにしていた。
信号の値tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点が学習を完了するようにしていた。
Ｄ 発明が解決しようとする課題 ところで、上述の如きバックプロパゲーション学習則
をニューラルネットワークに採用した従来の信号処理装
置では、ニューロンに対応するユニットの数や層数さら
には入出力の値等から上述の学習定数ηを経験的に決定
して、上述の第７式を用いて一定の学習レートで学習を
行っていたので、出力値opjと教師信号の値tpjとの二乗
誤差の総和Epが十分に小さくなり学習を完了するまでに
要する学習の繰り返し回数ｎが膨大な値になってしま
い、効率の良い学習を行うことができなという問題点が
あった。
をニューラルネットワークに採用した従来の信号処理装
置では、ニューロンに対応するユニットの数や層数さら
には入出力の値等から上述の学習定数ηを経験的に決定
して、上述の第７式を用いて一定の学習レートで学習を
行っていたので、出力値opjと教師信号の値tpjとの二乗
誤差の総和Epが十分に小さくなり学習を完了するまでに
要する学習の繰り返し回数ｎが膨大な値になってしま
い、効率の良い学習を行うことができなという問題点が
あった。
そこで、本発明は、上述の如き従来の実情に鑑み、バ
ックプロパゲーション学習則をニューラルネットワーク
に採用して効率の良い学習を行うことができるようにす
ることを目的とし、学習レートを入力の値に応じて動的
に変化させて、高速でしかも安定した学習を行うことが
できるようにした新規な構成の信号処理装置を提供する
ものである。
ックプロパゲーション学習則をニューラルネットワーク
に採用して効率の良い学習を行うことができるようにす
ることを目的とし、学習レートを入力の値に応じて動的
に変化させて、高速でしかも安定した学習を行うことが
できるようにした新規な構成の信号処理装置を提供する
ものである。
Ｅ 課題を解決するための手段 本発明は、上述の目的を達成するために、それぞれニ
ューロンに対応する信号処理を行う複数のユニットにて
構成された入力層、中間層および出力層を備える信号処
理部と、上記入力層に入力される入力信号パターンに対
する上記出力層の出力値と教師信号として与えられる所
望の出力値との誤差情報δjiに基づいて上記各ユニット
の間の結合の強さの係数wjiを上記出力層側から上記入
力層側に向かって順次に繰り返し計算し、上記結合の強
さの係数wjiの学習処理を行う学習処理部とを備える信
号処理装置において、上記学習処理部は、上記結合の強
さの係数wjiの変化量Δwjiをη・β（δpjopi）に基づ
いてて算出し（ただし、ηは学習定数、βは学習変数、
αは安定変定数）、 wji＝wji＋Δwji ……第８式 なる第８式にて示される結合の強さの係数wjiを上記信
号処理部の各ユニットに与え、上記各ユニットにおける
入力値opiの二乗和に１を加えた値の逆数にて第９式の
ように示される上記学習変数β にて上記学習定数ηを正規化した学習レートにて上記結
合の強さの係数wjiの学習処理を行うことを特徴として
いる。
ューロンに対応する信号処理を行う複数のユニットにて
構成された入力層、中間層および出力層を備える信号処
理部と、上記入力層に入力される入力信号パターンに対
する上記出力層の出力値と教師信号として与えられる所
望の出力値との誤差情報δjiに基づいて上記各ユニット
の間の結合の強さの係数wjiを上記出力層側から上記入
力層側に向かって順次に繰り返し計算し、上記結合の強
さの係数wjiの学習処理を行う学習処理部とを備える信
号処理装置において、上記学習処理部は、上記結合の強
さの係数wjiの変化量Δwjiをη・β（δpjopi）に基づ
いてて算出し（ただし、ηは学習定数、βは学習変数、
αは安定変定数）、 wji＝wji＋Δwji ……第８式 なる第８式にて示される結合の強さの係数wjiを上記信
号処理部の各ユニットに与え、上記各ユニットにおける
入力値opiの二乗和に１を加えた値の逆数にて第９式の
ように示される上記学習変数β にて上記学習定数ηを正規化した学習レートにて上記結
合の強さの係数wjiの学習処理を行うことを特徴として
いる。
Ｆ 作用 本発明に係る信号処理装置では、各ユニットにおける
入力値opiの二乗和にいき値として１を加えた値の逆数
にて示される学習変数βにて学習定数ηを正規化するこ
とにより、学習レートを上記入力値opiに応じて動的に
変化させて、各ユニット間の結合の強さの係数wjiの学
習処理を行う。
入力値opiの二乗和にいき値として１を加えた値の逆数
にて示される学習変数βにて学習定数ηを正規化するこ
とにより、学習レートを上記入力値opiに応じて動的に
変化させて、各ユニット間の結合の強さの係数wjiの学
習処理を行う。
Ｇ 実施例 以下、本発明の一実施例について、図面に従い詳細に
説明する。
説明する。
本発明に係る信号処理装置は、その構成を第１図のブ
ロック図に概念的に示してあるように、入力信号パター
ンｐから出力値opjを得るための信号処理部（10）と、
上記信号処理部（10）にて入力信号パターンｐから所望
の出力値tpjに最も近い出力値opjを得るための学習を行
う学習処理部（20）にて構成されている。
ロック図に概念的に示してあるように、入力信号パター
ンｐから出力値opjを得るための信号処理部（10）と、
上記信号処理部（10）にて入力信号パターンｐから所望
の出力値tpjに最も近い出力値opjを得るための学習を行
う学習処理部（20）にて構成されている。
上記信号処理部（10）は、ニューラルネットワークに
て構成され、少なくとも入力層（LI）と中間層（LH）と
出力層（L0）の３層構造になっており、各層（LI），
（LH），（L0）がそれぞれニューロンに対応する任意の
個数x,y,zのユニット（uI1〜uIx），（uH1〜uHy），（u
01〜u0z）にて構成されている。
て構成され、少なくとも入力層（LI）と中間層（LH）と
出力層（L0）の３層構造になっており、各層（LI），
（LH），（L0）がそれぞれニューロンに対応する任意の
個数x,y,zのユニット（uI1〜uIx），（uH1〜uHy），（u
01〜u0z）にて構成されている。
上記各ユニット（uI1〜uIx），（uH1〜uHy），（u01
〜u0z）は、 なる入力の総和netjに対して、θｊをしきい値とする なる第11式のsigmoid関数にて示される出力値opjを与え
るようになっている。
〜u0z）は、 なる入力の総和netjに対して、θｊをしきい値とする なる第11式のsigmoid関数にて示される出力値opjを与え
るようになっている。
また、上記学習処理部（20）は、上記信号処理部（1
0）に入力される入力信号パターンｐに対する上記出力
層（L0）の出力値o0jが、教師信号として与えられる所
望の出力値tpjに最も近い値になるように、第２図のフ
ローチャートに示すような手順で、上記出力層（L0）側
から上記入力層（LI）側に向かって上記各ユニット（u
I1〜uIx），（uH1〜uHy），（u01〜u0z）の間の結合の
強さの係数wjiを順次に繰り返し計算し、上記所望の出
力値tpjと上記出力値o0jとの二乗誤差の総和Epを十分に
小さくするように、上記結合係数wjiの学習処理を行
う。
0）に入力される入力信号パターンｐに対する上記出力
層（L0）の出力値o0jが、教師信号として与えられる所
望の出力値tpjに最も近い値になるように、第２図のフ
ローチャートに示すような手順で、上記出力層（L0）側
から上記入力層（LI）側に向かって上記各ユニット（u
I1〜uIx），（uH1〜uHy），（u01〜u0z）の間の結合の
強さの係数wjiを順次に繰り返し計算し、上記所望の出
力値tpjと上記出力値o0jとの二乗誤差の総和Epを十分に
小さくするように、上記結合係数wjiの学習処理を行
う。
すなわち、上記学習処理部（20）は、先ず、ステップ
１において、上記各ユニット（uH1〜uHy），（u01〜
u0z）に結合係数wjiを与えて、上記信号処理部（10）に
おける入力信号パターンｐに対する上記出力層（L0）の
出力値o0jの算出処理を行い、次のステップ２にて、上
記出力値o0jについて、教師信号として与えられる上記
所望の出力値tpjと上記出力値o0jとの二乗誤差の総和Ep
に基づいて収束条件の判定動作を行う。
１において、上記各ユニット（uH1〜uHy），（u01〜
u0z）に結合係数wjiを与えて、上記信号処理部（10）に
おける入力信号パターンｐに対する上記出力層（L0）の
出力値o0jの算出処理を行い、次のステップ２にて、上
記出力値o0jについて、教師信号として与えられる上記
所望の出力値tpjと上記出力値o0jとの二乗誤差の総和Ep
に基づいて収束条件の判定動作を行う。
上記ステップ２の判定動作では、上記信号処理部（1
0）の出力層（L0）に得られる出力値oojが上記所望の出
力値tpjに最も近い値になっているか否かを判定する。
上記ステップ２の判定動作の結果が「YES」すなわち上
記二乗誤差の総和Epが十分に小さくなり、上記出力値o
0jが上記所望の出力値tpjに最も近い値になっている場
合には学習処理を完了し、その判定結果が「NO」の場合
にはステップ３ないしステップ６の各算出処理を順番に
行う。
0）の出力層（L0）に得られる出力値oojが上記所望の出
力値tpjに最も近い値になっているか否かを判定する。
上記ステップ２の判定動作の結果が「YES」すなわち上
記二乗誤差の総和Epが十分に小さくなり、上記出力値o
0jが上記所望の出力値tpjに最も近い値になっている場
合には学習処理を完了し、その判定結果が「NO」の場合
にはステップ３ないしステップ６の各算出処理を順番に
行う。
上記ステップ３の算出処理では、上記信号処理部（1
0）の各ユニット（uH1〜uHy），（u01〜u0z）の誤差値
δpjを算出する。このステップ３の算出処理において、
上記出力層（L0）の各ユニット（u01〜u0z）の誤差値δ
0jは、 δ0j＝（tpj−o0j）o0j（１−o0j） ……第12式 なる第12式にて与え、また、上記中間層（LH）の各ユニ
ット（uH1〜uHy）誤差値δpjは、 なる第13式にて与えられる。
0）の各ユニット（uH1〜uHy），（u01〜u0z）の誤差値
δpjを算出する。このステップ３の算出処理において、
上記出力層（L0）の各ユニット（u01〜u0z）の誤差値δ
0jは、 δ0j＝（tpj−o0j）o0j（１−o0j） ……第12式 なる第12式にて与え、また、上記中間層（LH）の各ユニ
ット（uH1〜uHy）誤差値δpjは、 なる第13式にて与えられる。
次に、ステップ４の算出処理では、上記各ユニット
（uH1〜uHy），（u01〜u0z）に対するｉ番目のユニット
からｊ番目のユニットへの結合の強さの係数wjiの学習
変数βｊを全入力の二乗和にいき値として１を加えた値
の逆数にて示す なる第14式にて算出する。
（uH1〜uHy），（u01〜u0z）に対するｉ番目のユニット
からｊ番目のユニットへの結合の強さの係数wjiの学習
変数βｊを全入力の二乗和にいき値として１を加えた値
の逆数にて示す なる第14式にて算出する。
さらに、ステップ５の算出処理では、学習定数をη、
エラーの振動を減らして収束を速めるための安定化定数
をαとして、上記学習変数βｊを用いて上記各ユニット
（uH1〜uHy），（u01〜u0z）に対するｉ番目のユニット
からｊ番目のユニットへの結合係数wjiの変化量Δw
jiを、 Δwji(n+1)＝η・β（δpjopi）＋α・Δwji(n) ……第15式 なる第15式にて算出する。
エラーの振動を減らして収束を速めるための安定化定数
をαとして、上記学習変数βｊを用いて上記各ユニット
（uH1〜uHy），（u01〜u0z）に対するｉ番目のユニット
からｊ番目のユニットへの結合係数wjiの変化量Δw
jiを、 Δwji(n+1)＝η・β（δpjopi）＋α・Δwji(n) ……第15式 なる第15式にて算出する。
そして、ステップ６の算出処理では、上記ステップ５
において算出された上記結合係数wjiの変化量Δwjiに基
づいて、第16式に示すように、上記各ユニット（uH1〜u
Hy），（u01〜u0z）の結合係数wjiを wji＝wji＋Δwji ……第16式 に変更する。
において算出された上記結合係数wjiの変化量Δwjiに基
づいて、第16式に示すように、上記各ユニット（uH1〜u
Hy），（u01〜u0z）の結合係数wjiを wji＝wji＋Δwji ……第16式 に変更する。
そして、上記ステップ１に戻って、上記信号処理部
（10）における入力信号パターンｐに対する上記出力層
（L0）の出力値o0jの算出処理を行う。
（10）における入力信号パターンｐに対する上記出力層
（L0）の出力値o0jの算出処理を行う。
この学習処理部（20）は、上述のステップ１ないしス
テップ６の動作を繰り返し行い、上記教師信号として与
えられる所望の出力値tpjと上記出力値o0jとの二乗誤差
の総和Epが十分に小さくなり、上記信号処理部（10）の
出力層（L0）に得られる出力値oojが上記所望の出力値t
pjに最も近い値になると、上記ステップ２の判定動作に
より、学習処理を完了する。
テップ６の動作を繰り返し行い、上記教師信号として与
えられる所望の出力値tpjと上記出力値o0jとの二乗誤差
の総和Epが十分に小さくなり、上記信号処理部（10）の
出力層（L0）に得られる出力値oojが上記所望の出力値t
pjに最も近い値になると、上記ステップ２の判定動作に
より、学習処理を完了する。
この実施例の信号処理装置のように、上記各ユニット
（uH1〜uHy），（u01〜u0z）において入力値opiの二乗
和にいき値として１を加えた値の逆数にて示される上記
学習変数βにて学習定数ηを正規化することにより、学
習レートを上記入力値opiに応じて動的に変化させて、
上記結合の強さの係数wjiの学習処理を行うことによっ
て、学習回数ｎを従来の学習処理の1/4〜1/10に大幅に
減少させて、高速で安定に学習を行うことができる。
（uH1〜uHy），（u01〜u0z）において入力値opiの二乗
和にいき値として１を加えた値の逆数にて示される上記
学習変数βにて学習定数ηを正規化することにより、学
習レートを上記入力値opiに応じて動的に変化させて、
上記結合の強さの係数wjiの学習処理を行うことによっ
て、学習回数ｎを従来の学習処理の1/4〜1/10に大幅に
減少させて、高速で安定に学習を行うことができる。
なお、第15式における学習定数ηおよび安定化定数α
を全入力パターンに対する誤差の最大値Emaxの関数とし
て第17式および第18式のように表して、 η＝a Emax ……第17式 α＝−b Emax＋ｃ ……第18式 （a,b,cは定数） これらを動的に変更することで、より高速の学習処理を
行うことができる。
を全入力パターンに対する誤差の最大値Emaxの関数とし
て第17式および第18式のように表して、 η＝a Emax ……第17式 α＝−b Emax＋ｃ ……第18式 （a,b,cは定数） これらを動的に変更することで、より高速の学習処理を
行うことができる。
Ｈ 発明の効果 本発明に係る信号処理装置では、各ユニットにおける
入力値opiの二乗和にいき値として１を加えた値の逆数
にて示される上記学習変数βにて学習定数ηを正規化す
ることにより、学習レートを上記入力値opiに応じて動
的に変化させて、上記結合の強さの係数wjiの学習処理
を行うので、高速でしかも安定した学習を行うことがで
きる。
入力値opiの二乗和にいき値として１を加えた値の逆数
にて示される上記学習変数βにて学習定数ηを正規化す
ることにより、学習レートを上記入力値opiに応じて動
的に変化させて、上記結合の強さの係数wjiの学習処理
を行うので、高速でしかも安定した学習を行うことがで
きる。
第１図は本発明に係る信号処理装置の構成を概念的に示
すブロック図、第２図は上記信号処理装置を構成する学
習処理部における学習処理過程を示すフローチャートで
ある。 第３図はバックプロッパゲーション学習則の適用される
ニューラルネットワークの一般的な構成を示す模式図で
ある。 （10）……信号処理部 （20）……学習処理部 （LI）……入力層 （LH）……中間層 （L0）……出力層 （uI1〜uIZ），（uH1〜uHZ），（u02〜u0z）……ユニッ
ト
すブロック図、第２図は上記信号処理装置を構成する学
習処理部における学習処理過程を示すフローチャートで
ある。 第３図はバックプロッパゲーション学習則の適用される
ニューラルネットワークの一般的な構成を示す模式図で
ある。 （10）……信号処理部 （20）……学習処理部 （LI）……入力層 （LH）……中間層 （L0）……出力層 （uI1〜uIZ），（uH1〜uHZ），（u02〜u0z）……ユニッ
ト
Claims (1)
- 【請求項１】それぞれニューロンに対応する信号処理を
行う複数のユニットにて構成された入力層、中間層およ
び出力層を備える信号処理部と、上記入力層に入力され
る入力信号パターンに対する上記出力層の出力値と教師
信号として与えられる所望の出力値との誤差情報δjiに
基づいて上記各ユニットの間の結合の強さの係数wjiを
上記出力層側から上記入力層側に向かって順次に繰り返
し計算し、上記結合の強さの係数wjiの学習処理を行う
学習処理部とを備える信号処理装置において、 上記学習処理部は、上記結合の強さの係数wjiの変化量
Δwjiをη・β（δpj・opi）に基づいて算出し（ただ
し、ηは学習定数、βは学習変数）、 wji＝wji＋Δwji なる結合の強さの係数wjiを上記信号処理部の各ユニッ
トに与え、上記各ユニットにおける入力値opiの二乗和
に１を加えた値の逆数にて示される上記学習変数β にて上記学習定数ηを正規化した学習レートにて上記結
合の強さの係数wjiの学習処理を行うことを特徴とする
信号処理装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63232846A JP2699447B2 (ja) | 1988-09-17 | 1988-09-17 | 信号処理装置 |
| US07/406,733 US5093899A (en) | 1988-09-17 | 1989-09-13 | Neural network with normalized learning constant for high-speed stable learning |
| EP89402544A EP0360674B1 (en) | 1988-09-17 | 1989-09-15 | Signal processing system and learning processing system |
| DE68929102T DE68929102T2 (de) | 1988-09-17 | 1989-09-15 | Lernverarbeitungssystem |
| EP94107842A EP0612033B1 (en) | 1988-09-17 | 1989-09-15 | learning processing system |
| DE68924822T DE68924822T2 (de) | 1988-09-17 | 1989-09-15 | Signalverarbeitungssystem und Lernverarbeitungssystem. |
| US07/727,871 US5129039A (en) | 1988-09-17 | 1991-07-10 | Recurrent neural network with variable size intermediate layer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63232846A JP2699447B2 (ja) | 1988-09-17 | 1988-09-17 | 信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0281161A JPH0281161A (ja) | 1990-03-22 |
| JP2699447B2 true JP2699447B2 (ja) | 1998-01-19 |
Family
ID=16945721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63232846A Expired - Lifetime JP2699447B2 (ja) | 1988-09-17 | 1988-09-17 | 信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2699447B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9972305B2 (en) | 2015-10-16 | 2018-05-15 | Samsung Electronics Co., Ltd. | Apparatus and method for normalizing input data of acoustic model and speech recognition apparatus |
| US10714077B2 (en) | 2015-07-24 | 2020-07-14 | Samsung Electronics Co., Ltd. | Apparatus and method of acoustic score calculation and speech recognition using deep neural networks |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5598509A (en) * | 1992-08-28 | 1997-01-28 | Hitachi, Ltd. | Method of configuring a neural network and a diagnosis/recognition system using the same |
| US5627941A (en) * | 1992-08-28 | 1997-05-06 | Hitachi, Ltd. | Method of configuring a neural network and a diagnosis/control system using the neural network |
-
1988
- 1988-09-17 JP JP63232846A patent/JP2699447B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会技術研究報告 Ｖｏｌ．８８ Ｎｏ．２０８ Ｐ４９−５５（ＭＢＥ８８−６０）１９８８ |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10714077B2 (en) | 2015-07-24 | 2020-07-14 | Samsung Electronics Co., Ltd. | Apparatus and method of acoustic score calculation and speech recognition using deep neural networks |
| US9972305B2 (en) | 2015-10-16 | 2018-05-15 | Samsung Electronics Co., Ltd. | Apparatus and method for normalizing input data of acoustic model and speech recognition apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0281161A (ja) | 1990-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112529166A (zh) | 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备 | |
| JP2699447B2 (ja) | 信号処理装置 | |
| JP3043539B2 (ja) | ニューラル・ネットワーク | |
| JP3169635B2 (ja) | ニューラルネットワーク及びその学習方法 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2979562B2 (ja) | 学習処理装置 | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| JPH0272491A (ja) | 画像変換処理装置 | |
| JP2606317B2 (ja) | 学習処理装置 | |
| JPH05128284A (ja) | ニユーロプロセツサ | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JP3393511B2 (ja) | 文字認識装置及び方法 | |
| JP3172164B2 (ja) | ニューラルネットワークにおける結合のグループ単位逐次学習方式 | |
| JPH0696046A (ja) | ニューラルネットワークの学習処理装置 | |
| JPH06231106A (ja) | リカレント型ニューラルネットワーク学習方法及び装置 | |
| JPH01282672A (ja) | ニューラルネットワーク装置 | |
| JPH04501327A (ja) | パターン伝達ニューラルネットワーク | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| Larsen et al. | Artificial neural networks for plasma x‐ray spectroscopic analysis | |
| JP3172163B2 (ja) | ニューラルネットワークにおける結合のグループ単位学習調整方式 | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| Limtrakul et al. | Artificial neural network optimization using differential evolution algorithm with adaptive weight bound adjustment for pattern classification | |
| JPH11175494A (ja) | ニューラルネットワーク | |
| JP2766858B2 (ja) | ニューラルネットワーク並列シミュレーション方法及びそれに用いる装置 | |
| Heinz | On a class of constructible neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |