JP2897220B2 - 信号処理装置 - Google Patents

Description

【発明の詳細な説明】 Ａ 産業上の利用分野 本発明は、学習機能を有する信号処理装置に関し、特
に、所謂ニューラルネットワーク（Neural Network:神
経回路網）によるバックプロパゲーション（Back propa
gation:逆伝播）学習則に従った学習機能を有する信号
処理装置に関する。

Ｂ 発明の概要 本発明は、ニューラルネットワークによるバックプロ
パゲーション学習則に従った学習機能を有する信号処理
装置において、ニューロンに対応する各ユニットによる
リカレント回路網にて入力信号に対する信号処理を行う
ことにより、上記リカレント回路網の結合状態の学習に
て、時間軸上で変動する音声信号等のシーケンシャルな
時系列パターンの特徴を抽出できるようにしたものであ
る。

Ｃ 従来の技術 ニューラルネットワークの学習アルゴリズムであるバ
ックプロパゲーション学習則『「Parallel Distributed
Processing」Vol.1 The MIT Press 1986や日経エレク
トロニクス1987年８月10日号,No.427.pp115−123等参
照』は、第４図に示すように、入力層（31）と出力層
（33）の間に中間層（32）を有する多層構造のニューラ
ルネットワークに適用され、高速画像処理やパターン認
識等の各種の信号処理への応用が試みられている。

すなわち、第４図に示すように、このニューラルネッ
トワークを構成する各ユニット（u_j）は、ユニット
（u_i）からユニット（u_j）への結合係数w_jiで結合され
るユニット（u_i）の出力値o_iの総和net_jを例えばsigmoi
d関数などの所定の関数ｆで変換された値o_jを出力す
る。すなわち、パターンｐの値が入力層の各ユニット
（u_j）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（u_j）の出力値o_pjは、 なる第１式で表される。

そして、入力層（31）から出力層（33）へ向かって、
各ニューロンに対応するユニット（u_j）の出力値を順次
計算していくことで、上記出力層（33）のユニット
（u_j）の出力値o_pjが得られる。

バックプロパゲーション学習アルゴリズムにおいて
は、パターンｐを与えたときの、出力層（33）の各ユニ
ット（u_j）の実際の出力値o_pjと望ましい出力値t_pjすな
わち教師信号との二乗誤差の総和E_p を極小化するように、結合係数w_jiを変える学習処理を
出力層（33）から入力層（31）へ向かって順次に行うこ
とにより、教師信号の値t_pjに最も近い出力値o_pjが上記
出力層（33）のユニット（u_j）から出力されるようにな
る。

そして、二乗誤差の総和E_pを小さくする結合係数w_ji
の変化量Δw_jiを、 Δw_ji∝−∂E_p/∂w_ji ……第３式 と決めると、上記第３式は、 Δw_ji＝η・δ_pi・o_pi ……第４式 に変形することができる（この過程は上述の文献を参
照）。

ここで、ηは学習レート（定数）で、ユニットの数や
層の数さらには入出力の値等から経験的に決定される。
また、δ_piはユニット（u_j）のもつ誤差値である。

従って、上記変化量Δw_jiを決定するためには、上記
誤差値δ_pjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（u_j）
の誤差値δ_pjは、 δ_pj＝（t_pj−o_pj）ｆ′_ｊ（net_j） ……第５式 なる第５式で与えられ、中間層のユニット（u_j）の誤差
δ_pjは、そのユニット（u_j）が結合されている各ユニッ
ト（u_k）（この例では出力層の各ユニット）の結合係数
w_kjおよび誤差δ_pkを用いて、 なる再帰関数にて計算される（上記第５式および第６式
を求める過程は上述の文献を参照）。

なお、上記ｆ′_ｊ（net_j）は、出力関数f_j（net_j）の
微分値である。

そして、変化量Δw_jiは、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 Δw_ji(n+1)＝η・δ_pj・o_pi＋α・Δw_ij(n) ……第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
ための安定化定数である。

そして、この学習を繰り返し行い、出力o_pjと教師信
号の値t_pjとの二乗誤差の総和E_pが十分に小さくなった
時点で学習を完了するようにしていた。

Ｄ 発明が解決しようとする課題 ところで、上述の如きバックプロパゲーション学習則
を採用した従来の信号処理装置では、ニューロンに対応
する各ユニットによるフィードフォワード結合だけの回
路網として構成されていたので、上記回路網の結合状態
を入力信号と教師信号から学習することによって入力信
号パターンの特徴を抽出する場合に、時間軸上で変動す
る音声信号等のシーケンシャルな時系列パターンの特徴
抽出を行うことが困難であった。

そこで、本発明は、上述の如き従来の実情に鑑み、ニ
ューロンに対応する各ユニットにて構成される回路網の
結合状態の学習により、時間軸上で変動する音声信号等
のシーケンシャルな時系列パターンの特徴を抽出できる
ようにすることを目的とし、ニューロンに対応する各ユ
ニットによるリカレント回路網を備える新規な構成の信
号処理装置を提供するものである。

Ｅ 課題を解決するための手段 本発明は、それぞれニューロンに対応する信号処理を
行う複数のユニットにて構成された入力層、中間層およ
び出力層を備える信号処理部と、上記入力層に入力され
る入力信号パターンに対する上記出力層の出力層と教師
信号として与えられる所望の出力値との誤差情報に基づ
いて上記各ユニットの間の結合の強さの係数を上記出力
層側から上記入力層側に向かって順次に繰り返し計算
し、上記結合の強さの係数の学習処理を行う学習処理部
とを備える信号処理装置において、上記中間層および出
力層の各ユニットにそれぞれ遅延手段を設け、上記中間
層および出力層の各ユニットの出力をそれぞれ遅延手段
を介して自己の入力とするループと、上記出力層の各ユ
ニットの出力を上記中間層の各ユニットへの入力とする
フィードバックとを含むリカレント回路網にて、上記信
号処理部を構成したことを特徴としている。

Ｆ 作用 本発明に係る信号処理装置では、それぞれ遅延手段を
有する中間層および出力層の各ユニットでループおよび
フィードバックを含むリカレント回路網を構成した信号
処理部にて入力信号に対する信号処理を行い、学習処理
部は上記信号処理部を構成している各ユニットによるリ
カレント回路網の結合状態の学習を教師信号に基づいて
行う。

Ｇ 実施例 以下、本発明の一実施例について、図面に従い詳細に
説明する。

本発明に係る信号処理装置は、その構成を第１図のブ
ロック図に概念的に示してあるように、入力信号パター
ンｐから出力値o_pjを得るための信号処理部（10）と、
上記信号処理部（10）にて入力信号パターンｐから所望
の出力値t_pjに最も近い出力値o_pjを得るための学習を行
う学習処理部（20）にて構成されている。

上記信号処理部（10）は、第２図に示すように、少な
くとも入力層（L_I）と中間層（L_H）と出力層（L₀）の３
層構造のニューラルネットワークにて構成され、各層
（L_I），（L_H），（L₀）がそれぞれニューロンに対応す
る任意の個数x,y,zのユニット（u_I1〜u_Ix），（u_H1〜u
_Hy），（u₀₁〜u_0z）にて構成されている。上記中間層
（L_H）および出力層（L₀）の各ユニット（u_H1〜u_Hy），
（u₀₁〜u_0z）は、それぞれ遅延手段を備え、その出力値
o_j(t)を上記遅延手段を介して自己の入力とするループ
（LP）および他のユニットの入力とするフィードバック
（FB）を含むリカレント回路網を構成している。

上記信号処理部（10）において、上記入力層（L_I）の
各ユニット（u_I1〜u_Ix）に入力される入力信号パターン
ｐに対して、上記中間層（L_H）の各ユニット（u_H1〜
u_Hy）は、その入力の総和net_jが、 なる第８式にて与えられ、この入力の総和net_jに対し
て、 なる第９式のsigmoid関数にて示される出力値o_Hj(t)を
与える。

さらに、上記出力層（L₀）の各ユニット（u₀₁〜u_0z）
は、その入力の総和net_jが、 なる第10式にて与えられ、この入力の総和net_jに対し
て、 なる第11式にて示される出力値o_0j(t)を与える。

ここで、上記θ_ｊはしきい値、NI,NH,NOは、上記各層
（L_I），（L_H），（L₀）の遅延手段の数をそれぞれ示し
ている。

また、上記学習処理部（20）は、上記信号処理部（1
0）に入力される１サンプルがＸ個で示され時間軸上で
変動するＲ個の入力信号パターンp_(xr)に対する上記出
力層（L₀）の出力値o_0jが、教師信号パターンとして与
えられる所望の出力値t_zrに最も近い値になるように、
第３図のフローチャートに示す手順で、上記出力層
（L₀）側から上記入力層（L_I）側に向かって上記各ユニ
ット（u₀₁〜u_0z），（u_H1〜u_Hy），（u_I1〜u_Ix）の間の
結合の強さ係数w_jiを順次に繰り返し計算し、教師信号
として与えられる所望の出力値t_pjと上記出力層（L₀）
の出力値o_ojとの二乗誤差の総和LMSを十分に小さくする
ように、上記結合係数w_jiの学習処理を行う。

すなわち、上記学習処理部（20）は、先ず、ステッス
１では、上記入力層（L_I）の各ユニット（u_I1〜u_Ix）に
入力信号パターンp_xrを与える。そして、ステップ２で
は、上記入力信号パターンp_xrに対する上記中間層
（L_H）および出力層（L₀）の各ユニット（u_H1〜u_Hy），
（u₀₁〜u_0z）の各出力値o_pj(t)を算出する計算処理を行
う。

次に、ステップ３では、上記教師信号パターンとして
与えられる所望の出力値t_zrと上記各出力値o_pj(t)に基
づいて、上記出力層（L₀）側から上記入力層（L_I）側に
向かって上記各ユニット（u₀₁〜u_0z），（u_H1〜u_Hy）の
誤差値δ_pjを算出する計算処理を行う。

上記ステップ３における計算処理では、上記出力層
（L₀）の各ユニット（u₀₁〜u_0z）の誤差値δ_0jが、 δ_0j＝（t_pj−o_0j）o_0j（１−o_0j） ……第12式 なる第12式にて与えられ、また、上記中間層（L_H）の各
ユニット（u_H1〜u_Hy）の誤差値δ_pjが、 なる第13式にて与えられる。

次に、ステップ４では、上記ユニット（u_I1〜u_Ix），
（u_H1〜u_Hy），（u₀₁〜u_0z）に対するｉ番目のユニット
からｊ番目のユニットへの結合の強さの係数w_jiの学習
変数β_ｊを各入力値の二乗和にいき値として１を加えた
値の逆数にて示す なる第14式にて算出する計算処理を行う。

さらに、ステップ５では、上記ステップ５にて算出し
た学習変数β_ｊを用いて上記各ユニット（u₀₁〜u_0z），
（u_H1〜u_Hy），（u_I1〜u_Ix）に対するｉ番目のユニット
からｊ番目のユニットへの結合係数w_jiの変化量Δw
_jiを、 Δw_ji(n)＝η・β（δ_pjo_pi） ……第15式 なる第15式にて算出するとともに、教師信号に対する各
ユニットの二乗誤差の総和LMSを なる第16式にて算出する計算処理を行う。なお、上記第
15式におけるηは学習定数である。

次の、ステップ６では、Ｒ個の入力信号パターンp_xr
について上記ステップ１からステップ６までの処理を行
ったか否かの判定を行い、その判定結果が「NO」である
場合には上記ステップ１に戻り、また、その判定結果が
「YES」すなわち上記Ｒ個の入力信号パターンp_xrについ
て上記各ユニット（u₀₁〜u_0z），（u_H1〜u_Hy），（u_I1
〜u_Ix）間の結合係数w_jiの変化量Δw_jiを全て計算した
ら、ステップ７に移り上記出力層（L₀）にて得られる上
記出力値o_0jについて収束条件の判定動作を教師信号と
して与えられる所望の出力値t_pjと上記出力値o_0jとの二
乗誤差の総和LMSに基づいて行う。

上記ステップ７の判定動作では、上記信号処理部（1
0）の出力層（L₀）に得られる出力値o_0jが教師信号とし
て与えられる所望の出力値t_pjに最も近い値になってい
るか否かを判定する。上記ステップ７の判定動作の結果
が「YES」の場合すなわち上記二乗誤差の総和LMSが十分
に小さくなって、上記出力値o_0jが上記所望の出力値t_pj
に最も近い値になっている場合には学習処理を完了し、
その判定結果が「NO」の場合にはステップ８の計算処理
に移る。

そして、ステップ８の計算処理では、上記ステップ５
において算出された上記結合係数w_jiの変化量Δw_jiに基
づいて、上記ユニット（u₀₁〜u_0z），（u_H1〜u_Hy），
（u_I1〜u_Ix）間の結合係数w_jiを次の第17式および第18
式を用いて変更する。

Δw_ji(n)＝Δw_ji(n)＋αΔw_ji(n-1) ……第17式 w_ji(n+1)＝w_ji(n)＋Δw_ji(n) ……第18式 そして、上記ステップ８の算出処理後に上記ステップ
１に戻って、上記ステップ１からステップ６までの処理
動作を繰り返し行う。

この学習処理部（20）は、上述のステップ１ないしス
テップ８の動作を繰り返し行い、上記所望の出力値t_pj
と上記出力値o_0jとの二乗誤差の総和E_pが十分に小さく
なり、上記信号処理部（10）の出力層（L₀）に得られる
出力値o_0jが教師信号として与えられる所望の出力値t_pj
に最も近い値になると、上記ステップ７の判定動作によ
り、学習処理を完了する。

この実施例の信号処理装置では、上述のようにループ
（LP）およびフィードバック（FB）を含むリカレント回
路網を構成している上記信号処理部（10）の上記各ユニ
ット（u₀₁〜u_0z），（u_H1〜u_Hy），（u_I1〜u_Ix）間の結
合係数w_jiについて、教師信号として与えられる所望の
出力値t_pjに基づいて上記学習処理部（20）にて学習す
るので、時間軸上で変動する音声信号等のシーケンシャ
ルな時系列入力信号パターンp_xrについても、その特徴
を上記学習処理部（20）による学習処理にて確実に抽出
することができる。従って、上記学習処理部（20）によ
る学習結果として得られる結合係数w_jiにて上記信号処
理部（10）の上記各ユニット（u₀₁〜u_0z），（u_H1〜
u_Hy），（u_I1〜u_Ix）の結合状態を設定することによっ
て、上記信号処理部（10）にて上記時系列入力信号パタ
ーンp_xrに対して所望の信号処理を施すことができる。

しかも、この実施例の信号処理装置では、上記各ユニ
ット（u_H1〜u_Hy），（u₀₁〜u_0z）において入力値のo_pi
の二乗和の逆数にて示される上記学習変数βにて学習定
数ηを正規化することにより、学習レートを上記入力値
o_piに応じて動的に変化させて、上記結合の強その係数w
_jiの学習処理を行うことによって、学習回数ｎを従来の
学習処理の1/4〜1/10に大幅に減少させて、高速で安定
に学習を行うことができた。

Ｈ 発明の効果 本発明に係る信号処理装置では、それぞれ遅延手段を
有する中間層および出力層の各ユニットでループおよび
フィードバックを含むリカレント回路網を構成した信号
処理部にて入力信号に対する信号処理を行い、学習処理
部は上記信号処理部を構成している各ユニットによりリ
カレント回路網の結合状態の学習を教師信号に基づいて
行うので、時間軸上で変動する音声信号等のシーケンシ
ャルな時系列パターンについても、その特徴を上記学習
処理部における学習処理にて抽出して、所望の信号処理
を上記信号処理部にて施すことができる。

【図面の簡単な説明】

第１図は本発明に係る信号処理装置の構成を概念的に示
すブロック図、第２図は上記信号処理装置の信号処理部
の構成を示すニューラルネットワークの一般的な構成を
示す模式図、第３図は上記信号処理装置を構成する学習
処理部における学習処理過程を示すフローチャートであ
る。 第４図はバックプロッパゲーション学習則の適用される
ニューラルネットワークの一般的な構成を示す模式図で
ある。 （10）……信号処理部 （20）……学習処理部 （L₁）……入力層 （L_H）……中間層 （L₀）……出力層 （u_I1〜u_Ix），（u_H1〜u_Hy），（u₀₁〜u_0z）……ユニッ
ト

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 アレックス ワイベル、「時間遅れ神 経回路網（ＴＤＮＮ）による音韻認識」 電子情報通信学会技術研究報告、Ｖｏ ｌ．87，Ｎｏ．299（ＳＰ87−100）ｐ. 19−24 麻生英樹「ニューラルネットワーク情 報処理」産業図書株式会社 ｐ．114 （1988．６) 甘利俊一「神経回路網の数理」産業図 書 ｐ．301−ｐ．303（1978) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】それぞれニューロンに対応する信号処理を
   行う複数のユニットにて構成された入力層、中間層およ
   び出力層を備える信号処理部と、上記入力層に入力され
   る入力信号パターンに対する上記出力層の出力値と教師
   信号として与えられる所望の出力値との誤差情報に基づ
   いて上記各ユニットの間の結合の強さの係数を上記出力
   層側から上記入力層側に向かって順次繰り返し計算し、
   上記結合の強さの係数の学習処理を行う学習処理部とを
   備える信号処理装置において、 上記中間層および出力層の各ユニットにそれぞれ遅延手
   段を設け、上記中間層および出力層の各ユニットの出力
   をそれぞれ遅延手段を介して自己の入力とするループ
   と、上記出力層の各ユニットの出力を上記中間層の各ユ
   ニットへの入力とするフィードバックとを含むリカレン
   ト回路網にて、上記信号処理部を構成したことを特徴と
   する信号処理装置。