JPH05181829A - 信号処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 ランダムノイズの影響が小さく、かつ、並列
分散的に高速の信号処理が可能な信号処理装置を提供す
る。 【構成】 複数の入力パタ−ンを記憶する第１のメモリ
１１と、この第１のメモリ１１と同様に複数の入力パタ
ーンを記憶する第２のメモリ１２と、第１のメモリ１１
に記憶されたパターンによって前記ニューロンユニット
群を学習する手段１５と、学習されたニューロン群に対
して第２のメモリー１２に記憶されているパターンによ
って学習する手段１５を有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クによる信号処理に関するものである。

【０００２】

【従来の技術】従来、階層型ニューラルネットワークに
よって信号処理を行なう場合には、処理したい信号の特
徴を含んだサンプルデータを用いて、そのサンプルデー
タ信号に対して、望ましい出力信号が得られるように、
例えば一般化デルタルール（「ＰＤＰモデル・認知科学
とニューロン回路網の探索、第８章」Ｄ．Ｅ．ラメルハ
ート，Ｊ．Ｌ．マクレランド，ＰＤＰリサーチグループ
著、甘利俊一監訳、産業図書（１９８９））などによっ
て、各ニューロンユニットの重みや閾値が求められてい
る。そして、上記のようにして求められた重みや閾値を
有するニューロンユニットによって構成されたニューラ
ルネットワークに、処理対象である信号を入力すること
によって、希望する信号処理を実行している。しかしな
がら、入力信号にホワイトノイズのようなランダムなノ
イズが混入し、ニューラルネットワークの出力として得
られる信号が、入力のノイズの影響を受けたくない場合
であっても、上記の方法で、サンプルデータとしてノイ
ズを含んだデータによって各ニューロンユニットの重み
や閾値パラメータを求めることは、ランダムノイズには
確率的な特徴が無いため有効ではない。そこで例えば画
像予測修正装置（特開平２−２８４５９０号公報）にお
いては、画像信号をニューラルネットワークに入力する
以前に、ランダムノイズを減少させるようにフィルタリ
ング処理を行なっている。

【０００３】

【発明が解決しようとする課題】上記のように階層型ニ
ューラルネットワークによって信号処理を行なう場合、
入力信号に混入したランダムノイズによる影響を少なく
するには、信号がニューラルネットワークに入力する以
前にフィルタリング処理を行なう。ところがフィルタリ
ング処理では、元々の信号に含まれる高周波成分が減少
され、フィルタリング後の波形が歪むことになる。ま
た、出力層にも非線形な飽和単調関数型のニューロンユ
ニットで構成される階層型ニューラルネットワークで
は、出力信号の大きさによってノイズの影響が異なる。

【０００４】本発明は、上記のような課題に着目してな
されたものであり、その目的とするところは、ランダム
ノイズの影響が小さく、かつ、並列分散的に高速の信号
処理が可能な信号処理装置を提供することにある。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の信号処理装置は、複数の入力信号パター
ンを記憶する第１のメモリと、出力層を構成するニュー
ロンユニットが線形ニューロンユニットである階層型ニ
ューラルネットワークと、前記第１のメモリに記憶され
た信号パターンと、第２のメモリに記憶されている信号
パターンにより前記ニューラルネットワークを学習する
手段と、前記ニューラルネットワークの出力層の１つ前
の層に属するニューロンユニットの出力を記憶する第３
のメモリと、この第３のメモリに記憶された信号パター
ンと、前記第２のメモリに記憶された信号パターンによ
り、前記階層型ニューラルネットワークの出力層に属す
る線形ニューロンユニットの重み及び閾値パラメータを
決定する決定手段とを具備する。

【０００６】

【作用】すなわち、本発明においては、第１のメモリに
記憶された入力信号パターンと、第２のメモリに記憶さ
れている前記入力信号パターンに対応する信号パターン
により、階層型ニューラルネットワークを学習して、出
力層に属する以外のニューロンユニットの重み及び閾値
パラメータを求め、次に、前記の学習が完了した時点で
の、前記第１のメモリに記憶されているパターンに対す
る出力層の１つ前の層のニューロンユニットの出力を第
３のメモリに記憶し、この第３のメモリに記憶されたデ
ータと、第２のメモリに記憶されているデータによって
出力層に属する各線形ニューロンユニットに属する重み
及び閾値パラメータを決定する。そして、以上のように
求められた各ニューロンユニットの重み及び閾値パラメ
ータを有するニューラルネットワークによって信号処理
を実行する。

【０００７】

【実施例】まず、本発明の一実施例に係る信号処理装置
の概略を説明する。

【０００８】本実施例の信号処理装置は、複数の入力パ
ターンを記憶する第１のメモリと、出力層を構成するニ
ューロンユニットが、線形ニューロンユニットである階
層型ニューラルネットワークと、前記第１のメモリに記
憶されたパターン信号と、第２のメモリに記憶されてい
る教師パターン信号により前記ニューラルネットワーク
を学習する手段と、前記ニューラルネットワークの出力
層の１つ前の層に属するニューロンユニットの前記第１
のメモリに記憶されたパターンに対する出力を記憶する
第３のメモリと、前記第３のメモリに記憶された、出力
層の１つ前の層の出力信号と、第２のメモリに記憶され
ている教師パターン信号により、前記ニューラルネット
ワークの出力層に属するニューロンユニットの重みおよ
び閾値パラメータを決定する決定手段を有する。

【０００９】上記の構成により入力に含まれるランダム
ノイズの影響が小さい信号処理装置が実現できる理論的
背景を説明する。信号処理を実現するニューラルネット
ワークは、処理後の信号に何らかの確率的なかたよりが
ない限り、通常、線形ニューロンユニットを用いる。
今、ｒ個の線形ニューロンユニットが並列接続されたニ
ューロンユニット群を考える（図７）。入力はｎ次元ベ
クトルとし、この入力ベクトルを ｘ＝［Ｘ₁ ，Ｘ₂ ，…，Ｘ_n ］^T （Ａ−１）

【００１０】で表わす。（Ａ−１）式の括弧の右上のＴ
はベクトル又は行列の転置を表わす。学習パターン数は
ｍとする。図７の各線形ニューロンユニット３０ａ〜３
０ｄは独立しているので、説明を簡単にするため、１個
の線形ニューロンユニット３０ｃについて説明する。ニ
ューロンの重みベクトルを Ｗ＝［Ｗ₁ ，…，Ｗ_n ］^T とし、 （Ａ−２） 学習マトリックスを Ｘ＝［ｘ₁ ，ｘ₂ ，…，ｘ_m ］^T （Ａ−３） とする。上記学習マトリックスＸに対する線形ニューロ
ンユニットの出力ｙは、 ｙ＝Ｘ^T Ｗ （Ａ−４） となる。ここでｙ＝［ｙ₁ ，…，ｙ_m ］^T である。一
方、学習ベクトル｛ｘ₁ ，…，ｘ_m ｝に対する線形ニュ
ーロンユニットの望ましい出力ｄを ｄ＝［ｄ₁ ，…，ｄ_m ］^T （Ａ−５） とする。また、学習ベクトル｛ｘ₁ ，…，ｘ_m ｝に対す
る線形ニューロンユニット３０ｃの出力の二乗誤差を Ｅ＝（ｙ−ｄ）² ／２ （Ａ−６）

【００１１】で定義する。学習をδルール学習法とよば
れる、Ｅを小さくするようにＷを最急降下法により変化
させる。すなわち、ｋ＋１学習サイクル目における重み
Ｗ（ｋ＋１）は、ｋ学習サイクル目の重みＷ（ｋ）によ
って

【００１２】

【数１】 で表わさせる。ここでＥの偏微分は次式で表わされ、ε
は学習係数と呼ばれるものである。

【００１３】

【数２】 また、ＥのＷ_i による偏微分は次のようになる。

【００１４】

【数３】 ここでｘ_jiは学習ベクトルｘ_j のｉ番目の要素である。
式（Ａ−８）をベクトル形式で書くと、

【００１５】

【数４】 と表わさせる。ここで式（Ａ−１０）を式（Ａ−７）に
代入すると、 Ｗ（ｋ＋１）＝Ｗ（ｋ）−εＸＸ^T Ｗ（ｋ）−εＸｄ （Ａ−１１） となる。学習マトリックスＸを特異値分解すると以下の
ようになる。

【００１６】

【数５】 ここでＲは学習マトリックスＸのランクであり、Ｒ≦
ｎ，Ｒ≦ｍである。また｛λ_i ｝は負でない値であり、
λ₁ ≧λ₂ ≧…≧λ_R ＞０となるように大きい順に並べ
られている。｛Ｕ_i ｝は ＸＸ^T Ｕ_i ＝λ_i ² Ｕ_i （Ａ−１３） を満たす固有ベクトルであり、｛Ｖ_i ｝は Ｘ^T ＸＶ_i ＝λ_i ² Ｖ_i （Ａ−１４） を満たす固有ベクトルである。式（Ａ−１２）より以下
の関係が導かれる。 Ｘ^T Ｕ_i ＝λ_i Ｖ_i （ｉ＝１，…，Ｒ） Ｘ^T Ｕ_i ＝０ （ｉ＝Ｒ＋１，…，ｎ） Ｘ^T Ｖ_i ＝λ_i Ｕ_i （ｉ＝１，…，Ｒ） ＸＶ_i ＝０ （ｉ＝Ｒ＋１，…，ｍ） （Ａ−１５） Ｗ（ｋ）を｛Ｕ_i ｝、ｄを｛Ｖ_i ｝で展開すると、

【００１７】

【数６】 ここで、式（Ａ−１６）を式（Ａ−１１）に代入すると
次式が得られる。

【００１８】

【数７】 さらに｛Ｕ_i ｝の正規直交性より、 α₁ （ｋ＋１）＝（１−ελ_i ² ）α_i （ｋ）＋εβ_i λ_i （ｉ＝１，…，Ｒ） α_i （ｋ＋１）＝α_i （ｋ） （ｉ＝Ｒ＋１，…，ｎ） （Ａ−１８） となる。式（Ａ−１８）の上の式の両辺より α＝（１−ελ_i ² ）α＋εβ_i λ_i （Ａ−１９） で定義されるαを引くと、 α_i （ｋ＋１）−α＝（１−ελ_i ² ）（α_i （ｋ）−α） （ｉ＝１，…，Ｒ） （Ａ−２０） となる、式（Ａ−２０）は、α_i （ｋ）−αが、公比
（１−ελ_i ² ）である等比級数であることを示してい
る。よって α_i （ｋ）−α＝（α_i （０）−α）（１−ελ_i ² ）^k （Ａ−２１） となる。ここでα_i （０）は、式（Ａ−１６）で定義さ
れた重みの初期値のｉ番目の展開係数である。α＝β_i
／λ_i であることを考慮すると、 α_i （ｋ）＝β_i ／λ_i ＋（α_i （０）−β_i ／λ_i ）（１−ελ_i ² ）^k （Ａ−２２） 式（Ａ−２２）は｜１−ελ_i ² ｜＜１．０の時収束
し、 α_i （∞）＝β_i ／λ_i （ｉ＝１，２，…，Ｒ） （Ａ−２３） となる。式（Ａ−１８）よりα_i （ｉ＝Ｒ＋１，…，
ｎ）は更新されないので α_i （∞）＝α_i （０） （ｉ＝Ｒ＋１，…，ｎ） （Ａ−２４） ここでα_i （∞）は、式（Ａ−１６）による展開係数の
ｉ番目の要素の収束値である。よって、デルタルール学
習による重みの収束値Ｗ（∞）は

【００１９】

【数８】

【００２０】式（Ａ−２５）の第１項は、α_i （０）を
含んでいないので重みの初期値に依存しない。学習ベク
トル｛ｘ_i ｝と、それぞれの学習ベクトルに対する望ま
しい出力｛ｄ_i ｝にのみ依存する。一方、式（Ａ−２
５）の第２項はδルール学習では学習できない項であ
る。

【００２１】次に入力ベクトルｘに対する線形ニューロ
ンユニット３０ｃの出力をｙ，ｘにノイズｎが加わった
場合の線形ニューロンユニット３０ｃの出力をｙ′とす
ると 、 ｙ＝ｘ^T Ｗ （Ａ−２６） ｙ′＝（ｘ＋ｎ）^T Ｗ （Ａ−２７） また、線形ニューロンユニットの出力の分散を Ｖ（ｙ）＝＜｜ｙ′−ｙ｜² ＞ （Ａ−２８） で定義する。ここで＜・＞は集合平均を表わす。式（Ａ
−２６）および式（Ａ−２７）を式（Ａ−２８）に代入
して、 Ｖ（ｙ）＝Ｗ^T ＜ｎｎ^T ＞Ｗ （Ａ−２９） ホワイトノイズの場合には、 ＜ｎｎ^T ＞＝σ² Ｉ_n （Ａ−３０） ここでσ² はノイズｎの分散、Ｉ_n はｎ×ｎの単位行列
を表わす。式（１−１６）を用いてＷを｛Ｕ_i ｝により
展開すると、

【００２２】

【数９】 となる。分散Ｖ（ｙ）を最小とする条件で式（Ａ−２
５）の第２項の展開係数α_i を求めるには、式（Ａ−３
１）を偏微分してその偏微分値を０とすればよい。

【００２３】

【数１０】 よってα_i ＝０となる。すなわち、

【００２４】

【数１１】 一方、学習後の二乗誤差Ｅは式（Ａ−２５）を式（Ａ−
６）に代入して求まる。

【００２５】

【数１２】 式（Ａ−３４）によると、Ｒ＝ｍの時にＥが０となる。
通常Ｅが０となるように学習するのであるからＲ＝ｍで
ある。よって

【００２６】

【数１３】

【００２７】学習後の重みが式（Ａ−３５）となるに
は、全ての重みの初期値を０として学習すればよい。な
ぜならば、全ての重みが０の場合には、式（Ａ−２５）
の右辺の第２項の全ての展開係数α_i （０）が０となる
からである。

【００２８】以上の理論的説明で明らかなように、出力
層が線形ニューロンユニットを有するニューラルネット
ワークの場合には、まず全体のニューラルネットワーク
を学習し、次に出力層のみ全体のニューロンユニットの
結合を０として学習すれば、ホワイトノイズに対する出
力の分散を最小にすることができる。すなわち、信号処
理においてランダムノイズの影響が小さくなる。図１は
第１の実施例に係る信号処理装置の構成図である。

【００２９】本実施例による信号処理装置では、学習モ
ードと実行モードの２つのモードが存在する。学習モー
ドでは、メモリＡ１の学習信号データ、メモリＢ５の教
師信号データ及びメモリＣ４の信号データを用いて、決
定手段としての演算器３により、階層型ニューラルネッ
トワーク２（以下、ニューラルネットワークと呼ぶ）の
各ニューロンユニットの重みパラメータと閾値パラメー
タを決定する。 実行モードでは、学習モードによって
決定された重みパラメータと閾値パラメータを有するニ
ューラルネットワーク２により信号処理を実行する。

【００３０】以下両モードについて詳しく解説するが、
まず、実行モードについて説明する。すでに、学習モー
ドを実行して、ニューラルネットワーク２の各ニューロ
ンユニットの重みパラメータと閾値パラメータが決定さ
れているものとする。

【００３１】入力信号は、ニューラルネットワーク２に
入力する。図２は本実施例におけるニューラルネットワ
ーク２の詳細な構成を示したものである。ニューロンユ
ニット１０ａ〜１０ｃが入力層を構成し、ニューロンユ
ニット１３ａ〜１３ｃが出力層を構成する。入力層のユ
ニット１０ａ〜１０ｃは、入力した信号をそのまま次の
層のニューロンユニットに分配する端子の役目を果たす
だけである。ニューロンユニット１１ａ〜１１ｃは第１
番目の中間層を構成し、ニューロンユニット１２ａ〜１
２ｃは最後の中間層を構成する。中間層の数及び各中間
層に属するニューロンユニットの数は、このニューラル
ネットワークで実行する処理内容によって決められる。
出力層のニューロンユニットは後述する線形ニューロン
ユニットであり、全ての中間層のニューロンユニット
は、後述する非線形ニューロンユニットである。図２に
示すように、ニューロンユニット間の結合は、入力層か
ら出力層へ向って、隣り合う層のニューロンユニット間
で結合している。本実施例の各ニューロンユニット１１
ａ〜１３ｃは式（１）の計算を実行する。

【００３２】

【数１４】

【００３３】ｘ_i （ｉ＝１〜ｎ）はニューロンユニット
のｉ番目の端子への入力信号を表わし、Ｗ_i は前記ｉ番
目の端子の結合の重みを表わす。θはニューロンユニッ
トの閾値を表わし、ｙはニューロンユニットの出力を表
わす。ｎは入力端子の数である。ｆは、線形ニューロン
の場合は、 ｆ（ｘ）＝ｘ （２） であり、非線形ニューロンの場合は、式（３）で示すシ
グモイド関数である。 ｆ（ｘ）＝１／（１＋ｅ^-x） （３）

【００３４】各ニューロンユニット１１ａ〜１２ｃ及
び、１３ａ〜１３ｃのブロック図を図３のニューロンユ
ニット２０として示す。ニューロンユニット２０の各入
力端子に並列に入力した信号はそれぞれメモリ２２ａ〜
２２ｃに記憶されている各入力端子の結合の重みの値
と、乗算器２３ａ〜２３ｃにより積が計算される。すな
わち、乗算器２３ａは、第１番目の入力端子に入力した
信号の値と、メモリ２２ａに記憶されている第１番の入
力端子の結合の重みの値との積を計算する。残りの入力
端子に入力する信号についても第１番目の入力端子に入
力した信号と同様な処理が並列的に実行される。各入力
端子の結合の重みの値が乗ぜられた入力信号は、加算器
２４によって全ての入力端子にわたって同時に足し合わ
され、同時にメモリ２５に記憶されているニューロンユ
ニットの閾値が引かれる。すなわち、加算器２４の出力
は、式（１）の

【００３５】

【数１５】

【００３６】を計算した結果となる。加算器２４の出力
は変換器２６へ送られる。線形ニューロンユニット１３
ａ〜１３ｃの場合には変換器２６は、この変換器２６に
入力した信号をそのままニューロンユニットの出力とし
て出力する。一方、非線形ニューロンユニット１１ａ〜
１２ｃの場合には、変換器２６は、加算器２４より送ら
れてきた信号に対して、メモリ２７に記憶されている式
（３）のｘとｆ（ｘ）との対応関係よりシグモイド関数
による変換が実行され、変換結果が非線形ニューロンユ
ニットの出力として出力する。すなわち、非線形ニュー
ロンユニットでは式（１）が実行されたことになる。

【００３７】ニューラルネットワーク２に入力した信号
は、入力層のユニット１０ａ〜１０ｃによって第１番目
の中間層のニューロンユニット１１ａ〜１１ｃにそのま
ま分配される。第１番目の中間層のニューロンユニット
１１ａ〜１１ｃは、入力ユニット１０ａ〜１０ｃから送
られてきた各入力信号に対して式（１）を並列的に実行
し、実行結果を第２番目の中間層の全てニューロンユニ
ットに送る。第２番目の中間層の各ニューロンユニット
では、第１番目の中間層のニューロンユニットが行なっ
たのと同様の処理が、第１番目の中間層のニューロンユ
ニットから送られてきた信号に対して実行され、実行結
果が第３番目の中間層の全てのニューロンユニットに送
られる。第１番目あるいは第２番目の中間層で行なわれ
た処理が、第３番目以後の中間層についてもくり返され
る。最後の中間層の各ニューロンユニット１２ａ〜１２
ｃの出力は、出力層の全てのニューロンユニット１３ａ
〜１３ｃに送られる。出力層の各ニューロンユニット１
３ａ〜１３ｃは、出力層から送られてきた信号に対し
て、式（４）の処理を実行して、ニューラルネットワー
ク２の出力として出力する。ニューラルネットワーク２
の出力が、本実施例による信号処理装置で処理された出
力である。以下に学習モードについて説明する。

【００３８】学習モードにおいては、まず処理対象のサ
ンプル信号データを所定個数メモリＡ１に取り込み記憶
する。メモリＢ５には、前記メモリＡ１に取り込まれた
サンプル信号データ（学習データとも言う）と同数の教
師データが記憶される。この教師データは、サンプル信
号データに対して、外部のホストコンピュータなどによ
り、ニューラルネットワーク２に実行させるのと同じ処
理を施した信号データである。次に、以下に述べる２段
階の学習過程によってニューラルネットワーク２の各ニ
ューロンユニット１１ａ〜１３ｃの結合の重みと閾値を
決定する。

【００３９】第１段階では、前記メモリＡ１の学習デー
タと前記メモリＢ５の教師データにより一般化デルタル
ール（「ＰＤＰモデル・認知科学とニューロン回路網の
探索、第８章」Ｄ．Ｅ．ラメルハート，Ｊ．Ｌ．マクレ
ランド，ＰＤＰリサーチグループ著、甘利俊一監訳、産
業図書（１９８９））などによって中間層の各ニューロ
ンユニット１１ａ〜１２ｃの結合の重みと閾値が演算器
３により求められる。

【００４０】前記メモリＡ１の各サンプル信号データを
学習ベクトルｘ_p （ｐ＝１〜ｍ）で表わす。この学習ベ
クトルの次元数は、入力信号のサンプル点の数であり、
ニューラルネットワーク２の入力層のユニット数に一致
する。ｍは学習ベクトルの数である。一般化デルタルー
ルでは、

【００４１】

【数１６】

【００４２】が減少するように、中間層と出力層の各ニ
ューロンユニット１１ａ〜１３ｃの重みと閾値を最急降
下法により変化させていく。ここでｙ_p （ｐ＝１〜ｍ）
は、学習ベクトルをニューラルネットワーク２に入力し
た時に得られるニューラルネットワーク２の出力ベクト
ルである。ｄ_p （ｐ＝１〜ｍ）は、前記メモリＢ５に記
憶されている、学習ベクトルｘ_p に対応する教師ベクト
ルである。ｙ_p とｄ_p の次元数はニューラルネットワー
ク２の出力層のニューロンユニット数に一致する。最急
降下法では、各ニューロンユニットの重みの更新量ΔＷ
は

【００４３】

【数１７】 により求めることができる。式（６）の偏微分は簡単に
計算でき、例えば出力層のニューロンユニットｊのｉ番
目の入力端子の重みの更新量ΔＷ_jiは、

【００４４】

【数１８】 で求めることができる。また、出力層の１つ前の中間層
のｉ番目のニューロンユニットのｈ番目の入力端子の重
みの更新量ΔＷ_ihは、

【００４５】

【数１９】

【００４６】で求められる。同様に全ての中間層の重み
は、式（６）の偏微分を計算することにより求めること
ができる。ここでｄ_jpは出力層のｊ番目のニューロンユ
ニットの学習データベクトルｘ_p に対する教師データ、
ｙ_jpは出力ニューロンユニットｊの学習ベクトルｘ_p に
対する出力、ｙ_ipは出力層の１つ前の中間層のｉ番目の
ニューロンユニットの学習データベクトルｘ_p に対する
出力、ｙ_hpは出力層の２つ前の中間層のｈ組のニューロ
ンユニットの出力、ｍは学習データベクトルの数、Ｎは
出力層のニューロンユニットの数である。なお各ニュー
ロンユニット１１ａ〜１３ｃの閾値については、そのニ
ューロンユニットに対して常に−１が入力する端子の重
みとみなせるので、出力層のニューロンユニット１３ａ
〜１３ｃの閾値は式（７）で、また出力層の１つ前の中
間層のニューロンユニット１２ａ〜１２ｃの閾値は式
（８）により求めることができる。出力層の１つ前の中
間層以前の中間層のニューロンユニットの閾値について
も、そのニューロンユニットに対して−１が入力する端
子の重みとして求めることができる。

【００４７】第１段階の学習では、まず各ニューロンユ
ニット１１ａ〜１３ｃの各重みパラメータを乱数で初期
化しておき、式（６）により各重みを更新していく。重
みの更新をくり返し実行し、前記式（５）のＥが十分小
さくなったところで処理を終了する。その時の得られた
重みと閾値を、それぞれ中間層の各ニューロンユニット
１１ａ〜１２ｃのメモリ２２ａ〜２２ｃとメモリ２５に
記憶する。以上により学習モードの第１段階は終了す
る。

【００４８】学習モードの第２段階では、第１段階で決
定した重みと閾値を有する中間層までのニューロンユニ
ットの、メモリＡ１に記憶されている前記学習データベ
クトルに対する出力をそれぞれメモリＣ４に記憶して最
終層に対する学習ベクトルとする。まず、出力層のニュ
ーロンユニット１３ａ〜１３ｃの各重みと閾値を０に初
期化し、式（７）を前記メモリＣ４に記憶されている学
習データベクトルに対してくり返し実行し、式（５）の
Ｅが十分小さくなったところで処理を終了する。得られ
た重みを出力層の各ニューロンユニット１３ａ〜１３ｃ
のメモリ２２ａ〜２２ｃに記憶し、閾値をメモリ２５に
記憶する。以上により学習モードの第２段階が終了す
る。以上述べた２段階の学習により、入力に含まれるラ
ンダムノイズに対して影響の少ない信号処理を実現する
ニューラルネットワーク２が実現できる。以下に、ニュ
ーロンユニット群が単一層であり、かつ、本発明をパタ
ーン分類装置に適用した第２の実施例を説明する。図４
に第２の実施例の全体のブロック図を示す。本実施例の
パターン分類装置では、まず、学習パターンにより、パ
ターン分類器に分類能力を持たせる必要がある。以下学
習過程を説明する。

【００４９】あらかじめ複数の学習パターンが用意され
ているとする。ここで言う学習パターンとは、音声など
の時系列信号あるいは、ＴＶカメラ等によって得られた
画像信号のように空間的広がりをもった画像をスキャン
することによって、１次元時系列信号に変換可能である
ものである。

【００５０】第１の学習パターン信号は、Ａ／Ｄ変換器
１１０によってデジタル化され、ｎ次元のベクトルデー
タとしてメモリＡ１１１及びメモリＢ１１２に記憶され
る。同様に第２番目以後、所定個数の学習データが、Ａ
／Ｄ変換器１１０によりデジタル化され、メモリＡ１１
１及びメモリＢ１１２に記憶される。ここでは、学習デ
ータはｍ個とし、あらかじめ１次独立となるように選ば
れている。引き続き、メモリＢ１１２に記憶されている
ｍ個の学習データに対してノイズ発生器１１３よりノイ
ズが加えられるとともに、さらに同じメモリＢ１１２の
（Ｓ−ｍ）個）のｎ次元ベクトル記憶領域にノイズ発生
器１１３より先の学習データに加えられたものと確率的
特性が同等のノイズが記憶される。すなわち、メモリＢ
１１３には、ノイズが重畳したｍ個の学習データ、この
学習データと同じ次元数のノイズデータ（Ｓ−ｍ）個が
記憶されたことになる。

【００５１】学習の第１ステップでは学習器１１５は、
まず、メモリＢ１１２に記憶されているＳ個のデータを
用いて前出の（Ａ−１１）式をくり返し実行して、パタ
ーン分類器１１４に記憶する重みパラメータを計算す
る。

【００５２】図５はパターン分類器１１４のブロック図
であり、図６は各分類ユニット２２０ａ〜ｃのブロック
図である。上記の（Ａ−１１）式のくり返しの実行は重
みｗの１回の更新量の絶対値｜ｗ（ｋ＋１）−ｗ（ｋ）
｜が所定量より小さくなった時点で終了し、その時得ら
れている重みｗを、学習の第２ステップの重みの初期値
とする。

【００５３】なお、学習の第１ステップの重みの初期値
としては０ベクトルとする。こうすることにより、ノイ
ズ発生器で発生する所定の確率特性を持つノイズに対し
てばかりでなく、ホワイトノイズに対しても加算器の出
力ｙの変動を小さくできる。学習の第２ステップでは、
学習の第１ステップと同様のプロセスが、メモリＡ１１
２に記憶されているｍ個の学習データを用いてくり返さ
れる。そして、（Ａ−１１）式のくり返しの実行は、
（Ａ−６）式の２乗誤差が十分小さくなった時点で終了
し、その時得られた重みの値を各分類ユニット２２０ａ
〜ｃの重みメモリ１３４に格納する。

【００５４】上記の学習の（Ａ−１１）式の望ましい出
力ｄは各分類ユニットごとに、ｍ個の学習データを２つ
のカテゴリーに分類するように定める。通常１方のカテ
ゴリーに属する場合は１とし、もう一方のカテゴリーに
属する場合には０又は−１とする。

【００５５】望ましい出力の値を１と０に決めた場合に
は、閾値を０．５として閾値メモリ１３５に記憶し、望
ましい出力の値を１，−１と決めた場合には、閾値を０
として閾値メモリ１３５に記憶する。

【００５６】また、学習の第１ステップでの望ましい出
力は、各分類ユニットごとにはじめのｍ個については学
習の第２ステップでの望ましい出力の値と同じで、残り
の（Ｓ−ｍ）個については０とする。

【００５７】パターン分類の実行は上記学習過程によっ
て得られた重みと閾値を用いて実行される。入力データ
はＡ／Ｄ変換器１１０によりｎ次元のデジタルデータに
変換されパターン分類器１１４に送られる。パターン分
類器１１４では入力してきたデータは各分類ユニット２
２０ａ〜ｃに分配される。各分類ユニットでは、ｎ次元
データのうち、最初のデータが入力バッファ１３０を通
して入力し、演算器１３１によって重みメモリ１３４の
１番目のデータとの積が計算されレジスタ１３３に記憶
される。次に２番目のデータと重みメモリ１３４の２番
目のデータとの積が計算され、レジスタ１３３に記載さ
れている値に足される。

【００５８】以上のプロセスがｎ個全てのデータについ
て実行されると、レジスタ１３３には（Ａ−４）式のｙ
が記憶されていることになる。この値より閾値メモリ１
３５に記憶されている値を差し引き結果を弁別器１３２
に送る。

【００５９】弁別器１３２では値が０以上の場合１を出
力し、０未満の場合には０又は−１を出力する。なお、
上記の０以上、０未満で弁別器が出力する値は、学習時
の望ましい出力の値と一致するものである。

【００６０】以上のように、学習過程で学習パターンに
ついては望ましい値が出力するように、また、ノイズに
対しては、（Ａ−４）式を演算実施後の分散が小さくな
るように学習されているので、弁別器１３２による誤弁
別は小さくなる。すなわち、ノイズを含んだ入力パター
ンに対して本発明のパターン分類装置は誤分類を小さく
することができる。

【００６１】

【発明の効果】以上詳述したように、本発明の信号処理
装置においては、ランダムノイズを含む入力信号に対し
ても、その入力信号の高周波成分の減少なしにランダム
ノイズの影響を小さくすることができる。さらに、出力
信号の大きさによってランダムノイズの影響の異なる度
合いが小さい。さらに、ニューラルネットワークにより
並列分散的に高速に信号処理が実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示す図である。

【図２】図１のニューラネットワークの詳細な構成を示
す図である。

【図３】ニュ−ロンユニットの構成を示す図である。

【図４】本発明の第２の実施例の構成を示す図である。

【図５】パターン分類器の構成を示す図である。

【図６】各分類ユニットの構成を示す図である。

【図７】ニューロンユニット群の構成を示す図である。

【符号の説明】

１…メモリＡ、２…ニューラルネットワーク、３…演算
器、４…メモリＣ、５…メモリＢ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数の入力信号パターンを記憶する第１
   のメモリと、 出力層を構成するニューロンユニットが線形ニューロン
   ユニットである階層型ニューラルネットワークと、 前記第１のメモリに記憶された信号パターンと、第２の
   メモリに記憶されている信号パターンにより前記ニュー
   ラルネットワークを学習する手段と、 前記ニューラルネットワークの出力層の１つ前の層に属
   するニューロンユニットの出力を記憶する第３のメモリ
   と、 この第３のメモリに記憶された信号パターンと、前記第
   ２のメモリに記憶された信号パターンにより、前記階層
   型ニューラルネットワークの出力層に属する線形ニュー
   ロンユニットの重み及び閾値パラメータを決定する決定
   手段とを有する信号処理装置。