JPH08249303A

JPH08249303A - 信号処理装置

Info

Publication number: JPH08249303A
Application number: JP7052166A
Authority: JP
Inventors: Takahiro Watanabe; 孝宏渡邊
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1995-03-13
Filing date: 1995-03-13
Publication date: 1996-09-27

Abstract

(57)【要約】【目的】ニューラルネットワークの過学習を防止す
る。【構成】所望により組み合わされた学習用の入力信号
と出力信号とによりニューラルネットワーク４を学習さ
せる場合に、学習用の出力信号を予め設定された変換処
理により変換する学習信号変換手段７を設け、ユーザが
設定する学習用の出力信号をニューラルネットワーク４
の学習に適した形態に変換する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クを利用した信号処理装置に関する。

【０００２】

【従来の技術】現在、画像認識、画像分類、音声認識、
音声分類、運動制御、システム制御、知能システムな
ど、フォンノイマンコンピュータでは困難な信号処理を
実行するため、ニューラルネットワークを利用すること
が提案されている。

【０００３】ニューラルネットワークは、多数のニュー
ロンをシナプスにより結合してネットワークを形成した
もので、学習する機能を有する。ニューラルネットワー
クを学習させる場合には、例えば、学習用の信号を入力
して出力信号を教師信号と比較し、この誤差をフィード
バックさせると、これに対応してシナプスの荷重などの
パラメータを変更することにより、より良好な結果を出
力できるように学習する。

【０００４】なお、パーセプトロンでは、入力層と中間
層と出力層とを有する階層構造に対し、評価を出力層に
フィードバックさせるだけなので学習能力が低かった
が、この課題を解決したバックプロパゲーションでは、
評価を出力層から中間層までフィードバックさせるよう
にして学習能力を向上させている。

【０００５】

【発明が解決しようとする課題】上述のような信号処理
装置のニューラルネットワークは、より良好な結果を出
力するように学習することができる。

【０００６】しかし、学習したニューラルネットワーク
は、学習時と同様な信号が入力された場合には適正な信
号を出力するが、予想もしない信号が入力された場合に
は適正な信号が出力されないことがある。このことは、
ニューラルネットワークを学習させるほど顕著となり、
ニューラルネットワークの汎化能力を低下させる過学習
と呼ばれて問題となっている。

【０００７】このような過学習の要因として、ニューラ
ルネットワークの伝達関数の特徴と理想の出力信号との
関係が考えられる。バックプロパゲーションを学習方法
としたニューラルネットワークには、図７に示すよう
に、伝達関数として“ｆ(ｘ)＝１／｛１＋Exp(−ｘ)}”
なるシグモイド関数が設定されていることが一般的であ
る。

【０００８】このようなニューラルネットワークにより
入力信号を三種類に分類する場合、その理想の出力信号
は三つの正規直交ベクトルにより(1，0，0)，(0，1，
0)，(0,0，1）などとして設定される。この場合、ニュ
ーラルネットワークの出力信号は、学習を繰り返すと理
想の出力信号に漸近的に近付くが、誤差が“０”となる
ことはない。

【０００９】しかし、ニューラルネットワークの学習
は、上述のような誤差を“０”にするように実行される
が、誤差の減少は学習した入力信号に対してであり、学
習していない入力信号に対しては誤差が増加する部分が
あるため、過学習が発生して汎化能力が低下する。

【００１０】このような過学習を防止するニューラルネ
ットワークの学習方法が、特開平3-240827号公報や特開
平 3-18965号公報として提案されている。例えば、特開
平3-240827号公報の学習方法では、ニューラルネットワ
ークの入力信号と出力信号との関係に基づいて学習条件
を制御する。また、特開平 3-18965号公報の学習方法で
は、学習用の入力信号に本質的な特徴を与え、固有の特
徴を除去してからニューラルネットワークに入力する。

【００１１】さらに、ニューラルネットワークの汎化能
力を向上させる学習方法の一つが、『Russel Reed “Pr
uning Algorithms - A Survey ”IEEE Trans.Neural Ne
tworks,Vol.4,Vol.5,P740 〜P747』に開示されている。
これは“Pruning Algorithm”を紹介したもので、ニュ
ーラルネットワークの不要な結合を削除する。

【００１２】上述のような学習方法により、ニューラル
ネットワークの汎化能力の向上を期待できるが、何れも
充分ではない。

【００１３】

【課題を解決するための手段】請求項１記載の発明は、
入力信号に対応して出力信号を発生するニューラルネッ
トワークを有し、所望により組み合わされた学習用の入
力信号と出力信号とを入力する学習信号入力手段を設
け、学習用の入力信号に対する前記ニューラルネットワ
ークの出力信号を学習用の出力信号に基づいて評価する
ネットワーク評価手段を設け、この評価結果により前記
ニューラルネットワークを学習させるネットワーク学習
手段を設けた信号処理装置において、前記学習信号入力
手段から前記ネットワーク評価手段に伝達される学習用
の出力信号を予め設定された変換処理により変換する学
習信号変換手段を設けた。

【００１４】請求項２記載の発明は、請求項１記載の発
明において、ニューラルネットワークの出力信号を予め
設定された変換処理により変換する出力信号変換手段を
設けた。

【００１５】請求項３記載の発明は、請求項２記載の発
明において、出力信号変換手段と学習信号変換手段との
変換処理を逆変換とした。

【００１６】請求項４記載の発明は、請求項１，２又は
３記載の発明において、学習信号変換手段の変換処理を
直交変換とした。

【００１７】

【作用】請求項１記載の発明は、学習信号入力手段から
ネットワーク評価手段に伝達される学習用の出力信号
を、学習信号変換手段が予め設定された変換処理によ
り、ニューラルネットワークの学習に適正な形態に変換
する。

【００１８】請求項２記載の発明は、ニューラルネット
ワークの出力信号を、出力信号変換手段が予め設定され
た変換処理により、ユーザの理解に適正な形態に変換す
る。

【００１９】請求項３記載の発明は、出力信号変換手段
と学習信号変換手段との変換処理が逆変換なので、ユー
ザが設定した学習用の出力信号は、ニューラルネットワ
ークの学習に適正な形態に変換され、ニューラルネット
ワークの出力信号は、ユーザの理解に適正な形態に変換
される。

【００２０】請求項４記載の発明は、学習信号変換手段
の変換処理が直交変換なので、変換処理が行列演算によ
り実行され、出力信号変換手段の逆変換も簡易に設定で
きる。

【００２１】

【実施例】本発明の第一の実施例を図１ないし図３に基
づいて以下に説明する。まず、本実施例の信号処理装置
１は、三つの数値からなる入力信号を、カテゴリＡ，Ｂ
の二種類に分類することを目的としているので、例え
ば、(0，1)と(1，0)とが理想的な出力信号として想定さ
れている。

【００２２】このため、本実施例の信号処理装置１は、
図１に示すように、分類する入力信号を入力する信号入
力ポート２を有しており、この信号入力ポート２に入力
切替器３が接続されている。この入力切替器３には、入
力信号に対応して出力信号を発生するニューラル演算部
４が接続されており、このニューラル演算部４には、分
類結果の出力信号を出力する信号出力ポート５が接続さ
れている。

【００２３】また、本実施例の信号処理装置１は、学習
用の入力信号と出力信号とを入力する学習信号入力手段
である学習入力ポート６を有しており、この学習入力ポ
ート６の入力信号の部分は、前記入力切替器３に接続さ
れている。また、前記学習入力ポート６の出力信号の部
分は、学習信号変換手段である学習信号変換器７に接続
されており、この学習信号変換器７が前記ニューラル演
算部４に接続されている。

【００２４】このニューラル演算部４は、ニューラルネ
ットワーク８とネットワーク評価手段とネットワーク学
習手段とからなり、前記ニューラルネットワーク８は、
入力切替器３から伝達される入力信号に対応して出力信
号を発生する。前記ネットワーク評価手段は、学習用の
入力信号に対する前記ニューラルネットワーク８の出力
信号を、学習用の出力信号である教師信号に基づいて評
価し、前記ネットワーク学習手段は、評価結果により前
記ニューラルネットワーク８をバックプロパゲーション
により学習させる。

【００２５】このニューラルネットワーク８は、図２に
示すように、入力層９と中間層１０と出力層１１との階
層構造により形成されている。これらの各層９〜１１
は、複数のニューロン１２からなり、シナプス１３によ
り接続されている。前記ニューロン１２には、伝達関数
が“ｆ(ｘ)＝１／｛１＋Exp(−ｘ)}”や“ｆ(ｘ)＝ tan
h(ｘ）”などと設定されており、前記シナプス１３に
は、荷重が“ｗ[i，j]”や“ｗ[j，k]”として設定され
ている。これらの荷重のパラメータを変更することによ
りニューラルネットワーク８の学習が実行されるが、こ
の学習に使用する評価結果は、バックプロパゲーション
により前記出力層１１から前記中間層１０まで順次伝播
される。

【００２６】そして、本実施例の信号処理装置１では、
前記学習入力ポート６と前記ネットワーク評価手段とに
前記学習信号変換器７が介在しているので、この学習信
号変換器７は、教師信号を予め設定された変換処理によ
り変換する。この変換処理は、ユーザが理想として設定
する教師信号を、前記ニューラルネットワーク８の学習
に最適な形態に変換するものである。より具体的には、
前記ニューロン１２の伝達関数が“ｆ(ｘ)＝ tanh
(ｘ）”の場合、教師信号(0，1)を(1／√2 ， 1／√2)
に変換し、教師信号(1，0)を（-1／√2 ， 1／√2)に変
換する。

【００２７】このような構成において、本実施例の信号
処理装置１は、入力信号を二つのカテゴリに分類するこ
とを目的としているので、(0，1)と(1，0)とが理想的な
出力信号として想定されている。そこで、このように分
類させる入力信号を信号入力ポート２に入力すると、こ
れが入力切替器３からニューラル演算部４まで伝達され
る。このニューラル演算部４のニューラルネットワーク
８は、入力信号に対応して出力信号を発生するので、こ
の出力信号が分類結果として信号出力ポート５から出力
される。

【００２８】例えば、理想的には出力信号が(1，0)とな
るような入力信号を信号処理装置１に入力した場合で
も、ニューラルネットワーク８の学習が充分でないと、
出力信号は(0.61，0.39)などのようになり、分類結果と
して不満足なものとなる。このような場合、ユーザは、
信号処理装置１の出力信号が“(0，1)(1，0)”となるよ
うに、学習用の入力信号と出力信号とを設定してニュー
ラルネットワーク８を学習させるので、教師信号を
“(0，1)(1，0)”の一方に設定することになる。

【００２９】従来は、上述のような学習信号によりニュ
ーラルネットワーク８を直接に学習させ、その出力信号
を“(0，1)(1，0)”に漸近的に近付けていたが、この場
合でもニューラルネットワーク８の出力信号が“(0，1)
(1，0)”になることはないので、学習を進行させると過
学習が発生していた。

【００３０】しかし、本実施例の信号処理装置１では、
ユーザが設定する教師信号“(0，1)(1，0)”を、学習信
号変換器７がニューラルネットワーク８の学習に最適な
“(1／√2 ， 1／√2)（-1／√2 ， 1／√2)”に変換す
ることにより、過学習を発生することなく良好な学習を
実現できる。この場合、ニューロン１２は、伝達関数の
線形に近似した部分のみで処理を実行するので、ニュー
ラルネットワーク８の出力信号には、線形演算の特徴で
ある重ね合わせの原理が近似的に成立するので、出力信
号の解釈も容易である。しかも、ユーザは従来と同様に
単純な教師信号を設定すれば良く、ニューラルネットワ
ーク８の学習に最適な教師信号を創案する必要はないの
で、ユーザの操作性を阻害することはない。

【００３１】なお、本実施例の信号処理装置１では、ニ
ューラルネットワーク８の伝達関数が“ｆ(ｘ)＝ tanh
(ｘ）”で、ユーザが設定する教師信号が“(0，1)(1，
0)”である場合を想定したので、この教師信号“(0，1)
(1，0)”を学習信号変換器７が“(1／√2 ， 1／√2)
（-1／√2 ， 1／√2)”に変換することとした。

【００３２】しかし、本発明は上記実施例に限定される
ものではなく、例えば、ニューラルネットワーク８の伝
達関数が、“ｆ(ｘ)＝１／｛１＋Exp(−ｘ)}”なる関数
ならば、ユーザが設定する教師信号“(0，1)(1，0)”
を、学習信号変換器７により、

【００３３】

【数１】

【００３４】などに変換することが望ましい。この場合
も、ニューラルネットワーク８の過学習を防止すること
ができ、ニューラルネットワーク８を良好に学習させる
ことができる。

【００３５】なお、上述のようにユーザが設定する教師
信号“(0，1)(1，0)”を“(1／√2， 1／√2)（-1／√2
， 1／√2)”などに変換してからニューラルネットワ
ーク８を学習させた場合、信号処理装置１の出力信号も
変換された教師信号に収束するので、ユーザが理解しに
くくなる懸念はある。

【００３６】そこで、このような課題を解決した信号処
理装置１４を、本発明の第二の実施例として図４に基づ
いて以下に説明する。なお、本実施例の信号処理装置１
４に関し、第一の実施例の信号処理装置１と同一の部分
は、同一の名称と符号とを利用して詳細な説明は省略す
る。

【００３７】本実施例の信号処理装置１４では、ニュー
ラル演算部４と信号出力ポート５とに、出力信号変換手
段である出力信号変換器１５が介装されている。この出
力信号変換器１５は、ニューラル演算部４のニューラル
ネットワーク８の出力信号を、予め設定された変換処理
によりユーザの理解に最適な形態に変換するもので、こ
の変換処理は学習信号変換器７の変換処理の逆変換に設
定されている。

【００３８】このような構成において、本実施例の信号
処理装置１４は、第一の実施例の信号処理装置１と同様
に、ニューラル演算部４のニューラルネットワーク８が
入力信号に対応して出力信号を発生するが、この出力信
号は、出力信号変換器１５により変換処理されてから、
分類結果として信号出力ポート５から出力される。

【００３９】このため、過学習を防止するために教師信
号を学習信号変換器７により変換処理してからニューラ
ルネットワーク８を学習させ、その結果としてニューラ
ルネットワーク８の出力信号が変換処理された教師信号
に収束した場合でも、これが出力信号変換器１５により
本来の出力信号の形態に復元される。このため、信号処
理装置１４は、出力信号をユーザが理解しやすい形態と
することができ、利用が簡便である。

【００４０】しかも、本実施例の信号処理装置１４で
は、出力信号変換器１５の変換処理が学習信号変換器７
の変換処理の逆変換なので、単純な構造でニューラルネ
ットワーク８の出力信号を良好な形態に復元することが
できる。しかし、本発明は上記実施例に限定されるもの
ではなく、出力信号変換器１５はユーザに最適な変換処
理を実行することが望ましい。

【００４１】例えば、入力信号が一方のカテゴリＡに分
類される場合のみ出力信号が“１”となることをユーザ
が要望した場合、前述のように本来の出力信号が“(0，
1)(1，0)”のニューラルネットワーク８を“(1／√2 ，
1／√2)（-1／√2 ， 1／√2)”の教師信号により学習
させたならば、出力信号変換器１５は、ニューラルネッ
トワーク８の出力信号と(1／√2 ， 1／√2)との内積を
演算すれば良い。

【００４２】つぎに、本発明の第三の実施例を図５及び
図６に基づいて以下に説明する。なお、本実施例の信号
処理装置１６に関し、第二の実施例の信号処理装置１４
と同一の部分は、同一の名称と符号とを利用して詳細な
説明は省略する。

【００４３】本実施例の信号処理装置１６では、図５に
示すように、ニューラル演算部４と信号出力ポート５と
に信号変換器１７が介装されており、学習入力ポート６
の教師信号の部分も前記信号変換器１７に接続されてい
る。この信号変換器１７は、学習信号変換手段として、
学習入力ポート６からニューラルネットワーク８に伝達
される教師信号を、予め設定された変換処理によりニュ
ーラルネットワーク８の学習に最適な形態に変換し、出
力信号変換手段として、ニューラルネットワーク８の出
力信号を予め設定された変換処理によりユーザの理解に
最適な形態に変換する。

【００４４】これらの変換処理は逆変換に設定されてい
るが、学習信号変換手段の変換処理は、行列演算により
直交変換として設定されているので、出力信号変換手段
の変換処理は、前記行列の転置行列の行列演算として設
定されている。このため、前記信号変換器１７は、図６
に示すように、行列のマトリクスを記憶したメモリ１８
と、行列演算を実行するベクトルマトリクス演算器１９
とを有している。

【００４５】このような構成において、本実施例の信号
処理装置１６は、第二の実施例の信号処理装置１４と同
一に機能する。

【００４６】つまり、ニューラルネットワーク８を学習
させる場合は、ユーザが学習入力ポート６に入力する教
師信号を、信号変換器１７がニューラルネットワーク８
の学習に最適な形態に変換する。この時、信号変換器１
７では、教師信号がベクトルマトリクス演算器１９に入
力されるので、このベクトルマトリクス演算器１９はメ
モリ１８から行列のマトリクスを読み出し、行列と教師
信号との積和演算を実行する。

【００４７】この行列演算により教師信号は直交変換さ
れるので、この教師信号によりニューラルネットワーク
８は過学習を発生することなく良好な学習を実行する。
この場合、教師信号の変換処理が直交変換であるので、
変換処理による悪影響も最小となる。

【００４８】つぎに、信号処理装置１６が入力信号を分
類して出力信号を発生する場合、ニューラルネットワー
ク８の出力信号を、信号変換器１７がユーザの理解に最
適な形態に変換する。この時、信号変換器１７では、ベ
クトルマトリクス演算器１９が出力信号と行列との積和
演算を実行するが、メモリ１８から行列のマトリクスを
読み出す場合にアドレス(i，j)を(j，i)とすることによ
り、行列演算を転置行列により実行する。

【００４９】この行列演算によりニューラルネットワー
ク８の出力信号は、教師信号の変換処理とは逆変換に直
交変換されるので、この出力信号はユーザが容易に理解
できる形態となる。なお、この場合も出力信号の変換処
理が直交変換であるので、変換処理による悪影響は最小
である。

【００５０】そして、本実施例の信号処理装置１６で
は、上述のように一個の信号変換器１７により二つの逆
変換を容易に実行できるので、単純な構造でありながら
性能や利便性が良好である。

【００５１】

【発明の効果】請求項１記載の発明は、学習信号入力手
段からネットワーク評価手段に伝達される学習用の出力
信号を予め設定された変換処理により変換する学習信号
変換手段を設けたことにより、ユーザが設定する学習用
の出力信号を、ニューラルネットワークの学習に適した
形態に変換することができるので、ニューラルネットワ
ークの過学習を防止することができる。

【００５２】請求項２記載の発明は、ニューラルネット
ワークの出力信号を予め設定された変換処理により変換
する出力信号変換手段を設けたことにより、最適な学習
の結果としてニューラルネットワークの出力信号がユー
ザに理解しにくいものとなっても、これをユーザの理解
に適した形態に変換することができる。

【００５３】請求項３記載の発明は、出力信号変換手段
と学習信号変換手段との変換処理を逆変換としたことに
より、学習用の出力信号をニューラルネットワークの学
習に適した形態に変換することと、ニューラルネットワ
ークの出力信号をユーザの理解に適した形態に変換する
こととを、簡易に実現することができる。

【００５４】請求項４記載の発明は、学習信号変換手段
の変換処理を直交変換としたことにより、出力信号の変
換処理による悪影響を最小とすることができ、逆変換も
容易に設定することができ、学習信号変換手段に出力信
号変換手段を一体化することも容易である。

【図面の簡単な説明】

【図１】本発明の第一の実施例の信号処理装置を示すブ
ロック図である。

【図２】ニューラルネットワークを示すブロック図であ
る。

【図３】ニューラルネットワークの伝達関数を示す特性
図である。

【図４】第二の実施例の信号処理装置を示すブロック図
である。

【図５】第三の実施例の信号処理装置を示すブロック図
である。

【図６】信号変換部を示すブロック図である。

【図７】従来のニューラルネットワークの伝達関数を示
す特性図である。

【符号の説明】

１，１４，１６信号処理装置６学習信号入力手段７，１７学習信号変換手段８ニューラルネットワーク１５，１出力信号変換手段

Claims

【特許請求の範囲】

【請求項１】入力信号に対応して出力信号を発生する
ニューラルネットワークを有し、所望により組み合わさ
れた学習用の入力信号と出力信号とを入力する学習信号
入力手段を設け、学習用の入力信号に対する前記ニュー
ラルネットワークの出力信号を学習用の出力信号に基づ
いて評価するネットワーク評価手段を設け、この評価結
果により前記ニューラルネットワークを学習させるネッ
トワーク学習手段を設けた信号処理装置において、前記
学習信号入力手段から前記ネットワーク評価手段に伝達
される学習用の出力信号を予め設定された変換処理によ
り変換する学習信号変換手段を設けたことを特徴とする
信号処理装置。
【請求項２】ニューラルネットワークの出力信号を予
め設定された変換処理により変換する出力信号変換手段
を設けたことを特徴とする請求項１記載の信号処理装
置。
【請求項３】出力信号変換手段と学習信号変換手段と
の変換処理を逆変換としたことを特徴とする請求項２記
載の信号処理装置。
【請求項４】学習信号変換手段の変換処理を直交変換
としたことを特徴とする請求項１，２又は３記載の信号
処理装置。