JPH03119463A

JPH03119463A - ニューラルネットにおける非線形計算方式

Info

Publication number: JPH03119463A
Application number: JP1257529A
Authority: JP
Inventors: Tsuneo Nitta; 恒雄新田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1989-10-02
Filing date: 1989-10-02
Publication date: 1991-05-21

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明はニューラルネットにおける非線形計算を簡単
に行うことのできる方式に関する。

（従来技術）近時、ニューラルネットをパターン認識、信号処理、知
識処理等に応用する研究が進んでいる。

これは、ニューラルネットにパターン認識処理機能や知
識処理機能を教え込むアルゴリズム（バックプロパゲー
ション（誤差逆伝搬法、以下、ＢＰアルゴリズムと呼ぶ
）が発見されたことによる。

このＢＰアルゴリズムを用いることにより、人力と望ま
しい出力を与えていくことにより、自動的にニューラル
ネットを学習することができる。すなわち、入力を与え
、ネットワークの出力を調べる。正しくなければ、正し
い出力をネットワークに教える。この結果ネットワーク
は正しい出力を出すようにネットワークの接続の強さを
変える。

これを繰り返すことにより学習が完了する。ＢＰアルゴ
リズムが使えるニューラルネットとしてパターン連想型
がある。パターン連想型では各ユニットにューロン）を
入力層、中間層、出力層に階層化している。各ユニット
は入力の総和を関数ｆ適用し、嚢換する。この関数とし
ては例えばｓ　ｉ　ｇｍｏ　ｉ　ｄ関数が使われる。

この入出力特性は非線形になる。

このようなニューラルネットを用いる場合、般に汎用マ
イクロコンピュータ上で実行されることが多い。また、
汎用マイクロコンピュータに付加演算装置を設は浮動小
数点演算を高速で実行することにより計算時間を短縮す
るシステムもある。

第３図に標準的な多層（３層）ニューラルネットのモデ
ルを示す。第３図において、（ＹＯＩ。

ＹＯ２，ＹＯ３，ＹＯ４，ＹＯ５）　はニューラルネッ
トの人力の値を示す。また、（Ｘｌｌ。

Ｘ１２．Ｘ１３）は中間層の３つのユニットへの入力の
総和を、（Ｘ２１．Ｘ２２）は出力層の２つのユニット
への入力の総和を示す。（Ｙｌｌ。

Ｙｌ２．Ｙｌ３）は中間層の出力の値を示し、中間層の
３つのユニットへの入力の総和（Ｘｌｌ。

Ｘ１２．Ｘ１３）に対して第２図に示す非線形開用いて
非線形変換した値である。（Ｙ２１゜Ｙ２２）はニュー
ラルネットの出力値であり、出力層の２つのユニットへ
の入力の総和ｌＸ２１゜Ｘ２２）に対して、第２図に示
す非線形関数を用いて非線形変換した値である。さらに
、（Ｗｌｌｌｌｌ　、Ｗｌ２”ゝ　ｗ　１３１１）。

Ｗｌ４”ゝ　Ｗｌ５”ゝ）、　　（Ｗ２１＋１）Ｗ２２
　＋１）　、　Ｗ２３　＋１）　、　Ｗ２４　（＋＞Ｗ
２５”’　）　、　　（ＷＢ２（”　、ＷＢ２”’Ｗ３
３（１）　　ＷＢ２”ｌ　、ＷＢ２”’　）は中間層の
３つのユニットへの各入力に対する重み係数を、また（
Ｗｌ　１　（２）　、　Ｗｌ　２（２’　、　Ｗｌ　３
（２’　）（Ｗ　２１　（２ゝ、Ｗ２２（２）、Ｗ２３
３２ゝ）は出力層の２つのユニットへの各人力に対する
重み係数を示す。ニューラルネットへの人力（ＹＯＩ。

ＹＯ２，ＹＯ３，ＹＯ４，ＹＯ５）が与えられると、最
終的なこの出力（Ｙ２１．Ｙ２２＋　は以下の計算から
求められる。

ＸＩ　１−ＹＯ１＊Ｗ１１”’　＋ＹＯ２＊Ｗｌ　２”
’　＋ＹＯ３＊Ｗ１３”’ ＋ＹＯ４＊Ｗ１４”’　＋ＹＯ５＊Ｗ　１５　（１＋Ｘｉ　２−ＹＯＩ　＊Ｗ２１　”’　十ＹＯ２＊Ｗ２２
”’　＋ＹＯ３＊Ｗ２３”ゝ＋ＹＯ４＊Ｗ２４”’　　＋ＹＯ５＊Ｗ２５０ゝＸ１３−ＹＯ１＊Ｗ３１”’　十ＹＯ２＊Ｗ３２”’　
　＋ＹＯ３＊Ｗ３３”ゝ＋ＹＯ４＊Ｗ３４”）＋ＹＯ５＊ＷＢ２（１）　　　　　　　　　　　　　　・・・　（
１）Ｙｌｌ−１／　　（１＋ｅ　　　　　）Ｙ１２＝１
／（１＋ｅ　　　）Ｙｌ３−１／　　（１＋ｅ　　　　　）・・・　（２）Ｘ２１−Ｙｌ　　１　　＊Ｗ１　１　　”’　　＋Ｙ１
　２１Ｗｌ　２”’　＋Ｙ１３＊Ｗ１３”）Ｘ２２−Ｙｌ　　１　　＊Ｗ２　１　　（２’　　＋Ｙ
１　２＊Ｗ２２Ｌ２’　　＋Ｙ１　３層ｗ２３＜２＞（
３）Ｙ２　１　　＝　１／　　（１＋ｅ−”’）Ｙ２２＝１
／　　（１＋ｅ−１２２）　　　　　　　　　　−（４
）上記（１）式乃至（４）式の＝１算は、汎用マイクロ
コンピュータを用いる場合、四則演算と関数（２）式と
（４）式における非線形関数（ｅｘｐｏｎｅｎｔｉａｌ
）を利用することで簡単に行うことができる。

（発明が解決しようとする課＠）ニスうルネットを現場で学習させることは、１）重みの
値のレンジがわからない、２）大量の学習データを保持
しなくてはならない、３）バックプロパゲーションによ
る学習に時間がかかる等の理由から困難である。

また、上述した（１）式乃至（４）式の計算を汎用のデ
ジタル信号処理ＬＳＩもしくは、専用の信号処理ＬＳＩ
により実行する場合、ｅｘｐｏｎｅｎｔｉａｌのような
関数を持たないため、（２）式と（４）式におけるｅ　
ｘ　ｐ　ｏ　ｎ　ｅ　ｎ　ｔ　ｉ　ａ　ｌ　　の計算が
問題となる。

１つの方法としては、この関数をテーブルで用意してお
き、その都度テーブルを引くことが考えられる。しかし
、この場合は、テーブル用に大きなメモリ領域を確保し
なければならないという欠点がある。

テーブルを使わずに（２）式と（４）式におけるｅｘｐ
ｏｎｅｎｔｉａｌの計算を行うために、第２図に示すｓ
ｉｇｍｏｉｄ関数の折れ線近似を用いて直接計算するこ
とも考えられる。しかし、第２図から明らかなように、
正の方向では人力Ｘが大きくなるにつれ出力が大きくな
るが、負方向では逆に人力Ｘが大きくなるにつれ出力ｙ
が小さくなる。このため、非線形関数としてその出力が
原点に対して対称ではないので、第２図に示す非線形関
数を折れ線近似で非線形関数変換することができない。

この発明の目的は上述した欠点を除去し、上記非線形関
数（ｅｘｐｏｎｅｎｔｉａｌ）の計算を簡単な方法で実
現することのできる、ニューラルネットにおける非線形
関数計算方式を提供することである。

［発明の構成］（問題点を解決するための手段）この発明によれば、ニューラルネットにおける非線形変
換を行う際に、非線形関数としてその出力が原点に対し
て対称なタイプの関数を用いるとともに、この関数の折
れ線近似を加算とシフト演算のみで行い出力を得る。

（作　用）この発明によれば、第２図に示す非線形関数を第１図に
示すように、出力が奇関数となるように移動する。この
非線形関数は入力の正負で絶対値が対称となり、後述す
るように加算とシフト演算のみで変換が可能となる。従
って、ニューラルネットの非線形関数計算を、その出力
が原点に対して対称なタイプの関数を用いて行う。また
、第２図のタイプの非線形関数を使用する場合は、いっ
たん第１図に示す関数を用いて非線形変換を行い、一定
の値（＃１”）を加算するようにすればよい。

（実施例）上述したように、正および負の入力の絶対値はｙ軸に対
して対称であり、下記の加算とシフト演算を行うだけで
非線形変換を行うことができる。

いま、人力Ｘを極性（±）を有する１３ビツトの線形な
値とする（入力の絶対値がこの値を越える場合は、あら
かじめ最大値に置き換えておくものとする）。この線形
な値に第３図の折れ線近似した非線形変換を施すには、
次のような処理を行えば良い。なお１０進数は（）、。

で表現する。

イマ、入力（＋２４２）ｔｏ（２進数Ｘ−００００００
１１１１００１０）を非線形変換するものとする。

１）符号ビット（ｓ）を除き、Ｘ＋３３とする。

（＃３３”という値を加算するのは入カバターンが０の
場合であっても一番下のレンジに人カバターンが入るよ
うにするためのストッパの役割を果たす） −ＯＸ＋１００００１ −００００１０００１００１１１ｅｅ　・轡争１１８・１１＠　ΦＩ８桁目２）最上位
のビットがｄｉｇｉｔ８に来るまで右へシフト（シフト
同数−Ｌ）する。この例では、５桁目の“１”を８桁目
まで右にシフトすることになるので、右へ３回シフトす
ることになる。

（但し、シフトされたビットは循環せずに廃棄されるも
のとする）Ｌ−（３）　　−０１１シフト後の値−１０００１０いま、Ｌ−３であるので、第１図において、折れ線と一
点鎖線で形成される領域（レンジ）が−番大きなレンジ
（正のＸ方向の一番右側の領域）から数えて３番目のレ
ンジ内に入力された値があることがわかる。

３）再び右へ１回シフトして、下位４ビツト（−Ｖ）を
とる。

シフト後の値−１０００１ −０００１ ■の値は２）のステップで求めたレンジ内のさらにどの
量子化ステップかを表している。

以上の処理から符号（Ｓ）、レンジング（折れ線０の番号−Ｌ）および折れ線の量子化ステップ（Ｖ）が計
算され、人力ＸはＹ−００１１０００１と非線形変換さ
れる。

上記１）ないし３）の処理は加算とシフトで実現するこ
とができる。なお、第２に示す非線形関数は、そのまま
では同様の処理を適用できないが、第３図の非線形変換
を行った後、値”１”を加算すればよい。

［発明の効果］以上説明したように、この発明によればニューラルネッ
ト計算における非線形変換を簡単に行うことができ、汎
用の信号処理ＬＳＩ等を用いてニューラルネット計算を
実行させることができる。

【図面の簡単な説明】

第１図はこの発明の実施例を示す説明図；　第２図およ
び第３図は従来のニューラルネットにおける非線形計算
方式を示す図であり、第２図は標準的な多層ニューラル
ネットのモデルを示す図、および第３図は非線形関数で
あるｓ　ｉ　ｇｍｏ　ｉ　ｄ関数を示す図である。１

Claims

【特許請求の範囲】

（１）ニューラルネットにおける非線形関数変換を行う
際に、非線形関数としてその出力が原点に対して対称な
タイプの関数を用いるとともに、この関数の折れ線近似
を加算とシフト演算のみで行い出力を得ることを特徴と
するニューラルネットにおける非線形計算方式。
（２）前記ニューラルネットの非線形関数が原点に対し
て対称でない場合は、この出力にバイアスを加えて所望
の出力を得ることを特徴とする特許請求の範囲第１項記
載のニューラルネットにおける非線形計算方式。