JPH0325562A - ニューラルネットを用いた情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的コ （産業上の利用分野） 本発明は、最適化問題やパターン認識等に応用される二
ｘ−ラルネットを用いた情報処理装置に関する。

（従来の技術） 近年、ニネーラルネットを用いた情報処理の有効性が見
直され、各所で盛んに研究がなされている。二島一ラル
ネットの応用分野は非常に広いと考えられているが、特
に二島−ラルネットの学習機能を利用した一臂ターン認
識が注目されている。

ニエーラルネフトの構成こしては、第２図に示すように
（＆）の全結合タイプ、（ｂ）の階層ネッ｝　，　（ｃ
）のランダム結合ネットなどが主に利用されている。

各二為一ロン間の結合には、結合係数Ｗｌｌが定義され
る。各二エーロンでは例えば第３図に示すように ｙ　＝　ｆ　（　’ｊ：，　Ｗｌ　ｊＸドθ）１−１ なる計算が行なわれる。

第４図は従来の三層ネットの二島−ラルネットを用いた
情報処理装置であう、入力層１、中間層２、出力層３、
ステッデ数計数部６、信号提示部７および結合定数修正
部８によシ構成されている。

入力層１、中間層２および出力層３には二纂一ロン素子
４が設けられ、さらに中間層２と出力層３にはニューロ
ン素子４間の結合部５が設けられている。

入力層１に入力信号（　Ｉ１）　（＝ＩＩ　　Ｉ２　，
・・・Ｉ，　）が与えられたとき、出力層３から得られ
る出力信号｛Ｏｉ｝（＝０１，０２，・・・ａ　Ｏｉｉ
　）によって、パターン識別や連想学習などが行なわれ
る．二島−ラルネットの学習は、例えばノ９ツクープロ
一苛グーシｌン（逆伝播）法を例にとると、望筐しい出
力信号（これを教師信号という）｛Ｏｊ｝を予め各入力
信号｛Ｉ１｝に対して設定してかき、各ステッデで得ら
れる結果と、教師信号｛Ｏｊ｝との差を用いて、結合部
５に定義された結合定数である、結合係数Ｗｉｊ＞よび
閾値を修正するステップを繰返すことによって、種々の
入力信号に対して望筐しい出力信号が得られるようにす
るものである。

ところで、学習に際しては結合定数が不当な解を与える
、いわゆる局所解に落ち込むことがある。

このような場合、従来では＋ｚ−ラルネットを初期状態
に戻して計算をやシ直している。従って、例えばニュー
ラルネットの状態を最終状態から数ステップだけ後戻シ
させて計算をや夕直せば工いような場合は、無駄な計算
を多数行なわなければならず、効率が極めて悪い。

一方、各ステップにかける結合定数を全てメモリに保存
してかけば、計算終了後に任意のステップに逆戻Ｄする
ことが可能である．しかしながら、過去の全てのステッ
プでの結合定数を保存するには膨大なメモリ容量を必要
とするので、この方法は現実的でない。

（発明が解決しようとする課題） 上述したように、従来の技術では学習の途中でニネーラ
ルネットの特性（結合定数など）が不適切になったよう
な場合、二島一ラルネットを初期状態に戻して最初から
学習をやや直さなければならず、非常に無駄がめった。

１た、各ステッデでの二島−ラルネットの特性情報を全
て保存してかく方法は、膨大なメモリ容量を必要とし、
現実的でないという問題があった．本発明は、箇易な構
或により、二具−ラルネットの特性を過去の任意のステ
ップでの特性に戻すことができる二エーラルネットを用
いた情報処理装置を提供することを目的とする． ［発明の構成］ （課題を解決するための手段） 本発明は、信号提示手段によう提示された入力信号およ
び望ましい出力信号に対応させてニューラルネットの特
性を逐次修正する修正手段による現在の修正結果と、過
去に信号提示手段で提示された入力信号及び出力信号に
基づいて，二島一ラルネットの過去の特性を算出し、ニ
ューラルネットの特性をその過去の特性に戻すアン・ド
ゥ処理手段を備えることを特徴とする。

（作用） 本発明では、二島−ラルネットの過去の特性、例えばｌ
ステップ前に修正された結合定数（結合係数および閾値
）が計算にょや求められる。この計算に必要な変数は、
現在のステップで修正された特性ε、信号提示手段に保
持されてぃるｌステップ前に提示された入力信号および
望筐しい出カ信号のみである。

従って、過去の修正ステップにかける結合定数などの特
性情報を保存しておくことなく、ニネーラルネットの特
性を過去の特性に戻すことが可能となる。

（実施例） 以下、図面を参照して本発明の実施例を説明する。第１
図は本発明の一実施例に係る情報処理装置の構成を示し
たもので、学習法として前述しｆｉ　ｉ４ック・グロａ
４）ｆ−シａン法を適用した三層ネット構成のニューラ
ルネットを用いた場合を示している。

第１図に示す情報処理装置は、入カ層ｌ，中間層２、出
力層３、ステップ数計数部６、信号提示部７、結合定数
修正部８＄−よびアン・ドゥ処理部９によ，Ｄｌｌ戒さ
れている。入力層１、中間層２シよび出力層３には二為
一ロン素子４が設けられ、さらに中間層２と出力層３に
は二瓢一ロン素子４間の結合部５が設けられている． 入力層１に入力信号Ｉ，１２　ｐ・・・，！、が与えら
れ、出力層３から出力信号０１　，　ｏ２。・・・，Ｏ
Ｎが出力される。結合部５には結合定数が定義される。

ステップ数計数部６は、結合定数修正部７による結合定
数（己の実施例の場合、具体的には結合係数および閾値
）の修正のステップ数を計数する。

ステップ数計数部６が計数するステップ数は、学習開始
時の初期状態では１＝０であり、結合定数の修正を１ス
テップ行なうごとに１つずつ増え、１たアン・ドク処理
部９がアン・ドゥ処理を１回行なうごとに１つずつ減る
ものとする．信号提示部７は、ステップ数計数部６が１
つ値を進めるかｔｆｔ．は値を１つ戻す毎に、入力層１
に対して新たな入力信号を提示し、さらＫ結合定数修正
部８に対しで教師信号を提示する．教師信号とは、入力
層１に与えられた入力信号に対応して望まれる、出力層
３の出力信号である。

信号提示部７の実現方法は、信号の出現順序が周期的で
あるかランダムであるかによって種々考見られるが、ど
のような場合でも有効なのは、各信号パターンに各々異
なる整数値または記号を付け、それを出現するステクプ
の番号と合わせて記録してかく方法である．周期的な信
号パターンが現れる場合は、ステップの番号を周期で割
ったときの余υで信号パターンを特定できるので、ステ
ップの番号と上記の整数値會たは記号との対応付けは必
要ない。

本実施例カエ従来の二為一ラルネットを用−た情報処理
装置と異欧る点は，信号提示部７がステップの前進・後
進の両方向に対して動作することと、アン・ドゥ処理部
９が付加されたことである。

アン・ドク処理部９は、信号提示部７が新たな入力信号
と教師信号を提示し、それに基づいて結合定数修正部８
によって結合定数が修正される学習過程において、ニュ
ーラルネットの過去の状態にかける特性、この場合、１
ステップ前にかける結合部５での結合定数を算出し、結
合定数をその１ステッ！前の結合定数に戻す処理（これ
をアン・ドゥ処理という）を行なうものである．アン・
ドク処理部９によるｌステップ前の結合定数の算出は、
後述するようにニューラルネットの現在の結合定数と、
信号提示部７によってｌステッグ前に提示された入力信
号及び教師信号に基づいて行なわれる。

次に、本実施例の動作をよシ詳しく説明する。

例として手書き数字のパターン識別を行なうニューラル
ネットを考える。

入力層１は、手書き数字を読取って得られた２次元パタ
ーンを２４Ｘ２４のメッシ為に切り、これを１次元に並
べて各メッシュの値を″１”か″Ｏ″かに割シ当てる。

従って、入力層１には二瓢一ロン素子４がＮ＝５７６（
＝２４Ｘ２４）個用意される。

このとき、中間層２には二為一ロン素子４がＬ＝５０個
用意され、出力層３には二為−ロン素子４がＭ＝１０個
用意される。

入力層１の第ｉ　（ｉ．ｓｉ≦５７６）の二具一ロン素
子と、中間層２の第ｊ（１≦ｊ≦５０）の二島一ロン素
子との結合係数を８１ｊ，中間層２の第１のニューロン
素子と出力層３の第ｋ（１≦１ｃ５１　０　）の二Δ−
ロン素子との結合係数をＴｊｋとする。また、入力層１
の第ｌのニネーロン素子の出力信号をｘｉ、中間層２の
第ｊのエ為−ロン素子の出力信号をｙ３　，出力層３の
第ｋの二為一ロン素子ｋ出力信号をｚｋとする。このと
き、ニューラルネットの動作方程式は、以下の通υとな
る。

１ず、結合定数＜　８１３　）　　（　Ｔ３ｋｌは範囲
を制限した乱数で与えられる。その後、学習のために結
合係数の値が少しずつ修正される結果、入力信号である
手書き数字をある程度正しく識別できるようになったＤ
１あるいは特定の数字についてはうまく識別できなかっ
たシする状態となる。

ここで、学習法としては前述のようにパック・ｆ＋２，
Ｊ？　　ｐｆ−シ１ン法が用いられる。学習に際しては
、出力層３の二為−ロン素子に予め１〜９，Ｏの数字が
設定される。すなわち、１〜９に対してはそれ自身、Ｏ
にＦｉＩＯをそれぞれ対応させる．入力信号が数字″′
５”のノ臂ターンであるとすると、望筐しｈ出力信号は
Ｚ５　”　１　＊　Ｚ，”　Ｚ２　＝ＺＢ　”　Ｚ４＝
　Ｚ６　＝　Ｚ７　＝　２２１　＝　Ｚ９　＝　Ｚ１０
　＝Ｏ　テアルｅ　コレらの値を使って、パック・グロ
パーｒ−シ璽ン法により学習が行なわれる． パック・ブロー母一デーシ１ン法は前述したように、ニ
ューラルネットに入力信号が与えられた時の実際の出力
信号と、望筐しい出力信号（教師信号）との差が０とな
るように結合係数を修正する方法である。この方法には
従来よう様々の改良が試みられているが、ここでは最も
単純な方法を考える。出力信号の誤差関数Ｅを次のよう
に定義する。

ここで、Ｏｋは望１しい出力信号（教師信号〉である．
出力信号ｓｋは入力信号！１，結合係数ＳＩＪ．Ｔｊｋ
および閾値θｊ，αｋの関数である。ステッグｔ−１の
状態からステップｔの状態への修正は、次の動作方程式
で表わされる。

Ｘｆ（ｚｋ（ｔ−１））（１−ｆｈｋ（ｔ−Ｄ））Ｘｆ
（ｙｊ（　ｔ−１）　）（１−．ｆ（ｙｊ（　ｔ−１）
　｝ｙｊ（　ｔ−１）・・・・・・（３） ＝　Ｔｊｋ（ｔ−１）一η（ｚｋ（ｔ−１）　−ｏ；　
（ｔ−１）　１Ｘｆ（”ｋ（ｔ−１））（１　．ｆ（！
ｋ（ｔ−１））ｌｙｊ（ｔ−１）・・・・・・（４） ＝θｊ（ｉ−１）＋ηΣ｛ｚｋ（　ｔ−１）　一％　（
　ｔ−１　）１ｋ瞠１ Ｘ　ｆ　｛ｚｋ（　ｔ−１）　）（　１　−ｆ　ｃｚｋ
（ｔ−１）　）　］×．ｆ（ｙｊ（ｔ−１））ＣＩ−．
ｆ　（ｙｊ−（ｔ−１）））・・・・・・（５） モαｋ（ｔ−１）＋η［ｚｋ（ｉ−１）−０；　（ｔ−
１））×ｆ　（ｓｋ（ｔ−１）｝〔１−ｆ　ｈｋ（ｔ−
１））］・・・・・・（６） ここで、（）内はステップ数であり、またηは修正の際
のノやラメータである。

本実施例にかけるアン・ドゥ処理とは、ニューラルネッ
トの状態、特に結合係数８１１に関して、ステッｆｔの
状態からステッ７’ｔ−１の状態を再現する処理でＴｏ
や、最も単純には上記の方程式（３）〜（６）を解けば
よい。数値的に解を探す方法として、二島一トン法など
を用いることが考えられるが、ここでは計算時間を節約
できる近似法を示す。

ηが十分小さいとき、式（３）〜（６）から程度の大き
さであることが分かる。そこで、式（３）〜（６）を近
似して、η　程度の精度で次の式が得られる。

・・・・・・（７） 上記の式（７）〜（ト）で使う入力信号および望ましい
出力信号は、ステップｔ−１でのものである．式（７）
〜（ト）の導出過程の概略を以下に示す。

まず、順方向の学習の式（３）〜（６）でηのかかった
項を反対の辺に移すことによう， 出力信号は、ステップ数計数部６の計数値を１つ減らし
、それを信号提示部２に与えることによって、信号提示
部２から得られる。

ステップｔを連続変数と仮定し、この変数についてテイ
ラー展開を行なうと、次式が得られる。

ここで、式αリ〜α◆の右辺に現れるステップに関する
整数が全部ｔであれば問題は解けたことになるが、第２
項は１ステク！前であるステッｆ　ｔ−１での量である
。第２項をステッデｔでの結合定数と、ステクプｔ−１
での入力信号および望壇しい出力信号で表現するには、
次のようにすればよい。

なか、ステッデｔ−ｉでの入力信号および望筐しい・・
・・・・α０ ・・・・・・αカ 左辺を ・・・・・・（自） 式０〜（至）の右辺の各項は、ηが十分小さいとき、右
に１項ずつ移るにつれてオーダーがηずつ小さは、η０
のオーダーの量である。誤差関数Ｅ　（ｔ）の変数でｔ
の従属変数ぱＳｉｊ　＝　”ｊｋ　”　！　’αｋであ
るから、ｔに関する微分は次のように書き直すことがで
きる。

・・・・・・（至） ここで、元の学習の式０〜ＣＬＪを変数のｔに関する一
階微分を与える近似式と読み替える。すなｂち、式０に
かいて 右辺を と近似すると、ηの精度で となる。Ｔｊｋ，θｊ，αｋについても同様である。

この近似式をｔに関する微分の式（至）に代入したもの
で（ロ）〜（至）式を近似し、式０〜ａ◆に適用すれば
、（７）〜（ト）式が得られる。

以上の導出過楊からわかるように、（７）〜（ト）式は
ステップｔＫＴｈける変数とステッ７”ｔ−１にかける
入力信号および望ましい出力信号のみから、ステッ７”
ｔ−１の状態にかける特性、すなわち結合係数Ｓｌｊ（
ｔ−１）　−　Ｔｊｋ（ｔ−１）シよび關値Ｏｊ（ｔ−
ｘ＞−αｋ（ｔ−ｘ）を求める形となっている。すなわ
ち，ステッ！ｔ−１にかける二為一ラルネットの特性を
再現するアン・ドゥ処理が実現されていることが分かる
。

噴た、上記の近似式でη２の項を落とすと、順方向の学
習で変化の大きさをその１１で反対方向に動かすことに
なる。これはηが０に近い極限を考えると、直観的に納
得のゆく結果である。

なか、上記の実施例では３層ネットのエ為一ラルネクト
であって、パック・デロ，Ｊ？ｙ−シ冒冫法によ妙二１
−ラルネットの特性を修正する学習法を用いた場合につ
いて述べたが、さらに複雑な他の構成の二具一ラルネッ
トや、他の学習法を用いた場合にも本発明を適用するこ
とができ、特に二島−ラルネットの特性の修正（学習）
のためめ計算時間がかかるものほど、本発明の有効性が
顕著となる。

［発明の効果コ 本発明によれば、現在のステツデで修正された特性と信
号提示手段に保持されている１ステッグ前に提示された
入力信号および望ましい出力信号を用いて、ニネーラル
ネットの過去の特性を計算によう求め、任意の時にその
過去の特性に戻すアン・ドゥ処理を実現することができ
る。

従って、例えばニネーラルネットにかける結合定数が局
所解に落ち込んだ時など、保合定数の修正を／？ラメー
タを変えてからやり直して学習を再開することによう対
応でき、最初から学習をやｂ直すなどの無駄を省くこと
ができ、学習効率が著しく向上する。

また、本発明では二，−ラルネクトの過去の修正ステッ
グでの結合定数などの特性情報を保存するための大容量
のメモリのような、大規模なノ・一ドウェアを必要とせ
ず、構或が簡易なものとなる。

【図面の簡単な説明】

第１図は本発明に係る二島一ラルネットを用いた情報処
理装置の一実施例を示す機能ブロック図、第２図は従来
の二為一ラルネットの構成例を示す図、第３図は従来の
二島−ラルネットで用いられているニエーロン素子とそ
の入出力特性を説明するための図、第４図は従来のＪ々
ツク・デロノ臂ｒ−シ１ン法による三層ネットのニエー
ラルネクトを用いた情報処理装置の構成を示す機能プロ
ック図である。 １・・・入力層、２・・・中間層、３・・・出力層、４
・・・ニエーロン素子、５・・・結合部、６・・・ステ
ップ数計数部、２・・・信号提示部（信号提示手段）、
８・・・結合定数修正部（特性修正手段）、９・・・ア
ン・ドク処理部（アン・ドゥ処理手段）。

Claims (1)

1. 【特許請求の範囲】 ニューラルネットに処理対象の入力信号を与えてニュー
   ラルネットから処理された出力信号を得る情報処理装置
   において、 ニューラルネットへの入力信号および該入力信号に対応
   して望まれるニューラルネットの出力信号を逐次提示す
   る信号提示手段と、 この信号提示手段により提示された入力信号および出力
   信号に対応させてニューラルネットの特性を逐次修正す
   る修正手段と、 この修正手段による現在の修正結果と、過去に前記信号
   提示手段で提示された入力信号及び出力信号に基づいて
   、前記ニューラルネットの過去の特性を算出し、ニュー
   ラルネットの特性をその過去の特性に戻すアン・ドゥ処
   理手段とを具備することを特徴とするニューラルネット
   を用いた情報処理装置。