JPH0877132A

JPH0877132A - 相互結合型ニューラルネットワークの学習方法

Info

Publication number: JPH0877132A
Application number: JP6232169A
Authority: JP
Inventors: Koji Nemoto; 宏司根本
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1994-08-31
Filing date: 1994-08-31
Publication date: 1996-03-22

Abstract

(57)【要約】【目的】高い学習能力と汎化能力を有する、結合重み
が非対称な相互結合型ニューラルネットワークを提供す
る。【構成】学習パターンを教師データとして結合重み
を修正するすなわち、教師パターンとユニット出力の
ユークリッド距離が最小になるように、具体的にはユー
クリッド距離の自乗誤差を最急降下法で最小化して、結
合重みを修正する。また、最急降下法を実行するた
め、ユニット出力は従来のホップフィールド型ネットワ
ークのように２値ではなく、非線形関数（シグモイド関
数）とし、離散時間，連続情報系とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のユニットが相互
に結合された相互結合型ニューラルネットワークの学習
方法及びこの学習方法で構築した相互結合型ニューラル
ネットワークに関するものである。

【０００２】

【従来の技術】

（技術的背景）ニューラルネットワーク（以下、単にネ
ットワークと称することもある）には、大別して階層型
ネットワークと相互結合型ネットワークがある。階層型
ネットワークでは、誤差逆伝搬法が提案されて以来、数
々の応用が行われている。特に入出力空間の確率分布を
確率密度として出力する様なアルゴリズムを持つものも
あるが、一般には入力層と出力層を持つ階層構造のため
に、入力を単に非線形写像するネットワークとして位置
ずけられている。更に、誤差逆伝搬法では出力誤差が結
合重みの修正という形で入力へ伝搬するという不自然な
面を持っており、神経系からのアナロジーという発想か
らは遠いものになっている。

【０００３】（従来の技術）これに対して、相互結合型
ネットワークは、図１１に示すように、神経網のニュー
ロンに相当するユニットＵと、各ユニット間を相互に結
合する神経網のシナプスに相当する結合の重みｗとから
構成されており、神経細胞同士が相互に結合し情報伝達
している状態に近い構造をしている。入力はユニット
（神経細胞）の初期状態、出力はユニット（神経細胞）
の平衡状態で与えられるため、単なる写像ではなく、大
きな汎化能力を持っている。特に、相互結合型ネットワ
ークの一種で、磁気のスピングラスにヒントを得たホッ
プフィールド（Hopfield）型ネットワークは、連想記憶
や最適組み合わせの解法などに応用されている。

【０００４】また、相関学習を行うホップフィールド型
ネットワークは解析的によく研究されており相互結合型
ネットワークを知る上ではよい系であるが、処理能力に
問題がある。以下、ホップフィールド型ネットワーク
（のダイナミクス）について詳述する。

【０００５】＜ホップフィールド型ネットワーク＞上記
したように、ホップフィールド型ネットワークは、ユニ
ット（神経細胞）は相互に結合されており、ユニットの
結合は対称かつ自己への結合はない。ユニットＵ_ｊから
ユニットＵ_ｉへの結合の重みをω_ijとすると、

【０００６】

【数１】

【０００７】

【数２】

【０００８】ユニット出力をｙ_i、ユニットの内部電位
をｕ_iとすると、

【０００９】

【数３】

【００１０】である。ユニットの状態変化規則は、

【００１１】

【数４】

【００１２】である。相互結合したネットワークではユ
ニットに帰還が掛かる。よって、

【００１３】

【数５】

【００１４】が状態変化ごとに減少すればネットワーク
は平衡状態に至る。ネットワーク全体では、ネットワー
クエネルギーＥ_iが定義できる。

【００１５】

【数６】

【００１６】今、ユニットＵ_ｋが状態変化した時のネッ
トワークエネルギー変化を求める。ｋ以外のユニットは
変化しないのでｋ以外のユニットの内部電位が変化する
事になる。よって、

【００１７】

【数７】

【００１８】前記( 2)式から

【００１９】

【数８】

【００２０】ゆえ、

【００２１】

【数９】

【００２２】状態変化規則から、

【００２３】

【数１０】

【００２４】

【数１１】

【００２５】と成る。

【００２６】以上から、ｙ_kがいずれに変化してもネッ
トワークエネルギーは減少し平衡状態に至る。このダイ
ナミックスは結合重みの対称性と状態変化規則によって
収束性が保証されている。しかし、( 7)式で示される様
な非対称なネットワークにおいては、ネットワークエネ
ルギーの収束性を証明する事は一般的には困難である。
（なお、この点については、「ニューロコンピューティ
ングの基礎理論」日本工業技術振興協会ニューロコンピ
ュータ研究部会編などに詳説されている。）

【００２７】この様にホップフィールド型ネットワーク
はある初期値を与えると初期値固有の状態に収束する。
すなわち初期値を入力とし、収束状態を出力とするよう
な連想記憶が実現できる。一般に、ノイズのある文字
「Ａ」をノイズのない文字「Ａ」として想起する系を自
己連想記憶といい、文字「１」を分類「Ａ」として想起
する系を相互連想記憶という。ところで、初期値と平衡
状態の関係は結合重みによって関連付けられる。いくつ
かの入力パターンに対してこの関連付けを行う過程を記
銘過程、前述の平衡状態に至る過程を想起過程という。
次に、ホップフィールド型ネットワークの学習について
詳述する。

【００２８】＜ホップフィールド型ネットワークの学習
＞このネットワークの記銘過程では、いわゆる相関学習
が行われる。相関学習は入力パターンと出力パターンの
関係を結合重みの相関行列として学習するもので、自己
連想記憶では記銘するパターン数をＰとすると、一般的
には、

【００２９】

【数１２】

【００３０】である。ホップフィールド型ネットワーク
では、

【００３１】

【数１３】

【００３２】が用いられる。

【００３３】上記(10)式を見ると、右辺のｉとｊを入れ
換えてもω_ijの値は変化しない。すなわち、

【００３４】

【数１４】

【００３５】が成立し、前記したホップフィールド型ネ
ットワークの条件（収束条件）を満たす。(10)式から、
あるパターンにおける２つのユニット出力ｙ_Pi、ｙ_Pjの
関係とω_ijの生成過程は、図１２に示すようになる。す
なわち、ユニット出力が同一の場合には増強し、不一致
の場合には減じている。この様な記銘アルゴリズムを持
ったホップフィールド型ネットワークの問題点を見る
と、(10)式から

【００３６】

【数１５】

【００３７】となり極性を反転したパターンに対しても
同じ学習結果を与えてしまう。すなわち、反転パターン
に対して識別能力がない。

【００３８】更に、相関学習ではパターン間の直交性が
要求される。今、ユニットがある学習パターンＹになっ
ているとき、ユニットの内部電位は、( 3)、(10)式から

【００３９】

【数１６】

【００４０】パターン間の直交性により、右辺第２項は
「ｙ_P＝Ｙ」以外では０でなくてはならない。よって識
別すべきｙ_PとＹにおいては、

【００４１】

【数１７】

【００４２】(13)式から、あるパターンをＹに重ねたと
き、重なる「１」の数はＹの「１」の数の半分でなくて
はならない事がわかる。これらの制約からホップフィー
ルド型ネットワークではユニット数の１５％程度のパタ
ーン数しか識別できない事が報告されている。（「ニュ
ーロコンピュータ」、中野馨著参照、「Neural net
works and physical systems with emergent collectiv
e computational abilities 」Hopfield Proc. Natl.S
ci.USA 79 p2554 〜p2556 参照）

【００４３】

【発明が解決しようとする課題】つまり、従来の相互結
合型ネットワーク（学習方法）では、以下のような問題
点があり、多くのパターンを学習して識別することがで
きなかった。

【００４４】相互結合型ネットワークで学習（自己連
想記憶）を行うには、学習すべきパターンどうしの関係
をユニット間の結合重みに表現しなくてはならない。い
わゆる相関学習を行う必要があるので、入力データの制
約が大きく学習能力が低い。従来の学習方法で確実に収束させるには、結合重みを
対称とする条件を満たす必要がある。この結果、対称型
（結合重みが対称である）の相互結合型ネットワークが
構築されるとになり、学習能力（学習効率）や汎化能力
（処理能力）に限界がある。

【００４５】

【課題を解決するための手段】本発明は、上記課題を解
決するために、非線形特性のユニットが結合重みで相互
に結合された相互結合型ニューラルネットワークの学習
方法であって、教師パターンとユニット出力のユークリ
ッド距離が最小になるように（例えば、ユークリッド距
離の自乗誤差を最急降下法で最小化して）、前記結合重
みを決定するようにしたことを特徴とする相互結合型ニ
ューラルネットワークの学習方法を提供するものであ
る。

【００４６】さらに、このような学習方法により、結合
重みを非対称に構築したことを特徴とする相互結合型ニ
ューラルネットワークを提供するものである。

【００４７】

【作用】上記のような相互結合型ニューラルネットワー
クの学習方法では、学習パターンを教師データとして結
合重みを修正して学習がなされ、従来のように学習すべ
きパターンどうしの関係でユニット間の結合重みを修正
する相関学習が行われない。さらに、結合重みが対称で
なくとも、すなわち非対称であっても学習時にニューラ
ルネットワークの状態が収束する。

【００４８】

【実施例】本発明になる相互結合型ニューラルネットワ
ークの学習方法の一実施例を以下図面と共に詳細に説明
する。本相互結合型ニューラルネットワークの学習方法
は、学習パターンを教師データとして結合重みを修正す
る学習方法である。すなわち、学習パターンを教師パ
ターンとするとと共に、教師パターンとユニット出力
のユークリッド距離が最小になるように、具体的にはユ
ークリッド距離の自乗誤差を最急降下法で最小化するよ
うに結合重みを修正する。また、最急降下法を実行す
るため、出力は従来のホップフィールド型ネットワーク
のように２値ではなく、非線形関数（例えばシグモイド
関数）で表現し、離散時間，連続情報系を構成してい
る。

【００４９】最初に、本相互結合型ニューラルネットワ
ークの学習方法の基本構成について説明する。相互結合
型ネットワークは、前述した図１１に示すように、神経
網のニューロンに相当するユニットＵと、各ユニット間
を相互に結合する神経網のシナプスに相当する結合の重
みωとから構成されているものである。なお、ユニット
Ｕは、非線形特性、後述するよう微分可能な単調増加関
数（例えば、シグモイド関数）の出力特性を有する。
今、学習するＰ個のパターンを、

【００５０】

【数１８】

【００５１】とする。ユニットＵ_ｉの出力特性は、Ｔを
学習温度として、

【００５２】

【数１９】

【００５３】

【数２０】

【００５４】で表す。

【００５５】今、ネットワークにデータＹ_Pが記憶され
た状態を仮定する。自己連想記憶では、ネットワークに
設定された初期パターンＹ_Pが状態遷移して得られる平
衡状態のパターンは、Ｙ_Pと同じパターンとなる。すな
わち、全てのユニットにおいて、

【００５６】

【数２１】

【００５７】が成立する。そこで、ユニット出力と初期
パターンとの自乗誤差を、

【００５８】

【数２２】

【００５９】とすると、初期パターンはあたかも教師パ
ターンのように作用し、最急降下法が構成できる。よっ
て、ω_ijを変化してｅ_iを最小化するためのω_ijの修正
量は、

【００６０】

【数２３】

【００６１】ｅ_i、ｙ_i、ｕ_iは教師パターンによって
生成されるので、

【００６２】

【数２４】

【００６３】と成る。ここにεは学習係数である。これ
を全てのユニットと教師パターンに対して繰り返し実行
すると学習された結合重みが求まる。よって、(18)式か
ら、

【００６４】

【数２５】

【００６５】となる。図１は、本相互結合型ニューラル
ネットワークの学習方法、すなわち記銘過程（学習過
程）のアルゴリズムを示すＰＡＤ図である。学習のアル
ゴリズムは、最初に結合重みを初期化して開始される。
未学習状態ではユニット相互の関係が無いので、全ての
結合重みの初期値を０とする。

【００６６】次に、ユニット出力を学習パターンに設定
する。この状態からあるユニットＵ_ｉの内部電位を求
め、出力ｙ_iを求める。このｙ_iと、ｙ_iがとるべき状
態ｙ_Piの差が最小となるように、Δω_Pijを求め、ユニ
ットｉへの全ての結合を修正する。これを全ユニットに
対して実行する事で１つのパターンに対する１回の学習
が終了する。

【００６７】この１つのパターンに対する１回の学習を
全パターンに対して繰り返し実行し、ネットワークエネ
ルギーＥが充分小さな値となった時点で記銘を完了す
る。学習するユニットは相互結合しているのでランダム
に選定すれば良い。図１に示すアルゴリズムに基づい
て、ユニットへの全ての結合が学習される。そして、同
アルゴリズムで明らかなように、

【００６８】

【数２６】

【００６９】となり、この学習方法で構築されるネット
ワークは結合重みが非対称な相互結合型となる（すなわ
ち、非対称型の相互結合型ニューラルネットワークとな
る。）また、この学習方式におけるダイナミックスは、前記し
た (7)式で示される。そのため平衡状態に至るダイナミ
ックスを一般的に証明する事は困難である。前述したよ
うに、従来のホップフィールド型ネットワークは対称な
相互結合型であり、

【００７０】

【数２７】

【００７１】であるから、前記した (8)式で示されるよ
うにネットワークエネルギー変化が一つのユニットの内
部電位と出力変化で示され、状態変化規則によってネッ
トワークエネルギーの収束性が保証されている。これに
対して、一般的に非対称な相互結合型のネットワークで
は平衡状態に至るのは稀である。

【００７２】しかしながら、パターン間のユークリッド
距離を最小化するように結合重みを学習する本学習方法
では、後述するシュミレーション例に示すように、極め
て良い収束性を示す。ホップフィールド型ネットワーク
における結合重みの対称性が前記した(10)式で示される
学習規則によっている事を考えると、結合重みの学習過
程と収束性に関連性がある事が推測される。また、出力
が２値でなく連続関数で表現される点も、シグモイド関
数の温度が小さい状態とホップフィールド型ネットワー
クの状態変化規則が極めて近い状態である事から、同様
に平衡状態に至る過程が推測される。以下、本学習方法
により非対称型の相互結合型ニューラルネットワークに
構築したシュミレーション例を具体的に説明する。

【００７３】（具体的なシュミレーション例）２４個の
ユニットから成る相互結合型ネットワークに本学習方法
を用いて自己連想記憶のシュミレーションを行った。自
己連想記憶では予め記銘したデータパターンを元に、ノ
イズや伝送路で劣化したデータパターンをネットワーク
の初期状態として入力し、平衡状態が記憶したデータパ
ターンとなる事で想起する。

【００７４】記銘過程では記憶するデータ間の類似度が
問題であり、想起過程では入力されたデータパターンと
想起されるべきデータパターンの類似度が問題となる。
人間がそうであるように、あまり良く似たデータパター
ンは記憶が難しく、あまりにかけ離れたデータパターン
からは元のデターパターンを想像できない。類似度は定
量的に方向余弦により与えられる。

【００７５】ここで、方向余弦（Direction Cosin ）に
ついて説明する。あるデータ空間内のデータを見ると、
それらは単に元の集合である。ビット配列の持つスター
トやｓｙｎｃの意味など、データパターンの主観的な意
味は設計作業によってもたらされるものでデータ自身が
持つ意味ではない。データ自体の客観的な意味を表すた
めには、データ空間内でのパターン間の相対的な量を定
めることが必要である。そこで、データ空間内の二つの
データの関係、類似度をベクトル要素数で正規化したハ
ミング距離をもとに定める。

【００７７】ｋ個の要素からなる二つのベクトルＹ_aと
Ｙ_bの成す角をθとすると、２値データでは

【００７８】

【数２８】

【００７９】ｃｏｓθを方向余弦と呼び、二つのデータ
パターンの類似度を表す。(20)式において、右辺の絶対
値は、ｙ_ak、ｙ_bkが不一致の場合は１、一致している場
合は０となり、全ユニットについて加算する事でデータ
パターン間のハミング距離を表す。ハミング距離をユニ
ット数ｎで正規化する事で、二つのパターンが完全に一
致していればｃｏｓθは１となり、全く一致していなけ
れば０となる。ｃｏｓθは二つのデータ間のハミング距
離に対し負に比例する。

【００８０】そして、２４個のユニットは２４ｂｉｔの
データに対応するが、直感的な理解のために、４×６の
ビットパターンとし、１０個の学習データを図２に定め
る。これら１０個のデータ間の方向余弦を(20)式から求
めると、図３のようになる。同図より明らかなように、
「４」と「２」はあまり似ていなく、「８」と「６」は
よく似ていることがわかる。特に、「８」は方向余弦が
全て大きく、他のデータどれとも似ていることになる。
そこで、「８」を含んだ学習データを学習し、「８」を
想起することにする。そして、「０」から「８」まで９
個のデータを前記した(18)、(19)式によって学習する。

【００８１】

【数２９】

【００８２】

【数３０】

【００８３】ここで、ユニットの特性は前記した (3)
式, (15)式で示される。

【００８４】

【数３１】

【００８５】

【数３２】

【００８６】P はデータパターン番号を示し０から８ま
で変化する。i,j はユニット番号を示し１つのデータパ
ターン毎に０から２３まで変化する。(18)、(19)式を繰
り返すことにより、ｙ_iはｙ_Piに漸近して行く。「８」
が学習される毎に生成されるω_ijをもとに, その時点で
のネットワークの状態を( 3)式, (15)式から求め、更
に、「８」に対する方向余弦を求めて学習の過程を検証
した。

【００８７】図４は学習回数と誤差エネルギーとの学習
特性を示す図である。図５は学習回数と方向余弦との学
習特性を示す図で、「０」〜「８」を１０回学習するご
とに、「８」を想起した結果を方向余弦で示したもので
ある。同図に示す結果から明らかなように、学習回数が
増加すると、誤差エネルギーが減少するとと共に、方向
余弦が１に漸近していき学習が進行していることがわか
る。

【００８８】また、想起過程のアルゴリズムは、従来の
ホップフィールド型ネットワークと同様だが、ユニット
出力が(15)式で示されるシグモイド関数である点が異な
る。また、学習温度と想起温度は異なる温度で良い。

【００８９】

【数３３】

【００９０】

【数３４】

【００９１】学習終了後、ユニット出力ｙに破壊した初
期パターンを設定し、ユニットの内部電位ｕを( 3)式か
ら求める。この電位をもとに(15)式のシグモイド関数に
よりユニット出力を更新する。これを全ユニットに対し
繰り返し実行し、方向余弦が変化しなくなった時点で平
衡状態とする。

【００９２】いま、「０」から「８」までのデータを学
習した後、「８」の４×６ビットパターンをランダムに
８箇所壊し、「８」を連想する。前記した( 3)式、(15)
式により順次ユニット出力を更新し、その都度、方向余
弦を求め図６に示した。さらに、その間のパターン変化
を図７に示す。但し、シグモイド関数出力は0.5 以上を
「 -」で、0.5 以下を「 O」で示した。

【００９３】図６を見ると想起温度が低い場合の連想能
力が低い。特に修正過程で方向余弦の劣化するポイント
があり想起の能率が悪い。想起温度が高い場合はホップ
フィールド型ネットワークと同様のダイナミックスを持
ち１８回の想起で「８」を連想している事が分かる。そ
の間のビットパターン変化は、図７に示すとおりであ
る。

【００９４】次に、このアルゴリズムを用いて学習デー
タ数と想起能力の関係をシュミレーションにより検証し
た。図８は学習終了後に、記名したデータを初期条件
（初期値）として本ネットワークに入力し、得られた結
果出力が入力と同じであれば、想起成功としたものであ
る。なお、想起成功の判定は、学習データ数をＤとした
ときに、ｃｏｓθ＞１−１／Ｄとしている。図９は従来
のホップフィールド型ネットワークにるものである。

【００９５】同図から明らかなように、本ネットワーク
によれば、学習データ数２２個までは確実に想起を成功
しており、これに対して従来のネットワークでは、学習
データ数４を越えると想起に失敗している。このよう
に、非対称の相互結合型である本ネットワークでは、想
起能力，連想記憶能力が極めて高い。

【００９６】さらに、このアルゴリズムを用いて学習デ
ータ数と正しい連想（汎化能力）の関係をシュミレーシ
ョンにより検証した。例えば、「８」を含む０〜９の学
習データ数１０個、１〜９の学習データ数９個、…、８
〜９の学習データ数２個の、学習データ数の異なる総計
１０組の学習データに付いて連想能力を比較する。

【００９７】図１０は、記銘完了後、例えば「８」の４
×６ビットパターンをランダムに、１〜１２箇所壊した
ものを１２０個提示し、元のデータを想起できた割合を
縦軸に、学習データ数を横軸に示したものである。同図
から明らかなように、本ネットワークによれば、従来の
ネットワークと比較して、より多くの学習データ数でも
想起を成功しており、しかも、想起成功率も高い。

【００９８】連想能力では、従来のホップフィールド型
ネットワークが８個のデータ学習すると全く想起能力を
失うのに対し、本実施例のネットワークでは１０個のデ
ータの学習に対しても想起能力を失っていない。また、
破壊度が大きいデータに対する連想能力も高く、１０個
のデータ学習でも６０％壊れたデータを想起している。
想起ダイナミックスが同じであることを考えると、この
差は学習方法（学習能力、学習方式）の差異に起因して
いると思われる。すなわち、学習データを教師データと
することで、学習データ間の距離が最大になるよう結合
重みが学習されているためと考えられる。

【００９９】以上の点から明らかなように、通常収束す
る事が稀である非対称な相互結合型ニューラルネットワ
ークにおいて、出力を非線形関数（例えばシグモイド関
数）にし、学習パターンを教師データとして、ユニット
出力パターンとのユークリッド距離が最小となるように
最急降下法により結合重みを学習する事で安定な平衡状
態と高い学習能力及び汎化能力を持たせることができ
る。

【０１００】

【発明の効果】本発明になる相互結合型ニューラルネッ
トワークの学習方法によれば、高い学習能力と汎化能力
を有する、極めて優れた結合重みが非対称である相互結
合型ニューラルネットワークを構築できる。

【図面の簡単な説明】

【図１】本発明になる相互結合型ニューラルネットワー
クの学習方法の一実施例を示すアルゴリズムである。

【図２】学習データ群例を示す図である。

【図３】学習データ群例の方向余弦を示す図である。

【図４】学習回数と誤差エネルギーとの関係（学習特
性）を示す図である。

【図５】学習回数と方向余弦との関係（学習特性）を示
す図である。

【図６】本実施例の想起特性を示す図である。

【図７】本実施例の想起におけるパターン変化を示す図
である。

【図８】本実施例の想起特性を示す図である。

【図９】従来の想起特性を示す図である。

【図１０】本実施例及び従来の汎化能力を比較して示す
図である。

【図１１】一般的な相互結合型ネットワークの基本構成
図である。

【図１２】従来のホップフィールド型ネットワークの相
関学習を説明する図である。

【符号の説明】

Ｕ（Ｕ_ｉ，Ｕ_ｊ，Ｕ_ｋ）ユニット ω_ij ユニットＵ_ｊからユニットＵ_ｉへの結合の重み、ｙ_i ユニット出力、ｕ_i ユニットの内部電位、Ｙ_P データ ε 学習係数Ｔ学習温度

Claims

【特許請求の範囲】

【請求項１】非線形特性のユニットが結合重みで相互に
結合された相互結合型ニューラルネットワークの学習方
法であって、教師パターンとユニット出力のユークリッド距離が最小
になるように、前記結合重みを決定するようにしたこと
を特徴とする相互結合型ニューラルネットワークの学習
方法。
【請求項２】ユークリッド距離の自乗誤差を最急降下法
で最小化するようしたことを特徴とする請求項１に記載
の相互結合型ニューラルネットワークの学習方法。
【請求項３】請求項１または請求項２に記載の学習方法
により、結合重みが非対称となるように構築したことを
特徴とする相互結合型ニューラルネットワーク。