JPH04548A - ニューラルネットワーク装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　要〕 ニューラルネットワークの構造を動的に変更可能にした
装置に関し。

ニューラルネットワークの学習効果を高められる有効な
手段を提供することを目的とし。

外部からニューラルネットワークのセル結合の追加また
は削除、あるいは追加および削除を指示する手段と、外
部からの指示にしたがって、ニューラルネットワークに
セル結合を追加しあるいはニューラルネットワークから
セル結合を削除してニューラルネットワークの構造を変
更する手段とを設け。

ニューラルネットワークの学習過程中に、状況に応じて
外部からニューラルネットワーク構造の変更指示を与え
、動的に変更可能に構成した。

〔産業上の利用分野〕

本発明は、ニューラルネットワーク装置に関し。

特にニューラルネットワークの構造を動的に変更可能に
した装置に関する。

近年、ニューラルネットワークを用いたパターン認識装
置や適応フィルタなどが開発されており更に何かしら構
造を持ったニューラルネットワークを使おうとする動き
が急速に強まっている。

ところで、プラントの制御など、従来ファジィモデルを
適用してきた分野でファジィモデルをニューロモデルで
実現しようとする際には、構造を持ったニューラルネッ
トワークが必要になる。このためある構造をもったニュ
ーラルネットワークを設定するが、学習を進めている間
に更に複雑な構造が必要になることが判ったり、逆に最
初に与えた構造が複雑過ぎて、もっと単純なネットワー
クで十分であることが判ったりする。

本発明は５そのような学習の過程において必要性が生じ
たネットワークの構造の動的な変更を可能とする。

〔従来の技術〕

今までのプログラム内蔵方式のいわゆるノイマン型コン
ピュータは、全ての場合について動作を指定する必要が
あった。ニューラルネットワークで構成されるニューロ
コンピュータは９代表的な学習パターンを何回か提示す
ることにより学習することができ１　それまで与えてい
ないパターンに対しても適切な解を与えることができる
。

ニューラルネットワークの代表的なものに、パーセプト
ロンモデルのような階層型のモデルと。

ホップフィールド型モデルのような相互結合型のモデル
がある。

またニューラルネットワークの代表的な構造と学習方法
には１階層型ニューラルネットワークとバンクプロパゲ
ーション法や階層型ニューラルネットワークと仮想イン
ピーダンス法などがある。

次に従来技術の具体例として１階層型のバーセプトロン
型ニューラルネットワークについて説明する。

パーセブトロン　ニューラルネットワークの　本盪遺 第７図に、基本的なパーセプトロン型ニューラルネット
ワークの例として、２層パーセブトロン型ニューラルネ
ットワークの構成を示す。

第７図の２層パーセプトロン型ニューラルネットワーク
は、ｉれ層（中間層ともいう）と出力層からなり、各層
はＯで示すセルで構成される。ここでセルは、ニューロ
ンを機能的に模擬した素子を意味している。この例では
入力数が（＋＋１）個、ｉれ層のセル個数（＋＋１）個
および出力層のセル個数１個からなっている。

各セルには複数個の入力があり、出力層のセルの各入力
には結合係数（Ｖｊ　）　ｊ＋。、、。

また隠れ層の各セルの各入力には （Ｗ、Ｊｌ＋−０”　＋　ｊ”＋＋Ｊが付与されている
。各セルの出力（ＹＪ）およびＺは１次の１式または２
式で表される。但し、Ｘ−”１．Ｙｏ　＝１である。

１＋ｅｘｐ　　（−ΣＶ、Ｙ、） １式は、隠れ層の各セルの出力関数である。１式でΣＷ
、ＪＸ、は隠れ層の一つのセルの入力の総和であり、そ
れを Ｓ、−ΣＷ＋ｊＸｔ　　　　　　　　−・−・−・−（
３）と表すことにする。また２式は出力層のセルの出力
関数である。２式でΣＶ、Ｙｊは出力層のセルの入力の
総和であり、それを Ｒ−ΣＶ、Ｙ、　　　　　　　　　−・・・・−・・−
（４）と表すことにする。

２層バーセプトロン型ニューラルネットワークには、１
次元パターン空間内に分布する多数のパターンミー１次
元の複数の超平面の組み合わせによって２つのカテゴリ
に分離する機能がある。この組み合わせられた超平面を
識別面という。識別面は結合係数（Ｖｊ　）　ｊ＋。、
Ｊおよび（Ｗ＋ｉｌ＝、。＋Ｉ　＋　Ｊ”＋＋Ｊにより
決定される。この結合係数（Ｖ、）ｊ−０，、および （Ｗ五Ｊ）ｌ・０・１・ｊ−１，Ｊは・バンクプロパゲ
ーション法（以下ＢＰ法とよぶ）を用いて学習データよ
り決定することができる。

ＢＰ法 第８図に、ＢＰ法を適用した標準的ネットワークの構成
を示す。このネットワークの特徴は通常のセル以外に、
常に出力値が１であるセルを設けであることである。こ
のセルと上層の通常のユニットとの間の結合の重みは、
闇値と見做すことができる。このようにして、闇値に重
みと同じ学習側を適用することができる。したがって、
以下の数式では閾値θはあられに出てこない。

第８図において、入力層（６層）の各セル１〜Ｎｈに学
習させたいパターンをもつ入力信号を与え、このとき出
力層（ｊ層）の各セル１〜Ｎ、から出力される出力信号
を、学習させたい目標値を与える教師信号と比較し、誤
差を求めて、それを眉間の結合の重みＷムｂ＋　Ｗｊｉ
に反映（フィードバック）させるものである。

ＢＰ法の詳細は以下の文献に詳しく述べられている。

Ｄ、Ｅ、Ｒｕ＋＊ｅｌｈｅｒｔ、　Ｇ、Ｅ、Ｈｉｎｔｏ
ｎ、　Ｒ，ＪＪｉｌｌｉａｍｓ。

”Ｌｅａｎｉｎｇ　　Ｉｎｔｅｒｎａｌ　　Ｒｅｐｒｅ
ｓｅｎｔａｔｉｏｎｓ　　ｂｙ　　ＥｒｒｏｒＰｒｏｐ
ａｇａｔｉｏｎ Ｐａｒａｌｌｅｌ　　Ｄｉｓｔｒｉｂｕｔｅｄ　　Ｐｒ
ｏｃｅｓｓｉｎｇ　Ｖｏｌ、１（Ｔｈｅ　ＭＩＴ　ｐｒ
ｅｓｓ）、ｐｐ３１８−３６２ここではその概要を述べ
る。

学習パターン（Ｘム’ｌ（ｐは学習パターン番号）が与
えられた場合に、現状の結合係数で得られる出力をｚｅ
とし２人間が意図する望ましい出力（パターンのカテゴ
リに対応する）をｔｏとする。ここでは、あるカテゴリ
であるかまたはないかを識別するニューラルネットワー
クを学習させるものとする。学習パターン（Ｘｔ　’　
）がそのカテゴリである場合ｊｐを１とし、そうでない
場合ｔｐを０とする。そして全学習パターンに対してｚ
ｅとｊＰの誤差が小さくなるようにニューラルネットワ
ーク内の結合係数の値を変更する。

ｚｌとｉ、ｅの誤差Ｅは５式により定義される。

Ｅ＝Σ（ｔｐ−２ｐ）ｌ　　　　　・・−・・・−・−
・（５）最急降下法でＥの極小値を求める場合。

（Ｖ；　ｌ　ｊ−０，Ｊ及び（ＷＢ）＋、。＋ｌ　ＨＪ
”１Ｊの変化量は６式で表される。

Ｅ Ｅ 第８図のニューラルネットワークの場合、学習時の結合
係数の変化量は以下の７式〜１０式に従えばよい。

ａ’　＝　（ｔ’　−ｚ’　）ｚ’　　（１−ｚ’　）
−（９）ｊ！＋ｊ’−ＹＪ’（１−ＹＪ’）α’Ｖ７　
　　　・・・−Ｑω７式及び８式でηは学習定数と呼ば
れ、０．１〜０．３程度の値が用いられる。

学習の処理は１１式および１２式を学習パターンに対し
て繰り返し実行することにより行われる。

Ｖ、ＷＶ、十ΔＶ、　　　　　　　　　　θＯＷ、、−
Ｗ＝Ｗ、＋ΔＷ、　　　−・・−・−０２１一般には学
習方向の連続性を保つために、７式および８式の代わり
に次の１３式および１４式を用いる。

ΔＶＪ　　（ｎ＋１）　　−７７Σｃｒ’　　Ｙｊ’　
　＋ｙΔＶ　、　　（ｎ）　　−−Ｑ３）ΔＷ１ｊ（ｎ
＋１）　−７７Σβｊ’　Ｘｉ’　＋　ｒΔＷ　目（ｎ
）　−０ＩＪ１３式および１４式においてｎは学習回数
であり、Ｔは結合係数の学習方向の連続性を保つための
係数であり、モーメンタムと呼ばれる。一般にＴは０．
０５〜０．７程度の値が用いられる。また。

ΔＶＪ　（０）　＝０．ΔＷ目（０）＝Ｏである。

誤差Ｅが充分小さくなるまで１３式および１４式により
結合係数を繰り返し演算する。

徽皿曳方広 上記の方法で結合係数を学習した後で、Ｗｊｉ別が行わ
れる。まず未知パターンが入力に与えられる。

ニューラルネットワーク内では、１式および２式の計算
が行われ出力Ｚが得られる。たとえばこのＺが０．５以
上の場合未知パターンは学習されたカテゴリであると識
別され、Ｚが０．５以下の場合未知パターンは学習され
たカテゴリでないと識別される。

ニューラルネットワークの ニューラルネットワークの機能についての理Ｎを容易に
するため、第９図ないし第１５図を用いて具体例を説明
する。

まず第９図に示すようなセルが１個の場合について考え
てみる。これは、第８図において隠れ層の１個のセルに
相当する。

図示されたセルは、Ｎ＋１個の入力は重みＷｔ　　（１
−０，１，−、Ｎ）をもち、Ｘ、、Ｘ、。

・・・、ＸＮの要素からなる入カバターン（パターン（
Ｘム））が与えられると、１５式で示す出力関数処理を
行って、ｒＩａ別結果ｙを出力する。

（ただしＸ、蟲１とする） １５式のｅｘｐ（）中において ｆ−ΣＷ＊　ｘｉ　　　　　　　　　　−０６）とおき
、１５式を次の１７式のように表す。

ｆ−０は、パターン空間における判別面（判別線）を示
している。第１０図にパターン空間が２次元の場合の例
を示す。

ｆ−Ｗｅ　＋Ｗ、Ｘ、＋ｗ、Ｘ、　　・−・・−−一−
−・・・　Ｏｌ（ただしＷ、〉０とする） であり、第１θ図の判別直線（ｆ−０）を境界にシテ、
領域１はｆ＜Ｏ，ｊＪｌ域２はｒ＞ｏとして判別できる
。

すなわち、ｆの正負判定を行えば、パターン空間の領域
識別が可能となる。

１５式は、ｆの値（ΣＷ五Ｘｉ）を、第１１図に示すよ
うなシグモイド特性にしたがって０から１までの値に非
線形変換するものである（ｆ＝０は、ｙｗ−ｏ、ｓに変
換される）。

この非線形変換を施すことにより、第１０図は。

ｆの代わりにｙを用いて第１２図のように書き直すこと
ができる。

セルが２個（１！！れ層のセルが２個、出力層のセルが
１個）の場合には、パターン空間にもう１本の判別直線
を引くことができる。第１３図にその１例を示す０図中
の１＋、Ｖｔは次の１９式と２０式で表される。

（ＶＯＪ＞Ｏとする） 第１３図において１次の２１式のＺの値が０．５以上と
いう条件（ｙ＋　とｙ２の和が１６５以上）を満足する
領域を第１４図に斜線領域で示す。

２−　　　　　　　　　　　　　　　　　　・・−・−
・・ａｌ１１＋ｅｘｐ　（−ｙ＋　−ｙｒ　＋１．５　
）ｙｌとｙ、の和が１以上という第１２図の条件を満足
するニューラルネットワークの構成を第１５図に示す１
図中のＵ、、、Ｕ、、、Ｕ□、は結合係数である。

このように、隠れ層と出力層をもつ構造のニューラルネ
ットワークでは、結合係数を適当に設定すれば、出力層
のセルがパターン空間内の非線形な境界をもつ連続凸領
域を識別（セル出力が０．５以上となる）することが可
能となる。さらに隠れ層を多層化すれば、非線形な境界
をもつ非連続凸領域の識別が可能となる。

以上説明した従来のニューラルネットワークでは、ネッ
トワーク構造は固定であり、学習過程で制御できるのは
セル間の結合係数（重み）と闇値のみであった。

〔発明が解決しようとする課題〕

従来のニューラルネットワークでは、対象のパターン群
によっては学習効果がなかなかあがらない場合があり、
処理精度が向上しないことがあった。

本発明は、ニューラルネットワークの学習効果を高めら
れる有効な手段を提供することを目的としている。

〔課題を解決するための手段〕

本発明は、従来のニューラルネットワークでは。

ネットワーク構造が固定であったため、処理対象によっ
てはセル間の結合が不足したり過剰になったりし、学習
効率や処理精度に影響している点に着目し、学習過程中
に必要な場合セル間結合の追加、削除、あるいは追加お
よび削除を可能にして。

ネットワーク構造を処理対象に最適化できるようにした
ものである。

第１図は２本発明の原理的構成図である。

図において。

１は、構築されているニューラルネットワークである。

２は、ニューラルネットワーク構造情報である。

３は、各セル間の結合係数を規定する重み情報である。

４は、学習部であり、ニューラルネットワーク１に学習
パターンを与えて結果出力を教師信号と比較し、誤差を
重み情報３に反映させる処理を行う。

５は９動的構造変更装置であり、外部からの指示により
、ニューラルネットワーク１におけるセル結合の追加ま
たは削除あるいは追加と削除の両方を行う。

６は、構造変更指示手段であり、外部から動的構造変更
装置５に対してネットワーク構造の変更指示を与えるた
めに用いられる。

〔作　用〕

第１図において、動作開始時にネットワーク構造情報２
および重み情報３は初期設定され、学習部４は、それら
の情報に基づいてニューラルネットワーク１の学習を実
行する。

学習の過程において、ニューラルネットワーク１の出力
と教師信号との間の誤差が基準値以下になかなか収斂し
ない場合には、外部から構造変更指示手段６により動的
構造変更装置５に対してネットワーク中のセル間結合の
追加、削除あるいは追加および削除を指示する。

動的構造変更装置５は、指示にしたがってネットワーク
構造情報２を変更し、学習部４はその結果に基づいて学
習処理を再実行する。

この過程は、学習が適切に遂行されるまで繰り返される
。

〔実施例〕

第２図は本発明の１実施例装置の構成図であり。

第３図はその制御フロー図である。

第２図において、１０はニューラルネットワーク処理装
置であり、その中の１１はニューラルネットワークの重
みおよび構造情報を保存する重みおよび構造保存部、１
２は学習パターンを格納するパターン格納部、１３は学
習パターンを用いてニューラルネットワークの学習処理
を実行する学習部、１４は学習されたニューラルネット
ワークにより未知入力を処理する実行部、１５は処理結
果を出力する出力部である。

また２０は本発明による動的構造変更装置であり、その
中の２１は重みおよび構造保存部１１から重みおよび構
造情報を読出す重みおよび構造読取部、２２は重みおよ
び構造情報を重みおよび構造保存部１１に設定あるいは
再設定する設定部。

２３は外部からの構造変更指示を読取る指示読取装置、
２４は追加されたネットワーク構造中のセル結合の重み
を乱数で初期化する乱数発生装置である。

第３図により、第２図中の設定部２２を中心とする動作
を説明する。

ニューラルネットワークを観察している人あるいは装置
が、ネットワークの構造を変えるように指示を与える。

■　設定部はまず、その外部からの指示を指示読取装置
を通じて読み取る。

■　設定部は指示読取装置から外部の指示を受は次にネ
ットワークの各結合の重みおよび構造の情報を重みおよ
び構造読取部を通じて読み出す。

■　外部からの指示内容により次の（ａ）、　（ｂ）、
　（Ｃ１゜（ｄ）の動作を行う。

（ａ）　　外部からの追加指示に従い、セル結合を追加
する指示を重みおよび構造保存部に行う。

（ｂ）　　外部からの削除指示に従い、セル結合を削除
する指示を重みおよび構造保存部に行う。

（Ｃ）　　外部からの追加および削除指示に従い、はじ
めに指示された結合の削除を重みおよび構造保存部に行
い１次に結合の削除を指示する。

（ｄ）　　上記（ａ）、　（Ｃ）の場合、さらに追加し
た結合の重みを乱数で初期化する。

次に９本発明実施例の動作の具体例を説明する。

第４図（Ａ）が１本発明の実施例に用いたネットワーク
の基本の形である。全ての重みおよび闇値の初期値を設
定する時、および新しい重みを付は加える時には０．５
から０．５までの乱数で初期化する。学習定数５．０モ
ーメンタム０．４で、第５図のデータを学習させた。学
習終了の判定は、各出カニニットからの出力と教師信号
との差が０．０２５以下になった時とした。第６図の（
１）〜（５）が、各状態における重みと闇値の値である
。第６図の見方は。

ｗｅｉｇｈｔ　（ｉ　）　　（ｊ　）は、第ｉ１５の第
ｊユニットへの結合の重みを並べたものであり、　ｔｈ
ｒｅｓｈｏｌｄ（ｉ）Ｎ）は、第１層の第ｊユニットの
闇値である。重みで、　　＊＊＊＊＊とあるのは、結合
が存在しない部分である。

く第３図の（ａ）の場合の例〉 第４図（Ｃ）のネットワークで第５図のデータを学習さ
せた。１００００回学習してもネットワークはデータを
学習することが出来なかった。重み等の結果は第６図の
（３）である。そこで、その状態から第３図のネットワ
ークのように全ての結合を乱数で初期化して追加した。

そして学習をすると、　２３４９回の学習でデータを学
習することができた。重み等の結果は第６図の（４）で
ある。

く第３図の（ｂ）の場合の例〉 第４図（Ａ）のままのネットワークで第５図のデータを
学習させた。学習は、　６７８４回で終了した。

重み等の結果は第６図の（１）である。そこで重みを調
べ１重みが０．２以下の結合を削除した。この場合は第
４図の（Ｂ）のように第０層のユニット０と第１層のユ
ニット１の間の結合と、第０層のユニットＯと第１層の
ユニット３の間の結合を削除した。結合を削除すること
により、学習が終了している状態が壊れてしまったが、
更に、２４回の学習をすることにより、完全に学習が終
了した。重み等の結果は第６図の（２）である。

〈第３図の（Ｃ）の場合の例〉 第３図（ａ）の例と同様に第４図（Ｃ）のネットワーク
で第５図のデータを学習させた。重み等の結果は第６図
の３である。学習に役だっていない０．２以下の重みを
持つ結合第０層のユニット０と第１層のユニットＯの間
の結合を削除し、その他の結合を追加した第４図（Ｄ）
のようなネットワークで学習を続けた。４０１８回の学
習でデータを学習することができた０重み等の結果は第
６図の５である。

〔発明の効果〕

本発明を用いれば、構造を持つニューラルネットワーク
を学習させる際に、学習の途中でネットワークの構造を
変更することを可能とする。例えばうまく学習できない
時にネットワークの構造を変更して、結合を増やす、或
いは一応学習は終わったが、もっと簡単な構造を持つネ
ットワークで実現するために学習に効いてなさそうなネ
ットワークの結合を削除してしまう、などといったこと
を本発明は可能とする。

【図面の簡単な説明】

第１図は本発明の原理的構成図、第２図は本発明の１実
施例装置の構成図、第３図は本発明の設定部の制御フロ
ー図、第４図（Ａ）ないし第４図（Ｄ）は本発明実施例
の動作を説明するためのネットワーク構造状態の説明図
（その１）ないしくその４）、第５図は学習データ例の
説明図、第６図は学習過程における闇値と重みの変化の
説明図、第７図は２Ｎパーセブトロン型ニユーラルネツ
トワークの構成図、第８図はバック・プロパゲーション
法の説明図、第９図は１個のセルを用いたニューラルネ
ットワークの構成図、第１０図はパターン空間における
判別直線ｆ＝ｏの説明図第１１図はセルのシグモイド特
性の説明図、第１２図はパターン空間におけるセル出力
を用いた判別直線の説明図、第１３図はパターン空間に
おける線形判別直線群の説明図、第１４図はパターン空
間における非線形判別線の説明図、第１５図は非線形判
別線を実現するニューラルネットワークの説明図である
。 第１区中 １　　、　ニューラルネットワーク ２　：　ネットワークの構造情報 ３　：　重み情報 ４　：　学習部 ５　：　動的構造変更装置 ６　：　構造変更指示手段 特許出願人　冨士通株式会社（外１名）代　理　人　弁
理士　長谷用　文廣（外２名）本９：日月の月艮理的填
万父図 孝し　１　図 本癒明ｑ註定節制句元−図 第３図 第 図（Ｄ） 第０層 第１層 第２層 第４図（Ｂ） 橡習テーグ分ｌ搾説明図 部５図 ← フィーＦ゛ ノぐツク 晩れＭ（ｉ／ｉ） バッブデ０ノでゲーションシ夫、ｆ）含也明図第８図 （＝１） ２眉ノ（０−でデトＯ：／型二１うルネットワークの木
１成図第７図 １イｆｆＪｃｒ＞でＪＬ／に用いｈニューラルえットフ
ーフの不陶万（図系９図 〕（ター〉空間１；お（７６判別直緯Ａ○ｑ説明図 第１０図 でルのシクモイｆ　’４１ｔの説明図 第１１図 第１２図 ノ（０ヲ一ン宇間１：おける東〉手り月り１Ｄ輔し奪←
乃銑明図第１３図 パターン空間におけＳＪＰ線町≠１別縁の説明図第１４
図 ｘＯ＝１ プＦ奉竿斤９￥’１％’１ｍを突ＩＬ了う二ｌ−ラノＶ
才７トワ−７の柘ε明図第１５図

Claims (1)

1. 【特許請求の範囲】 　ニューラルネットワーク装置において， 外部からニューラルネットワークのセル結合の追加また
   は削除，あるいは追加および削除を指示する手段と， 外部からの指示にしたがって，ニューラルネットワーク
   にセル結合を追加しあるいはニューラルネットワークか
   らセル結合を削除してニューラルネットワークの構造を
   変更する手段とを設け，ニューラルネットワークの学習
   過程中に，状況に応じて外部からニューラルネットワー
   ク構造の変更指示を与え，動的に変更可能にしたことを
   特徴とするニューラルネットワーク装置。