JP2907486B2 - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置Info
- Publication number
- JP2907486B2 JP2907486B2 JP2100661A JP10066190A JP2907486B2 JP 2907486 B2 JP2907486 B2 JP 2907486B2 JP 2100661 A JP2100661 A JP 2100661A JP 10066190 A JP10066190 A JP 10066190A JP 2907486 B2 JP2907486 B2 JP 2907486B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- learning
- weight
- network
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
- Devices For Executing Special Programs (AREA)
Description
【発明の詳細な説明】 〔概 要〕 ニューラルネットワークの構造を動的に変更可能にし
た装置に関し， ニューラルネットワークの学習効果を高められる有効
な手段を提供することを目的とし， 外部からニューラルネットワークのセル結合の追加ま
たは削除、あるいは追加および削除を指示する手段と、 外部からの指示にしたがって、ニューラルネットワー
クにセル結合を追加しあるいはニューラルネットワーク
からセル結合を削除してニューラルネットワークの構造
を変更するとともに、セル結合を追加する場合は追加し
た結合の重みを乱数で初期化する手段とを設け、 ニューラルネットワークの学習過程中に、外部からニ
ューラルネットワーク構造の変更指示が与えられたと
き、セル数を一定にした状態においてセル結合を動的に
変更可能に構成した。
た装置に関し， ニューラルネットワークの学習効果を高められる有効
な手段を提供することを目的とし， 外部からニューラルネットワークのセル結合の追加ま
たは削除、あるいは追加および削除を指示する手段と、 外部からの指示にしたがって、ニューラルネットワー
クにセル結合を追加しあるいはニューラルネットワーク
からセル結合を削除してニューラルネットワークの構造
を変更するとともに、セル結合を追加する場合は追加し
た結合の重みを乱数で初期化する手段とを設け、 ニューラルネットワークの学習過程中に、外部からニ
ューラルネットワーク構造の変更指示が与えられたと
き、セル数を一定にした状態においてセル結合を動的に
変更可能に構成した。
本発明は，ニューラルネットワーク装置に関し，特に
ニューラルネットワークの構造を動的に変更可能にした
装置に関する。
ニューラルネットワークの構造を動的に変更可能にした
装置に関する。
近年，ニューラルネットワークを用いたパターン認識
装置や適応フィルタなどが開発されており，更に何かし
ら構造を持ったニューラルネットワークを使おうとする
動きが急速に強まっている。
装置や適応フィルタなどが開発されており，更に何かし
ら構造を持ったニューラルネットワークを使おうとする
動きが急速に強まっている。
ところで，プラントの制御など，従来ファジィモデル
を適用してきた分野でファジィモデルをニューロモデル
で実現しようとする際には，構造を持ったニューラルネ
ットワークが必要になる。このためある構造をもったニ
ューラルネットワークを設定するが，学習を進めている
間に更に複雑な構造が必要になることが判ったり，逆に
最初に与えた構造が複雑過ぎて，もっと単純なネットワ
ークで十分であることが判ったりする。
を適用してきた分野でファジィモデルをニューロモデル
で実現しようとする際には，構造を持ったニューラルネ
ットワークが必要になる。このためある構造をもったニ
ューラルネットワークを設定するが，学習を進めている
間に更に複雑な構造が必要になることが判ったり，逆に
最初に与えた構造が複雑過ぎて，もっと単純なネットワ
ークで十分であることが判ったりする。
本発明は，そのような学習の過程において必要性が生
じたネットワークの構造の動的な変更を可能とする。
じたネットワークの構造の動的な変更を可能とする。
今までのプログラム内蔵方式のいわゆるノイマン型コ
ンピュータは，全ての場合について動作を指定する必要
があった。ニューラルネットワークで構成されるニュー
ロコンピュータは，代表的な学習パターンを何回か提示
することにより学習することができ，それまで与えてい
ないパターンに対しても適切な解を与えることができ
る。
ンピュータは，全ての場合について動作を指定する必要
があった。ニューラルネットワークで構成されるニュー
ロコンピュータは，代表的な学習パターンを何回か提示
することにより学習することができ，それまで与えてい
ないパターンに対しても適切な解を与えることができ
る。
ニューラルネットワークの代表的なものに，パーセプ
トロンモデルのような階層型のモデルと，ホップフィー
ルド型モデルのような相互結合型のモデルがある。
トロンモデルのような階層型のモデルと，ホップフィー
ルド型モデルのような相互結合型のモデルがある。
またニューラルネットワークの代表的な構造と学習方
法には，階層型ニューラルネットワークとバックプロパ
ゲーション法や階層型ニューラルネットワークと仮想イ
ンピーダンス法などがある。
法には，階層型ニューラルネットワークとバックプロパ
ゲーション法や階層型ニューラルネットワークと仮想イ
ンピーダンス法などがある。
次に従来技術の具体例として，階層型のパーセプトロ
ン型ニューラルネットワークについて説明する。
ン型ニューラルネットワークについて説明する。
パーセプトロン型ニューラルネットワークの基本構造 第７図に，基本的なパーセプトロン型ニューラルネッ
トワークの例として,2層のパーセプトロン型ニューラル
ネットワークの構成を示す。
トワークの例として,2層のパーセプトロン型ニューラル
ネットワークの構成を示す。
第７図の２層パーセプトロン型ニューラルネットワー
クは、隠れ層（中間層ともいう）と出力層からなり，各
層は○で示すセルで構成される。ここでセルは，ニュー
ロンを機能的に模擬した素子を意味している。この例で
は入力数が（Ｉ＋１）個，隠れ層のセル個数（Ｊ＋１）
個および出力層のセル個数１個からなっている。
クは、隠れ層（中間層ともいう）と出力層からなり，各
層は○で示すセルで構成される。ここでセルは，ニュー
ロンを機能的に模擬した素子を意味している。この例で
は入力数が（Ｉ＋１）個，隠れ層のセル個数（Ｊ＋１）
個および出力層のセル個数１個からなっている。
各セルには複数個の入力があり，出力層のセルの各入
力には結合計数｛Vj｝ｊ＝0,J, また隠れ層の各セルの各入力には ｛Wij｝ｉ＝0,I,j＝I,Jが付与されている。各セルの出
力｛Yj｝およびＺは，次の１式または２式で表される。
但し,X0＝1,Y0＝１である。
力には結合計数｛Vj｝ｊ＝0,J, また隠れ層の各セルの各入力には ｛Wij｝ｉ＝0,I,j＝I,Jが付与されている。各セルの出
力｛Yj｝およびＺは，次の１式または２式で表される。
但し,X0＝1,Y0＝１である。
１式は，隠れ層の各セルの出力関数である。１式で は隠れ層の一つのセルの入力の総和であり，それを と表すことになる。また２式は出力層のセルの出力関数
である。２式で は出力層のセルの入力の総和であり，それを と表すことにする。
である。２式で は出力層のセルの入力の総和であり，それを と表すことにする。
２層パーセプトロン型ニューラルネットワークには,1
次元パターン空間内に分布する多数のパターンＩ−１次
元の複数の超平面の組み合わせによって２つのカテゴリ
に分離する機能がある。この組み合わせられた超平面を
識別面という。識別面は結合係数｛Vj｝ｊ＝0,jおよび ｛Wij｝ｉ＝0,I,j＝1,Jにより決定される。この結合係
数｛Vj｝ｊ＝0,Jおよび ｛Wij｝ｊ＝0,I,j＝1,Jは，バックプロパゲーション法
（以下BP法とよぶ）を用いて学習データより決定するこ
とができる。
次元パターン空間内に分布する多数のパターンＩ−１次
元の複数の超平面の組み合わせによって２つのカテゴリ
に分離する機能がある。この組み合わせられた超平面を
識別面という。識別面は結合係数｛Vj｝ｊ＝0,jおよび ｛Wij｝ｉ＝0,I,j＝1,Jにより決定される。この結合係
数｛Vj｝ｊ＝0,Jおよび ｛Wij｝ｊ＝0,I,j＝1,Jは，バックプロパゲーション法
（以下BP法とよぶ）を用いて学習データより決定するこ
とができる。
BP法 第８図に,PB法を適用した標準的ネットワークの構成
を示す。このネットワークの特徴は通常のセル以外に，
常に出力値が１であるセルを設けてあることである。こ
のセルと上層の通常のユニットとの間の結合の重みは，
閾値と見做すことができる。このようにして，閾値に重
みと同じ学習則を適用することができる。したがって，
以下の数式では閾値θはあらわに出てこない。
を示す。このネットワークの特徴は通常のセル以外に，
常に出力値が１であるセルを設けてあることである。こ
のセルと上層の通常のユニットとの間の結合の重みは，
閾値と見做すことができる。このようにして，閾値に重
みと同じ学習則を適用することができる。したがって，
以下の数式では閾値θはあらわに出てこない。
第８図において，入力層（ｈ層）の各セル１〜Nhに学
習させたいパターンをもつ入力信号を与え，このとき出
力層（ｊ層）の各セル１〜Njから出力される出力信号
を，学習させたい目標値を与える教師信号と比較し，誤
差を求めて，それを層間の結合の重みWij,Wjiに反映
（フィードバック）させるものである。
習させたいパターンをもつ入力信号を与え，このとき出
力層（ｊ層）の各セル１〜Njから出力される出力信号
を，学習させたい目標値を与える教師信号と比較し，誤
差を求めて，それを層間の結合の重みWij,Wjiに反映
（フィードバック）させるものである。
BP法の詳細は以下の文献に詳しく述べられている。
D.E.Rumelhert,G.E.Hinton,R.J.Williams,“Leaning In
ternal Representations by Error Propagation" Parallel Distributed Processing Vol.1 （The MIT press）,pp318〜362 ここではその概要を述べる。
ternal Representations by Error Propagation" Parallel Distributed Processing Vol.1 （The MIT press）,pp318〜362 ここではその概要を述べる。
学習パターン｛xi p｝（ｐは学習パターン番号）が与
えられた場合に，現状の結合係数で得られる出力をzpと
し，人間が意図する望ましい出力（パターンのカテゴリ
に対応する）をtpとする。ここでは，あるカテゴリであ
るかまたはないかを識別するニューラルネットワークを
学習させるものとする。学習パターン｛xi p｝がそのカ
テゴリである場合tpを１とし，そうでない場合tpを０と
する。そして全学習パターンに対してzpとtpの誤差が小
さくなるようにニューラルネットワーク内の結合係数の
値を変更する。
えられた場合に，現状の結合係数で得られる出力をzpと
し，人間が意図する望ましい出力（パターンのカテゴリ
に対応する）をtpとする。ここでは，あるカテゴリであ
るかまたはないかを識別するニューラルネットワークを
学習させるものとする。学習パターン｛xi p｝がそのカ
テゴリである場合tpを１とし，そうでない場合tpを０と
する。そして全学習パターンに対してzpとtpの誤差が小
さくなるようにニューラルネットワーク内の結合係数の
値を変更する。
zpとtpの誤差Ｅは５式により定義される。
最急降下法でＥの極小値を求める場合， ｛Vj｝ｊ＝0,J及び｛Wij｝ｉ＝0,I,j＝I,Jの変化量は６
式で表される。
式で表される。
第８図のニューラルネットワークの場合，学習時の結
合係数の変化量は以下の７式〜10式に従えばよい。
合係数の変化量は以下の７式〜10式に従えばよい。
αｐ＝（tp−zp）zp（１−zp） ……（９） βj p＝Yj p（１−Yj p）αpVj ……（10） ７式及び８式でηは学習定数と呼ばれ,0.1〜0.3程度
の値が用いられる。
の値が用いられる。
学習の処理は11式および12式を学習パターンに対して
繰り返し実行することにより行われる。
繰り返し実行することにより行われる。
Vj＝Vj＋ΔVj ……（11） Wij＝Wij＋ΔWij ……（12） 一般には学習方向の連続性を保つために,7式および８
式の代わりに次の13式および14式を用いる。
式の代わりに次の13式および14式を用いる。
13式および14式においてｎは学習回数であり，γは結
合係数の学習方向の連続性を保つための係数であり，モ
ーメンタムと呼ばれる。一般にγは0.05〜0.7程度の値
が用いられる。また，ΔVj（０）＝0,ΔWij（０）＝０
である。
合係数の学習方向の連続性を保つための係数であり，モ
ーメンタムと呼ばれる。一般にγは0.05〜0.7程度の値
が用いられる。また，ΔVj（０）＝0,ΔWij（０）＝０
である。
誤差Ｅが充分小さくなるまで13式および14式により結
合係数を繰り返し演算する。
合係数を繰り返し演算する。
識別の方法 上記の方法で結合係数を学習した後で，識別が行われ
る。まず未知パターンが入力に与えられる。ニューラル
ネットワーク内では,1式および２式の計算が行われ出力
Ｚが得られる。たとえばこのＺが0.5以上の場合未知パ
ターンは学習されたカテゴリであると識別され,Zが0.5
以下の場合未知パターンは学習されたカテゴリでないと
識別される。
る。まず未知パターンが入力に与えられる。ニューラル
ネットワーク内では,1式および２式の計算が行われ出力
Ｚが得られる。たとえばこのＺが0.5以上の場合未知パ
ターンは学習されたカテゴリであると識別され,Zが0.5
以下の場合未知パターンは学習されたカテゴリでないと
識別される。
ニューラルネットワークの機能 ニューラルネットワークの機能についての理解を容易
にするため，第９図ないし第15図を用いて具体例を説明
する。
にするため，第９図ないし第15図を用いて具体例を説明
する。
まず第９図に示すようなセルが１個の場合について考
えてみる。これは，第８図において隠れ層の１個のセル
に相当する。
えてみる。これは，第８図において隠れ層の１個のセル
に相当する。
図示されたセルは,N＋１個の入力は重みWi（ｉ＝0,1,
…,N）をもち,X0,X1,…,XNの要素からなる入力パターン
（パターン｛Xi｝）が与えられると,15式で示す出力関
数処理を行って，識別結果ｙを出力する。
…,N）をもち,X0,X1,…,XNの要素からなる入力パターン
（パターン｛Xi｝）が与えられると,15式で示す出力関
数処理を行って，識別結果ｙを出力する。
15式のexp（ ）中において とおき,15式を次の17式のように表す。
ｆ＝０は，パターン空間における判別面（判別線）を
示している。第10図にパターン空間が２次元の場合の例
を示す。
示している。第10図にパターン空間が２次元の場合の例
を示す。
ｆ＝W0＋W1X1＋W2X2 ……（18） （ただしW0＞０とする） であり，第10図の判別直線（ｆ＝０）を境界にして，領
域１はｆ＜0,領域２はｆ＞０として判別できる。
域１はｆ＜0,領域２はｆ＞０として判別できる。
すなわち、ｆの正負判定を行えば，パターン空間の領
域識別が可能となる。
域識別が可能となる。
15式は,fの値（ΣWiXi）を，第11図に示すようなシグ
モイド特性にしたがって０から１までの値に非線形変換
するものである（ｆ＝０は,y＝0.5に変換される）。
モイド特性にしたがって０から１までの値に非線形変換
するものである（ｆ＝０は,y＝0.5に変換される）。
この非線形変換を施すことにより，第10図は,fの代わ
りにｙを用いて第12図のように書き直すことができる。
りにｙを用いて第12図のように書き直すことができる。
セルが２個（隠れ層のセルが２個，出力層のセルが１
個）の場合には，パターン空間にもう１本の判別直線を
引くことができる。第13図にその１例を示す。図中の
y1,y2は次の19式と20式で表される。
個）の場合には，パターン空間にもう１本の判別直線を
引くことができる。第13図にその１例を示す。図中の
y1,y2は次の19式と20式で表される。
第13図において，次の21式のＺの値が0.5以上という
条件（y1とy2の和が1.5以上）を満足する領域を第14図
に斜線領域で示す。
条件（y1とy2の和が1.5以上）を満足する領域を第14図
に斜線領域で示す。
y1とy2の和が１以上という第12図の条件を満足するニ
ューラルネットワークの構成を第15図に示す。図中のU
01,U11,U21は結合係数である。
ューラルネットワークの構成を第15図に示す。図中のU
01,U11,U21は結合係数である。
このように，隠れ層と出力層をもつ構造のニューラル
ネットワークでは，結合係数を適当に設定すれば，出力
層のセルがパターン空間内の非線形な境界をもつ連続凸
領域を識別（セル出力が0.5以上となる）することが可
能となる。さらに隠れ層を多層化すれば，非線形な境界
をもつ非連続凸領域の識別が可能となる。
ネットワークでは，結合係数を適当に設定すれば，出力
層のセルがパターン空間内の非線形な境界をもつ連続凸
領域を識別（セル出力が0.5以上となる）することが可
能となる。さらに隠れ層を多層化すれば，非線形な境界
をもつ非連続凸領域の識別が可能となる。
以上説明した従来のニューラルネットワークでは，ネ
ットワーク構造は固定であり，学習過程で制御できるの
はセル間の結合係数（重み）と閾値のみであった。
ットワーク構造は固定であり，学習過程で制御できるの
はセル間の結合係数（重み）と閾値のみであった。
従来のニューラルネットワークでは，対象のパターン
群によっては学習効果がなかなかあがらない場合があ
り，処理精度が向上しないことがあった。
群によっては学習効果がなかなかあがらない場合があ
り，処理精度が向上しないことがあった。
本発明は，ニューラルネットワークの学習効果を高め
られる有効な手段を提供することを目的としている。
られる有効な手段を提供することを目的としている。
本発明は，従来のニューラルネットワークでは，ネッ
トワーク構造が固定であったため，処理対象によっては
セル間の結合が不足したり過剰になったりし，学習効率
や処理精度に影響している点に着目し，学習過程中に必
要な場合セル間結合の追加，削除，あるいは追加および
削除を可能にして，ネットワーク構造を処理対象に最適
化できるようにしたものである。
トワーク構造が固定であったため，処理対象によっては
セル間の結合が不足したり過剰になったりし，学習効率
や処理精度に影響している点に着目し，学習過程中に必
要な場合セル間結合の追加，削除，あるいは追加および
削除を可能にして，ネットワーク構造を処理対象に最適
化できるようにしたものである。
第１図は，本発明の原理的構成図である。
図において， １は，構築されているニューラルネットワークであ
る。
る。
２は，ニューラルネットワーク構造情報である。
３は，各セル間の結合係数を規定する重み情報であ
る。
る。
４は，学習部であり，ニューラルネットワーク１に学
習パターンを与えて結果出力を教師信号と比較し，誤差
を重み情報３に反映させる処理を行う。
習パターンを与えて結果出力を教師信号と比較し，誤差
を重み情報３に反映させる処理を行う。
５は，動的構造変更装置であり，外部からの指示によ
り，ニューラルネットワーク１におけるセル結合の追加
または削除あるいは追加と削除の両方を行う。
り，ニューラルネットワーク１におけるセル結合の追加
または削除あるいは追加と削除の両方を行う。
６は，構造変更指示手段であり，外部から動的構造変
更装置５に対してネットワーク構造の変更指示を与える
ために用いられる。
更装置５に対してネットワーク構造の変更指示を与える
ために用いられる。
第１図において，動作開始時にネットワーク構造情報
２および重み情報３は初期設定され，学習部４は，それ
らの情報に基づいてニュートラルネットワーク１の学習
を実行する。
２および重み情報３は初期設定され，学習部４は，それ
らの情報に基づいてニュートラルネットワーク１の学習
を実行する。
学習の過程において，ニューラルネットワーク１の出
力と教師信号との間の誤差が基準値以下になかなか収斂
しない場合には，外部から構造変更指示手段６により動
的構造変更装置５に対して，ネットワーク中のセル間結
合の追加，削除あるいは追加および削除を指示する。
力と教師信号との間の誤差が基準値以下になかなか収斂
しない場合には，外部から構造変更指示手段６により動
的構造変更装置５に対して，ネットワーク中のセル間結
合の追加，削除あるいは追加および削除を指示する。
動的構造変更装置５は，指示にしたがってネットワー
ク構造情報２を変更し，学習部４はその結果に基づいて
学習処理を最実行する。
ク構造情報２を変更し，学習部４はその結果に基づいて
学習処理を最実行する。
この過程は，学習が適切に遂行されるまで繰り返され
る。
る。
第２図は本発明の１実施例装置の構成図であり，第３
図はその制御フロー図である。
図はその制御フロー図である。
第２図において,10はニューラルネットワーク処理装
置であり，その中の11はニューラルネットワークの重み
および構造情報を保存する重みおよび構造保存部,12は
学習パターンを格納するパターン格納部,13は学習パタ
ーンを用いてニューラルネットワークの学習処理を実行
する学習部,14は学習されたニューラルネットワークに
より未知入力を処理する実行部,15は処理結果を出力す
る出力部である。
置であり，その中の11はニューラルネットワークの重み
および構造情報を保存する重みおよび構造保存部,12は
学習パターンを格納するパターン格納部,13は学習パタ
ーンを用いてニューラルネットワークの学習処理を実行
する学習部,14は学習されたニューラルネットワークに
より未知入力を処理する実行部,15は処理結果を出力す
る出力部である。
また20は本発明による動的構造変更装置であり，その
中の21は重みおよび構造保存部11から重みおよび構造情
報を読出す重みおよび構造読取部,22は重みおよび構造
情報を重みおよび構造保存部11に設定あるいは再設定す
る設定部,23は外部からの構造変更指示を読取る指示読
取装置,24は追加されたネットワーク構造中のセル結合
の重みを乱数で初期化する乱数発生装置である。
中の21は重みおよび構造保存部11から重みおよび構造情
報を読出す重みおよび構造読取部,22は重みおよび構造
情報を重みおよび構造保存部11に設定あるいは再設定す
る設定部,23は外部からの構造変更指示を読取る指示読
取装置,24は追加されたネットワーク構造中のセル結合
の重みを乱数で初期化する乱数発生装置である。
第３図により，第２図中の設定部22を中心とする動作
を説明する。
を説明する。
ニューラルネットワークを観察している人あるいは装
置が，ネットワークの構造を変えるように指示を与え
る。
置が，ネットワークの構造を変えるように指示を与え
る。
設定部はまず，その外部からの指示を指示読取装置
を通じて読み取る。
を通じて読み取る。
設定部は指示読取装置から外部の指示を受け，次に
ネットワークの各結合の重みおよび構造の情報を重みお
よび構造読取部を通じて読み出す。
ネットワークの各結合の重みおよび構造の情報を重みお
よび構造読取部を通じて読み出す。
外部からの指示内容により次の（ａ），（ｂ），
（ｃ），（ｄ）の動作を行う。
（ｃ），（ｄ）の動作を行う。
（ａ） 外部からの追加指示に従い，セル結合を追加
する指示を重みおよび構造保存部に行う。
する指示を重みおよび構造保存部に行う。
（ｂ） 外部からの削除指示に従い，セル結合を削除
する指示を重みおよび構造保存部に行う。
する指示を重みおよび構造保存部に行う。
（ｃ） 外部からの追加および削除指示に従い，はじ
めに指示された結合の削除を重みおよび構造保存部に行
い，次に結合の追加を指示する。
めに指示された結合の削除を重みおよび構造保存部に行
い，次に結合の追加を指示する。
（ｄ） 上記（ａ），（ｃ）の場合，さらに追加した
結合の重みを乱数で初期化する。
結合の重みを乱数で初期化する。
次に，本発明実施例の動作の具体例を説明する。
第４図（Ａ）が，本発明の実施例に用いたネットワー
クの基本の形である。全ての重みおよび閾値の初期値を
設定する時，および新しい重みを付け加える時には−0.
5から0.5までの乱数で初期化する。学習定数5.0モーメ
ンタム0.4で，第５図のデータを学習させた。学習終了
の判定は，各出力ユニットからの出力と教師信号との差
が0.025以下になった時とした。第６図の（１）〜
（５）が，各状態における重みと閾値の値である。第６
図の見方は,weight〔ｉ〕〔ｊ〕は，第ｉ層の第ｊユニ
ットへの結合の重みを並べたものであり,threshold
〔ｉ〕〔ｊ〕は，第ｉ層の第ｊユニットの閾値である。
重みで，＊＊＊＊＊とあるのは，結合が存在しない部分
である。
クの基本の形である。全ての重みおよび閾値の初期値を
設定する時，および新しい重みを付け加える時には−0.
5から0.5までの乱数で初期化する。学習定数5.0モーメ
ンタム0.4で，第５図のデータを学習させた。学習終了
の判定は，各出力ユニットからの出力と教師信号との差
が0.025以下になった時とした。第６図の（１）〜
（５）が，各状態における重みと閾値の値である。第６
図の見方は,weight〔ｉ〕〔ｊ〕は，第ｉ層の第ｊユニ
ットへの結合の重みを並べたものであり,threshold
〔ｉ〕〔ｊ〕は，第ｉ層の第ｊユニットの閾値である。
重みで，＊＊＊＊＊とあるのは，結合が存在しない部分
である。
＜第３図の（ａ）の場合の例＞ 第４図（ｃ）のネットワークで第５図のデータを学習
させた。10000回学習してもネットワークはデータを学
習することが出来なかった。重み等の結果は第６図の
（３）である。そこで，その状態から第３図のネットワ
ークのように全ての結合を乱数で初期化して追加した。
そして学習をすると,2349回の学習でデータを学習する
ことができた。重み等の結果は第６図の（４）である。
させた。10000回学習してもネットワークはデータを学
習することが出来なかった。重み等の結果は第６図の
（３）である。そこで，その状態から第３図のネットワ
ークのように全ての結合を乱数で初期化して追加した。
そして学習をすると,2349回の学習でデータを学習する
ことができた。重み等の結果は第６図の（４）である。
＜第３図の（ｂ）の場合の例＞ 第４図（Ａ）のままのネットワークで第５図のデータ
を学習させた。学習は,6784回で終了した。重み等の結
果は第６図の（１）である。そこで重みを調べ，重みが
0.2以下の結合を削除した。この場合は第４図の（Ｂ）
のように第０層のユニット０と第１層のユニット１の間
の結合と，第０層のユニット０と第１層のユニット３の
間の結合を削除した。結合を削除することにより，学習
が終了している状態が壊れてしまったが，更に,24回の
学習をすることにより，完全に学習が終了した。重み等
の結果は第６図の（２）である。
を学習させた。学習は,6784回で終了した。重み等の結
果は第６図の（１）である。そこで重みを調べ，重みが
0.2以下の結合を削除した。この場合は第４図の（Ｂ）
のように第０層のユニット０と第１層のユニット１の間
の結合と，第０層のユニット０と第１層のユニット３の
間の結合を削除した。結合を削除することにより，学習
が終了している状態が壊れてしまったが，更に,24回の
学習をすることにより，完全に学習が終了した。重み等
の結果は第６図の（２）である。
＜第３図の（ｃ）の場合の例＞ 第３図（ａ）の例と同様に第４図（ｃ）のネットワー
クで第５図のデータを学習させた。重み等の結果は第６
図の３である。学習に役だっていない0.2以下の重みを
持つ第０層のユニット０と第１層のユニット０の間の結
合を削除し，その他の結合を追加した第４図（Ｄ）のよ
うなネットワークで学習を続けた。4018回の学習でデー
タを学習することができた。重み等の結果は第６図の５
である。
クで第５図のデータを学習させた。重み等の結果は第６
図の３である。学習に役だっていない0.2以下の重みを
持つ第０層のユニット０と第１層のユニット０の間の結
合を削除し，その他の結合を追加した第４図（Ｄ）のよ
うなネットワークで学習を続けた。4018回の学習でデー
タを学習することができた。重み等の結果は第６図の５
である。
本発明を用いれば，構造を持つニューラルネットワー
クを学習させる際に，学習の途中でネットワークの構造
を変更することを可能とする。例えばうまく学習できな
い時にネットワークの構造を変更して，結合を増やす。
或いは一応学習は終わったが，もっと簡単な構造を持つ
ネットワークで実現するために学習に効いてなさそうな
ネットワークの結合を削除してしまう，などといったこ
とを本発明は可能とする。
クを学習させる際に，学習の途中でネットワークの構造
を変更することを可能とする。例えばうまく学習できな
い時にネットワークの構造を変更して，結合を増やす。
或いは一応学習は終わったが，もっと簡単な構造を持つ
ネットワークで実現するために学習に効いてなさそうな
ネットワークの結合を削除してしまう，などといったこ
とを本発明は可能とする。
第１図は本発明の原理的構成図，第２図は本発明の１実
施例装置の構成図，第３図は本発明の設定部の制御フロ
ー図，第４図（Ａ）ないし第４図（Ｄ）は本発明実施例
の動作を説明するためのネットワーク構造状態の説明図
（その１）ないし（その４），第５図は学習データ例の
説明図，第６図は学習過程における閾値と重みの変化の
説明図，第７図は２層パーセプトロン型ニューラルネッ
トワークの構成図，第８図はバック・プロパゲーション
法の説明図，第９図は１個のセルを用いたニューラルネ
ットワークの構成図，第10図はパターン空間における判
別直線ｆ＝０の説明図，第11図はセルのシグモイド特性
の説明図，第12図はパターン空間におけるセル出力を用
いた判別直線の説明図，第13図はパターン空間における
線形判別直線群の説明図，第14図はパターン空間におけ
る非線形判別線の説明図，第15図は非線形判別線を実現
するニューラルネットワークの説明図である。 第１図中 1:ニューラルネットワーク 2:ネットワークの構造情報 3:重み情報 4:学習部 5:動的構造変更装置 6:構造変更指示手段
施例装置の構成図，第３図は本発明の設定部の制御フロ
ー図，第４図（Ａ）ないし第４図（Ｄ）は本発明実施例
の動作を説明するためのネットワーク構造状態の説明図
（その１）ないし（その４），第５図は学習データ例の
説明図，第６図は学習過程における閾値と重みの変化の
説明図，第７図は２層パーセプトロン型ニューラルネッ
トワークの構成図，第８図はバック・プロパゲーション
法の説明図，第９図は１個のセルを用いたニューラルネ
ットワークの構成図，第10図はパターン空間における判
別直線ｆ＝０の説明図，第11図はセルのシグモイド特性
の説明図，第12図はパターン空間におけるセル出力を用
いた判別直線の説明図，第13図はパターン空間における
線形判別直線群の説明図，第14図はパターン空間におけ
る非線形判別線の説明図，第15図は非線形判別線を実現
するニューラルネットワークの説明図である。 第１図中 1:ニューラルネットワーク 2:ネットワークの構造情報 3:重み情報 4:学習部 5:動的構造変更装置 6:構造変更指示手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川村 旭 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 浅川 和雄 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 大和田 有理 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 松岡 成典 東京都日野市富士町１番地 富士ファコ ム制御株式会社内 (72)発明者 岡田 浩之 東京都日野市富士町１番地 富士ファコ ム制御株式会社内 (56)参考文献 特開 平３−94364（ＪＰ，Ａ) 広瀬佳生，山下公一，土屋真平，「中 間層ユニット数を変化させるバックプロ パゲーション法」，平成元年電子情報通 信学会春季全国大会講演論文集，Ｄ− 18，ｐ．７−18（1989) (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 15/18 G06G 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (1)
- 【請求項１】ニューラルネットワーク装置において、 外部からニューラルネットワークのセル結合の追加また
は削除、あるいは追加および削除を指示する手段と、 外部からの指示にしたがって、ニューラルネットワーク
にセル結合を追加しあるいはニューラルネットワークか
らセル結合を削除してニューラルネットワークの構造を
変更するとともに、セル結合を追加する場合は追加した
結合の重みを乱数で初期化する手段とを設け、 ニューラルネットワークの学習過程中に、外部からニュ
ーラルネットワーク構造の変更指示が与えられたとき、
セル数を一定にした状態においてセル結合を動的に変更
可能に構成したことを特徴とするニューラルネットワー
ク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2100661A JP2907486B2 (ja) | 1990-04-17 | 1990-04-17 | ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2100661A JP2907486B2 (ja) | 1990-04-17 | 1990-04-17 | ニューラルネットワーク装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04548A JPH04548A (ja) | 1992-01-06 |
| JP2907486B2 true JP2907486B2 (ja) | 1999-06-21 |
Family
ID=14279985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2100661A Expired - Lifetime JP2907486B2 (ja) | 1990-04-17 | 1990-04-17 | ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2907486B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR960013367B1 (ko) * | 1992-05-30 | 1996-10-04 | 정호선 | 프로그램이 가능한 다층 신경회로망 |
| JPH06266398A (ja) * | 1993-03-16 | 1994-09-22 | Sanyo Electric Co Ltd | ニューラルネットワークを用いた演算装置 |
| JPH06348675A (ja) * | 1993-06-07 | 1994-12-22 | Ebara Corp | ニューロコンピュータ応用機器およびこれを含む機械装置 |
| JP3279743B2 (ja) * | 1993-08-04 | 2002-04-30 | 三菱電機株式会社 | 多層型ニューラルネットワーク構造を有する識別装置 |
| JP3504604B2 (ja) * | 2000-11-10 | 2004-03-08 | 三菱電機株式会社 | 識別装置 |
| JP6964969B2 (ja) * | 2016-09-30 | 2021-11-10 | キヤノン株式会社 | 演算処理装置、演算処理方法及びプログラム |
| JP7054645B2 (ja) * | 2018-05-18 | 2022-04-14 | ヤフー株式会社 | 生成装置、生成方法、生成プログラムおよびプログラムパラメータ |
-
1990
- 1990-04-17 JP JP2100661A patent/JP2907486B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 広瀬佳生，山下公一，土屋真平，「中間層ユニット数を変化させるバックプロパゲーション法」，平成元年電子情報通信学会春季全国大会講演論文集，Ｄ−１８，ｐ．７−１８（１９８９） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04548A (ja) | 1992-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kang | An investigation of the use of feedforward neural networks for forecasting | |
| Irwin et al. | Neural network applications in control | |
| Ponnapalli et al. | A formal selection and pruning algorithm for feedforward artificial neural network optimization | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| JPH11510936A (ja) | コンピュータによるファジィルールの最適化方法 | |
| Kuo et al. | Applying genetic programming technique in classification trees | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| Kumara et al. | Use of associative memory and self-organization in conceptual design | |
| JP3354593B2 (ja) | ネットワーク型情報処理装置の学習システム | |
| CN115131646A (zh) | 基于离散系数的深度网络模型压缩方法 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| US6490571B1 (en) | Method and apparatus for neural networking using semantic attractor architecture | |
| Hassan et al. | Rough neural classifier system | |
| JP3171897B2 (ja) | 知識情報処理装置 | |
| Du et al. | Evolutionary NAS in light of model stability for accurate continual learning | |
| Bull | Model-based evolutionary computing: A neural network and genetic algorithm architecture | |
| Clark et al. | Higher-order probabilistic perceptrons as Bayesian inference engines | |
| JP2699447B2 (ja) | 信号処理装置 | |
| Bebis et al. | Improving generalization by using genetic algorithms to determine the neural network size | |
| US5535301A (en) | Method for guessing the response of a physical system to an arbitrary input | |
| Sarkar et al. | An information theoretic technique to design belief network based expert systems | |
| US20240020553A1 (en) | Interactive electronic device for performing functions of providing responses to questions from users and real-time conversation with the users using models learned by deep learning technique and operating method thereof | |
| Tsoi et al. | Building MLP networks by construction | |
| US20240127032A1 (en) | Temporal Convolution-Readout for Random Recurrent Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080402 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 10 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 12 |