JP2654686B2 - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JP2654686B2 JP2654686B2 JP1111307A JP11130789A JP2654686B2 JP 2654686 B2 JP2654686 B2 JP 2654686B2 JP 1111307 A JP1111307 A JP 1111307A JP 11130789 A JP11130789 A JP 11130789A JP 2654686 B2 JP2654686 B2 JP 2654686B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- neural network
- input
- layer
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、ニューラルネットワークの改良に係り、特
に学習効率に優れ、かつ、高性能なニューラルネットワ
ークを提供するものである。
に学習効率に優れ、かつ、高性能なニューラルネットワ
ークを提供するものである。
（技術的背景） 近年、人間の神経細胞（ニューロン）あるいは脳を模
倣し、工学的に応用するための研究・開発が盛んであ
り、神経回路網の工学的モデルとして様々なニューラル
ネットワーク（Neural Natwork）が考案されている。
倣し、工学的に応用するための研究・開発が盛んであ
り、神経回路網の工学的モデルとして様々なニューラル
ネットワーク（Neural Natwork）が考案されている。
第９図は、パターン連想型と称されているニューラル
ネットワークの一例であり、多数のユニット（ニューロ
ン）Ｕにより入力層、中間層、出力層などを構成した層
状のニューラルネットワークである。ユニットＵは脳の
ニューロンを工学的にモデル化した非線形な入出力特性
を有する変換系であり、ニューラルネットワークは可変
の重みＷで結ばれた多数のユニットの結合（体）であ
る。
ネットワークの一例であり、多数のユニット（ニューロ
ン）Ｕにより入力層、中間層、出力層などを構成した層
状のニューラルネットワークである。ユニットＵは脳の
ニューロンを工学的にモデル化した非線形な入出力特性
を有する変換系であり、ニューラルネットワークは可変
の重みＷで結ばれた多数のユニットの結合（体）であ
る。
第10図は、第９図に示したニューラルネットワークの
ユニット結合を示す図である。ユニットＵは非線形の入
出力特性、例えば入力値Ｘに対して出力値Ｙ＝Ｆ（Ｘ）
を出力する非線形関数Ｆ（Ｘ）により構成された変換系
である。入力値としては、前層の出力値（あるいはネッ
トワークへの入力値）に、独立した可変の重みＷが乗算
して得られた総和が入力され、この入力値が非線形変換
されて後層に出力されている。
ユニット結合を示す図である。ユニットＵは非線形の入
出力特性、例えば入力値Ｘに対して出力値Ｙ＝Ｆ（Ｘ）
を出力する非線形関数Ｆ（Ｘ）により構成された変換系
である。入力値としては、前層の出力値（あるいはネッ
トワークへの入力値）に、独立した可変の重みＷが乗算
して得られた総和が入力され、この入力値が非線形変換
されて後層に出力されている。
前記可変の重みＷはユニットＵの結合の強さを表わす
ものであり、この重みＷを変化・収束させて、すなわ
ち、学習させて所望のニューラルネットワークが構築さ
れる。
ものであり、この重みＷを変化・収束させて、すなわ
ち、学習させて所望のニューラルネットワークが構築さ
れる。
そして、ニューラルネットワーク構築の学習アルゴリ
ズムとしてはバックプロパゲーション（back propagati
on）があり、ユニットＵの非線形関数としては、例え
ば、第11図に示すシグモイド（sigmoid）関数が使用さ
れている。
ズムとしてはバックプロパゲーション（back propagati
on）があり、ユニットＵの非線形関数としては、例え
ば、第11図に示すシグモイド（sigmoid）関数が使用さ
れている。
第９図に示すニューラルネットワークにおいて、入力
パターンが入力層に入力されると、この入力パターンは
入力層→中間層→出力層へ伝達・処理され、出力層から
出力値（出力パターン）が出力される。この出力値は、
それまでの学習によって得られた重みにもとづくもので
ある。これに対して望ましい出力値（正解）が与えられ
ると、出力層→中間層→入力層の順で伝達・処理され、
重みの学習がなされる。重みの学習とは、実際の出力値
と望ましい出力値との差を減らすように、ユニット間の
結合の強さ、すなわち、重みを変化・収束させることで
ある。
パターンが入力層に入力されると、この入力パターンは
入力層→中間層→出力層へ伝達・処理され、出力層から
出力値（出力パターン）が出力される。この出力値は、
それまでの学習によって得られた重みにもとづくもので
ある。これに対して望ましい出力値（正解）が与えられ
ると、出力層→中間層→入力層の順で伝達・処理され、
重みの学習がなされる。重みの学習とは、実際の出力値
と望ましい出力値との差を減らすように、ユニット間の
結合の強さ、すなわち、重みを変化・収束させることで
ある。
（従来の技術） 上述したバックプロパゲーションによる層状ニューラ
ルネットワークの構築では、少ない学習回数で、正答率
の高い高性能なニューラルネットワーク構築の研究がな
されており、そのひとつに、バイアス係数と呼ばれる変
数αを導入したものがある。
ルネットワークの構築では、少ない学習回数で、正答率
の高い高性能なニューラルネットワーク構築の研究がな
されており、そのひとつに、バイアス係数と呼ばれる変
数αを導入したものがある。
これは、第12図に示すように、ユニットへの入力値、
すなわち、前層の出力値（あるいはネットワークへの入
力値）に、独立した可変の重みが掛けられた総和に、こ
の総和を増減させる変数αを導入して、学習の効率を向
上させたものである。非線形関数として前述したシグモ
イド関数を例として説明すれば、バイアス係数αは、第
11図に示すように、シグモイド関数を横（入力）軸方向
にαだけ平行移動させるものであり、学習によりこのバ
イアス係数α自体を変化・収束させて、学習の各段階で
の各ユニットの入出力特性を適正化して、少ない学習回
数でニューラルネットワークを構築するものであった。
すなわち、前層の出力値（あるいはネットワークへの入
力値）に、独立した可変の重みが掛けられた総和に、こ
の総和を増減させる変数αを導入して、学習の効率を向
上させたものである。非線形関数として前述したシグモ
イド関数を例として説明すれば、バイアス係数αは、第
11図に示すように、シグモイド関数を横（入力）軸方向
にαだけ平行移動させるものであり、学習によりこのバ
イアス係数α自体を変化・収束させて、学習の各段階で
の各ユニットの入出力特性を適正化して、少ない学習回
数でニューラルネットワークを構築するものであった。
（発明が解決しようとする課題） しかしながら、上述したバイアス係数αを導入したニ
ューラルネットワークでも、音声確認・画像確認など実
用に耐えうる高性能なものとはいえず、また、学習回数
も多くてきわめて学習効率の悪いものであった。
ューラルネットワークでも、音声確認・画像確認など実
用に耐えうる高性能なものとはいえず、また、学習回数
も多くてきわめて学習効率の悪いものであった。
（課題を解決するための手段） 本発明は上記課題を解決するために、複数のユニット
が学習可変される独立した重みで結合され、 前段の複数のユニット（第ｎ−１層のユニット）から
の出力をこれらのユニットと当該ユニット（第ｎ層のユ
ニット）との間の重み係数で重み処理して、その総和を
当該ユニットで非線形処理して後段のユニットに出力す
るように構成されたニューラルネットワークにおいて、 前段のユニットと当該ユニットとの間にそれぞれ独立
して設けられた個々の重み係数（Ｗ）に、この個々の重
み係数を一括に制御するゲイン係数（μ（n,i））を設
けて、 前段の複数のユニットからの出力を、前記個々の重み
係数と前記ゲイン係数とで重み処理するように構成し、 前記個々の重み係数を個別に学習すると共に前記ゲイ
ン係数を前記個々の重み係数とは独立させて学習するこ
とを特徴とするニューラルネットワークを提供するもの
である。
が学習可変される独立した重みで結合され、 前段の複数のユニット（第ｎ−１層のユニット）から
の出力をこれらのユニットと当該ユニット（第ｎ層のユ
ニット）との間の重み係数で重み処理して、その総和を
当該ユニットで非線形処理して後段のユニットに出力す
るように構成されたニューラルネットワークにおいて、 前段のユニットと当該ユニットとの間にそれぞれ独立
して設けられた個々の重み係数（Ｗ）に、この個々の重
み係数を一括に制御するゲイン係数（μ（n,i））を設
けて、 前段の複数のユニットからの出力を、前記個々の重み
係数と前記ゲイン係数とで重み処理するように構成し、 前記個々の重み係数を個別に学習すると共に前記ゲイ
ン係数を前記個々の重み係数とは独立させて学習するこ
とを特徴とするニューラルネットワークを提供するもの
である。
（作 用） 本ニューラルネットワークでは、ユニット間に設けら
れた個々の重みを一括に制御する手段、例えばゲイン係
数μ（の学習）により、ニューラルネットワークの全体
の出力値を正解値に近づけるような機能を与えるユニッ
ト独自の非線形係数が個々のユニットの中に形成され
る。
れた個々の重みを一括に制御する手段、例えばゲイン係
数μ（の学習）により、ニューラルネットワークの全体
の出力値を正解値に近づけるような機能を与えるユニッ
ト独自の非線形係数が個々のユニットの中に形成され
る。
（実施例） 本発明になるニューラルネットワークの一実施例につ
いて詳述する。本ニューラルネットワークは、すでに第
９図で詳述したバックプロパゲーションを学習アルゴリ
ズムとする層状ニューラルネットワークを基本構成とす
るものである。
いて詳述する。本ニューラルネットワークは、すでに第
９図で詳述したバックプロパゲーションを学習アルゴリ
ズムとする層状ニューラルネットワークを基本構成とす
るものである。
第１図（Ａ）及び（Ｂ）は、全階層数Ｎ、第ｎ層のユ
ニット数Ｕ（ｎ）の層状のニューラルネットワークを構
成する第ｎ層のｉ番目のユニット結合を示す図であり、
従来例として説明した第10図及び第12図に対応する図で
ある。同図を参照して、本ニューラルネットワークのユ
ニット結合について説明する。
ニット数Ｕ（ｎ）の層状のニューラルネットワークを構
成する第ｎ層のｉ番目のユニット結合を示す図であり、
従来例として説明した第10図及び第12図に対応する図で
ある。同図を参照して、本ニューラルネットワークのユ
ニット結合について説明する。
第ｎ層のｉ番目のユニット（ニューロン）への入力値
ｘ（n,i）は、前層である第ｎ−１層の各ユニットの出
力値Ｙ（ｎ−1,j）に第ｎ−１層のｊ番目と第ｎ層のｉ
番目のユニットとの間の結合の強さを表わす重みＷ（n,
i,j）を掛けたものの総和となるように、構成されてい
る。
ｘ（n,i）は、前層である第ｎ−１層の各ユニットの出
力値Ｙ（ｎ−1,j）に第ｎ−１層のｊ番目と第ｎ層のｉ
番目のユニットとの間の結合の強さを表わす重みＷ（n,
i,j）を掛けたものの総和となるように、構成されてい
る。
そして、この入力値ｘ（n,i）は、ゲイン係数μ（n,
i）により、μ倍されて、 Ｘ（n,i）＝μ（n,i）・ｘ（n,i） として非線形関数Ｆ（Ｘ）に入力されるように構成され
ている。このゲイン係数μ（n,i）は、第１図（Ａ）と
等価である第１図（Ｂ） であるから両図の構成は等価である）から明らかなよう
に、各ユニット間に設けられた個々の重みＷ（n,i,j）
を一括に制御する手段として機能している。なお、本実
施例では、第ｎ層のｉ番目に入力される入力値、すなわ
ち、第ｎ−１層の各ユニットと第ｎ層のｉ番目のユニッ
ト間の結合の強さを表わす重みを一括に制御する手段と
してゲイン係数μ（n,i）を機能させているが、一括に
制御する範囲は上記範囲に限るものではない。
i）により、μ倍されて、 Ｘ（n,i）＝μ（n,i）・ｘ（n,i） として非線形関数Ｆ（Ｘ）に入力されるように構成され
ている。このゲイン係数μ（n,i）は、第１図（Ａ）と
等価である第１図（Ｂ） であるから両図の構成は等価である）から明らかなよう
に、各ユニット間に設けられた個々の重みＷ（n,i,j）
を一括に制御する手段として機能している。なお、本実
施例では、第ｎ層のｉ番目に入力される入力値、すなわ
ち、第ｎ−１層の各ユニットと第ｎ層のｉ番目のユニッ
ト間の結合の強さを表わす重みを一括に制御する手段と
してゲイン係数μ（n,i）を機能させているが、一括に
制御する範囲は上記範囲に限るものではない。
μ倍された入力値Ｘ（n,i）は非線形関数Ｆ（Ｘ）に
より、 Ｙ（n,i）＝Ｆ｛Ｘ（n,i）｝ と非線形変換されて、次層のユニットに出力されるよう
に構成されている。
より、 Ｙ（n,i）＝Ｆ｛Ｘ（n,i）｝ と非線形変換されて、次層のユニットに出力されるよう
に構成されている。
このゲイン係数μ（n,i）は、重みＷ（n,i,j）ととも
に後に詳述するよう学習されて、ニューラルネットワー
クが構築される。
に後に詳述するよう学習されて、ニューラルネットワー
クが構築される。
ここで、前記ゲイン係数μ（n,i）は、 Ｙ(n,i)＝Ｆ｛Ｘ(n,i)｝＝Ｆ｛μ(n,i）・ｘ(n,i)｝ であるので、例えば、非線形関数として前述したシグモ
イド関数を例とすれば、シグモイド関数は となり、ゲイン係数μ（n,i）の変化・収束により、ユ
ニット内の入出力特性は第２図のように変化する。その
結果、学習の各段階において、各ユニット中に適正な非
線形関数が形成されて、正答率が高く、学習効率に優れ
た高性能なニューラルネットワークの構築が可能とな
る。例えば、出力として中間的な値を望まないユニット
について言えば、学習の比較的初期の段階では、ゲイン
係数μ（n,i）の値は小さく、シグモイド関数の傾きは
小さく、ユニットは入力パターン（入力値）に対して明
確に分離収束していない出力パターン（出力値）となる
入出力特性を有し、そして、学習の比較的終期の段階で
は、ゲイン特性μ（n,i）の値は大きくなり、シグモイ
ド関数の傾きは大きく、ユニットは入力パターン（入力
値）に対して、明確に分離収束した出力パターン（出力
値）となる入出力特性を有し、この結果、学習効率が向
上する。
イド関数を例とすれば、シグモイド関数は となり、ゲイン係数μ（n,i）の変化・収束により、ユ
ニット内の入出力特性は第２図のように変化する。その
結果、学習の各段階において、各ユニット中に適正な非
線形関数が形成されて、正答率が高く、学習効率に優れ
た高性能なニューラルネットワークの構築が可能とな
る。例えば、出力として中間的な値を望まないユニット
について言えば、学習の比較的初期の段階では、ゲイン
係数μ（n,i）の値は小さく、シグモイド関数の傾きは
小さく、ユニットは入力パターン（入力値）に対して明
確に分離収束していない出力パターン（出力値）となる
入出力特性を有し、そして、学習の比較的終期の段階で
は、ゲイン特性μ（n,i）の値は大きくなり、シグモイ
ド関数の傾きは大きく、ユニットは入力パターン（入力
値）に対して、明確に分離収束した出力パターン（出力
値）となる入出力特性を有し、この結果、学習効率が向
上する。
次に、学習法としてバックプロパゲーションを使用し
た時の重みＷ（n,i,j）とゲイン係数μ（n,i）の学習に
ついて数理的に詳述する。
た時の重みＷ（n,i,j）とゲイン係数μ（n,i）の学習に
ついて数理的に詳述する。
第１図（Ａ）及び（Ｂ）により、すでに詳述したよう
に、第ｎ層のｉ番目のユニットへの入力値ｘ（n,i）
は、第ｎ−１層の各ユニットの出力値Ｙ（ｎ−1,j）に
第ｎ−１層のｊ番目と、第ｎ層のｉ番目とのユニット間
の結合の強さを表わす重みＷ（n,i,j）を掛けたものの
総和である。
に、第ｎ層のｉ番目のユニットへの入力値ｘ（n,i）
は、第ｎ−１層の各ユニットの出力値Ｙ（ｎ−1,j）に
第ｎ−１層のｊ番目と、第ｎ層のｉ番目とのユニット間
の結合の強さを表わす重みＷ（n,i,j）を掛けたものの
総和である。
さらに、第ｎ層のｉ番目のユニット（結合）内のゲイ
ン係数をμ（n,i）とすると、ユニットの入出力特性を
示す関数Ｆ（Ｘ）に入力される入力値Ｘ（n,i）は、 Ｘ（n,i）＝μ（n,i）・ｘ（n,i） であり、ユニットの出力値Ｙ（n,i）は、 Ｙ（n,i）＝Ｆ｛Ｘ（n,i）｝ となる。この時、出力層のｋ番目のユニットにおける実
際の出力値と正解（望ましい出力値）Ｔ（ｋ）との間の
誤差Ｅ（ｋ）は次のように定義される。
ン係数をμ（n,i）とすると、ユニットの入出力特性を
示す関数Ｆ（Ｘ）に入力される入力値Ｘ（n,i）は、 Ｘ（n,i）＝μ（n,i）・ｘ（n,i） であり、ユニットの出力値Ｙ（n,i）は、 Ｙ（n,i）＝Ｆ｛Ｘ（n,i）｝ となる。この時、出力層のｋ番目のユニットにおける実
際の出力値と正解（望ましい出力値）Ｔ（ｋ）との間の
誤差Ｅ（ｋ）は次のように定義される。
バックプロパゲーションによる学習アルゴリズムで
は、実際の出力値と望ましい出力値との差を減らすよう
に、重みＷ（n,i,j）とゲイン係数μ（n,i）とを変化・
収束させる。
は、実際の出力値と望ましい出力値との差を減らすよう
に、重みＷ（n,i,j）とゲイン係数μ（n,i）とを変化・
収束させる。
すなわち、各重み係数Ｗ（n,i,j）を、Ｅ（ｋ）が減
少するように変化させるとき、その変化分をΔＷ（n,i,
j）とおくと、 ただし、ηは正の定数 さらに、各ゲイン係数μ（n,i）を、Ｅ（ｋ）が減少
するように変化させるとき、その変化分をΔμ（n,i）
とおくと、 ただし、λは正の定数。
少するように変化させるとき、その変化分をΔＷ（n,i,
j）とおくと、 ただし、ηは正の定数 さらに、各ゲイン係数μ（n,i）を、Ｅ（ｋ）が減少
するように変化させるとき、その変化分をΔμ（n,i）
とおくと、 ただし、λは正の定数。
ここで、δ（n,i）を求めると、 ｎ＝Ｎのとき ｎ＜Ｎのとき 以上のようにして求められたΔＷ（n,i,j），Δμ
（n,i）は、前記誤差Ｅ（ｋ）が減少するように変化さ
せるときの変化分であるから、 Ｗ（n,i,j）←Ｗ（n,i,j）＋ΔＷ（n,i,j） μ（n,i）←μ（n,i）＋Δμ（n,i） として結合重み係数Ｗ（n,i,j）とゲイン係数μ（n,i）
とを更新することにより、学習がなされて、ニューラル
ネットワークが構築される。
（n,i）は、前記誤差Ｅ（ｋ）が減少するように変化さ
せるときの変化分であるから、 Ｗ（n,i,j）←Ｗ（n,i,j）＋ΔＷ（n,i,j） μ（n,i）←μ（n,i）＋Δμ（n,i） として結合重み係数Ｗ（n,i,j）とゲイン係数μ（n,i）
とを更新することにより、学習がなされて、ニューラル
ネットワークが構築される。
（具体例１） 次に具体的な実験例について説明する。本具体例は第
３図に示すように、入力層２ユニット、中間層２ユニッ
ト、出力層１ユニットの３層とし、第４図に示す排他的
論理和のニューラルネットワークを構築した例である。
３図に示すように、入力層２ユニット、中間層２ユニッ
ト、出力層１ユニットの３層とし、第４図に示す排他的
論理和のニューラルネットワークを構築した例である。
図中、ユニットu1〜u5は重みW1〜W6で結合され、各ユ
ニットu1〜u5には、ゲイン係数u1〜u3を有するシグモイ
ド関数（なお、従来通りバイアス係数αも有する）で表
わされた入出力特性をもたせてある。なお、第４図に示
す４パターンをランダムに１回ずつ与えた時を、１回の
学習としている。
ニットu1〜u5には、ゲイン係数u1〜u3を有するシグモイ
ド関数（なお、従来通りバイアス係数αも有する）で表
わされた入出力特性をもたせてある。なお、第４図に示
す４パターンをランダムに１回ずつ与えた時を、１回の
学習としている。
第５図（Ａ）〜（Ｄ）は学習に伴って構築されるニュ
ーラルネットワークの過程を示す図であり、同（Ａ）は
学習回数とエラー（前述した誤差Ｅ（ｋ））の平均値と
の関係を示し、同図（Ｂ）は重みＷの変化、同図（Ｃ）
はゲイン係数μの変化、同（Ｄ）は各ユニットの結合の
度合いを示す重みＷとゲイン係数μとの積Ｗμの変化を
示す。また、第６図（Ａ）及び（Ｂ）は比較例であり、
ゲイン係数μが導入されていない従来のニューラルネッ
トワークの構築過程を示す図であり、同図（Ａ）は学習
回数とエラーの平均値との関係を示し、同図（Ｂ）は各
ユニットの結合の度合いを示す重みＷの変化を示すもの
である。
ーラルネットワークの過程を示す図であり、同（Ａ）は
学習回数とエラー（前述した誤差Ｅ（ｋ））の平均値と
の関係を示し、同図（Ｂ）は重みＷの変化、同図（Ｃ）
はゲイン係数μの変化、同（Ｄ）は各ユニットの結合の
度合いを示す重みＷとゲイン係数μとの積Ｗμの変化を
示す。また、第６図（Ａ）及び（Ｂ）は比較例であり、
ゲイン係数μが導入されていない従来のニューラルネッ
トワークの構築過程を示す図であり、同図（Ａ）は学習
回数とエラーの平均値との関係を示し、同図（Ｂ）は各
ユニットの結合の度合いを示す重みＷの変化を示すもの
である。
第６図（Ａ）及び（Ｂ）から明らかなように、従来の
ニューラルネットワークでは、各ユニットの結合の度合
いを示す個々の重みＷは序々に学習されて、変化・収束
するので、ニューラルネットワークの構築には多数回の
学習が必要である。
ニューラルネットワークでは、各ユニットの結合の度合
いを示す個々の重みＷは序々に学習されて、変化・収束
するので、ニューラルネットワークの構築には多数回の
学習が必要である。
これに対して、第５図（Ａ）〜（Ｄ）から明らかなよ
うに、ゲイン係数μを導入した本ニューラルネットワー
クでは、学習回数の少ない段階で、個々の重みを一括に
制御するゲイン係数のμの作用により、各ユニットの結
合の度合いを示す重みＷとゲインμとの積が変化・収束
して、効率よくニューラルネットワークが構築される。
うに、ゲイン係数μを導入した本ニューラルネットワー
クでは、学習回数の少ない段階で、個々の重みを一括に
制御するゲイン係数のμの作用により、各ユニットの結
合の度合いを示す重みＷとゲインμとの積が変化・収束
して、効率よくニューラルネットワークが構築される。
（具体例２） 本具体例は、入力層16ユニット、中間層８ユニット、
出力層１ユニットの３層とし、母音「ア」と母音「オ」
との識別を行なうニューラルネットワークを構築したも
のである。条件は、下記のとおりである。学習パラメー
タは16次LPCケプストラム、学習パラメータ数は「ア」
及び「オ」の各20パターン、分析フレーム数は10ms、重
み係数Ｗの初期値は−１から１までの乱数値、バイアス
係数αの初期値は０、ゲイン係数μの初期値は１、正解
値は「ア」ならば１で「オ」ならば０である。学習は
「ア」と「オ」各20パターン、計40パターンをランダム
な順序で入力層に与え、同時にそのパターンに対する正
解を出力層に与えることにより進行させた、これを１回
の学習とする。
出力層１ユニットの３層とし、母音「ア」と母音「オ」
との識別を行なうニューラルネットワークを構築したも
のである。条件は、下記のとおりである。学習パラメー
タは16次LPCケプストラム、学習パラメータ数は「ア」
及び「オ」の各20パターン、分析フレーム数は10ms、重
み係数Ｗの初期値は−１から１までの乱数値、バイアス
係数αの初期値は０、ゲイン係数μの初期値は１、正解
値は「ア」ならば１で「オ」ならば０である。学習は
「ア」と「オ」各20パターン、計40パターンをランダム
な順序で入力層に与え、同時にそのパターンに対する正
解を出力層に与えることにより進行させた、これを１回
の学習とする。
なお、各ユニットの入出力特性を示す非線形関数とし
ては、前述したシグモイド関数をもちいている。
ては、前述したシグモイド関数をもちいている。
第８図はゲイン係数μを導入した本ニューラルネット
ワークを構築する過程を示す図、第７図はゲイン係数の
ない従来のニューラルネットワークを構築する過程を示
す図であり、いずれもバイアス係数αを有している。図
中、横軸は学習回数を示し、縦軸はエラーの平均値を示
す。
ワークを構築する過程を示す図、第７図はゲイン係数の
ない従来のニューラルネットワークを構築する過程を示
す図であり、いずれもバイアス係数αを有している。図
中、横軸は学習回数を示し、縦軸はエラーの平均値を示
す。
第７図及び第８図から明らかなように、ゲイン係数を
導入した本ニューラルネットは、少ない学習回数で高性
能なニューラルネットワークが構築される。
導入した本ニューラルネットは、少ない学習回数で高性
能なニューラルネットワークが構築される。
（発明の効果） 以上詳述したように、本発明になるニューラルネット
ワークは、各ユニット間に独立して設けられた個々の重
み係数を一括に制御するゲイン係数を設けたので、この
ゲイン係数を個々の重み係数とは独立させて学習するこ
とにより、それぞれ異なる非線形関数が個々のユニット
の中に形成され、その結果、変化・収束が速くなって学
習回数が低減され、効率の良い高性能なニューラルネッ
トワークが構築される。
ワークは、各ユニット間に独立して設けられた個々の重
み係数を一括に制御するゲイン係数を設けたので、この
ゲイン係数を個々の重み係数とは独立させて学習するこ
とにより、それぞれ異なる非線形関数が個々のユニット
の中に形成され、その結果、変化・収束が速くなって学
習回数が低減され、効率の良い高性能なニューラルネッ
トワークが構築される。
第１図（Ａ）及び（Ｂ）は本発明になるニューラルネッ
トワークの一実施例を示す図で、特に、ユニットの入力
と出力の関係を示す図、第２図はゲイン係数の値により
変化するユニットの入出力特性を示す図、第３図は第１
の具体例であるニューラルネットワークの構成図、第４
図は第１の具体例で構築した課題を示す図、第５図
（Ａ）〜（Ｄ）は第１の具体例であるニューラルネット
ワークの構築過程を示す図、第６図（Ａ）及び（Ｂ）は
第１の具体例に対する比較例を示す図、第７図は第２の
具体例に対する比較例を示す図、第８図は第２の具体例
であるニューラルネットワークの構築過程を示す図、第
９図は一般的な層状のニューラルネットワークを示す
図、第10図は特にユニットの入力と出力との関係を示す
図、第11図はユニットの一般的な入出力特性を示す図、
第12図はバイアス係数を導入した従来のユニットの入力
と出力との関係を示す図である。 Ｕ（n,i）……第ｎ層のｉ番目のユニット、 ｘ（n,i）……ユニットへの入力値、 Ｘ（n,i）……ユニットの非線形関数への入力値、 Ｙ（n,i）……ユニットからの出力値、 Ｗ（n,i,j）……重み係数、 μ（n,i）……ゲイン係数、 Ｆ（Ｘ）……ユニットの非線形関数。
トワークの一実施例を示す図で、特に、ユニットの入力
と出力の関係を示す図、第２図はゲイン係数の値により
変化するユニットの入出力特性を示す図、第３図は第１
の具体例であるニューラルネットワークの構成図、第４
図は第１の具体例で構築した課題を示す図、第５図
（Ａ）〜（Ｄ）は第１の具体例であるニューラルネット
ワークの構築過程を示す図、第６図（Ａ）及び（Ｂ）は
第１の具体例に対する比較例を示す図、第７図は第２の
具体例に対する比較例を示す図、第８図は第２の具体例
であるニューラルネットワークの構築過程を示す図、第
９図は一般的な層状のニューラルネットワークを示す
図、第10図は特にユニットの入力と出力との関係を示す
図、第11図はユニットの一般的な入出力特性を示す図、
第12図はバイアス係数を導入した従来のユニットの入力
と出力との関係を示す図である。 Ｕ（n,i）……第ｎ層のｉ番目のユニット、 ｘ（n,i）……ユニットへの入力値、 Ｘ（n,i）……ユニットの非線形関数への入力値、 Ｙ（n,i）……ユニットからの出力値、 Ｗ（n,i,j）……重み係数、 μ（n,i）……ゲイン係数、 Ｆ（Ｘ）……ユニットの非線形関数。
Claims (1)
- 【請求項１】複数のユニットが学習可変される独立した
重みで結合され、 前段の複数のユニットからの出力をこれらのユニットと
当該ユニットとの間の重み係数で重み処理して、その総
和を当該ユニットで非線形処理して後段のユニットに出
力するように構成されたニューラルネットワークにおい
て、 前段のユニットと当該ユニットとの間にそれぞれ独立し
て設けられた個々の重み係数に、この個々の重み係数を
一括に制御するゲイン係数を設けて、 前段の複数のユニットからの出力を、前記個々の重み係
数と前記ゲイン係数とで重み処理するように構成し、 前記個々の重み係数を個別に学習すると共に前記ゲイン
係数を前記個々の重み係数とは独立させて学習すること
を特徴とするニューラルネットワーク。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1111307A JP2654686B2 (ja) | 1989-04-28 | 1989-04-28 | ニューラルネットワーク |
| DE69033332T DE69033332T2 (de) | 1989-04-28 | 1990-04-27 | Neuronales Netzwerk |
| EP90108123A EP0395112B1 (en) | 1989-04-28 | 1990-04-27 | Neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1111307A JP2654686B2 (ja) | 1989-04-28 | 1989-04-28 | ニューラルネットワーク |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02287861A JPH02287861A (ja) | 1990-11-27 |
| JP2654686B2 true JP2654686B2 (ja) | 1997-09-17 |
Family
ID=14557909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1111307A Expired - Lifetime JP2654686B2 (ja) | 1989-04-28 | 1989-04-28 | ニューラルネットワーク |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0395112B1 (ja) |
| JP (1) | JP2654686B2 (ja) |
| DE (1) | DE69033332T2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4137863C2 (de) * | 1991-07-31 | 1995-10-12 | Gerhard Dr Manteuffel | Vorrichtung zur analogen Signalverarbeitung nach dem Prinzip des Neurons |
| WO2024142427A1 (ja) * | 2022-12-28 | 2024-07-04 | Dic株式会社 | 予測方法、情報処理装置、及びプログラム |
| CN117882138A (zh) * | 2022-12-28 | 2024-04-12 | Dic株式会社 | 预测方法、信息处理装置以及程序 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01230164A (ja) * | 1988-03-10 | 1989-09-13 | Nippon Telegr & Teleph Corp <Ntt> | 自動学習型ニューラルネット・システム |
| JPH01233579A (ja) * | 1988-03-15 | 1989-09-19 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネット型パターン識別装置 |
-
1989
- 1989-04-28 JP JP1111307A patent/JP2654686B2/ja not_active Expired - Lifetime
-
1990
- 1990-04-27 EP EP90108123A patent/EP0395112B1/en not_active Expired - Lifetime
- 1990-04-27 DE DE69033332T patent/DE69033332T2/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0395112B1 (en) | 1999-10-27 |
| JPH02287861A (ja) | 1990-11-27 |
| DE69033332D1 (de) | 1999-12-02 |
| DE69033332T2 (de) | 2000-03-23 |
| EP0395112A3 (en) | 1991-08-07 |
| EP0395112A2 (en) | 1990-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5095443A (en) | Plural neural network system having a successive approximation learning method | |
| US4912647A (en) | Neural network training tool | |
| US4914603A (en) | Training neural networks | |
| US4912655A (en) | Adjusting neural networks | |
| CN107609648B (zh) | 一种结合堆叠降噪稀疏自动编码器的遗传算法 | |
| CN111798037B (zh) | 一种基于堆叠式极限学习机框架的数据驱动最优潮流计算方法 | |
| Zhang et al. | Skip-connected self-recurrent spiking neural networks with joint intrinsic parameter and synaptic weight training | |
| JP2654686B2 (ja) | ニューラルネットワーク | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JPH07141313A (ja) | 神経回路素子 | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| CN110739030B (zh) | 一种乙烯生产过程小样本的软测量方法 | |
| JP2736361B2 (ja) | ニューラルネット構成方法 | |
| JPH0638200B2 (ja) | ダイナミックなニューラルネットワーク | |
| JP2699447B2 (ja) | 信号処理装置 | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JPH11265197A (ja) | 可変入力神経網を利用した音声認識方法 | |
| CN109491252A (zh) | 一种可变化模型控制方法 | |
| JPH0492901A (ja) | ニューラルネットワークによるファジイ制御器 | |
| TWI730452B (zh) | 立體類神經網路系統 | |
| JPH01282672A (ja) | ニューラルネットワーク装置 | |
| JPH06231106A (ja) | リカレント型ニューラルネットワーク学習方法及び装置 | |
| JP3393511B2 (ja) | 文字認識装置及び方法 | |
| Zhang et al. | A new dynamic optimal learning rate for a two-layer neural network | |
| CN109740736A (zh) | 一种机器模型动态调整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |