JPH096881A - ニューラルネットワーク - Google Patents

Abstract

(57)【要約】 【目的】情報処理の遺伝的アルゴリズムを適用したニュ
ーラルネットワークによるパターン認識、推定の入力層
ユニットの構造化による学習および汎化能力の向上にあ
る。 【構成】多層階層構造型神経回路網において、各ユニッ
ト間の結合係数を初期化する際、入力層のユニットに対
して遺伝的アルゴリズムにより構造化を行い、各構造に
対する結合係数の初期値の範囲を設定し遺伝的アルゴリ
ズムで学習し、その結果をもってさらに学習、認識およ
び推定を行うものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理におけるニュ
ーラルネットワーク型パターン識別装置や値推定装置及
びその学習手段に関するものである。

【０００２】

【従来の技術】ニューラルネットワーク（多層階層構造
型神経回路網）の構造及び学習手段としては、代表的な
誤差逆伝播法（バックプロパゲーション法）がある。
（例えば「神経回路網モデルとコネクショニズム」、甘
利俊一著、東京大学出版会に掲載されている。） この概要を図９のユニット内部状態説明図により説明す
ると、入力層以外のユニットｉの入出力関係は（１）、
（２）、（３）式に示され、ユニットｉに対する入力を
Ｏj（j=１からＮ）、各Ｏjに対する結合係数（重み）を
Ｗijで表す。このとき、結合係数Ｗijは、乱数で初期設
定する。

【０００３】 入力の積和 Ｘi＝Σ ＷijＯj ──────────（１） （１）式を関数ｆ（Ｘi ）に適用し変換する。関数とし
ては一般に微分可能な次の（２）式のようなシグモイド
関数を使うことが多い。 ｆ（Ｘi）＝１／｛１＋ｅｘｐ（−Ｘi）｝ ────────（２） 出力 Ｙi＝ｆ（Ｘi） ────────（３） ここで、Ｙiの値は０から１の間の数となる。他方、入
力層のユニットは入力値をそのまま出力値とする。

【０００４】誤差逆伝播法とは、学習パターンＸk から
得られる出力パターンＹi と学習パターンに対する所望
の出力値Ｉi （以後教師パターンと言う）とのユニット
の２乗誤差を最小化する学習方法である。ここでは図８
のような３層構造の例について説明するが、多層の場合
も同様である。結合係数の学習は次のようにする。まず
出力層の学習は損失関数をＥ（二乗誤差）とすると、
（４）式に示され、ｉは出力層のユニット番号、ｊは中
間層のユニット番号、ｋは入力層のユニット番号、Ｏj
は中間層の出力、Ｗijは中間層と出力層間の結合係数、
Ｙi は出力層の出力、Ｉi は教師パターンである。 Ｅ（Ｗ）＝１／２Σ（Ｙi−Ｉi）2 ──────────（４） ＷはすべてのＷijを示す。

【０００５】最急降下法（確率的降下法）を適用する
と、（５）式を学習信号として（６）式に示すように結
合係数を変えればよい。 δＥ／δＷij＝（Ｙi−Ｉi）ｆ’（ΣＷijＯj）Ｏj─────（５） 新Ｗij＝旧Ｗij−ｃδＥ／δＷij ────────（６） ここで、ｃは学習定数、Ｏj は中間層の出力である。

【０００６】（２）式のシグモイド関数は、一般的には
次の（７）式で表せ、これを微分すると、元の関数を使
い、（８）式のように表される。 ｆ（ｘ）＝１／｛１＋ｅｘｐ（−ｘ）｝ ──────────（７） ｆ’（ｘ）＝ｆ（ｘ）（１−ｆ（ｘ）） ──────────（８） 実際にはｆ（ΣＷijＯj）＝Ｙiであるから、（８）式
は、 ｆ’（ΣＷijＯj）＝Ｙi（１−Ｙi） で示され、（５）式は（９）式となる。 δＥ／δＷij＝（Ｙi−Ｉi）Ｙi（１−Ｙi）Ｏj ────────（９） したがってｃ＝１とすると、（６）式は、 新Ｗij＝旧Ｗij−（Ｙi−Ｉi）Ｙi（１−Ｙi）Ｏj ───────（10） で示される。ここで、Ｄ1i＝（Ｉi−Ｙi）Ｙi（１−Ｙ
i）とすると、（10）式は（11）式で表される。 新Ｗij＝旧Ｗij＋Ｄ1iＯj ──────────（11） 中間層の学習も損失関数をＥ（二乗誤差）とすると、
（12）式で表される。 Ｅ（Ｖ）＝１／２（Ｙi−Ｉi）（Ｙi−Ｉi）──────────（12） ＶはすべてのＶjkのことである。ここで、Ｖjkは中間層
と入力層間の結合係数を表す。最急降下法（確率的降下
法）を適用すると、（13）式を学習信号として（14）式
に示すように結合係数を変えればよい。

【０００７】 δＥ／δＶjk＝δＥ／δＯj・δＯj／δＶjk ＝Σ（Ｙi−Ｉi）δＹi／δＯj・δＯj／δＶjk ＝｛Σ（Ｙi−Ｉi）ｆ’（ＷijＯj）Ｗij｝ ×ｆ’（ΣＶjkＸk）Ｘk──────（13） 新Ｖi＝旧Ｖi−ｃδＥ／δＶjkより ───────────（14） （14）式は（15）〜（18）式を用いて変換し、（19）式
を得る。 Ｄj ＝−（Σ（Ｙi−Ｉi）ｆ’（ＷijＯj）Ｗij） ＝ΣＤ1iＷij ──────────（15） ｆ’（ΣＶjkＸk）Ｘk＝Ｏj（１−Ｏj）Ｘk ────────（16） δＥ／δＶjk＝−ＤjＯj（１−Ｏj）Ｘk ─────────（17） なお、Ｘkは入力層の出力である。したがってｃ＝１と
すると 新Ｖjk＝旧Ｖjk＋ＤjＯj（１−Ｏj）Ｘk ─────────（18） ここで Ｄ2j＝ＤjＯj（１−Ｏj） とする。 したがって、新Ｖjk＝旧Ｖjk＋Ｄ2jＸk ──────────（19） このようにして、入力層中間層間の結合係数の学習式も
表すことが出来る。結合係数の計算は出力層のユニット
から始めて中間層のユニットへ移り、次々に前段の中間
層へ移っていく。従って学習は次のように進み、まず学
習用のパターンを入力し、結果を計算する。結果の教師
パターンとの誤差を減らすように全ての結合係数を変更
する。再び、学習用パターンを入力する。これを収束す
るまで繰り返す。

【０００８】ニューラルネットワークに遺伝的アルゴリ
ズムを適用した従来方式としては、ニューラルネットワ
ークのユニット数、特に中間層のユニット数の同定、ユ
ニット間の接続の有無の同定による構造決定方式があ
る。また、各ユニット間の結合係数の学習を遺伝的アル
ゴリズムで行う方式や、学習係数、学習回数を遺伝子と
する方式もある。

【０００９】

【発明が解決しようとする課題】従来の技術では、次の
ような欠点がある。 （１）従来の多層階層構造型ニューラルネットワークに
於ける入力層と中間層の間の結合係数の初期値はすべて
０か乱数で決めてから学習させていたが、入力層の各ユ
ニットが全く独立の変数ならよいが、波形データや平面
上のデータのように隣接するユニットと相互に関連があ
る場合その関連性をニューラルネットワークでうまく表
現することが出来ず、汎化能力を上がらなかった。 （２）入力層の各ユニット間の関連をあらかじめ同定で
きないとき、学習結果の結合係数を見ても、入力層の各
ユニット間の関連は何ら判断できない。

【００１０】

【課題を解決するための手段】本発明は上述した点に鑑
みて創案されたもので、その目的とするところは、ニュ
ーラルネットワークに対して次の改良手段を施すことに
ある。入力層のユニット間の構造化の設定方法に対して
遺伝的アルゴリズムを導入する。 遺伝子としては構造
化分割数、各構造の中心点の値、各構造の初期値の取り
うる範囲を割り当て、評価データにより出力値と教師値
の二乗誤差の値を評価値とし遺伝的アルゴリズムを適用
する。入力層のユニット間の構造化の設定方法に対して
は、遺伝的アルゴリズムを導入し、遺伝子としては構造
化分割数、各構造の中心点の値、各構造のユニットの結
合係数の初期値の取りうる最小値、最大値及び入力ユニ
ットの全結合係数すなわち結合係数テーブルを割り当
て、評価データにより出力値と教師値の二乗誤差の値を
評価値とし、遺伝的アルゴリズムを適用して入力層の構
造化を行うことが出来るよう構成したものである。

【００１１】

【作 用】その作用は、後述する実施例において詳細に
説明するが、ニューラルネットワークにおいて波形デー
タ、２次元、３次元形状データを学習する際、汎化能力
を増すようにニューラルネットワークの入力層を遺伝的
アルゴリズムにより構造化する。遺伝的アルゴリズムに
より進化させることにより、入力ユニットの相互の関連
を結合係数に反映させ、汎化能力を増すようにするもの
である。以下、本発明の神経回路網の実施例を、図面に
基づいて詳述する。

【００１２】

【実施例】図１は本発明のニューラルネットワークを含
む学習認識装置の一実施例の全体の構成図で、11は神経
回路網学習認識装置、１はニューラルネットワーク、２
はワーキングメモリ（一時的に入力あるいは演算したも
のを記憶しておく場所）、３は入力制御部、４は出力制
御部、５は入力装置、６は出力・表示を行う装置、７は
遺伝的アルゴリズム制御部、８は遺伝子集団である。

【００１３】神経回路網学習認識装置11において、学習
パターン、教師パターン等各種設定値を入力装置５に入
力すると、入力された値は、入力制御部３を介してワー
キングメモリ２にそれぞれのパターンが記憶される。そ
れぞれの入力値はニューラルネットワーク１に入力さ
れ、ここで、ワーキングメモリー上の学習パターン、教
師パターン、各種設定値をもとに、遺伝的アルゴリズム
制御部７と遺伝子集団８を介して学習を行い結合係数を
更新する。結合係数はニューラルネットワーク１の内部
に蓄えられ、学習結果を、出力制御部４を介して、出力
・表示を行う装置６に出力・表示する。また神経回路網
学習認識装置11において、入力パターンを入力すると、
前述したと同様に、入力された値は入力制御部３を介し
てワーキングメモリ２に記憶される。ニューラルネット
ワーク１は、結合係数をもとに認識または値推定を行い
結果を、出力制御部４を介して、出力・表示を行う装置
６に出力・表示する。ここで遺伝子集団８は遺伝子を持
った個体の集まりを意味する。さらに遺伝子としては結
合係数等を含む。

【００１４】次に図２〜図７により本発明の一実施例を
説明する。図２は電動機の漏れインダクタンスと二次巻
線抵抗の推論を行うニューラルネットワークの一実施例
であり、入力層のユニットは各周波数や各電流での漏
れインダクタンスの値６×６ユニットと各周波数や各電
流での二次巻線抵抗の６×６ユニットの２次元配列構造
が２つの７２ユニット、中間層のユニットは各入力層
のユニットと結合係数で結ばれた１０ユニット、出力層
は電動機の漏れインダクタンスと二次巻線抵抗の値の
２ユニットである。図３は遺伝的アルゴリズムにおける
各個体の遺伝子の表現方法を示す。使用する個体数、結
合係数の範囲等は予め設定しておく。この例は図２のよ
うに入力層が２次元配列構造のユニットの例である。遺
伝子としては入力層の分割数、各分割するブロックの中
心点のｘ座標、ｙ座標、結合係数の最小値、最大値、各
層間の結合係数のテーブルを持つ。図４は入力層が１次
元配列の場合の中心点による分割の仕方を示す図であ
る。図５は入力層が２次元配列の場合の中心点による分
割の仕方を示す図である。いずれの場合も前の中心点か
ら順番に中心点を中心に１マスずつ領域を広げていき未
決定の領域に対して分割を決める。このような方法によ
れば３次元以降、ｎ次元での分割適用できる。

【００１５】図６は遺伝的アルゴリズムによる入力層の
分割、学習方式を含む、ニューラルネットワークの学習
方式を説明するフローチャートで、入力、中間、出力層
を構成するユニット数をＩＮ、ＨＮ、ＯＮとする。図７
はニューラルネットワークの認識方式を説明するフロー
チャートである。図８は入力、中間、出力層からなるニ
ューラルネットワークのユニットによる結合状態を示す
概説図、図９は１ユニットの内部状態説明図である。以
下、図６のフローチャートを用いて学習を行う手順を示
す。 100 ──処理開始。 101 ──ニューラルネットワークモデル名設定。入力層
のタイプ設定。入力層、中間層、出力層の各ユニット数
をＩＮ、ＨＮ、ＯＮと値を設定する。学習終了条件の目
標値等の各種パラメータの値を設定する。 102 ──全ての学習パターンと教師値をワーキングメモ
リーにセットする。学習パターン数をセットする。 103 ──個体数を設定する。各個体の各遺伝子を乱数等
により初期化する。中心点の値により入力層の各分割の
領域を前述の方法等により設定する。初期化された遺伝
子内の各中心点に対する結合係数最小値、最大値の示す
範囲に従い、乱数等により入力層と中間層間の各結合係
数を初期化する。中間層と出力層間の結合係数を乱数等
により初期化する。 104 ──学習パターンと教師値によりニューラルネット
ワークを評価し、評価値を設定する。 105 ──評価値が目標値に達したか？ＹＥＳのとき110
へ、ＮＯのとき次へ。 106 ──評価値が良くない個体を削除する。（削除の割
合や方法は予め設定しておく。例えば良くないものから
半数等。）（淘汰） 107 ──残った個体を適当に二つずつ組み合わせて遺伝
子を交叉させる。（交叉の方法も予め設定しておく。例
えば一点交叉等） 108 ──指定の確率で遺伝子の、ある個所を突然変異さ
せる。（突然変異の方法も予め設定しておく。例えば乱
数で突然変異をする遺伝子を決め遺伝子の値を乱数で決
め直す等。）105へ行く。 110 ──第二段階目の処理を行う。第一段階目の遺伝的
アルゴリズムで第一段階目の目標値に持って行き、第二
段階目は従来例にあるような最急降下法等を用いて最終
目標値に持っていく。もちろん第一段階目で最終目標値
に持って行き、第二段階目を省略しても良い。 111 ──終了

【００１６】次に、図７のフローチャートを用いて認識
を行う手順を示す。 200 ──処理開始。 201 ──ニューラルネットワークモデル名設定。入力層
のタイプ設定。入力層、中間層、出力層の各ユニット数
をＩＮ、ＨＮ、ＯＮと値を設定する。各種パラメータの
値を設定する。 202 ──学習済み結合係数を設定する。 203 ──入力パターンを入力層にセット。 204 ──中間層ユニットの出力値計算。出力層ユニット
の出力値計算。 205 ──出力値より認識結果または推定値を算出し出力
・表示を行う。 206 ──終了か？ ＹＥＳのとき次へ、ＮＯのとき203
へ。 207 ──終了。

【００１７】

【発明の効果】以上説明したように本発明のニューラル
ネットワークによれば、波形データ、２次元、３次元形
状データ等の学習、認識及び推定に、入力ユニットの相
互の関連性を結合係数に反映させるので、従来より高い
汎化能力を得ることが出来る。

【図面の簡単な説明】

【図１】図１は本発明によるニューラルネットワークを
採用した一実施例のシステム構成図である。

【図２】図２は漏れインダクタンスと二次巻線抵抗の値
推定を行うニューラルネットワークの一実施例の説明図
である。

【図３】図３は各個体の遺伝子の一実施例を示す説明図
である。

【図４】図４は入力層が１次元配列の場合の中心点によ
る分割の方法を示す一実施例の説明図である。

【図５】図５は入力層が２次元配列の場合の中心点によ
る分割の方法を示す一実施例の説明図である。

【図６】図６は遺伝的アルゴリズムによる入力層の分
割、学習方式を含む、ニューラルネットワークの学習方
式を説明するフローチャートである。

【図７】図７はニューラルネットワークの認識および推
定方式を説明するフローチャートである。

【図８】図８は３層構造神経回路網のユニット結合概説
図である。

【図９】図９はユニット内部状態説明図である。

【符号の説明】

１ ニューラルネットワーク ２ ワーキングメモリー ３ 入力制御部 ４ 出力制御部 ５ 入力装置 ６ 出力・表示を行う装置 ７ 遺伝的アルゴリズム制御部 ８ 遺伝子集団 11 神経回路網学習認識装置

Claims (2)

【特許請求の範囲】
1. 【請求項１】 多層階層構造型神経回路網において、遺
   伝的アルゴリズムにより入力層のユニットを構造化し、
   各構造に対する結合係数の範囲を設定し、教師値に対す
   る出力値の二乗誤差を小さくなるよう進化させる学習方
   式を構成するニューラルネットワーク。
2. 【請求項２】 前記入力層のユニット間の構造化の設定
   に対して遺伝的アルゴリズムを導入し、遺伝子としては
   構造化分割数、各構造の中心点の値、各構造のユニット
   の結合係数の初期値の取りうる最小値、最大値及び入力
   ユニットの全結合係数すなわち結合係数テーブルを割り
   当て、評価データにより出力値と教師値の二乗誤差の値
   を評価値とし、遺伝的アルゴリズムを適用して入力層の
   構造化を行うことが出来るよう構成した請求項１記載の
   ニューラルネットワーク。