JPH06266689A - 神経回路網の構成方法，学習方法及び汎化能力評価方法 - Google Patents

Abstract

(57)【要約】 【目的】入力層ニューロンユニット，中間層ニューロン
ユニット及び出力層ニューロンユニットを備え、認識カ
テゴリに関する複数種の入力信号をもっての学習の結
果、優れた汎化能力を具える神経回路網を構成する。 【構成】入力層，中間層及び出力層ニューロンユニット
（ＳＡ１〜ＳＡ６４，ＡＡ１〜ＡＡ５，ＲＡ１〜ＲＡ１
６）を、夫々の入出力関数ｆ(x) が０＜ｆ(x) ≦１を成
立させるべく配し、入力・中間層間シナプス伝達効率の
初期値を、入力層ニューロンユニットへの入力が全て最
低レベルのとき、中間層ニューロンユニットの出力を最
低レベルとすべく設定するとともに、中間・出力層間シ
ナプス伝達効率の初期値を、中間層ニューロンユニット
の夫々の出力が最低レベルのとき、出力層ニューロンユ
ニットの出力を最高レベルとすべく設定したもとで、バ
ックプロパゲーションの手法による学習を行って、入力
・中間層間シナプス伝達効率の値及び中間・出力層間シ
ナプス伝達効率の値を決定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力層ニューロンユニ
ット，中間層ニューロンユニット及び出力層ニューロン
ユニットを備えた階層構造をとり、認識カテゴリに関す
る学習が行われる神経回路網についての、それを構成す
る方法，その学習を行う方法及びその汎化能力を評価す
る方法に関する。

【０００２】

【従来の技術】神経回路網は、構造上、階層型に属する
ものと相互結合型に属するものとに大別される。これら
のうち、階層型に属するものの典型的なものとして、入
力層ニューロンユニット，中間層ニューロンユニット及
び出力層ニューロンユニットを備えた三層構造をとるも
のがある。

【０００３】三層構造をとる神経回路網にあっては、通
常、複数個の入力層ニューロンユニットと、それらの夫
々に結合された１個もしくは複数個の中間層ニューロン
ユニットと、中間層ニューロンユニットに結合された複
数個もしくは１個の出力層ニューロンユニットとを有
し、入力層ニューロンユニットの夫々とそれに結合され
た中間層ニューロンユニットとの間のシナプス伝達効率
（以下、入力・中間層間シナプス伝達効率という）、及
び、１個の中間層ニューロンユニットもしくは複数個の
中間層ニューロンユニットの夫々とそれに結合された出
力層ニューロンユニットとの間のシナプス伝達効率（以
下、中間・出力層間シナプス伝達効率という）の各々が
所定の値をとるものとされて構成される。そして、入力
層ニューロンユニットの夫々に、所定の認識カテゴリに
関する入力信号が供給されるとき、出力層ニューロンユ
ニットからその認識カテゴリに応答する出力信号が得ら
れる。

【０００４】入力・中間層間シナプス伝達効率及び中間
・出力層間シナプス伝達効率の夫々の値は、先ず、各々
についての初期値が設定され、初期値の設定がなされた
もとで、例えば、バックプロパゲーションの手法によ
る、認識カテゴリに関する複数種の入力信号をもっての
学習が行われて決定される。斯かる学習は、例えば、特
定の認識カテゴリに関する入力信号が入力層ニューロン
ユニットに供給されるとき、それに応答して出力層ニュ
ーロンユニットに得られる出力信号が、供給された入力
信号に対応して予め設定されている適正な信号（教師信
号）に近接するように、入力・中間層間シナプス伝達効
率及び中間・出力層間シナプス伝達効率の夫々の値が変
更せしめられることにより行われる。その際、入力信号
が入力層ニューロンユニットに供給されたとき出力層ニ
ューロンユニットに得られる出力信号を教師信号に近接
させるべく入力・中間層間シナプス伝達効率及び中間・
出力層間シナプス伝達効率の夫々の値を変更する学習
は、通常、複数回が繰り返して行われ、有限回の学習の
結果、入力層ニューロンユニットに供給された入力信号
に応答して出力層ニューロンユニットに得られる出力信
号が教師信号に十分に近接したものとなる状態が学習が
収束する状態（学習収束状態）と称される。

【０００５】

【発明が解決しようとする課題】上述の如くの三層構造
をとる神経回路網にあっては、その構成過程において、
バックプロパゲーション等の手法に従った、認識カテゴ
リに関する複数種の入力信号をもっての学習に先立って
行われる、入力・中間層間シナプス伝達効率及び中間・
出力層間シナプス伝達効率の夫々の初期値の設定が、当
該神経回路網の汎化能力に影響を及ぼすことになる。従
来の神経回路網の構成方法にあっては、入力・中間層間
シナプス伝達効率及び中間・出力層間シナプス伝達効率
の夫々の初期値が、当該神経回路網の具体的構造にかか
わらず、例えば、入力・中間層間シナプス伝達効率及び
中間・出力層間シナプス伝達効率の夫々の初期値をＷ
_IJ, 閾値をＶ_th, ０から１までの乱数を rand として、 Ｗ_IJ＝（ rand − 0.5）＋Ｖ_th というように設定されている。

【０００６】それゆえ、学習収束状態が得られる神経回
路網内部構造が複数種存在することになり、バックプロ
パゲーション等の手法に従った学習が、入力信号に係る
認識カテゴリを認識する方向に進む神経回路網内部構造
をもって収束する場合と、それとは異なるものとなる神
経回路網内部構造をもって収束する場合とが生じて、後
者の場合には、出力層ニューロンユニットに得られる出
力信号の信頼性が低い、実用性に欠ける神経回路網が形
成されることになる。即ち、学習後の神経回路網が、学
習がなされた認識カテゴリとそれ以外の認識カテゴリと
を適切に識別する汎化能力が高いものとされる場合と、
学習がなされた認識カテゴリとそれ以外の認識カテゴリ
との識別を殆ど行わない、汎化能力が著しく低いものと
される場合とが生じてしまう。

【０００７】斯かる点に鑑み、本発明は、入力層ニュー
ロンユニット，中間層ニューロンユニット及び出力層ニ
ューロンユニットを備えた階層型に属し、認識カテゴリ
に関する複数種の入力信号をもっての学習の結果、常
に、優れた汎化能力を具える内部構造を有するものとさ
れる神経回路網を得ることができる神経回路網の構成方
法を提供することを目的とし、さらに、入力層ニューロ
ンユニット，中間層ニューロンユニット及び出力層ニュ
ーロンユニットを備えた階層型に属する神経回路網につ
いての、その汎化能力を比較的用意に評価できることに
なる学習方法、及び、斯かる学習方法が実行されるもと
での神経回路網の汎化能力評価方法を提供することをも
目的とする。

【０００８】

【課題を解決するための手段】上述の目的を達成すべ
く、本発明に係る神経回路網の構成方法の第１の態様
は、複数個の入力層ニューロンユニット，入力層ニュー
ロンユニットの夫々に結合された１個もしくは複数個の
中間層ニューロンユニット、及び、中間層ニューロンユ
ニットに結合された複数個もしくは１個の出力層ニュー
ロンユニットを、夫々についての入出力関数ｆ(x) が不
等式：０＜ｆ(x) ≦１を成立させるるものとして配し、
入力・中間層間シナプス伝達効率の初期値を、入力層ニ
ューロンユニットに対する入力が全て予め設定された最
低レベルであるとき、中間層ニューロンユニットの出力
を予め設定された最低レベルとなすべく設定するととも
に、中間・出力層間シナプス伝達効率の初期値を、１個
の中間層ニューロンユニットもしくは複数個の中間層ニ
ューロンユニットの夫々の出力が予め設定された最低レ
ベルであるとき、出力層ニューロンユニットの出力を予
め設定された最高レベルとなすべく設定したもとで、バ
ックプロパゲーションの手法による学習を行って、入力
・中間層間シナプス伝達効率の値、及び、中間・出力層
間シナプス伝達効率の値を決定するものとされる。

【０００９】また、本発明に係る神経回路網の構成方法
の第２の態様は、複数個の入力層ニューロンユニット，
入力層ニューロンユニットの夫々に結合された１個の中
間層ニューロンユニット、及び、中間層ニューロンユニ
ットに結合された複数個の出力層ニューロンユニット
を、夫々についての入出力関数ｆ(x) が不等式：０＜ｆ
(x) ≦１を成立させるものとして有する単位三層神経回
路網を、複数の認識カテゴリに夫々対応させて複数個用
意し、単位三層神経回路網の夫々に関して、入力・中間
層間シナプス伝達効率の初期値を、入力層ニューロンユ
ニットに対する入力が全て予め設定された最低レベルで
あるとき、中間層ニューロンユニットの出力を予め設定
された最低レベルとなすべく設定するとともに、中間・
出力層間シナプス伝達効率の初期値を、中間層ニューロ
ンユニットの出力が予め設定された最低レベルであると
き、出力層ニューロンユニットの出力を予め設定された
最高レベルとなすべく設定したもとで、対応する認識カ
テゴリに関しての学習をバックプロパゲーションの手法
により行って、入力・中間層間のシナプス伝達効率の値
及び中間・出力層間のシナプス伝達効率の値を決定し、
学習が行われた複数の単位三層神経回路網について、夫
々における複数個の入力層ニューロンユニットの共通化
及び夫々における複数個の出力層ニューロンユニットの
共通化を行って１個の三層神経回路網を得るものとされ
る。

【００１０】一方、本発明に係る神経回路網の学習方法
は、複数個の入力層ニューロンユニット，入力層ニュー
ロンユニットの夫々に結合された、複数の認識カテゴリ
に夫々対応する複数個の中間層ニューロンユニット、及
び、中間層ニューロンユニットの夫々に結合された複数
個の出力層ニューロンユニットを有し、入力層ニューロ
ンユニット，中間層ニューロンユニット及び出力層ニュ
ーロンユニットの夫々についての入出力関数ｆ(x) が不
等式：０＜ｆ(x) ≦１を成立させるものとされた三層神
経回路網について、入力・中間層間シナプス伝達効率の
初期値を、入力層ニューロンユニットに対する入力が全
て予め設定された最低レベルであるとき、中間層ニュー
ロンユニットの出力を予め設定された最低レベルとなす
べく設定するとともに、中間・出力層間シナプス伝達効
率の初期値を、中間層ニューロンユニットの出力が予め
設定された最低レベルであるとき、出力層ニューロンユ
ニットの出力を予め設定された最高レベルとなすべく設
定したもとで、複数の認識カテゴリの夫々に関しての学
習を、複数の認識カテゴリの夫々に対応する１個の中間
層ニューロンユニットに関わるシナプス伝達効率のみを
学習対象としてバックプロパゲーションの手法によって
行うことにより、入力・中間層間シナプス伝達効率の値
及び中間・出力層間シナプス伝達効率の値を決定するも
のとされる。

【００１１】さらに、本発明に係る神経回路網の汎化能
力評価方法は、複数個の入力層ニューロンユニット，入
力層ニューロンユニットの夫々に結合された、複数の認
識カテゴリに夫々対応する複数個の中間層ニューロンユ
ニット、及び、中間層ニューロンユニットの夫々に結合
された複数個の出力層ニューロンユニットを有し、入力
層ニューロンユニット，中間層ニューロンユニット及び
出力層ニューロンユニットの夫々についての入出力関数
ｆ(x) が不等式：０＜ｆ(x) ≦１を成立させるものとさ
れた三層神経回路網について、入力・中間層間シナプス
伝達効率の初期値を、入力層ニューロンユニットに対す
る入力が全て予め設定された最低レベルであるとき、中
間層ニューロンユニットの出力を予め設定された最低レ
ベルとなすべく設定するとともに、中間・出力層間シナ
プス伝達効率の初期値を、中間層ニューロンユニットの
出力が予め設定された最低レベルであるとき、出力層ニ
ューロンユニットの出力を予め設定された最高レベルと
なすべく設定したもとで、複数の認識カテゴリの夫々に
関しての学習を、複数の認識カテゴリの夫々に対応する
１個の中間層ニューロンユニットに関わるシナプス伝達
効率のみを学習対象としてバックプロパゲーションの手
法によって行うことにより、入力・中間層間シナプス伝
達効率の値、及び、中間・出力層間シナプス伝達効率の
値を決定し、学習成立後における中間層ニューロンユニ
ットの夫々がオン出力状態をとることになる入力層ニュ
ーロンユニットにおけるオン出力とオフ出力との比率を
求め、求められた比率に基づいて三層神経回路網につい
ての汎化能力を判定することを特徴とするものとされ
る。

【００１２】

【作用】上述の本発明に係る神経回路網の構成方法の第
１の態様にあっては、入力・中間層間シナプス伝達効率
の初期値が、入力層ニューロンユニットに対する入力が
全て予め設定された最低レベルであるとき、中間層ニュ
ーロンユニットの出力を予め設定された最低レベルとな
すべく設定され、また、中間・出力層間シナプス伝達効
率の初期値が、１個の中間層ニューロンユニットもしく
は複数個の中間層ニューロンユニットの夫々の出力が予
め設定された最低レベルであるとき、出力層ニューロン
ユニットの出力を予め設定された最高レベルとなすべく
設定される。そして、このような入力・中間層間シナプ
ス伝達効率の初期値及び中間・出力層間シナプス伝達効
率の初期値の設定がなされたもとで、バックプロパゲー
ションの手法による学習を行って、入力・中間層間シナ
プス伝達効率の値、及び、中間・出力層間シナプス伝達
効率の値を決定するものとされる。従って、構成される
神経回路網が、常に、優れた汎化能力を具えた内部構造
を有するものとされる。

【００１３】また、本発明に係る神経回路網の構成方法
の第２の態様にあっては、各単位三層神経回路網に関し
て、入力・中間層間シナプス伝達効率の初期値が、入力
層ニューロンユニットに対する入力が全て予め設定され
た最低レベルであるとき、中間層ニューロンユニットの
出力を予め設定された最低レベルとなすべく設定され、
また、中間・出力層間シナプス伝達効率の初期値が、１
個の中間層ニューロンユニットの出力が予め設定された
最低レベルであるとき、出力層ニューロンユニットの出
力を予め設定された最高レベルとなすべく設定されたも
とで、対応する認識カテゴリに関しての学習がバックプ
ロパゲーションの手法により行われて、入力・中間層間
のシナプス伝達効率の値及び中間・出力層間のシナプス
伝達効率の値が決定される。そして、斯かる学習が行わ
れた複数の単位三層神経回路網について、夫々における
複数個の入力層ニューロンユニットの共通化及び夫々に
おける複数個の出力層ニューロンユニットの共通化がな
されて、１個の三層神経回路網が構成される。従って、
常に、優れた汎化能力を具えた内部構造を有するものと
される三層神経回路網が、学習が迅速に行われるもと
で、比較的容易に得られることになる。

【００１４】そして、本発明に係る神経回路網の学習方
法によれば、複数個の入力層ニューロンユニット，複数
の認識カテゴリに夫々対応する複数個の中間層ニューロ
ンユニット、及び、複数個の出力層ニューロンユニット
を有した三層神経回路網が、その入力・中間層間シナプ
ス伝達効率の初期値が、入力層ニューロンユニットに対
する入力が全て予め設定された最低レベルであるとき、
中間層ニューロンユニットの出力を予め設定された最低
レベルとなすべく設定されるとともに、その中間・出力
層間シナプス伝達効率の初期値が、中間層ニューロンユ
ニットの出力が予め設定された最低レベルであるとき、
出力層ニューロンユニットの出力を予め設定された最高
レベルとなすべく設定されたもとで、複数の認識カテゴ
リの夫々に関しての学習が、複数の認識カテゴリの夫々
に対応する１個の中間層ニューロンユニットに関わるシ
ナプス伝達効率のみを学習対象としてバックプロパゲー
ションの手法によって行われ、それによって、入力・中
間層間シナプス伝達効率の値及び中間・出力層間シナプ
ス伝達効率の値が決定されるものとされる。従って、学
習後の入力・中間層間シナプス伝達効率の値及び中間・
出力層間シナプス伝達効率の値に基づいて、三層神経回
路網の汎化能力を比較的容易に評価できることになる。

【００１５】さらに、本発明に係る神経回路網の汎化能
力評価方法によれば、複数個の入力層ニューロンユニッ
ト，複数の認識カテゴリに夫々対応する複数個の中間層
ニューロンユニット、及び、複数個の出力層ニューロン
ユニットを有した三層神経回路網が、その入力・中間層
間シナプス伝達効率の初期値が、入力層ニューロンユニ
ットに対する入力が全て予め設定された最低レベルであ
るとき、中間層ニューロンユニットの出力を予め設定さ
れた最低レベルとなすべく設定されるとともに、その中
間・出力層間シナプス伝達効率の初期値が、中間層ニュ
ーロンユニットの出力が予め設定された最低レベルであ
るとき、出力層ニューロンユニットの出力を予め設定さ
れた最高レベルとなすべく設定されたもとで、複数の認
識カテゴリの夫々に関しての学習が、複数の認識カテゴ
リの夫々に対応する１個の中間層ニューロンユニットに
関わるシナプス伝達効率のみを学習対象としてバックプ
ロパゲーションの手法によって行われ、それによって、
入力・中間層間シナプス伝達効率の値及び中間・出力層
間シナプス伝達効率の値が決定され、さらに、学習成立
後における中間層ニューロンユニットの夫々がオン出力
状態をとることになる入力層ニューロンユニットにおけ
るオン出力とオフ出力との比率が求められて、それに基
づいて汎化能力が判定されるものとなされる。従って、
三層神経回路網の汎化能力の評価が、迅速かつ比較的容
易に行われることになる。

【００１６】

【実施例】本発明に係る神経回路網の構成方法の第１の
例に従って、三層神経回路網を構成する場合について以
下に述べる。

【００１７】先ず、図１に示される如くに、６４個の入
力層ニューロンユニットＳＡ１〜ＳＡ６４，各々が入力
層ニューロンユニットＳＡ１〜ＳＡ６４の夫々に結合さ
れた５個の中間層ニューロンユニットＡＡ１〜ＡＡ５、
及び、各々が中間層ニューロンユニットＡＡ１〜ＡＡ５
の夫々に結合された１６個の出力層ニューロンユニット
ＲＡ１〜ＲＡ１６を配置する。その際、これら入力層ニ
ューロンユニットＳＡ１〜ＳＡ６４，中間層ニューロン
ユニットＡＡ１〜ＡＡ５及び出力層ニューロンユニット
ＲＡ１〜ＲＡ１６の夫々についての入出力関数ｆ(x)
を、不等式：０＜ｆ(x) ≦１が成立するものとなす。具
体的には、例えば、 ｆ(x）＝ 1 /( 1＋exp(−ｘ−50）) ・・・・・(1) とし、但し、1 /( 1＋exp(−ｘ−50）) ＞ 0.9 である
ときには、ｆ(x）＝ 0.9、また、1 /( 1＋exp(−ｘ−5
0）) ＜ 0.1 であるときには、ｆ(x）＝ 0.1とする。

【００１８】続いて、入力層ニューロンユニットＳＡ１
〜ＳＡ６４の夫々とそれに結合された中間層ニューロン
ユニットＡＡ１〜ＡＡ５のいずれかとの間の入力・中間
層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)を、入
力層ニューロンユニットＳＡ１〜ＳＡ６４に夫々入力さ
れる入力信号ＤＩ１〜ＤＩ６４が全て最低レベル、即
ち、0.1 であるとき、中間層ニューロンユニットＡＡ１
〜ＡＡ５の夫々における出力信号を最低レベル、即ち、
0.1 とすべく設定するとともに、中間層ニューロンユニ
ットＡＡ１〜ＡＡ５の夫々とそれに結合された出力層ニ
ューロンユニットＲＡ１〜ＲＡ１６のうちのいずれかと
の間の中間・出力層間シナプス伝達効率ｗij(H0)の初期
値Ｗ_IJ(HO)を、中間層ニューロンユニットＡＡ１〜ＡＡ
５の夫々の出力信号が全て最低レベル、即ち、0.1 であ
るとき、出力層ニューロンユニットＲＡ１〜ＲＡ１６の
夫々からの出力信号ＤＯ１〜ＤＯ１６を最高レベル、即
ち、0.9 とすべく設定する。

【００１９】具体的には、例えば、入力・中間層間シナ
プス伝達効率ｗij(IH)についての基準値をｗｏ(IH)， 中間・出力層間シナプス伝達効率ｗij(HO)についての基
準値をｗｏ(HO)， 各ニューロンユニットのオフ出力をＯＬ＝ 0.1 ， 入力層ニューロンユニットの数をＮＩ（＝64）， 中間層ニューロンユニットの数をＮＨ＝（５）， オフ出力状態にある中間層ニューロンユニットの内部ポ
テンシャルをｍｐL(H)，オン出力状態にある出力層ニュ
ーロンユニットの内部ポテンシャルをｍｐH(O)，０〜１
までの乱数を rand ( 0 ≦ rand ≦ 1 ),として、 ｗｏ(IH)・ＯＬ・ＮＩ＜ｍｐL(H), Ｗ_IJ(IH)＝ｗｏ(IH)− rand ・・・(2) ｗｏ(HO)・ＯＬ・ＮＨ＞ｍｐH(O), Ｗ_IJ(HO)＝ｗｏ(HO)− rand ・・・(3) という関係が成立するようになす。そして、ｍｐL(H)及
びｍｐH(O)は、式(1) から算出されて、 ｍｐL(H)＝−52.1972 ， ｍｐH(O)＝−47.8028 ， となるので、式(2) 及び式(3) より、 ｗｏ(IH)・ＯＬ・ＮＩ＝ｗｏ(IH)・ 0.1・64 ＜ ｍｐL(H)＝−52.1972 ， ｗｏ(HO)・ＯＬ・ＮＨ＝ｗｏ(HO)・ 0.1・ 5 ＞ ｍｐH(O)＝−47.8028 ， となる。従って、ｗｏ(IH)＝−50 ，ｗｏ(HO)＝−50
となり、これよりして、Ｗ_IJ(IH)＝−50−rand 及び
Ｗ_IJ(HO)＝−50−rand が設定される。

【００２０】このようにして入力・中間層間シナプス伝
達効率ｗij(IH)の初期値Ｗ_IJ(IH)及び中間・出力層間シ
ナプス伝達効率ｗij(H0)の初期値Ｗ_IJ(HO)を設定したも
とで、バックプロパゲーションの手法による学習を行
い、それによって入力・中間層間シナプス伝達効率ｗij
(IH)の値及び中間・出力層間シナプス伝達効率ｗij(H0)
の値を決定する。バックプロパゲーションの手法による
学習は、例えば、形成された三層神経回路網をアルファ
ベットパターン認識装置として機能するものとして行
い、入力層ニューロンユニットＳＡ１〜ＳＡ６４に夫々
入力される入力信号ＤＩ１〜ＤＩ６４を、例えば、アル
ファベットパターンをあらわす６４ビット構成のデータ
信号とし、それに対して、例えば、１６ビットの教師信
号を設定し、また、学習アルゴリズムは、例えば、 δＷ^k-1 _i ^k _j (t+l) ＝−0.2 d ^k _j O ^k-1 _i＋ 0.2δＷ^k-1 _i ^k _j (t) によってあらわされるものとする。ここで、Ｗ^k-1 _i ^k
_j は、k-1 層における第i番目のニューロンユニットか
ら k層における第 j番目のニューロンユニットへのシナ
プス伝達効率値であって、δＷ^k-1 _i ^k _j (t) 及びδＷ
^k-1 _i ^k _j (t+l)は、夫々時刻t 及び t+1におけるＷ
^k-1 _i ^k _j の修正量をあらわし、O ^k-1 _i は、k-1 層に
おける第 i番目のニューロンユニットの出力をあらわ
し、d ^k _j は、Ｗ^k-1 _i ^k _j の修正に用いられる学習信
号をあらわす。

【００２１】学習に際しては、入力信号ＤＩ１〜ＤＩ６
４として、図２に示される如くに配列したとき、図３の
Ａに示される如くに“０”と“１”とをとって、ノイズ
を含むことなく“Ａ”をあらわす信号群ＧＤＩ１、及
び、図３のＢ，Ｃ，Ｄ及びＥの夫々に一部のものが示さ
れる如くに“０”と“１”とをとって、２ビット分のノ
イズを含んで“Ａ”をあらわす９種類の信号群ＧＤＩ２
〜ＧＤＩ１０を選定する。２ビット分のノイズを含んで
“Ａ”をあらわす９種類の信号群ＧＤＩ２〜ＧＤＩ１０
の夫々における２ビット分のノイズは、入力信号ＤＩ１
〜ＤＩ６４のうちの乱数に従って選定した二つについ
て、“０”であるべきところを“１”に、あるいは、
“１”であるべきところを“０”に反転することにより
生じさせる。また、教師信号としては、例えば、“Ａ”
をあらわす１６ビットのＥＵＣ（エンファンスド・ユニ
ックス・コード）：0 0 1 0 0 0 1 1 0 1 0 0 0 0 0 1
を用いる。

【００２２】信号群ＧＤＩ１〜ＧＤＩ１０の夫々におい
て、“０”は最低レベル：0.1 をあらわし、“１”は最
高レベル：0.9 をあらわす。そして、学習の収束の判定
については、例えば、全ビット誤差が 0.01 以下となっ
たとき学習が収束したと判定することにより行い、学習
の実施態様は、信号群ＧＤＩ１〜ＧＤＩ１０のうちの一
つを供給したもとでの学習を収束するまで繰り返し、収
束した後、信号群ＧＤＩ１〜ＧＤＩ１０のうちの他の一
つを供給したもとでの学習を収束するまで繰り返すよう
にして、信号群ＧＤＩ１〜ＧＤＩ１０の夫々についての
学習を順次行う。

【００２３】本願の発明者により、上述の如くの入力・
中間層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)及
び中間・出力層間シナプス伝達効率ｗij(H0)の初期値Ｗ
_IJ(HO)の設定、及び、入力信号ＤＩ１〜ＤＩ６４として
信号群ＧＤＩ１〜ＧＤＩ１０が用いられたもとでの学習
が実際に行われた。その結果、入力・中間層間シナプス
伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)が、図４に示される
如くに決定されるとともに、中間・出力層間シナプス伝
達効率ｗij(H0)の初期値Ｗ_IJ(HO)が、図５に示される如
くに設定され、また、入力・中間層間シナプス伝達効率
ｗij(IH)の値が、図６に示される如くに決定され、ま
た、中間・出力層間シナプス伝達効率ｗij(H0)の値が、
図７に示される如くに決定された。

【００２４】図４において、ｉの１〜６４は夫々入力層
ニューロンユニットＳＡ１〜ＳＡ６４をあらわし、ｊの
１〜５は夫々中間層ニューロンユニットＡＡ１〜ＡＡ５
をあらわす。また、図５において、ｉの１〜５は夫々中
間層ニューロンユニットＡＡ１〜ＡＡ５をあらわし、ｊ
の１〜１６は夫々出力層ニューロンユニットＲＡ１〜Ｒ
Ａ１６をあらわす。即ち、例えば、入力層ニューロンユ
ニットＳＡ１と中間層ニューロンユニットＡＡ１との間
の入力・中間層間シナプス伝達効率ｗij(IH)の初期値Ｗ
_IJ(IH)は、図４におけるｉ＝１，ｊ＝１によってあらわ
され、−50.51であり、また、中間層ニューロンユニッ
トＡＡ５と出力層ニューロンユニットＲＡ１６との間の
中間・出力層間シナプス伝達効率ｗij(HO)の初期値Ｗ_IJ
(HO)は、図５におけるｉ＝５，ｊ＝１６によってあらわ
され、−50.41 である。

【００２５】さらに、図６において、ｉの１〜６４は夫
々入力層ニューロンユニットＳＡ１〜ＳＡ６４をあらわ
し、ｊの１〜５は夫々中間層ニューロンユニットＡＡ１
〜ＡＡ５をあらわす。また、図７において、ｉの１〜５
は夫々中間層ニューロンユニットＡＡ１〜ＡＡ５をあら
わし、ｊの１〜１６は夫々出力層ニューロンユニットＲ
Ａ１〜ＲＡ１６をあらわす。即ち、例えば、入力層ニュ
ーロンユニットＳＡ１と中間層ニューロンユニットＡＡ
１との間の入力・中間層間シナプス伝達効率ｗij(IH)の
値は、図６におけるｉ＝１，ｊ＝１によってあらわさ
れ、−95.17 であり、また、中間層ニューロンユニット
ＡＡ５と出力層ニューロンユニットＲＡ１６との間の中
間・出力層間シナプス伝達効率ｗij(HO)の値は、図７に
おけるｉ＝５，ｊ＝１６によってあらわされ、−31.77
である。

【００２６】入力層ニューロンユニットＳＡ１〜ＳＡ６
４，中間層ニューロンユニットＡＡ１〜ＡＡ５及び出力
層ニューロンユニットＲＡ１〜ＲＡ１６を有し、入力・
中間層間シナプス伝達効率ｗij(IH)の値が、図６に示さ
れる如くに決定されるとともに、中間・出力層間シナプ
ス伝達効率ｗij(H0)の値が、図７に示される如くに決定
された、本発明に係る神経回路網の構成方法の第１の例
に従って得られた三層神経回路網に対しては、本願の発
明者により、汎化能力テストが行われた。斯かる汎化能
力テストは、入力信号ＤＩ１〜ＤＩ６４として、図２に
示される如くに配列したとき、図８のＡ及びＢの夫々に
一部のものが示される如くに“０”と“１”とをとっ
て、２ビット分のノイズを含んで“Ａ”をあらわす１０
種類の信号群ＧＤＩ１１〜ＧＤＩ２０、及び、図９のＡ
及びＢの夫々に一部のものが示される如くに“０”と
“１”とをとって、ノイズを含むことなく“Ｂ”〜
“Ｚ”を夫々あらわす２５種類の信号群ＧＤＩ２１〜Ｇ
ＤＩ４５が選定され、これらの信号群ＧＤＩ１１〜ＧＤ
Ｉ４５の夫々が入力層ニューロンユニットＳＡ１〜ＳＡ
６４に供給されるもとで、出力層ニューロンユニットＲ
Ａ１〜ＲＡ１６から得られる出力信号ＤＯ１〜ＤＯ１６
が検定されることにより行われた。なお、信号群ＧＤＩ
２１〜ＧＤＩ４５の夫々において、“０”は最低レベ
ル：0.1 をあらわし、“１”は最高レベル：0.9 をあら
わす。

【００２７】斯かる汎化能力テストの結果、２ビット分
のノイズを含んで“Ａ”をあらわす１０種類の信号群Ｇ
ＤＩ１１〜ＧＤＩ２０、及び、ノイズを含むことなく
“Ｂ”〜“Ｚ”を夫々あらわす２５種類の信号群ＧＤＩ
２１〜ＧＤＩ４５の全てが正しく認識され、特に、ノイ
ズを含むことなく“Ｂ”〜“Ｚ”を夫々あらわす２５種
類の信号群ＧＤＩ２１〜ＧＤＩ４５の夫々が入力される
もとでは、出力信号ＤＯ１〜ＤＯ１６が全て最高レベ
ル:0.9をとる状態が得られた。これよりして、上述の本
発明に係る神経回路網の構成方法の第１の例に従って得
られる三層神経回路網が高い汎化能力を具えるものとな
ることが、実験的に確認された。

【００２８】本発明に係る神経回路網の構成方法の第２
の例に従って、三層神経回路網を構成する場合には、例
えば、図１に示される如くに、６４個の入力層ニューロ
ンユニットＳＡ１〜ＳＡ６４，各々が入力層ニューロン
ユニットＳＡ１〜ＳＡ６４の夫々に結合された５個の中
間層ニューロンユニットＡＡ１〜ＡＡ５、及び、各々が
中間層ニューロンユニットＡＡ１〜ＡＡ５の夫々に結合
された１６個の出力層ニューロンユニットＲＡ１〜ＲＡ
１６を配置し、入力層ニューロンユニットＳＡ１〜ＳＡ
６４，中間層ニューロンユニットＡＡ１〜ＡＡ５及び出
力層ニューロンユニットＲＡ１〜ＲＡ１６の夫々につい
ての入出力関数ｆ(x) を、不等式：０＜ｆ(x) ≦１が成
立するものとなしたもとで、入力・中間層間シナプス伝
達効率ｗij(IH)の初期値Ｗ_IJ(IH)を、入力層ニューロン
ユニットＳＡ１〜ＳＡ６４に夫々入力される入力信号Ｄ
Ｉ１〜ＤＩ６４が全て最低レベル：0.1 であるとき、中
間層ニューロンユニットＡＡ１〜ＡＡ５の夫々における
出力信号を最低レベル：0.1 とすべく設定するととも
に、中間・出力層間シナプス伝達効率ｗij(H0)の初期値
Ｗ_IJ(HO)を、中間層ニューロンユニットＡＡ１〜ＡＡ５
の夫々の出力信号が全て最低レベル：0.1 であるとき、
出力層ニューロンユニットＲＡ１〜ＲＡ１６の夫々から
の出力信号ＤＯ１〜ＤＯ１６を最高レベル：0.9 とすべ
く設定するにあたり、具体的に、 Ｗ_IJ(IH)＝−40− 2・( rand−0.5 ) ，Ｗ_IJ(HO)＝−40
− 2・( rand−0.５）と設定する。

【００２９】そして、上述の本発明に係る神経回路網の
構成方法の一例に従って三層神経回路網を構成する場合
と同様にして、バックプロパゲーションの手法による学
習を、入力信号ＤＩ１〜ＤＩ６４として、図２に示され
る如くに配列したとき、図３のＡに示される如くに
“０”と“１”とをとって、ノイズを含むことなく
“Ａ”をあらわす信号群ＧＤＩ１、及び、図３のＢ，
Ｃ，Ｄ及びＥの夫々に一部のものが示される如くに
“０”と“１”とをとって、２ビット分のノイズを含ん
で“Ａ”をあらわす９種類の信号群ＧＤＩ２〜ＧＤＩ１
０の夫々を供給するもとで行い、それによって入力・中
間層間シナプス伝達効率ｗij(IH)の値及び中間・出力層
間シナプス伝達効率ｗij(H0)の値を決定する。

【００３０】本願の発明者により、斯かる如くの本発明
に係る神経回路網の構成方法の第２の例に従っての、入
力・中間層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(I
H)及び中間・出力層間シナプス伝達効率ｗij(H0)の初期
値Ｗ_IJ(HO)の設定、及び、入力信号ＤＩ１〜ＤＩ６４と
して信号群ＧＤＩ１〜ＧＤＩ１０が用いられたもとでの
学習が、実際に行われた。その結果、入力・中間層間シ
ナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)が、図１０に
示される如くに決定されるとともに、中間・出力層間シ
ナプス伝達効率ｗij(H0)の初期値Ｗ_IJ(HO)が、図１１に
示される如くに設定され、また、学習後の入力・中間層
間シナプス伝達効率ｗij(IH)の値が、図１２に示される
如くに決定されるとともに、学習後の中間・出力層間シ
ナプス伝達効率ｗij(H0)の値が、図１３に示される如く
に決定された。

【００３１】図１０，１１，１２及び１３におけるｉ及
びｊは、図４，５，６及び７におけるｉ及びｊと同様の
ものであり、例えば、入力層ニューロンユニットＳＡ１
と中間層ニューロンユニットＡＡ１との間の入力・中間
層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)は、図
１０におけるｉ＝１，ｊ＝１によってあらわされ、−4
0.03 であり、また、中間層ニューロンユニットＡＡ５
と出力層ニューロンユニットＲＡ１６との間の中間・出
力層間シナプス伝達効率ｗij(HO)の初期値Ｗ_IJ(HO)は、
図１１におけるｉ＝５，ｊ＝１６によってあらわされ、
−39.82 である。さらに、学習後における、例えば、入
力層ニューロンユニットＳＡ１と中間層ニューロンユニ
ットＡＡ１との間の入力・中間層間シナプス伝達効率ｗ
ij(IH)の値は、図１２におけるｉ＝１，ｊ＝１によって
あらわされ、−34.89 であり、また、中間層ニューロン
ユニットＡＡ５と出力層ニューロンユニットＲＡ１６と
の間の中間・出力層間シナプス伝達効率ｗij(HO)の値
は、図１３におけるｉ＝5 ，ｊ＝１６によってあらわさ
れ、−35.74 である。

【００３２】入力層ニューロンユニットＳＡ１〜ＳＡ６
４，中間層ニューロンユニットＡＡ１〜ＡＡ５及び出力
層ニューロンユニットＲＡ１〜ＲＡ１６を有し、入力・
中間層間シナプス伝達効率ｗij(IH)の値が、図１２に示
される如くに決定されるとともに、中間・出力層間シナ
プス伝達効率ｗij(H0)の値が、図１３に示される如くに
決定された、本発明に係る神経回路網の構成方法の第２
の例に従って得られた三層神経回路網に対しても、本願
の発明者により、汎化能力テストが行われた。斯かる汎
化能力テストも、入力信号ＤＩ１〜ＤＩ６４として、図
２に示される如くに配列したとき、図８のＡ及びＢの夫
々に一部のものが示される如くの１０種類の信号群ＧＤ
Ｉ１１〜ＧＤＩ２０、及び、図９のＡ及びＢの夫々に一
部のものが示される如くの２５種類の信号群ＧＤＩ２１
〜ＧＤＩ４５の夫々が入力層ニューロンユニットＳＡ１
〜ＳＡ６４に供給されるもとで、出力層ニューロンユニ
ットＲＡ１〜ＲＡ１６から得られる出力信号ＤＯ１〜Ｄ
Ｏ１６が検定されることにより行われた。その結果、１
０種類の信号群ＧＤＩ１１〜ＧＤＩ２０、及び、２５種
類の信号群ＧＤＩ２１〜ＧＤＩ４５の全てが正しく認識
され、特に、２５種類の信号群ＧＤＩ２１〜ＧＤＩ４５
の夫々が入力されるもとでは、出力信号ＤＯ１〜ＤＯ１
６が全て最高レベル:0.9をとる状態が得られた。これよ
りして、上述の本発明に係る神経回路網の構成方法の第
２の例に従って得られる三層神経回路網も高い汎化能力
を具えるものとなることが、実験的に確認された。

【００３３】本発明に係る神経回路網の構成方法の第３
の例に従って、三層神経回路網を構成する場合には、例
えば、図１に示される如くに、６４個の入力層ニューロ
ンユニットＳＡ１〜ＳＡ６４，各々が入力層ニューロン
ユニットＳＡ１〜ＳＡ６４の夫々に結合された５個の中
間層ニューロンユニットＡＡ１〜ＡＡ５、及び、各々が
中間層ニューロンユニットＡＡ１〜ＡＡ５の夫々に結合
された１６個の出力層ニューロンユニットＲＡ１〜ＲＡ
１６を配置し、入力層ニューロンユニットＳＡ１〜ＳＡ
６４，中間層ニューロンユニットＡＡ１〜ＡＡ５及び出
力層ニューロンユニットＲＡ１〜ＲＡ１６の夫々につい
ての入出力関数ｆ(x) を、不等式：０＜ｆ(x) ≦１が成
立するものとなしたもとで、入力・中間層間シナプス伝
達効率ｗij(IH)の初期値Ｗ_IJ(IH)を、入力層ニューロン
ユニットＳＡ１〜ＳＡ６４に夫々入力される入力信号Ｄ
Ｉ１〜ＤＩ６４が全て最低レベル：0.1 であるとき、中
間層ニューロンユニットＡＡ１〜ＡＡ５の夫々における
出力信号を最低レベル：0.1 とすべく設定するととも
に、中間・出力層間シナプス伝達効率ｗij(H0)の初期値
Ｗ_IJ(HO)を、中間層ニューロンユニットＡＡ１〜ＡＡ５
の夫々の出力信号が全て最低レベル：0.1 であるとき、
出力層ニューロンユニットＲＡ１〜ＲＡ１６の夫々から
の出力信号ＤＯ１〜ＤＯ１６を最高レベル：0.9 とすべ
く設定するにあたり、具体的に、 Ｗ_IJ(IH)＝−30−rand ，Ｗ_IJ(HO)＝−20− 2・( rand
−0.５）と設定する。

【００３４】そして、上述の本発明に係る神経回路網の
構成方法の一例に従って三層神経回路網を構成する場合
と同様にして、バックプロパゲーションの手法による学
習を、入力信号ＤＩ１〜ＤＩ６４として、図２に示され
る如くに配列したとき、図３のＡに示される如くに
“０”と“１”とをとって、ノイズを含むことなく
“Ａ”をあらわす信号群ＧＤＩ１、及び、図３のＢ，
Ｃ，Ｄ及びＥの夫々に一部のものが示される如くに
“０”と“１”とをとって、２ビット分のノイズを含ん
で“Ａ”をあらわす９種類の信号群ＧＤＩ２〜ＧＤＩ１
０の夫々を供給するもとで行い、それによって入力・中
間層間シナプス伝達効率ｗij(IH)の値及び中間・出力層
間シナプス伝達効率ｗij(H0)の値を決定する。

【００３５】本願の発明者により、斯かる如くの本発明
に係る神経回路網の構成方法の第３の例に従っての、入
力・中間層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(I
H)及び中間・出力層間シナプス伝達効率ｗij(H0)の初期
値Ｗ_IJ(HO)の設定、及び、入力信号ＤＩ１〜ＤＩ６４と
して信号群ＧＤＩ１〜ＧＤＩ１０が用いられたもとでの
学習が、実際に行われた。その結果、入力・中間層間シ
ナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)が、図１４に
示される如くに決定されるとともに、中間・出力層間シ
ナプス伝達効率ｗij(H0)の初期値Ｗ_IJ(HO)が、図１５に
示される如くに設定され、また、学習後の入力・中間層
間シナプス伝達効率ｗij(IH)の値が、図１６に示される
如くに決定されるとともに、学習後の中間・出力層間シ
ナプス伝達効率ｗij(H0)の値が、図１７に示される如く
に決定された。

【００３６】図１４，１５，１６及び１７におけるｉ及
びｊは、図４，５，６及び７におけるｉ及びｊと同様の
ものであり、例えば、入力層ニューロンユニットＳＡ１
と中間層ニューロンユニットＡＡ１との間の入力・中間
層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)は、図
１４におけるｉ＝１，ｊ＝１によってあらわされ、−3
0.51 であり、また、中間層ニューロンユニットＡＡ５
と出力層ニューロンユニットＲＡ１６との間の中間・出
力層間シナプス伝達効率ｗij(HO)の初期値Ｗ_IJ(HO)は、
図１５におけるｉ＝５，ｊ＝１６によってあらわされ、
−19.82 である。さらに、学習後における、例えば、入
力層ニューロンユニットＳＡ１と中間層ニューロンユニ
ットＡＡ１との間の入力・中間層間シナプス伝達効率ｗ
ij(IH)の値は、図１６におけるｉ＝１，ｊ＝１によって
あらわされ、−25.10 であり、また、中間層ニューロン
ユニットＡＡ５と出力層ニューロンユニットＲＡ１６と
の間の中間・出力層間シナプス伝達効率ｗij(HO)の値
は、図１７におけるｉ＝５，ｊ＝１６によってあらわさ
れ、−16.46 である。

【００３７】入力層ニューロンユニットＳＡ１〜ＳＡ６
４，中間層ニューロンユニットＡＡ１〜ＡＡ５及び出力
層ニューロンユニットＲＡ１〜ＲＡ１６を有し、入力・
中間層間シナプス伝達効率ｗij(IH)の値が、図１６に示
される如くに決定されるとともに、中間・出力層間シナ
プス伝達効率ｗij(H0)の値が、図１７に示される如くに
決定された、本発明に係る神経回路網の構成方法の第３
の例に従って得られた三層神経回路網に対しても、本願
の発明者により、汎化能力テストが行われた。斯かる汎
化能力テストも、入力信号ＤＩ１〜ＤＩ６４として、図
２に示される如くに配列したとき、図８のＡ及びＢの夫
々に一部のものが示される如くの１０種類の信号群ＧＤ
Ｉ１１〜ＧＤＩ２０、及び、図９のＡ及びＢの夫々に一
部のものが示される如くの２５種類の信号群ＧＤＩ２１
〜ＧＤＩ４５の夫々が入力層ニューロンユニットＳＡ１
〜ＳＡ６４に供給されるもとで、出力層ニューロンユニ
ットＲＡ１〜ＲＡ１６から得られる出力信号ＤＯ１〜Ｄ
Ｏ１６が検定されることにより行われた。その結果、１
０種類の信号群ＧＤＩ１１〜ＧＤＩ２０、及び、２５種
類の信号群ＧＤＩ２１〜ＧＤＩ４５の全てが正しく認識
され、特に、２５種類の信号群ＧＤＩ２１〜ＧＤＩ４５
の夫々が入力されるもとでは、出力信号ＤＯ１〜ＤＯ１
６が全て最高レベル:0.9をとる状態が得られた。これよ
りして、上述の本発明に係る神経回路網の構成方法の第
３の例に従って得られる三層神経回路網も高い汎化能力
を具えるものとなることが、実験的に確認された。

【００３８】次に、本発明に係る神経回路網の構成方法
の第４の例に従って、三層神経回路網を構成する場合に
ついて以下に述べる。斯かる第４の例に従って構成され
る三層神経回路網は、入力信号があらわす内容を識別す
る機能を具えるものとされ、例えば、アルファベット２
６文字の夫々等とされる認識カテゴリの識別を行うもの
とされる。

【００３９】斯かる第４の例に従って三層神経回路網を
構成するにあたっては、先ず、複数個の入力層ニューロ
ンユニット，それらの夫々に結合された１個の中間層ニ
ューロンユニット、及び、各々が中間層ニューロンユニ
ットに結合された複数個の出力層ニューロンユニットを
配置してなる単位三層神経回路網を、認識カテゴリの数
に対応する個数だけ用意する。具体的には、例えば、ア
ルファベット２６文字の夫々を２６個の認識カテゴリと
したもとで、図１８に示される如くに、６４個の入力層
ニューロンユニットＳＢａ１〜ＳＢａ６４，入力層ニュ
ーロンユニットＳＢａ１〜ＳＢａ６４の夫々に結合され
た１個の中間層ニューロンユニットＡＢ１、及び、各々
が中間層ニューロンユニットＡＢ１に結合された１６個
の出力層ニューロンユニットＲＢａ１〜ＲＢａ１６を配
置してなる単位三層神経回路網ＣＣ１，６４個の入力層
ニューロンユニットＳＢｂ１〜ＳＢｂ６４，入力層ニュ
ーロンユニットＳＢｂ１〜ＳＢｂ６４の夫々に結合され
た１個の中間層ニューロンユニットＡＢ２、及び、各々
が中間層ニューロンユニットＡＢ２に結合された１６個
の出力層ニューロンユニットＲＢｂ１〜ＲＢｂ１６を配
置して成る単位三層神経回路網ＣＣ２，・・・・・，６
４個の入力層ニューロンユニットＳＢｚ１〜ＳＢｚ６
４，入力層ニューロンユニットＳＢｚ１〜ＳＢｚ６４の
夫々に結合された１個の中間層ニューロンユニットＡＢ
２６、及び、各々が中間層ニューロンユニットＡＢ２６
に結合された１６個の出力層ニューロンユニットＲＢｚ
１〜ＲＢｚ１６を配置して成る単位三層神経回路網ＣＣ
２６の合計２６個の単位三層神経回路網を、２６個の認
識カテゴリであるアルファベット２６文字に夫々対応さ
せて用意する。

【００４０】その際、単位三層神経回路網ＣＣ１〜ＣＣ
２６の夫々における入力層ニューロンユニット，中間層
ニューロンユニット及び出力層ニューロンユニットの各
々についての入出力関数ｆ(x) を、不等式：０＜ｆ(x)
≦１が成立するものとなす。具体的には、例えば、前述
の式(1) によりあらわされる如くに、 ｆ(x）＝ 1 /( 1＋exp(−ｘ−50）) とし、但し、1 /( 1＋exp(−ｘ−50）) ＞ 0.9 である
ときには、ｆ(x）＝ 0.9、また、1 /( 1＋exp(−ｘ−5
0）) ＜ 0.1 であるときには、ｆ(x）＝ 0.1とする。

【００４１】続いて、単位三層神経回路網ＣＣ１におけ
る入力層ニューロンユニットＳＢａ１〜ＳＢａ６４の夫
々と中間層ニューロンユニットＡＢ１との間の入力・中
間層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)を、
入力層ニューロンユニットＳＢａ１〜ＳＢａ６４に夫々
入力される入力信号ＤＩａ１〜ＤＩａ６４が全て最低レ
ベル、即ち、0.1 であるとき、中間層ニューロンユニッ
トＡＢ１における出力信号を最低レベル、即ち、0.1 と
すべく設定する。また、単位三層神経回路網ＣＣ２〜Ｃ
Ｃ２５の夫々についても、単位三層神経回路網ＣＣ１と
同様に、６４個の入力層ニューロンユニットの夫々と１
個の中間層ニューロンユニットとの間の入力・中間層間
シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)を、６４個
の入力層ニューロンユニットに夫々入力される入力信号
が全て最低レベル、即ち、0.1 であるとき、中間層ニュ
ーロンユニットにおける出力信号を最低レベル、即ち、
0.1 とすべく設定するとともに、単位三層神経回路網Ｃ
Ｃ２６における入力層ニューロンユニットＳＢｚ１〜Ｓ
Ｂｚ６４の夫々と中間層ニューロンユニットＡＢ２６と
の間の入力・中間層間シナプス伝達効率ｗij(IH)の初期
値Ｗ_IJ(IH)を、入力層ニューロンユニットＳＢｚ１〜Ｓ
Ｂｚ６４に夫々入力される入力信号ＤＩｚ１〜ＤＩｚ６
４が全て最低レベル、即ち、0.1 であるとき、中間層ニ
ューロンユニットＡＢ２６における出力信号を最低レベ
ル、即ち、0.1 とすべく設定する。

【００４２】さらに、単位三層神経回路網ＣＣ１におけ
る中間層ニューロンユニットＡＢ１と出力層ニューロン
ユニットＲＢａ１〜ＲＢａ１６の夫々との間の中間・出
力層間シナプス伝達効率ｗij(HO)の初期値Ｗ_IJ(HO)を、
中間層ニューロンユニットＡＢ１からの出力信号が最低
レベル、即ち、0.1 であるとき、出力層ニューロンユニ
ットＲＢａ１〜ＲＢａ１６の夫々からの出力信号ＤＯａ
１〜ＤＯａ１６を最高レベル、即ち、0.9 とすべく設定
する。また、単位三層神経回路網ＣＣ２〜ＣＣ２５の夫
々についても、単位三層神経回路網ＣＣ１と同様に、１
個の中間層ニューロンユニットと１６個の出力層ニュー
ロンユニットの夫々との間の中間・出力層間シナプス伝
達効率ｗij(OH)の初期値Ｗ_IJ(0H)を、１個の中間層ニュ
ーロンユニットからの出力信号が最低レベル、即ち、0.
1 であるとき、１６個の出力層ニューロンユニットの夫
々からの出力信号を最高レベル、即ち、0.9 とすべく設
定し、さらに、単位三層神経回路網ＣＣ２６における中
間層ニューロンユニットＡＢ２６と出力層ニューロンユ
ニットＲＢｚ１〜ＲＢｚ１６の夫々との間の中間・出力
層間シナプス伝達効率ｗij(HO)の初期値Ｗ_IJ(HO)を、中
間層ニューロンユニットＡＢ２６からの出力信号が最低
レベル、即ち、0.1 であるとき、出力層ニューロンユニ
ットＲＢｚ１〜ＲＢｚ１６の夫々からの出力信号ＤＯｚ
１〜ＤＯｚ１６を最高レベル、即ち、0.9 とすべく設定
する。

【００４３】具体的には、例えば、上述の式(2) 及び
(3) に示される如くの、 ｗｏ(IH)・ＯＬ・ＮＩ＜ｍｐL(H), Ｗ_IJ(IH)＝ｗｏ(IH)− rand ， ｗｏ(HO)・ＯＬ・ＮＨ＞ｍｐH(O), Ｗ_IJ(HO)＝ｗｏ(HO)− rand ， という関係が成立するようになす。そして、ｍｐL(H)及
びｍｐH(O)は、式(1) から算出されて、 ｍｐL(H)＝−52.1972 ， ｍｐH(O)＝−47.8028 ， となるので、式(2) 及び式(3) の関係から、 ｗｏ(IH)・ＯＬ・ＮＩ＝ｗｏ(IH)・ 0.1・64 ＜ ｍｐL(H)＝−52.1972 ， ｗｏ(HO)・ＯＬ・ＮＨ＝ｗｏ(HO)・ 0.1 ＞ ｍｐH(O)＝−47.8028 ， となる。従って、ｗｏ(IH)＝−50 ，ｗｏ(HO)＝−50
となり、これよりして、Ｗ_IJ(IH)＝−50−rand 及び
Ｗ_IJ(HO)＝−50−rand が設定される。

【００４４】続いて、このようにして入力・中間層間シ
ナプス伝達効率ｗij(IH)の初期値Ｗ _IJ(IH)及び中間・出
力層間シナプス伝達効率ｗij(H0)の初期値Ｗ_IJ(HO)を設
定した単位三層神経回路網ＣＣ１〜ＣＣ２６の夫々につ
いて、バックプロパゲーションの手法による学習を行
い、それによって単位三層神経回路網ＣＣ１〜ＣＣ２６
の夫々における入力・中間層間シナプス伝達効率ｗij(I
H)の値及び中間・出力層間シナプス伝達効率ｗij(H0)の
値を決定する。

【００４５】単位三層神経回路網ＣＣ１についてのバッ
クプロパゲーションの手法による学習は、入力層ニュー
ロンユニットＳＢａ１〜ＳＢａ６４に夫々供給される入
力信号ＤＩａ１〜ＤＩａ６４として、図１９に示される
如くに配列したとき、図２０のＡに示される如くに
“０”と“１”とをとって、ノイズを含むことなく、ア
ルファベットの“Ａ”のパターンをあらわす信号群ＧＤ
Ｉａ１、及び、図２０のＢ，Ｃ，Ｄ及びＥの夫々に一部
のものが示される如くに“０”と“１”とをとって、４
ビット分のノイズを含んで“Ａ”のパターンをあらわす
９種類の信号群ＧＤＩａ２〜ＧＤＩａ１０を選定し、ま
た、教師信号として、例えば、“Ａ”をあらわす１６ビ
ットのＥＵＣを選定したもとで、学習アルゴリズムを、
例えば、δＷ^k-1 _i ^k _j (t+l) ＝−0.2 d ^k _j O ^k-1 _i
＋ 0.2δＷ^k-1 _i ^k _j (t)として行う。なお、４ビット
分のノイズを含んで“Ａ”のパターンをあらわす９種類
の信号群ＧＤＩａ２〜ＧＤＩａ１０の夫々における４ビ
ット分のノイズは、入力信号ＤＩａ１〜ＤＩａ６４のう
ちの、乱数に従って選定した二つの“０”であるべきと
ころを“１”に反転するとともに、乱数に従って選定し
た二つの“１”であるべきところを“０”に反転するこ
とにより生じさせる。

【００４６】信号群ＧＤＩａ１〜ＧＤＩａ１０の夫々に
おいて、“０”は最低レベル：0.1をあらわし、“１”
は最高レベル：0.9 をあらわす。そして、学習の収束の
判定については、例えば、全ビット誤差が 0.01 以下と
なったとき学習が収束したと判定することにより行い、
学習の実施態様は、信号群ＧＤＩａ１〜ＧＤＩａ１０の
うちの一つを供給したもとでの学習を収束するまで繰り
返し、収束した後、信号群ＧＤＩａ１〜ＧＤＩａ１０の
うちの他の一つを供給したもとでの学習を収束するまで
繰り返すようにして、信号群ＧＤＩａ１〜ＧＤＩａ１０
の夫々についての学習を順次行う。

【００４７】同様にして、単位三層神経回路網ＣＣ２〜
ＣＣ２５の夫々についてのバックプロパゲーションの手
法による学習を、６４個の入力層ニューロンユニットに
夫々供給される入力信号として、“０”と“１”とをと
って、ノイズを含むことなく、アルファベットの“Ｂ”
〜“Ｙ”の夫々のパターンをあらわす信号群、及び、
“０”と“１”とをとって、４ビット分のノイズを含ん
で“Ｂ”〜“Ｙ”の夫々のパターンをあらわす９種類の
信号群を選定し、また、教師信号として、例えば、
“Ｂ”〜“Ｙ”の夫々をあらわす１６ビットのＥＵＣを
選定したもとで、学習アルゴリズムを、単位三層神経回
路網ＣＣ１の場合と同様として行う。なお、“Ｂ”〜
“Ｙ”の夫々のパターンをあらわす信号群において、
“０”は最低レベル：0.1 をあらわし、“１”は最高レ
ベル：0.9 をあらわす。

【００４８】さらに、単位三層神経回路網ＣＣ２６につ
いてのバックプロパゲーションの手法による学習は、入
力層ニューロンユニットＳＢｚ１〜ＳＢｚ６４に夫々供
給される入力信号ＤＩｚ１〜ＤＩｚ６４として、図２１
のＡに示される如くに“０”と“１”とをとって、ノイ
ズを含むことなく、アルファベットの“Ｚ”のパターン
をあらわす信号群ＧＤＩｚ１、及び、図２１のＢ，Ｃ，
Ｄ及びＥの夫々に一部のものが示される如くに“０”と
“１”とをとって、４ビット分のノイズを含んで“Ｚ”
のパターンをあらわす９種類の信号群ＧＤＩｚ２〜ＧＤ
Ｉｚ１０を選定し、また、教師信号として、例えば、
“Ｚ”をあらわす１６ビットのＥＵＣを選定したもと
で、学習アルゴリズムを、単位三層神経回路網ＣＣ１の
場合と同様として行う。なお、４ビット分のノイズを含
んで“Ｚ”のパターンをあらわす９種類の信号群ＧＤＩ
ｚ２〜ＧＤＩｚ１０の夫々における４ビット分のノイズ
は、入力信号ＤＩｚ１〜ＤＩｚ６４のうちの、乱数に従
って選定した二つの“０”であるべきところを“１”に
反転するとともに、乱数に従って選定した二つの“１”
であるべきところを“０”に反転することにより生じさ
せる。なお、信号群ＧＤＩｚ１〜ＧＤＩｚ１０の夫々に
おいて、“０”は最低レベル：0.1 をあらわし、“１”
は最高レベル：0.9 をあらわす。

【００４９】本願の発明者により、上述の如くの単位三
層神経回路網ＣＣ１〜ＣＣ２６の夫々についての、入力
・中間層間シナプス伝達効率ｗij(IH)の初期値Ｗ_IJ(IH)
及び中間・出力層間シナプス伝達効率ｗij(H0)の初期値
Ｗ_IJ(HO)の設定、及び、６４個の入力層ニューロンユニ
ットに供給される入力信号として信号群ＧＤＩａ１〜Ｇ
ＤＩａ１０，・・・・・，ＧＤＩｚ１〜ＧＤＩｚ１０の
夫々が用いられたもとでの学習が実際に行われた。その
結果、単位三層神経回路網ＣＣ１についての入力・中間
層間シナプス伝達効率ｗij(IH)の値が、図２２に示され
る如くに決定されるとともに、中間・出力層間シナプス
伝達効率ｗij(H0)の値が、図２３に示される如くに決定
され、また、単位三層神経回路網ＣＣ２〜ＣＣ２５の夫
々についての入力・中間層間シナプス伝達効率ｗij(IH)
の値及び中間・出力層間シナプス伝達効率ｗij(H0)の値
が、単位三層神経回路網ＣＣ１の場合と同様に決定さ
れ、さらに、単位三層神経回路網ＣＣ２６についての入
力・中間層間シナプス伝達効率ｗij(IH)の値が、図２４
に示される如くに決定されるとともに、中間・出力層間
シナプス伝達効率ｗij(H0)の値が、図２５に示される如
くに決定された。

【００５０】図２２及び２４における、ｉの１〜６４は
夫々６４個の入力層ニューロンユニットに対応し、図２
３及び２５における、ｊの１〜１６は、１６個の出力層
ニューロンユニットに対応する。即ち、例えば、単位三
層神経回路網ＣＣ１の場合、入力層ニューロンユニット
ＳＢａ１と中間層ニューロンユニットＡＢ１との間の入
力・中間層間シナプス伝達効率ｗij(IH)の値は、図２２
におけるｉ＝１によってあらわされ、−43.90 であり、
また、中間層ニューロンユニットＡＢ１と出力層ニュー
ロンユニットＲＢａ１６との間の中間・出力層間シナプ
ス伝達効率ｗij(HO)の値は、図２３におけるｊ＝１６に
よってあらわされ、−50.40 である。さらに、例えば、
単位三層神経回路網ＣＣ２６の場合、入力層ニューロン
ユニットＳＢｚ６４と中間層ニューロンユニットＡＢ２
６との間の入力・中間層間シナプス伝達効率ｗij(IH)の
値は、図２４におけるｉ＝６４によってあらわされ、−
42.75 であり、また、中間層ニューロンユニットＡＢ２
６と出力層ニューロンユニットＲＢｚ１との間の中間・
出力層間シナプス伝達効率ｗij(HO)の値は、図２５にお
けるｊ＝１によってあらわされ、−57.90 である。

【００５１】このようにして、入力・中間層間シナプス
伝達効率ｗij(IH)の値及び中間・出力層間シナプス伝達
効率ｗij(H0)の値が決定された単位三層神経回路網ＣＣ
１〜ＣＣ２６について、夫々が有する６４個の入力層ニ
ューロンユニットＳＢａ１〜ＳＢａ６４，・・・・・，
ＳＢｚ１〜ＳＢｚ６４に関する共通化、及び、夫々が有
する１６個の出力層ニューロンユニットＲＢａ１〜ＲＢ
ａ１６，・・・・・，ＲＢｚ１〜ＲＢｚ１６に関する共
通化を行い、図２６に示される如くの、６４個の入力層
ニューロンユニットＳＢ１〜ＳＢ６４，２６個の中間層
ニューロンユニットＡＢ１〜ＡＢ２６及び１６個の出力
層ニューロンユニットＲＢ１〜ＲＢ１６を有して構成さ
れる三層神経回路網ＣＣを得る。

【００５２】斯かる本発明に係る神経回路網の構成方法
の第４の例によれば、入力・中間層間シナプス伝達効率
ｗij(IH)の値及び中間・出力層間シナプス伝達効率ｗij
(H0)の値を決定するための各入力信号群に対する学習繰
返回数が、比較的少とされ、学習すべき入力信号群数の
増大に伴って学習回数が膨大な数になるという、バック
プロパゲーションの手法による学習における問題が克服
される。

【００５３】上述の如くにして、本発明に係る神経回路
網の構成方法の第４の例に従って得られる、図２６に示
される如くの三層神経回路網に対し、本願の発明者によ
り、汎化能力テストが行われた。斯かる汎化能力テスト
にあっては、１００種の乱数シードが用いられて、１０
０種の入力・中間層間シナプス伝達効率ｗij(IH)の初期
値Ｗ_IJ(IH)及び中間・出力層間シナプス伝達効率ｗij(H
0)の初期値Ｗ_IJ(HO)の群が設定され、それらの夫々のも
とで本発明に係る神経回路網の構成方法の第４の例に従
って得られた三層神経回路網に対し、入力層ニューロン
ユニットＳＢ１〜ＳＢ６４に夫々供給される入力信号Ｄ
ＩＢ１〜ＤＩＢ６４として、図２７に示される如くに配
列したとき、図２０のＡに示される信号群ＧＤＩａ１の
如くに“０”と“１”とをとって、ノイズを含むこと無
く“Ａ”のパターンをあらわす信号群、及び、図２０の
Ｂ〜Ｅに示される信号群ＧＤＩａ２，ＧＤＩａ４，ＧＤ
Ｉａ８，ＧＤＩａ１０等の如くに“０”と“１”とをと
って、４ビット分のノイズを含んで“Ａ”をあらわす１
９種の信号群を含んだ合計２０種の“Ａ”に関する入力
信号群、及び、それらと同様な、各２０種とされる
“Ｂ”〜“Ｚ”の夫々に関する入力信号群が選定され
た。そして、これら合計５２０種の信号群の夫々が各三
層神経回路網の入力層ニューロンユニットＳＢ１〜ＳＢ
６４に供給されるもとで、出力層ニューロンユニットＲ
Ｂ１〜ＲＢ１６から得られる出力信号ＤＯＢ１〜ＤＯＢ
１６が適正なものか否かが判定されて汎化能力Ｇが算出
されることにより行われた。

【００５４】汎化能力Ｇは、 Ｇ＝適正な出力信号ＤＯＢ１〜ＤＯＢ１６が得られた入
力信号群の数／入力信号群の総数（＝５２０） として算出された。従って、汎化能力Ｇは、その値が１
に近い程高いことになる。その結果得られた乱数シード
ＲＮＳと汎化能力Ｇとの関係は、図２８のグラフ（横
軸：乱数シードＲＮＳ，縦軸：汎化能力Ｇ）に示される
如くであり、汎化能力Ｇは、最大値が１（誤り入力信号
群数０），最小値が 0.976923 （誤り入力信号群数12）
であって、平均値が 0.998139 （誤り入力信号群数１）
であった。これよりして、上述の本発明に係る神経回路
網の構成方法の第４の例に従って得られる三層神経回路
網が高い汎化能力を具えるものとなることが、実験的に
確認された。

【００５５】上述の図２６に示される三層神経回路網の
如くの、複数個の入力層ニューロンユニット，それらの
夫々に結合された、複数の認識カテゴリに夫々対応する
複数個の中間層ニューロンユニット、及び、中間層ニュ
ーロンユニットの夫々に結合された複数個の出力層ニュ
ーロンユニットを有し、入力層ニューロンユニット，中
間層ニューロンユニット及び出力層ニューロンユニット
の夫々についての入出力関数ｆ(x) が不等式：０＜ｆ
(x) ≦１を成立させるものとされた三層神経回路網につ
いては、その汎化能力を、本発明に係る神経回路網の汎
化能力評価方法によって評価することができる。

【００５６】複数個の入力層ニューロンユニット，複数
の認識カテゴリに夫々対応する複数個の中間層ニューロ
ンユニット、及び、複数個の出力層ニューロンユニット
を有し、入力層ニューロンユニット，中間層ニューロン
ユニット及び出力層ニューロンユニットの夫々について
の入出力関数ｆ(x) が不等式：０＜ｆ(x) ≦１を成立さ
せるものとされた三層神経回路網の汎化能力を、本発明
に係る神経回路網の汎化能力評価方法に従って評価する
にあたっては、先ず、複数個の入力層ニューロンユニッ
トの夫々とそれに結合された中間層ニューロンユニット
との間の入力・中間層シナプス伝達効率ｗij(IH)の初期
値Ｗ_IJ(IH)を、複数個の入力層ニューロンユニットに対
する入力信号が全て予め設定された最低レベル、例え
ば、0.1 を有するとき、複数個の中間層ニューロンユニ
ットの夫々の出力信号を予め設定された最低レベル、例
えば、0.1 を有するものとすべく設定するとともに、各
中間層ニューロンユニットとそれに結合された出力層ニ
ューロンユニットとの間の中間・出力層間シナプス伝達
効率ｗij(H0)の初期値Ｗ_IJ(HO)を、複数個の中間層ニュ
ーロンユニットの出力信号が全て予め設定された最低レ
ベル、例えば、0.1 を有するとき、複数個の出力層ニュ
ーロンユニットの夫々の出力信号を予め設定された最高
レベル、例えば、0.9 を有するものとすべく設定する。

【００５７】具体的には、例えば、各記号があらわす内
容を、上述の式(2) 及び(3) の場合と同様としたもと
で、 ｗｏ(IH)・ＯＬ・ＮＩ＜ｍｐL(H), Ｗ_IJ(IH)＝ｗｏ(IH)＋ (rand−0.5)・・ (4) ｗｏ(HO)・ＯＬ・ＮＨ＞ｍｐH(O), Ｗ_IJ(HO)＝ｗｏ(HO)＋ (rand−0.5)・・ (5) という関係が成立するようになす。

【００５８】続いて、このようにして入力・中間層間シ
ナプス伝達効率ｗij(IH)の初期値Ｗ _IJ(IH)及び中間・出
力層間シナプス伝達効率ｗij(H0)の初期値Ｗ_IJ(HO)を設
定した三層神経回路網について、複数の認識カテゴリに
夫々対応する複数個の中間層ニューロンユニットの夫々
に関連する入力・中間層間シナプス伝達効率ｗij(IH)及
び中間・出力層間シナプス伝達効率ｗij(H0)を学習対象
としたバックプロパゲーションの手法による学習を、各
中間層ニューロンユニット別に行う。斯かる各中間層ニ
ューロンユニット別の学習は、複数個の入力層ニューロ
ンユニットに複数の認識カテゴリの夫々に関する入力信
号群が個別に順次供給されるようになし、複数個の入力
層ニューロンユニットに特定の認識カテゴリに関する入
力信号群が個別に供給されるときには、その特定の認識
カテゴリに対応する１個の中間層ニューロンユニットに
関連する入力・中間層間シナプス伝達効率ｗij(IH)及び
中間・出力層間シナプス伝達効率ｗij(H0)のみが、その
値が変更せしめられて適正値となるようにされ、他の中
間層ニューロンユニットに関連する入力・中間層間シナ
プス伝達効率ｗij(IH)及び中間・出力層間シナプス伝達
効率ｗij(H0)の夫々の値は変化せしめられないものとさ
れて行われる。

【００５９】具体的には、例えば、入力層ニューロンユ
ニットの数が６４個，中間層ニューロンユニットの数が
２６個、及び、出力層ニューロンユニットの数が１６個
とされ、前述の式(1) によりあらわされる如くに、 ｆ(x）＝ 1 /( 1＋exp(−ｘ−50）) とされ、但し、1 /( 1＋exp(−ｘ−50）) ＞ 0.9 であ
るときには、ｆ(x）＝ 0.9、また、1 /( 1＋exp(−ｘ−
50）) ＜ 0.1 であるときには、ｆ(x）＝ 0.1とされた
もとで行う。斯かる際には、ｍｐL(H)＝−52.1972, ｍ
ｐH(O)＝−47.8028,となるので、式(4) 及び式(5) の関
係から、 Ｗ_IJ(IH)＝−50−rand 及び Ｗ_IJ(HO)＝−50−rand
が設定される。

【００６０】そして、先ず、２６個の中間層ニューロン
ユニットのうちの１個に関連する入力・中間層間シナプ
ス伝達効率ｗij(IH)及び中間・出力層間シナプス伝達効
率ｗij(H0)を学習対象としたバックプロパゲーションの
手法による学習を、当該１個の中間層ニューロンユニッ
トに関連する入力・中間層間シナプス伝達効率ｗij(IH)
及び中間・出力層間シナプス伝達効率ｗij(H0)のみを変
更し得るものとし、学習アルゴリズムを、例えば、 δＷ^k-1 _i ^k _j (t+l) ＝−0.2 d ^k _j O ^k-1 _i＋ 0.2δＷ^k-1 _i ^k _j (t) としたもとで、６４個の入力層ニューロンユニットに入
力信号を供給して行い、それによって、当該１個の中間
層ニューロンユニットに関連する入力・中間層間シナプ
ス伝達効率ｗij(IH)及び中間・出力層間シナプス伝達効
率ｗij(H0)の夫々の値を決定する。

【００６１】斯かる際における入力信号は、例えば、図
２０のＡに示される、ノイズを含むことなくアルファベ
ットの“Ａ”のパターンをあらわす信号群ＧＤＩａ１、
及び、図２０のＢ，Ｃ，Ｄ及びＥの夫々に一部のものが
示される、４ビット分のノイズを含んで“Ａ”のパター
ンをあらわす９種類の信号群ＧＤＩａ２〜ＧＤＩａ１０
と同様な合計１０種の信号群の夫々とし、また、それに
対応する教師信号として、例えば、“Ａ”をあらわす１
６ビットのＥＵＣを用いる。

【００６２】その後、同様にして、残りの２５個の中間
層ニューロンユニットの夫々に関連する入力・中間層間
シナプス伝達効率ｗij(IH)及び中間・出力層間シナプス
伝達効率ｗij(H0)を学習対象としたバックプロパゲーシ
ョンの手法による学習を、当該１個の中間層ニューロン
ユニットに関連する入力・中間層間シナプス伝達効率ｗ
ij(IH)及び中間・出力層間シナプス伝達効率ｗij(H0)の
みを変更し得るものとし、学習アルゴリズムを、例え
ば、 δＷ^k-1 _i ^k _j (t+l) ＝−0.2 d ^k _j O ^k-1 _i＋ 0.2δＷ^k-1 _i ^k _j (t) としたもとで、６４個の入力層ニューロンユニットに入
力信号を供給して順次行い、それによって、各中間層ニ
ューロンユニットに関連する入力・中間層間シナプス伝
達効率ｗij(IH)及び中間・出力層間シナプス伝達効率ｗ
ij(H0)の夫々の値を決定する。

【００６３】斯かる際における入力信号は、例えば、図
２０のＡに示される、ノイズを含むことなくアルファベ
ットの“Ａ”のパターンをあらわす信号群ＧＤＩａ１と
同様の態様をもってアルファベットの“Ｂ”〜“Ｚ”の
夫々のパターンをあらわす信号群、及び、図２０のＢ，
Ｃ，Ｄ及びＥの夫々に一部のものが示される、４ビット
分のノイズを含んで“Ａ”のパターンをあらわす９種類
の信号群ＧＤＩａ２〜ＧＤＩａ１０と同様の態様をもっ
て“Ｂ”〜“Ｚ”の夫々のパターンをあらわす９種類の
信号群から成る、合計２５０種の信号群の夫々とし、ま
た、アルファベットの“Ｂ”〜“Ｚ”の夫々のパターン
をあらわす信号群に夫々対応する教師信号として、例え
ば、“Ｂ”〜“Ｚ”の夫々をあらわす１６ビットのＥＵ
Ｃを用いる。

【００６４】このようにして、バックプロパゲーション
の手法による学習の結果、２６個の中間層ニューロンユ
ニットの各々に関連する入力・中間層間シナプス伝達効
率ｗij(IH)及び中間・出力層間シナプス伝達効率ｗij(H
0)の夫々の値が決定された三層神経回路網（三層神経回
路網Ｘと呼ぶ）にあっては、その２６個の中間層ニュー
ロンユニットの各々に関連する入力・中間層間シナプス
伝達効率ｗij(IH)の値が、正値と負値とに二値化され
る。そして、２６個の中間層ニューロンユニットの夫々
がオン出力状態となるとき、１６個の出力層ニューロン
ユニットからの出力信号が教師信号となる。

【００６５】従って、正値とされる入力・中間層間シナ
プス伝達効率ｗij(IH)の値の平均値apと、負値とされる
入力・中間層間シナプス伝達効率ｗij(IH)の値の平均値
anとを算出し、平均値apと平均値anとを用いて、６４個
の入力層ニューロンユニットにおけるオン出力とオフ出
力との比率を以下の如くにして求める。

【００６６】maxhを正値とされる入力・中間層間シナプ
ス伝達効率ｗij(IH)の数，maxlを負値とされる入力・中
間層間シナプス伝達効率ｗij(IH)の数，ｈは０から１づ
つ増加するmaxhまでの値,ｌは０から１づつ増加するmax
lまでの値,oh を入力層ニューロンユニットのうちのオ
ン出力状態をとるものの数，ol を入力層ニューロンユ
ニットのうちのオフ出力状態をとるものの数，として、
入力層ニューロンユニットにおける入力の総和mpを、
式： mp＝oh・( ap・h ＋an・( maxl− l)) ＋ol・( ap・( maxh− h) ＋an・l) が成立するもとで、 hに０からmaxhまでの夫々の値をと
らせるとともに、各 hの値に対応させて lに０からmaxl
までの夫々の値をとらせるようにして、繰り返し算出す
る。そして、各算出によって得られる入力層ニューロン
ユニットにおける入力の総和mpを、中間層ニューロンユ
ニットがオン出力状態をとるための入力層ニューロンユ
ニットにおける入力の総和についての閾値mpthと比較す
る。

【００６７】各算出によって得られる入力の総和mpが閾
値mpthより大であるとき、即ち、mp＞ mpth であるとき
中間層ニューロンユニットがオン出力状態をとることに
なるので、各算出によって得られる入力の総和mpと、中
間層ニューロンユニットがオン出力状態をとるための、
入力層ニューロンユニットにおける入力の総和について
の閾値mpthとの比較の結果に基づいて、閾値mpthより大
なる入力の総和mpが得られることになる算出回数と閾値
mpth以下の入力の総和mpが得られることになる算出回数
との比率として、６４個の入力層ニューロンユニットに
おけるオン出力とオフ出力との比率が求められる。そし
て、求められた比率に基づき、三層神経回路網Ｘの汎化
能力を判定して評価する。

【００６８】三層神経回路網Ｘについて本願発明者によ
り行われた実験の結果では、例えば、認識カテゴリ：
“Ｂ”に関しては、正値とされる入力・中間層間シナプ
ス伝達効率ｗij(IH)の数(maxh)が25，正値とされる入力
・中間層間シナプス伝達効率ｗij(IH)の値の平均値(ap)
が10.664, 負値とされる入力・中間層間シナプス伝達効
率ｗij(IH)の数(maxl)が39，負値とされる入力・中間層
間シナプス伝達効率ｗij(IH)の値の平均値(an)が−43.4
172 であり、６４個の入力層ニューロンユニットのうち
のオン出力状態をとるべきものが１３個反転してオフ出
力状態をとるものとなっても、１６個の出力層ニューロ
ンユニットからの出力信号が教師信号とされることにな
って認識カテゴリ：“Ｂ”が適正に認識されることにな
った。

【００６９】

【発明の効果】以上の説明から明らかな如く、本発明に
係る神経回路網の構成方法の第１の態様（上述の本発明
に係る神経回路網の構成方法の第１，第２あるいは第３
の例によって例示される）によれば、複数個の入力層ニ
ューロンユニット，１個もしくは複数個の中間層ニュー
ロンユニット及び複数個もしくは１個の出力層ニューロ
ンユニットが、夫々についての入出力関数ｆ(x) が不等
式：０＜ｆ(x) ≦１を成立させるものとして配されたも
とで、入力・中間層間シナプス伝達効率の初期値が、入
力層ニューロンユニットに対する入力が全て予め設定さ
れた最低レベルであるとき、中間層ニューロンユニット
の出力を予め設定された最低レベルとなすべく設定さ
れ、また、中間・出力層間シナプス伝達効率の初期値
が、１個の中間層ニューロンユニットもしくは複数個の
中間層ニューロンユニットの夫々の出力が予め設定され
た最低レベルであるとき、出力層ニューロンユニットの
出力を予め設定された最高レベルとなすべく設定され
る。そして、このような入力・中間層間シナプス伝達効
率の初期値及び中間・出力層間シナプス伝達効率の初期
値の設定がなされたもとで、バックプロパゲーションの
手法による学習を行って、入力・中間層間シナプス伝達
効率の値、及び、中間・出力層間シナプス伝達効率の値
を決定するものとされて、三層神経回路網が構成され
る。それにより、構成された神経回路網を、常に、優れ
た汎化能力を具えた内部構造を有するものとして得るこ
とができる。

【００７０】また、本発明に係る神経回路網の構成方法
の第２の態様（上述の本発明に係る神経回路網の構成方
法の第１，第２あるいは第３の例によって例示される）
によれば、複数個の入力層ニューロンユニット，１個の
中間層ニューロンユニット及び複数個の出力層ニューロ
ンユニットを、夫々についての入出力関数ｆ(x) が不等
式：０＜ｆ(x) ≦１を成立させるものとして有する単位
三層神経回路網が、複数の認識カテゴリに夫々対応させ
て複数個用意され、各単位三層神経回路網に関して、入
力・中間層間シナプス伝達効率の初期値が、入力層ニュ
ーロンユニットに対する入力が全て予め設定された最低
レベルであるとき、中間層ニューロンユニットの出力を
予め設定された最低レベルとなすべく設定され、また、
中間・出力層間シナプス伝達効率の初期値が、１個の中
間層ニューロンユニットもしくは複数個の中間層ニュー
ロンユニットの夫々の出力が予め設定された最低レベル
であるとき、出力層ニューロンユニットの出力を予め設
定された最高レベルとなすべく設定されたもとで、対応
する認識カテゴリに関しての学習がバックプロパゲーシ
ョンの手法により行われて、入力・中間層間のシナプス
伝達効率の値及び中間・出力層間のシナプス伝達効率の
値が決定される。そして、斯かる学習が行われた複数の
単位三層神経回路網について、夫々における複数個の入
力層ニューロンユニットの共通化及び夫々における複数
個の出力層ニューロンユニットの共通化がなされて、１
個の三層神経回路網が構成される。それにより、常に、
優れた汎化能力を具えた内部構造を有するものとされる
三層神経回路網を、学習が迅速に行われるもとで、比較
的容易に得ることができることになる。

【００７１】そして、本発明に係る神経回路網の学習方
法によれば、複数個の入力層ニューロンユニット，複数
の認識カテゴリに夫々対応する複数個の中間層ニューロ
ンユニット、及び、複数個の出力層ニューロンユニット
を有した三層神経回路網が、その入力・中間層間シナプ
ス伝達効率の初期値が、入力層ニューロンユニットに対
する入力が全て予め設定された最低レベルであるとき、
中間層ニューロンユニットの出力を予め設定された最低
レベルとなすべく設定されるとともに、その中間・出力
層間シナプス伝達効率の初期値が、中間層ニューロンユ
ニットの出力が予め設定された最低レベルであるとき、
出力層ニューロンユニットの出力を予め設定された最高
レベルとなすべく設定されたもとで、複数の認識カテゴ
リの夫々に関しての学習が、複数の認識カテゴリの夫々
に対応する１個の中間層ニューロンユニットに関わるシ
ナプス伝達効率のみを学習対象としてバックプロパゲー
ションの手法によって行われ、それによって、入力・中
間層間シナプス伝達効率の値及び中間・出力層間シナプ
ス伝達効率の値が決定されるものとされる。その結果、
学習後の入力・中間層間シナプス伝達効率の値及び中間
・出力層間シナプス伝達効率の値に基づいて、三層神経
回路網の汎化能力を比較的容易に評価できることにな
る。

【００７２】さらに、本発明に係る神経回路網の汎化能
力評価方法によれば、複数個の入力層ニューロンユニッ
ト，複数の認識カテゴリに夫々対応する複数個の中間層
ニューロンユニット、及び、複数個の出力層ニューロン
ユニットを有した三層神経回路網が、その入力・中間層
間シナプス伝達効率の初期値が、入力層ニューロンユニ
ットに対する入力が全て予め設定された最低レベルであ
るとき、中間層ニューロンユニットの出力を予め設定さ
れた最低レベルとなすべく設定されるとともに、その中
間・出力層間シナプス伝達効率の初期値が、中間層ニュ
ーロンユニットの出力が予め設定された最低レベルであ
るとき、出力層ニューロンユニットの出力を予め設定さ
れた最高レベルとなすべく設定されたもとで、複数の認
識カテゴリの夫々に関しての学習が、複数の認識カテゴ
リの夫々に対応する１個の中間層ニューロンユニットに
関わるシナプス伝達効率のみを学習対象としてバックプ
ロパゲーションの手法によって行われ、それによって、
入力・中間層間シナプス伝達効率の値及び中間・出力層
間シナプス伝達効率の値が決定され、さらに、学習成立
後における中間層ニューロンユニットの夫々がオン出力
状態をとることになる入力層ニューロンユニットにおけ
るオン出力とオフ出力との比率が求められて、それに基
づいて汎化能力が判定されるものとなされる。その結
果、三層神経回路網の汎化能力の評価を、迅速かつ比較
的容易に行えることになる。

【図面の簡単な説明】

【図１】本発明に係る神経回路網の構成方法の第１の例
により構成される三層神経回路網を示す接続構成図であ
る。

【図２】本発明に係る神経回路網の構成方法の第１の例
に従って三層神経回路網を構成する過程の説明に供され
る概念図である。

【図３】本発明に係る神経回路網の構成方法の第１の例
に従って三層神経回路網を構成する過程の説明に供され
る概念図である。

【図４】本発明に係る神経回路網の構成方法の第１の例
に従って三層神経回路網を構成する過程の説明に供され
る図である。

【図５】本発明に係る神経回路網の構成方法の第１の例
に従って三層神経回路網を構成する過程の説明に供され
る図である。

【図６】本発明に係る神経回路網の構成方法の第１の例
に従って構成された三層神経回路網の説明に供される図
である。

【図７】本発明に係る神経回路網の構成方法の第１の例
に従って構成された三層神経回路網の説明に供される図
である。

【図８】本発明に係る神経回路網の構成方法の第１の例
に従って構成された三層神経回路網の説明に供される図
である。

【図９】本発明に係る神経回路網の構成方法の第１の例
に従って構成された三層神経回路網の説明に供される図
である。

【図１０】本発明に係る神経回路網の構成方法の第２の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図１１】本発明に係る神経回路網の構成方法の第２の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図１２】本発明に係る神経回路網の構成方法の第２の
例に従って構成された三層神経回路網の説明に供される
図である。

【図１３】本発明に係る神経回路網の構成方法の第２の
例に従って構成された三層神経回路網の説明に供される
図である。

【図１４】本発明に係る神経回路網の構成方法の第３の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図１５】本発明に係る神経回路網の構成方法の第３の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図１６】本発明に係る神経回路網の構成方法の第３の
例に従って構成された三層神経回路網の説明に供される
図である。

【図１７】本発明に係る神経回路網の構成方法の第３の
例に従って構成された三層神経回路網の説明に供される
図である。

【図１８】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図１９】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる概念図である。

【図２０】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図２１】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図２２】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図２３】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図２４】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図２５】本発明に係る神経回路網の構成方法の第４の
例に従って三層神経回路網を構成する過程の説明に供さ
れる図である。

【図２６】本発明に係る神経回路網の構成方法の第４の
例により構成される三層神経回路網を示す接続構成図で
ある。

【図２７】本発明に係る神経回路網の構成方法の第４の
例に従って構成された三層神経回路網の説明に供される
概念図である。

【図２８】本発明に係る神経回路網の構成方法の第４の
例に従って構成された三層神経回路網の説明に供される
図である。

【符号の説明】

ＳＡ１〜ＳＡ３，ＳＡ６２〜ＳＡ６４ 入力層ニュー
ロンユニット ＳＢａ１〜ＳＢａ３，ＳＢａ６２〜ＳＢａ６４ 入力
層ニューロンユニット ＳＢｚ１〜ＳＢｚ３，ＳＢｚ６２〜ＳＢｚ６４ 入力
層ニューロンユニット ＳＢ１〜ＳＢ３，ＳＢ６２〜ＳＢ６４ 入力層ニュー
ロンユニット ＡＡ１〜ＡＡ５ 中間層ニューロンユニット ＡＢ１〜ＡＢ３，ＡＢ２４〜ＡＢ２６ 中間層ニュー
ロンユニット ＲＡ１，ＲＡ２，ＲＡ１５，ＲＡ１６ 出力層ニュー
ロンユニット ＲＢａ１，ＲＢａ２，ＲＢａ１５，ＲＢａ１６ 出力
層ニューロンユニット ＲＢｚ１，ＲＢｚ２，ＲＢｚ１５，ＲＢｚ１６ 出力
層ニューロンユニット ＲＡＢ，ＲＢ２，ＲＢ１６，ＲＢ１６ 出力層ニュー
ロンユニット

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数個の入力層ニューロンユニット，該入
   力層ニューロンユニットの夫々に結合された１個もしく
   は複数個の中間層ニューロンユニット、及び、該中間層
   ニューロンユニットに結合された複数個もしくは１個の
   出力層ニューロンユニットを、夫々についての入出力関
   数ｆ(x) が不等式：０＜ｆ(x) ≦１を成立させるものと
   して配し、 上記入力層ニューロンユニットの夫々とそれに結合され
   た上記中間層ニューロンユニットとの間のシナプス伝達
   効率の初期値を、上記入力層ニューロンユニットに対す
   る入力が全て予め設定された最低レベルであるとき、上
   記中間層ニューロンユニットの出力を予め設定された最
   低レベルとなすべく設定するとともに、 上記１個の中間層ニューロンユニットもしくは上記複数
   個の中間層ニューロンユニットの夫々とそれに結合され
   た上記出力層ニューロンユニットとの間のシナプス伝達
   効率の初期値を、上記１個の中間層ニューロンユニット
   もしくは上記複数個の中間層ニューロンユニットの夫々
   の出力が予め設定された最低レベルであるとき、上記出
   力層ニューロンユニットの出力を予め設定された最高レ
   ベルとなすべく設定したもとで、 バックプロパゲーションの手法による学習を行って、上
   記入力層ニューロンユニットの夫々とそれに結合された
   上記中間層ニューロンユニットとの間のシナプス伝達効
   率の値、及び、上記１個の中間層ニューロンユニットも
   しくは上記複数個の中間層ニューロンユニットの夫々と
   それに結合された上記出力層ニューロンユニットとの間
   のシナプス伝達効率の値を決定することを特徴とする神
   経回路網の構成方法。
2. 【請求項２】各々が入力層ニューロンユニットの夫々に
   結合された複数個の中間層ニューロンユニットを配すと
   ともに、各々が上記複数個の中間層ニューロンユニット
   の夫々に結合された複数個の出力層ニューロンユニット
   を配することを特徴とする請求項１記載の神経回路網の
   構成方法。
3. 【請求項３】複数個の入力層ニューロンユニット，該入
   力層ニューロンユニットの夫々に結合された１個の中間
   層ニューロンユニット、及び、該中間層ニューロンユニ
   ットに結合された複数個の出力層ニューロンユニット
   を、夫々についての入出力関数ｆ(x) が不等式：０＜ｆ
   (x) ≦１を成立させるものとして有する単位三層神経回
   路網を、複数の認識カテゴリに夫々対応させて複数個用
   意し、 該単位三層神経回路網の各々について、上記入力層ニュ
   ーロンユニットの夫々とそれに結合された上記中間層ニ
   ューロンユニットとの間のシナプス伝達効率の初期値
   を、上記入力層ニューロンユニットに対する入力が全て
   予め設定された最低レベルであるとき、上記中間層ニュ
   ーロンユニットの出力を予め設定された最低レベルとな
   すべく設定するとともに、上記中間層ニューロンユニッ
   トとそれに結合された上記出力層ニューロンユニットと
   の間のシナプス伝達効率の初期値を、上記中間層ニュー
   ロンユニットの出力が予め設定された最低レベルである
   とき、上記出力層ニューロンユニットの出力を予め設定
   された最高レベルとなすべく設定したもとで、対応する
   認識カテゴリに関しての学習をバックプロパゲーション
   の手法により行って、上記入力層ニューロンユニットの
   夫々とそれに結合された上記中間層ニューロンユニット
   との間のシナプス伝達効率の値、及び、上記中間層ニュ
   ーロンユニットとそれに結合された上記出力層ニューロ
   ンユニットとの間のシナプス伝達効率の値を決定し、 上記学習が行われた複数の単位三層神経回路網につい
   て、夫々における複数個の入力層ニューロンユニットの
   共通化及び夫々における複数個の出力層ニューロンユニ
   ットの共通化を行って１個の三層神経回路網を得ること
   を特徴とする神経回路網の構成方法。
4. 【請求項４】複数個の入力層ニューロンユニット，該入
   力層ニューロンユニットの夫々に結合された、複数の認
   識カテゴリに夫々対応する複数個の中間層ニューロンユ
   ニット、及び、該中間層ニューロンユニットの夫々に結
   合された複数個の出力層ニューロンユニットを有し、該
   入力層ニューロンユニット，中間層ニューロンユニット
   及び出力層ニューロンユニットの夫々についての入出力
   関数ｆ(x) が不等式：０＜ｆ(x) ≦１を成立させるもの
   とされた三層神経回路網について、 上記入力層ニューロンユニットの夫々とそれに結合され
   た上記中間層ニューロンユニットとの間のシナプス伝達
   効率の初期値を、上記入力層ニューロンユニットに対す
   る入力が全て予め設定された最低レベルであるとき、上
   記中間層ニューロンユニットの出力を予め設定された最
   低レベルとなすべく設定するとともに、上記中間層ニュ
   ーロンユニットとそれに結合された上記出力層ニューロ
   ンユニットとの間のシナプス伝達効率の初期値を、上記
   中間層ニューロンユニットの出力が予め設定された最低
   レベルであるとき、上記出力層ニューロンユニットの出
   力を予め設定された最高レベルとなすべく設定したもと
   で、 上記複数の認識カテゴリの夫々に関しての学習を、該複
   数の認識カテゴリの夫々に対応する１個の中間層ニュー
   ロンユニットに関わるシナプス伝達効率のみを学習対象
   としてバックプロパゲーションの手法によって行うこと
   により、上記入力層ニューロンユニットの夫々とそれに
   結合された上記中間層ニューロンユニットとの間のシナ
   プス伝達効率の値、及び、上記中間層ニューロンユニッ
   トの夫々とそれに結合された上記出力層ニューロンユニ
   ットとの間のシナプス伝達効率の値を決定することを特
   徴とする神経回路網の学習方法。
5. 【請求項５】複数個の入力層ニューロンユニット，該入
   力層ニューロンユニットの夫々に結合された、複数の認
   識カテゴリに夫々対応する複数個の中間層ニューロンユ
   ニット、及び、該中間層ニューロンユニットの夫々に結
   合された複数個の出力層ニューロンユニットを有し、該
   入力層ニューロンユニット，中間層ニューロンユニット
   及び出力層ニューロンユニットの夫々についての入出力
   関数ｆ(x) が不等式：０＜ｆ(x) ≦１を成立させるもの
   とされた三層神経回路網について、 上記入力層ニューロンユニットの夫々とそれに結合され
   た上記中間層ニューロンユニットとの間のシナプス伝達
   効率の初期値を、上記入力層ニューロンユニットに対す
   る入力が全て予め設定された最低レベルであるとき、上
   記中間層ニューロンユニットの出力を予め設定された最
   低レベルとなすべく設定するとともに、上記中間層ニュ
   ーロンユニットとそれに結合された上記出力層ニューロ
   ンユニットとの間のシナプス伝達効率の初期値を、上記
   中間層ニューロンユニットの出力が予め設定された最低
   レベルであるとき、上記出力層ニューロンユニットの出
   力を予め設定された最高レベルとなすべく設定したもと
   で、 上記複数の認識カテゴリの夫々に関しての学習を、該複
   数の認識カテゴリの夫々に対応する１個の中間層ニュー
   ロンユニットに関わるシナプス伝達効率のみを学習対象
   としてバックプロパゲーションの手法によって行うこと
   により、上記入力層ニューロンユニットの夫々とそれに
   結合された上記中間層ニューロンユニットとの間のシナ
   プス伝達効率の値、及び、上記中間層ニューロンユニッ
   トの夫々とそれに結合された上記出力層ニューロンユニ
   ットとの間のシナプス伝達効率の値を決定し、 上記学習成立後における上記中間層ニューロンユニット
   の夫々がオン出力状態をとることになる入力層ニューロ
   ンユニットにおけるオン出力とオフ出力との比率を求
   め、 求められた比率に基づいて上記三層神経回路網について
   の汎化能力を判定することを特徴とする神経回路網の汎
   化能力評価方法。
6. 【請求項６】学習成立後における中間層ニューロンユニ
   ットの夫々がオン出力状態をとることになる入力層ニュ
   ーロンユニットにおけるオン出力とオフ出力との比率
   を、上記入力層ニューロンユニットの夫々とそれに結合
   された上記中間層ニューロンユニットとの間のシナプス
   伝達効率のうちの正の値をとるものの平均値及び負の値
   をとるものの平均値とを用いて算出することを特徴とす
   る請求項５記載の神経回路網の汎化能力評価方法。