JPH0581226A - 神経回路網学習法およびそれを用いた装置 - Google Patents
神経回路網学習法およびそれを用いた装置Info
- Publication number
- JPH0581226A JPH0581226A JP3239955A JP23995591A JPH0581226A JP H0581226 A JPH0581226 A JP H0581226A JP 3239955 A JP3239955 A JP 3239955A JP 23995591 A JP23995591 A JP 23995591A JP H0581226 A JPH0581226 A JP H0581226A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- data
- category
- learning
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】
【目的】 この発明は任意のパターン集合に対して最適
解が得られる神経回路網学習法およびそれを用いた装置
を提供することを主要な特徴とする。 【構成】 この発明はデータを入力する第１層と、この
第１層に接続される複数の第２層と、第２層に接続され
認識結果を出力する第３層とから構成される階層型の神
経回路網を用いて、学習すべき辞書データの特徴を学習
し、神経回路網の第３層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第３層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
解が得られる神経回路網学習法およびそれを用いた装置
を提供することを主要な特徴とする。 【構成】 この発明はデータを入力する第１層と、この
第１層に接続される複数の第２層と、第２層に接続され
認識結果を出力する第３層とから構成される階層型の神
経回路網を用いて、学習すべき辞書データの特徴を学習
し、神経回路網の第３層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第３層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
Description
【０００１】
【産業上の利用分野】この発明は神経回路網学習法およ
びそれを用いた装置に関する。より特定的には、この発
明は画像や音声などのデータを認識するのに好適な神経
回路網学習法およびそれを用いた装置に関する。
びそれを用いた装置に関する。より特定的には、この発
明は画像や音声などのデータを認識するのに好適な神経
回路網学習法およびそれを用いた装置に関する。
【０００２】
【従来の技術】神経回路網モデルは、生体の脳神経系の
働きを真似た情報処理システムであり、その代表的なも
のとして、第４図に示すものがある。神経回路網モデル
は、第４図に示すように、○印で示す情報処理ユニット
（ニューロン）が階層的構造をなし、ニューロンが層間
のみに接続されたラメルハート型のモデルである。
働きを真似た情報処理システムであり、その代表的なも
のとして、第４図に示すものがある。神経回路網モデル
は、第４図に示すように、○印で示す情報処理ユニット
（ニューロン）が階層的構造をなし、ニューロンが層間
のみに接続されたラメルハート型のモデルである。
【０００３】簡単のため、３層のモデルの動作原理を説
明すると、まず入力信号ｘi が入力層ａi に与えられ、
それが層間結合値ｗijにより重みづけされて中間層ｂj
に与えられた後、中間層ｂのニューロンで以下の処理が
行なわれ、出力値ｙj が得られる。
明すると、まず入力信号ｘi が入力層ａi に与えられ、
それが層間結合値ｗijにより重みづけされて中間層ｂj
に与えられた後、中間層ｂのニューロンで以下の処理が
行なわれ、出力値ｙj が得られる。
【０００４】
【数１】
【０００５】 ｙj ＝〔１＋ｅｘｐ（−ｕj ）〕-1 …（２） 出力値ｙj は層間結合値ｗjkにより重みづけられて出力
層ニューロンｋに伝えられる。同様にして、出力層は以
下の処理により出力値ｚk を得る。
層ニューロンｋに伝えられる。同様にして、出力層は以
下の処理により出力値ｚk を得る。
【０００６】
【数２】
【０００７】 ｚk ＝〔１＋ｅｘｐ（−ｖk ）〕-1 …（４） ただし、上述の回路網にユーザが望む出力値ｚk を得る
ために、バックプロパゲーションと呼ばれる学習アルゴ
リズム（たとえば、東京電機大学出版局発行、合原一幸
著「ニューラルコンピュータ」参照）を用いて上述の層
間結合値ｗij，ｗikを決定する。すなわち、特定の画
像，音声などのサンプルパターンｎのデータ入力値ｘn
（ｉ）に対するネットワーク出力をｚn （ｋ）、ユーザ
が望む信号をｔn （ｋ）とし、ネットワークの出力誤差
Ｅn を
ために、バックプロパゲーションと呼ばれる学習アルゴ
リズム（たとえば、東京電機大学出版局発行、合原一幸
著「ニューラルコンピュータ」参照）を用いて上述の層
間結合値ｗij，ｗikを決定する。すなわち、特定の画
像，音声などのサンプルパターンｎのデータ入力値ｘn
（ｉ）に対するネットワーク出力をｚn （ｋ）、ユーザ
が望む信号をｔn （ｋ）とし、ネットワークの出力誤差
Ｅn を
【０００８】
【数３】
【０００９】として、誤差Ｅn が最小になるように層間
結合値ｗij，ｗikを決定する。ただし、第（５）式は学
習すべきすべてのパターン（以後、辞書パターンと呼
ぶ）に関する和をとる。
結合値ｗij，ｗikを決定する。ただし、第（５）式は学
習すべきすべてのパターン（以後、辞書パターンと呼
ぶ）に関する和をとる。
【００１０】次に、層間結合値は、たとえば ｗij（新）＝ｗij（旧）＋Δｗij …（６） と変化させるものであるが、この場合の結合値の変化量
Δｗijは以下の第（７）式で決定される。
Δｗijは以下の第（７）式で決定される。
【００１１】 Δｗij＝−α・ｄＥ／ｄｗij …（７） ただし、αは作用長なる定数である。
【００１２】前述の第（７）式と第（１）式，第（２）
式，第（３）式，第（４）式，第（５）式および第
（６）式から前記Δｗijが求められ、それにより結合値
ｗijを順次修正すれば、辞書パターンを自動的に学習す
る神経回路網が形成される。
式，第（３）式，第（４）式，第（５）式および第
（６）式から前記Δｗijが求められ、それにより結合値
ｗijを順次修正すれば、辞書パターンを自動的に学習す
る神経回路網が形成される。
【００１３】神経回路網学習装置の特徴は、上述の原理
で学習データの特徴が自動的に抽出され、そのアルゴリ
ズムがネットワーク結合値ｗij，ｗjkに蓄積されるた
め、未学習の類似パターンデータまたは変型パターンデ
ータについても正しい認識結果を出力するように学習す
る優れた性質を有している点にある。
で学習データの特徴が自動的に抽出され、そのアルゴリ
ズムがネットワーク結合値ｗij，ｗjkに蓄積されるた
め、未学習の類似パターンデータまたは変型パターンデ
ータについても正しい認識結果を出力するように学習す
る優れた性質を有している点にある。
【００１４】
【発明が解決しようとする課題】しかしながら、バック
プロパゲーションの学習を成功させるためには、中間層
のニューロンの数などの神経回路網の構造パラメータを
最適化する必要があり、従来はそれを試行錯誤的に行な
っていたため、学習に多大の時間を要し、しかも最適解
が得にくいという問題点があった。
プロパゲーションの学習を成功させるためには、中間層
のニューロンの数などの神経回路網の構造パラメータを
最適化する必要があり、従来はそれを試行錯誤的に行な
っていたため、学習に多大の時間を要し、しかも最適解
が得にくいという問題点があった。
【００１５】それゆえに、この発明の主たる目的は、任
意のパターン集合に対して最適解が得られるような神経
回路網学習法およびそれを用いた装置を提供することで
ある。
意のパターン集合に対して最適解が得られるような神経
回路網学習法およびそれを用いた装置を提供することで
ある。
【００１６】
【課題を解決するための手段】請求項１に係る発明は、
データを入力する第１層と、この第１層に接続される複
数の第２層と、第２層に接続される第３層とを含む階層
型の神経回路網を用いて学習する神経回路網学習法であ
って、学習すべき辞書データを学習し、神経回路網の第
３層よりの学習すべき辞書の認識データをカテゴリ毎に
まとめ、認識データから認識率が所定の値以下であるカ
テゴリに対して、そのカテゴリに対応する第３層のニュ
ーロンを分割し、再学習させることにより認識率が高い
神経回路網を実現する。
データを入力する第１層と、この第１層に接続される複
数の第２層と、第２層に接続される第３層とを含む階層
型の神経回路網を用いて学習する神経回路網学習法であ
って、学習すべき辞書データを学習し、神経回路網の第
３層よりの学習すべき辞書の認識データをカテゴリ毎に
まとめ、認識データから認識率が所定の値以下であるカ
テゴリに対して、そのカテゴリに対応する第３層のニュ
ーロンを分割し、再学習させることにより認識率が高い
神経回路網を実現する。
【００１７】請求項２に係る発明は、請求項１において
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第３層の親ニューロンに対し
て、その出力値を複数の子ニューロンに出力値の最大の
ものを選ばせる。
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第３層の親ニューロンに対し
て、その出力値を複数の子ニューロンに出力値の最大の
ものを選ばせる。
【００１８】請求項３に係る発明は、請求項１において
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第３層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるグループと、誤認識を生じるグループとに分け、
それぞれを子ニューロンに従属させる。
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第３層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるグループと、誤認識を生じるグループとに分け、
それぞれを子ニューロンに従属させる。
【００１９】請求項４に係る発明は、請求項１において
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する増設前の第３層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるパターンの第２層の出力値の平均値をニューロン
に接続する結合値に入力する。
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する増設前の第３層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるパターンの第２層の出力値の平均値をニューロン
に接続する結合値に入力する。
【００２０】請求項５に係る発明は、請求項１に係る認
識率が所定の値以下であるカテゴリに対して、そのカテ
ゴリに対応する増設した第３層の子ニューロンに対し
て、そのカテゴリの辞書データの中で、誤認識を生じる
パターンの第２層の出力値の平均値をニューロンに接続
する結合値に入力するステップを含む。
識率が所定の値以下であるカテゴリに対して、そのカテ
ゴリに対応する増設した第３層の子ニューロンに対し
て、そのカテゴリの辞書データの中で、誤認識を生じる
パターンの第２層の出力値の平均値をニューロンに接続
する結合値に入力するステップを含む。
【００２１】請求項６に係る発明は、神経回路網学習法
を用いた装置であって、辞書データを記憶するための辞
書記憶手段と、構造データを記憶するための構造データ
記憶手段と、データが入力される第１層と、第１層に接
続される複数の第２層と、第２層に接続される第３層と
を含み、辞書データ記憶手段からの辞書データと構造デ
ータ記憶手段からの構造データとに応じて認識学習を行
なう神経回路網と、神経回路網の認識結果に応じて認識
率を演算し、その認識率が所定の値以下のカテゴリであ
れば構造データ記憶手段の構造データを更新し、構造デ
ータに対応して辞書データを更新する辞書データ制御部
を含む学習制御手段とを備え、すべてのカテゴリの認識
率が所定の値以下になるまで学習を繰返すように神経回
路網を用いる。
を用いた装置であって、辞書データを記憶するための辞
書記憶手段と、構造データを記憶するための構造データ
記憶手段と、データが入力される第１層と、第１層に接
続される複数の第２層と、第２層に接続される第３層と
を含み、辞書データ記憶手段からの辞書データと構造デ
ータ記憶手段からの構造データとに応じて認識学習を行
なう神経回路網と、神経回路網の認識結果に応じて認識
率を演算し、その認識率が所定の値以下のカテゴリであ
れば構造データ記憶手段の構造データを更新し、構造デ
ータに対応して辞書データを更新する辞書データ制御部
を含む学習制御手段とを備え、すべてのカテゴリの認識
率が所定の値以下になるまで学習を繰返すように神経回
路網を用いる。
【００２２】
【作用】この発明に係る神経回路網学習法は、階層型の
神経回路網を用いて学習すべき辞書データの特徴を学習
し、神経回路網の第３層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第３層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
神経回路網を用いて学習すべき辞書データの特徴を学習
し、神経回路網の第３層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第３層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
【００２３】
【実施例】まず、この発明の原理について説明する。こ
の発明は大津の解析（Ｏｔｓｕ，Ｎ．“Ｏｐｔｉｍａｌ
ｌｉｎｅａｒ ａｎｄ ｎｏｎｌｉｎｅａｒ ｓｏｌ
ｕｔｉｏｎ ｆｏｒ ｌｅａｓｔ−ｓｑｕａｒｅｄ ｄ
ｉｓｃｒｉｍｉｎａｎｔｆｅａｔｕｒｅ ｅｘｔｒａｃ
ｔｉｏｎ”，ｉｎ Ｐｒｏｃ．ｏｆ ６ｔｈ Ｉｎｔ．
Ｃｏｎｆ．ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉ
ｏｎ，（１９８２）５５７−５６０）を神経回路網に適
用する。すなわち、十分な数の学習データを３層の神経
回路網に学習させたとき、第３層のｎ番目のニューロン
の出力値ｚ n は次の第（８）式で表わされる。
の発明は大津の解析（Ｏｔｓｕ，Ｎ．“Ｏｐｔｉｍａｌ
ｌｉｎｅａｒ ａｎｄ ｎｏｎｌｉｎｅａｒ ｓｏｌ
ｕｔｉｏｎ ｆｏｒ ｌｅａｓｔ−ｓｑｕａｒｅｄ ｄ
ｉｓｃｒｉｍｉｎａｎｔｆｅａｔｕｒｅ ｅｘｔｒａｃ
ｔｉｏｎ”，ｉｎ Ｐｒｏｃ．ｏｆ ６ｔｈ Ｉｎｔ．
Ｃｏｎｆ．ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉ
ｏｎ，（１９８２）５５７−５６０）を神経回路網に適
用する。すなわち、十分な数の学習データを３層の神経
回路網に学習させたとき、第３層のｎ番目のニューロン
の出力値ｚ n は次の第（８）式で表わされる。
【００２４】 ｚn ＝ｐ（Ｃn ）ｐ（Ｘ｜Ｃn ）／ｐ（ｘ） …（８） ただし、ｐ（Ｃn ）はカテゴリｎが生起する確率であ
り、ｐ（ｘ｜Ｃn ）はｘのカテゴリ条件付確率であり、
ｐ（ｘ）はｘが生起する確率である。一方、ｚn は第２
層の出力ベクトルｙと第３層のｎ番目のニューロンに属
する参照ベクトルｗn を用いて、 ｚn ＝ｆ（ｙ，ｗn ） …（９） ｚn の期待値をＥ〔ｚn 〕とすれば、 Ｅ〔ｚn 〕＝∫ｚn ｐ（ｘ）ｄｘ＝ｐ（Ｃn ）2 …（１０） ｙのカテゴリ条件付期待値をＥ〔ｙ〕k とすれば、ｆが
線形の場合、第（９）式および第（１０）式より ｗn ・Σｐ（Ｃk ）Ｅ〔ｙ〕k ＝Ｐ（Ｃn ）2 …（１１） ｋ＝ｎ以外の寄与が十分小さく、しかも｜ｗn ｜，｜ｙ
｜が１に近いときは、 ｗn ≒Ｅ〔ｙ〕n ／ｐ（Ｃn ） …（１２） 第（１２）式からｗn にｙのカテゴリ条件付期待値に比
例する参照ベクトルが形成されることがわかる。また、
第（９）式よりカテゴリｎとｋの境界は ｙ・（ｗn −ｗk ）＝０ …（１３） で表わされ、ｗn −ｗk に垂直な平面になっている。
り、ｐ（ｘ｜Ｃn ）はｘのカテゴリ条件付確率であり、
ｐ（ｘ）はｘが生起する確率である。一方、ｚn は第２
層の出力ベクトルｙと第３層のｎ番目のニューロンに属
する参照ベクトルｗn を用いて、 ｚn ＝ｆ（ｙ，ｗn ） …（９） ｚn の期待値をＥ〔ｚn 〕とすれば、 Ｅ〔ｚn 〕＝∫ｚn ｐ（ｘ）ｄｘ＝ｐ（Ｃn ）2 …（１０） ｙのカテゴリ条件付期待値をＥ〔ｙ〕k とすれば、ｆが
線形の場合、第（９）式および第（１０）式より ｗn ・Σｐ（Ｃk ）Ｅ〔ｙ〕k ＝Ｐ（Ｃn ）2 …（１１） ｋ＝ｎ以外の寄与が十分小さく、しかも｜ｗn ｜，｜ｙ
｜が１に近いときは、 ｗn ≒Ｅ〔ｙ〕n ／ｐ（Ｃn ） …（１２） 第（１２）式からｗn にｙのカテゴリ条件付期待値に比
例する参照ベクトルが形成されることがわかる。また、
第（９）式よりカテゴリｎとｋの境界は ｙ・（ｗn −ｗk ）＝０ …（１３） で表わされ、ｗn −ｗk に垂直な平面になっている。
【００２５】上述の解析から明らかなように、ｗn には
参照ベトクルが形成されるが１つのカテゴリに１個しか
割当てられない。また、カテゴリ間の境界は複数のｗn
で決まる長平面であるため、境界領域の形状が単純であ
るときは、従来法でも学習で最適解が得られるが、それ
以外のときは学習に失敗する。
参照ベトクルが形成されるが１つのカテゴリに１個しか
割当てられない。また、カテゴリ間の境界は複数のｗn
で決まる長平面であるため、境界領域の形状が単純であ
るときは、従来法でも学習で最適解が得られるが、それ
以外のときは学習に失敗する。
【００２６】この発明は上述の検討結果に基づき、１つ
のカテゴリに複数の参照ベクトルを割当てるため、学習
誤差が大きいカテゴリに対する第３層のニューロンに内
部構造を設けるようにしたものである。
のカテゴリに複数の参照ベクトルを割当てるため、学習
誤差が大きいカテゴリに対する第３層のニューロンに内
部構造を設けるようにしたものである。
【００２７】すなわち、１つのカテゴリに対して、通常
１個の親ニューロンを対応させ、親ニューロン１個に対
して、複数の子ニューロンを設ける。しかしながら、従
来の神経回路網の第３層のニューロンに内部構造を持た
せるとき、認識結果の判定の方法に関して従来にない方
法が必要になる。その解決策として、この発明では、親
ニューロンの出力ｚn をＮ個の子ニューロンの出力値ｚ
n m の最大値で与え、認識結果の判定は親ニューロンの
出力ｚn で判定する。
１個の親ニューロンを対応させ、親ニューロン１個に対
して、複数の子ニューロンを設ける。しかしながら、従
来の神経回路網の第３層のニューロンに内部構造を持た
せるとき、認識結果の判定の方法に関して従来にない方
法が必要になる。その解決策として、この発明では、親
ニューロンの出力ｚn をＮ個の子ニューロンの出力値ｚ
n m の最大値で与え、認識結果の判定は親ニューロンの
出力ｚn で判定する。
【００２８】 ｚn ＝ｍａｘ｛ｚn1，ｚn2，…，ｚnN｝…（１４） ただし、そのようにすると、最大値以外の出力値が切捨
てられるため、学習段階ではｄＥ／ｄｗijは不連続にな
って、従来のバックプロパゲーション学習法を使うと学
習を失敗する場合がある。それを避けるため、１つのカ
テゴリに属する辞書データに対して、子ニューロンをそ
のカテゴリとして、辞書データをそれぞれの子ニューロ
ンに従属させ、誤差エネルギＥn を次式で与える。 Ｅn ＝ΣΣ［ｚnm（ｋ）−ｔnm（ｋ）］2 …（１５） ただし、そのカテゴリへの辞書データの従属のさせ方と
して、学習段階にて、認識率が設定値以下のカテゴリの
辞書パターンに対して、認識結果が正確であるグループ
と、誤認識を与えるグループに二分割し、それぞれを子
ニューロンに従属させる。
てられるため、学習段階ではｄＥ／ｄｗijは不連続にな
って、従来のバックプロパゲーション学習法を使うと学
習を失敗する場合がある。それを避けるため、１つのカ
テゴリに属する辞書データに対して、子ニューロンをそ
のカテゴリとして、辞書データをそれぞれの子ニューロ
ンに従属させ、誤差エネルギＥn を次式で与える。 Ｅn ＝ΣΣ［ｚnm（ｋ）−ｔnm（ｋ）］2 …（１５） ただし、そのカテゴリへの辞書データの従属のさせ方と
して、学習段階にて、認識率が設定値以下のカテゴリの
辞書パターンに対して、認識結果が正確であるグループ
と、誤認識を与えるグループに二分割し、それぞれを子
ニューロンに従属させる。
【００２９】第１図はこの発明の一実施例による神経回
路網学習法の動作原理を説明するためのフロー図であ
る。まず、ステップ（図示ではＳＰと略称する）ＳＰ１
において、従来の神経回路網学習法で初期設定し、ステ
ップＳＰ２において、予めカテゴリがわかっている辞書
パターンの学習を行ない、ネットワークの結合値ｗij，
ｗjkと辞書の特徴ｙを抽出し、その認識結果を決定す
る。ここまでが第１段階である。
路網学習法の動作原理を説明するためのフロー図であ
る。まず、ステップ（図示ではＳＰと略称する）ＳＰ１
において、従来の神経回路網学習法で初期設定し、ステ
ップＳＰ２において、予めカテゴリがわかっている辞書
パターンの学習を行ない、ネットワークの結合値ｗij，
ｗjkと辞書の特徴ｙを抽出し、その認識結果を決定す
る。ここまでが第１段階である。
【００３０】次に、ステップＳＰ３において、カテゴリ
毎に認識率を評価し、ステップＳＰ４において、その値
が所定の値Ｔｈ以下のカテゴリに対して第３層の親ニュ
ーロンを分割する。ただし、それに応じて、辞書パター
ンの認識結果が正解であるグループと、誤認識を与える
グループに二分割し、それぞれのグループごとに特徴ｙ
の平均値を計算し、その値をそれぞれが従属する子ニュ
ーロンに接続する結合値として与える。ここまでが第２
段階である。
毎に認識率を評価し、ステップＳＰ４において、その値
が所定の値Ｔｈ以下のカテゴリに対して第３層の親ニュ
ーロンを分割する。ただし、それに応じて、辞書パター
ンの認識結果が正解であるグループと、誤認識を与える
グループに二分割し、それぞれのグループごとに特徴ｙ
の平均値を計算し、その値をそれぞれが従属する子ニュ
ーロンに接続する結合値として与える。ここまでが第２
段階である。
【００３１】さらに、ステップＳＰ５において、新しい
構造のネットワークに対して、再度バックプロパゲーシ
ョンを行ない、ステップＳＰ３に戻る。これらのステッ
プＳＰ３〜ＳＰ５を繰返すことにより、最終的に誤認識
率がゼロに近くなるまで学習を行ない、すべてのカテゴ
リが所定の値Ｔｈ以上になれば、ステップＳＰ６におい
て学習を終了する。
構造のネットワークに対して、再度バックプロパゲーシ
ョンを行ない、ステップＳＰ３に戻る。これらのステッ
プＳＰ３〜ＳＰ５を繰返すことにより、最終的に誤認識
率がゼロに近くなるまで学習を行ない、すべてのカテゴ
リが所定の値Ｔｈ以上になれば、ステップＳＰ６におい
て学習を終了する。
【００３２】上述のごとく、この発明の一実施例では、
誤認識率がゼロに近くなるまで学習が行なわれ、しかも
最低限必要な数の参照ベクトルを決定することが可能で
ある。また、第２段階の学習は、神経回路網の結合値の
初期値を第（１４）式に基づいて、既存計算値からその
最もらしい値を決定するため、学習が確実にしかも高速
にできるメリットがある。
誤認識率がゼロに近くなるまで学習が行なわれ、しかも
最低限必要な数の参照ベクトルを決定することが可能で
ある。また、第２段階の学習は、神経回路網の結合値の
初期値を第（１４）式に基づいて、既存計算値からその
最もらしい値を決定するため、学習が確実にしかも高速
にできるメリットがある。
【００３３】図２は図１に示した実施例の動作を説明す
るためのパターン認識装置の概略ブロック図であり、図
３は図２に示した神経回路網演算部の構造を示す図であ
る。
るためのパターン認識装置の概略ブロック図であり、図
３は図２に示した神経回路網演算部の構造を示す図であ
る。
【００３４】まず、図２を参照して、神経回路網演算部
１は図３に示したような演算部を含む。構造データ格納
部２は神経回路網演算部１に必要なニューロンの数や結
合値などの構造データを蓄積していて、その構造データ
を神経回路網演算部１に与える。学習段階では、外部か
らの学習命令により学習制御回路７が起動され、命令に
応じて必要なジョブが選択される。たとえば、学習命令
が伝達されると、辞書データが学習データ供給部４から
入力部５を介して神経回路網演算部１に与えられる。ま
た、神経回路網の構造データの初期値が構造制御回路３
から構造データ格納部２に供給される。その後、前述の
第１段階の学習が行なわれ、認識結果が出力データ格納
部６に入力される。
１は図３に示したような演算部を含む。構造データ格納
部２は神経回路網演算部１に必要なニューロンの数や結
合値などの構造データを蓄積していて、その構造データ
を神経回路網演算部１に与える。学習段階では、外部か
らの学習命令により学習制御回路７が起動され、命令に
応じて必要なジョブが選択される。たとえば、学習命令
が伝達されると、辞書データが学習データ供給部４から
入力部５を介して神経回路網演算部１に与えられる。ま
た、神経回路網の構造データの初期値が構造制御回路３
から構造データ格納部２に供給される。その後、前述の
第１段階の学習が行なわれ、認識結果が出力データ格納
部６に入力される。
【００３５】認識誤差演算部１０はカテゴリ毎に認識率
を計算し、その結果を学習制御回路７に与える。学習制
御回路７はその結果を判断し、その値が所定の値以下の
カテゴリが１つでもあれば第２段階のアルゴリズムによ
り、構造データ変更の指令を構造制御回路３に与える。
その結果、変更値が構造データ格納部２に入力されると
ともに、辞書データ制御部１１に辞書データの再配置の
指令を出す。指令を受けた辞書データ制御部１１は、分
割されたニューロンそれぞれに、辞書データを再分配さ
れ、その値を学習データ供給部４に入力する。第３段階
の再学習をスタートさせる。
を計算し、その結果を学習制御回路７に与える。学習制
御回路７はその結果を判断し、その値が所定の値以下の
カテゴリが１つでもあれば第２段階のアルゴリズムによ
り、構造データ変更の指令を構造制御回路３に与える。
その結果、変更値が構造データ格納部２に入力されると
ともに、辞書データ制御部１１に辞書データの再配置の
指令を出す。指令を受けた辞書データ制御部１１は、分
割されたニューロンそれぞれに、辞書データを再分配さ
れ、その値を学習データ供給部４に入力する。第３段階
の再学習をスタートさせる。
【００３６】このようにして、学習を繰返し行ない、最
終的にすべてのカテゴリの認識率が所定の値以下になっ
たとき、学習を終了させる。学習終了後は構造データ格
納部２には最適な構造データが格納される。ユーザが未
知のパターンを認識させたいときは、テストデータ供給
部８からデータが入力され、神経回路網演算部１で演算
された後、その結果が出力データ格納部６から取出さ
れ、出力回路９により結果が判定される。したがって、
学習回路がその段階では不要となるため、それを切離し
て使うことも可能である。また、テストデータおよびそ
の認識結果を学習データ供給部４に新たに登録すること
により、辞書の更新を行なうこともできる。
終的にすべてのカテゴリの認識率が所定の値以下になっ
たとき、学習を終了させる。学習終了後は構造データ格
納部２には最適な構造データが格納される。ユーザが未
知のパターンを認識させたいときは、テストデータ供給
部８からデータが入力され、神経回路網演算部１で演算
された後、その結果が出力データ格納部６から取出さ
れ、出力回路９により結果が判定される。したがって、
学習回路がその段階では不要となるため、それを切離し
て使うことも可能である。また、テストデータおよびそ
の認識結果を学習データ供給部４に新たに登録すること
により、辞書の更新を行なうこともできる。
【００３７】
【発明の効果】以上のように、この発明によれば、入力
パターンの識別の難易度に応じて、神経回路網が内部構
造を決定するため、たとえば手書き文字認識や音声認識
に応用したときに高い認識率が得られるとともに、コス
トパフォーマンスの高いパターン認識装置を実現でき
る。
パターンの識別の難易度に応じて、神経回路網が内部構
造を決定するため、たとえば手書き文字認識や音声認識
に応用したときに高い認識率が得られるとともに、コス
トパフォーマンスの高いパターン認識装置を実現でき
る。
【図１】この発明の一実施例による神経回路網学習法の
原理を説明するためのフロー図である。
原理を説明するためのフロー図である。
【図２】この発明の一実施例の概略ブロック図である。
【図３】この発明に用いる神経回路網の構造を示す図で
ある。
ある。
【図４】従来の神経回路網の構造を示す図である。
１ 神経回路網演算部 ２ 構造データ格納部 ３ 構造制御回路 ４ 学習データ供給部 ５ 入力部 ６ 出力データ格納部 ７ 学習制御回路 ８ テストデータ供給部 ９ 出力回路 １０ 認識誤差演算部
Claims (6)
- 【請求項１】 データを入力する第１層と、前記第１層
に接続される複数の第２層と、前記第２層に接続される
第３層とを含む階層型の神経回路網を用いて学習する神
経回路網学習法であって、 学習すべき辞書データを学習し、前記神経回路網の第３
層よりの前記学習すべき辞書の認識データをカテゴリ毎
に求める第１のステップ、および前記認識データから認
識率が所定の値以下であるカテゴリに対して、当該カテ
ゴリに対応する第３層のニューロンに対し、複数個の子
ニューロンを、内部構造として持たせる第２のステップ
を含むことを特徴とする、神経回路網学習法。 - 【請求項２】 前記第２のステップは、前記第３層の親
ニューロンの出力を、その内部構造として含む複数個の
子ニューロンの出力の最大値として与えるステップを含
む、請求項１の神経回路網学習法。 - 【請求項３】 前記第２のステップは、前記学習時の認
識率が所定の値以下であるカテゴリに対して、増設した
子ニューロンに対し、当カテゴリの辞書データを認識結
果が正しいものと、誤認識を行なうデータとに二分し、
それぞれ子ニューロンに従属させることを特徴とする、
請求項１の神経回路網学習法。 - 【請求項４】 前記第２のステップは、前記認識率が所
定の値以下であるカテゴリに対して、当該カテゴリに対
応する増設した第３層の子ニューロンに対し、当該カテ
ゴリの辞書データの中で、正しい認識結果を生じるパタ
ーンの第２層の出力値の平均値を、前記ニューロンに接
続する結合値に入力するステップを含む、請求項１の神
経回路網学習法。 - 【請求項５】 前記第２のステップは、前記認識率が所
定の値以下であるカテゴリに対して、当該カテゴリに対
応する増設した第３層の子ニューロンに対し、当該カテ
ゴリの辞書データの中で、誤認識を生じるパターンの第
２層の出力値の平均値を、前記ニューロンに接続する結
合値に入力するステップを含む、請求項１の神経回路網
学習法。 - 【請求項６】 辞書データを記憶するための辞書データ
記憶手段、 構造データを記憶するための構造データ記憶手段、 データが入力される第１層と、前記第１層に接続される
複数の第２層と、前記第２層に接続される第３層とを含
み、前記辞書データ記憶手段からの辞書データと、前記
構造データ記憶手段からの構造データに応じて認識学習
を行なう神経回路網、および前記神経回路網の認識結果
に応じて認識率を演算し、その認識率が所定の値以下の
カテゴリがあれば、前記構造データ記憶手段の構造デー
タを更新し、その構造データに応じて辞書データを更新
する辞書データ制御部を含む学習制御手段を備え、 すべてのカテゴリの認識率が所定の値以下になるまで学
習を繰返すようにした神経回路網学習法を用いた装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3239955A JPH07120349B2 (ja) | 1991-09-19 | 1991-09-19 | 神経回路網学習法およびそれを用いた装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3239955A JPH07120349B2 (ja) | 1991-09-19 | 1991-09-19 | 神経回路網学習法およびそれを用いた装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0581226A true JPH0581226A (ja) | 1993-04-02 |
| JPH07120349B2 JPH07120349B2 (ja) | 1995-12-20 |
Family
ID=17052318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3239955A Expired - Fee Related JPH07120349B2 (ja) | 1991-09-19 | 1991-09-19 | 神経回路網学習法およびそれを用いた装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07120349B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0830573A (ja) * | 1994-07-13 | 1996-02-02 | Meidensha Corp | ニューラルネットワーク |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6778708B2 (ja) * | 2018-03-14 | 2020-11-04 | 日本電信電話株式会社 | 解析装置、方法、及びプログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01204172A (ja) * | 1988-02-09 | 1989-08-16 | Nec Corp | 学習機構を有するダイナミック・ニューラル・ネットワーク |
-
1991
- 1991-09-19 JP JP3239955A patent/JPH07120349B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01204172A (ja) * | 1988-02-09 | 1989-08-16 | Nec Corp | 学習機構を有するダイナミック・ニューラル・ネットワーク |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0830573A (ja) * | 1994-07-13 | 1996-02-02 | Meidensha Corp | ニューラルネットワーク |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07120349B2 (ja) | 1995-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5245696A (en) | Evolution and learning in neural networks: the number and distribution of learning trials affect the rate of evolution | |
| Kung et al. | Decision-based neural networks with signal/image classification applications | |
| Craven | Extracting comprehensible models from trained neural networks | |
| EP0623914B1 (en) | Speaker independent isolated word recognition system using neural networks | |
| WO2000016212A1 (en) | Method and apparatus for neural networking using semantic attractor architecture | |
| KR100306848B1 (ko) | 신경회로망을 이용한 선택적 주의집중 방법 | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| US5479569A (en) | Intelligence information processing method | |
| Mulligan et al. | Dog breed identification with a neural network over learned representations from the xception cnn architecture | |
| JPH0581226A (ja) | 神経回路網学習法およびそれを用いた装置 | |
| CN110909860A (zh) | 神经网络参数初始化的方法和装置 | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| US6490571B1 (en) | Method and apparatus for neural networking using semantic attractor architecture | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| JPH10187649A (ja) | ニューラルネットワーク | |
| JP2699447B2 (ja) | 信号処理装置 | |
| KR102574165B1 (ko) | 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법 | |
| Auda | Cooperative modular neural network classifiers. | |
| JP3303253B2 (ja) | パターンマッチング方法および装置 | |
| JPH01241667A (ja) | 学習機構を有するダイナミック・ニユーラル・ネットワーク | |
| Wei et al. | A fast histogram-based postprocessor that improves posterior probability estimates | |
| JPH05181828A (ja) | 知識情報処理装置 | |
| JPH1063632A (ja) | 大規模ニューラルネットワーク構築方法及び大規模ニューラルネットワーク構築装置及びニューラルネットワーク装置 | |
| JPH11175494A (ja) | ニューラルネットワーク | |
| Jou et al. | Mandarin syllables recognition based on one class one net neural network with modified selective update algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960611 |
|
| LAPS | Cancellation because of no payment of annual fees |