JPH0581226A - 神経回路網学習法およびそれを用いた装置 - Google Patents
神経回路網学習法およびそれを用いた装置Info
- Publication number
- JPH0581226A JPH0581226A JP3239955A JP23995591A JPH0581226A JP H0581226 A JPH0581226 A JP H0581226A JP 3239955 A JP3239955 A JP 3239955A JP 23995591 A JP23995591 A JP 23995591A JP H0581226 A JPH0581226 A JP H0581226A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- data
- category
- learning
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】
【目的】 この発明は任意のパターン集合に対して最適
解が得られる神経回路網学習法およびそれを用いた装置
を提供することを主要な特徴とする。 【構成】 この発明はデータを入力する第1層と、この
第1層に接続される複数の第2層と、第2層に接続され
認識結果を出力する第3層とから構成される階層型の神
経回路網を用いて、学習すべき辞書データの特徴を学習
し、神経回路網の第3層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第3層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
解が得られる神経回路網学習法およびそれを用いた装置
を提供することを主要な特徴とする。 【構成】 この発明はデータを入力する第1層と、この
第1層に接続される複数の第2層と、第2層に接続され
認識結果を出力する第3層とから構成される階層型の神
経回路網を用いて、学習すべき辞書データの特徴を学習
し、神経回路網の第3層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第3層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
Description
【0001】
【産業上の利用分野】この発明は神経回路網学習法およ
びそれを用いた装置に関する。より特定的には、この発
明は画像や音声などのデータを認識するのに好適な神経
回路網学習法およびそれを用いた装置に関する。
びそれを用いた装置に関する。より特定的には、この発
明は画像や音声などのデータを認識するのに好適な神経
回路網学習法およびそれを用いた装置に関する。
【0002】
【従来の技術】神経回路網モデルは、生体の脳神経系の
働きを真似た情報処理システムであり、その代表的なも
のとして、第4図に示すものがある。神経回路網モデル
は、第4図に示すように、○印で示す情報処理ユニット
(ニューロン)が階層的構造をなし、ニューロンが層間
のみに接続されたラメルハート型のモデルである。
働きを真似た情報処理システムであり、その代表的なも
のとして、第4図に示すものがある。神経回路網モデル
は、第4図に示すように、○印で示す情報処理ユニット
(ニューロン)が階層的構造をなし、ニューロンが層間
のみに接続されたラメルハート型のモデルである。
【0003】簡単のため、3層のモデルの動作原理を説
明すると、まず入力信号xi が入力層ai に与えられ、
それが層間結合値wijにより重みづけされて中間層bj
に与えられた後、中間層bのニューロンで以下の処理が
行なわれ、出力値yj が得られる。
明すると、まず入力信号xi が入力層ai に与えられ、
それが層間結合値wijにより重みづけされて中間層bj
に与えられた後、中間層bのニューロンで以下の処理が
行なわれ、出力値yj が得られる。
【0004】
【数1】
【0005】 yj =〔1+exp(−uj )〕-1 …(2) 出力値yj は層間結合値wjkにより重みづけられて出力
層ニューロンkに伝えられる。同様にして、出力層は以
下の処理により出力値zk を得る。
層ニューロンkに伝えられる。同様にして、出力層は以
下の処理により出力値zk を得る。
【0006】
【数2】
【0007】 zk =〔1+exp(−vk )〕-1 …(4) ただし、上述の回路網にユーザが望む出力値zk を得る
ために、バックプロパゲーションと呼ばれる学習アルゴ
リズム(たとえば、東京電機大学出版局発行、合原一幸
著「ニューラルコンピュータ」参照)を用いて上述の層
間結合値wij,wikを決定する。すなわち、特定の画
像,音声などのサンプルパターンnのデータ入力値xn
(i)に対するネットワーク出力をzn (k)、ユーザ
が望む信号をtn (k)とし、ネットワークの出力誤差
En を
ために、バックプロパゲーションと呼ばれる学習アルゴ
リズム(たとえば、東京電機大学出版局発行、合原一幸
著「ニューラルコンピュータ」参照)を用いて上述の層
間結合値wij,wikを決定する。すなわち、特定の画
像,音声などのサンプルパターンnのデータ入力値xn
(i)に対するネットワーク出力をzn (k)、ユーザ
が望む信号をtn (k)とし、ネットワークの出力誤差
En を
【0008】
【数3】
【0009】として、誤差En が最小になるように層間
結合値wij,wikを決定する。ただし、第(5)式は学
習すべきすべてのパターン(以後、辞書パターンと呼
ぶ)に関する和をとる。
結合値wij,wikを決定する。ただし、第(5)式は学
習すべきすべてのパターン(以後、辞書パターンと呼
ぶ)に関する和をとる。
【0010】次に、層間結合値は、たとえば wij(新)=wij(旧)+Δwij …(6) と変化させるものであるが、この場合の結合値の変化量
Δwijは以下の第(7)式で決定される。
Δwijは以下の第(7)式で決定される。
【0011】 Δwij=−α・dE/dwij …(7) ただし、αは作用長なる定数である。
【0012】前述の第(7)式と第(1)式,第(2)
式,第(3)式,第(4)式,第(5)式および第
(6)式から前記Δwijが求められ、それにより結合値
wijを順次修正すれば、辞書パターンを自動的に学習す
る神経回路網が形成される。
式,第(3)式,第(4)式,第(5)式および第
(6)式から前記Δwijが求められ、それにより結合値
wijを順次修正すれば、辞書パターンを自動的に学習す
る神経回路網が形成される。
【0013】神経回路網学習装置の特徴は、上述の原理
で学習データの特徴が自動的に抽出され、そのアルゴリ
ズムがネットワーク結合値wij,wjkに蓄積されるた
め、未学習の類似パターンデータまたは変型パターンデ
ータについても正しい認識結果を出力するように学習す
る優れた性質を有している点にある。
で学習データの特徴が自動的に抽出され、そのアルゴリ
ズムがネットワーク結合値wij,wjkに蓄積されるた
め、未学習の類似パターンデータまたは変型パターンデ
ータについても正しい認識結果を出力するように学習す
る優れた性質を有している点にある。
【0014】
【発明が解決しようとする課題】しかしながら、バック
プロパゲーションの学習を成功させるためには、中間層
のニューロンの数などの神経回路網の構造パラメータを
最適化する必要があり、従来はそれを試行錯誤的に行な
っていたため、学習に多大の時間を要し、しかも最適解
が得にくいという問題点があった。
プロパゲーションの学習を成功させるためには、中間層
のニューロンの数などの神経回路網の構造パラメータを
最適化する必要があり、従来はそれを試行錯誤的に行な
っていたため、学習に多大の時間を要し、しかも最適解
が得にくいという問題点があった。
【0015】それゆえに、この発明の主たる目的は、任
意のパターン集合に対して最適解が得られるような神経
回路網学習法およびそれを用いた装置を提供することで
ある。
意のパターン集合に対して最適解が得られるような神経
回路網学習法およびそれを用いた装置を提供することで
ある。
【0016】
【課題を解決するための手段】請求項1に係る発明は、
データを入力する第1層と、この第1層に接続される複
数の第2層と、第2層に接続される第3層とを含む階層
型の神経回路網を用いて学習する神経回路網学習法であ
って、学習すべき辞書データを学習し、神経回路網の第
3層よりの学習すべき辞書の認識データをカテゴリ毎に
まとめ、認識データから認識率が所定の値以下であるカ
テゴリに対して、そのカテゴリに対応する第3層のニュ
ーロンを分割し、再学習させることにより認識率が高い
神経回路網を実現する。
データを入力する第1層と、この第1層に接続される複
数の第2層と、第2層に接続される第3層とを含む階層
型の神経回路網を用いて学習する神経回路網学習法であ
って、学習すべき辞書データを学習し、神経回路網の第
3層よりの学習すべき辞書の認識データをカテゴリ毎に
まとめ、認識データから認識率が所定の値以下であるカ
テゴリに対して、そのカテゴリに対応する第3層のニュ
ーロンを分割し、再学習させることにより認識率が高い
神経回路網を実現する。
【0017】請求項2に係る発明は、請求項1において
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第3層の親ニューロンに対し
て、その出力値を複数の子ニューロンに出力値の最大の
ものを選ばせる。
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第3層の親ニューロンに対し
て、その出力値を複数の子ニューロンに出力値の最大の
ものを選ばせる。
【0018】請求項3に係る発明は、請求項1において
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第3層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるグループと、誤認識を生じるグループとに分け、
それぞれを子ニューロンに従属させる。
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する分割後の第3層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるグループと、誤認識を生じるグループとに分け、
それぞれを子ニューロンに従属させる。
【0019】請求項4に係る発明は、請求項1において
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する増設前の第3層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるパターンの第2層の出力値の平均値をニューロン
に接続する結合値に入力する。
認識率が所定の値以下であるカテゴリに対して、そのカ
テゴリに対応する増設前の第3層のニューロンに対し
て、そのカテゴリの辞書データの中で正しい認識結果を
生じるパターンの第2層の出力値の平均値をニューロン
に接続する結合値に入力する。
【0020】請求項5に係る発明は、請求項1に係る認
識率が所定の値以下であるカテゴリに対して、そのカテ
ゴリに対応する増設した第3層の子ニューロンに対し
て、そのカテゴリの辞書データの中で、誤認識を生じる
パターンの第2層の出力値の平均値をニューロンに接続
する結合値に入力するステップを含む。
識率が所定の値以下であるカテゴリに対して、そのカテ
ゴリに対応する増設した第3層の子ニューロンに対し
て、そのカテゴリの辞書データの中で、誤認識を生じる
パターンの第2層の出力値の平均値をニューロンに接続
する結合値に入力するステップを含む。
【0021】請求項6に係る発明は、神経回路網学習法
を用いた装置であって、辞書データを記憶するための辞
書記憶手段と、構造データを記憶するための構造データ
記憶手段と、データが入力される第1層と、第1層に接
続される複数の第2層と、第2層に接続される第3層と
を含み、辞書データ記憶手段からの辞書データと構造デ
ータ記憶手段からの構造データとに応じて認識学習を行
なう神経回路網と、神経回路網の認識結果に応じて認識
率を演算し、その認識率が所定の値以下のカテゴリであ
れば構造データ記憶手段の構造データを更新し、構造デ
ータに対応して辞書データを更新する辞書データ制御部
を含む学習制御手段とを備え、すべてのカテゴリの認識
率が所定の値以下になるまで学習を繰返すように神経回
路網を用いる。
を用いた装置であって、辞書データを記憶するための辞
書記憶手段と、構造データを記憶するための構造データ
記憶手段と、データが入力される第1層と、第1層に接
続される複数の第2層と、第2層に接続される第3層と
を含み、辞書データ記憶手段からの辞書データと構造デ
ータ記憶手段からの構造データとに応じて認識学習を行
なう神経回路網と、神経回路網の認識結果に応じて認識
率を演算し、その認識率が所定の値以下のカテゴリであ
れば構造データ記憶手段の構造データを更新し、構造デ
ータに対応して辞書データを更新する辞書データ制御部
を含む学習制御手段とを備え、すべてのカテゴリの認識
率が所定の値以下になるまで学習を繰返すように神経回
路網を用いる。
【0022】
【作用】この発明に係る神経回路網学習法は、階層型の
神経回路網を用いて学習すべき辞書データの特徴を学習
し、神経回路網の第3層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第3層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
神経回路網を用いて学習すべき辞書データの特徴を学習
し、神経回路網の第3層よりの学習すべき辞書の認識デ
ータをカテゴリ毎に求め、認識率が所定の値以下のカテ
ゴリに対して、そのカテゴリに対応する第3層のニュー
ロンを随時追加し、再学習させることにより、認識率が
高い神経回路網を実現する。
【0023】
【実施例】まず、この発明の原理について説明する。こ
の発明は大津の解析(Otsu,N.“Optimal
linear and nonlinear sol
ution for least−squared d
iscriminantfeature extrac
tion”,in Proc.of 6th Int.
Conf.on Pattern Recogniti
on,(1982)557−560)を神経回路網に適
用する。すなわち、十分な数の学習データを3層の神経
回路網に学習させたとき、第3層のn番目のニューロン
の出力値z n は次の第(8)式で表わされる。
の発明は大津の解析(Otsu,N.“Optimal
linear and nonlinear sol
ution for least−squared d
iscriminantfeature extrac
tion”,in Proc.of 6th Int.
Conf.on Pattern Recogniti
on,(1982)557−560)を神経回路網に適
用する。すなわち、十分な数の学習データを3層の神経
回路網に学習させたとき、第3層のn番目のニューロン
の出力値z n は次の第(8)式で表わされる。
【0024】 zn =p(Cn )p(X|Cn )/p(x) …(8) ただし、p(Cn )はカテゴリnが生起する確率であ
り、p(x|Cn )はxのカテゴリ条件付確率であり、
p(x)はxが生起する確率である。一方、zn は第2
層の出力ベクトルyと第3層のn番目のニューロンに属
する参照ベクトルwn を用いて、 zn =f(y,wn ) …(9) zn の期待値をE〔zn 〕とすれば、 E〔zn 〕=∫zn p(x)dx=p(Cn )2 …(10) yのカテゴリ条件付期待値をE〔y〕k とすれば、fが
線形の場合、第(9)式および第(10)式より wn ・Σp(Ck )E〔y〕k =P(Cn )2 …(11) k=n以外の寄与が十分小さく、しかも|wn |,|y
|が1に近いときは、 wn ≒E〔y〕n /p(Cn ) …(12) 第(12)式からwn にyのカテゴリ条件付期待値に比
例する参照ベクトルが形成されることがわかる。また、
第(9)式よりカテゴリnとkの境界は y・(wn −wk )=0 …(13) で表わされ、wn −wk に垂直な平面になっている。
り、p(x|Cn )はxのカテゴリ条件付確率であり、
p(x)はxが生起する確率である。一方、zn は第2
層の出力ベクトルyと第3層のn番目のニューロンに属
する参照ベクトルwn を用いて、 zn =f(y,wn ) …(9) zn の期待値をE〔zn 〕とすれば、 E〔zn 〕=∫zn p(x)dx=p(Cn )2 …(10) yのカテゴリ条件付期待値をE〔y〕k とすれば、fが
線形の場合、第(9)式および第(10)式より wn ・Σp(Ck )E〔y〕k =P(Cn )2 …(11) k=n以外の寄与が十分小さく、しかも|wn |,|y
|が1に近いときは、 wn ≒E〔y〕n /p(Cn ) …(12) 第(12)式からwn にyのカテゴリ条件付期待値に比
例する参照ベクトルが形成されることがわかる。また、
第(9)式よりカテゴリnとkの境界は y・(wn −wk )=0 …(13) で表わされ、wn −wk に垂直な平面になっている。
【0025】上述の解析から明らかなように、wn には
参照ベトクルが形成されるが1つのカテゴリに1個しか
割当てられない。また、カテゴリ間の境界は複数のwn
で決まる長平面であるため、境界領域の形状が単純であ
るときは、従来法でも学習で最適解が得られるが、それ
以外のときは学習に失敗する。
参照ベトクルが形成されるが1つのカテゴリに1個しか
割当てられない。また、カテゴリ間の境界は複数のwn
で決まる長平面であるため、境界領域の形状が単純であ
るときは、従来法でも学習で最適解が得られるが、それ
以外のときは学習に失敗する。
【0026】この発明は上述の検討結果に基づき、1つ
のカテゴリに複数の参照ベクトルを割当てるため、学習
誤差が大きいカテゴリに対する第3層のニューロンに内
部構造を設けるようにしたものである。
のカテゴリに複数の参照ベクトルを割当てるため、学習
誤差が大きいカテゴリに対する第3層のニューロンに内
部構造を設けるようにしたものである。
【0027】すなわち、1つのカテゴリに対して、通常
1個の親ニューロンを対応させ、親ニューロン1個に対
して、複数の子ニューロンを設ける。しかしながら、従
来の神経回路網の第3層のニューロンに内部構造を持た
せるとき、認識結果の判定の方法に関して従来にない方
法が必要になる。その解決策として、この発明では、親
ニューロンの出力zn をN個の子ニューロンの出力値z
n m の最大値で与え、認識結果の判定は親ニューロンの
出力zn で判定する。
1個の親ニューロンを対応させ、親ニューロン1個に対
して、複数の子ニューロンを設ける。しかしながら、従
来の神経回路網の第3層のニューロンに内部構造を持た
せるとき、認識結果の判定の方法に関して従来にない方
法が必要になる。その解決策として、この発明では、親
ニューロンの出力zn をN個の子ニューロンの出力値z
n m の最大値で与え、認識結果の判定は親ニューロンの
出力zn で判定する。
【0028】 zn =max{zn1,zn2,…,znN}…(14) ただし、そのようにすると、最大値以外の出力値が切捨
てられるため、学習段階ではdE/dwijは不連続にな
って、従来のバックプロパゲーション学習法を使うと学
習を失敗する場合がある。それを避けるため、1つのカ
テゴリに属する辞書データに対して、子ニューロンをそ
のカテゴリとして、辞書データをそれぞれの子ニューロ
ンに従属させ、誤差エネルギEn を次式で与える。 En =ΣΣ[znm(k)−tnm(k)]2 …(15) ただし、そのカテゴリへの辞書データの従属のさせ方と
して、学習段階にて、認識率が設定値以下のカテゴリの
辞書パターンに対して、認識結果が正確であるグループ
と、誤認識を与えるグループに二分割し、それぞれを子
ニューロンに従属させる。
てられるため、学習段階ではdE/dwijは不連続にな
って、従来のバックプロパゲーション学習法を使うと学
習を失敗する場合がある。それを避けるため、1つのカ
テゴリに属する辞書データに対して、子ニューロンをそ
のカテゴリとして、辞書データをそれぞれの子ニューロ
ンに従属させ、誤差エネルギEn を次式で与える。 En =ΣΣ[znm(k)−tnm(k)]2 …(15) ただし、そのカテゴリへの辞書データの従属のさせ方と
して、学習段階にて、認識率が設定値以下のカテゴリの
辞書パターンに対して、認識結果が正確であるグループ
と、誤認識を与えるグループに二分割し、それぞれを子
ニューロンに従属させる。
【0029】第1図はこの発明の一実施例による神経回
路網学習法の動作原理を説明するためのフロー図であ
る。まず、ステップ(図示ではSPと略称する)SP1
において、従来の神経回路網学習法で初期設定し、ステ
ップSP2において、予めカテゴリがわかっている辞書
パターンの学習を行ない、ネットワークの結合値wij,
wjkと辞書の特徴yを抽出し、その認識結果を決定す
る。ここまでが第1段階である。
路網学習法の動作原理を説明するためのフロー図であ
る。まず、ステップ(図示ではSPと略称する)SP1
において、従来の神経回路網学習法で初期設定し、ステ
ップSP2において、予めカテゴリがわかっている辞書
パターンの学習を行ない、ネットワークの結合値wij,
wjkと辞書の特徴yを抽出し、その認識結果を決定す
る。ここまでが第1段階である。
【0030】次に、ステップSP3において、カテゴリ
毎に認識率を評価し、ステップSP4において、その値
が所定の値Th以下のカテゴリに対して第3層の親ニュ
ーロンを分割する。ただし、それに応じて、辞書パター
ンの認識結果が正解であるグループと、誤認識を与える
グループに二分割し、それぞれのグループごとに特徴y
の平均値を計算し、その値をそれぞれが従属する子ニュ
ーロンに接続する結合値として与える。ここまでが第2
段階である。
毎に認識率を評価し、ステップSP4において、その値
が所定の値Th以下のカテゴリに対して第3層の親ニュ
ーロンを分割する。ただし、それに応じて、辞書パター
ンの認識結果が正解であるグループと、誤認識を与える
グループに二分割し、それぞれのグループごとに特徴y
の平均値を計算し、その値をそれぞれが従属する子ニュ
ーロンに接続する結合値として与える。ここまでが第2
段階である。
【0031】さらに、ステップSP5において、新しい
構造のネットワークに対して、再度バックプロパゲーシ
ョンを行ない、ステップSP3に戻る。これらのステッ
プSP3〜SP5を繰返すことにより、最終的に誤認識
率がゼロに近くなるまで学習を行ない、すべてのカテゴ
リが所定の値Th以上になれば、ステップSP6におい
て学習を終了する。
構造のネットワークに対して、再度バックプロパゲーシ
ョンを行ない、ステップSP3に戻る。これらのステッ
プSP3〜SP5を繰返すことにより、最終的に誤認識
率がゼロに近くなるまで学習を行ない、すべてのカテゴ
リが所定の値Th以上になれば、ステップSP6におい
て学習を終了する。
【0032】上述のごとく、この発明の一実施例では、
誤認識率がゼロに近くなるまで学習が行なわれ、しかも
最低限必要な数の参照ベクトルを決定することが可能で
ある。また、第2段階の学習は、神経回路網の結合値の
初期値を第(14)式に基づいて、既存計算値からその
最もらしい値を決定するため、学習が確実にしかも高速
にできるメリットがある。
誤認識率がゼロに近くなるまで学習が行なわれ、しかも
最低限必要な数の参照ベクトルを決定することが可能で
ある。また、第2段階の学習は、神経回路網の結合値の
初期値を第(14)式に基づいて、既存計算値からその
最もらしい値を決定するため、学習が確実にしかも高速
にできるメリットがある。
【0033】図2は図1に示した実施例の動作を説明す
るためのパターン認識装置の概略ブロック図であり、図
3は図2に示した神経回路網演算部の構造を示す図であ
る。
るためのパターン認識装置の概略ブロック図であり、図
3は図2に示した神経回路網演算部の構造を示す図であ
る。
【0034】まず、図2を参照して、神経回路網演算部
1は図3に示したような演算部を含む。構造データ格納
部2は神経回路網演算部1に必要なニューロンの数や結
合値などの構造データを蓄積していて、その構造データ
を神経回路網演算部1に与える。学習段階では、外部か
らの学習命令により学習制御回路7が起動され、命令に
応じて必要なジョブが選択される。たとえば、学習命令
が伝達されると、辞書データが学習データ供給部4から
入力部5を介して神経回路網演算部1に与えられる。ま
た、神経回路網の構造データの初期値が構造制御回路3
から構造データ格納部2に供給される。その後、前述の
第1段階の学習が行なわれ、認識結果が出力データ格納
部6に入力される。
1は図3に示したような演算部を含む。構造データ格納
部2は神経回路網演算部1に必要なニューロンの数や結
合値などの構造データを蓄積していて、その構造データ
を神経回路網演算部1に与える。学習段階では、外部か
らの学習命令により学習制御回路7が起動され、命令に
応じて必要なジョブが選択される。たとえば、学習命令
が伝達されると、辞書データが学習データ供給部4から
入力部5を介して神経回路網演算部1に与えられる。ま
た、神経回路網の構造データの初期値が構造制御回路3
から構造データ格納部2に供給される。その後、前述の
第1段階の学習が行なわれ、認識結果が出力データ格納
部6に入力される。
【0035】認識誤差演算部10はカテゴリ毎に認識率
を計算し、その結果を学習制御回路7に与える。学習制
御回路7はその結果を判断し、その値が所定の値以下の
カテゴリが1つでもあれば第2段階のアルゴリズムによ
り、構造データ変更の指令を構造制御回路3に与える。
その結果、変更値が構造データ格納部2に入力されると
ともに、辞書データ制御部11に辞書データの再配置の
指令を出す。指令を受けた辞書データ制御部11は、分
割されたニューロンそれぞれに、辞書データを再分配さ
れ、その値を学習データ供給部4に入力する。第3段階
の再学習をスタートさせる。
を計算し、その結果を学習制御回路7に与える。学習制
御回路7はその結果を判断し、その値が所定の値以下の
カテゴリが1つでもあれば第2段階のアルゴリズムによ
り、構造データ変更の指令を構造制御回路3に与える。
その結果、変更値が構造データ格納部2に入力されると
ともに、辞書データ制御部11に辞書データの再配置の
指令を出す。指令を受けた辞書データ制御部11は、分
割されたニューロンそれぞれに、辞書データを再分配さ
れ、その値を学習データ供給部4に入力する。第3段階
の再学習をスタートさせる。
【0036】このようにして、学習を繰返し行ない、最
終的にすべてのカテゴリの認識率が所定の値以下になっ
たとき、学習を終了させる。学習終了後は構造データ格
納部2には最適な構造データが格納される。ユーザが未
知のパターンを認識させたいときは、テストデータ供給
部8からデータが入力され、神経回路網演算部1で演算
された後、その結果が出力データ格納部6から取出さ
れ、出力回路9により結果が判定される。したがって、
学習回路がその段階では不要となるため、それを切離し
て使うことも可能である。また、テストデータおよびそ
の認識結果を学習データ供給部4に新たに登録すること
により、辞書の更新を行なうこともできる。
終的にすべてのカテゴリの認識率が所定の値以下になっ
たとき、学習を終了させる。学習終了後は構造データ格
納部2には最適な構造データが格納される。ユーザが未
知のパターンを認識させたいときは、テストデータ供給
部8からデータが入力され、神経回路網演算部1で演算
された後、その結果が出力データ格納部6から取出さ
れ、出力回路9により結果が判定される。したがって、
学習回路がその段階では不要となるため、それを切離し
て使うことも可能である。また、テストデータおよびそ
の認識結果を学習データ供給部4に新たに登録すること
により、辞書の更新を行なうこともできる。
【0037】
【発明の効果】以上のように、この発明によれば、入力
パターンの識別の難易度に応じて、神経回路網が内部構
造を決定するため、たとえば手書き文字認識や音声認識
に応用したときに高い認識率が得られるとともに、コス
トパフォーマンスの高いパターン認識装置を実現でき
る。
パターンの識別の難易度に応じて、神経回路網が内部構
造を決定するため、たとえば手書き文字認識や音声認識
に応用したときに高い認識率が得られるとともに、コス
トパフォーマンスの高いパターン認識装置を実現でき
る。
【図1】この発明の一実施例による神経回路網学習法の
原理を説明するためのフロー図である。
原理を説明するためのフロー図である。
【図2】この発明の一実施例の概略ブロック図である。
【図3】この発明に用いる神経回路網の構造を示す図で
ある。
ある。
【図4】従来の神経回路網の構造を示す図である。
1 神経回路網演算部 2 構造データ格納部 3 構造制御回路 4 学習データ供給部 5 入力部 6 出力データ格納部 7 学習制御回路 8 テストデータ供給部 9 出力回路 10 認識誤差演算部
Claims (6)
- 【請求項1】 データを入力する第1層と、前記第1層
に接続される複数の第2層と、前記第2層に接続される
第3層とを含む階層型の神経回路網を用いて学習する神
経回路網学習法であって、 学習すべき辞書データを学習し、前記神経回路網の第3
層よりの前記学習すべき辞書の認識データをカテゴリ毎
に求める第1のステップ、および前記認識データから認
識率が所定の値以下であるカテゴリに対して、当該カテ
ゴリに対応する第3層のニューロンに対し、複数個の子
ニューロンを、内部構造として持たせる第2のステップ
を含むことを特徴とする、神経回路網学習法。 - 【請求項2】 前記第2のステップは、前記第3層の親
ニューロンの出力を、その内部構造として含む複数個の
子ニューロンの出力の最大値として与えるステップを含
む、請求項1の神経回路網学習法。 - 【請求項3】 前記第2のステップは、前記学習時の認
識率が所定の値以下であるカテゴリに対して、増設した
子ニューロンに対し、当カテゴリの辞書データを認識結
果が正しいものと、誤認識を行なうデータとに二分し、
それぞれ子ニューロンに従属させることを特徴とする、
請求項1の神経回路網学習法。 - 【請求項4】 前記第2のステップは、前記認識率が所
定の値以下であるカテゴリに対して、当該カテゴリに対
応する増設した第3層の子ニューロンに対し、当該カテ
ゴリの辞書データの中で、正しい認識結果を生じるパタ
ーンの第2層の出力値の平均値を、前記ニューロンに接
続する結合値に入力するステップを含む、請求項1の神
経回路網学習法。 - 【請求項5】 前記第2のステップは、前記認識率が所
定の値以下であるカテゴリに対して、当該カテゴリに対
応する増設した第3層の子ニューロンに対し、当該カテ
ゴリの辞書データの中で、誤認識を生じるパターンの第
2層の出力値の平均値を、前記ニューロンに接続する結
合値に入力するステップを含む、請求項1の神経回路網
学習法。 - 【請求項6】 辞書データを記憶するための辞書データ
記憶手段、 構造データを記憶するための構造データ記憶手段、 データが入力される第1層と、前記第1層に接続される
複数の第2層と、前記第2層に接続される第3層とを含
み、前記辞書データ記憶手段からの辞書データと、前記
構造データ記憶手段からの構造データに応じて認識学習
を行なう神経回路網、および前記神経回路網の認識結果
に応じて認識率を演算し、その認識率が所定の値以下の
カテゴリがあれば、前記構造データ記憶手段の構造デー
タを更新し、その構造データに応じて辞書データを更新
する辞書データ制御部を含む学習制御手段を備え、 すべてのカテゴリの認識率が所定の値以下になるまで学
習を繰返すようにした神経回路網学習法を用いた装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3239955A JPH07120349B2 (ja) | 1991-09-19 | 1991-09-19 | 神経回路網学習法およびそれを用いた装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3239955A JPH07120349B2 (ja) | 1991-09-19 | 1991-09-19 | 神経回路網学習法およびそれを用いた装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0581226A true JPH0581226A (ja) | 1993-04-02 |
JPH07120349B2 JPH07120349B2 (ja) | 1995-12-20 |
Family
ID=17052318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3239955A Expired - Fee Related JPH07120349B2 (ja) | 1991-09-19 | 1991-09-19 | 神経回路網学習法およびそれを用いた装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07120349B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0830573A (ja) * | 1994-07-13 | 1996-02-02 | Meidensha Corp | ニューラルネットワーク |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6778708B2 (ja) * | 2018-03-14 | 2020-11-04 | 日本電信電話株式会社 | 解析装置、方法、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01204172A (ja) * | 1988-02-09 | 1989-08-16 | Nec Corp | 学習機構を有するダイナミック・ニューラル・ネットワーク |
-
1991
- 1991-09-19 JP JP3239955A patent/JPH07120349B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01204172A (ja) * | 1988-02-09 | 1989-08-16 | Nec Corp | 学習機構を有するダイナミック・ニューラル・ネットワーク |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0830573A (ja) * | 1994-07-13 | 1996-02-02 | Meidensha Corp | ニューラルネットワーク |
Also Published As
Publication number | Publication date |
---|---|
JPH07120349B2 (ja) | 1995-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5245696A (en) | Evolution and learning in neural networks: the number and distribution of learning trials affect the rate of evolution | |
Kung et al. | Decision-based neural networks with signal/image classification applications | |
Craven | Extracting comprehensible models from trained neural networks | |
EP0623914B1 (en) | Speaker independent isolated word recognition system using neural networks | |
WO2000016212A1 (en) | Method and apparatus for neural networking using semantic attractor architecture | |
KR100306848B1 (ko) | 신경회로망을 이용한 선택적 주의집중 방법 | |
JPH08227408A (ja) | ニューラルネットワーク | |
US5479569A (en) | Intelligence information processing method | |
Mulligan et al. | Dog breed identification with a neural network over learned representations from the xception cnn architecture | |
JPH0581226A (ja) | 神経回路網学習法およびそれを用いた装置 | |
CN110909860A (zh) | 神经网络参数初始化的方法和装置 | |
JP2907486B2 (ja) | ニューラルネットワーク装置 | |
US6490571B1 (en) | Method and apparatus for neural networking using semantic attractor architecture | |
JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
JPH10187649A (ja) | ニューラルネットワーク | |
JP2699447B2 (ja) | 信号処理装置 | |
KR102574165B1 (ko) | 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법 | |
Auda | Cooperative modular neural network classifiers. | |
JP3303253B2 (ja) | パターンマッチング方法および装置 | |
JPH01241667A (ja) | 学習機構を有するダイナミック・ニユーラル・ネットワーク | |
Wei et al. | A fast histogram-based postprocessor that improves posterior probability estimates | |
JPH05181828A (ja) | 知識情報処理装置 | |
JPH1063632A (ja) | 大規模ニューラルネットワーク構築方法及び大規模ニューラルネットワーク構築装置及びニューラルネットワーク装置 | |
JPH11175494A (ja) | ニューラルネットワーク | |
Jou et al. | Mandarin syllables recognition based on one class one net neural network with modified selective update algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960611 |
|
LAPS | Cancellation because of no payment of annual fees |