JPH05257917A - 神経回路網及びそのパターン認識装置 - Google Patents
神経回路網及びそのパターン認識装置Info
- Publication number
- JPH05257917A JPH05257917A JP4003439A JP343992A JPH05257917A JP H05257917 A JPH05257917 A JP H05257917A JP 4003439 A JP4003439 A JP 4003439A JP 343992 A JP343992 A JP 343992A JP H05257917 A JPH05257917 A JP H05257917A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- output
- input
- value
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】 （修正有）
【目的】誤認識パターンの追記学習とパターン認識率の
向上。 【構成】入力端子１０１の入力信号は、入力層記憶部１
０２〜中間層計算部１０３〜出力層計算部１０５〜追加
ニューロン計算部１０４へと入力される。出力層計算部
１０５の計算結果は出力端子１０６から出力される。認
識結果が誤認識と判断された場合、誤認識信号が入力端
子１０７から入力され、追加ニューロン制御部１０８に
送られる。追加ニューロン制御部１０８は、誤認識信号
で、追加ニューロン計算部１０４のパラメータを変更
し、入力層記憶部１０２に再認識信号を入力する。再認
識信号で入力層記憶部１０２は、記憶入力データを中間
層計算部１０３に送り、認識過程が繰り返される。出力
層計算部１０５の出力は追加ニューロン制御部１０８に
送られ、認識結果の判断が正しく認識されるまで追加ニ
ューロン制御部１０８による追加ニューロン計算部１０
４の制御が行なわれる。
向上。 【構成】入力端子１０１の入力信号は、入力層記憶部１
０２〜中間層計算部１０３〜出力層計算部１０５〜追加
ニューロン計算部１０４へと入力される。出力層計算部
１０５の計算結果は出力端子１０６から出力される。認
識結果が誤認識と判断された場合、誤認識信号が入力端
子１０７から入力され、追加ニューロン制御部１０８に
送られる。追加ニューロン制御部１０８は、誤認識信号
で、追加ニューロン計算部１０４のパラメータを変更
し、入力層記憶部１０２に再認識信号を入力する。再認
識信号で入力層記憶部１０２は、記憶入力データを中間
層計算部１０３に送り、認識過程が繰り返される。出力
層計算部１０５の出力は追加ニューロン制御部１０８に
送られ、認識結果の判断が正しく認識されるまで追加ニ
ューロン制御部１０８による追加ニューロン計算部１０
４の制御が行なわれる。
Description
【０００１】
【産業上の利用分野】本発明は神経回路網を用いたパタ
ーン認識装置に関する。
ーン認識装置に関する。
【０００２】
【従来の技術】従来、この種の神経回路網を用いたパタ
ーン認識装置には、多層のフィードフォワード型神経回
路網が用いられ、認識に必要な認識辞書は学習により自
己組織的に作成され、認識時の追記学習及び内部構造の
変化は考慮されていない。
ーン認識装置には、多層のフィードフォワード型神経回
路網が用いられ、認識に必要な認識辞書は学習により自
己組織的に作成され、認識時の追記学習及び内部構造の
変化は考慮されていない。
【０００３】図１０は３層のフィードフォワード型神経
回路網の一モデルを示す図である。
回路網の一モデルを示す図である。
【０００４】図１０において、入力層２０１に入力され
た入力パターンは中間層２０２及び出力層２０３で演算
され、認識結果を出力する。各層に丸で示したのはニュ
ーロンと呼ばれるモデル化された神経細胞であり、ニュ
ーロン間の結合を実線で示してある。入力層２０１の各
ニューロンｎ11，ｎ12，ｎ13は、一般に入力パターンを
保存するメモリの役割を果たし、入力パターンと同じ値
を出力する。中間層２０２及び出力層２０３の各ニュー
ロンｎ21，ｎ22，ｎ23，ｎ31，ｎ32，ｎ33は入力パター
ンに近い側の層の各ニューロンｎ11，ｎ12，ｎ13から入
力を受け、次式で表わされる計算計画を出力する。 ｕ＝Ｗ・Ｘ−ｈ （１） ｚ＝ｆ（ｕ） ここで、Ｗは荷重ベクトルと呼ばれ、その成分ｗi はシ
ナプス荷重の値を表わす。Ｘは入力ベクトルと呼ばれ、
その成分ｘi は他のニューロンからの入力値を表わす。
ｚはニューロンの出力値である。ｈはしきい値と呼ば
れ、ｕは膜電位と呼ばれる。ｆ（ｕ）は出力関数と呼ば
れ、一般に次式で示すシグモイド関数が用いられる。
た入力パターンは中間層２０２及び出力層２０３で演算
され、認識結果を出力する。各層に丸で示したのはニュ
ーロンと呼ばれるモデル化された神経細胞であり、ニュ
ーロン間の結合を実線で示してある。入力層２０１の各
ニューロンｎ11，ｎ12，ｎ13は、一般に入力パターンを
保存するメモリの役割を果たし、入力パターンと同じ値
を出力する。中間層２０２及び出力層２０３の各ニュー
ロンｎ21，ｎ22，ｎ23，ｎ31，ｎ32，ｎ33は入力パター
ンに近い側の層の各ニューロンｎ11，ｎ12，ｎ13から入
力を受け、次式で表わされる計算計画を出力する。 ｕ＝Ｗ・Ｘ−ｈ （１） ｚ＝ｆ（ｕ） ここで、Ｗは荷重ベクトルと呼ばれ、その成分ｗi はシ
ナプス荷重の値を表わす。Ｘは入力ベクトルと呼ばれ、
その成分ｘi は他のニューロンからの入力値を表わす。
ｚはニューロンの出力値である。ｈはしきい値と呼ば
れ、ｕは膜電位と呼ばれる。ｆ（ｕ）は出力関数と呼ば
れ、一般に次式で示すシグモイド関数が用いられる。
【０００５】 ｆ（ｕ）＝１／（１＋ｅｘｐ（−ｕ）） （２） ある入力パターンについて望ましい出力になるように、
各層のユニットの重み値及びしきい値を調整することを
学習と呼び、通常は誤差逆伝播学習法（Ｄ．Ｅ．Ｒｕｍ
ｅｌｈａｒｔ，Ｇ．Ｅ．Ｈｉｎｔｏｎ ａｎｄ Ｒ．
Ｊ．Ｗｉｌｌｉａｍｓ：Ｌｅａｒｎｉｎｇ ｉｎｔｅｒ
ｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙ ｅｒｒ
ｏｒ ｐｒｏｐａｇａｔｉｏｎ，Ｐａｒａｌｌｅｌ Ｄ
ｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏ
ｌ．１，Ｊ．Ｌ．ＭｃＣｌｅｌｌａｎｄ，Ｄ．Ｅ．Ｒｕ
ｍｅｌｈａｒｔ ａｎｄ Ｔｈｅ ＰＤＰ Ｒｅｓｅａ
ｒｃｈ Ｇｒｏｕｐ，ＭＩＴ Ｐｒｅｓｓ，１９８
６．）が用いられる。
各層のユニットの重み値及びしきい値を調整することを
学習と呼び、通常は誤差逆伝播学習法（Ｄ．Ｅ．Ｒｕｍ
ｅｌｈａｒｔ，Ｇ．Ｅ．Ｈｉｎｔｏｎ ａｎｄ Ｒ．
Ｊ．Ｗｉｌｌｉａｍｓ：Ｌｅａｒｎｉｎｇ ｉｎｔｅｒ
ｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙ ｅｒｒ
ｏｒ ｐｒｏｐａｇａｔｉｏｎ，Ｐａｒａｌｌｅｌ Ｄ
ｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏ
ｌ．１，Ｊ．Ｌ．ＭｃＣｌｅｌｌａｎｄ，Ｄ．Ｅ．Ｒｕ
ｍｅｌｈａｒｔ ａｎｄ Ｔｈｅ ＰＤＰ Ｒｅｓｅａ
ｒｃｈ Ｇｒｏｕｐ，ＭＩＴ Ｐｒｅｓｓ，１９８
６．）が用いられる。
【０００６】この学習法は、学習パターンを入力層２０
１に入力し、（１）式で示した計算の結果得られた出力
層２０３からの出力と、望ましい出力である教師信号と
の二乗誤差が、与えた学習パターン全てに対して最小に
なるように荷重値及びしきい値を変更する。
１に入力し、（１）式で示した計算の結果得られた出力
層２０３からの出力と、望ましい出力である教師信号と
の二乗誤差が、与えた学習パターン全てに対して最小に
なるように荷重値及びしきい値を変更する。
【０００７】出力値２０３の荷重値及びしきい値は次式
に従って変更される。
に従って変更される。
【０００８】 δ(3) j ＝ｏ(3) j （１−ｏ(3) j ）（ｙj −ｏ(3) j ） （３） ｗ(3) ij＝ｗ(3) ij＋ηδ(3) j ｏ(2) ｉ （４） ｈ(3) j ＝ｈ(3) j ＋ηδ(3) ｊ （５） ここで、ｏ(3) j 、ｈ(3) j は出力層２０３のｊ番目の
ニューロンの出力値及びしきい値、ｙj は出力層２０３
のｊ番目のニューロンに対する教師信号、ｏ(2) i は中
間層２０２のｉ番目のニューロンの出力値、ｗ(3) ijは
中間層２０２のｉ番目のニューロンと出力層２０３のｊ
番目のニューロンの間の荷重値である。
ニューロンの出力値及びしきい値、ｙj は出力層２０３
のｊ番目のニューロンに対する教師信号、ｏ(2) i は中
間層２０２のｉ番目のニューロンの出力値、ｗ(3) ijは
中間層２０２のｉ番目のニューロンと出力層２０３のｊ
番目のニューロンの間の荷重値である。
【０００９】中間層２０２の荷重値及びしきい値は次式
に従って変更される。
に従って変更される。
【００１０】
【００１１】ここで、ｏ(2) j 、ｈ(2) j は中間層２０
２のｊ番目のニューロンの出力値及びしきい値、ｏ(1)
i は入力層２０１のｉ番目のニューロンの出力値、ｗ
(2) ijは入力層２０１のｉ番目のニューロンと中間層２
０２のｊ番目のニューロンの間の荷重値、Ｎは出力層２
０３に含まれるニューロンの数である。ηは学習係数と
呼ばれ、１より小さい値が用いられる。
２のｊ番目のニューロンの出力値及びしきい値、ｏ(1)
i は入力層２０１のｉ番目のニューロンの出力値、ｗ
(2) ijは入力層２０１のｉ番目のニューロンと中間層２
０２のｊ番目のニューロンの間の荷重値、Ｎは出力層２
０３に含まれるニューロンの数である。ηは学習係数と
呼ばれ、１より小さい値が用いられる。
【００１２】この誤差逆伝播学習法を用いた３層のフィ
ードフォワード型神経回路網による認識率が非常に高い
ことが報告されている［山田、上、溝口、天満：“ニュ
ーラルネットを用いた文字認識”，信学技報，ＰＲＵ８
８−５８，７８−８６（１９８８）］。
ードフォワード型神経回路網による認識率が非常に高い
ことが報告されている［山田、上、溝口、天満：“ニュ
ーラルネットを用いた文字認識”，信学技報，ＰＲＵ８
８−５８，７８−８６（１９８８）］。
【００１３】
【発明が解決しようとする課題】高精度のパターン認識
装置を実現するためには、学習によって作成された認識
辞書の認識性能を落とさずに誤認識した入力データを正
しく認識するようにする追記学習と呼ばれる方法が重要
であるが、上述した従来の神経回路網を用いたパターン
認識装置では、追記学習が困難であるという問題点があ
る。具体的な例をあげると、１）既に学習を行なった従
来の神経回路網を利用したパターン認識装置に新たな入
力データを学習させると、新しいデータのみに学習辞書
が適応し、過去に学習したデータに対する性能を保持で
きない：２）認識性能を落とさずに追記学習をするに
は、これまで学習に用いた全ての入力データと誤認識し
た入力データを全て用いて神経回路網全体を再学習しな
ければならない。従って過去の学習で作成した認識辞書
を継承できない：３）神経回路網の一回の学習は、学習
させたい全ての入力データを何回も入力して学習が収束
するまで行なうため、非常に長い時間がかかる。入力デ
ータを覚えさせる度にこの学習過程を繰り返すことは、
膨大な計算量と計算時間を必要とする：４）通常用いら
れる神経回路網はニューロン数が一定のため、追記する
入力パターン数が多くなると、誤差逆伝播学習で用いら
れる教師信号と出力値との２乗誤差が十分小さくなら
ず、学習が収束しなくなる可能性がある。手書文字認識
など個人に依存するようなパターン認識においては、そ
の個人専用の認識辞書が不可欠であるが、従来の神経回
路網を利用したパターン認識装置では、以上の理由から
個人辞書を作成することは非常に困難である。
装置を実現するためには、学習によって作成された認識
辞書の認識性能を落とさずに誤認識した入力データを正
しく認識するようにする追記学習と呼ばれる方法が重要
であるが、上述した従来の神経回路網を用いたパターン
認識装置では、追記学習が困難であるという問題点があ
る。具体的な例をあげると、１）既に学習を行なった従
来の神経回路網を利用したパターン認識装置に新たな入
力データを学習させると、新しいデータのみに学習辞書
が適応し、過去に学習したデータに対する性能を保持で
きない：２）認識性能を落とさずに追記学習をするに
は、これまで学習に用いた全ての入力データと誤認識し
た入力データを全て用いて神経回路網全体を再学習しな
ければならない。従って過去の学習で作成した認識辞書
を継承できない：３）神経回路網の一回の学習は、学習
させたい全ての入力データを何回も入力して学習が収束
するまで行なうため、非常に長い時間がかかる。入力デ
ータを覚えさせる度にこの学習過程を繰り返すことは、
膨大な計算量と計算時間を必要とする：４）通常用いら
れる神経回路網はニューロン数が一定のため、追記する
入力パターン数が多くなると、誤差逆伝播学習で用いら
れる教師信号と出力値との２乗誤差が十分小さくなら
ず、学習が収束しなくなる可能性がある。手書文字認識
など個人に依存するようなパターン認識においては、そ
の個人専用の認識辞書が不可欠であるが、従来の神経回
路網を利用したパターン認識装置では、以上の理由から
個人辞書を作成することは非常に困難である。
【００１４】本発明の目的は、従来の神経回路網を用い
たパターン認識装置の欠点である追記学習が困難という
課題を除去し、認識時に誤認識した入力パターンと特徴
空間におけるその入力パターン近傍のパターン入力に対
して識別面を修正することにより、誤認識したパターン
群を追加辞書として登録し、しかもそれまで作成されて
いる標準辞書を変更することなく認識率を向上させる神
経回路網及びそのパターン認識装置を提供することにあ
る。
たパターン認識装置の欠点である追記学習が困難という
課題を除去し、認識時に誤認識した入力パターンと特徴
空間におけるその入力パターン近傍のパターン入力に対
して識別面を修正することにより、誤認識したパターン
群を追加辞書として登録し、しかもそれまで作成されて
いる標準辞書を変更することなく認識率を向上させる神
経回路網及びそのパターン認識装置を提供することにあ
る。
【００１５】
【課題を解決するための手段】本第１の発明のニューロ
ンは、０に十分近い出力値となる第１の膜電位の値と、
１に十分近い出力値となる第２の膜電位の値と、新たな
入力ベクトルに対する第３の膜電位の値とを用いて、前
記入力ベクトルに対する出力値が０に十分近くなるよう
な、あるいは１に十分近くなるような荷重ベクトル及び
しきい値を計算し、前記入力ベクトルに対する出力関数
の形を変更する。
ンは、０に十分近い出力値となる第１の膜電位の値と、
１に十分近い出力値となる第２の膜電位の値と、新たな
入力ベクトルに対する第３の膜電位の値とを用いて、前
記入力ベクトルに対する出力値が０に十分近くなるよう
な、あるいは１に十分近くなるような荷重ベクトル及び
しきい値を計算し、前記入力ベクトルに対する出力関数
の形を変更する。
【００１６】本第２の発明の神経回路網は、現在の第１
の荷重ベクトル及びしきい値と、請求項１記載の第１の
ニューロンで計算される第２の荷重ベクトル及びしきい
値と、入力ベクトル空間において局所領域に発火する第
２のニューロンの出力値とを用いて計算される第３の荷
重ベクトル及びしきい値を用いて出力値を計算する第３
のニューロンを有している。
の荷重ベクトル及びしきい値と、請求項１記載の第１の
ニューロンで計算される第２の荷重ベクトル及びしきい
値と、入力ベクトル空間において局所領域に発火する第
２のニューロンの出力値とを用いて計算される第３の荷
重ベクトル及びしきい値を用いて出力値を計算する第３
のニューロンを有している。
【００１７】本第３の発明のパターン認識装置は、入力
層記憶部と、前記入力層記憶部の出力を用いて計算を行
なう中間層計算部と、前記中間層計算部の出力を用いて
計算を行なう追加ニューロン計算部と、前記中間層計算
部の出力と前記追加ニューロン計算部の出力を用いて請
求項２記載の神経回路網による計算に従う出力層計算部
と、前記追加ニューロン計算部への新しいニューロンの
追加、しきい値の制御及び請求項１記載のニューロンの
計算により荷重ベクトルとしきい値を計算する追加ニュ
ーロン制御部とを有している。
層記憶部と、前記入力層記憶部の出力を用いて計算を行
なう中間層計算部と、前記中間層計算部の出力を用いて
計算を行なう追加ニューロン計算部と、前記中間層計算
部の出力と前記追加ニューロン計算部の出力を用いて請
求項２記載の神経回路網による計算に従う出力層計算部
と、前記追加ニューロン計算部への新しいニューロンの
追加、しきい値の制御及び請求項１記載のニューロンの
計算により荷重ベクトルとしきい値を計算する追加ニュ
ーロン制御部とを有している。
【００１８】本第４の発明のパターン認識装置は、入力
層記憶部と、前記入力層記憶部の出力を用いて計算を行
なう追加ニューロン計算部と、前記入力層記憶部の出力
と前記追加ニューロン計算部の出力を用いて請求項２記
載の神経回路網の計算に従う中間層計算部と、前記中間
層計算部の出力を用いて計算を行なう出力層計算部と、
前記出力層計算部における荷重値を用いて前記追加ニュ
ーロン計算部への新しいニューロンの追加、しきい値の
制御及び請求項１記載のニューロンの計算により荷重ベ
クトルとしきい値を計算する追加ニューロン制御部とを
有している。
層記憶部と、前記入力層記憶部の出力を用いて計算を行
なう追加ニューロン計算部と、前記入力層記憶部の出力
と前記追加ニューロン計算部の出力を用いて請求項２記
載の神経回路網の計算に従う中間層計算部と、前記中間
層計算部の出力を用いて計算を行なう出力層計算部と、
前記出力層計算部における荷重値を用いて前記追加ニュ
ーロン計算部への新しいニューロンの追加、しきい値の
制御及び請求項１記載のニューロンの計算により荷重ベ
クトルとしきい値を計算する追加ニューロン制御部とを
有している。
【００１９】
【作用】本第１の発明の作用について記す。
【００２０】簡単のため、まず入力が１次元の場合につ
いて説明する。ニューロンの出力関数は次式で与えられ
る。
いて説明する。ニューロンの出力関数は次式で与えられ
る。
【００２１】 ｚ＝ｆ（ｗｘ−ｈ） （９） ここで、ｆは（２）式で表わされるシグモイド関数であ
る。図６は横軸を入力値ｘ、縦軸を出力値ｚとした場合
のニューロンの出力関数を示す図である。
る。図６は横軸を入力値ｘ、縦軸を出力値ｚとした場合
のニューロンの出力関数を示す図である。
【００２２】図６において、ニューロンの出力関数３０
３は入力学習データ３０１を教師信号０、入力学習デー
タ３０２を教師信号１とした場合の従来の学習で得られ
た出力関数を示す。未学習の入力データｘA に対する出
力値が十分１に近くなるように、出力関数３０４の形を
変更することを考える。出力値が十分１に近い値となる
膜電位をｕH 、十分０に近い値となる膜電位をｕL 、そ
れぞれに対する入力値をｘH 、ｘL とし、入力値ｘA に
対する膜電位をｕA とすると、次の関係がある。
３は入力学習データ３０１を教師信号０、入力学習デー
タ３０２を教師信号１とした場合の従来の学習で得られ
た出力関数を示す。未学習の入力データｘA に対する出
力値が十分１に近くなるように、出力関数３０４の形を
変更することを考える。出力値が十分１に近い値となる
膜電位をｕH 、十分０に近い値となる膜電位をｕL 、そ
れぞれに対する入力値をｘH 、ｘL とし、入力値ｘA に
対する膜電位をｕA とすると、次の関係がある。
【００２３】 ｕH ＝ｗｘH −ｈ （１０） ｕL ＝ｗｘL −ｈ （１１） ｕA ＝ｗｘA −ｈ （１２） 変更後の荷重値、しきい値をそれぞれｗ′、ｈ′とし、
入力値ｘA における膜電位がｕH 、入力値ｘL における
膜電位がｕL になるための条件は、 ｕH ＝ｗ′ｘH −ｈ′ （１３） ｕL ＝ｗ′ｘL −ｈ′ （１４） である。この連立方程式を解くと、 ｗ′＝ｗ（ｕH −ｕL ）／（ｕA −ｕL) （１５） ｈ′＝（ｕH ｕL −ｕA ｕL ＋ｈ（ｕH −ｕL ））／（ｕA −ｕL ）（１６） が得られる。このｗ′、ｈ′を用いれば、入力値ｘに対
する出力関数３０４が得られる。
入力値ｘA における膜電位がｕH 、入力値ｘL における
膜電位がｕL になるための条件は、 ｕH ＝ｗ′ｘH −ｈ′ （１３） ｕL ＝ｗ′ｘL −ｈ′ （１４） である。この連立方程式を解くと、 ｗ′＝ｗ（ｕH −ｕL ）／（ｕA −ｕL) （１５） ｈ′＝（ｕH ｕL −ｕA ｕL ＋ｈ（ｕH −ｕL ））／（ｕA −ｕL ）（１６） が得られる。このｗ′、ｈ′を用いれば、入力値ｘに対
する出力関数３０４が得られる。
【００２４】入力データｘA に対する出力値が十分０に
近い値になるように、ニューロンの出力関数３０５の形
を変更したい場合も同様に求めることができ、 ｗ′＝ｗ（ｕL −ｕH ）／（ｕA −ｕH) （１７） ｈ′＝（ｕL ｕH −ｕA ｕH ＋ｈ（ｕL −ｕH ））／（ｕA −ｕH ）（１８） となる。
近い値になるように、ニューロンの出力関数３０５の形
を変更したい場合も同様に求めることができ、 ｗ′＝ｗ（ｕL −ｕH ）／（ｕA −ｕH) （１７） ｈ′＝（ｕL ｕH −ｕA ｕH ＋ｈ（ｕL −ｕH ））／（ｕA −ｕH ）（１８） となる。
【００２５】ｎ次元の入力ベクトルの場合でも同様に考
えることができ、入力ベクトルＸに対する出力値を十分
１に近い値にするためには、荷重ベクトル、しきい値を
次のように変更する。
えることができ、入力ベクトルＸに対する出力値を十分
１に近い値にするためには、荷重ベクトル、しきい値を
次のように変更する。
【００２６】 Ｗ′＝Ｗ（ｕH −ｕL ）／（ｕA −ｕL) （１９） ｈ′＝（ｕH ｕL −ｕA ｕL ＋ｈ（ｕH −ｕL ））／（ｕA −ｕL ）（２０） 入力ベクトルＸに対する出力値を十分０に近い値にする
ためには、荷重ベクトル、しきい値を次のように変更す
る。
ためには、荷重ベクトル、しきい値を次のように変更す
る。
【００２７】 Ｗ′＝Ｗ（ｕL −ｕH ）／（ｕA −ｕH) （２１） ｈ′＝（ｕL ｕH −ｕA ｕH ＋ｈ（ｕL −ｕH ））／（ｕA −ｕH ）（２２） このように、変更前の荷重値及びしきい値を用いて得ら
れた膜電位を用い、変更後の荷重値及びしきい値を設定
することで、過去の学習データを必要とせずにニューロ
ンが構成する識別面を修正できる。
れた膜電位を用い、変更後の荷重値及びしきい値を設定
することで、過去の学習データを必要とせずにニューロ
ンが構成する識別面を修正できる。
【００２８】ここでは通常の神経回路網に用いられるシ
グモイド関数を用いたが、任意の単調増加関数を出力関
数に用いた場合でも同様である。以後、入力ベクトルに
対する出力値を十分１に近い値にすることを「興奮性の
作用」と呼び、十分０に近い値にすることを「抑制性の
作用」と呼ぶことにする。
グモイド関数を用いたが、任意の単調増加関数を出力関
数に用いた場合でも同様である。以後、入力ベクトルに
対する出力値を十分１に近い値にすることを「興奮性の
作用」と呼び、十分０に近い値にすることを「抑制性の
作用」と呼ぶことにする。
【００２９】本第２の発明の作用について説明する。
【００３０】簡単のため、まず入力が（ｘ1 ，ｘ2 ）な
る２次元の場合について説明する。この場合のニューロ
ンの出力値は、 ｚ＝ｆ（ｗ1 ｘ1 ＋ｗ2 ｘ2 −ｈ） （２３） となる。
る２次元の場合について説明する。この場合のニューロ
ンの出力値は、 ｚ＝ｆ（ｗ1 ｘ1 ＋ｗ2 ｘ2 −ｈ） （２３） となる。
【００３１】図７は横軸をｘ1 、縦軸をｘ2 とした場合
のニューロンの出力値を示す図である。
のニューロンの出力値を示す図である。
【００３２】図７において、出力値直線４０１は出力値
ｚ＝０．５を表わし、出力値直線４０１より上方が出力
値ｚが０．５より小さくなる領域、出力値直線４０１よ
り下方が出力値ｚが０．５より大きくなる領域を表わす
とする。出力値直線４０１は入力ベクトル空間を出力値
ｚが０．５より大きい領域と小さい領域に分けることか
ら、このニューロンが作る識別面と呼ぶ。入力データ４
０２があったとすると、この入力データ４０２に対する
出力値ｚは０．５より小さい値となる。「興奮性の作
用」に従って入力データ４０２に対する出力値を十分１
に近い値にすると、識別面を表わす直線出力値直線４０
３になる。
ｚ＝０．５を表わし、出力値直線４０１より上方が出力
値ｚが０．５より小さくなる領域、出力値直線４０１よ
り下方が出力値ｚが０．５より大きくなる領域を表わす
とする。出力値直線４０１は入力ベクトル空間を出力値
ｚが０．５より大きい領域と小さい領域に分けることか
ら、このニューロンが作る識別面と呼ぶ。入力データ４
０２があったとすると、この入力データ４０２に対する
出力値ｚは０．５より小さい値となる。「興奮性の作
用」に従って入力データ４０２に対する出力値を十分１
に近い値にすると、識別面を表わす直線出力値直線４０
３になる。
【００３３】ここで、次のように出力関数を持つ局所発
火型ニューロンを導入する。 ｚ＝１［ｈ−｜Ｘ−ＸA ｜］ （２４） Ｘは（ｘ1 ，ｘ2 ）で表わされる入力ベクトル、ＸA は
入力データ４０２を表わす。このニューロンの出力値は
ＸとＸA との距離がｈより小さい場合は１、ｈより大き
い場合は０となる。出力値が０あるいは１になる境界を
局所発火型ニューロンの発火領域４０４に示す。この局
所発火型ニューロンの発火領域４０４は、ＸA を中心と
する半径ｈの円内となる。
火型ニューロンを導入する。 ｚ＝１［ｈ−｜Ｘ−ＸA ｜］ （２４） Ｘは（ｘ1 ，ｘ2 ）で表わされる入力ベクトル、ＸA は
入力データ４０２を表わす。このニューロンの出力値は
ＸとＸA との距離がｈより小さい場合は１、ｈより大き
い場合は０となる。出力値が０あるいは１になる境界を
局所発火型ニューロンの発火領域４０４に示す。この局
所発火型ニューロンの発火領域４０４は、ＸA を中心と
する半径ｈの円内となる。
【００３４】識別面４０１を表わすニューロンの荷重ベ
クトルＷ、しきい値ｈ及び本第１の発明の計算方式に従
う変更後の荷重ベクトルＷ′、しきい値ｈ′と局所発火
型ニューロンの出力値ｚを用いて、荷縦ベクトルＷ″、
しきい値ｈ″を Ｗ″＝Ｗ′ｚ＋（１−ｚ）Ｗ （２５） ｈ″＝ｈ′ｚ＋（１−ｚ）ｈ （２６） とすると、局所発火型ニューロンの発火領域４０４内で
は識別面が出力値直線４０３となり、それ以外の領域で
は出力値直線４０１となる。つまり、新たな入力データ
とその近傍の入力に対してのみ識別面を修正することが
可能になる。
クトルＷ、しきい値ｈ及び本第１の発明の計算方式に従
う変更後の荷重ベクトルＷ′、しきい値ｈ′と局所発火
型ニューロンの出力値ｚを用いて、荷縦ベクトルＷ″、
しきい値ｈ″を Ｗ″＝Ｗ′ｚ＋（１−ｚ）Ｗ （２５） ｈ″＝ｈ′ｚ＋（１−ｚ）ｈ （２６） とすると、局所発火型ニューロンの発火領域４０４内で
は識別面が出力値直線４０３となり、それ以外の領域で
は出力値直線４０１となる。つまり、新たな入力データ
とその近傍の入力に対してのみ識別面を修正することが
可能になる。
【００３５】入力データ４０５に対する出力値を十分０
に近くする場合も同様に議論できる。この入力に対する
出力値ｚは０．５より大きい値となる。「抑制性の作
用」に従って入力データ４０５に対する出力値を十分０
に近い値にすると、識別面は出力値直線４０３になる。
ここで、（２４）式で示す出力関数を持つ局所発火型ニ
ューロンを導入すると、このニューロンの出力値はｘと
ｘA の距離がｈより小さい場合は１、ｈより大きい場合
は０となる。出力値が０あるいは１になる境界を局所発
火型ニューロンの発火領域４０７に示す。局所発火型ニ
ューロンの出力値ｚを用いて、荷重ベクトルＷ″、しき
い値ｈ″を（２５），（２６）式に従って設定すると、
局所発火型ニューロンの発火領域４０７内では識別面が
出力値直線４０６となり、それ以外の領域では出力値直
線４０１となる。つまり、新たな入力データとその近傍
の入力に対してのみ識別面を修正することが可能にな
る。
に近くする場合も同様に議論できる。この入力に対する
出力値ｚは０．５より大きい値となる。「抑制性の作
用」に従って入力データ４０５に対する出力値を十分０
に近い値にすると、識別面は出力値直線４０３になる。
ここで、（２４）式で示す出力関数を持つ局所発火型ニ
ューロンを導入すると、このニューロンの出力値はｘと
ｘA の距離がｈより小さい場合は１、ｈより大きい場合
は０となる。出力値が０あるいは１になる境界を局所発
火型ニューロンの発火領域４０７に示す。局所発火型ニ
ューロンの出力値ｚを用いて、荷重ベクトルＷ″、しき
い値ｈ″を（２５），（２６）式に従って設定すると、
局所発火型ニューロンの発火領域４０７内では識別面が
出力値直線４０６となり、それ以外の領域では出力値直
線４０１となる。つまり、新たな入力データとその近傍
の入力に対してのみ識別面を修正することが可能にな
る。
【００３６】これまで、入力ベクトルを２次元として説
明してきたが、ｎ次元への拡張は容易である。また、局
所発火型ニューロンの出力関数に階段関数を用いたが、
シグモイド関数を用いて ｚ＝ｆ（ｈ−｜Ｘ−ＸA ｜） （２７） としても同様である。このｚを用いて（２５），（２
６）式に従えば、階段関数を用いた場合に比べ、局所発
火型ニューロンの発火領域近傍でより滑らかな出力関数
を得ることができる。出力関数はこれらに限られること
ではなく、ガウス分布など局所的に出力値が大きくなる
関数であれば同様の議論が成り立つことは容易に類推で
きる。局所発火型のニューロンの入力ベクトル空間にお
ける発火の中心位置を表わすＸA のことを、以後、局所
発火型ニューロンの荷重ベクトルと呼ぶことにする。
明してきたが、ｎ次元への拡張は容易である。また、局
所発火型ニューロンの出力関数に階段関数を用いたが、
シグモイド関数を用いて ｚ＝ｆ（ｈ−｜Ｘ−ＸA ｜） （２７） としても同様である。このｚを用いて（２５），（２
６）式に従えば、階段関数を用いた場合に比べ、局所発
火型ニューロンの発火領域近傍でより滑らかな出力関数
を得ることができる。出力関数はこれらに限られること
ではなく、ガウス分布など局所的に出力値が大きくなる
関数であれば同様の議論が成り立つことは容易に類推で
きる。局所発火型のニューロンの入力ベクトル空間にお
ける発火の中心位置を表わすＸA のことを、以後、局所
発火型ニューロンの荷重ベクトルと呼ぶことにする。
【００３７】本第３の発明の作用について記す。
【００３８】図８は本第３の発明の一実施例のパターン
認識装置で用いる神経回路網の一モデルを示す図であ
る。
認識装置で用いる神経回路網の一モデルを示す図であ
る。
【００３９】図８において、入力層５０１、中間層５０
２、出力層５０３は従来の３層のフィードフォワード型
神経回路網である。入力層５０１、中間層５０２、出力
層５０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群５０４が新たに追加
される。
２、出力層５０３は従来の３層のフィードフォワード型
神経回路網である。入力層５０１、中間層５０２、出力
層５０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群５０４が新たに追加
される。
【００４０】入力パターンが誤認識として判断されるの
は、その入力パターンが属すべきカテゴリを表わす出力
層５０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層のニューロンの出
力が大きい場合である。従って、出力層５０３の各ニュ
ーロンについて出力値を上げる手段、下げる手段の２つ
を用意すれば、誤認識となる入力パターンを正しく認識
するように神経回路網の内部状態を変化させることがで
きる。
は、その入力パターンが属すべきカテゴリを表わす出力
層５０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層のニューロンの出
力が大きい場合である。従って、出力層５０３の各ニュ
ーロンについて出力値を上げる手段、下げる手段の２つ
を用意すれば、誤認識となる入力パターンを正しく認識
するように神経回路網の内部状態を変化させることがで
きる。
【００４１】次に、本第３の発明の神経回路網を用いた
パターン認識装置の追記学習手順について述べる。
パターン認識装置の追記学習手順について述べる。
【００４２】ニューロンＡの出力値を上げるためには、
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して抑制性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が上がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を上げる
ことができる。
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して抑制性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が上がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を上げる
ことができる。
【００４３】ニューロンＡの出力値を下げるためには、
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して興奮性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が下がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を下げる
ことができる。
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して興奮性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が下がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を下げる
ことができる。
【００４４】以上述べた出力層５０３のニューロンの出
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層５０１、中間層５０２、出力
層５０３からなる３層の神経回路網を用いたが、中間層
５０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層５０１、中間層５０２、出力
層５０３からなる３層の神経回路網を用いたが、中間層
５０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
【００４５】本第４の発明の作用について記す。
【００４６】図９は本第４の発明の一例のパターン認識
装置で用いる神経回路網の一モデルを示す図である。
装置で用いる神経回路網の一モデルを示す図である。
【００４７】図９において入力層６０１、中間層６０
２、出力層６０３は従来の３層のフィードフォワード型
神経回路網である。入力層６０１、中間層６０２、出力
層６０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群６０４が新たに追加
される。
２、出力層６０３は従来の３層のフィードフォワード型
神経回路網である。入力層６０１、中間層６０２、出力
層６０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群６０４が新たに追加
される。
【００４８】入力パターンが誤認識として判断されるの
は、その入力パターンが属すべきカテゴリを表わす出力
層６０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層６０３のニューロ
ンの出力が大きい場合である。従って、出力層６０３の
各ニューロンについて出力値を上げる手段、下げる手段
の２つの用意すれば、誤認識となる入力パターンを正し
く認識するように神経回路網の内部状態を変化させるこ
とができる。 次に、本第４の神経回路網を用いたパタ
ーン認識装置の追記学習手順について述べる。
は、その入力パターンが属すべきカテゴリを表わす出力
層６０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層６０３のニューロ
ンの出力が大きい場合である。従って、出力層６０３の
各ニューロンについて出力値を上げる手段、下げる手段
の２つの用意すれば、誤認識となる入力パターンを正し
く認識するように神経回路網の内部状態を変化させるこ
とができる。 次に、本第４の神経回路網を用いたパタ
ーン認識装置の追記学習手順について述べる。
【００４９】ニューロンＡの出力値を上げるためには、
まず既に追加されている局所発火型ニューロン群６０４
のうち発火しているものを捜す。そのニューロンが興奮
性の作用をしている中間層６０２のニューロンとニュー
ロンＡとの荷重値が負の場合は、その局所発火型ニュー
ロンの発火領域を小さくして発火しないようにする。ま
た発火している局所発火型ニューロンが抑制性の作用を
している中間層６０２のニューロンとニューロンＡとの
荷重値が正の場合は、その局所発火型ニューロンの発火
領域を小さくして発火しないようにする。
まず既に追加されている局所発火型ニューロン群６０４
のうち発火しているものを捜す。そのニューロンが興奮
性の作用をしている中間層６０２のニューロンとニュー
ロンＡとの荷重値が負の場合は、その局所発火型ニュー
ロンの発火領域を小さくして発火しないようにする。ま
た発火している局所発火型ニューロンが抑制性の作用を
している中間層６０２のニューロンとニューロンＡとの
荷重値が正の場合は、その局所発火型ニューロンの発火
領域を小さくして発火しないようにする。
【００５０】既に追加されている局所発火型ニューロン
群６０４すべてに対してこの処理を行なってもニューロ
ンＡの出力値が上がらない場合、入力パターンを荷重ベ
クトルとし、ニューロンが発火する領域の半径をしきい
値とした局所発火型ニューロンを追加し、その出力を中
間層６０２のニューロンに入力する。
群６０４すべてに対してこの処理を行なってもニューロ
ンＡの出力値が上がらない場合、入力パターンを荷重ベ
クトルとし、ニューロンが発火する領域の半径をしきい
値とした局所発火型ニューロンを追加し、その出力を中
間層６０２のニューロンに入力する。
【００５１】追加された局所発火型ニューロンの出力を
中間層６０２のどのニューロンに入力するかは次のよう
に決められる。
中間層６０２のどのニューロンに入力するかは次のよう
に決められる。
【００５２】ニューロンＡと中間層６０２のニューロン
との荷重値を調べ、その絶対値の最も大きい荷重値に対
応する中間層６０２のニューロンにその局所発火型ニュ
ーロンの出力を入力し、荷重値が正の場合は興奮性の作
用を、荷重値が負の場合は抑制性の作用をさせる。それ
でもニューロンＡの出力値が上がらない場合は、ニュー
ロンＡとの中間層６０２のニューロンの荷重値の絶対値
が２番目に大きい中間層６０２のニューロンに対して同
様の処理を行なう。それでもニューロンＡの出力値が上
がらない場合は、３番目のニューロンというようにして
同様の処理を繰り返すことで、必ずニューロンＡの出力
を上げるもとができる。
との荷重値を調べ、その絶対値の最も大きい荷重値に対
応する中間層６０２のニューロンにその局所発火型ニュ
ーロンの出力を入力し、荷重値が正の場合は興奮性の作
用を、荷重値が負の場合は抑制性の作用をさせる。それ
でもニューロンＡの出力値が上がらない場合は、ニュー
ロンＡとの中間層６０２のニューロンの荷重値の絶対値
が２番目に大きい中間層６０２のニューロンに対して同
様の処理を行なう。それでもニューロンＡの出力値が上
がらない場合は、３番目のニューロンというようにして
同様の処理を繰り返すことで、必ずニューロンＡの出力
を上げるもとができる。
【００５３】ニューロンＡの出力値を下げるためには、
まず既に追加されている局所発火型ニューロンのうち発
火しているものを捜す。そのニューロンが興奮性の作用
をしている中間層６０２のニューロンとニューロンＡと
の荷重値が正の場合は、その局所発火型ニューロンの発
火領域を小さくして発火しないようにする。また発火し
ている局所発火型ニューロンが抑制性の作用をしている
中間層６０２のニューロンとニューロンＡとの荷重値が
負の場合は、その局所発火型ニューロンの発火領域を小
さくして発火しないようにする。
まず既に追加されている局所発火型ニューロンのうち発
火しているものを捜す。そのニューロンが興奮性の作用
をしている中間層６０２のニューロンとニューロンＡと
の荷重値が正の場合は、その局所発火型ニューロンの発
火領域を小さくして発火しないようにする。また発火し
ている局所発火型ニューロンが抑制性の作用をしている
中間層６０２のニューロンとニューロンＡとの荷重値が
負の場合は、その局所発火型ニューロンの発火領域を小
さくして発火しないようにする。
【００５４】既に追加されている局所発火型ニューロン
すべてに対してこの処理を行なってもニューロンＡの出
力値が下がらない場合、入力パターンを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力を中間層６０
２のニューロンに入力する。追加された局所発火型ニュ
ーロンの出力の中間層６０２のどのニューロンに入力す
るかは次のように決められる。ニューロンＡと中間層６
０２のニューロンとの荷重値を調べ、その絶対値の最も
大きい荷重値に対応する中間層のニューロンにその局所
発火型ニューロンの出力を入力し、荷重値が負の場合は
興奮性の作用を、荷重値が正の場合は抑制性の作用をさ
せる。
すべてに対してこの処理を行なってもニューロンＡの出
力値が下がらない場合、入力パターンを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力を中間層６０
２のニューロンに入力する。追加された局所発火型ニュ
ーロンの出力の中間層６０２のどのニューロンに入力す
るかは次のように決められる。ニューロンＡと中間層６
０２のニューロンとの荷重値を調べ、その絶対値の最も
大きい荷重値に対応する中間層のニューロンにその局所
発火型ニューロンの出力を入力し、荷重値が負の場合は
興奮性の作用を、荷重値が正の場合は抑制性の作用をさ
せる。
【００５５】それでもニューロンＡの出力値が下がらな
い場合は、ニューロンＡと中間層６０２のニューロンの
荷重値の絶対値が２番目に大きい中間層６０２のニュー
ロンに対して同様の処理を行なう。それでもニューロン
Ａの出力値が上がらない場合は、３番目のニューロンと
いうように同様の処理を繰り返すことで、必ずニューロ
ンＡの出力を下げることができる。
い場合は、ニューロンＡと中間層６０２のニューロンの
荷重値の絶対値が２番目に大きい中間層６０２のニュー
ロンに対して同様の処理を行なう。それでもニューロン
Ａの出力値が上がらない場合は、３番目のニューロンと
いうように同様の処理を繰り返すことで、必ずニューロ
ンＡの出力を下げることができる。
【００５６】以上述べた出力層６０３のニューロンの出
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層６０１、中間層６０２、出力
層６０３からなる３層の神経回路網を用いたが、中間層
６０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層６０１、中間層６０２、出力
層６０３からなる３層の神経回路網を用いたが、中間層
６０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
【００５７】
【実施例】次に、本発明について図面を参照して説明す
る。
る。
【００５８】まず、本第１の発明について説明する。
【００５９】図１は本第１の発明の一実施例を示すブロ
ック図である。
ック図である。
【００６０】図１において、入力ベクトルＸに対し、膜
電位計算部９０２において荷重ベクトルＷとしきい値ｈ
を用い膜電位ｕを計算し、出力値計算部９０３において
前記膜電位に非線形関数を通して出力値を計算する。神
経回路網に用いられる本実施例のニューロンは、入力ベ
クトルＸに対する出力値を１に十分近い値にする意味の
誤認識信号を入力した場合に、出力値が０に近い出力値
となる膜電位の値ｕLと、出力値が１に十分近い出力値
となる膜電位の値ｕH と、前記膜電位の値ｕを用い、
（１９）式に従う荷重ベクトル計算部９０６および（２
０）式に従うしきい値計算部９０７とにより新たな荷重
ベクトルおよびしきい値を計算して膜電位計算部９０２
内の荷重ベクトルおよびしきい値を変更し、変更後はそ
の新たな荷重ベクトルおよびしきい値を用いて膜電位計
算を行い、入力ベクトルＸに対する出力値を０に十分近
い値にする意味の誤認識信号を入力した場合に、出力値
が０に十分近い出力値となる膜電位の値ｕL と、出力値
が１に十分近い出力値となる膜電位の値ｕH と、前記膜
電位の値ｕを用い、（２１）式に従う荷重ベクトル計算
部９０８および（２２）式に従うしきい値計算部９０９
とにより新たな荷重ベクトルおよびしきい値を計算して
膜電位計算部９０２内の荷重ベクトルおよびしきい値を
変更し、変更後はその新たな荷重ベクトルおよびしきい
値を用いて膜電位計算を行う。
電位計算部９０２において荷重ベクトルＷとしきい値ｈ
を用い膜電位ｕを計算し、出力値計算部９０３において
前記膜電位に非線形関数を通して出力値を計算する。神
経回路網に用いられる本実施例のニューロンは、入力ベ
クトルＸに対する出力値を１に十分近い値にする意味の
誤認識信号を入力した場合に、出力値が０に近い出力値
となる膜電位の値ｕLと、出力値が１に十分近い出力値
となる膜電位の値ｕH と、前記膜電位の値ｕを用い、
（１９）式に従う荷重ベクトル計算部９０６および（２
０）式に従うしきい値計算部９０７とにより新たな荷重
ベクトルおよびしきい値を計算して膜電位計算部９０２
内の荷重ベクトルおよびしきい値を変更し、変更後はそ
の新たな荷重ベクトルおよびしきい値を用いて膜電位計
算を行い、入力ベクトルＸに対する出力値を０に十分近
い値にする意味の誤認識信号を入力した場合に、出力値
が０に十分近い出力値となる膜電位の値ｕL と、出力値
が１に十分近い出力値となる膜電位の値ｕH と、前記膜
電位の値ｕを用い、（２１）式に従う荷重ベクトル計算
部９０８および（２２）式に従うしきい値計算部９０９
とにより新たな荷重ベクトルおよびしきい値を計算して
膜電位計算部９０２内の荷重ベクトルおよびしきい値を
変更し、変更後はその新たな荷重ベクトルおよびしきい
値を用いて膜電位計算を行う。
【００６１】次に、本第２の発明について説明する。
【００６２】図２は本第２の発明の一実施例を示すブロ
ック図である。
ック図である。
【００６３】図２において、入力ベクトルＸに対し、膜
電位計算部１００２において荷重ベクトルＷとしきい値
ｈを用い膜電位ｕを計算し、出力値計算部１００３にお
いて前記膜電位に非線形関数を通して出力値を計算する
ニューロンを有する本実施例の神経回路網は、荷重ベク
トル保存部１０１３およびしきい値保存部１０１４に保
存されている、誤認識信号を入力する前の荷重ベクトル
Ｗおよびしきい値ｈと、荷重ベクトル保存部１０１１お
よびしきい値保存部１０１２に保存されている、誤認識
信号入力後に荷重ベクトル計算部１００７あるいは荷重
ベクトル計算部１００９によって計算された荷重ベクト
ルＷ′およびしきい値計算部１００８あるいはしきい値
計算部１０１０によって計算されたしきい値ｈ′と、
（２４）式あるいは（２７）式に従う局所発火型ニュー
ロンの出力値Ｚとを用い、（２５）式に従う荷重ベクト
ル計算部１０１５と（２６）式に従うしきい値計算部１
０１６によって計算される新たな荷重ベクトルＷ″およ
びしきい値ｈ″を用いて膜電位計算部１００２において
膜電位を計算する。
電位計算部１００２において荷重ベクトルＷとしきい値
ｈを用い膜電位ｕを計算し、出力値計算部１００３にお
いて前記膜電位に非線形関数を通して出力値を計算する
ニューロンを有する本実施例の神経回路網は、荷重ベク
トル保存部１０１３およびしきい値保存部１０１４に保
存されている、誤認識信号を入力する前の荷重ベクトル
Ｗおよびしきい値ｈと、荷重ベクトル保存部１０１１お
よびしきい値保存部１０１２に保存されている、誤認識
信号入力後に荷重ベクトル計算部１００７あるいは荷重
ベクトル計算部１００９によって計算された荷重ベクト
ルＷ′およびしきい値計算部１００８あるいはしきい値
計算部１０１０によって計算されたしきい値ｈ′と、
（２４）式あるいは（２７）式に従う局所発火型ニュー
ロンの出力値Ｚとを用い、（２５）式に従う荷重ベクト
ル計算部１０１５と（２６）式に従うしきい値計算部１
０１６によって計算される新たな荷重ベクトルＷ″およ
びしきい値ｈ″を用いて膜電位計算部１００２において
膜電位を計算する。
【００６４】次に、本第３の発明について説明する。
【００６５】図３は本第３の発明の一実施例のパターン
認識装置を示すブロック図、図４は本実施例に使用され
るデジタルフィルターの一例を示す図である。
認識装置を示すブロック図、図４は本実施例に使用され
るデジタルフィルターの一例を示す図である。
【００６６】図３において、入力端子１０１に入力され
た入力信号は、入力層記憶部１０２に保存され、中間層
計算部１０３に入力され、その計算結果は出力層計算部
１０５に入力される。中間層計算部１０３のもう一方の
出力は追加ニューロン計算部１０４に入力される。出力
層計算部１０５には中間層計算部１０３の出力と追加ニ
ューロン計算部１０４の出力が入力され、その計算結果
は出力端子１０６から出力される。認識結果が誤認識で
あると判断された場合には、誤認識信号が入力端子１０
７から入力され、追加ニューロン制御部１０８に送られ
る。追加ニューロン制御部１０８は、誤認識信号に従
い、追加ニューロン計算部１０４の計算に用いられるパ
ラメータを変更し、入力層記憶部１０２に再認識信号を
入力する。再認識信号を受けた入力層記憶部１０２は、
記憶されている入力データを中間計算部１０３に送り、
認識過程が繰り返される。出力層計算部１０５からの出
力は追加ニューロン制御部１０８に送られ、認識結果の
判断が行なわれ、正しく認識されるまで追加ニューロン
制御部１０８による追加ニューロン計算部１０４の制御
が行なわれる。
た入力信号は、入力層記憶部１０２に保存され、中間層
計算部１０３に入力され、その計算結果は出力層計算部
１０５に入力される。中間層計算部１０３のもう一方の
出力は追加ニューロン計算部１０４に入力される。出力
層計算部１０５には中間層計算部１０３の出力と追加ニ
ューロン計算部１０４の出力が入力され、その計算結果
は出力端子１０６から出力される。認識結果が誤認識で
あると判断された場合には、誤認識信号が入力端子１０
７から入力され、追加ニューロン制御部１０８に送られ
る。追加ニューロン制御部１０８は、誤認識信号に従
い、追加ニューロン計算部１０４の計算に用いられるパ
ラメータを変更し、入力層記憶部１０２に再認識信号を
入力する。再認識信号を受けた入力層記憶部１０２は、
記憶されている入力データを中間計算部１０３に送り、
認識過程が繰り返される。出力層計算部１０５からの出
力は追加ニューロン制御部１０８に送られ、認識結果の
判断が行なわれ、正しく認識されるまで追加ニューロン
制御部１０８による追加ニューロン計算部１０４の制御
が行なわれる。
【００６７】次に、文字認識を例にとり、本実施例の動
作を説明する。
作を説明する。
【００６８】ここでは説明のために、横９画素、縦１１
画素の文字の濃淡画像を入力端子１０１から入力するこ
とにする。濃淡画像は、黒画素を１、白画素を０とした
文字の二値画像に図４に示すようなデジタルフィルター
を施して得られる。
画素の文字の濃淡画像を入力端子１０１から入力するこ
とにする。濃淡画像は、黒画素を１、白画素を０とした
文字の二値画像に図４に示すようなデジタルフィルター
を施して得られる。
【００６９】入力層記憶部１０２は、入力層５０１に対
応している。入力層記憶部１０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部１０３は、中間層５０２に対応する。中間層５０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層５０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層計算部１０３の計算は、（１）式及び
（２）式を用いて行なわれる。中間層５０２に含まれる
ニューロン数Ｎmid は便宜上４０とする。
応している。入力層記憶部１０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部１０３は、中間層５０２に対応する。中間層５０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層５０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層計算部１０３の計算は、（１）式及び
（２）式を用いて行なわれる。中間層５０２に含まれる
ニューロン数Ｎmid は便宜上４０とする。
【００７０】追加ニューロン計算部１０４は、局所発火
型ニューロン群５０４に対応する。局所発火型ニューロ
ン１つに対して、中間層５０２との結合の荷重値を記憶
するＮmid 個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の出力層ニューロンの番号、変更すべきＮmid 個の荷
重値及びしきい値を記憶するメモリが、出力肢１本につ
き必要になる。追加ニューロン数は学習により増加す
る。追加ニューロン計算部の計算は、（２４）式を用い
て行なわれるものとする。
型ニューロン群５０４に対応する。局所発火型ニューロ
ン１つに対して、中間層５０２との結合の荷重値を記憶
するＮmid 個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の出力層ニューロンの番号、変更すべきＮmid 個の荷
重値及びしきい値を記憶するメモリが、出力肢１本につ
き必要になる。追加ニューロン数は学習により増加す
る。追加ニューロン計算部の計算は、（２４）式を用い
て行なわれるものとする。
【００７１】出力層計算部１０５は、出力層５０３に対
応する。出力層５０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層５０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部１０５の計
算は、追加ニューロン計算部１０４からの出力を用い
て、（２５），（２６）式に従って荷重値及びしきい値
を変更したあと、（１）式及び（２）式を用いて行なわ
れる。出力層５０３に含まれるニューロン数は、識別さ
せたいカテゴリの数によって定まる。例えば、０から９
までの１０個の印刷数字を入力文字画像とした場合、識
別させたいカテゴリ数は１０個となるので、Ｎout は１
０個となる。
応する。出力層５０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層５０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部１０５の計
算は、追加ニューロン計算部１０４からの出力を用い
て、（２５），（２６）式に従って荷重値及びしきい値
を変更したあと、（１）式及び（２）式を用いて行なわ
れる。出力層５０３に含まれるニューロン数は、識別さ
せたいカテゴリの数によって定まる。例えば、０から９
までの１０個の印刷数字を入力文字画像とした場合、識
別させたいカテゴリ数は１０個となるので、Ｎout は１
０個となる。
【００７２】中間層計算部１０３及び出力層計算部１０
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部１０４には無関係に進められる。
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部１０４には無関係に進められる。
【００７３】誤認識が生じた場合、誤認識信号が入力端
子１０７に入力される。この誤認識信号は、出力端子１
０６から出力されるＮout 個の信号の組に対して、何番
目の信号値を上げるか、あるいは何番目の信号値を下げ
るかという番号の組である。例えば、印刷数字の認識の
場合はＮout が１０個であり、１番目の出力信号は数字
の「１」、２番目の出力信号は数字の「２」、…、１０
番目の出力信号は数字の「０」を表わすカテゴリである
とすると、「３」のカテゴリに属する入力信号を正しい
出力信号の組は｛０，０，１，０，０，０，０，０，
０，０｝である。誤認識の出力信号の組｛０，１，０，
０，０，０，０，０，０，０｝に対しては、｛−２，＋
３｝なる誤認識信号を入力端子１０７に送ることにな
る。
子１０７に入力される。この誤認識信号は、出力端子１
０６から出力されるＮout 個の信号の組に対して、何番
目の信号値を上げるか、あるいは何番目の信号値を下げ
るかという番号の組である。例えば、印刷数字の認識の
場合はＮout が１０個であり、１番目の出力信号は数字
の「１」、２番目の出力信号は数字の「２」、…、１０
番目の出力信号は数字の「０」を表わすカテゴリである
とすると、「３」のカテゴリに属する入力信号を正しい
出力信号の組は｛０，０，１，０，０，０，０，０，
０，０｝である。誤認識の出力信号の組｛０，１，０，
０，０，０，０，０，０，０｝に対しては、｛−２，＋
３｝なる誤認識信号を入力端子１０７に送ることにな
る。
【００７４】誤認識信号を受けた追加ニューロン制御部
１０８は、本第１，第２の発明の作用で述べた手順によ
り、追加ニューロン計算部１０４内に存在するしきい値
の変更あるいは、新たなニューロンの追加すなわち１ニ
ューロン分のメモリの確保、及び荷重値、しきい値、結
合先が設定される。その際、追加ニューロン制御部１０
８から入力層記憶部１０２に再認識信号が送られ、入力
層記憶部１０２に保存されていた入力データは中間層計
算部１０３へ入力され、その出力は追加ニューロン計算
部１０４へ入力され、中間層計算部１０３と追加ニュー
ロン計算部１０４の出力が出力計算部１０５へ入力され
る。出力層計算部１０５の出力が誤認識信号の要求を満
たした段階で、追加ニューロン制御部１０８は追加ニュ
ーロン計算部１０４の制御を停止する。
１０８は、本第１，第２の発明の作用で述べた手順によ
り、追加ニューロン計算部１０４内に存在するしきい値
の変更あるいは、新たなニューロンの追加すなわち１ニ
ューロン分のメモリの確保、及び荷重値、しきい値、結
合先が設定される。その際、追加ニューロン制御部１０
８から入力層記憶部１０２に再認識信号が送られ、入力
層記憶部１０２に保存されていた入力データは中間層計
算部１０３へ入力され、その出力は追加ニューロン計算
部１０４へ入力され、中間層計算部１０３と追加ニュー
ロン計算部１０４の出力が出力計算部１０５へ入力され
る。出力層計算部１０５の出力が誤認識信号の要求を満
たした段階で、追加ニューロン制御部１０８は追加ニュ
ーロン計算部１０４の制御を停止する。
【００７５】次に本第４の発明について説明する。
【００７６】図５は本第４の発明の一実施例を示すブロ
ック図である。
ック図である。
【００７７】図５において、入力端子８０１に入力され
た入力信号は、入力層記憶部８０２に保存され、中間層
計算部８０３に入力され、その計算結果は出力層計算部
８０５に入力される。入力層記憶部８０２のもう一方の
出力は追加ニューロン計算部８０４に入力される。中間
層計算部８０３には入力層計算部８０２の出力と追加ニ
ューロン計算部８０４の出力が入力され、その出力は出
力層計算部８０５に入力され、その計算結果は出力端子
８０６から出力される。認識結果が誤認識であると判断
された場合には、誤認識信号が入力端子８０７から入力
され、追加ニューロン制御部８０８に送られる。追加ニ
ューロン制御部８０８は、誤認識信号に従い、追加ニュ
ーロン計算部８０４の計算に用いられるパラメータを変
更し、入力層記憶部８０２に再認識信号を入力する。再
認識信号を受けた入力層記憶部８０２は、記憶されてい
る入力データを中間層計算部８０３及び追加ニューロン
計算部８０４に送り、認識過程が繰り返される。出力層
計算部８０５からの出力は追加ニューロン制御部８０８
に送られ、認識結果の判断が行なわれ、正しく認識され
るまで追加ニューロン制御部８０８による追加ニューロ
ン計算部８０４の制御が行なわれる。
た入力信号は、入力層記憶部８０２に保存され、中間層
計算部８０３に入力され、その計算結果は出力層計算部
８０５に入力される。入力層記憶部８０２のもう一方の
出力は追加ニューロン計算部８０４に入力される。中間
層計算部８０３には入力層計算部８０２の出力と追加ニ
ューロン計算部８０４の出力が入力され、その出力は出
力層計算部８０５に入力され、その計算結果は出力端子
８０６から出力される。認識結果が誤認識であると判断
された場合には、誤認識信号が入力端子８０７から入力
され、追加ニューロン制御部８０８に送られる。追加ニ
ューロン制御部８０８は、誤認識信号に従い、追加ニュ
ーロン計算部８０４の計算に用いられるパラメータを変
更し、入力層記憶部８０２に再認識信号を入力する。再
認識信号を受けた入力層記憶部８０２は、記憶されてい
る入力データを中間層計算部８０３及び追加ニューロン
計算部８０４に送り、認識過程が繰り返される。出力層
計算部８０５からの出力は追加ニューロン制御部８０８
に送られ、認識結果の判断が行なわれ、正しく認識され
るまで追加ニューロン制御部８０８による追加ニューロ
ン計算部８０４の制御が行なわれる。
【００７８】次に、文字認識を例にとり、本実施例の動
作を図９に示す図面と対応づけて説明する。
作を図９に示す図面と対応づけて説明する。
【００７９】図３に示す第３の発明の一実施例と同様に
文字の濃淡画像を入力端子８０１に入力することにす
る。
文字の濃淡画像を入力端子８０１に入力することにす
る。
【００８０】入力層記憶部８０２は、入力層６０１に対
応している。入力層記憶部８０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部８０３は、中間層６０２に対応する。中間層６０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層６０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層６０２に含まれるニューロン数Ｎmid は便
宜上４０とする。中間層計算部８０３の計算は、追加ニ
ューロン計算部８０４からの出力を用いて、（２５），
（２６）式に従って荷重値及びしきい値を変更したあ
と、（１）式及び（２）式を用いて行なわれる。
応している。入力層記憶部８０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部８０３は、中間層６０２に対応する。中間層６０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層６０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層６０２に含まれるニューロン数Ｎmid は便
宜上４０とする。中間層計算部８０３の計算は、追加ニ
ューロン計算部８０４からの出力を用いて、（２５），
（２６）式に従って荷重値及びしきい値を変更したあ
と、（１）式及び（２）式を用いて行なわれる。
【００８１】追加ニューロン計算部８０４は、局所発火
型ニューロン群６０４に対応する。局所発火型ニューロ
ン１つに対して、入力層６０１との結合の荷重値を記憶
するＮin個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の中間層ニューロンの番号、変更すべきＮin個の荷重
値及びしきい値を記憶するメモリが、出力肢１本につき
必要になる。追加ニューロン数は学習により増加する。
追加ニューロン計算部８０４の計算は、（２４）式を用
いて行なわれるものとする。
型ニューロン群６０４に対応する。局所発火型ニューロ
ン１つに対して、入力層６０１との結合の荷重値を記憶
するＮin個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の中間層ニューロンの番号、変更すべきＮin個の荷重
値及びしきい値を記憶するメモリが、出力肢１本につき
必要になる。追加ニューロン数は学習により増加する。
追加ニューロン計算部８０４の計算は、（２４）式を用
いて行なわれるものとする。
【００８２】出力層計算部８０５は、出力層６０３に対
応する。出力層６０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層６０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部８０５の計
算は、（１）式及び（２）式を用いて行なわれる。出力
層６０３に含まれるニューロン数は、識別させたいカテ
ゴリの数によって定まる。
応する。出力層６０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層６０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部８０５の計
算は、（１）式及び（２）式を用いて行なわれる。出力
層６０３に含まれるニューロン数は、識別させたいカテ
ゴリの数によって定まる。
【００８３】中間層計算部８０３及び出力層計算部８０
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部８０４には無関係に進められる。
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部８０４には無関係に進められる。
【００８４】誤認識が生じた場合、誤認識信号が入力端
子８０７に入力される。この誤認識信号は、第３の発明
の一実施例と同様に、出力端子８０６から出力されるＮ
out個の信号の組に対して、何番目の信号値を上げる
か、あるいは何番目の信号値を下げるかという番号の組
である。誤認識識信号を受けた追加ニューロン制御部８
０８は、出力層計算部８０５の荷重値を参照し、第１及
び２の発明の作用で述べた手順により、追加ニューロン
計算部８０４内に存在するしきい値の変更あるいは、新
たなニューロンの追加すなわち１ニューロン分のメモリ
の確保、及び荷重値、しきい値、結合先が設定される。
その際、追加ニューロン制御部８０８から入力層記憶部
８０２に再認識信号が送られ、入力層記憶部８０２に保
存されていた入力データは中間層計算部８０３及び追加
ニューロン計算部８０４へ入力され、それらの出力は中
間層計算部８０３へ入力さ、出力層計算部８０５へ入力
される。出力層計算部８０５の出力が誤認識信号の要求
を満たした段階で、追加ニューロン制御部８０８は追加
ニューロン計算部８０４の制御を停止する。
子８０７に入力される。この誤認識信号は、第３の発明
の一実施例と同様に、出力端子８０６から出力されるＮ
out個の信号の組に対して、何番目の信号値を上げる
か、あるいは何番目の信号値を下げるかという番号の組
である。誤認識識信号を受けた追加ニューロン制御部８
０８は、出力層計算部８０５の荷重値を参照し、第１及
び２の発明の作用で述べた手順により、追加ニューロン
計算部８０４内に存在するしきい値の変更あるいは、新
たなニューロンの追加すなわち１ニューロン分のメモリ
の確保、及び荷重値、しきい値、結合先が設定される。
その際、追加ニューロン制御部８０８から入力層記憶部
８０２に再認識信号が送られ、入力層記憶部８０２に保
存されていた入力データは中間層計算部８０３及び追加
ニューロン計算部８０４へ入力され、それらの出力は中
間層計算部８０３へ入力さ、出力層計算部８０５へ入力
される。出力層計算部８０５の出力が誤認識信号の要求
を満たした段階で、追加ニューロン制御部８０８は追加
ニューロン計算部８０４の制御を停止する。
【００８５】以上、本第３，４の発明のパターン認識装
置の一実施例について述べた。従来の神経回路網として
３層のフィードフォワード型のニューラルネットを用い
たが、より多段のニューラルネットを用いたものでも、
他の学習モデルを用いたものでも、本第３，４の発明に
よる追記学習方法は有効である。また、濃淡特徴以外の
特徴量を入力データとして用いても、当然本第３，４の
発明は有効である。
置の一実施例について述べた。従来の神経回路網として
３層のフィードフォワード型のニューラルネットを用い
たが、より多段のニューラルネットを用いたものでも、
他の学習モデルを用いたものでも、本第３，４の発明に
よる追記学習方法は有効である。また、濃淡特徴以外の
特徴量を入力データとして用いても、当然本第３，４の
発明は有効である。
【００８６】
【発明の効果】以上説明したように本第１の発明は、神
経回路網に用いられるニューロンにおいて、０に十分近
い出力値となる第１の膜電位の値と、１に十分近い出力
値となる第２の膜電位の値と、新たな入力ベクトルに対
する第３の膜電位の値とを用いて、入力ベクトルに対す
る出力値が０に十分近くなるような、あるいは１に十分
近くなるような荷重ベクトル及びしきい値を計算し、入
力ベクトルに対する出力関数の形を変更することによ
り、変更前の荷重ベクトルとしきい値を求めるために用
いた入力に対する出力値を変えることなく新たな入力に
対する出力を変更することができる効果を有する。
経回路網に用いられるニューロンにおいて、０に十分近
い出力値となる第１の膜電位の値と、１に十分近い出力
値となる第２の膜電位の値と、新たな入力ベクトルに対
する第３の膜電位の値とを用いて、入力ベクトルに対す
る出力値が０に十分近くなるような、あるいは１に十分
近くなるような荷重ベクトル及びしきい値を計算し、入
力ベクトルに対する出力関数の形を変更することによ
り、変更前の荷重ベクトルとしきい値を求めるために用
いた入力に対する出力値を変えることなく新たな入力に
対する出力を変更することができる効果を有する。
【００８７】又、本第２の発明は、現在の第１の荷重ベ
クトル及びしきい値と、第１の発明の第１のニューロン
で計算される第２の荷重ベクトル及びしきい値と、入力
ベクトル空間において局所領域に発火する第２のニュー
ロンの出力値とを用いて計算される第３の荷重ベクトル
及びしきい値を用いて出力値を計算する第３のニューロ
ンを有することにより、入力空間における局所的領域の
みにおいて、第１の発明の効果を作用することができ、
誤認識が生じた場合の追記学習を容易に行うことができ
る効果を有する。
クトル及びしきい値と、第１の発明の第１のニューロン
で計算される第２の荷重ベクトル及びしきい値と、入力
ベクトル空間において局所領域に発火する第２のニュー
ロンの出力値とを用いて計算される第３の荷重ベクトル
及びしきい値を用いて出力値を計算する第３のニューロ
ンを有することにより、入力空間における局所的領域の
みにおいて、第１の発明の効果を作用することができ、
誤認識が生じた場合の追記学習を容易に行うことができ
る効果を有する。
【００８８】更に、第３の発明は、多層神経回路網を用
いたパターン認識装置において、入力層記憶部と、入力
層記憶部の出力を用いて計算を行なう中間層計算部と、
中間層計算部の出力を用いて計算を行なう追加ニューロ
ン計算部と、中間層計算部の出力と追加ニューロン計算
部の出力を用いて第２の発明の神経回路網による計算に
従う出力層計算部と、追加ニューロン計算部への新しい
ニューロンの追加、しきい値の制御及び第１の発明のニ
ューロンの計算により荷重ベクトルとしきい値を計算す
る追加ニューロン制御部とを有し、又第４の発明は、入
力層記憶部と、入力層記憶部の出力を用いて計算を行な
う追加ニューロン計算部と、入力層記憶部の出力と追加
ニューロン計算部の出力を用いて第２の発明の神経回路
網の計算に従う中間層計算部と、中間層計算部の出力を
用いて計算を行なう出力層計算部と、出力層計算部にお
ける荷重値を用いて追加ニューロン計算部への新しいニ
ューロンの追加、しきい値の制御及び第１の発明のニュ
ーロンの計算により荷重ベクトルとしきい値を計算する
追加ニューロン制御部を有することにより、誤認識する
パターンの追記学習が容易に行え、以後正しく認識する
ことができるようにすることができる効果がある。例え
ば個人に依存するような手書文字認識においては、個人
の癖などが追加ニューロン群として登録することがで
き、全体として認識率を向上させることができる効果が
ある。さらに本第３，４の発明によれば、手書文字認識
のみならず異なるフォントの印刷文字認識についても有
効であり、文字認識に限らず一般のパターンについても
適用することができる効果がある。
いたパターン認識装置において、入力層記憶部と、入力
層記憶部の出力を用いて計算を行なう中間層計算部と、
中間層計算部の出力を用いて計算を行なう追加ニューロ
ン計算部と、中間層計算部の出力と追加ニューロン計算
部の出力を用いて第２の発明の神経回路網による計算に
従う出力層計算部と、追加ニューロン計算部への新しい
ニューロンの追加、しきい値の制御及び第１の発明のニ
ューロンの計算により荷重ベクトルとしきい値を計算す
る追加ニューロン制御部とを有し、又第４の発明は、入
力層記憶部と、入力層記憶部の出力を用いて計算を行な
う追加ニューロン計算部と、入力層記憶部の出力と追加
ニューロン計算部の出力を用いて第２の発明の神経回路
網の計算に従う中間層計算部と、中間層計算部の出力を
用いて計算を行なう出力層計算部と、出力層計算部にお
ける荷重値を用いて追加ニューロン計算部への新しいニ
ューロンの追加、しきい値の制御及び第１の発明のニュ
ーロンの計算により荷重ベクトルとしきい値を計算する
追加ニューロン制御部を有することにより、誤認識する
パターンの追記学習が容易に行え、以後正しく認識する
ことができるようにすることができる効果がある。例え
ば個人に依存するような手書文字認識においては、個人
の癖などが追加ニューロン群として登録することがで
き、全体として認識率を向上させることができる効果が
ある。さらに本第３，４の発明によれば、手書文字認識
のみならず異なるフォントの印刷文字認識についても有
効であり、文字認識に限らず一般のパターンについても
適用することができる効果がある。
【図１】本第１の発明の一実施例を示すブロック図であ
る。
る。
【図２】本第２の発明の一実施例を示すブロック図であ
る。
る。
【図３】本第３の発明の一実施例を示すブロック図であ
る。
る。
【図４】本第３の発明の一実施例に使用されるデジタル
フィルターの一例を示す図である。
フィルターの一例を示す図である。
【図５】本第４の発明の一実施例を示すブロック図であ
る。
る。
【図６】ニューロンの出力関数の一例を示す図である。
【図７】入力が２次元の場合のニューロンの出力値を示
す図である。
す図である。
【図８】本第３の発明の一実施例のパターン認識装置で
用いられる神経回路網の一モデルを示す図である。
用いられる神経回路網の一モデルを示す図である。
【図９】本第４の発明の一実施例のパターン認識装置で
用いられる神経回路網の一モデルを示す図である。
用いられる神経回路網の一モデルを示す図である。
【図１０】３層のフィードフォワード型神経回路網の一
モデルを示す図である。
モデルを示す図である。
１０１ 入力端子 １０２ 入力層記憶部 １０３ 中間層計算部 １０４ 追加ニューロン計算部 １０５ 出力層計算部 １０６ 出力端子 １０７ 入力端子 １０８ 追加ニューロン制御部 ２０１ 入力層 ２０２ 中間層 ２０３ 出力層 ３０１ 入力学習データ ３０２ 入力学習データ ３０３ 変更前のニューロンの出力関数 ３０４ 「興奮性の作用」後のニューロンの出力関数 ３０５ 「抑制性の作用」後のニューロンの出力関数 ４０１ 変更前のニューロンの出力値直線 ４０２ 入力データ ４０３ 「興奮制の作用」後のニューロンの出力値直
線 ４０４ 局所発火型ニューロンの発火領域 ４０５ 入力データ ４０６ 「抑制性の作用」後のニューロンの出力値直
線 ４０７ 局所発火型ニューロンの発火領域 ５０１ 入力層 ５０２ 中間層 ５０３ 出力層 ５０４ 局所発火型ニューロン群 ６０１ 入力層 ６０２ 中間層 ６０３ 出力層 ６０４ 局所発火型ニューロン群 ８０１ 入力端子 ８０２ 入力層記憶部 ８０３ 中間層計算部 ８０４ 追加ニューロン計算部 ８０５ 出力層計算部 ８０６ 出力端子 ８０７ 入力端子 ８０８ 追加ニューロン制御部 ９０１ 入力端子 ９０２ 膜電位計算部 ９０３ 出力値計算部 ９０４ 出力端子 ９０５ 入力端子 ９０６ 荷重ベクトル計算部 ９０７ しきい値計算部 ９０８ 荷重ベクトル計算部 ９０９ しきい値計算部 １００１ 入力端子 １００２ 膜電位計算部 １００３ 出力値計算部 １００４ 出力端子 １００５ 入力端子 １００６ 入力端子 １００７ 荷重ベクトル計算部 １００８ しきい値計算部 １００９ 荷重ベクトル計算部 １０１０ しきい値計算部 １０１１ 荷重ベクトル保存部 １０１２ しきい値保存部
線 ４０４ 局所発火型ニューロンの発火領域 ４０５ 入力データ ４０６ 「抑制性の作用」後のニューロンの出力値直
線 ４０７ 局所発火型ニューロンの発火領域 ５０１ 入力層 ５０２ 中間層 ５０３ 出力層 ５０４ 局所発火型ニューロン群 ６０１ 入力層 ６０２ 中間層 ６０３ 出力層 ６０４ 局所発火型ニューロン群 ８０１ 入力端子 ８０２ 入力層記憶部 ８０３ 中間層計算部 ８０４ 追加ニューロン計算部 ８０５ 出力層計算部 ８０６ 出力端子 ８０７ 入力端子 ８０８ 追加ニューロン制御部 ９０１ 入力端子 ９０２ 膜電位計算部 ９０３ 出力値計算部 ９０４ 出力端子 ９０５ 入力端子 ９０６ 荷重ベクトル計算部 ９０７ しきい値計算部 ９０８ 荷重ベクトル計算部 ９０９ しきい値計算部 １００１ 入力端子 １００２ 膜電位計算部 １００３ 出力値計算部 １００４ 出力端子 １００５ 入力端子 １００６ 入力端子 １００７ 荷重ベクトル計算部 １００８ しきい値計算部 １００９ 荷重ベクトル計算部 １０１０ しきい値計算部 １０１１ 荷重ベクトル保存部 １０１２ しきい値保存部
Claims (4)
- 【請求項１】 神経回路網に用いられるニューロンにお
いて、０に十分近い出力値となる第１の膜電位の値と、
１に十分近い出力値となる第２の膜電位の値と、新たな
入力ベクトルに対する第３の膜電位の値とを用いて、前
記入力ベクトルに対する出力値が０に十分近くなるよう
な、あるいは１に十分近くなるような荷重ベクトル及び
しきい値を計算し、前記入力ベクトルに対する出力関数
の形を変更することを特徴とするニューロン。 - 【請求項２】 現在の第１の荷重ベクトル及びしきい値
と、請求項１記載の第１のニューロンで計算される第２
の荷重ベクトル及びしきい値と、入力ベクトル空間にお
いて局所領域に発火する第２のニューロンの出力値とを
用いて計算される第３の荷重ベクトル及びしきい値を用
いて出力値を計算する第３のニューロンを有することを
特徴とする神経回路網。 - 【請求項３】 多層神経回路網を用いたパターン認識装
置において、入力層記憶部と、前記入力層記憶部の出力
を用いて計算を行なう中間層計算部と、前記中間層計算
部の出力を用いて計算を行なう追加ニューロン計算部
と、前記中間層計算部の出力と前記追加ニューロン計算
部の出力を用いて請求項２記載の神経回路網による計算
に従う出力層計算部と、前記追加ニューロン計算部への
新しいニューロンの追加、しきい値の制御及び請求項１
記載のニューロンの計算により荷重ベクトルとしきい値
を計算する追加ニューロン制御部とを有することを特徴
とするパターン認識装置。 - 【請求項４】 多層神経回路網を用いたパターン認識装
置において、入力層記憶部と、前記入力層記憶部の出力
を用いて計算を行なう追加ニューロン計算部と、前記入
力層記憶部の出力と前記追加ニューロン計算部の出力を
用いて請求項２記載の神経回路網の計算に従う中間層計
算部と、前記中間層計算部の出力を用いて計算を行なう
出力層計算部と、前記出力層計算部における荷重値を用
いて前記追加ニューロン計算部への新しいニューロンの
追加、しきい値の制御及び請求項１記載のニューロンの
計算により荷重ベクトルとしきい値を計算する追加ニュ
ーロン制御部とを有することを特徴とするパターン認識
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4003439A JP3027874B2 (ja) | 1992-01-13 | 1992-01-13 | 神経回路網及びそのパターン認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4003439A JP3027874B2 (ja) | 1992-01-13 | 1992-01-13 | 神経回路網及びそのパターン認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05257917A true JPH05257917A (ja) | 1993-10-08 |
| JP3027874B2 JP3027874B2 (ja) | 2000-04-04 |
Family
ID=11557389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4003439A Expired - Fee Related JP3027874B2 (ja) | 1992-01-13 | 1992-01-13 | 神経回路網及びそのパターン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3027874B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005352900A (ja) * | 2004-06-11 | 2005-12-22 | Canon Inc | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 |
| WO2018173800A1 (ja) * | 2017-03-21 | 2018-09-27 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
-
1992
- 1992-01-13 JP JP4003439A patent/JP3027874B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005352900A (ja) * | 2004-06-11 | 2005-12-22 | Canon Inc | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 |
| US8015130B2 (en) | 2004-06-11 | 2011-09-06 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, pattern recognition apparatus, and pattern recognition method |
| WO2018173800A1 (ja) * | 2017-03-21 | 2018-09-27 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
| US11068751B2 (en) | 2017-03-21 | 2021-07-20 | Nec Corporation | Image processing device, image processing method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3027874B2 (ja) | 2000-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5086479A (en) | Information processing system using neural network learning function | |
| CN109508634B (zh) | 基于迁移学习的船舶类型识别方法及系统 | |
| CN111914727B (zh) | 基于平衡采样与非线性特征融合的小目标人体检测方法 | |
| CN110110668B (zh) | 一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法 | |
| CN112990097A (zh) | 一种基于对抗消除的人脸表情识别方法 | |
| US5832108A (en) | Pattern recognition method using a network and system therefor | |
| JP2005352900A (ja) | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 | |
| CN111079790A (zh) | 一种构建类别中心的图像分类方法 | |
| US5479569A (en) | Intelligence information processing method | |
| JPH05257917A (ja) | 神経回路網及びそのパターン認識装置 | |
| CN114120406B (zh) | 基于卷积神经网络的人脸特征提取分类方法 | |
| JP2780454B2 (ja) | 追記学習型パターン認識装置 | |
| Cecotti et al. | Rejection strategy for convolutional neural network by adaptive topology applied to handwritten digits recognition | |
| Benchaou et al. | Neural network for numeral recognition | |
| Benchaou et al. | New approach of preprocessing for numeral recognition | |
| US20220156590A1 (en) | Artificial intelligence system and artificial neural network learning method thereof | |
| JPH04501327A (ja) | パターン伝達ニューラルネットワーク | |
| Qumsieh | A Supervised Modified Hebbian Learning Method On Feed-forward Neural Networks | |
| Ritter et al. | Noise tolerant dendritic lattice associative memories | |
| Zhang et al. | A new framework for automatic feature selection for tracking | |
| Lee | Neural Network Applications In Hand-Written Symbol Understanding | |
| JP2682203B2 (ja) | 文字認識方法 | |
| Takanashi et al. | Image Classification Using l 1-fidelity Multi-layer Convolutional Sparse Representation | |
| KR19990081569A (ko) | 문자 인식을 위한 특징 벡터값 추출 방법 | |
| JPH0460865A (ja) | 神経回路網学習法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991130 |
|
| LAPS | Cancellation because of no payment of annual fees |