JP3027874B2 - 神経回路網及びそのパターン認識装置 - Google Patents
神経回路網及びそのパターン認識装置Info
- Publication number
- JP3027874B2 JP3027874B2 JP4003439A JP343992A JP3027874B2 JP 3027874 B2 JP3027874 B2 JP 3027874B2 JP 4003439 A JP4003439 A JP 4003439A JP 343992 A JP343992 A JP 343992A JP 3027874 B2 JP3027874 B2 JP 3027874B2
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- output
- value
- input
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】本発明は神経回路網を用いたパタ
ーン認識装置に関する。
ーン認識装置に関する。
【０００２】
【従来の技術】従来、この種の神経回路網を用いたパタ
ーン認識装置には、多層のフィードフォワード型神経回
路網が用いられ、認識に必要な認識辞書は学習により自
己組織的に作成され、認識時の追記学習及び内部構造の
変化は考慮されていない。
ーン認識装置には、多層のフィードフォワード型神経回
路網が用いられ、認識に必要な認識辞書は学習により自
己組織的に作成され、認識時の追記学習及び内部構造の
変化は考慮されていない。
【０００３】図１０は３層のフィードフォワード型神経
回路網の一モデルを示す図である。
回路網の一モデルを示す図である。
【０００４】図１０において、入力層２０１に入力され
た入力パターンは中間層２０２及び出力層２０３で演算
され、認識結果を出力する。各層に丸で示したのはニュ
ーロンと呼ばれるモデル化された神経細胞であり、ニュ
ーロン間の結合を実線で示してある。入力層２０１の各
ニューロンｎ11，ｎ12，ｎ13は、一般に入力パターンを
保存するメモリの役割を果たし、入力パターンと同じ値
を出力する。中間層２０２及び出力層２０３の各ニュー
ロンｎ21，ｎ22，ｎ23，ｎ31，ｎ32，ｎ33は入力パター
ンに近い側の層の各ニューロンｎ11，ｎ12，ｎ13から入
力を受け、次式で表わされる計算計画を出力する。 ｕ＝Ｗ・Ｘ−ｈ （１） ｚ＝ｆ（ｕ） ここで、Ｗは荷重ベクトルと呼ばれ、その成分ｗi はシ
ナプス荷重の値を表わす。Ｘは入力ベクトルと呼ばれ、
その成分ｘi は他のニューロンからの入力値を表わす。
ｚはニューロンの出力値である。ｈはしきい値と呼ば
れ、ｕは膜電位と呼ばれる。ｆ（ｕ）は出力関数と呼ば
れ、一般に次式で示すシグモイド関数が用いられる。
た入力パターンは中間層２０２及び出力層２０３で演算
され、認識結果を出力する。各層に丸で示したのはニュ
ーロンと呼ばれるモデル化された神経細胞であり、ニュ
ーロン間の結合を実線で示してある。入力層２０１の各
ニューロンｎ11，ｎ12，ｎ13は、一般に入力パターンを
保存するメモリの役割を果たし、入力パターンと同じ値
を出力する。中間層２０２及び出力層２０３の各ニュー
ロンｎ21，ｎ22，ｎ23，ｎ31，ｎ32，ｎ33は入力パター
ンに近い側の層の各ニューロンｎ11，ｎ12，ｎ13から入
力を受け、次式で表わされる計算計画を出力する。 ｕ＝Ｗ・Ｘ−ｈ （１） ｚ＝ｆ（ｕ） ここで、Ｗは荷重ベクトルと呼ばれ、その成分ｗi はシ
ナプス荷重の値を表わす。Ｘは入力ベクトルと呼ばれ、
その成分ｘi は他のニューロンからの入力値を表わす。
ｚはニューロンの出力値である。ｈはしきい値と呼ば
れ、ｕは膜電位と呼ばれる。ｆ（ｕ）は出力関数と呼ば
れ、一般に次式で示すシグモイド関数が用いられる。
【０００５】 ｆ（ｕ）＝１／（１＋ｅｘｐ（−ｕ）） （２） ある入力パターンについて望ましい出力になるように、
各層のユニットの重み値及びしきい値を調整することを
学習と呼び、通常は誤差逆伝播学習法（Ｄ．Ｅ．Ｒｕｍ
ｅｌｈａｒｔ，Ｇ．Ｅ．Ｈｉｎｔｏｎ ａｎｄ Ｒ．
Ｊ．Ｗｉｌｌｉａｍｓ：Ｌｅａｒｎｉｎｇ ｉｎｔｅｒ
ｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙ ｅｒｒ
ｏｒ ｐｒｏｐａｇａｔｉｏｎ，Ｐａｒａｌｌｅｌ Ｄ
ｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏ
ｌ．１，Ｊ．Ｌ．ＭｃＣｌｅｌｌａｎｄ，Ｄ．Ｅ．Ｒｕ
ｍｅｌｈａｒｔ ａｎｄ Ｔｈｅ ＰＤＰ Ｒｅｓｅａ
ｒｃｈ Ｇｒｏｕｐ，ＭＩＴ Ｐｒｅｓｓ，１９８
６．）が用いられる。
各層のユニットの重み値及びしきい値を調整することを
学習と呼び、通常は誤差逆伝播学習法（Ｄ．Ｅ．Ｒｕｍ
ｅｌｈａｒｔ，Ｇ．Ｅ．Ｈｉｎｔｏｎ ａｎｄ Ｒ．
Ｊ．Ｗｉｌｌｉａｍｓ：Ｌｅａｒｎｉｎｇ ｉｎｔｅｒ
ｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙ ｅｒｒ
ｏｒ ｐｒｏｐａｇａｔｉｏｎ，Ｐａｒａｌｌｅｌ Ｄ
ｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏ
ｌ．１，Ｊ．Ｌ．ＭｃＣｌｅｌｌａｎｄ，Ｄ．Ｅ．Ｒｕ
ｍｅｌｈａｒｔ ａｎｄ Ｔｈｅ ＰＤＰ Ｒｅｓｅａ
ｒｃｈ Ｇｒｏｕｐ，ＭＩＴ Ｐｒｅｓｓ，１９８
６．）が用いられる。
【０００６】この学習法は、学習パターンを入力層２０
１に入力し、（１）式で示した計算の結果得られた出力
層２０３からの出力と、望ましい出力である教師信号と
の二乗誤差が、与えた学習パターン全てに対して最小に
なるように荷重値及びしきい値を変更する。
１に入力し、（１）式で示した計算の結果得られた出力
層２０３からの出力と、望ましい出力である教師信号と
の二乗誤差が、与えた学習パターン全てに対して最小に
なるように荷重値及びしきい値を変更する。
【０００７】出力値２０３の荷重値及びしきい値は次式
に従って変更される。
に従って変更される。
【０００８】 δ(3) j ＝ｏ(3) j （１−ｏ(3) j ）（ｙj −ｏ(3) j ） （３） ｗ(3) ij＝ｗ(3) ij＋ηδ(3) j ｏ(2) ｉ （４） ｈ(3) j ＝ｈ(3) j ＋ηδ(3) ｊ （５） ここで、ｏ(3) j 、ｈ(3) j は出力層２０３のｊ番目の
ニューロンの出力値及びしきい値、ｙj は出力層２０３
のｊ番目のニューロンに対する教師信号、ｏ(2) i は中
間層２０２のｉ番目のニューロンの出力値、ｗ(3) ijは
中間層２０２のｉ番目のニューロンと出力層２０３のｊ
番目のニューロンの間の荷重値である。
ニューロンの出力値及びしきい値、ｙj は出力層２０３
のｊ番目のニューロンに対する教師信号、ｏ(2) i は中
間層２０２のｉ番目のニューロンの出力値、ｗ(3) ijは
中間層２０２のｉ番目のニューロンと出力層２０３のｊ
番目のニューロンの間の荷重値である。
【０００９】中間層２０２の荷重値及びしきい値は次式
に従って変更される。
に従って変更される。
【００１０】
【００１１】ここで、ｏ(2) j 、ｈ(2) j は中間層２０
２のｊ番目のニューロンの出力値及びしきい値、ｏ(1)
i は入力層２０１のｉ番目のニューロンの出力値、ｗ
(2) ijは入力層２０１のｉ番目のニューロンと中間層２
０２のｊ番目のニューロンの間の荷重値、Ｎは出力層２
０３に含まれるニューロンの数である。ηは学習係数と
呼ばれ、１より小さい値が用いられる。
２のｊ番目のニューロンの出力値及びしきい値、ｏ(1)
i は入力層２０１のｉ番目のニューロンの出力値、ｗ
(2) ijは入力層２０１のｉ番目のニューロンと中間層２
０２のｊ番目のニューロンの間の荷重値、Ｎは出力層２
０３に含まれるニューロンの数である。ηは学習係数と
呼ばれ、１より小さい値が用いられる。
【００１２】この誤差逆伝播学習法を用いた３層のフィ
ードフォワード型神経回路網による認識率が非常に高い
ことが報告されている［山田、上、溝口、天満：“ニュ
ーラルネットを用いた文字認識”，信学技報，ＰＲＵ８
８−５８，７８−８６（１９８８）］。
ードフォワード型神経回路網による認識率が非常に高い
ことが報告されている［山田、上、溝口、天満：“ニュ
ーラルネットを用いた文字認識”，信学技報，ＰＲＵ８
８−５８，７８−８６（１９８８）］。
【００１３】
【発明が解決しようとする課題】高精度のパターン認識
装置を実現するためには、学習によって作成された認識
辞書の認識性能を落とさずに誤認識した入力データを正
しく認識するようにする追記学習と呼ばれる方法が重要
であるが、上述した従来の神経回路網を用いたパターン
認識装置では、追記学習が困難であるという問題点があ
る。具体的な例をあげると、１）既に学習を行なった従
来の神経回路網を利用したパターン認識装置に新たな入
力データを学習させると、新しいデータのみに学習辞書
が適応し、過去に学習したデータに対する性能を保持で
きない：２）認識性能を落とさずに追記学習をするに
は、これまで学習に用いた全ての入力データと誤認識し
た入力データを全て用いて神経回路網全体を再学習しな
ければならない。従って過去の学習で作成した認識辞書
を継承できない：３）神経回路網の一回の学習は、学習
させたい全ての入力データを何回も入力して学習が収束
するまで行なうため、非常に長い時間がかかる。入力デ
ータを覚えさせる度にこの学習過程を繰り返すことは、
膨大な計算量と計算時間を必要とする：４）通常用いら
れる神経回路網はニューロン数が一定のため、追記する
入力パターン数が多くなると、誤差逆伝播学習で用いら
れる教師信号と出力値との２乗誤差が十分小さくなら
ず、学習が収束しなくなる可能性がある。手書文字認識
など個人に依存するようなパターン認識においては、そ
の個人専用の認識辞書が不可欠であるが、従来の神経回
路網を利用したパターン認識装置では、以上の理由から
個人辞書を作成することは非常に困難である。
装置を実現するためには、学習によって作成された認識
辞書の認識性能を落とさずに誤認識した入力データを正
しく認識するようにする追記学習と呼ばれる方法が重要
であるが、上述した従来の神経回路網を用いたパターン
認識装置では、追記学習が困難であるという問題点があ
る。具体的な例をあげると、１）既に学習を行なった従
来の神経回路網を利用したパターン認識装置に新たな入
力データを学習させると、新しいデータのみに学習辞書
が適応し、過去に学習したデータに対する性能を保持で
きない：２）認識性能を落とさずに追記学習をするに
は、これまで学習に用いた全ての入力データと誤認識し
た入力データを全て用いて神経回路網全体を再学習しな
ければならない。従って過去の学習で作成した認識辞書
を継承できない：３）神経回路網の一回の学習は、学習
させたい全ての入力データを何回も入力して学習が収束
するまで行なうため、非常に長い時間がかかる。入力デ
ータを覚えさせる度にこの学習過程を繰り返すことは、
膨大な計算量と計算時間を必要とする：４）通常用いら
れる神経回路網はニューロン数が一定のため、追記する
入力パターン数が多くなると、誤差逆伝播学習で用いら
れる教師信号と出力値との２乗誤差が十分小さくなら
ず、学習が収束しなくなる可能性がある。手書文字認識
など個人に依存するようなパターン認識においては、そ
の個人専用の認識辞書が不可欠であるが、従来の神経回
路網を利用したパターン認識装置では、以上の理由から
個人辞書を作成することは非常に困難である。
【００１４】本発明の目的は、従来の神経回路網を用い
たパターン認識装置の欠点である追記学習が困難という
課題を除去し、認識時に誤認識した入力パターンと特徴
空間におけるその入力パターン近傍のパターン入力に対
して識別面を修正することにより、誤認識したパターン
群を追加辞書として登録し、しかもそれまで作成されて
いる標準辞書を変更することなく認識率を向上させる神
経回路網及びそのパターン認識装置を提供することにあ
る。
たパターン認識装置の欠点である追記学習が困難という
課題を除去し、認識時に誤認識した入力パターンと特徴
空間におけるその入力パターン近傍のパターン入力に対
して識別面を修正することにより、誤認識したパターン
群を追加辞書として登録し、しかもそれまで作成されて
いる標準辞書を変更することなく認識率を向上させる神
経回路網及びそのパターン認識装置を提供することにあ
る。
【００１５】
【課題を解決するための手段】本第１の発明のニューロ
ンは、入力ベクトルＸとこの入力ベクトルＸのシナプス
結合荷重の値を示す荷重ベクトルＷとのベクトル内積か
らこのベクトル内積の出力の大きさを制御するしきい値
ｈを引いて得られる膜電位の値をシグモイド関数等の単
調増加関数に入力して出力値が得られる積和型のニュー
ロンにおいて、前記ニューロンの出力値が十分１に近い
値となる第１の膜電位の値をＵＨ、前記ニューロンの出
力値が十分０に近い値となる第２の膜電位の値をＵＬ、
ある入力ベクトルＸＡに対する膜電位の値をＵＡとする
と、膜電位の値が前記ＵＬとなる任意のベクトルＸＬに
対する膜電位の値を前記ＵＬに保ちつつ、前記入力ベク
トルＸＡに対する膜電位の値がＵＨになるように前記荷
重ベクトルＷと前記しきい値ｈとを変更し、あるいは膜
電位の値が前記ＵＨとなる任意のベクトルＸＨに対する
膜電位の値をＵＨに保ちつつ、前記入力ベクトルＸＡに
対する膜電位の値が前記ＵＬになるように前記荷重ベク
トルＷと前記しきい値ｈとを変更する。
ンは、入力ベクトルＸとこの入力ベクトルＸのシナプス
結合荷重の値を示す荷重ベクトルＷとのベクトル内積か
らこのベクトル内積の出力の大きさを制御するしきい値
ｈを引いて得られる膜電位の値をシグモイド関数等の単
調増加関数に入力して出力値が得られる積和型のニュー
ロンにおいて、前記ニューロンの出力値が十分１に近い
値となる第１の膜電位の値をＵＨ、前記ニューロンの出
力値が十分０に近い値となる第２の膜電位の値をＵＬ、
ある入力ベクトルＸＡに対する膜電位の値をＵＡとする
と、膜電位の値が前記ＵＬとなる任意のベクトルＸＬに
対する膜電位の値を前記ＵＬに保ちつつ、前記入力ベク
トルＸＡに対する膜電位の値がＵＨになるように前記荷
重ベクトルＷと前記しきい値ｈとを変更し、あるいは膜
電位の値が前記ＵＨとなる任意のベクトルＸＨに対する
膜電位の値をＵＨに保ちつつ、前記入力ベクトルＸＡに
対する膜電位の値が前記ＵＬになるように前記荷重ベク
トルＷと前記しきい値ｈとを変更する。
【００１６】本第２の発明の神経回路網は、入力ベクト
ルＸとこの入力ベクトルＸのシナプス結合荷重の値を示
す荷重ベクトルＷとのベクトル内積からこのベクトル内
積の出力の大きさを制御するしきい値ｈを引いて得られ
る膜電位の値をシグモイド関数等の単調増加関数に入力
して出力値が得られる積和型の第１のニューロンと、あ
る入力ベクトルＸＡを中心とするある半径内の出力値が
１、それ以外の出力値が０となる局所型の第２のニュー
ロンとを有し、前記入力ベクトルＸに対して前記第２の
ニューロンの出力値が０の場合前記第１のニューロンは
前記荷重ベクトルＷと前記しきい値ｈを用いて求められ
る膜電位に対する出力を行い、前記入力ベクトルＸに対
して前記第２のニューロンの出力値が１の場合前記第１
のニューロンは請求項１記載の方法によって変更された
荷重ベクトルＷ’としきい値ｈ’とを用いて求められる
膜電位に対する出力を行う。
ルＸとこの入力ベクトルＸのシナプス結合荷重の値を示
す荷重ベクトルＷとのベクトル内積からこのベクトル内
積の出力の大きさを制御するしきい値ｈを引いて得られ
る膜電位の値をシグモイド関数等の単調増加関数に入力
して出力値が得られる積和型の第１のニューロンと、あ
る入力ベクトルＸＡを中心とするある半径内の出力値が
１、それ以外の出力値が０となる局所型の第２のニュー
ロンとを有し、前記入力ベクトルＸに対して前記第２の
ニューロンの出力値が０の場合前記第１のニューロンは
前記荷重ベクトルＷと前記しきい値ｈを用いて求められ
る膜電位に対する出力を行い、前記入力ベクトルＸに対
して前記第２のニューロンの出力値が１の場合前記第１
のニューロンは請求項１記載の方法によって変更された
荷重ベクトルＷ’としきい値ｈ’とを用いて求められる
膜電位に対する出力を行う。
【００１７】本第３の発明の神経回路網を用いたパター
ン認識装置は、入力層記憶部と、この入力層記憶部の出
力を用いて計算を行う積和型のニューロンを含む中間層
計算部と、この中間層計算部の出力を用いて計算を行う
局所型のニューロンを含む追加ニューロン計算部と、前
記中間層計算部の出力を入力ベクトルとし請求項２記載
の方法により前記追加ニューロン計算部の出力に応じて
荷重ベクトルとしきい値とが変化する前記積和型のニュ
ーロンを含む出力層計算部と、前記追加ニューロン計算
部へ新しいニューロンを追加する追加ニューロン制御部
とから成り、ある入力ベクトルに対して前記出力層計算
部のある積和型第１のニューロンの出力値を上げる場合
には、前記追加ニューロン計算部に既に追加されている
ニューロンのうち前記第１のニューロンの膜電位を下げ
る作用をする前記局所型のニューロンの半径を小さくす
るとともに、所望の出力が前記第１のニューロンから得
られない場合は第１の新たな局所型のニューロンを前記
第１のニューロンの膜電位が上がるように前記追加ニュ
ーロン計算部に追加し、また、ある入力ベクトルに対し
て前記出力層計算部のある積和型第２のニューロンの出
力値を下げる場合には、前記追加ニューロン計算部に既
に追加されているニューロンのうち前記第２のニューロ
ンの膜電位を上げる作用をする前記局所型のニューロン
の半径を小さくするとともに、所望の出力が前記第２の
ニューロンから得られない場合は第２の新たな局所型の
ニューロンを前記第２のニューロンの膜電位が下がるよ
うに前記追加ニューロン計算部に追加する。
ン認識装置は、入力層記憶部と、この入力層記憶部の出
力を用いて計算を行う積和型のニューロンを含む中間層
計算部と、この中間層計算部の出力を用いて計算を行う
局所型のニューロンを含む追加ニューロン計算部と、前
記中間層計算部の出力を入力ベクトルとし請求項２記載
の方法により前記追加ニューロン計算部の出力に応じて
荷重ベクトルとしきい値とが変化する前記積和型のニュ
ーロンを含む出力層計算部と、前記追加ニューロン計算
部へ新しいニューロンを追加する追加ニューロン制御部
とから成り、ある入力ベクトルに対して前記出力層計算
部のある積和型第１のニューロンの出力値を上げる場合
には、前記追加ニューロン計算部に既に追加されている
ニューロンのうち前記第１のニューロンの膜電位を下げ
る作用をする前記局所型のニューロンの半径を小さくす
るとともに、所望の出力が前記第１のニューロンから得
られない場合は第１の新たな局所型のニューロンを前記
第１のニューロンの膜電位が上がるように前記追加ニュ
ーロン計算部に追加し、また、ある入力ベクトルに対し
て前記出力層計算部のある積和型第２のニューロンの出
力値を下げる場合には、前記追加ニューロン計算部に既
に追加されているニューロンのうち前記第２のニューロ
ンの膜電位を上げる作用をする前記局所型のニューロン
の半径を小さくするとともに、所望の出力が前記第２の
ニューロンから得られない場合は第２の新たな局所型の
ニューロンを前記第２のニューロンの膜電位が下がるよ
うに前記追加ニューロン計算部に追加する。
【００１８】本第４の発明の神経回路網を用いたパター
ン認識装置は、入力層記憶部と、この入力層計算部の出
力を用いて計算を行う局所型のニューロンを含む追加ニ
ューロン計算部と、前記入力層計算部の出力を入力ベク
トルとし請求項２記載の方法により前記追加ニューロン
計算部の出力に応じて荷重ベクトルとしきい値とが変化
する積和型のニューロンを含む中間層計算部と、この中
間層計算部の出力を用いて計算を行う前記積和型のニュ
ーロンを含む出力層計算部と、前記追加ニューロン計算
部へ新しいニューロンを追加する追加ニューロン制御部
とから成り、ある入力ベクトルに対して前記出力層計算
部のある積和型の第１のニューロンの出力値を上げる場
合には、前記追加ニューロン計算部に既に追加されてい
るニューロンのうち前記第１のニューロンの膜電位を下
げる作用をする前記局所型のニューロンの半径を小さく
するとともに、所望の出力が前記第１のニューロンから
得られない場合は第１の新たな局所型ニューロンを前記
第１のニューロンの膜電位が上がるように前記追加ニュ
ーロン計算部に追加し、また、ある入力ベクトルに対し
て前記出力層計算部のある積和型の第２のニューロンの
出力値を下げる場合には、前記追加ニューロン計算部に
既に追加されているニューロンのうち前記第２のニュー
ロンの膜電位を上げる作用をする局所型のニューロンの
半径を小さくするとともに、所望の出力が前記第２のニ
ューロンから得られない場合は第２の新たな局所型ニュ
ーロンを前記第２のニューロンの膜電位が下がるように
前記追加ニューロン計算部に追加する。
ン認識装置は、入力層記憶部と、この入力層計算部の出
力を用いて計算を行う局所型のニューロンを含む追加ニ
ューロン計算部と、前記入力層計算部の出力を入力ベク
トルとし請求項２記載の方法により前記追加ニューロン
計算部の出力に応じて荷重ベクトルとしきい値とが変化
する積和型のニューロンを含む中間層計算部と、この中
間層計算部の出力を用いて計算を行う前記積和型のニュ
ーロンを含む出力層計算部と、前記追加ニューロン計算
部へ新しいニューロンを追加する追加ニューロン制御部
とから成り、ある入力ベクトルに対して前記出力層計算
部のある積和型の第１のニューロンの出力値を上げる場
合には、前記追加ニューロン計算部に既に追加されてい
るニューロンのうち前記第１のニューロンの膜電位を下
げる作用をする前記局所型のニューロンの半径を小さく
するとともに、所望の出力が前記第１のニューロンから
得られない場合は第１の新たな局所型ニューロンを前記
第１のニューロンの膜電位が上がるように前記追加ニュ
ーロン計算部に追加し、また、ある入力ベクトルに対し
て前記出力層計算部のある積和型の第２のニューロンの
出力値を下げる場合には、前記追加ニューロン計算部に
既に追加されているニューロンのうち前記第２のニュー
ロンの膜電位を上げる作用をする局所型のニューロンの
半径を小さくするとともに、所望の出力が前記第２のニ
ューロンから得られない場合は第２の新たな局所型ニュ
ーロンを前記第２のニューロンの膜電位が下がるように
前記追加ニューロン計算部に追加する。
【００１９】
【作用】本第１の発明の作用について記す。
【００２０】簡単のため、まず入力が１次元の場合につ
いて説明する。ニューロンの出力関数は次式で与えられ
る。
いて説明する。ニューロンの出力関数は次式で与えられ
る。
【００２１】 ｚ＝ｆ（ｗｘ−ｈ） （９） ここで、ｆは（２）式で表わされるシグモイド関数であ
る。図６は横軸を入力値ｘ、縦軸を出力値ｚとした場合
のニューロンの出力関数を示す図である。
る。図６は横軸を入力値ｘ、縦軸を出力値ｚとした場合
のニューロンの出力関数を示す図である。
【００２２】図６において、ニューロンの出力関数３０
３は入力学習データ３０１を教師信号０、入力学習デー
タ３０２を教師信号１とした場合の従来の学習で得られ
た出力関数を示す。未学習の入力データｘA に対する出
力値が十分１に近くなるように、出力関数３０４の形を
変更することを考える。出力値が十分１に近い値となる
膜電位をｕH 、十分０に近い値となる膜電位をｕL 、そ
れぞれに対する入力値をｘH 、ｘL とし、入力値ｘA に
対する膜電位をｕA とすると、次の関係がある。
３は入力学習データ３０１を教師信号０、入力学習デー
タ３０２を教師信号１とした場合の従来の学習で得られ
た出力関数を示す。未学習の入力データｘA に対する出
力値が十分１に近くなるように、出力関数３０４の形を
変更することを考える。出力値が十分１に近い値となる
膜電位をｕH 、十分０に近い値となる膜電位をｕL 、そ
れぞれに対する入力値をｘH 、ｘL とし、入力値ｘA に
対する膜電位をｕA とすると、次の関係がある。
【００２３】 ｕH ＝ｗｘH −ｈ （１０） ｕL ＝ｗｘL −ｈ （１１） ｕA ＝ｗｘA −ｈ （１２） 変更後の荷重値、しきい値をそれぞれｗ’、ｈ’とし、
入力値ｘ A における膜電位がｕ H 、入力値ｘ L における
膜電位がｕ L になるための条件は、 ｕH ＝ｗ’ｘ A −ｈ’ （１３） ｕL ＝ｗ’ｘL −ｈ’ （１４） である。この連立方程式を解くと、 ｗ’＝ｗ（ｕH −ｕL ）／（ｕA −ｕL ） （１５） ｈ’＝（ｕH ｕL −ｕA ｕL ＋ｈ（ｕH −ｕL ））／（ｕA −ｕL ）（１６） が得られる。このｗ’、ｈ’を用いれば、入力値ｘに対
する出力関数３０４が得られる。
入力値ｘ A における膜電位がｕ H 、入力値ｘ L における
膜電位がｕ L になるための条件は、 ｕH ＝ｗ’ｘ A −ｈ’ （１３） ｕL ＝ｗ’ｘL −ｈ’ （１４） である。この連立方程式を解くと、 ｗ’＝ｗ（ｕH −ｕL ）／（ｕA −ｕL ） （１５） ｈ’＝（ｕH ｕL −ｕA ｕL ＋ｈ（ｕH −ｕL ））／（ｕA −ｕL ）（１６） が得られる。このｗ’、ｈ’を用いれば、入力値ｘに対
する出力関数３０４が得られる。
【００２４】入力データｘA に対する出力値が十分０に
近い値になるように、ニューロンの出力関数３０５の形
を変更したい場合も同様に求めることができ、 ｗ′＝ｗ（ｕL −ｕH ）／（ｕA −ｕH) （１７） ｈ′＝（ｕL ｕH −ｕA ｕH ＋ｈ（ｕL −ｕH ））／（ｕA −ｕH ）（１８） となる。
近い値になるように、ニューロンの出力関数３０５の形
を変更したい場合も同様に求めることができ、 ｗ′＝ｗ（ｕL −ｕH ）／（ｕA −ｕH) （１７） ｈ′＝（ｕL ｕH −ｕA ｕH ＋ｈ（ｕL −ｕH ））／（ｕA −ｕH ）（１８） となる。
【００２５】ｎ次元の入力ベクトルの場合でも同様に考
えることができ、入力ベクトルＸに対する出力値を十分
１に近い値にするためには、荷重ベクトル、しきい値を
次のように変更する。
えることができ、入力ベクトルＸに対する出力値を十分
１に近い値にするためには、荷重ベクトル、しきい値を
次のように変更する。
【００２６】 Ｗ′＝Ｗ（ｕH −ｕL ）／（ｕA −ｕL) （１９） ｈ′＝（ｕH ｕL −ｕA ｕL ＋ｈ（ｕH −ｕL ））／（ｕA −ｕL ）（２０） 入力ベクトルＸに対する出力値を十分０に近い値にする
ためには、荷重ベクトル、しきい値を次のように変更す
る。
ためには、荷重ベクトル、しきい値を次のように変更す
る。
【００２７】 Ｗ′＝Ｗ（ｕL −ｕH ）／（ｕA −ｕH) （２１） ｈ′＝（ｕL ｕH −ｕA ｕH ＋ｈ（ｕL −ｕH ））／（ｕA −ｕH ）（２２） このように、変更前の荷重値及びしきい値を用いて得ら
れた膜電位を用い、変更後の荷重値及びしきい値を設定
することで、過去の学習データを必要とせずにニューロ
ンが構成する識別面を修正できる。
れた膜電位を用い、変更後の荷重値及びしきい値を設定
することで、過去の学習データを必要とせずにニューロ
ンが構成する識別面を修正できる。
【００２８】ここでは通常の神経回路網に用いられるシ
グモイド関数を用いたが、任意の単調増加関数を出力関
数に用いた場合でも同様である。以後、入力ベクトルに
対する出力値を十分１に近い値にすることを「興奮性の
作用」と呼び、十分０に近い値にすることを「抑制性の
作用」と呼ぶことにする。
グモイド関数を用いたが、任意の単調増加関数を出力関
数に用いた場合でも同様である。以後、入力ベクトルに
対する出力値を十分１に近い値にすることを「興奮性の
作用」と呼び、十分０に近い値にすることを「抑制性の
作用」と呼ぶことにする。
【００２９】本第２の発明の作用について説明する。
【００３０】簡単のため、まず入力が（ｘ1 ，ｘ2 ）な
る２次元の場合について説明する。この場合のニューロ
ンの出力値は、 ｚ＝ｆ（ｗ1 ｘ1 ＋ｗ2 ｘ2 −ｈ） （２３） となる。
る２次元の場合について説明する。この場合のニューロ
ンの出力値は、 ｚ＝ｆ（ｗ1 ｘ1 ＋ｗ2 ｘ2 −ｈ） （２３） となる。
【００３１】図７は横軸をｘ1 、縦軸をｘ2 とした場合
のニューロンの出力値を示す図である。
のニューロンの出力値を示す図である。
【００３２】図７において、出力値直線４０１は出力値
ｚ＝０．５を表わし、出力値直線４０１より上方が出力
値ｚが０．５より小さくなる領域、出力値直線４０１よ
り下方が出力値ｚが０．５より大きくなる領域を表わす
とする。出力値直線４０１は入力ベクトル空間を出力値
ｚが０．５より大きい領域と小さい領域に分けることか
ら、このニューロンが作る識別面と呼ぶ。入力データ４
０２があったとすると、この入力データ４０２に対する
出力値ｚは０．５より小さい値となる。「興奮性の作
用」に従って入力データ４０２に対する出力値を十分１
に近い値にすると、識別面を表わす直線出力値直線４０
３になる。
ｚ＝０．５を表わし、出力値直線４０１より上方が出力
値ｚが０．５より小さくなる領域、出力値直線４０１よ
り下方が出力値ｚが０．５より大きくなる領域を表わす
とする。出力値直線４０１は入力ベクトル空間を出力値
ｚが０．５より大きい領域と小さい領域に分けることか
ら、このニューロンが作る識別面と呼ぶ。入力データ４
０２があったとすると、この入力データ４０２に対する
出力値ｚは０．５より小さい値となる。「興奮性の作
用」に従って入力データ４０２に対する出力値を十分１
に近い値にすると、識別面を表わす直線出力値直線４０
３になる。
【００３３】ここで、次のように出力関数を持つ局所発
火型ニューロンを導入する。 ｚ＝１［ｈ−｜Ｘ−ＸA ｜］ （２４） Ｘは（ｘ1 ，ｘ2 ）で表わされる入力ベクトル、ＸA は
入力データ４０２を表わす。このニューロンの出力値は
ＸとＸA との距離がｈより小さい場合は１、ｈより大き
い場合は０となる。出力値が０あるいは１になる境界を
局所発火型ニューロンの発火領域４０４に示す。この局
所発火型ニューロンの発火領域４０４は、ＸA を中心と
する半径ｈの円内となる。
火型ニューロンを導入する。 ｚ＝１［ｈ−｜Ｘ−ＸA ｜］ （２４） Ｘは（ｘ1 ，ｘ2 ）で表わされる入力ベクトル、ＸA は
入力データ４０２を表わす。このニューロンの出力値は
ＸとＸA との距離がｈより小さい場合は１、ｈより大き
い場合は０となる。出力値が０あるいは１になる境界を
局所発火型ニューロンの発火領域４０４に示す。この局
所発火型ニューロンの発火領域４０４は、ＸA を中心と
する半径ｈの円内となる。
【００３４】識別面４０１を表わすニューロンの荷重ベ
クトルＷ、しきい値ｈ及び本第１の発明の計算方式に従
う変更後の荷重ベクトルＷ′、しきい値ｈ′と局所発火
型ニューロンの出力値ｚを用いて、荷縦ベクトルＷ″、
しきい値ｈ″を Ｗ″＝Ｗ′ｚ＋（１−ｚ）Ｗ （２５） ｈ″＝ｈ′ｚ＋（１−ｚ）ｈ （２６） とすると、局所発火型ニューロンの発火領域４０４内で
は識別面が出力値直線４０３となり、それ以外の領域で
は出力値直線４０１となる。つまり、新たな入力データ
とその近傍の入力に対してのみ識別面を修正することが
可能になる。
クトルＷ、しきい値ｈ及び本第１の発明の計算方式に従
う変更後の荷重ベクトルＷ′、しきい値ｈ′と局所発火
型ニューロンの出力値ｚを用いて、荷縦ベクトルＷ″、
しきい値ｈ″を Ｗ″＝Ｗ′ｚ＋（１−ｚ）Ｗ （２５） ｈ″＝ｈ′ｚ＋（１−ｚ）ｈ （２６） とすると、局所発火型ニューロンの発火領域４０４内で
は識別面が出力値直線４０３となり、それ以外の領域で
は出力値直線４０１となる。つまり、新たな入力データ
とその近傍の入力に対してのみ識別面を修正することが
可能になる。
【００３５】入力データ４０５に対する出力値を十分０
に近くする場合も同様に議論できる。この入力に対する
出力値ｚは０．５より大きい値となる。「抑制性の作
用」に従って入力データ４０５に対する出力値を十分０
に近い値にすると、識別面は出力値直線４０３になる。
ここで、（２４）式で示す出力関数を持つ局所発火型ニ
ューロンを導入すると、このニューロンの出力値はｘと
ｘA の距離がｈより小さい場合は１、ｈより大きい場合
は０となる。出力値が０あるいは１になる境界を局所発
火型ニューロンの発火領域４０７に示す。局所発火型ニ
ューロンの出力値ｚを用いて、荷重ベクトルＷ″、しき
い値ｈ″を（２５），（２６）式に従って設定すると、
局所発火型ニューロンの発火領域４０７内では識別面が
出力値直線４０６となり、それ以外の領域では出力値直
線４０１となる。つまり、新たな入力データとその近傍
の入力に対してのみ識別面を修正することが可能にな
る。
に近くする場合も同様に議論できる。この入力に対する
出力値ｚは０．５より大きい値となる。「抑制性の作
用」に従って入力データ４０５に対する出力値を十分０
に近い値にすると、識別面は出力値直線４０３になる。
ここで、（２４）式で示す出力関数を持つ局所発火型ニ
ューロンを導入すると、このニューロンの出力値はｘと
ｘA の距離がｈより小さい場合は１、ｈより大きい場合
は０となる。出力値が０あるいは１になる境界を局所発
火型ニューロンの発火領域４０７に示す。局所発火型ニ
ューロンの出力値ｚを用いて、荷重ベクトルＷ″、しき
い値ｈ″を（２５），（２６）式に従って設定すると、
局所発火型ニューロンの発火領域４０７内では識別面が
出力値直線４０６となり、それ以外の領域では出力値直
線４０１となる。つまり、新たな入力データとその近傍
の入力に対してのみ識別面を修正することが可能にな
る。
【００３６】これまで、入力ベクトルを２次元として説
明してきたが、ｎ次元への拡張は容易である。また、局
所発火型ニューロンの出力関数に階段関数を用いたが、
シグモイド関数を用いて ｚ＝ｆ（ｈ−｜Ｘ−ＸA ｜） （２７） としても同様である。このｚを用いて（２５），（２
６）式に従えば、階段関数を用いた場合に比べ、局所発
火型ニューロンの発火領域近傍でより滑らかな出力関数
を得ることができる。出力関数はこれらに限られること
ではなく、ガウス分布など局所的に出力値が大きくなる
関数であれば同様の議論が成り立つことは容易に類推で
きる。局所発火型のニューロンの入力ベクトル空間にお
ける発火の中心位置を表わすＸA のことを、以後、局所
発火型ニューロンの荷重ベクトルと呼ぶことにする。
明してきたが、ｎ次元への拡張は容易である。また、局
所発火型ニューロンの出力関数に階段関数を用いたが、
シグモイド関数を用いて ｚ＝ｆ（ｈ−｜Ｘ−ＸA ｜） （２７） としても同様である。このｚを用いて（２５），（２
６）式に従えば、階段関数を用いた場合に比べ、局所発
火型ニューロンの発火領域近傍でより滑らかな出力関数
を得ることができる。出力関数はこれらに限られること
ではなく、ガウス分布など局所的に出力値が大きくなる
関数であれば同様の議論が成り立つことは容易に類推で
きる。局所発火型のニューロンの入力ベクトル空間にお
ける発火の中心位置を表わすＸA のことを、以後、局所
発火型ニューロンの荷重ベクトルと呼ぶことにする。
【００３７】本第３の発明の作用について記す。
【００３８】図８は本第３の発明の一実施例のパターン
認識装置で用いる神経回路網の一モデルを示す図であ
る。
認識装置で用いる神経回路網の一モデルを示す図であ
る。
【００３９】図８において、入力層５０１、中間層５０
２、出力層５０３は従来の３層のフィードフォワード型
神経回路網である。入力層５０１、中間層５０２、出力
層５０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群５０４が新たに追加
される。
２、出力層５０３は従来の３層のフィードフォワード型
神経回路網である。入力層５０１、中間層５０２、出力
層５０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群５０４が新たに追加
される。
【００４０】入力パターンが誤認識として判断されるの
は、その入力パターンが属すべきカテゴリを表わす出力
層５０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層のニューロンの出
力が大きい場合である。従って、出力層５０３の各ニュ
ーロンについて出力値を上げる手段、下げる手段の２つ
を用意すれば、誤認識となる入力パターンを正しく認識
するように神経回路網の内部状態を変化させることがで
きる。
は、その入力パターンが属すべきカテゴリを表わす出力
層５０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層のニューロンの出
力が大きい場合である。従って、出力層５０３の各ニュ
ーロンについて出力値を上げる手段、下げる手段の２つ
を用意すれば、誤認識となる入力パターンを正しく認識
するように神経回路網の内部状態を変化させることがで
きる。
【００４１】次に、本第３の発明の神経回路網を用いた
パターン認識装置の追記学習手順について述べる。
パターン認識装置の追記学習手順について述べる。
【００４２】ニューロンＡの出力値を上げるためには、
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して抑制性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が上がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を上げる
ことができる。
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して抑制性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が上がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を上げる
ことができる。
【００４３】ニューロンＡの出力値を下げるためには、
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して興奮性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が下がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を下げる
ことができる。
まず既に追加されている局所発火型ニューロン群５０４
のうち発火しているものを捜す。そのニューロンがニュ
ーロンＡに対して興奮性の作用をしている場合は、その
局所発火型ニューロンの発火領域を小さくして発火しな
いようにする。既に追加されている局所発火型ニューロ
ン群５０４すべてに対してこの処理を行なってもニュー
ロンＡの出力値が下がらない場合、その入力パターンに
対する中間層５０２の出力ベクトルを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力をニューロン
Ａに入力する。これで必ずニューロンＡの出力を下げる
ことができる。
【００４４】以上述べた出力層５０３のニューロンの出
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層５０１、中間層５０２、出力
層５０３からなる３層の神経回路網を用いたが、中間層
５０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層５０１、中間層５０２、出力
層５０３からなる３層の神経回路網を用いたが、中間層
５０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
【００４５】本第４の発明の作用について記す。
【００４６】図９は本第４の発明の一例のパターン認識
装置で用いる神経回路網の一モデルを示す図である。
装置で用いる神経回路網の一モデルを示す図である。
【００４７】図９において入力層６０１、中間層６０
２、出力層６０３は従来の３層のフィードフォワード型
神経回路網である。入力層６０１、中間層６０２、出力
層６０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群６０４が新たに追加
される。
２、出力層６０３は従来の３層のフィードフォワード型
神経回路網である。入力層６０１、中間層６０２、出力
層６０３は誤差逆伝播学習則などにより学習が既に終了
しているとする。その後の認識処理において誤認識が生
じた場合、局所発火型ニューロン群６０４が新たに追加
される。
【００４８】入力パターンが誤認識として判断されるの
は、その入力パターンが属すべきカテゴリを表わす出力
層６０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層６０３のニューロ
ンの出力が大きい場合である。従って、出力層６０３の
各ニューロンについて出力値を上げる手段、下げる手段
の２つの用意すれば、誤認識となる入力パターンを正し
く認識するように神経回路網の内部状態を変化させるこ
とができる。 次に、本第４の神経回路網を用いたパタ
ーン認識装置の追記学習手順について述べる。
は、その入力パターンが属すべきカテゴリを表わす出力
層６０３のニューロン（ニューロンＡと呼ぶことにす
る）の出力が小さい場合、あるいはその入力パターンが
属すべきカテゴリ以外を表わす出力層６０３のニューロ
ンの出力が大きい場合である。従って、出力層６０３の
各ニューロンについて出力値を上げる手段、下げる手段
の２つの用意すれば、誤認識となる入力パターンを正し
く認識するように神経回路網の内部状態を変化させるこ
とができる。 次に、本第４の神経回路網を用いたパタ
ーン認識装置の追記学習手順について述べる。
【００４９】ニューロンＡの出力値を上げるためには、
まず既に追加されている局所発火型ニューロン群６０４
のうち発火しているものを捜す。そのニューロンが興奮
性の作用をしている中間層６０２のニューロンとニュー
ロンＡとの荷重値が負の場合は、その局所発火型ニュー
ロンの発火領域を小さくして発火しないようにする。ま
た発火している局所発火型ニューロンが抑制性の作用を
している中間層６０２のニューロンとニューロンＡとの
荷重値が正の場合は、その局所発火型ニューロンの発火
領域を小さくして発火しないようにする。
まず既に追加されている局所発火型ニューロン群６０４
のうち発火しているものを捜す。そのニューロンが興奮
性の作用をしている中間層６０２のニューロンとニュー
ロンＡとの荷重値が負の場合は、その局所発火型ニュー
ロンの発火領域を小さくして発火しないようにする。ま
た発火している局所発火型ニューロンが抑制性の作用を
している中間層６０２のニューロンとニューロンＡとの
荷重値が正の場合は、その局所発火型ニューロンの発火
領域を小さくして発火しないようにする。
【００５０】既に追加されている局所発火型ニューロン
群６０４すべてに対してこの処理を行なってもニューロ
ンＡの出力値が上がらない場合、入力パターンを荷重ベ
クトルとし、ニューロンが発火する領域の半径をしきい
値とした局所発火型ニューロンを追加し、その出力を中
間層６０２のニューロンに入力する。
群６０４すべてに対してこの処理を行なってもニューロ
ンＡの出力値が上がらない場合、入力パターンを荷重ベ
クトルとし、ニューロンが発火する領域の半径をしきい
値とした局所発火型ニューロンを追加し、その出力を中
間層６０２のニューロンに入力する。
【００５１】追加された局所発火型ニューロンの出力を
中間層６０２のどのニューロンに入力するかは次のよう
に決められる。
中間層６０２のどのニューロンに入力するかは次のよう
に決められる。
【００５２】ニューロンＡと中間層６０２のニューロン
との荷重値を調べ、その絶対値の最も大きい荷重値に対
応する中間層６０２のニューロンにその局所発火型ニュ
ーロンの出力を入力し、荷重値が正の場合は興奮性の作
用を、荷重値が負の場合は抑制性の作用をさせる。それ
でもニューロンＡの出力値が上がらない場合は、ニュー
ロンＡとの中間層６０２のニューロンの荷重値の絶対値
が２番目に大きい中間層６０２のニューロンに対して同
様の処理を行なう。それでもニューロンＡの出力値が上
がらない場合は、３番目のニューロンというようにして
同様の処理を繰り返すことで、必ずニューロンＡの出力
を上げるもとができる。
との荷重値を調べ、その絶対値の最も大きい荷重値に対
応する中間層６０２のニューロンにその局所発火型ニュ
ーロンの出力を入力し、荷重値が正の場合は興奮性の作
用を、荷重値が負の場合は抑制性の作用をさせる。それ
でもニューロンＡの出力値が上がらない場合は、ニュー
ロンＡとの中間層６０２のニューロンの荷重値の絶対値
が２番目に大きい中間層６０２のニューロンに対して同
様の処理を行なう。それでもニューロンＡの出力値が上
がらない場合は、３番目のニューロンというようにして
同様の処理を繰り返すことで、必ずニューロンＡの出力
を上げるもとができる。
【００５３】ニューロンＡの出力値を下げるためには、
まず既に追加されている局所発火型ニューロンのうち発
火しているものを捜す。そのニューロンが興奮性の作用
をしている中間層６０２のニューロンとニューロンＡと
の荷重値が正の場合は、その局所発火型ニューロンの発
火領域を小さくして発火しないようにする。また発火し
ている局所発火型ニューロンが抑制性の作用をしている
中間層６０２のニューロンとニューロンＡとの荷重値が
負の場合は、その局所発火型ニューロンの発火領域を小
さくして発火しないようにする。
まず既に追加されている局所発火型ニューロンのうち発
火しているものを捜す。そのニューロンが興奮性の作用
をしている中間層６０２のニューロンとニューロンＡと
の荷重値が正の場合は、その局所発火型ニューロンの発
火領域を小さくして発火しないようにする。また発火し
ている局所発火型ニューロンが抑制性の作用をしている
中間層６０２のニューロンとニューロンＡとの荷重値が
負の場合は、その局所発火型ニューロンの発火領域を小
さくして発火しないようにする。
【００５４】既に追加されている局所発火型ニューロン
すべてに対してこの処理を行なってもニューロンＡの出
力値が下がらない場合、入力パターンを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力を中間層６０
２のニューロンに入力する。追加された局所発火型ニュ
ーロンの出力の中間層６０２のどのニューロンに入力す
るかは次のように決められる。ニューロンＡと中間層６
０２のニューロンとの荷重値を調べ、その絶対値の最も
大きい荷重値に対応する中間層のニューロンにその局所
発火型ニューロンの出力を入力し、荷重値が負の場合は
興奮性の作用を、荷重値が正の場合は抑制性の作用をさ
せる。
すべてに対してこの処理を行なってもニューロンＡの出
力値が下がらない場合、入力パターンを荷重ベクトルと
し、ニューロンが発火する領域の半径をしきい値とした
局所発火型ニューロンを追加し、その出力を中間層６０
２のニューロンに入力する。追加された局所発火型ニュ
ーロンの出力の中間層６０２のどのニューロンに入力す
るかは次のように決められる。ニューロンＡと中間層６
０２のニューロンとの荷重値を調べ、その絶対値の最も
大きい荷重値に対応する中間層のニューロンにその局所
発火型ニューロンの出力を入力し、荷重値が負の場合は
興奮性の作用を、荷重値が正の場合は抑制性の作用をさ
せる。
【００５５】それでもニューロンＡの出力値が下がらな
い場合は、ニューロンＡと中間層６０２のニューロンの
荷重値の絶対値が２番目に大きい中間層６０２のニュー
ロンに対して同様の処理を行なう。それでもニューロン
Ａの出力値が上がらない場合は、３番目のニューロンと
いうように同様の処理を繰り返すことで、必ずニューロ
ンＡの出力を下げることができる。
い場合は、ニューロンＡと中間層６０２のニューロンの
荷重値の絶対値が２番目に大きい中間層６０２のニュー
ロンに対して同様の処理を行なう。それでもニューロン
Ａの出力値が上がらない場合は、３番目のニューロンと
いうように同様の処理を繰り返すことで、必ずニューロ
ンＡの出力を下げることができる。
【００５６】以上述べた出力層６０３のニューロンの出
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層６０１、中間層６０２、出力
層６０３からなる３層の神経回路網を用いたが、中間層
６０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
力値を上げる手順、下げる手順を用いることにより、誤
認識した入力パターンを正しく認識するように神経回路
網の内部状態を容易に変更することができる。ここで
は、説明のために、入力層６０１、中間層６０２、出力
層６０３からなる３層の神経回路網を用いたが、中間層
６０２を複数有する神経回路網に対しても、以上述べた
作用は有効である。
【００５７】
【実施例】次に、本発明について図面を参照して説明す
る。
る。
【００５８】まず、本第１の発明について説明する。
【００５９】図１は本第１の発明の一実施例を示すブロ
ック図である。
ック図である。
【００６０】図１において、入力ベクトルＸに対し、膜
電位計算部９０２において荷重ベクトルＷとしきい値ｈ
を用い膜電位ｕを計算し、出力値計算部９０３において
前記膜電位に非線形関数を通して出力値を計算する。神
経回路網に用いられる本実施例のニューロンは、入力ベ
クトルＸに対する出力値を１に十分近い値にする意味の
誤認識信号を入力した場合に、出力値が０に近い出力値
となる膜電位の値ｕLと、出力値が１に十分近い出力値
となる膜電位の値ｕH と、前記膜電位の値ｕを用い、
（１９）式に従う荷重ベクトル計算部９０６および（２
０）式に従うしきい値計算部９０７とにより新たな荷重
ベクトルおよびしきい値を計算して膜電位計算部９０２
内の荷重ベクトルおよびしきい値を変更し、変更後はそ
の新たな荷重ベクトルおよびしきい値を用いて膜電位計
算を行い、入力ベクトルＸに対する出力値を０に十分近
い値にする意味の誤認識信号を入力した場合に、出力値
が０に十分近い出力値となる膜電位の値ｕL と、出力値
が１に十分近い出力値となる膜電位の値ｕH と、前記膜
電位の値ｕを用い、（２１）式に従う荷重ベクトル計算
部９０８および（２２）式に従うしきい値計算部９０９
とにより新たな荷重ベクトルおよびしきい値を計算して
膜電位計算部９０２内の荷重ベクトルおよびしきい値を
変更し、変更後はその新たな荷重ベクトルおよびしきい
値を用いて膜電位計算を行う。
電位計算部９０２において荷重ベクトルＷとしきい値ｈ
を用い膜電位ｕを計算し、出力値計算部９０３において
前記膜電位に非線形関数を通して出力値を計算する。神
経回路網に用いられる本実施例のニューロンは、入力ベ
クトルＸに対する出力値を１に十分近い値にする意味の
誤認識信号を入力した場合に、出力値が０に近い出力値
となる膜電位の値ｕLと、出力値が１に十分近い出力値
となる膜電位の値ｕH と、前記膜電位の値ｕを用い、
（１９）式に従う荷重ベクトル計算部９０６および（２
０）式に従うしきい値計算部９０７とにより新たな荷重
ベクトルおよびしきい値を計算して膜電位計算部９０２
内の荷重ベクトルおよびしきい値を変更し、変更後はそ
の新たな荷重ベクトルおよびしきい値を用いて膜電位計
算を行い、入力ベクトルＸに対する出力値を０に十分近
い値にする意味の誤認識信号を入力した場合に、出力値
が０に十分近い出力値となる膜電位の値ｕL と、出力値
が１に十分近い出力値となる膜電位の値ｕH と、前記膜
電位の値ｕを用い、（２１）式に従う荷重ベクトル計算
部９０８および（２２）式に従うしきい値計算部９０９
とにより新たな荷重ベクトルおよびしきい値を計算して
膜電位計算部９０２内の荷重ベクトルおよびしきい値を
変更し、変更後はその新たな荷重ベクトルおよびしきい
値を用いて膜電位計算を行う。
【００６１】次に、本第２の発明について説明する。
【００６２】図２は本第２の発明の一実施例を示すブロ
ック図である。
ック図である。
【００６３】図２において、入力ベクトルＸに対し、膜
電位計算部１００２において荷重ベクトルＷとしきい値
ｈを用い膜電位ｕを計算し、出力値計算部１００３にお
いて前記膜電位に非線形関数を通して出力値を計算する
ニューロンを有する本実施例の神経回路網は、荷重ベク
トル保存部１０１３およびしきい値保存部１０１４に保
存されている、誤認識信号を入力する前の荷重ベクトル
Ｗおよびしきい値ｈと、荷重ベクトル保存部１０１１お
よびしきい値保存部１０１２に保存されている、誤認識
信号入力後に荷重ベクトル計算部１００７あるいは荷重
ベクトル計算部１００９によって計算された荷重ベクト
ルＷ′およびしきい値計算部１００８あるいはしきい値
計算部１０１０によって計算されたしきい値ｈ′と、
（２４）式あるいは（２７）式に従う局所発火型ニュー
ロンの出力値Ｚとを用い、（２５）式に従う荷重ベクト
ル計算部１０１５と（２６）式に従うしきい値計算部１
０１６によって計算される新たな荷重ベクトルＷ″およ
びしきい値ｈ″を用いて膜電位計算部１００２において
膜電位を計算する。
電位計算部１００２において荷重ベクトルＷとしきい値
ｈを用い膜電位ｕを計算し、出力値計算部１００３にお
いて前記膜電位に非線形関数を通して出力値を計算する
ニューロンを有する本実施例の神経回路網は、荷重ベク
トル保存部１０１３およびしきい値保存部１０１４に保
存されている、誤認識信号を入力する前の荷重ベクトル
Ｗおよびしきい値ｈと、荷重ベクトル保存部１０１１お
よびしきい値保存部１０１２に保存されている、誤認識
信号入力後に荷重ベクトル計算部１００７あるいは荷重
ベクトル計算部１００９によって計算された荷重ベクト
ルＷ′およびしきい値計算部１００８あるいはしきい値
計算部１０１０によって計算されたしきい値ｈ′と、
（２４）式あるいは（２７）式に従う局所発火型ニュー
ロンの出力値Ｚとを用い、（２５）式に従う荷重ベクト
ル計算部１０１５と（２６）式に従うしきい値計算部１
０１６によって計算される新たな荷重ベクトルＷ″およ
びしきい値ｈ″を用いて膜電位計算部１００２において
膜電位を計算する。
【００６４】次に、本第３の発明について説明する。
【００６５】図３は本第３の発明の一実施例のパターン
認識装置を示すブロック図、図４は本実施例に使用され
るデジタルフィルターの一例を示す図である。
認識装置を示すブロック図、図４は本実施例に使用され
るデジタルフィルターの一例を示す図である。
【００６６】図３において、入力端子１０１に入力され
た入力信号は、入力層記憶部１０２に保存され、中間層
計算部１０３に入力され、その計算結果は出力層計算部
１０５に入力される。中間層計算部１０３のもう一方の
出力は追加ニューロン計算部１０４に入力される。出力
層計算部１０５には中間層計算部１０３の出力と追加ニ
ューロン計算部１０４の出力が入力され、その計算結果
は出力端子１０６から出力される。認識結果が誤認識で
あると判断された場合には、誤認識信号が入力端子１０
７から入力され、追加ニューロン制御部１０８に送られ
る。追加ニューロン制御部１０８は、誤認識信号に従
い、追加ニューロン計算部１０４の計算に用いられるパ
ラメータを変更し、入力層記憶部１０２に再認識信号を
入力する。再認識信号を受けた入力層記憶部１０２は、
記憶されている入力データを中間計算部１０３に送り、
認識過程が繰り返される。出力層計算部１０５からの出
力は追加ニューロン制御部１０８に送られ、認識結果の
判断が行なわれ、正しく認識されるまで追加ニューロン
制御部１０８による追加ニューロン計算部１０４の制御
が行なわれる。
た入力信号は、入力層記憶部１０２に保存され、中間層
計算部１０３に入力され、その計算結果は出力層計算部
１０５に入力される。中間層計算部１０３のもう一方の
出力は追加ニューロン計算部１０４に入力される。出力
層計算部１０５には中間層計算部１０３の出力と追加ニ
ューロン計算部１０４の出力が入力され、その計算結果
は出力端子１０６から出力される。認識結果が誤認識で
あると判断された場合には、誤認識信号が入力端子１０
７から入力され、追加ニューロン制御部１０８に送られ
る。追加ニューロン制御部１０８は、誤認識信号に従
い、追加ニューロン計算部１０４の計算に用いられるパ
ラメータを変更し、入力層記憶部１０２に再認識信号を
入力する。再認識信号を受けた入力層記憶部１０２は、
記憶されている入力データを中間計算部１０３に送り、
認識過程が繰り返される。出力層計算部１０５からの出
力は追加ニューロン制御部１０８に送られ、認識結果の
判断が行なわれ、正しく認識されるまで追加ニューロン
制御部１０８による追加ニューロン計算部１０４の制御
が行なわれる。
【００６７】次に、文字認識を例にとり、本実施例の動
作を説明する。
作を説明する。
【００６８】ここでは説明のために、横９画素、縦１１
画素の文字の濃淡画像を入力端子１０１から入力するこ
とにする。濃淡画像は、黒画素を１、白画素を０とした
文字の二値画像に図４に示すようなデジタルフィルター
を施して得られる。
画素の文字の濃淡画像を入力端子１０１から入力するこ
とにする。濃淡画像は、黒画素を１、白画素を０とした
文字の二値画像に図４に示すようなデジタルフィルター
を施して得られる。
【００６９】入力層記憶部１０２は、入力層５０１に対
応している。入力層記憶部１０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部１０３は、中間層５０２に対応する。中間層５０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層５０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層計算部１０３の計算は、（１）式及び
（２）式を用いて行なわれる。中間層５０２に含まれる
ニューロン数Ｎmid は便宜上４０とする。
応している。入力層記憶部１０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部１０３は、中間層５０２に対応する。中間層５０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層５０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層計算部１０３の計算は、（１）式及び
（２）式を用いて行なわれる。中間層５０２に含まれる
ニューロン数Ｎmid は便宜上４０とする。
【００７０】追加ニューロン計算部１０４は、局所発火
型ニューロン群５０４に対応する。局所発火型ニューロ
ン１つに対して、中間層５０２との結合の荷重値を記憶
するＮmid 個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の出力層ニューロンの番号、変更すべきＮmid 個の荷
重値及びしきい値を記憶するメモリが、出力肢１本につ
き必要になる。追加ニューロン数は学習により増加す
る。追加ニューロン計算部の計算は、（２４）式を用い
て行なわれるものとする。
型ニューロン群５０４に対応する。局所発火型ニューロ
ン１つに対して、中間層５０２との結合の荷重値を記憶
するＮmid 個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の出力層ニューロンの番号、変更すべきＮmid 個の荷
重値及びしきい値を記憶するメモリが、出力肢１本につ
き必要になる。追加ニューロン数は学習により増加す
る。追加ニューロン計算部の計算は、（２４）式を用い
て行なわれるものとする。
【００７１】出力層計算部１０５は、出力層５０３に対
応する。出力層５０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層５０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部１０５の計
算は、追加ニューロン計算部１０４からの出力を用い
て、（２５），（２６）式に従って荷重値及びしきい値
を変更したあと、（１）式及び（２）式を用いて行なわ
れる。出力層５０３に含まれるニューロン数は、識別さ
せたいカテゴリの数によって定まる。例えば、０から９
までの１０個の印刷数字を入力文字画像とした場合、識
別させたいカテゴリ数は１０個となるので、Ｎout は１
０個となる。
応する。出力層５０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層５０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部１０５の計
算は、追加ニューロン計算部１０４からの出力を用い
て、（２５），（２６）式に従って荷重値及びしきい値
を変更したあと、（１）式及び（２）式を用いて行なわ
れる。出力層５０３に含まれるニューロン数は、識別さ
せたいカテゴリの数によって定まる。例えば、０から９
までの１０個の印刷数字を入力文字画像とした場合、識
別させたいカテゴリ数は１０個となるので、Ｎout は１
０個となる。
【００７２】中間層計算部１０３及び出力層計算部１０
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部１０４には無関係に進められる。
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部１０４には無関係に進められる。
【００７３】誤認識が生じた場合、誤認識信号が入力端
子１０７に入力される。この誤認識信号は、出力端子１
０６から出力されるＮout 個の信号の組に対して、何番
目の信号値を上げるか、あるいは何番目の信号値を下げ
るかという番号の組である。例えば、印刷数字の認識の
場合はＮout が１０個であり、１番目の出力信号は数字
の「１」、２番目の出力信号は数字の「２」、…、１０
番目の出力信号は数字の「０」を表わすカテゴリである
とすると、「３」のカテゴリに属する入力信号を正しい
出力信号の組は｛０，０，１，０，０，０，０，０，
０，０｝である。誤認識の出力信号の組｛０，１，０，
０，０，０，０，０，０，０｝に対しては、｛−２，＋
３｝なる誤認識信号を入力端子１０７に送ることにな
る。
子１０７に入力される。この誤認識信号は、出力端子１
０６から出力されるＮout 個の信号の組に対して、何番
目の信号値を上げるか、あるいは何番目の信号値を下げ
るかという番号の組である。例えば、印刷数字の認識の
場合はＮout が１０個であり、１番目の出力信号は数字
の「１」、２番目の出力信号は数字の「２」、…、１０
番目の出力信号は数字の「０」を表わすカテゴリである
とすると、「３」のカテゴリに属する入力信号を正しい
出力信号の組は｛０，０，１，０，０，０，０，０，
０，０｝である。誤認識の出力信号の組｛０，１，０，
０，０，０，０，０，０，０｝に対しては、｛−２，＋
３｝なる誤認識信号を入力端子１０７に送ることにな
る。
【００７４】誤認識信号を受けた追加ニューロン制御部
１０８は、本第１，第２の発明の作用で述べた手順によ
り、追加ニューロン計算部１０４内に存在するしきい値
の変更あるいは、新たなニューロンの追加すなわち１ニ
ューロン分のメモリの確保、及び荷重値、しきい値、結
合先が設定される。その際、追加ニューロン制御部１０
８から入力層記憶部１０２に再認識信号が送られ、入力
層記憶部１０２に保存されていた入力データは中間層計
算部１０３へ入力され、その出力は追加ニューロン計算
部１０４へ入力され、中間層計算部１０３と追加ニュー
ロン計算部１０４の出力が出力計算部１０５へ入力され
る。出力層計算部１０５の出力が誤認識信号の要求を満
たした段階で、追加ニューロン制御部１０８は追加ニュ
ーロン計算部１０４の制御を停止する。
１０８は、本第１，第２の発明の作用で述べた手順によ
り、追加ニューロン計算部１０４内に存在するしきい値
の変更あるいは、新たなニューロンの追加すなわち１ニ
ューロン分のメモリの確保、及び荷重値、しきい値、結
合先が設定される。その際、追加ニューロン制御部１０
８から入力層記憶部１０２に再認識信号が送られ、入力
層記憶部１０２に保存されていた入力データは中間層計
算部１０３へ入力され、その出力は追加ニューロン計算
部１０４へ入力され、中間層計算部１０３と追加ニュー
ロン計算部１０４の出力が出力計算部１０５へ入力され
る。出力層計算部１０５の出力が誤認識信号の要求を満
たした段階で、追加ニューロン制御部１０８は追加ニュ
ーロン計算部１０４の制御を停止する。
【００７５】次に本第４の発明について説明する。
【００７６】図５は本第４の発明の一実施例を示すブロ
ック図である。
ック図である。
【００７７】図５において、入力端子８０１に入力され
た入力信号は、入力層記憶部８０２に保存され、中間層
計算部８０３に入力され、その計算結果は出力層計算部
８０５に入力される。入力層記憶部８０２のもう一方の
出力は追加ニューロン計算部８０４に入力される。中間
層計算部８０３には入力層計算部８０２の出力と追加ニ
ューロン計算部８０４の出力が入力され、その出力は出
力層計算部８０５に入力され、その計算結果は出力端子
８０６から出力される。認識結果が誤認識であると判断
された場合には、誤認識信号が入力端子８０７から入力
され、追加ニューロン制御部８０８に送られる。追加ニ
ューロン制御部８０８は、誤認識信号に従い、追加ニュ
ーロン計算部８０４の計算に用いられるパラメータを変
更し、入力層記憶部８０２に再認識信号を入力する。再
認識信号を受けた入力層記憶部８０２は、記憶されてい
る入力データを中間層計算部８０３及び追加ニューロン
計算部８０４に送り、認識過程が繰り返される。出力層
計算部８０５からの出力は追加ニューロン制御部８０８
に送られ、認識結果の判断が行なわれ、正しく認識され
るまで追加ニューロン制御部８０８による追加ニューロ
ン計算部８０４の制御が行なわれる。
た入力信号は、入力層記憶部８０２に保存され、中間層
計算部８０３に入力され、その計算結果は出力層計算部
８０５に入力される。入力層記憶部８０２のもう一方の
出力は追加ニューロン計算部８０４に入力される。中間
層計算部８０３には入力層計算部８０２の出力と追加ニ
ューロン計算部８０４の出力が入力され、その出力は出
力層計算部８０５に入力され、その計算結果は出力端子
８０６から出力される。認識結果が誤認識であると判断
された場合には、誤認識信号が入力端子８０７から入力
され、追加ニューロン制御部８０８に送られる。追加ニ
ューロン制御部８０８は、誤認識信号に従い、追加ニュ
ーロン計算部８０４の計算に用いられるパラメータを変
更し、入力層記憶部８０２に再認識信号を入力する。再
認識信号を受けた入力層記憶部８０２は、記憶されてい
る入力データを中間層計算部８０３及び追加ニューロン
計算部８０４に送り、認識過程が繰り返される。出力層
計算部８０５からの出力は追加ニューロン制御部８０８
に送られ、認識結果の判断が行なわれ、正しく認識され
るまで追加ニューロン制御部８０８による追加ニューロ
ン計算部８０４の制御が行なわれる。
【００７８】次に、文字認識を例にとり、本実施例の動
作を図９に示す図面と対応づけて説明する。
作を図９に示す図面と対応づけて説明する。
【００７９】図３に示す第３の発明の一実施例と同様に
文字の濃淡画像を入力端子８０１に入力することにす
る。
文字の濃淡画像を入力端子８０１に入力することにす
る。
【００８０】入力層記憶部８０２は、入力層６０１に対
応している。入力層記憶部８０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部８０３は、中間層６０２に対応する。中間層６０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層６０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層６０２に含まれるニューロン数Ｎmid は便
宜上４０とする。中間層計算部８０３の計算は、追加ニ
ューロン計算部８０４からの出力を用いて、（２５），
（２６）式に従って荷重値及びしきい値を変更したあ
と、（１）式及び（２）式を用いて行なわれる。
応している。入力層記憶部８０２に含まれるニューロン
数は９９個であり、上で述べた９９次元の特徴量ベクト
ルのそれぞれの成分の値がメモリ保存される。中間層計
算部８０３は、中間層６０２に対応する。中間層６０２
に含まれるニューロン数をＮmid とすると、ニューロン
１つに対して、入力層６０１との結合の荷重値を記憶す
るＮin個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計Ｎmid ×（Ｎin＋２）個のメモリが用意されて
いる。中間層６０２に含まれるニューロン数Ｎmid は便
宜上４０とする。中間層計算部８０３の計算は、追加ニ
ューロン計算部８０４からの出力を用いて、（２５），
（２６）式に従って荷重値及びしきい値を変更したあ
と、（１）式及び（２）式を用いて行なわれる。
【００８１】追加ニューロン計算部８０４は、局所発火
型ニューロン群６０４に対応する。局所発火型ニューロ
ン１つに対して、入力層６０１との結合の荷重値を記憶
するＮin個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の中間層ニューロンの番号、変更すべきＮin個の荷重
値及びしきい値を記憶するメモリが、出力肢１本につき
必要になる。追加ニューロン数は学習により増加する。
追加ニューロン計算部８０４の計算は、（２４）式を用
いて行なわれるものとする。
型ニューロン群６０４に対応する。局所発火型ニューロ
ン１つに対して、入力層６０１との結合の荷重値を記憶
するＮin個のメモリ、しきい値を記憶する１個のメモ
リ、その計算結果を記憶する１個のメモリの他に、出力
先の中間層ニューロンの番号、変更すべきＮin個の荷重
値及びしきい値を記憶するメモリが、出力肢１本につき
必要になる。追加ニューロン数は学習により増加する。
追加ニューロン計算部８０４の計算は、（２４）式を用
いて行なわれるものとする。
【００８２】出力層計算部８０５は、出力層６０３に対
応する。出力層６０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層６０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部８０５の計
算は、（１）式及び（２）式を用いて行なわれる。出力
層６０３に含まれるニューロン数は、識別させたいカテ
ゴリの数によって定まる。
応する。出力層６０３に含まれるニューロン数をＮout
とすると、ニューロン１つに対して、中間層６０２との
結合の荷重値を記憶するＮmid 個のメモリ、しきい値を
記憶する１個のメモリ、及びその計算結果を記憶する１
個のメモリが必要なので、合計Ｎout ×（Ｎmid ＋２）
個のメモリが用意されている。出力層計算部８０５の計
算は、（１）式及び（２）式を用いて行なわれる。出力
層６０３に含まれるニューロン数は、識別させたいカテ
ゴリの数によって定まる。
【００８３】中間層計算部８０３及び出力層計算部８０
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部８０４には無関係に進められる。
５における荷重値及びしきい値は、誤差逆伝播学習法に
より既に設定されるものとする。この学習は、追加ニュ
ーロン計算部８０４には無関係に進められる。
【００８４】誤認識が生じた場合、誤認識信号が入力端
子８０７に入力される。この誤認識信号は、第３の発明
の一実施例と同様に、出力端子８０６から出力されるＮ
out個の信号の組に対して、何番目の信号値を上げる
か、あるいは何番目の信号値を下げるかという番号の組
である。誤認識識信号を受けた追加ニューロン制御部８
０８は、出力層計算部８０５の荷重値を参照し、第１及
び２の発明の作用で述べた手順により、追加ニューロン
計算部８０４内に存在するしきい値の変更あるいは、新
たなニューロンの追加すなわち１ニューロン分のメモリ
の確保、及び荷重値、しきい値、結合先が設定される。
その際、追加ニューロン制御部８０８から入力層記憶部
８０２に再認識信号が送られ、入力層記憶部８０２に保
存されていた入力データは中間層計算部８０３及び追加
ニューロン計算部８０４へ入力され、それらの出力は中
間層計算部８０３へ入力さ、出力層計算部８０５へ入力
される。出力層計算部８０５の出力が誤認識信号の要求
を満たした段階で、追加ニューロン制御部８０８は追加
ニューロン計算部８０４の制御を停止する。
子８０７に入力される。この誤認識信号は、第３の発明
の一実施例と同様に、出力端子８０６から出力されるＮ
out個の信号の組に対して、何番目の信号値を上げる
か、あるいは何番目の信号値を下げるかという番号の組
である。誤認識識信号を受けた追加ニューロン制御部８
０８は、出力層計算部８０５の荷重値を参照し、第１及
び２の発明の作用で述べた手順により、追加ニューロン
計算部８０４内に存在するしきい値の変更あるいは、新
たなニューロンの追加すなわち１ニューロン分のメモリ
の確保、及び荷重値、しきい値、結合先が設定される。
その際、追加ニューロン制御部８０８から入力層記憶部
８０２に再認識信号が送られ、入力層記憶部８０２に保
存されていた入力データは中間層計算部８０３及び追加
ニューロン計算部８０４へ入力され、それらの出力は中
間層計算部８０３へ入力さ、出力層計算部８０５へ入力
される。出力層計算部８０５の出力が誤認識信号の要求
を満たした段階で、追加ニューロン制御部８０８は追加
ニューロン計算部８０４の制御を停止する。
【００８５】以上、本第３，４の発明のパターン認識装
置の一実施例について述べた。従来の神経回路網として
３層のフィードフォワード型のニューラルネットを用い
たが、より多段のニューラルネットを用いたものでも、
他の学習モデルを用いたものでも、本第３，４の発明に
よる追記学習方法は有効である。また、濃淡特徴以外の
特徴量を入力データとして用いても、当然本第３，４の
発明は有効である。
置の一実施例について述べた。従来の神経回路網として
３層のフィードフォワード型のニューラルネットを用い
たが、より多段のニューラルネットを用いたものでも、
他の学習モデルを用いたものでも、本第３，４の発明に
よる追記学習方法は有効である。また、濃淡特徴以外の
特徴量を入力データとして用いても、当然本第３，４の
発明は有効である。
【００８６】
【発明の効果】以上説明したように本第１の発明は、入
力ベクトルＸとこの入力ベクトルＸのシナプス結合荷重
の値を示す荷重ベクトルＷとのベクトル内積からこのベ
クトル内積の出力の大きさを制御するしきい値ｈを引い
て得られる膜電位の値をシグモイド関数等の単調増加関
数に入力して出力値が得られる積和型のニューロンにお
いて、ニューロンの出力値が十分１に近い値となる第１
の膜電位の値をＵＨ、ニューロンの出力値が十分０に近
い値となる第２の膜電位の値をＵＬ、ある入力ベクトル
ＸＡに対する膜電位の値をＵＡとすると、膜電位の値が
ＵＬとなる任意のベクトルＸＬに対する膜電位の値をＵ
Ｌに保ちつつ、入力ベクトルＸＡに対する膜電位の値が
ＵＨになるように荷重ベクトルＷとしきい値ｈとを変更
し、あるいは膜電位の値がＵＨとなる任意のベクトルＸ
Ｈに対する膜電位の値をＵＨに保ちつつ、入力ベクトル
ＸＡに対する膜電位の値がＵＬになるように荷重ベクト
ルＷとしきい値ｈとを変更することにより、変更前の荷
重ベクトルとしきい値を求めるために用いた入力に対す
る出力値を変えることなく新たな入力に対する出力を変
更することができる効果を有する。
力ベクトルＸとこの入力ベクトルＸのシナプス結合荷重
の値を示す荷重ベクトルＷとのベクトル内積からこのベ
クトル内積の出力の大きさを制御するしきい値ｈを引い
て得られる膜電位の値をシグモイド関数等の単調増加関
数に入力して出力値が得られる積和型のニューロンにお
いて、ニューロンの出力値が十分１に近い値となる第１
の膜電位の値をＵＨ、ニューロンの出力値が十分０に近
い値となる第２の膜電位の値をＵＬ、ある入力ベクトル
ＸＡに対する膜電位の値をＵＡとすると、膜電位の値が
ＵＬとなる任意のベクトルＸＬに対する膜電位の値をＵ
Ｌに保ちつつ、入力ベクトルＸＡに対する膜電位の値が
ＵＨになるように荷重ベクトルＷとしきい値ｈとを変更
し、あるいは膜電位の値がＵＨとなる任意のベクトルＸ
Ｈに対する膜電位の値をＵＨに保ちつつ、入力ベクトル
ＸＡに対する膜電位の値がＵＬになるように荷重ベクト
ルＷとしきい値ｈとを変更することにより、変更前の荷
重ベクトルとしきい値を求めるために用いた入力に対す
る出力値を変えることなく新たな入力に対する出力を変
更することができる効果を有する。
【００８７】又、本第２の発明は、入力ベクトルＸとこ
の入力ベクトルＸのシナプス結合荷重の値を示す荷重ベ
クトルＷとのベクトル内積からこのベクトル内積の出力
の大きさを制御するしきい値ｈを引いて得られる膜電位
の値をシグモイド関数等の単調増加関数に入力して出力
値が得られる積和型の第１のニューロンと、ある入力ベ
クトルＸＡを中心とするある半径内の出力値が１、それ
以外の出力値が０となる局所型の第２のニューロンとを
有し、入力ベクトルＸに対して第２のニューロンの出力
値が０の場合第１のニューロンは荷重ベクトルＷとしき
い値ｈを用いて求められる膜電位に対する出力を行い、
入力ベクトルＸに対して第２のニューロンの出力値が１
の場合第１のニューロンは請求項１記載の方法によって
変更された荷重ベクトルＷ’としきい値ｈ’とを用いて
求められる膜電位に対する出力を行うことにより、入力
空間における局所的領域のみにおいて、第１の発明の効
果を作用することができ、誤認識が生じた場合の追記学
習を容易に行うことができる効果を有する。
の入力ベクトルＸのシナプス結合荷重の値を示す荷重ベ
クトルＷとのベクトル内積からこのベクトル内積の出力
の大きさを制御するしきい値ｈを引いて得られる膜電位
の値をシグモイド関数等の単調増加関数に入力して出力
値が得られる積和型の第１のニューロンと、ある入力ベ
クトルＸＡを中心とするある半径内の出力値が１、それ
以外の出力値が０となる局所型の第２のニューロンとを
有し、入力ベクトルＸに対して第２のニューロンの出力
値が０の場合第１のニューロンは荷重ベクトルＷとしき
い値ｈを用いて求められる膜電位に対する出力を行い、
入力ベクトルＸに対して第２のニューロンの出力値が１
の場合第１のニューロンは請求項１記載の方法によって
変更された荷重ベクトルＷ’としきい値ｈ’とを用いて
求められる膜電位に対する出力を行うことにより、入力
空間における局所的領域のみにおいて、第１の発明の効
果を作用することができ、誤認識が生じた場合の追記学
習を容易に行うことができる効果を有する。
【００８８】更に、本第３の発明は、入力層記憶部と、
この入力層記憶部の出力を用いて計算を行う積和型のニ
ューロンを含む中間層計算部と、この中間層計算部の出
力を用いて計算を行う局所型のニューロンを含む追加ニ
ューロン計算部と、中間層計算部の出力を入力ベクトル
とし請求項２記載の方法により追加ニューロン計算部の
出力に応じて荷重ベクトルとしきい値とが変化する積和
型のニューロンを含む出力層計算部と、追加ニューロン
計算部へ新しいニューロンを追加する追加ニューロン制
御部とから成り、ある入力ベクトルに対して出力層計算
部のある積和型第１のニューロンの出力値を上げる場合
には、追加ニューロン計算部に既に追加されているニュ
ーロンのうち第１のニューロンの膜電位を下げる作用を
する局所型のニューロンの半径を小さくするとともに、
所望の出力が第１のニューロンから得られない場合は第
１の新たな局所型のニューロンを第１のニューロンの膜
電位が上がるように追加ニューロン計算部に追加し、ま
た、ある入力ベクトルに対して出力層計算部のある積和
型第２のニューロンの出力値を下げる場合には、追加ニ
ューロン計算部に既に追加されているニューロンのうち
第２のニューロンの膜電位を上げる作用をする局所型の
ニューロンの半径を小さくするとともに、所望の出力が
第２のニューロンから得られない場合は第２の新たな局
所型のニューロンを第２のニューロンの膜電位が下がる
ように追加ニューロン計算部に追加することにより、又
本第４の発明は、入力層記憶部と、この入力層計算部の
出力を用いて計算を行う局所型のニューロンを含む追加
ニューロン計算部と、入力層計算部の出力を入力ベクト
ルとし請求項２記載の方法により追加ニューロン計算部
の出力に応じて荷重ベクトルとしきい値とが変化する積
和型のニューロンを含む中間層計算部と、この中間層計
算部の出力を用いて計算を行う積和型のニューロンを含
む出力層計算部と、追加ニューロン計算部へ新しいニュ
ーロンを追加する追加ニューロン制御部とから成り、あ
る入力ベクトルに対して出力層計算部のある積和型の第
１のニューロンの出力値を上げる場合には、追加ニュー
ロン計算部に既に追加されているニューロンのうち第１
のニューロンの膜電位を下げる作用をする局所型のニュ
ーロンの半径を小さくするとともに、所望の出力が第１
のニューロンから得られない場合は第１の新たな局所型
ニューロンを第１のニューロ ンの膜電位が上がるように
追加ニューロン計算部に追加し、また、ある入力ベクト
ルに対して出力層計算部のある積和型の第２のニューロ
ンの出力値を下げる場合には、追加ニューロン計算部に
既に追加されているニューロンのうち第２のニューロン
の膜電位を上げる作用をする局所型のニューロンの半径
を小さくするとともに、所望の出力が第２のニューロン
から得られない場合は第２の新たな局所型ニューロンを
第２のニューロンの膜電位が下がるように追加ニューロ
ン計算部に追加することにより、誤認識するパターンの
追記学習が容易に行え、以後正しく認識することができ
るようにすることができる効果がある。例えば個人に依
存するような手書文字認識においては、個人の癖などが
追加ニューロン群として登録することができ、全体とし
て認識率を向上させることができる効果がある。さらに
本第３，４の発明によれば、手書文字認識のみならず異
なるフォントの印刷文字認識についても有効であり、文
字認識に限らず一般のパターンについても適用すること
ができる効果がある。
この入力層記憶部の出力を用いて計算を行う積和型のニ
ューロンを含む中間層計算部と、この中間層計算部の出
力を用いて計算を行う局所型のニューロンを含む追加ニ
ューロン計算部と、中間層計算部の出力を入力ベクトル
とし請求項２記載の方法により追加ニューロン計算部の
出力に応じて荷重ベクトルとしきい値とが変化する積和
型のニューロンを含む出力層計算部と、追加ニューロン
計算部へ新しいニューロンを追加する追加ニューロン制
御部とから成り、ある入力ベクトルに対して出力層計算
部のある積和型第１のニューロンの出力値を上げる場合
には、追加ニューロン計算部に既に追加されているニュ
ーロンのうち第１のニューロンの膜電位を下げる作用を
する局所型のニューロンの半径を小さくするとともに、
所望の出力が第１のニューロンから得られない場合は第
１の新たな局所型のニューロンを第１のニューロンの膜
電位が上がるように追加ニューロン計算部に追加し、ま
た、ある入力ベクトルに対して出力層計算部のある積和
型第２のニューロンの出力値を下げる場合には、追加ニ
ューロン計算部に既に追加されているニューロンのうち
第２のニューロンの膜電位を上げる作用をする局所型の
ニューロンの半径を小さくするとともに、所望の出力が
第２のニューロンから得られない場合は第２の新たな局
所型のニューロンを第２のニューロンの膜電位が下がる
ように追加ニューロン計算部に追加することにより、又
本第４の発明は、入力層記憶部と、この入力層計算部の
出力を用いて計算を行う局所型のニューロンを含む追加
ニューロン計算部と、入力層計算部の出力を入力ベクト
ルとし請求項２記載の方法により追加ニューロン計算部
の出力に応じて荷重ベクトルとしきい値とが変化する積
和型のニューロンを含む中間層計算部と、この中間層計
算部の出力を用いて計算を行う積和型のニューロンを含
む出力層計算部と、追加ニューロン計算部へ新しいニュ
ーロンを追加する追加ニューロン制御部とから成り、あ
る入力ベクトルに対して出力層計算部のある積和型の第
１のニューロンの出力値を上げる場合には、追加ニュー
ロン計算部に既に追加されているニューロンのうち第１
のニューロンの膜電位を下げる作用をする局所型のニュ
ーロンの半径を小さくするとともに、所望の出力が第１
のニューロンから得られない場合は第１の新たな局所型
ニューロンを第１のニューロ ンの膜電位が上がるように
追加ニューロン計算部に追加し、また、ある入力ベクト
ルに対して出力層計算部のある積和型の第２のニューロ
ンの出力値を下げる場合には、追加ニューロン計算部に
既に追加されているニューロンのうち第２のニューロン
の膜電位を上げる作用をする局所型のニューロンの半径
を小さくするとともに、所望の出力が第２のニューロン
から得られない場合は第２の新たな局所型ニューロンを
第２のニューロンの膜電位が下がるように追加ニューロ
ン計算部に追加することにより、誤認識するパターンの
追記学習が容易に行え、以後正しく認識することができ
るようにすることができる効果がある。例えば個人に依
存するような手書文字認識においては、個人の癖などが
追加ニューロン群として登録することができ、全体とし
て認識率を向上させることができる効果がある。さらに
本第３，４の発明によれば、手書文字認識のみならず異
なるフォントの印刷文字認識についても有効であり、文
字認識に限らず一般のパターンについても適用すること
ができる効果がある。
【図１】本第１の発明の一実施例を示すブロック図であ
る。
る。
【図２】本第２の発明の一実施例を示すブロック図であ
る。
る。
【図３】本第３の発明の一実施例を示すブロック図であ
る。
る。
【図４】本第３の発明の一実施例に使用されるデジタル
フィルターの一例を示す図である。
フィルターの一例を示す図である。
【図５】本第４の発明の一実施例を示すブロック図であ
る。
る。
【図６】ニューロンの出力関数の一例を示す図である。
【図７】入力が２次元の場合のニューロンの出力値を示
す図である。
す図である。
【図８】本第３の発明の一実施例のパターン認識装置で
用いられる神経回路網の一モデルを示す図である。
用いられる神経回路網の一モデルを示す図である。
【図９】本第４の発明の一実施例のパターン認識装置で
用いられる神経回路網の一モデルを示す図である。
用いられる神経回路網の一モデルを示す図である。
【図１０】３層のフィードフォワード型神経回路網の一
モデルを示す図である。
モデルを示す図である。
１０１ 入力端子 １０２ 入力層記憶部 １０３ 中間層計算部 １０４ 追加ニューロン計算部 １０５ 出力層計算部 １０６ 出力端子 １０７ 入力端子 １０８ 追加ニューロン制御部 ２０１ 入力層 ２０２ 中間層 ２０３ 出力層 ３０１ 入力学習データ ３０２ 入力学習データ ３０３ 変更前のニューロンの出力関数 ３０４ 「興奮性の作用」後のニューロンの出力関数 ３０５ 「抑制性の作用」後のニューロンの出力関数 ４０１ 変更前のニューロンの出力値直線 ４０２ 入力データ ４０３ 「興奮制の作用」後のニューロンの出力値直
線 ４０４ 局所発火型ニューロンの発火領域 ４０５ 入力データ ４０６ 「抑制性の作用」後のニューロンの出力値直
線 ４０７ 局所発火型ニューロンの発火領域 ５０１ 入力層 ５０２ 中間層 ５０３ 出力層 ５０４ 局所発火型ニューロン群 ６０１ 入力層 ６０２ 中間層 ６０３ 出力層 ６０４ 局所発火型ニューロン群 ８０１ 入力端子 ８０２ 入力層記憶部 ８０３ 中間層計算部 ８０４ 追加ニューロン計算部 ８０５ 出力層計算部 ８０６ 出力端子 ８０７ 入力端子 ８０８ 追加ニューロン制御部 ９０１ 入力端子 ９０２ 膜電位計算部 ９０３ 出力値計算部 ９０４ 出力端子 ９０５ 入力端子 ９０６ 荷重ベクトル計算部 ９０７ しきい値計算部 ９０８ 荷重ベクトル計算部 ９０９ しきい値計算部 １００１ 入力端子 １００２ 膜電位計算部 １００３ 出力値計算部 １００４ 出力端子 １００５ 入力端子 １００６ 入力端子 １００７ 荷重ベクトル計算部 １００８ しきい値計算部 １００９ 荷重ベクトル計算部 １０１０ しきい値計算部 １０１１ 荷重ベクトル保存部 １０１２ しきい値保存部
線 ４０４ 局所発火型ニューロンの発火領域 ４０５ 入力データ ４０６ 「抑制性の作用」後のニューロンの出力値直
線 ４０７ 局所発火型ニューロンの発火領域 ５０１ 入力層 ５０２ 中間層 ５０３ 出力層 ５０４ 局所発火型ニューロン群 ６０１ 入力層 ６０２ 中間層 ６０３ 出力層 ６０４ 局所発火型ニューロン群 ８０１ 入力端子 ８０２ 入力層記憶部 ８０３ 中間層計算部 ８０４ 追加ニューロン計算部 ８０５ 出力層計算部 ８０６ 出力端子 ８０７ 入力端子 ８０８ 追加ニューロン制御部 ９０１ 入力端子 ９０２ 膜電位計算部 ９０３ 出力値計算部 ９０４ 出力端子 ９０５ 入力端子 ９０６ 荷重ベクトル計算部 ９０７ しきい値計算部 ９０８ 荷重ベクトル計算部 ９０９ しきい値計算部 １００１ 入力端子 １００２ 膜電位計算部 １００３ 出力値計算部 １００４ 出力端子 １００５ 入力端子 １００６ 入力端子 １００７ 荷重ベクトル計算部 １００８ しきい値計算部 １００９ 荷重ベクトル計算部 １０１０ しきい値計算部 １０１１ 荷重ベクトル保存部 １０１２ しきい値保存部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 15/18 520 G06G 7/60 G06T 7/00 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)
Claims (4)
- 【請求項１】 入力ベクトルＸとこの入力ベクトルＸの
シナプス結合荷重の値を示す荷重ベクトルＷとのベクト
ル内積からこのベクトル内積の出力の大きさを制御する
しきい値ｈを引いて得られる膜電位の値をシグモイド関
数等の単調増加関数に入力して出力値が得られる積和型
のニューロンにおいて、前記ニューロンの出力値が十分
１に近い値となる第１の膜電位の値をＵＨ、前記ニュー
ロンの出力値が十分０に近い値となる第２の膜電位の値
をＵＬ、ある入力ベクトルＸＡに対する膜電位の値をＵ
Ａとすると、膜電位の値が前記ＵＬとなる任意のベクト
ルＸＬに対する膜電位の値を前記ＵＬに保ちつつ、前記
入力ベクトルＸＡに対する膜電位の値がＵＨになるよう
に前記荷重ベクトルＷと前記しきい値ｈとを変更し、あ
るいは膜電位の値が前記ＵＨとなる任意のベクトルＸＨ
に対する膜電位の値をＵＨに保ちつつ、前記入力ベクト
ルＸＡに対する膜電位の値が前記ＵＬになるように前記
荷重ベクトルＷと前記しきい値ｈとを変更することを特
徴とするニューロン。 - 【請求項２】 入力ベクトルＸとこの入力ベクトルＸの
シナプス結合荷重の値を示す荷重ベクトルＷとのベクト
ル内積からこのベクトル内積の出力の大きさを制御する
しきい値ｈを引いて得られる膜電位の値をシグモイド関
数等の単調増加関数に入力して出力値が得られる積和型
の第１のニューロンと、ある入力ベクトルＸＡを中心と
するある半径内の出力値が１、それ以外の出力値が０と
なる局所型の第２のニューロンとを有し、前記入力ベク
トルＸに対して前記第２のニューロンの出力値が０の場
合前記第１のニューロンは前記荷重ベクトルＷと前記し
きい値ｈを用いて求められる膜電位に対する出力を行
い、前記入力ベクトルＸに対して前記第２のニューロン
の出力値が１の場合前記第１のニューロンは請求項１記
載の方法によって変更された荷重ベクトルＷ’としきい
値ｈ’とを用いて求められる膜電位に対する出力を行う
ことを特徴とする神経回路網。 - 【請求項３】 入力層記憶部と、この入力層記憶部の出
力を用いて計算を行う積和型のニューロンを含む中間層
計算部と、この中間層計算部の出力を用いて計算を行う
局所型のニューロンを含む追加ニューロン計算部と、前
記中間層計算部の出力を入力ベクトルとし請求項２記載
の方法により前記追加ニューロン計算部の出力に応じて
荷重ベクトルとしきい値とが変化する前記積和型のニュ
ーロンを含む出力層計算部と、前記追加ニューロン計算
部へ新しいニューロンを追加する追加ニューロン制御部
とから成り、ある入力ベクトルに対して前記出力層計算
部のある積和型第１のニューロンの出力値を上げる場合
には、前記追加ニューロン計算部に既に追加されている
ニューロンのうち前記第１のニューロンの膜電位を下げ
る作用をする前記局所型のニューロンの半径を小さくす
るとともに、所望の出力が前記第１のニューロンから得
られない場合は第１の新たな局所型のニューロンを前記
第１のニューロンの膜電位が上がるように前記追加ニュ
ーロン計算部に追加し、また、ある入力ベクトルに対し
て前記出力層計算部のある積和型第２のニューロンの出
力値を下げる場合には、前記追加ニューロン計算部に既
に追加されているニューロンのうち前記第２のニューロ
ンの膜電位を上げる作用をする前記局所型のニューロン
の半径を小さくするとともに、所望の出力が前記第２の
ニューロンから得られない場合は第２の新たな局所型の
ニューロンを前記第２のニューロンの膜電位が下がるよ
うに前記追加ニューロン計算部に追加することを特徴と
する神経回路網を用いたパターン認識装置。 - 【請求項４】 入力層記憶部と、この入力層計算部の出
力を用いて計算を行う局所型のニューロンを含む追加ニ
ューロン計算部と、前記入力層計算部の出力を入力ベク
トルとし請求項２記載の方法により前記追加ニューロン
計算部の出力に応じて荷重ベクトルとしきい値とが変化
する積和型のニューロンを含む中間層計算部と、この中
間層計算部の出力を用いて計算を行う前記積和型のニュ
ーロンを含む出力層計算部と、前記追加ニューロン計算
部へ新しいニューロンを追加する追加ニューロン制御部
とから成り、ある入力ベクトルに対して前記出力層計算
部のある積和型の第１のニューロンの出力値を上げる場
合には、前記追加ニューロン計算部に既に追加されてい
るニューロンのうち前記第１のニューロンの膜電位を下
げる作用をする前記局所型のニューロンの半径を小さく
するとともに、所望の出力が前記第１のニューロンから
得られない場合は第１の新たな局所型ニューロンを前記
第１のニューロンの膜電位が上がるように前記追加ニュ
ーロン計算部に追加し、また、ある入力ベクトルに対し
て前記出力層計算部のある積和型の第２のニューロンの
出力値を下げる場合には、前記追加ニューロン計算部に
既に追加されているニューロンのうち前記第２のニュー
ロンの膜電位を上げる作用をする局所型のニューロンの
半径を小さくするとともに、所望の出力が前記第２のニ
ューロンから得られない場合は第２の新たな局所型ニュ
ーロンを前記第２のニューロンの膜電位が下がるように
前記追加ニューロン計算部に追加することを特徴とする
神経回路網を用いたパターン認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4003439A JP3027874B2 (ja) | 1992-01-13 | 1992-01-13 | 神経回路網及びそのパターン認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4003439A JP3027874B2 (ja) | 1992-01-13 | 1992-01-13 | 神経回路網及びそのパターン認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05257917A JPH05257917A (ja) | 1993-10-08 |
| JP3027874B2 true JP3027874B2 (ja) | 2000-04-04 |
Family
ID=11557389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4003439A Expired - Fee Related JP3027874B2 (ja) | 1992-01-13 | 1992-01-13 | 神経回路網及びそのパターン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3027874B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005352900A (ja) | 2004-06-11 | 2005-12-22 | Canon Inc | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 |
| JP6874827B2 (ja) | 2017-03-21 | 2021-05-19 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
-
1992
- 1992-01-13 JP JP4003439A patent/JP3027874B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会全国大会講演論文集ＶＯＬ．１９９０，ＮＯ．Ａｕｔｕｍｎ Ｐｔ６ ｐａｇｅ６．１５ １９９０ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05257917A (ja) | 1993-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kurbiel et al. | Training of deep neural networks based on distance measures using RMSProp | |
| Tavanaei et al. | Multi-layer unsupervised learning in a spiking convolutional neural network | |
| Warner et al. | Understanding neural networks as statistical tools | |
| CN108304912B (zh) | 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法 | |
| EP0640935A2 (en) | Pattern recognition using a neural network | |
| Chumuang et al. | Intelligent handwriting Thai Signature Recognition System based on artificial neuron network | |
| CN111079790A (zh) | 一种构建类别中心的图像分类方法 | |
| JP2760145B2 (ja) | 知識情報処理装置 | |
| JP3027874B2 (ja) | 神経回路網及びそのパターン認識装置 | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| JP2780454B2 (ja) | 追記学習型パターン認識装置 | |
| Benchaou et al. | Neural network for numeral recognition | |
| Patra et al. | A novel approach for pattern recognition | |
| US20220156590A1 (en) | Artificial intelligence system and artificial neural network learning method thereof | |
| Shalakhmetov et al. | Optical character recognition with neural networks | |
| 江口脩 et al. | Output augmentation: A novel method of data augmentation | |
| JP3085312B2 (ja) | 文字認識学習方法、および文字認識装置 | |
| Taylor et al. | Validation of neural networks via taxonomic evaluation | |
| JPH07113917B2 (ja) | ニューラル・ネットワーク及びその制御方法及びニューラル・ネットワーク用演算装置 | |
| Qumsieh | A Supervised Modified Hebbian Learning Method On Feed-forward Neural Networks | |
| JPH02165285A (ja) | パターン認識装置 | |
| Adele | PERCEPTRON-BASED DEEP LEARNING: A LITERATURE REVIEW | |
| Lee | Neural Network Applications In Hand-Written Symbol Understanding | |
| JPH08202674A (ja) | ニューラルネットワークの学習装置及び学習方法 | |
| Takanashi et al. | Image Classification Using l 1-fidelity Multi-layer Convolutional Sparse Representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991130 |
|
| LAPS | Cancellation because of no payment of annual fees |