JP2737583B2 - ニューラルネットワーク回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像認識処理等を行う
ニューラルネットワーク回路に関する。

【０００２】

【従来の技術】近年、情報処理のニューラルネットワー
クの分野に大きな関心が集まってきている。これらのニ
ューラルネットワークは、生物の頭脳に備えるニューロ
ンの構造を模倣して考えられている。これらのニューラ
ルネットワークの処理の多くは、従来のフォン・ノイマ
ン型の逐次計算機により実現されており、処理速度はき
わめて遅いため、最近ニューラルネットワークの構成を
専用の電子回路で構成する試みがなされている。専用の
電子回路で構成するニューラルネットワークには、様々
な形態があるが、その中の一つに多層型ニューラルネッ
トワークがある。これは、図８に示すようなネットワー
ク構造であって、分岐及び統合能力のあるニューロンを
持ち、入力層と出力層の間に、多層からなる中間層を持
つ。

【０００３】図８に示す多層型ニューラルネットワーク
は、入力ベクトルｉ＝１,ｉ＝２が各々入力される２個
のニューロン素子１１１,１１２より成る入力層と、出
力ｏ＝１,ｏ＝２に関する２個のニューロン素子３３０,
３４０より成る出力層と、この入力層と出力層の間に位
置し、２階層に形成した６個のニューロン素子１２１〜
１２４,１３１,１３２より成る中間層の３層からなるニ
ューラルネットワークであって、前記各層のニューロン
素子間には、該各層のニューロン素子間の結合荷重を定
めるシナプス群４１〜４３が配置される。該各シナプス
群４１〜４３の各シナプスの結合荷重は、学習により変
更可能である。

【０００４】前記各シナプス群４１〜４３の各シナプス
の結合荷重を逐次適切に変更して学習することにより、
認識目的に合致したニューラルネットワークが構築され
る。これら各シナプス群４１〜４３の各シナプスの結合
荷重の学習方法として、一般的にバックプロパゲーショ
ン法（ＢＰ法）が知られるが、該ＢＰ法では学習や追加
学習に時間を要し、また学習アルゴリズムがハードウェ
ア化に適していないという欠点があった。

【０００５】そこで、高速な学習及び追加学習が可能で
あり、また学習アルゴリズムがハードウェア化に適した
図９に示すニューラルネットワーク回路が提案されてい
る。

【０００６】図９のニューラルネットワーク回路は、図
８に示すネットワーク構造を木分岐構造に展開したニュ
ーラルネットワークであって、入力ベクトルｉ＝１,ｉ
＝２を各々入力する分岐動作のみのニューロン素子１１
-11,１２-11よりなる入力層と、２階層に形成した２４
個の分岐動作のみのニューロン素子１１-21〜１１-24,
１１-31〜１１-38,１２-21〜１２-24,１２-31〜１２-38
よりなる中間層と、該中間層のうち上層の１６個のニュ
ーロン素子１１-31〜１１-38,１２-31〜１２-38からの
出力を統合し、出力ｏ＝１,ｏ＝２に関する統合動作の
みの２個のニューロン素子３１０,３２０よりなる出力
層とを備えた３層のニューラルネットワークであって、
中間層と出力層の間には、それらのニューロン素子間の
結合荷重を定めるシナプス群４が配置され、該シナプス
群４の各シナプスの結合荷重は学習により変更が可能で
ある。図９において、例えば図８における、１１２ー１
２２ー１３２ー３３０の経路は図９における１２-11ー
１２ー22ー１２ー34ー３１０の経路に対応する。ただしニ
ューロン素子１１-11〜１１-38間の各シナプスの結合荷
重、およびニューロン素子１２-11〜１２-38間の各シナ
プスの結合荷重は共に学習されず、入力層の各ニューロ
ン素子１１-11,１２-11に入力される入力ベクトルの値
により一意的に定まる。

【０００７】図９のように入力ベクトルの値のみに依存
し、学習せずに一意的に木分岐構造のシナプスの結合荷
重を定めるネットワークの形態の一つとして、例えば文
献「機能別階層ネットワークを用いた文字認識システ
ム」（平成２年度画像電子通信学会全国大会予稿第77頁
〜第80頁）または文献「Multi-Functional Layered Net
work using Quantizer Neurons」（Computer World '9
0,November 1990）に示されるような、量子化ニューロ
ンと呼ばれるネットワーク形態がある。この種のネット
ワーク構成は、最終層のシナプスの結合荷重の変更が他
にシナプスに依存しないので、高速な学習や追加学習性
を持ち、また学習アルゴリズムのハードウェア化に適し
ている。

【０００８】図９で示したネットワーク形態での認識方
法は、出力層にある統合動作のみの２個のニューロン素
子３１０,３２０の出力値の大小判定を行ない、最も出
力値の大きいニューロン素子の番号を認識結果とする。
ニューロン素子１１-31〜１１-38、１２-31〜１２-38の
中間層出力を統合する最終層のニューロン素子３１０,
３２０の統合方法には、各中間層出力の出力値と、シナ
プス群４で示される個々の結合荷重との積和による統合
が用いられる。

【０００９】図１０を用いて、統合ニューロン素子の統
合方法を更に詳しく説明する。図１０において、出力ニ
ューロン素子３１０と３２０、及びシナプス群４は図９
における図面のものと同じである。図１０におけるｆ１
及びｆ２は中間層出力値であり、図９におけるニューロ
ン素子１１-31の出力値をｆ１、ニューロン素子１１-32
の出力値をｆ２としてある。なお、１１-31〜１２ー38で
示すニューロン素子は、上述の文献に従い、入力信号の
分岐点としているため、１１-31から３１０への出力値
と１１-31から３２０への出力値は等しく、ここではｆ
１としている。また出力ニューロン素子へのシナプスの
結合荷重演算は、４-11〜４-22で実行される。結合荷重
演算実行部４ー11は、乗算器112と結合荷重係数111より
なり、中間層の出力値と乗算され、出力される。結合荷
重演算実行部４ー12〜４-22においても４-11と同様の機
能を有するが、各々別の結合荷重値を持つ。出力ニュー
ロン素子３１０と３２０での統合演算を（数１）で示
す。このようにして統合されたニューロン素子３１０,
３２０の出力値の大小判定を行ない、最も出力値の大き
いニューロン素子の番号を認識結果とする。

【００１０】

【数１】 Ｏ(310)＝Ｗ11×ｆ１＋Ｗ12×ｆ２＋… Ｏ(320)＝Ｗ21×ｆ１＋Ｗ22×ｆ２＋…

【００１１】図９で示したネットワーク形態での学習ア
ルゴリズムは、Ｈｅｂｂの学習則が用いられ、認識結果
が偽の時は、図９における教師入力により、真にすべき
出力ニューロン素子が、最大出力になるまで、前記真に
すべき出力ニューロン素子へのシナプス群４の結合荷重
を補強する。この補強の方法としては、ニューロン素子
１１-31〜１１-38、１２-31〜１２-38の出力値の大きさ
に応じて加算する補強方法が用いられる。

【００１２】図１１を用いて、シナプスの結合荷重の補
強方法を説明する。図１１は図１０における結合荷重11
1の拡大図であり、学習信号により、現在の結合荷重Ｗ1
1に中間層出力ｆ1が加算される。学習による荷重変更式
を（数２）で示す。

【００１３】

【数２】 Ｗ11＝Ｗ11＋ｆ１

【００１４】

【発明が解決しようとする課題】上述したような木分岐
構造からなる中間層をもち、最終層の統合ニューロンに
より各シナプスの統合を行ない、最終層のシナプスの結
合荷重変更により学習を行なう多層型ニューラルネット
ワーク構成では、荷重変更が他のシナプスに依存しない
ため、高速な学習や追加学習性を持ち、また学習アルゴ
リズムのハードウェア化にも適している。

【００１５】しかし上述のニューラルネットワークによ
り初期学習を行ない、新たな未学習データに対し認識を
行なった時の認識率が良くないという欠点がある。この
理由は上述のニューラルネットワークの学習により何種
類かの入力データを全て識別させようとした時、同種類
の入力データに偏りがありかつ類似データが存在する
と、その類似データの出力ニューロン素子へのシナプス
群の結合荷重が、他の結合荷重に比較して肥大する傾向
が生ずる。従って未学習のデータに前記肥大した結合荷
重に属するデータがノイズ成分として存在した時、前記
肥大した結合荷重のある出力ニューロン素子の出力結果
として誤認識してしまうからである。これが上述のニュ
ーラルネットワークの未学習データに対する認識率低下
の原因となっていた。

【００１６】また初期学習においても、出力ニューロン
素子へのシナプスの結合荷重が、学習回数に応じて次第
に大きくなるため、結合荷重のビット精度（ビット語
長）を必要とし、そのため結合荷重メモリに要するハー
ド量が大きくなる欠点があった。上述の文献によれば、
認識対照のデータ群にもよるが、６２種類の文字データ
を１３フォント学習させるために１６ビット程度の結合
荷重メモリを必要とする。

【００１７】本発明は、上記木分岐構造のニューラルネ
ットワークにおける問題点であった、未学習データ認識
率の向上と、結合荷重メモリに要するハード量の縮小化
を可能とするニューラルネットワーク回路を提供するこ
とを目的とする。

【００１８】

【課題を解決するための手段】前記の目的を達成するた
め、請求項１記載の発明の構成は、単一または複数個の
入力ベクトルを持つ入力層と、出力が前記入力ベクトル
の値により一意的に定まる木分岐構造のネットワークを
前記入力層の入力ベクトル数だけ持つ中間層と、前記中
間層の全ての出力を統合する単一または複数個の出力ユ
ニットを持つ出力層とを有する多層型ニューラルネット
ワークにおいて、前記中間層と各出力ユニットとの経路
における学習回数を記憶する学習回数メモリと、前記学
習回数メモリの出力を閾値処理する閾値処理回路と、前
記閾値処理回路の出力により制御される、前記中間層と
各出力ユニットとの経路の接続制御回路を有することを
特徴とし、前記各出力ユニットにおいて、前記接続制御
回路により接続された前記中間層の出力を総加算するニ
ューラルネットワーク回路の構成とする。

【００１９】更に請求項２の発明では、請求項１記載の
発明において、学習回数メモリに納められた学習回数を
ある上限値によりクリップするクリッピング機能を有す
るニューラルネットワーク回路の構成とする。

【００２０】更に請求項３の発明では、請求項１記載の
発明において、学習回数メモリに納められた全ての学習
回数値から、一様に一定の値を減じる学習回数更新器
と、学習回数更新結果が零回を下回る値に対しては、零
回にクリップするクリッピング機能とを有するニューラ
ルネットワーク回路の構成とする。

【００２１】請求項４記載の発明の構成は、単一または
複数個の入力ベクトルを持つ入力層と、出力が前記入力
ベクトルの値により一意的に定まる木分岐構造のネット
ワークを前記入力層の入力ベクトル数だけ持つ中間層
と、前記中間層の全ての出力を統合する単一または複数
個の出力ユニットを持つ出力層とを有する多層型ニュー
ラルネットワークにおいて、前記中間層と各出力ユニッ
トとの経路において前記経路が過去からの学習において
学習されたかどうかを記憶するフラグメモリと、前記フ
ラグメモリの出力により制御される、前記中間層と各出
力ユニットとの経路の接続制御回路を有することを特徴
とし、前記各出力ユニットにおいて、前記接続制御回路
により接続された前記中間層の出力を総加算するニュー
ラルネットワーク回路の構成とする。

【００２２】更に請求項５の発明では、請求項１及び４
記載の発明において、中間層の出力を「ハイ」もしくは
「ロウ」の２値出力とし、各出力ユニットにおいて、接
続制御回路により接続された前記中間層の出力のうち、
「ハイ」の数をカウントするニューラルネットワーク回
路の構成とする。

【００２３】

【作用】請求項１記載のニューラルネットワーク回路に
より、出力ニューロン素子へのシナプスの学習回数を記
憶することが可能となり、出力ニューロン素子により、
ある閾値を超えたシナプスからの中間層出力のみを総加
算することが可能となる。これため従来問題であった、
学習による、同種類の入力データに偏りがありかつ類似
データが存在する時の局所的なシナプスの結合荷重の肥
大化を抑え、未学習データに対する認識率の向上が可能
となる。また請求項２記載の発明と併用する事で、学習
回数メモリに要するハード量の削減が可能となる。また
請求項３記載の発明と併用する事で、過学習による認識
対照データのノイズ成分を削減することが可能となり、
更なる未学習データに対する認識率の向上が可能とな
る。

【００２４】請求項４記載の発明では、出力ニューロン
素子へ統合するシナプスを、出力ニューロン素子へのシ
ナプスの学習歴があるかないかのフラグメモリとするた
め、更なるハード量の大幅な削減が可能となる。

【００２５】また請求項５記載の発明と併用すること
で、出力ニューロン素子の中間層出力の統合化が、中間
層出力数のカウントとなり、統合化回路のハード量の削
減が可能となる。

【００２６】

【実施例】

（実施例１）図１は本発明の請求項１に基づくニューラ
ルネットワーク回路の構成図である。図１のネットワー
ク構成は従来例で述べた図１０に従っており、同じ構成
要素に対しては同じ番号を付けてある。

【００２７】図１において、３１０,３２０はそれぞれ
図９で示したニューロン素子１１-31〜１１-38,１２-31
〜１２-38の中間層出力を統合する最終層の出力ニュー
ロン素子である。またｆ１及びｆ２は従来例の項でも述
べたように、中間層出力値であり、図９におけるニュー
ロン素子１１-31の出力値をｆ１、ニューロン素子１１-
32の出力値をｆ２としてある。なお、１１-31〜１２ー38
で示すニューロン素子は、上述の文献に従い、入力信号
の分岐点としているため、１１-31から３１０への出力
値と１１-31から３２０への出力値は等しく、ここでは
ｆ１としている。また出力ニューロン素子へのシナプス
の結合荷重演算は、４-11〜４-22で実行される。

【００２８】結合荷重演算実行部４ー11は、学習回数メ
モリ113とこの学習回数メモリを閾値処理する閾値処理
回路114と、前記閾値処理回路により、２値化された制
御信号により制御される接続制御回路115により構成さ
れ、中間層と出力ニューロン素子とのシナプスの接続を
制御する。結合荷重演算実行部４ー12〜４-22においても
結合荷重演算実行部４-11と同様の機能を有するが、各
々別々の学習回数値を持つ。ここで仮に閾値処理回路の
閾値を１とした時、結合荷重演算部４-11において学習
回数メモリ113の値Ｒ11が１以上の値の時は、中間層出
力ｆ１を出力し、学習回数メモリ113の値Ｒ11が０の時
は、中間層出力ｆ１は接続されず零を出力する。このよ
うに出力ニューロン素子３１０,３２０において、中間
層出力のうち、接続されたシナプスの中間層出力のみを
加算することにより統合する。

【００２９】以上のようにして統合された出力ニューロ
ン素子３１０,３２０の出力値の大小判定を行ない、最
も出力値の大きい出力ニューロン素子の番号を認識結果
とする。

【００３０】次に図１で示したネットワーク形態での学
習アルゴリズムについて説明する。まず全ての出力ニュ
ーロン素子につながるシナプスの学習回数メモリを０と
する。その後初期学習において、初期学習させるべきデ
ータに対し、全て１度だけ学習を行なう。学習の方法
は、図１における教師入力により、入力データに対応し
た出力ニューロン素子の番号に連結されているシナプス
のうち、中間層出力が零でないシナプスに関し、全て学
習回数メモリの値をインクリメントさせる。ここでは、
中間層出力が零でないシナプスに関し学習回数をインク
リメントすると述べたが、中間層出力がある閾値以上の
ものに関してインクリメントさせても良い。

【００３１】学習回数メモリの更新器の例を図２に示
す。図２は図１における学習回数メモリ113の拡大図で
あり、学習信号により、現在の学習回数値Ｒ11が１つイ
ンクリメントされる。学習による荷重変更式を（数３）
で示す。

【００３２】

【数３】 Ｒ11＝Ｒ11＋１

【００３３】以上のように本実施例では、出力ニューロ
ン素子へのシナプスの学習回数を記憶することが可能と
なり、出力ニューロン素子により、ある閾値を超えたシ
ナプスからの中間層出力のみを総加算することが可能と
なる。これため従来問題であった、学習による、同種類
の入力データに偏りがありかつ類似データが存在する時
の局所的なシナプスの結合荷重の肥大化を抑え、未学習
データに対する認識率の向上が可能となる。

【００３４】（実施例２）図３は本発明の請求項２に基
づく学習回数メモリの学習演算回路である。図３で示す
ように学習回数メモリの入力に、上限リミッタを設ける
事により、学習回数メモリのメモリ量を減らす事が可能
である。このように本発明は、従来使用されている、出
力ニューロン素子へのシナプスが結合荷重という重みに
より結合されるという構成とは違い、出力ニューロン素
子へのシナプスが学習回数により接続制御される新規な
構成を成している。

【００３５】図３で示す上限リミッタを３とした時、学
習回数メモリに要するメモリはわずか２ビットでよく、
従来必要とした１６ビットの結合荷重メモリに対し、１
／８のメモリ量となる。しかも上述の文献によるニュー
ラルネットワーク構成で、同じ入力データに対し、本発
明による初期学習を行い、その後未学習データに対する
認識テストを行なった結果、従来の学習では６３％程度
であった未学習データに対する認識率が、本発明により
８６％程度まで上昇した。この認識テストは、初期学習
では、６２種類１３フォントの文字データに対し学習さ
せ、その後未学習の６２種類１０フォントの文字データ
に対する認識率を算出した。

【００３６】このように本発明では、学習に必要なメモ
リ量が少ないにもかかわらず、かつ未学習データに対す
る認識率がよいという優れた効果を持つ。

【００３７】更に本構成によるニューラルネットワーク
回路では、１つの入力データに対し、一度学習させるこ
とにより、必ず対応する出力ニューロン素子が、同じ入
力データに対しては最大出力となるため、認識結果を得
ずに無条件に初期学習することが可能である。このため
本発明によるニューラルネットワーク構成では、従来の
初期学習における収束時間に対し、約１／６０から１／
１０００の収束時間となる。

【００３８】（実施例３）このように実施例２は優れた
効果を持つが、過学習による未学習データに対する認識
率低下が問題となる。つまり各出力ニューロン素子への
シナプスが過学習により、ノイズ成分を多く受け接続制
御されてしまうからである。従って過去の学習において
あまり学習されていないシナプスをノイズ成分とみな
し、学習の履歴をなくすことで、過学習による未学習デ
ータに対する認識率低下を防止することができる。

【００３９】前記問題点を解決する学習回数メモリの更
新器の例を図４に示す。図４は請求項３に基づく実施例
である。図４は図１における学習回数メモリ113の拡大
図であり、図２に示すインクリメント機能の他に、学習
信号により、現在の学習回数値Ｒ11を１つデクリメント
する機能も合わせもつ。更に学習回数メモリの入力には
下限リミッタをもち、零以下の値に対して零にリミット
する機能を持つ。

【００４０】過学習により、未学習データに対する認識
率が低下してきた時は、全てのシナプスの学習回数メモ
リに対し、減算用制御信号により、全ての出力ニューロ
ン素子へのシナプスの学習回数値から１減算する学習を
行なう。ただし、前記下限リミッタにより、零以下の学
習メモリ値に対しては零にリミットされる。以上のよう
な機能を付加することにより、過学習による未学習デー
タに対する認識率低下を防止することが可能となる。

【００４１】過学習による未学習データに対する認識率
低下を防止する手段としては、上記で述べた手法の他
に、図１における閾値処理回路の閾値を１増加させても
同等の効果を得る。

【００４２】なお上記学習回数メモリ更新器の構成では
１減算する構成についてのみ述べたが、学習回数を減少
させる機能があれば、減算でも除算でもよい。

【００４３】（実施例４）図５は本発明の請求項４に基
づくニューラルネットワーク回路の構成図である。図５
のネットワーク構成は従来例で述べた図１０に従ってお
り、同じ構成要素に対しては同じ番号を付けてある。

【００４４】図５において、３１０,３２０はそれぞれ
図９で示したニューロン素子１１-31〜１１-38,１２-31
〜１２-38の中間層出力を統合する最終層の出力ニュー
ロン素子である。またｆ１及びｆ２は従来例の項でも述
べたように、中間層出力値であり、図９におけるニュー
ロン素子１１-31の出力値をｆ１、ニューロン素子１１-
32の出力値をｆ２としてある。なお、１１-31〜１２ー38
で示すニューロン素子は、上述の文献に従い、入力信号
の分岐点としているため、１１-31から３１０への出力
値と１１-31から３２０への出力値は等しく、ここでは
ｆ１としている。また出力ニューロン素子へのシナプス
の結合荷重演算は、４-11〜４-22で実行される。

【００４５】結合荷重演算実行部４ー11は、フラグメモ
リ116と、前記フラグメモリにより制御される接続制御
回路115により構成され、中間層と出力ニューロン素子
とのシナプスの接続を制御する。結合荷重演算実行部４
ー12〜４-22においても４-11と同様の機能を有するが、
各々別々のフラグ値を持つ。ここで仮に結合荷重演算部
４-11におけるフラグメモリ116の値Ｑ11が１の値の時
は、中間層出力ｆ１を出力し、フラグメモリ116の値Ｑ1
1が０の時は、中間層出力ｆ１は接続されず零を出力す
る。このように出力ニューロン素子３１０,３２０にお
いて、中間層出力のうち、接続されたシナプスの中間層
出力のみを加算することにより統合する。このようにし
て統合された出力ニューロン素子３１０、３２０の出力
値の大小判定を行ない、最も出力値の大きい出力ニュー
ロン素子の番号を認識結果とする。

【００４６】次に図５で示したネットワーク形態での学
習アルゴリズムについて説明する。まず全ての出力ニュ
ーロン素子につながるシナプスのフラグメモリを０とす
る。ここではフラグメモリが０の時は中間層出力は出力
ニューロン素子に接続されず、１の時に接続されるもの
とする。その後初期学習において、初期学習させるべき
データに対し、全て１度だけ学習を行なう。学習の方法
は、図５における教師入力により、入力データに対応し
た出力ニューロン素子の番号に連結されているシナプス
のうち、中間層出力が零でないシナプスに関し、全てフ
ラグメモリの値を１とする。ここでは、中間層出力が零
でないシナプスに関しフラグメモリの値を１とすると述
べたが、中間層出力がある閾値以上のものに関してフラ
グメモリを１としても良い。

【００４７】以上のように本実施例では、フラグメモリ
に要する１つのシナプスに対しるメモリ量が１ビットで
あるため、実施例１で述べた発明に対しメモリ量がさら
に削減することができる。さらに学習回数メモリに対す
る閾値処理回路を必要としないため、さらにハード規模
の削減が期待される。未学習データに対する認識率に関
しては、実施例１で述べたニューラルネットワーク回路
と同等の性能を得る。

【００４８】このように本発明では、学習に必要なメモ
リ量が少ないにもかかわらず、かつ未学習データに対す
る認識率がよいという優れた効果を持つ。

【００４９】更に本構成によるニューラルネットワーク
回路では、１つの入力データに対し、一度学習させるこ
とにより、必ず対応する出力ニューロン素子が、同じ入
力データに対しては最大出力となるため、認識結果を得
ずに無条件に初期学習することが可能である。このため
本発明によるニューラルネットワーク構成では、従来の
初期学習における収束時間に対し、約１／６０から１／
１０００の収束時間となる。

【００５０】但し本実施例で述べたニューラルネットワ
ーク回路構成では、過学習による未学習データに対する
認識率低下に対し、対応することができない。しかし過
学習とはならない初期学習を行なう場合、またはノイズ
成分の少ないデータに対する学習をさせる場合、もしく
は、フラグメモリをＲＯＭ化し認識装置としてのみ使用
する場合は、実用上効率的である。

【００５１】（実施例５）図６は本発明の請求項５に基
づくニューラルネットワーク回路の第１の構成図であ
る。図６のネットワーク構成は図５に従っており、同じ
構成要素に対しては同じ番号を付けてある。

【００５２】図６において、３１０,３２０はそれぞれ
図９で示したニューロン素子１１-31〜１１-38,１２-31
〜１２-38の中間層出力を統合する最終層の出力ニュー
ロン素子である。またｆ１及びｆ２は従来例の項でも述
べたように、中間層出力値であり、図９におけるニュー
ロン素子１１-31の出力値をｆ１、ニューロン素子１１-
32の出力値をｆ２としてある。なお、１１-31〜１２ー38
で示すニューロン素子は、上述の文献に従い、入力信号
の分岐点としているため、１１-31から３１０への出力
値と１１-31から３２０への出力値は等しく、ここでは
ｆ１としている。但し図６においては、中間層出力値ｆ
１、ｆ２等は１もしくは０の２値出力である。また出力
ニューロン素子へのシナプスの結合荷重演算は、４-11
〜４-22で実行される。

【００５３】結合荷重演算実行部４ー11は、フラグメモ
リ116と、前記フラグメモリにより制御される接続制御
回路117により構成され、中間層と出力ニューロン素子
とのシナプスの接続を制御する。結合荷重演算実行部４
ー12〜４-22においても４-11と同様の機能を有するが、
各々別々のフラグ値を持つ。接続制御回路117への中間
層からの入力は２値であるため、接続制御回路117は、
図５で示したセレクタではなしに、論理積回路で実現可
能である。出力ニューロン素子３１０,３２０におい
て、中間層出力のうち、接続されたシナプスの中間層出
力の１の数をカウントすることにより統合する。

【００５４】このようにして統合された出力ニューロン
素子３１０,３２０の出力値の大小判定を行ない、最も
出力値の大きい出力ニューロン素子の番号を認識結果と
する。

【００５５】次に図６で示したネットワーク形態での学
習アルゴリズムについて説明する。まず全ての出力ニュ
ーロン素子につながるシナプスのフラグメモリを０とす
る。ここではフラグメモリが０の時は中間層出力は出力
ニューロン素子に接続されず、１の時に接続されるもの
とする。その後初期学習において、初期学習させるべき
データに対し、全て１度だけ学習を行なう。学習の方法
は、図６における教師入力により、入力データに対応し
た出力ニューロン素子の番号に連結されているシナプス
のうち、中間層出力が１のシナプスに関し、全てフラグ
メモリの値を１とする。

【００５６】上記実施例４で述べた発明と本実施例で述
べた発明との併用することにより、出力ニューロン素子
へのシナプスの接続制御回路117が簡単となり、また出
力ニューロン素子３１０,３２０において実行する統合
処理が、入力が１の数のカウント処理となるため、図５
で示した回路と比較し、ハード量がさらに削減される。

【００５７】未学習データに対する認識率をテストした
所、実施例１または実施例４で述べた回路より、２〜３
％程度の認識率の劣化が生じた。しかし従来の学習法に
比べ高い認識率であり、また認識対照のデータの種類に
依っては、実用上十分に利用可能である。

【００５８】（実施例６）図７は本発明の請求項５に基
づくニューラルネットワーク回路の第２の構成図であ
る。図７のネットワーク構成は図１に従っており、同じ
構成要素に対しては同じ番号を付けてある。

【００５９】図７において、３１０,３２０はそれぞれ
図９で示したニューロン素子１１-31〜１１-38,１２-31
〜１２-38の中間層出力を統合する最終層の出力ニュー
ロン素子である。またｆ１及びｆ２は従来例の項でも述
べたように、中間層出力値であり、図９におけるニュー
ロン素子１１-31の出力値をｆ１、ニューロン素子１１-
32の出力値をｆ２としてある。なお、１１-31〜１２ー38
で示すニューロン素子は、上述の文献に従い、入力信号
の分岐点としているため、１１-31から３１０への出力
値と１１-31から３２０への出力値は等しく、ここでは
ｆ１としている。但し図７においては、中間層出力値ｆ
１、ｆ２等は１もしくは０の２値出力である。また出力
ニューロン素子へのシナプスの結合荷重演算は、４-11
〜４-22で実行される。

【００６０】結合荷重演算実行部４ー11は、学習回数メ
モリ113と、前記学習回数メモリを閾値処理する閾値処
理回路114と、前記閾値処理回路により、２値化された
制御信号により制御される接続制御回路117により構成
され、中間層と出力ニューロン素子とのシナプスの接続
を制御する。結合荷重演算実行部４ー12〜４-22において
も４-11と同様の機能を有するが、各々別々の学習回数
値を持つ。接続制御回路４ー11ー7への中間層からの入力
は２値であるため、接続制御回路117は、図１で示した
セレクタではなしに、論理積回路で実現可能である。出
力ニューロン素子３１０,３２０において、中間層出力
のうち、接続されたシナプスの中間層出力の１の数をカ
ウントすることにより統合する。

【００６１】このようにして統合された出力ニューロン
素子３１０,３２０の出力値の大小判定を行ない、最も
出力値の大きい出力ニューロン素子の番号を認識結果と
する。

【００６２】上記実施例１で述べた発明と実施例５で述
べた発明とを併用することにより、出力ニューロン素子
へのシナプスの接続制御回路117が簡単となり、また出
力ニューロン素子３１０,３２０において実行する統合
処理が、入力が１の数のカウント処理となるため、図１
で示した回路と比較し、ハード量がさらに削減される。

【００６３】未学習データに対する認識結果は図６で示
す回路と同等で、実施例１または実施例４で述べた回路
より、２〜３％程度の認識率の劣化が生じる。しかし従
来の学習法に比べ高い認識率であり、また認識対照のデ
ータの種類に依っては、実用上十分に利用可能である。
また図７で示す回路では、図１の回路と同様に過学習に
よる未学習データに対する認識率低下に対し、対応する
ことが可能である。

【００６４】以上述べた全ての実施例において、結合荷
重演算実行部４-11〜４-22は各結合荷重演算実行部毎に
別々の学習値を記憶するメモリを必要とする。しかし各
結合荷重演算実行部における処理及び出力ニューロン素
子における統合処理においては、１つもしくは複数の処
理装置を用い、逐次的に学習メモリを切り替えながら処
理を行うことが可能である。また本実施例で述べたよう
に、それぞれの出力ニューロン素子へのシナプスに対
し、全て結合荷重演算実行部を具備し、並列処理させる
ことも可能である。

【００６５】また本発明では、簡単のため出力ニューロ
ン素子数を２として説明したが、本発明はこれに限定さ
れず、他の出力数としてもよいのは勿論である。

【００６６】

【発明の効果】以上説明したように本発明は、従来使用
されている、出力ニューロン素子へのシナプスが結合荷
重という重みにより結合されるという構成とは違い、出
力ニューロン素子へのシナプスが、学習により接続制御
される新規な学習構成を成している。

【００６７】請求項１記載の発明により、未学習データ
に対する認識率の向上が可能となる。また請求項２記載
の発明と併用することで、ハード規模の縮小化が可能と
なる。また請求項３記載の発明と併用することで、過学
習に対する未学習データに対する認識率劣化を抑えるこ
とが可能となる。

【００６８】請求項４記載の発明により、請求項１記載
の発明に対し、更なるハード規模の縮小化が可能とな
る。

【００６９】更に請求項１記載の発明または請求項４記
載の発明において、請求項５記載の発明を用いることに
より、更なるハード規模の縮小化が可能となる。

【図面の簡単な説明】

【図１】本発明の請求項１に基づくニューラルネットワ
ーク回路の構成図

【図２】学習回数メモリの学習演算回路図

【図３】本発明の請求項２に基づく学習回数メモリの学
習演算回路図

【図４】本発明の請求項３に基づく学習回数メモリの学
習演算回路図

【図５】本発明の請求項４に基づくニューラルネットワ
ーク回路の構成図

【図６】本発明の請求項５に基づくニューラルネットワ
ーク回路の第１の構成図

【図７】本発明の請求項５に基づくニューラルネットワ
ーク回路の第２の構成図

【図８】多層型ニューラルネットワーク回路図

【図９】木分岐構造の多層型ニューラルネットワーク回
路図

【図１０】木分岐構造の多層型ニューラルネットワーク
回路図

【図１１】結合荷重メモリの結合荷重演算回路図

【符号の説明】

１１１〜１３２ ニューロン素子 ３１０〜３４０ 出力ニューロン素子 １１-11〜１１ー38,１２-11〜１２ー38 分岐ニューロン
素子 ４ 結合荷重群 ４-11〜４-22 結合荷重演算部 113 学習回数メモリ 114 閾値処理回路 115 接続制御回路 116 フラグメモリ 117 接続制御回路

フロントページの続き (72)発明者 香田 敏行 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 丸野 進 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 電子情報通信学会技術研究報告 Ｖｏ ｌ．93，Ｎｏ．223 Ｐ．39−46

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】単一または複数個の入力ベクトルを持つ入
   力層と、 出力が前記入力ベクトルの値により一意的に定まる木分
   岐構造のネットワークを前記入力層の入力ベクトル数だ
   け持つ中間層と、 前記中間層の全ての出力を統合する単一または複数個の
   出力ユニットを持つ出力層とを有する多層型ニューラル
   ネットワークにおいて、 前記中間層と各出力ユニットとの経路における学習回数
   を記憶する学習回数メモリと、 前記学習回数メモリの出力を閾値処理する閾値処理回路
   と、 前記閾値処理回路の出力により制御される、前記中間層
   と各出力ユニットとの経路の接続制御回路とを有し、 前記各出力ユニットにおいて、前記接続制御回路により
   接続された前記中間層の出力を総加算するニューラルネ
   ットワーク回路。
2. 【請求項２】請求項１記載の学習回数メモリに納められ
   た学習回数をある上限値によりクリップするクリッピン
   グ機能を有するニューラルネットワーク回路。
3. 【請求項３】請求項１記載の学習回数メモリに納められ
   た全ての学習回数値から、一様に一定の値を減じる学習
   回数更新器と、学習回数更新結果が零回を下回る値に対
   しては、零回にクリップするクリッピング機能とを有す
   るニューラルネットワーク回路。
4. 【請求項４】単一または複数個の入力ベクトルを持つ入
   力層と、 出力が前記入力ベクトルの値により一意的に定まる木分
   岐構造のネットワークを前記入力層の入力ベクトル数だ
   け持つ中間層と、 前記中間層の全ての出力を統合する単一または複数個の
   出力ユニットを持つ出力層とを有する多層型ニューラル
   ネットワークにおいて、 前記中間層と各出力ユニットとの経路において前記経路
   が過去からの学習において学習されたか否かを記憶する
   フラグメモリと、 前記フラグメモリの出力により制御される、前記中間層
   と各出力ユニットとの経路の接続制御回路とを有し、 前記各出力ユニットにおいて、前記接続制御回路により
   接続された前記中間層の出力を総加算するニューラルネ
   ットワーク回路。
5. 【請求項５】請求項１叉は４記載の中間層の出力を「ハ
   イ」もしくは「ロウ」の２値出力とし、各出力ユニット
   において、接続制御回路により接続された前記中間層の
   出力のうち、「ハイ」の数をカウントするニューラルネ
   ットワーク回路。