JPH0561843A - ニユーラルネツトワーク装置 - Google Patents

Abstract

(57)【要約】 【目的】 任意の用途に対して直ちに使用できるととも
に、入力情報や動作のさせ方に多少に違いがあっても対
応可能な装置を提供する。 【構成】 予め学習して求めておいたニューラルネット
ワーク３のシナプス結合荷重に関するディジタルデータ
を書込んだメモリカード５をカードリーダ６に取付け、
該データをアナログ電圧に変換してアナログメモリ８に
供給することによりニューラルネットワーク３の各ニュ
ーロンのシナプス結合荷重を設定し、また、ニューラル
ネットワーク３の出力信号に誤りがある場合は教師信号
発生器９から正しい信号を入力し、誤差逆伝播等の手法
に従ってアナログメモリ８内のアナログ電圧を修正する
ことにより、正しい信号が得られる如く学習させる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クを用いた文字（パターン）認識装置や制御装置に関す
るものである。

【０００２】

【従来の技術】従来のこの種の装置は、特定の用途に応
じて予め学習して求めておいたシナプス結合荷重が固定
的に与えられ、これによってのみ動作する装置と、当初
は学習結果に基くシナプス結合荷重を持たず、使用した
際の結果に基いて学習させ、シナプス結合荷重を修正し
てゆく装置との２通りに大別される。

【０００３】

【発明が解決しようとする課題】しかしながら、前者の
装置では特定の用途にしか使用できないという問題があ
った。また、後者の装置では使用する者がその用途に応
じて学習させなければならず、この学習は誤差逆伝播
（バックプロパゲーション）等の手法によって行われる
が、必要な動作のために該学習を収束させることは非常
に難しく、多くの時間を必要とするという問題があっ
た。

【０００４】本発明は前記従来の問題点に鑑み、任意の
用途に対して直ちに使用できるとともに、入力情報や動
作のさせ方に多少に違いがあっても対応可能なニューラ
ルネットワーク装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明では前記目的を達
成するため、請求項１として、ニューラルネットワーク
を構成する複数のニューロンのシナプス結合荷重を任意
に変更可能なニューラルネットワーク装置において、所
定の用途に応じて予め学習して求めておいたシナプス結
合荷重をニューラルネットワークの各ニューロンに設定
する結合荷重設定手段と、所定の用途に使用した際の結
果に基いて学習させ前記設定されたシナプス結合荷重を
修正する結合荷重修正手段とを備えたニューラルネット
ワーク装置、また、請求項２として、所定の用途に応じ
て予め学習して求めておいたシナプス結合荷重をニュー
ラルネットワークの各ニューロンに装置の外部より設定
する結合荷重設定手段を備えた請求項１記載のニューラ
ルネットワーク装置、また、請求項３として、所定の用
途に応じて予め学習して求めておいたシナプス結合荷重
を配置した媒体と、該媒体を装置に対して取付け・取外
し自在とする機構とからなる結合荷重設定手段を備えた
請求項２記載のニューラルネットワーク装置、また、請
求項４として、シナプス結合荷重を配置する媒体とし
て、記憶回路を備えたものを用いた請求項３記載のニュ
ーラルネットワーク装置、また、請求項５として、シナ
プス結合荷重を配置する媒体として、ベース部材に磁性
粉体を塗布したものを用いた請求項３記載のニューラル
ネットワーク装置を提案する。

【０００６】

【作用】本発明の請求項１によれば、結合荷重設定手段
により所定の用途に応じて予め学習して求めておいたシ
ナプス結合荷重がニューラルネットワークの各ニューロ
ンに設定され、また、結合荷重修正手段により所定の用
途に使用した際の結果に基いて学習が行われ前記設定さ
れたシナプス結合荷重が修正される。また、請求項２に
よれば、結合荷重設定手段により所定の用途に応じて予
め学習して求めておいたシナプス結合荷重が装置の外部
よりニューラルネットワークの各ニューロンに設定され
る。また、請求項３によれば、所定の用途に応じて予め
学習して求めておいたシナプス結合荷重を配置した媒体
が機構を介して装置に取付けられ又は取外される。ま
た、請求項４によれば、媒体の記憶回路に所定の用途に
応じて予め学習して求めておいたシナプス結合荷重が配
置、即ち記憶される。また、請求項５によれば、媒体の
磁性粉体に所定の用途に応じて予め学習して求めておい
たシナプス結合荷重が配置、即ち磁気記録される。

【０００７】

【実施例】図１は本発明のニューラルネットワーク装置
の一実施例を示すもので、ここでは文字認識装置を実現
した例を示す。図中、１は文字入力板、２はアナログバ
ッファ、３はニューラルネットワーク、４は文字表示
板、５はメモリカード、６はカードリーダ、７はディジ
タル・アナログ（Ｄ／Ａ）変換器、８はアナログメモ
リ、９は教師信号発生器、１０はランダムアクセスメモ
リ（ＲＡＭ）、１１はマイクロプロセッサ（ＣＰＵ）で
ある。

【０００８】文字入力板１は感圧センサを縦横にそれぞ
れ１２個づつ配列してなるもので、図示しないペン等を
介して文字を手書き入力すると、各感圧センサより該文
字のパターンに対応したアナログ電圧が出力される。ア
ナログバッファ２は前記文字入力板１の出力電圧を一時
保持する。ニューラルネットワーク３はアナログバッフ
ァ２に保持された文字入力板１の出力電圧を入力信号と
する文字認識処理を行い、その認識結果を文字表示板４
及びＣＰＵ１１に出力する。文字表示板４は発光体を縦
横にそれぞれ６個づつ配列してなるもので、ニューラル
ネットワーク３の出力信号、即ち認識結果に対応した表
示を行う。

【０００９】メモリカード５はメモリＩＣを内蔵してな
るもので、所定の用途に応じて予め学習して求めておい
たニューラルネットワーク３のシナプス結合荷重に関す
るディジタルデータが書込まれている。カードリーダ６
はメモリカード５を取付け・取外し自在に保持するとと
もに、その内容の読出しを行う。アナログメモリ８はニ
ューラルネットワーク３の各ニューロンに設定するシナ
プス結合荷重に対応するアナログ電圧を保持する。

【００１０】教師信号発生器９はニューラルネットワー
ク３による文字認識結果が正しく得られなかった場合に
正しい認識結果に対応する文字パターン（以下、正解文
字と称す。）を入力するためのもので、スイッチＳＷ₁
〜ＳＷ_n に対する操作に応じて任意の正解文字をＣＰＵ
１１に入力する。ＣＰＵ１１は所定のプログラムに従っ
て各部の動作を制御する。

【００１１】図２はニューラルネットワーク３の具体的
な構成を示すもので、前記文字入力板１の感圧センサに
対応した数、即ち１４４個の入力端子１２からなる入力
層Ｓ₁ 、任意の数、例えば７２個のニューロン１３から
なる中間層Ｓ₂ 及び文字表示板４の発光体に対応した
数、即ち３６個のニューロン１４からなる出力層Ｓ₃ の
３層構造で構成されている。なお、中間層を２層又はそ
れ以上としても良い。

【００１２】図３は前記ニューロン、例えば１３の具体
的な構成を示すもので、入力数に対応した数、即ち１４
４個のアナログ乗算器１５と、そのシナプス結合荷重入
力端子１６と、加算器１７とからなっている。

【００１３】図４はアナログメモリ８の具体的な構成を
示すもので、ニューラルネットワーク３中の全てのシナ
プス結合の数、即ち１２９６０（＝１４４×７２＋７２
×３６）個に対応した出力端子を備えたアナログデマル
チプレクサ１８と、コンデンサ及びオペアンプからなる
アナログ電圧保持回路１９とで構成されている。

【００１４】図５はＣＰＵ１１におけるシナプス結合荷
重設定時のプログラムを示すフローチャートであり、ま
た、図６は同じくシナプス結合荷重修正時のプログラム
を示すフローチャートであり、以下、これに従って、前
記装置の動作を説明する。

【００１５】まず、ＣＰＵ１１はアナログメモリ８のア
ナログデマルチプレクサ１８に選択信号２０を出力する
ことによりニューラルネットワーク３中の一のシナプス
結合に対応する一のアナログ電圧保持回路１９を選択す
るとともに、該一のシナプス結合に対応するシナプス結
合荷重に関するデータ２１をメモリカード５よりカード
リーダ６を介して読出し、Ｄ／Ａ変換器７にてアナログ
電圧に変換してアナログメモリ８に供給することによ
り、前記一のアナログ電圧保持回路１９に予め学習して
求めておいたシナプス結合荷重に対応するアナログ電圧
２２を設定する。これをニューラルネットワーク３中の
全てのシナプス結合に対応するアナログ電圧保持回路１
９に対して繰返すことにより、予め学習して求めておい
た全てのシナプス結合荷重に対応するアナログ電圧２２
を設定する。

【００１６】次に、文字入力板１に対して任意の文字を
手書き入力すると、該文字のパターンに対応したアナロ
グ電圧２３が出力され、アナログバッファ２に一時保持
されるとともにニューラルネットワーク３に入力され
る。ニューラルネットワーク３は前記設定されたシナプ
ス結合荷重に応じた文字認識処理を行い、その認識結果
２４を文字表示板４に出力して表示するとともにＣＰＵ
１１に出力する。

【００１７】この際、文字を入力する者の個性等により
正しく認識されなかった場合は、教師信号発生器９のス
イッチＳＷ₁ 〜ＳＷ_n のいずれかを操作することによ
り、前記入力した文字に対する正解文字２５をＣＰＵ１
１に入力する。ＣＰＵ１１は該正解文字２５及びニュー
ラルネットワーク３の認識結果２４に基いてアナログメ
モリ８に保持されたニューラルネットワーク３のシナプ
ス結合荷重に対応するアナログ電圧を修正する。具体的
には、正解文字２５とニューラルネットワーク３の認識
結果２４との差を求め、誤差逆伝播等の手法に従って学
習させ、各ニューロンのシナプス結合荷重に対応するデ
ータ２１毎に修正データ２６を算出し、これをＲＡＭ１
０に書込む。この後、前記同様にしてメモリカード５よ
りデータ２１を読出すとともにこれに対応する修正デー
タ２６をＲＡＭ１０より読出し、これらを加算し、前記
同様にＤ／Ａ変換してアナログメモリ８に修正後のシナ
プス結合荷重に対応するアナログ電圧を設定する。

【００１８】この状態で再度、ニューラルネットワーク
３に文字認識処理を行わせて認識結果を得て、これが正
解文字２５と一致するか否かを調べ、一致するまで学習
を繰返して修正データを更新し、前記同様の処理を繰返
す。

【００１９】このように前記実施例によれば、予め学習
して求めておいたシナプス結合荷重に関するデータをメ
モリカード５より取込んでニューラルネットワーク３に
設定できるため、学習を必要とせず、直ちに文字認識を
行わせることができ、また、教師信号発生器９より正解
文字を入力して前記データを修正することができるた
め、使用する者の個性等により正しい認識結果が得られ
なかった場合にその認識率が向上するように学習させる
ことができる。また、認識させる文字の種類を変える
等、その用途を変える時は文字の種類に応じて求めてお
いたデータを書込んだメモリカードを予め複数種類用意
しておくことにより、汎用的に使用することができる。

【００２０】なお、前記実施例において、メモリカード
５内のデータを全て一旦、ＲＡＭ１０に転送してからア
ナログメモリ８へのシナプス結合荷重の設定を行うよう
にしても良く、また、この場合、教師信号発生器９から
正解文字が入力された時は該ＲＡＭ１０内に転送したデ
ータ自体を修正するようにしても良い。また、前記実施
例では予め求めたデータをメモリカードにより外部から
与えるようになしたが、フロッピーディスク、磁気カー
ド、磁気テープ又はＣＰＵを備えたＩＣカード等により
与えるようにしても良い。また、予め求めたデータを装
置内の補助メモリ等に記憶させておいても良い。また、
前記実施例では誤差逆伝播等の手法によるデータ修正を
ＣＰＵを用いたソフトウェアによって行ったが、ハード
ウェアによって行うような構成にしても良い。また、前
記実施例ではニューロンをアナログ回路によって構成し
たが、ディジタル回路で構成しても良く、また、ソフト
ウェア的に構成しても良い。さらにまた、前記実施例で
は文字認識装置に応用した例を示したが、適当な入力部
及び出力部を設けることにより音声やその他の様々なパ
ターン認識装置に応用することもでき、或いは出力部に
機械制御系を接続することにより制御装置に応用するこ
ともできる。

【００２１】

【発明の効果】以上説明したように本発明の請求項１に
よれば、結合荷重設定手段により所定の用途に応じて予
め学習して求めておいたシナプス結合荷重がニューラル
ネットワークの各ニューロンに設定されるため、学習を
必要とせず、所定の用途に直ちに使用でき、また、結合
荷重修正手段により結果に基いて学習が行われ前記設定
されたシナプス結合荷重が修正されるため、入力情報や
動作のさせ方に多少に違いがあっても対応できる文字
（パターン）認識装置や制御装置等のニューラルネット
ワーク装置を実現することができる。

【００２２】また、本発明の請求項２によれば、所定の
用途に応じて予め学習して求めておいたシナプス結合荷
重を装置の外部よりニューラルネットワークの各ニュー
ロンに設定できる。

【００２３】また、本発明の請求項３によれば、所定の
用途に応じて予め学習して求めておいたシナプス結合荷
重を配置した媒体が機構を介して装置に取付けられ又は
取外されるため、シナプス結合荷重の変更が容易とな
る。

【００２４】また、本発明の請求項４によれば、シナプ
ス結合荷重を配置する媒体として、記憶回路を備えたも
のを用いたため、シナプス結合荷重のニューラルネット
ワークへの設定を高速に行うことができる。

【００２５】また、本発明の請求項５によれば、シナプ
ス結合荷重を配置する媒体として、ベース部材に磁性粉
体を塗布したものを用いたため、媒体のコストを低く抑
えることができる。

【図面の簡単な説明】

【図１】 本発明のニューラルネットワーク装置の一実
施例の構成図

【図２】 ニューラルネットワークの具体的な構成図

【図３】 ニューロンの具体的な構成図

【図４】 アナログメモリの具体的な構成図

【図５】 シナプス結合荷重設定時のプログラムを示す
フローチャート

【図６】 シナプス結合荷重修正時のプログラムを示す
フローチャート

【符号の説明】

１…文字入力板、２…アナログバッファ、３…ニューラ
ルネットワーク、４…文字表示板、５…メモリカード、
６…カードリーダ、７…Ｄ／Ａ変換器、８…アナログメ
モリ、９…教師信号発生器、１０…ＲＡＭ、１１…ＣＰ
Ｕ、１２…入力端子、１３，１４…ニューロン、１５…
アナログ乗算器、１６…シナプス結合荷重入力端子、１
７…加算器、１８…アナログデマルチプレクサ、１９…
アナログ電圧保持回路。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ニューラルネットワークを構成する複数
   のニューロンのシナプス結合荷重を任意に変更可能なニ
   ューラルネットワーク装置において、 所定の用途に応じて予め学習して求めておいたシナプス
   結合荷重をニューラルネットワークの各ニューロンに設
   定する結合荷重設定手段と、 所定の用途に使用した際の結果に基いて学習させ前記設
   定されたシナプス結合荷重を修正する結合荷重修正手段
   とを備えたことを特徴とするニューラルネットワーク装
   置。
2. 【請求項２】 所定の用途に応じて予め学習して求めて
   おいたシナプス結合荷重をニューラルネットワークの各
   ニューロンに装置の外部より設定する結合荷重設定手段
   を備えたことを特徴とする請求項１記載のニューラルネ
   ットワーク装置。
3. 【請求項３】 所定の用途に応じて予め学習して求めて
   おいたシナプス結合荷重を配置した媒体と、該媒体を装
   置に対して取付け・取外し自在とする機構とからなる結
   合荷重設定手段を備えたことを特徴とする請求項２記載
   のニューラルネットワーク装置。
4. 【請求項４】 シナプス結合荷重を配置する媒体とし
   て、記憶回路を備えたものを用いたことを特徴とする請
   求項３記載のニューラルネットワーク装置。
5. 【請求項５】 シナプス結合荷重を配置する媒体とし
   て、ベース部材に磁性粉体を塗布したものを用いたこと
   を特徴とする請求項３記載のニューラルネットワーク装
   置。