JP3025592B2 - ニューロコンピュータ - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、家電製品、例えばエア
コン等を制御するニューロコンピュータに関するもので
ある。

【０００２】

【従来の技術】近年、生体の神経回路網を工学的モデル
に簡略化したニューラルネットワークによる計算処理が
提案されている。パーセプトロン型ニューラルネットワ
ークは、図７に示すように、入力層、中間層、出力層の
３層から構成されている。入力層、中間層、出力層の各
ニューロンはシナプス結合により接続されており、各ニ
ューロンは、他のニューロンからの入力部と、入力され
たデータを所定の規則で処理する変換部と、変換結果を
上層のニューロンへ出力する出力部より成っている。そ
して、各ニューロンとのシナプス結合には結合の強さを
表すシナプス結合係数が付加されており、中間層、出力
層ニューロンにはバイアス値が付加されている。これら
シナプス結合係数、バイアス値をバックプロパゲーショ
ン学習則に従って変化させることにより、入力信号に対
し、所望の出力を得るニューラルネットワークを構成す
る。

【０００３】図１５には、このようなニューラルネット
ワーク計算処理を備えた装置の一例として、特開平３−
９１６４６号公報に開示された情報処理装置とその情報
処理装置を用いた空気調和装置のブロック図が示されて
いる。

【０００４】この空気調整装置は、センサ部１００、Ａ
Ｄ変換器１０２、神経回路網型情報処理部１０４、制御
回路１０７、及び空気調整部１０９から構成されてい
る。

【０００５】次に動作について説明する。

【０００６】センサ部１００は、室内環境情報をアナロ
グ信号１０１に変換し、ＡＤ変換器１０２へ送る。そし
て、ＡＤ変換器１０２はセンサ部１００から送られてき
たアナログ信号１０１をデジタル信号１０３に変換す
る。なお、神経回路網型情報処理部１０４は、予め教師
信号１０５とデジタル信号１０３の入力によって、すで
に温度や湿度等と利用者の相関についての学習を終えて
いるものとする。神経回路網型情報処理部１０４におい
て情報処理がなされた後、出力信号１０６が制御回路１
０７へ送られ、制御信号１０８が出力される。更に、空
気調整部１０９は制御信号１０８により制御される。

【０００７】

【発明が解決しようとする課題】以上のように、従来の
ニューラルネットワークは、計算機（オフラインでの開
発装置）を用いてニューロ学習させた後、その学習結
果、あるいはシナプス結合係数、バイアス値をマイクロ
コンピュータにテーブル化して格納しているため、シナ
プス結合係数が大きなネットワークを構築した場合、マ
イクロコンピュータでの取扱い値を越えてしまい、オフ
ライン学習結果とは異なった出力しか得られない場合が
あった。更に、マイクロコンピュータで学習結果を新し
い教師データに対応して変更する場合（オンライン：使
用者が教師データを与える）、マイクロコンピュータに
バックプロパゲーションアルゴリズムをプログラム化す
るのは計算処理が複雑なため難しく、追加する教師デー
タのみを学習するのではなく、教師データ全部を用いて
学習し直さなければならないため、学習に時間がかか
り、しかも新しい学習によってニューラルネットワーク
が局所最適解に収束した場合、ニューラルネットワーク
の性能が学習前よりも悪化する虞があった。

【０００８】この発明は、上記のような課題を解消する
ために成されたもので、マイクロコンピュータ上で簡単
に構成でき、ニューラルネットワーク実行処理計算時に
取扱い値の制約がなくなることにより、正確なニューラ
ルネットワークから出力を得られると共に、追加学習に
おいて新しい教師データが入力された際、それに対応で
きるニューロコンピュータを得ることを目的とするもの
である。

【０００９】

【課題を解決するための手段】このような目的を達成す
るために、請求項１記載の発明に係るニューロコンピュ
ータは、中間層に属するニューロンに信号を入力するニ
ューロンを含む入力層並びにそれぞれ前層からの入力信
号とシナプス結合係数の積和演算を行い非線形変換して
出力するニューロンを含む少なくとも１個の中間層及び
出力層を有し、入力層に所定の入力信号を与えたときに
出力層から所定の出力信号が得られるように予め学習に
よりシナプス結合係数が設定されたニューラルネットワ
ークを実現するニューロコンピュータにおいて、シナプ
ス結合係数、結合数情報及び非線形関数が格納される第
１記憶手段と、ニューロン出力値及びバイアス値が格納
される第２記憶手段と、第１及び第２記憶手段に格納さ
れている情報に基づきかつ中間層又は出力層に属するニ
ューロン毎に積和演算及び非線形変換を行い第２記憶手
段上にそのニューロンに係るニューロン出力値を格納す
る実行処理手段と、を備え、第１記憶手段においては、
シナプス結合係数が、中間層及び出力層に属する各ニュ
ーロン毎にブロックを形成し、各ブロックにそれぞれ結
合数情報が付加された形態で格納されており、最終ブロ
ックを除くブロックに付加された結合数情報は、ブロッ
クの終了を示すブロック終了コード、ニューロン値を格
納すべき第２記憶手段上のアドレスである出力格納アド
レス、及び次のブロックに係る積和演算を行う際に参照
すべき第２記憶手段上のアドレスである次Ｎ ＲＡＭポ
インタを含み、最終ブロックに付加された結合数情報
は、ブロック終了コード及び出力格納アドレスを含み、
第２記憶手段においては、任意の層に係るニューロン出
力値を格納するための記憶領域と他の任意の層に係るニ
ューロン出力値を格納するための記憶領域とが、バイア
ス値を格納するための記憶領域により区切られた形態
で、設けられており、実行処理手段は、中間層又は出力
層に属する任意のニューロンについて積和演算及び非線
形変換を行う際、第１記憶手段上の複数のブロックのう
ちそのニューロンに対応するブロックの一端から順にシ
ナプス結合係数を読み込む動作、第２記憶手段上の記憶
領域のうち他のブロックに付加されている次Ｎ ＲＡＭ
ポインタにより特定されるアドレスから順にニューロン
出力値又はバイアス値を読み込む動作、並びに両者の積
を累積加算する動作を、ブロック終了コードを検出する
まで繰り返し、ブロック終了コードが検出された時点で
上記累積加算の結果として得られている積和を、第１記
憶手段上の非線形関数に従い非線形変換し、この非線形
変換により得られたニューロン出力値を、検出されたブ
ロック終了コードと組をなす出力格納アドレスに従い第
２記憶手段上に格納することを特徴とする。

【００１０】また、請求項２記載の発明に係るニューロ
コンピュータは、請求項１記載のニューロコンピュータ
において、所定桁数では表現できない大きな値を有する
シナプス結合係数については、そのシナプス結合係数
を、当該所定桁数で表現できる最大値のシナプス結合係
数及び元のシナプス結合係数から当該最大値を減じた残
余の値に係るシナプス結合係数に分割しこの順に従い第
１記憶手段に格納しておき、実行処理手段が、第１記憶
手段から読み出したシナプス結合係数が最大値である場
合に、当該最大値のシナプス結合係数が乗ぜられる対象
とされたニューロン出力値を、当該最大値のシナプス結
合係数に続いて読み出される上記残余のシナプス結合係
数と乗ずべきニューロン出力値として、使用することを
特徴とする。

【００１１】更に、請求項３記載の発明に係るニューロ
コンピュータは、請求項１記載のニューロコンピュータ
において、所定桁数では表現できない大きな値を有する
シナプス結合係数については、加算したとき元の値にな
るよう等分して第１記憶手段に格納しておき、かつ、第
１記憶手段上に格納されたシナプス結合係数のうちどの
シナプス結合係数が当該等分に係るものかを特定する情
報を含むシリアル情報テーブルを、第１記憶手段上に格
納しておき、実行処理手段が、第１記憶手段からシナプ
ス結合係数を読み出す際に併せてシリアル情報テーブル
を参照することにより上記等分に係るシナプス結合係数
を検出し、検出されたシナプス結合係数については等分
に係る分割数だけ繰り返し積の演算に使用することを特
徴とする。

【００１２】請求項４記載の発明に係るニューロコンピ
ュータは、請求項１乃至３のいずれか記載のニューロコ
ンピュータにおいて、以前に行った学習の際に使用した
入力信号と同一の入力信号を入力層に与えたときに出力
層から出力されることが期待される出力信号を、新しい
学習に係る教師データとして、記憶する第３記憶手段
と、再学習の指示を受けている状態で上記以前に行った
学習の際に使用した入力信号と同一の入力信号が入力さ
れたとき、出力信号と上記新しい学習に係る教師データ
との差に基づきバイアス値変更量を求める変更量算出手
段と、求められたバイアス値変更量を記憶する第４記憶
手段と、を備え、実行処理手段が、バイアス値とこれに
対応するシナプス結合係数との積を求める際に、第４記
憶手段上のバイアス値変更量に従いバイアス値を修正し
た上で、当該積を求めることを特徴とする。

【００１３】また、請求項５記載の発明に係るニューロ
コンピュータは、請求項４記載のニューロコンピュータ
において、実行処理手段が、バイアス値とこれに対応す
るシナプス結合係数との積を求める際に、第４記憶手段
上のバイアス値変更量を求めたときの入力信号の値と現
在の入力信号の値との差に基づき、バイアス値変更量を
補正し、補正されたバイアス値変更量に従いバイアス値
を修正した上で、当該積を求めることを特徴とする。

【００１４】更に、請求項６記載の発明に係るニューロ
コンピュータは、請求項１乃至５のいずれか記載のニュ
ーロコンピュータにおいて、以前に行った学習の際に使
用した入力信号と同一の入力信号を入力層に与えたとき
に出力層から出力されることが期待される出力信号を、
新しい学習に係る教師データとして、記憶する第３記憶
手段と、再学習の指示を受けている状態で上記以前に行
った学習の際に使用した入力信号と同一の入力信号が入
力されたとき、出力信号と上記新しい学習に係る教師デ
ータとの差に基づきシナプス結合係数変更量を求める変
更量算出手段と、求められたシナプス結合係数変更量を
記憶する第４記憶手段と、を備え、実行処理手段が、バ
イアス値とこれに対応するシナプス結合係数との積を求
める際に、第４記憶手段上のシナプス結合係数変更量に
従いシナプス結合係数を修正した上で、当該積を求める
ことを特徴とする。

【００１５】

【作用】本発明に係るニューロコンピュータにおいて
は、入力層に所定の入力信号を与えたときに出力層から
所定の出力信号が得られるよう予め学習によりシナプス
結合係数が設定されたニューラルネットワークを、実現
する。そのため、第１及び第２記憶手段並びに実行処理
手段を設ける。第１記憶手段例えばＲＯＭには、予め学
習により得られている情報又は所定の情報であるシナプ
ス結合係数、結合数情報及び非線形関数を格納してお
き、第２記憶手段例えばＲＡＭには、実行処理手段によ
り生成される情報又は可変の情報であるニューロン出力
値及びバイアス値を格納する。実行処理手段は、第１及
び第２記憶手段に格納されている情報に基づき積和演算
及び非線形変換を行い第２記憶手段上にそのニューロン
に係るニューロン出力値を格納する動作を、中間層又は
出力層に属するニューロン毎に実行する。このように、
本発明においては、シナプス結合係数等事前の学習によ
り得られる情報を第１記憶手段に格納するようにしたた
め、非線形変換を含むニューラルネットワークに係る処
理の結果である非線形出力を、少ないメモリ量で得るこ
とができる。

【００１６】本発明においては、上述の動作を実現する
手段として、第１及び第２記憶手段に関し次のような記
憶形態及び利用形態を採用している。まず、第１記憶手
段には、中間層及び出力層に属する各ニューロン毎にブ
ロックを形成するよう、シナプス結合係数を格納してお
く。更に、各ブロックには、結合数情報を付加してお
く。結合数情報は、ブロック終了コード、出力格納アド
レス及び次Ｎ ＲＡＭポインタを含む（但し最終ブロッ
クについては次Ｎ ＲＡＭポインタは不要である）。他
方で、第２記憶手段においては、任意の層に係るニュー
ロン出力値を格納するための記憶領域と、他の任意の層
に係るニューロン出力値を格納するための記憶領域と
を、バイアス値を格納するための記憶領域により区切ら
れた形態で、設けておく。

【００１７】実行処理手段は、中間層又は出力層に属す
る任意のニューロンについて積和演算及び非線形変換を
行う際、第１及び第２記憶手段に格納されている情報を
次のような手順に従い読み込みまた第２記憶手段への書
き込みを行う。まず、実行処 理手段は、中間層又は出力
層ニューロンのうち一つに対応するブロックの一端から
順に、第１記憶手段上のシナプス結合係数を読み込む。
実行処理手段は、また、第２記憶手段からニューロン出
力値又はバイアス値を読み込む。実行処理手段は、読み
込んだシナプス結合係数とニューロン出力値又はバイア
ス値との積を求める。実行処理手段は、このような読出
動作及び乗算動作により求めた積を累積加算する動作
を、ブロックの終了を示すブロック終了コードを検出す
るまで、実行する。実行処理手段は、ブロック終了コー
ドが検出された時点で累積加算の結果として得られてい
る積和を、第１記憶手段上の非線形関数に従い非線形変
換し、この非線形変換により得られたニューロン出力値
を、検出されたブロック終了コードと組をなす出力格納
アドレスに従い第２記憶手段上に格納する。最終ブロッ
クを除いて結合数情報に含まれている次Ｎ ＲＡＭポイ
ンタは、次のブロックに係る積和演算を行う際に参照す
べき第２記憶手段上のアドレスである。実行処理手段
は、任意のブロックについて上述の積和演算及び非線形
変換を終えた後、そのブロックに係る結合数情報中の次
Ｎ ＲＡＭポインタを参照して、次に当該積和演算及び
非線形変換を実行すべき中間層又は出力層ニューロンに
ついて、ニューロン出力値又はバイアス値の読出元であ
る第２記憶手段上のアドレスを特定して、当該次の中間
層又は出力層ニューロンを実現するための処理を開始す
る。

【００１８】このように、本発明は、ニューラルネット
ワークを例えばマイクロコンピュータ上で実現するのに
適する手法を提供している。

【００１９】また、請求項２記載の発明に係るニューロ
コンピュータにおいては、更に、所定桁数では表現でき
ない大きな値を有するシナプス結合係数を、当該所定桁
数で表現できる最大値のシナプス結合係数と、元のシナ
プス結合係数から当該最大値を減じた残余の値に係るシ
ナプス結合係数とに分割して、取り扱う。分割されたシ
ナプス結合係数は、この順に従い第１記憶手段に格納し
ておく。実行処理手段は、第１記憶手段から読み出した
シナプス結合係数が最大値である場合に、当該最大値の
シナプス結合係数が乗ぜられる対象とされたニューロン
出力値を、当該最大値のシナプス結合係数に続いて読み
出される上記残余のシナプス結合係数と乗ずべきニュー
ロン出力値として、使用する。また、請求項３記載の発
明に係るニューロコンピュータにおいては、最大値と残
余の値とに分割するのではなく、加算したとき元の値に
なるよう等分する。更に、第１記憶手段上に格納された
シナプス結合係数のうちどのシナプス結合係数が当該等
分に係るものかを特定する情報を含むシリアル情報テー
ブルを、第１記憶手段上に格納しておく。実行処理手段
は、第１記憶手段からシナプス結合係数を読み出す際に
併せてシリアル情報テーブルを参照することにより上記
等分に係るシナプス結合係数を検出し、検出されたシナ
プス結合係数については等分に係る分割数だけ繰り返し
積の演算に使用する。従って、請求項２及び３のいずれ
においても、分解能を落とすことなく、大きなシナプス
結合係数を取り扱うことができる。必要なメモリ量もさ
して増加しないし、計算アルゴリズムもさして複雑化し
ない。

【００２０】更に、請求項４記載の発明に係るニューロ
コンピュータにおいては、第３記憶手段、変更量算出手
段及び第４記憶手段を設ける。第３記憶手段には、以前
に行った学習の際に使用した入力信号と同一の入力信号
を入力層に与えたときに出力層から出力されることが期
待される出力信号を、新しい学習に係る教師データとし
て、記憶させる。変更量算出手段は、再学習の指示を受
けている状態で上記以前に行った学習の際に使用した入
力信号と同一の入力信号が入力されたとき、出力信号と
上記新しい学習に係る教師データとの差に基づきバイア
ス値変更量を求める。第４記憶手段は、求められたバイ
アス値変更量を記憶する。従って、バイアス値とこれに
対応するシナプス結合係数との積を求める際に、第４記
憶手段上のバイアス値変更量に従いバイアス値を修正し
た上で、実行処理手段が当該積を求めるようにすること
で、今までのオフライン学習結果を生かしながら追加学
習を行うことが、可能になる。特に、請求項５に記載の
通り、バイアス値とこれに対応するシナプス結合係数と
の積を求める際、第４記憶手段上のバイアス値変更量を
求めたときの入力信号の値と現在の入力信号の値との差
に基づき、バイアス値変更量を補正し、補正されたバイ
アス値変更量に従いバイアス値を修正した上で、当該積
を求めるようにすれば、新しい教師データにてニューラ
ルネットワークを汎化することができる。更に、請求項
６に記載の通り、バイアス値に代え又はこれと共に、シ
ナプス結合係数を、追加学習による変更量の導出及び記
憶の対象とし、更にそれに基づくシナプス結合係数の修
正を行うことにより、追加学習時における記憶の変更量
を小さな値に抑えることができる。

【００２１】

【実施例】以下、この発明の一実施例を図を用いて説明
する。

【００２２】図１は、本発明の実施例に係るニューロコ
ンピュータの構成を示すブロック図である。なお、説明
を容易とするため、このニューロコンピュータがエアコ
ンに用いられている場合を例にとり説明する。

【００２３】ニューロコンピュータは、図１及び図９に
示すように、マイクロコンピュータからなりニューラル
ネットワークを構成する主制御装置１を有しており、主
制御装置１は、演算、制御等を行うＣＰＵ２を備えてい
る。そして、ＣＰＵ２には、実行処理手段１０、判別手
段１２、バイアス値変更手段１６、変更量算出手段１５
が含まれており、温度設定、風量、学習等を入力するス
イッチ３と、室温、風量、風向、外気温等を検出する各
センサ４と、室温、運転モード等を表示する表示器５
と、メモリ９とが接続されている。更に、メモリ９は、
第１記憶手段１１であるＲＯＭ６と、第２記憶手段１３
であるＲＡＭ７と、第３記憶手段１４及び第４記憶手段
１７であるＥＥＰＲＯＭ８とから構成されており、ＲＯ
Ｍ６には、シグモイド関数テーブル（ＳＩＧ ＴＢ
Ｌ）、シナプス結合テーブル（Ｗ ＴＢＬ）、及びシリ
アル情報テーブル（ＳＥＲ ＴＢＬ）が格納されてお
り、ＲＡＭ７には、スイッチ３及びセンサ４からの入力
信号と、入力信号にシナプス結合係数を乗じた値の総和
と、その総和をシグモイド関数変換により非線形変換し
た値（Ｎ ＲＡＭ）、すなわち各ニューロンの出力値が
格納されている。また、ＥＥＰＲＯＭ８には、後述する
教師データ（Ｔ ＴＢＬ）と学習計算により得られた変
更量（Ｄ ＷＧＴ）とが格納されている。

【００２４】本実施例では、非線形関数にシグモイド関
数を用いた。シグモイド関数は、正領域と負領域とが点
対称である曲線（図２参照）で示される関数である。な
お、マイコン処理の単純化のために、入力は−８〜＋８
で打ち切っている。これは、±８を越える入力が、出力
にほとんど影響しないためである。そして、シグモイド
関数値を１バイト表現とした場合の各ビットと１０進表
現との対応は図３のようになる。

【００２５】また、シナプス結合テーブルＷ ＴＢＬ
は、図４に示すように、学習により得られるシナプス結
合係数をテーブル化したものである。図６に示すよう
に、マイコンの内部では、−８〜＋８を８ビット（００
Ｈ〜ＦＦＨ）で表現し、０〜８を１２８個（７ビット）
に割り付けているため、分解能は以下のようになる。な
お、マイナス表現をするため、ビット７をサインビット
として使用している。

【００２６】

【数１】８／１２８＝０．０６２５ また、シナプス結合テーブルＷ ＴＢＬには、ブロック
とブロックとを結合するために、中間層又は出力層ニュ
ーロンに対応するブロック毎に、結合係数情報が格納さ
れている。結合係数情報は、ブロックとブロックとの間
に位置する場合即ち通常ブロックの場合は３バイトであ
り、ブロック終了コード及び出力格納アドレス、次Ｎ
ＲＡＭポインタから成り立っている。但し、最終ブロッ
クの結合数情報のようにブロックとブロックとの間に位
置しないものについては２バイトであり、ブロック終了
コード及び出力格納アドレスから成り立っている。ブロ
ック終了コードは、シナプス結合係数テーブルの各ブロ
ックの最終アドレスを示しており、ニューラルネットワ
ークの実行プログラムでは、ブロック終了コードを検知
した時にそのブロックの終了と判別している。この検知
を可能にするため、ブロック終了コードとして、ＦＥＨ
とＦＦＨという２つのコードを設ける。ＦＥＨは、通常
ブロックの終了コードを、ＦＦＨは最終ブロックの終了
コードを示す。このようにブロック終了コードの値を設
定しているため、シナプス結合係数がとりうる値の範囲
は、００Ｈ〜ＦＤＨまでとなる。なお、真値としてＦＥ
Ｈ、ＦＦＨを取り扱う時はＦＤＨに丸めている。

【００２７】出力格納アドレスは、そのブロックにおけ
るニューロン出力値の計算結果をＲＡＭ７上のＮ ＲＡ
Ｍのいずれのアドレスに格納すればよいか（具体的に
は、対応するＮ ＲＡＭの先頭アドレスからのオフセッ
トアドレス）を示す。次Ｎ ＲＡＭポインタは、次のブ
ロックに対応するＮ ＲＡＭの先頭アドレスを示す。

【００２８】Ｎ ＲＡＭは、図４に示すように、３層構
造の場合は、入力層、中間層、出力層に分かれ、バイア
ス値ニューロンθで仕切られている。バイアス値ニュー
ロンは常に値１（ＦＦＨ）であるため、層の終りをＦＦ
Ｈで判断できる。従って、ニューロン値が１（ＦＦＨ）
である場合、これもＦＥＨに丸めて入力するものとす
る。マイクロコンピュータの内部では、０〜１までの値
を８ビットで表現しており、以下のような分解能とな
る。

【００２９】

【数２】１／２５６＝０．００３９ 次に、本実施例の作用を図６のフローチャート及び図７
の階層構成図に沿って説明する。なお、ニューラルネッ
トワークは、一般に、入力層、中間層、出力層から構成
されており、本実施例では、図７に示すように、各セン
サ４を入力層ニューロンとしており、各センサ４からＣ
ＰＵ２への入力信号ｘ１〜ｘｎが入力層から中間層への
入力に相当している。

【００３０】ＣＰＵ２は、各センサ４からの入力信号ｘ
１〜ｘｎをＲＡＭ７上の所定のＮＲＡＭにデータとして
格納する等のイニシャル処理を行う（ステップ１）。そ
して、イニシャル処理を行った後、積和演算を行い（ス
テップ２）、Ｎ ＲＡＭポインタとＷ ＴＢＬポインタ
とをインクリメントする（ステップ３）。それから、ブ
ロック終了コードが現れたか否か判断し（ステップ
４）、通常ブロックのブロック終了コードが現れない場
合、最終ブロック終了コードが現れたか否か判断し（ス
テップ８）、最終ブロック終了コードが現れない場合、
ステップ２及び３をブロック終了コードが現れるまで繰
り返す。そして、ブロック終了コードが現れた場合、シ
グモイド関数変換を行い（ステップ５）、ＲＡＭ７上の
所定のＮＲＡＭにニューロン出力値を格納し（ステップ
６）、次Ｎ ＲＡＭポインタを読んでＮ ＲＡＭポイン
タを設定し、ステップ２へ戻る。また、前述ステップ８
において、最終ブロック終了コードが現れたと判断した
場合、シグモイド関数変換を行い（ステップ５）、ＲＡ
Ｍ７上の所定のＮ ＲＡＭにニューロン出力値を格納し
（ステップ６）、出力のための後処理を行う（ステップ
９）。

【００３１】上述ステップ５において実行されるシグモ
イド関数変換を、図８に示すフローチャートに沿って説
明する。

【００３２】ＣＰＵ２は、ＲＡＭ７のＷＯＲＫエリアに
格納した値を読み込み（ステップ１０）、その値を絶対
値処理する（ステップ１１）。更に、シグモイド関数テ
ーブルＳＩＧ ＴＢＬを参照して出力を得（ステップ１
２）、ＷＯＲＫエリアから読み込んだ値の符号が正か否
か判断する（ステップ１３）。符号が正であると判断し
た場合、シグモイド関数変換処理を終了し、負であると
判断した場合、得られた出力を１から差し引いた値を出
力とし（ステップ１４）、シグモイド関数変換処理を終
了する。

【００３３】上述実施例では、シナプス結合値またはバ
イアス値が−８〜＋８を越える場合、マイクロコンピュ
ータでは処理できない。この場合、値を丸めて格納する
と、ニューラルネットワークの出力が真値と大きくずれ
る場合がある。そこで、請求項２及び３記載の発明で提
案するように、シナプス結合値が−８〜＋８を越える場
合、ニューラルネットワークの出力が真値から大きく変
化しないようにするのが好ましい。以下、そのためのソ
フトウェアの動作について説明する。

【００３４】図９に示すように、まず第１記憶手段１１
上のＷ ＴＢＬから読み出す値が判別手段１２で−８〜
＋８の範囲にあるか否か判別され、実行処理手段１０で
実行計算される。

【００３５】そして、図１０に示すように、ＣＰＵ２
は、各センサ４からの入力信号ｘ１〜ｘｎをＲＡＭ７上
の所定のＮ ＲＡＭにデータとして格納する等のイニシ
ャル処理を行う（ステップ１）。そして、イニシャル処
理を行った後、積和演算を行い（ステップ２）、Ｗ Ｔ
ＢＬがシナプス結合テーブルの最大値（図１１において
マイコン上のデータがＦＤＨまたは７ＦＨ）である場合
（ステップ１５）、ＮＲＡＭポインタはそのままでＷ
ＴＢＬを更新し（ステップ１６）、前述ステップ２と同
様の積和演算を行う。また、Ｗ ＴＢＬが最大値でない
場合、Ｎ ＲＡＭポインタとＷ ＴＢＬポインタとをイ
ンクリメントし（ステップ３）、ブロック終了コードが
現れるまで繰り返す。

【００３６】シナプス結合係数が−８あるいは＋８を越
える場合、シナプス結合係数の真値は、次のアドレスに
格納されているシナプス結合係数との和になる。図４の
ブロック１５−１３のシナプス結合係数の値は２つ（７
ＦＨと２０Ｈ）記載されているが、シナプス結合係数の
真値は、７ＦＨと２０Ｈとの和、すなわち

【数３】８＋２＝１０ を表している。なお、ＲＡＭ７のＷＯＲＫエリアは１６
ビットで積和処理しているため、桁あふれの虞はほとん
どない。

【００３７】上述実施例では、−８以上あるいは＋８上
のシナプス結合係数の値を２つのエリアに別けて格納し
ていたが、請求項３記載の発明のように、例えば真値の
半分の値で１つのエリアに格納し、計算時に２倍しても
よい。このようにした場合、その動作は、図６のフロー
チャートのステップ２と３との間に図１１に示すような
ステップ１７、１８を加えた動作となる。ステップ１７
において、結合係数カウンタがＲＯＭ６に収められたシ
リアル情報テーブルの値と一致すると、ステップ１８に
おいて、Ｗ ＴＢＬは真値の半分であるため、２倍す
る。結合係数カウンタは、ステップ２を通る度に、下位
４ビットをインクリメントし、ステップ４を通る度に上
位４ビットをインクリメントするものとする。

【００３８】シリアル情報テーブルは、図１２に示すよ
うに、２倍すべきＷ ＴＢＬ値のアドレスを書き込んだ
ものであり、上位４ビットが何番目かのブロックかを示
し、下位４ビットがブロック先頭から何番目のＷ ＴＢ
Ｌかを示す。このような動作の結果、ＷＯＲＫエリアに
は入力データｘ１〜ｘｎとシナプス結合係数Ｗ
_{ｘ１−ｙ１} 〜Ｗ_{ｘｎ−ｙ１} との積和演算結果が格納さ
れる。このときのＷＯＲＫエリア上のデータは次式によ
り表される値となる。

【００３９】

【数４】ｘ１×Ｗ_{ｘ１−ｙ１} ＋ｘ２×Ｗ_{ｗ２−ｙ１} ＋
…＋ｘｎ×Ｗ_{ｘｎ−ｙ１} ＋１．０×Ｗ_{ｂｉａｓ−ｙ１}
ただし、中間層ニューロンがバイアスニューロンを含ま
ない場合は、上式において１．０×Ｗ_{ｂｉａｓ−ｙ１}
を除いた式となる。

【００４０】上式で求まった値は、ＲＯＭ６に格納され
ているシグモイド関数テーブルＳＩＧ ＴＢＬを参照し
たシグモイド関数処理が施される（ステップ５）。

【００４１】このようにして、シナプス結合係数やバイ
アス値が−８〜＋８を越える場合でもオフライン学習結
果と同じ出力を持つニューラルネットワークが得られ
る。以上のように、請求項２記載の発明では図４に示す
メモリの構造を変えない処理であるのに対し、請求項３
記載の発明は図６に示すフローチャートの流れを変えな
い処理である。

【００４２】次に、請求項４記載の発明の実施例におけ
る簡易学習部の動作を図９及び図１３に沿って説明す
る。なお、簡易学習とは、学習済みのニューラルネット
ワークの出力値について使用者が不満である場合、これ
を部分的に変更し、使用者にあった家電機器となるよう
チューニングするものである。

【００４３】図９に示すように、教師データ２０が入力
されると、第３記憶手段１４に格納する。一方、実行処
理手段１０から出力１９を計算し、変更量算出手段１５
で変更量を計算する。そして、バイアス値変更手段１６
を用いてバイアス値を変更し、第４記憶手段１７に格納
する。ニューラルネットワークは第１記憶手段１１、第
２記憶手段１３、第４記憶手段１７を用いて実行処理計
算を行う。

【００４４】図１３に示すように、学習部は、スイッチ
３から学習開始の信号が入力されると動作する。ＣＰＵ
２は、各センサ４からの入力信号と変更したい出力Ｚ^ｔ
を教師データとしてＥＥＰＲＯＭ８に格納する（ステ
ップ１９）。それから、ＣＰＵ２は、値を更新、すなわ
ち学習を行うバイアス値のアドレスを計算する（ステッ
プ２０）。そのときのニューラルネットワークの出力値
Ｚを図６または図１０のフローチャートに従って計算し
（ステップ２１）、バイアス値を書き換える（ステップ
２２）。学習スイッチ３は、学習モードに入ったことを
ＣＰＵ２に知らせると同時に、変更したい出力Ｚ^ｔ を
取り込むのに用いる。

【００４５】なお、上述実施例においては、学習したバ
イアス値変更量を、ＲＡＭ７上に格納していたが、ＥＥ
ＰＲＯＭ８の中に格納してもよい。このようにした場
合、電源を切ってもデータ（学習結果）が保持される。

【００４６】また、上述実施例においては、ステップ２
２において格納されるバイアス値の変更量は、各センサ
４からの入力に依存しない次式で表される。

【００４７】

【数５】ｇ（Ｚ^ｔ −Ｚ） ここで、学習係数ｇは正の定数である。ｇを大きくすれ
ば変更量も大きくなる。この値は設計者が予めシミュレ
ーションを行って決定しておく。このようにして、高速
かつ簡単なアルゴリズムによってニューラルネットワー
クの出力値を変更し得る。

【００４８】請求項５記載の発明で提案するように、ス
テップ１５において格納されるバイアス値の変更量は、
次のようにしてもよい。

【００４９】

【数６】ｇ（Ｚ^ｔ −Ｚ）／［１＋（ｘ１−ｘ１^ｔ ）^２
＋（ｘ２−ｘ２^ｔ ）^２ ＋…＋（ｘｎ−ｘｎ^ｔ ）
^２ ］ ここで、ｘ１^ｔ 、ｘ２^ｔ 、…、ｘｎ^ｔ は、ステップ
１９において取り込んだ学習時のセンサ４からの入力
（定数）、ｘ１、ｘ２、…、ｘｎは、実行計算時の各セ
ンサ４からの入力信号（変数）である。従って、上記の
式はｘ１、ｘ２、…、ｘｎによって変化する。すなわ
ち、新しい教師データが入力されて学習を行うと、出力
層ニューロンのバイアス値が各センサ４からの入力信号
に従って変化する。従って、新しい教師データに対応
し、かつより自然な形でニューラルネットワークが汎化
する。ただし、実行計算処理時間は長くなる。

【００５０】また、上述実施例においては、バイアス値
を学習によって変更していたが、請求項６記載の発明で
提案するように、バイアス値の代わりにシナプス結合値
を学習によって変更してもよい。このようにした場合、
簡易学習の動作は図１４のようになる。

【００５１】ＣＰＵ２は、各センサ４からの入力信号と
変更したい出力Ｚ^ｔ を教師データとしてＥＥＰＲＯＭ
８に格納する（ステップ１９）。それから、ＣＰＵ２
は、値を更新、すなわち学習を行うバイアス値のアドレ
スを計算する（ステップ２０）。そのときのニューラル
ネットワークの出力値Ｚを図６または図１０のフローチ
ャートに従って計算し（ステップ２１）、ステップ２３
において前述ステップ２２と同様に計算するが、Ｚにつ
ながるすべてのシナプス結合係数（図７におけるＷ
_ｙ１−ｚ、Ｗ_ｙ２−ｚ、…、Ｗ_ｙｍ−ｚ）が対象となる
ため、変更するシナプス結合係数の総和ｍで変更量を割
ることが異なる。

【００５２】このようにすることによって、１つ１つの
シナプスの変更量を小さく抑える事ができる。ただし、
計算ステップは増加する。

【００５３】

【発明の効果】以上説明したように、請求項１記載の発
明によれば、予め学習により得られるシナプス結合係数
等を第１記憶手段に格納しておき、実行計算時には、結
合数情報を含みブロック化されている第１記憶手段上の
情報に従い積和演算や非線形変換を行い、ニューロン出
力値等を第２記憶手段に書き込むようにしたため、８ビ
ットマイコン程度の能力で、メモリ容量の増加を抑えつ
つ、低コストで非線形関数を取り扱うことができる。

【００５４】また、請求項２記載の発明によれば、シナ
プス結合係数が最大値を超える場合に最大値と残余の値
とに分割して第１記憶手段に格納しておき、実行計算時
には第１記憶手段から読み出したシナプス結合係数が最
大値であるか否かにより当該分割を検出し、最大値と残
余の値とに同一のニューロン出力値を乗ぜしめるように
したため、分解能を落とすことなく、大きなシナプス結
合係数を取り扱うことができる。

【００５５】更に、請求項３記載の発明によれば、シナ
プス結合係数が最大値を超える場合にそれを等分して第
１記憶手段に格納しておき、同時にシリアル情報テーブ
ルによって等分対象を特定しておき、実行計算時には第
１記憶手段上のシリアル情報テーブルを参照して当該等
分を検出し、等分された値に同一のニューロン出力値を
乗ぜしめるようにしたため、分解能を落とすことなく、
大きなシナプス結合係数を取り扱うことができる。メモ
リ容量を増やしたり、計算アルゴリズムを複雑に変える
こともない。

【００５６】請求項４記載の発明によれば、追加学習時
にバイアス値の変更量を計算して第４記憶手段に格納
し、実行計算時には、この変更量を用いるようにしたた
め、今までのオフライン学習結果を生かしつつ新しい教
師データによる追加学習を行うことができる。

【００５７】また、請求項５記載の発明によれば、バイ
アス値の変更量に修正を施すようにしたため、新しい教
師データにニューラルネットワークを汎化することがで
きる。

【００５８】更に、請求項６記載の発明によれば、追加
学習時にシナプス結合係数の変更量を計算して第４記憶
手段に格納し、実行計算時には、この変更量を用いるよ
うにしたため、変更値を複数のシナプス結合係数に分散
でき、１つ１つのシナプス結合係数の変更値を比較的小
さな値に抑えることができる。

【図面の簡単な説明】

【図１】 本発明に係るニューロコンピュータの構成を
示すブロック図である。

【図２】 本発明の実施例に係るシグモイド関数を示す
図である。

【図３】 本発明の実施例に係るシグモイド関数テーブ
ルＳＩＧ ＴＢＬのマイコン内の状態と実数値との関係
を示す図である。

【図４】 本発明に係るメモリのデータ構造を示す図で
ある。

【図５】 本発明の実施例に係る結合係数Ｗ ＴＢＬの
マイコン内の状態と実数値との関係を示す図である。

【図６】 本発明の作用を示すフローチャートである。

【図７】 本発明に係るニューロ実行計算を示す図であ
る。

【図８】 本発明の実施例に係るシグモイド関数変換処
理を示すフローチャートである。

【図９】 本発明に係る主制御装置の構成を示すブロッ
ク図である。

【図１０】 本発明の実施例に係る結合係数が−８〜＋
８を越えた時の実行計算を示すフローチャートである。

【図１１】 本発明に係るニューロン間のリンクが直列
結合であるときのフローチャートである。

【図１２】 本発明の実施例に係るシリアル情報テーブ
ルを示す図である。

【図１３】 本発明に係るバイアス値簡易学習処理を示
すフローチャートである。

【図１４】 本発明に係るシナプス結合係数簡易学習処
理を示すフローチャートである。

【図１５】 従来装置の構成を示すブロック図である。

【符号の説明】

１ 主制御器 ２ ＣＰＵ ３ スイッチ ４ 各センサ ５ 表示器 ６ ＲＯＭ ７ ＲＡＭ ８ ＥＥＰＲＯＭ ９ メモリ １０ 実行処理手段 １１ 第１記憶手段 １２ 判別手段 １３ 第２記憶手段 １４ 第３記憶手段 １５ 変更量算出手段 １６ バイアス値（シナプス結合係数）変更手段 １７ 第４記憶手段

フロントページの続き (56)参考文献 特開 平１−183763（ＪＰ，Ａ) 特開 平３−105452（ＪＰ，Ａ) 特開 平２−287757（ＪＰ，Ａ) 甘利俊一、後藤英一編、ｂｉｔ９月号 臨時増刊「人工ニューラルシステム」、 共立出版株式会社（1989．９) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 3/00

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 中間層に属するニューロンに信号を入力
   するニューロンを含む入力層並びにそれぞれ前層からの
   入力信号とシナプス結合係数の積和演算を行い非線形変
   換して出力するニューロンを含む少なくとも１個の中間
   層及び出力層を有し、入力層に所定の入力信号を与えた
   ときに出力層から所定の出力信号が得られるように予め
   学習によりシナプス結合係数が設定されたニューラルネ
   ットワークを実現するニューロコンピュータにおいて、 シナプス結合係数、結合数情報及び非線形関数が格納さ
   れる第１記憶手段と、ニューロン出力値及びバイアス値
   が格納される第２記憶手段と、第１及び第２記憶手段に
   格納されている情報に基づきかつ中間層又は出力層に属
   するニューロン毎に積和演算及び非線形変換を行い第２
   記憶手段上にそのニューロンに係るニューロン出力値を
   格納する実行処理手段と、を備え、 第１記憶手段においては、シナプス結合係数が、中間層
   及び出力層に属する各ニューロン毎にブロックを形成
   し、各ブロックにそれぞれ結合数情報が付加された形態
   で格納されており、 最終ブロックを除くブロックに付加された結合数情報
   は、ブロックの終了を示すブロック終了コード、ニュー
   ロン値を格納すべき第２記憶手段上のアドレスである出
   力格納アドレス、及び次のブロックに係る積和演算を行
   う際に参照すべき第２記憶手段上のアドレスである次Ｎ
   ＲＡＭポインタを含み、最終ブロックに付加された結
   合数情報は、ブロック終了コード及び出力格納アドレス
   を含み、 第２記憶手段においては、任意の層に係るニューロン出
   力値を格納するための記憶領域と他の任意の層に係るニ
   ューロン出力値を格納するための記憶領域とが、バイア
   ス値を格納するための記憶領域により区切られた形態
   で、設けられており、 実行処理手段は、中間層又は出力層に属する任意のニュ
   ーロンについて積和演算及び非線形変換を行う際、第１
   記憶手段上の複数のブロックのうちそのニューロンに対
   応するブロックの一端から順にシナプス結合係数を読み
   込む動作、第２記憶手段上の記憶領域のうち他のブロッ
   クに付加されている次Ｎ ＲＡＭポインタにより特定さ
   れるアドレスから順にニューロン出力値又はバイアス値
   を読み込む動作、並びに両者の積を累積加算する動作
   を、ブロック終了コードを検出するまで繰り返し、ブロ
   ック終了コードが検出された時点で上記累積加算の結果
   として得られている積和を、第１記憶手段上の非線形関
   数に従い非線形変換し、この非線形変換により得られた
   ニューロン出力値を、検出されたブロック終了コードと
   組をなす出力格納アドレスに従い第２記憶手段上に格納
   することを特徴とするニューロコンピュータ。
2. 【請求項２】 請求項１記載のニューロコンピュータに
   おいて、 所定桁数では表現できない大きな値を有するシナプス結
   合係数については、そのシナプス結合係数を、当該所定
   桁数で表現できる最大値のシナプス結合係数及び元のシ
   ナプス結合係数から当該最大値を減じた残余の値に係る
   シナプス結合係数に分割しこの順に従い第１記憶手段に
   格納しておき、 実行処理手段が、第１記憶手段から読み出したシナプス
   結合係数が最大値である場合に、当該最大値のシナプス
   結合係数が乗ぜられる対象とされたニューロン出力値
   を、当該最大値のシナプス結合係数に続いて読み出され
   る上記残余のシナプス結合係数と乗ずべきニューロン出
   力値として、使用することを特徴とするニューロコンピ
   ュータ。
3. 【請求項３】 請求項１記載のニューロコンピュータに
   おいて、 所定桁数では表現できない大きな値を有するシナプス結
   合係数については、加算したとき元の値になるよう等分
   して第１記憶手段に格納しておき、かつ、第１記憶手段
   上に格納されたシナプス結合係数のうちどのシナプス結
   合係数が当該等分に係るものかを特定する情報を含むシ
   リアル情報テーブルを、第１記憶手段上に格納してお
   き、 実行処理手段が、第１記憶手段からシナプス結合係数を
   読み出す際に併せてシリアル情報テーブルを参照するこ
   とにより上記等分に係るシナプス結合係数を検出し、検
   出されたシナプス結合係数については等分に係る分割数
   だけ繰り返し積の演算に使用することを特徴とするニュ
   ーロコンピュータ。
4. 【請求項４】 請求項１乃至３のいずれか記載のニュー
   ロコンピュータにおいて、 以前に行った学習の際に使用した入力信号と同一の入力
   信号を入力層に与えたときに出力層から出力されること
   が期待される出力信号を、新しい学習に係る教師データ
   として、記憶する第３記憶手段と、 再学習の指示を受けている状態で上記以前に行った学習
   の際に使用した入力信号と同一の入力信号が入力された
   とき、出力信号と上記新しい学習に係る教師データとの
   差に基づきバイアス値変更量を求める変更量算出手段
   と、 求められたバイアス値変更量を記憶する第４記憶手段
   と、 を備え、実行処理手段が、バイアス値とこれに対応する
   シナプス結合係数との積を求める際に、第４記憶手段上
   のバイアス値変更量に従いバイアス値を修正した上で、
   当該積を求めることを特徴とするニューロコンピュー
   タ。
5. 【請求項５】 請求項４記載のニューロコンピュータに
   おいて、 実行処理手段が、バイアス値とこれに対応するシナプス
   結合係数との積を求める際に、第４記憶手段上のバイア
   ス値変更量を求めたときの入力信号の値と現在の入力信
   号の値との差に基づき、バイアス値変更量を補正し、補
   正されたバイアス値変更量に従いバイアス値を修正した
   上で、当該積を求めることを特徴とするニューロコンピ
   ュータ。
6. 【請求項６】 請求項１乃至５のいずれか記載のニュー
   ロコンピュータにおいて、 以前に行った学習の際に使用した入力信号と同一の入力
   信号を入力層に与えたときに出力層から出力されること
   が期待される出力信号を、新しい学習に係る教師データ
   として、記憶する第３記憶手段と、 再学習の指示を受けている状態で上記以前に行った学習
   の際に使用した入力信号と同一の入力信号が入力された
   とき、出力信号と上記新しい学習に係る教師データとの
   差に基づきシナプス結合係数変更量を求める変更量算出
   手段と、 求められたシナプス結合係数変更量を記憶する第４記憶
   手段と、 を備え、実行処理手段が、バイアス値とこれに対応する
   シナプス結合係数との積を求める際に、第４記憶手段上
   のシナプス結合係数変更量に従いシナプス結合係数を修
   正した上で、当該積を求めることを特徴とするニューロ
   コンピュータ。