JPH05290013A

JPH05290013A - ニューラルネットワーク演算装置

Info

Publication number: JPH05290013A
Application number: JP4083692A
Authority: JP
Inventors: Kenji Sakamoto; 憲治坂本
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1992-04-06
Filing date: 1992-04-06
Publication date: 1993-11-05

Abstract

(57)【要約】【目的】初期能力を保持しつつ実環境に適応できるニ
ューラルネットワーク演算装置を提供する。【構成】第１演算部２は、第１記憶部５に記憶された
重み係数ｗ1に基づいてニューラルネットワークの演算
を実施する。第２演算部は、学習時には、第１演算部の
演算結果と実環境下での真の演算結果との差の値を差分
部３から取り込んで教師データとし、第２記憶部６に記
憶された重み係数ｗ2に基づいてニューラルネットワー
クの学習を実施して第２記憶部６の内容を更新する。一
方、演算時には、重み係数ｗ2に基づいてニューラルネ
ットワークの演算を実行する。加算部７は、同じ入力デ
ータに基づく第１演算部による演算結果と第２演算部に
よる演算結果とを加算して出力値を得る。こうして、重
み係数ｗ1に基づく初期能力を保持しつつ、第２演算部
による学習によって実環境とのずれを求めることによっ
て実環境に適応できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、実際の使用環境(実
環境)に容易に適応可能なニューラルネットワーク演算
装置に関する。

【０００２】

【従来の技術】従来、音声信号や画像信号等の特徴パタ
ーンの識別に用いられるニューラルネットワークとし
て、多層パーセプトロン型ニューラルネットワークが知
られている（稲葉：「ニューラル・ネットをパターン認
識,信号処理,知識処理に使う」日経エレクトロニクス
１９８７年８月１０日(no.４２７))。

【０００３】この多層パーセプトロン型ニューラルネッ
トワークは、図６に示すようなユニットが複数個で形成
されている。図６において、１つのユニットｉは、他の
ユニットｋ,ｊ,ｌ(図示せず)から出力された信号ｏ_k,ｏ
_j,ｏ_lを受ける部分と、入力された信号ｏ_k,ｏ_j,ｏ_lを一
定の規則で変換する部分と、変換結果ｏ_iを出力する部
分とから構成されている。そして、他のユニットとの結
合部には、夫々可変の重み係数ｗ_ik,ｗ_ij,ｗ_ilが付加さ
れている。

【０００４】あるユニットｉが複数のユニットｋ,ｊ,ｌ
から信号ｏ_k,ｏ_j,ｏ_lを受けた場合に、その信号ｏ_k,
ｏ_j,ｏ_lの総和をユニットｉの入力値とする。すなわ
ち、入力された信号ｏ_k,ｏ_j,ｏ_lの総和を“net"とし、
ユニットの番号をｉとすると、ｉ番目のユニットへの入
力値“net_i"は式(１)で表すことができる。

【数１】

【０００５】そうすると、ユニットｉは入力値“net_i"
を関数ｆ_iに代入して変換する。ここで、上記関数ｆ_iは
式(２)で表される。

【数２】あるいは、閾値“θ"を加えて式(３)で表してもよい。

【数３】

【０００６】上記多層パーセプトロン型ニューラルネッ
トワークは、図６に示すようなユニットを階層的に組み
合わせて図７のような構成になっている。図７では、各
ユニットは入力層,中間層および出力層の３層構造を成
している。このような多層パーセプトロン型ニューラル
ネットワークの上記入力層に入力パターンを表す入力デ
ータが入力されると、中間層および出力層を構成するユ
ニットの夫々によって式(１)および式(２)又は式(３)を
用いた演算が実施されて、接続されている次のユニット
に演算結果が送出される。こうして、最終的に出力層の
ユニットからニューラルネットワークの演算結果が出力
されるのである。このような演算を以後ニューラルネッ
トワークの演算と言う。

【０００７】上述のような３層パーセプトロン型ニュー
ラルネットワークにおける入力層のユニットに同じ入力
パターンｐを表す入力データが入力されても、各ユニッ
トの結合部に付加された重み係数ｗの値が替われば出力
値ｏ_pの値は異なる値を呈することになる。したがっ
て、属するカテゴリが分かっているような種々の入力パ
ターンｐを表す入力データを入力層のユニットに入力し
た場合に、出力層のユニットからは上記入力パターンｐ
が属するカテゴリを表すような出力値ｏ_pが出力される
ように重み係数ｗの値を設定すれば、この３層パーセプ
トロン型ニューラルネットワークによって上記種々の入
力パターンｐが属すカテゴリを識別可能になる。このよ
うに、ニューラルネットワークにおける重み係数ｗの値
を最適に設定することを以後ニューラルネットワークの
学習と言う。

【０００８】上記ニューラルネットワーク学習の代表的
なアルゴリズムとして、１９８６年にルメルハート等が
提案した誤差逆伝播法(バックプロパゲーション)があ
る。以下、上記誤差逆伝播法による多層パーセプトロン
型ニューラルネットワークの学習について説明する。

【０００９】図７において、入力層の各ユニットに入力
パターンｐを与えたときに、出力層を構成するｊ番目の
ユニットｊから出力される実際の出力値ｏ_pjと上記ユニ
ットｊからの望ましい出力値(すなわち、入力パターン
ｐが属する正しいカテゴリを表す値)ｔ_pjとの差

【数４】の値が小さくなるように上記重み係数ｗの値を変化させ
ることによって、学習を実施するのである。

【００１０】その際に、上記入力層のユニットに入力パ
ターンｐを与えた場合のユニットｉとユニットｊとの結
合部に付加される重み係数ｗ_ijの変化量“Δ_pｗ_ij"は、 Δ_pｗ_ij＝η・δ_pjｏ_pi …（５）である。ここで、ｏ_piはユニットｉからユニットｊへの
出力値であり、δ_pjはユニットｊが出力層のユニットで
あるか中間層のユニットであるかによって次のように異
なる値である。

【００１１】すなわち、出力層のユニットである場合に
は、 δ_pj＝(ｔ_pj−ｏ_pj)ｆ_j'(net_pj）…（６）であり、中間層のユニットの場合には、

【数５】である。

【００１２】したがって、上記ニューラルネットワーク
の学習を実施する際には、学習用の入力パターン(以
下、学習パターンと言う)ｐを入力して出力値ｏ_pjを出
力し、誤差Ｅ_pの値を減らすように重み係数ｗ_ijの値を
変化させる。これを繰り返すことによって、学習パター
ンｐに対して正しい出力値ｔ_pjを出力するように、重み
係数ｗ_ijの値が収束していくのである。

【００１３】

【発明が解決しようとする課題】上述のようにして学習
されたニューラルネットワークは、入力層に入力パター
ンｐを表す入力データが入力されると、入力パターンｐ
が属するカテゴリを表す出力値を出力層から出力するよ
うな構成になっているので、最近、制御や認識の分野で
利用されるようになってきている。その場合における大
部分のニューラルネットワークは、あらゆる使用環境を
想定した初期学習によって予め求められた重み係数ｗが
搭載されており、実際の使用に際しては、入力層に入力
された入力パターンｐに基づいて出力値ｏを算出して出
力層から出力する動作のみを行うようにしている。

【００１４】ところが、あらゆる使用環境を前以て知る
には限界があるために、実際の使用環境(実環境)では最
適に動作しない場合が多々ある。すなわち、例えば、空
気調和機の制御に使用されるニューラルネットワークの
場合には、初期学習時におけるメーカーの実験室等の条
件(学習環境)を特定ユーザの部屋の条件(実環境)と全く
同じにはできないので、そのユーザの部屋では最適に空
気調和機を制御できないのである。また、手書き文字認
識に使用されるニューラルネットワークの場合には、初
期学習時に想定された書き癖(学習環境)を特定ユーザの
書き癖(実環境)と全く同じにはできない。したがって、
そのユーザの手書き文字には認識できない文字が存在す
るのである。

【００１５】さらに、あらゆる使用環境を想定してニュ
ーラルネットワークを構築すると、構築されたニューラ
ルネットワークの規模が大きくなって、大容量の記憶装
置が必要になるという問題がある。

【００１６】そこで、上述のような既に構築されたニュ
ーラルネットワークを実環境下において再学習すれば、
少ない記憶容量の記憶装置で実環境に適応したニューラ
ルネットワークを得ることができるので、上述の問題は
解消されることになる。

【００１７】ところが、既に構築されたニューラルネッ
トワークに学習機能を持たせようとすると、ニューラル
ネットワークは、ニューラルネットワーク自身が有して
いる初期の機能を維持しつつ、新たな入力パターンを処
理できる能力を習得する必要がある。ところが、上述の
ように、既に学習によって設定された重み係数ｗを搭載
しているニューラルネットワークの場合には、初期性能
を維持しながら学習を行うことは困難なのである。

【００１８】これは、当初ニューラルネットワークの重
み係数ｗの値を設定する際に実施した初期学習に使用さ
れた初期学習データは、このニューラルネットワークが
搭載されている制御装置や認識装置には記憶されていな
いことによる。つまり、後に実施される再学習の際には
初期学習データを加えた学習データによる学習を実施で
きないので、再学習が終了した段階におけるニューラル
ネットワークのレベルは後の学習データのみによるレベ
ルになってしまうのである。

【００１９】そこで、このような欠点を回避するため
に、初期学習データを制御装置や認識装置のメモリに記
憶しようとすると膨大な記憶容量を要する。したがっ
て、上述のように、初期学習データを格納して学習機能
を有するニューラルネットワークを搭載した制御装置や
認識装置を家庭電化製品に組み込もうとすると、メモリ
容量が増加して価格上昇につながり、競争力が低下して
実現が困難であるという問題がある。

【００２０】そこで、この発明の目的は、初期能力を保
持しつつ実環境に適応できる学習機能を有する安価なニ
ューラルネットワーク演算装置を提供することにある。

【００２１】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明のニューラルネットワーク演算装置は、
外部からの入力データを取り込む入力部と、予め初期学
習によって設定されたニューラルネットワークの重み係
数を記憶しておく第１記憶部と、上記入力部からの入力
データと上記第１記憶部に記憶された重み係数の値とに
基づいて所定の手順によってニューラルネットワークの
演算を実施する第１演算部と、上記第１演算部によって
得られた上記ニューラルネットワークの演算結果を出力
する出力部を有するニューラルネットワーク演算装置に
おいて、実環境下での上記第１演算部の真の出力値が上
記入力部から入力されてこの入力値と上記第１演算部に
よる演算結果との差の値を求める差分算出部と、上記第
１記憶部に記憶された重み係数とは異なるニューラルネ
ットワークの重み係数を記憶しておく第２記憶部と、学
習時には、上記差分算出部によって求められた上記差の
値を教師データとしてこの教師データに対応して上記入
力部から入力された入力データおよび上記第２記憶部に
記憶された重み係数の値に基づいて所定の手順によって
ニューラルネットワークの学習を実施して得られた重み
係数の値で上記第２記憶部に記憶されている重み係数の
値を更新する一方、演算時には、上記入力部からの入力
データと上記第２記憶部に記憶された重み係数の値とに
基づいて所定の手順によってニューラルネットワークの
演算を実施する第２演算部と、上記演算時において、同
じ入力データに基づく記第１演算部による演算結果と上
記第２演算部による演算結果とを加算して上記出力部に
送出する加算部を備えて、予め実施された初期学習に基
づく上記第１演算部の演算結果に上記実環境下において
実施された学習に基づく上記第２演算部の演算結果によ
る補正を行って、上記実環境下における上記第１演算部
の真の演算結果を適応的に得ることを特徴としている。

【００２２】また、第２の発明のニューラルネットワー
ク演算装置は、第１の発明のニューラルネットワーク演
算装置において、上記第２記憶部は上記学習時に上記第
２演算部によって得られた重み係数の値を一時的に記憶
するように成すと共に、上記第２演算部によって用いら
れる重み係数の基準となる基準重み係数を記憶する基準
重み係数記憶部と、上記第２記憶部に記憶された上記学
習による重み係数の値と上記基準重み係数記憶部に記憶
された対応する基準重み係数の値との差を算出する重み
係数差算出部と、上記重み係数差算出部によって算出さ
れた上記学習による重み係数と上記基準重み係数との差
の値が記憶される差分値記憶部と、演算時には、上記差
分値記憶部および基準重み係数記憶部から対応した上記
差の値と基準重み係数の値とを読み出して両者を加算し
て上記第２演算部用の重み係数の値を算出する重み係数
算出部を備えたことを特徴としている。

【００２３】また、第３の発明のニューラルネットワー
ク演算装置は、第１の発明のニューラルネットワーク演
算装置において、上記第２演算部での学習によって得ら
れた重み係数を記憶する上記第２記憶部とは異なる少な
くとも一つの記憶部と、この記憶部及び上記第２記憶部
を含む少なくとも二つの記憶部を切り替え選択して、上
記学習時には上記第２演算部による学習によって得られ
た重み係数の値を上記選択された記憶部に送出する一
方、上記演算時には上記選択された記憶部から読み出し
た重み係数の値を上記第２演算部に送出する切替部を備
えたことを特徴としている。

【００２４】また、第４の発明のニューラルネットワー
ク演算装置は、第２の発明のニューラルネットワーク演
算装置において、上記演算時には、上記重み係数算出部
側あるいは基準重み係数記憶部側を切り替え選択して選
択された側から読み出された重み係数の値あるいは基準
重み係数の値を上記第２演算部に送出する切替部を備え
たことを特徴としている。

【００２５】

【作用】第１の発明では、予め初期学習によって設定さ
れたニューラルネットワークの重み係数が第１記憶部に
記憶される。そして、この第１記憶部に記憶された重み
係数を用いて、第１演算部によって上記ニューラルネッ
トワークの演算が実施されるに先立って、第２演算部に
よって実環境下への適応化の準備が次のように行われ
る。すなわち、先ず入力部から入力データが第１演算部
および第２演算部に入力される。そして、上記第１演算
部によって、入力された入力データと上記第１記憶部に
記憶された重み係数の値とに基づいて、所定の手順によ
って上記ニューラルネットワークの演算が実施される。

【００２６】そうすると、差分算出部によって、上記入
力部から入力された実環境下での上記第１演算部の真の
出力値と上記第１演算部による演算結果との差の値が算
出される。そして、第２演算部によって、この算出され
た上記差の値を教師データとして、上記第１演算部へ入
力された入力データと同じ入力データと第２記憶部に記
憶された重み係数の値とに基づいて所定の手順によって
ニューラルネットワークの学習が実施される。そして、
上記第２演算部による学習によって得られた重み係数の
値で、上記第２記憶部に記憶されている重み係数の値が
更新される。このような学習を種々の入力データについ
て実施することによって、上記第２演算部によるニュー
ラルネットワークの演算によって、予め実施された初期
学習に基づく上記第１演算部の演算結果と実環境下での
上記第１演算部の真の出力値とのずれが算出可能にな
る。

【００２７】このようにして、上記第２演算部による実
環境下への適応化の準備が終了すると、上記実環境下に
おける演算処理が実施される。すなわち、上記入力部か
ら演算の対象となる入力データが第１演算部および第２
演算部に入力される。そして、上記第１演算部によっ
て、入力された入力データと上記第１記憶部に記憶され
た重み係数の値とに基づいて、上記所定の手順によって
ニューラルネットワークの演算が実施される。同様に、
上記第２演算部によって、上記第１演算部への入力デー
タと同じ入力データと上記第２記憶部に記憶された重み
係数の値とに基づいて、上記所定の手順によってニュー
ラルネットワークの演算が実施される。そして、加算部
によって、同じ入力データに基づく上記第１演算部によ
る演算結果と上記第２演算部による演算結果とが加算さ
れ、この加算結果が出力部から出力される。

【００２８】こうして、予め実施された初期学習に基づ
く上記第１演算部の演算結果が上記実環境下において実
施された学習に基づく上記第２演算部の演算結果によっ
て補正されて、上記実環境下における上記第１演算部の
真の出力値が適応的に求められるのである。

【００２９】第２の発明では、上記学習時においては、
上記第２演算部によるニューラルネットワークの学習に
よって得られた重み係数の値が第２記憶部に一時的に記
憶される。そうすると、重み係数差算出部によって、上
記第２記憶部に記憶された重み係数の値と基準重み係数
記憶部に記憶された対応する基準重み係数の値との差が
算出されて、得られた差分値が差分値記憶部に記憶され
る。こうして、少ない記憶容量で上記第２演算部用の重
み係数が記憶される。また、上記演算時には、重み係数
算出部によって、上記差分値記憶部及び基準重み係数記
憶部から対応した上記差の値と基準重み係数の値が読み
出されて、両者が加算されて上記第２演算部用の重み係
数が算出される。

【００３０】また、第３の発明では、上記学習時あるい
は演算時において、切替部によって上記第２記憶部を含
む少なくとも二つの記憶部の一つが切り替え選択され
る。その結果、上記学習時には、上記第２演算部による
学習によって得られた重み係数の値が上記切替部によっ
て選択された記憶部に記憶される。一方、上記演算時に
は、上記切替部によって選択された記憶部から読み出さ
れた重み係数の値が上記第２演算部に送出される。こう
して、少なくとも二つの記憶部に同じ重み係数を記憶す
ることによって、バックアップ態勢が形成される。ある
いは、上記少なくとも二つの記憶部に異なる重み係数を
記憶することによって、上記第１演算部の演算結果に対
する異なる補正が実施される。

【００３１】また、第４の発明では、上記学習時におい
ては、上記第２演算部による学習によって得られた重み
係数の値と基準重み係数の値との差が重み係数差算出部
によって算出されて、差分値記憶部に記憶される。一
方、上記演算時においては、上記重み係数算出部側ある
いは基準重み係数記憶部側が切替部によって切り替え選
択される。そして、選択された側から上記切替部によっ
て読み出された重み係数の値あるいは基準重み係数の値
が上記第２演算部に送出される。このようにして、少な
い記憶容量で上記第２演算部用の重み係数が記憶される
と共に、上記第１演算部の演算結果に対する異なる補正
が実施される。

【００３２】

【実施例】以下、この発明を図示の実施例により詳細に
説明する。＜第１実施例＞図１は本実施例におけるニューラルネッ
トワーク演算装置の一実施例を示すブロック図である。
入力部１は、外部のマイクロホンやイメージスキャナや
サーミスタ等のセンサから送出される入力パターンｐを
取り込む。第１演算部２は、入力部１によって取り込ま
れた入力パターンｐと予め第１記憶部５に記憶されてい
る重み係数ｗ1の値とを用いて、例えば式(１)および式
(２)又は式(３)に基づいてニューラルネットワークの演
算を行う。上記差分算出部である差分部３は、上記演算
部２からの出力値ｏと実環境での真の出力値との差を算
出する。

【００３３】第２演算部４はニューラルネットワークの
学習機能を有し、上記入力部１から入力された学習パタ
ーンと第２記憶部６に記憶されている重み係数ｗ2の値
に基づいて、差分部３からの差分値を教師データとして
式(５),(６),(７)によって学習演算を実施する。そし
て、得られた重み係数の値によって第２記憶部６に記憶
されている重み係数ｗ2の値を更新する。さらに、第２
演算部４は第２記憶部６に記憶された更新済みの重み係
数ｗ2を用いてニューラルネットワークの演算をも行
う。加算部７は、同一入力データに基づく第１演算部２
による演算結果と第２演算部４による演算結果とを加算
する。こうして得られた加算値は、出力部８から外部に
出力される。

【００３４】以下、本実施例における上記第２演算部４
による学習動作について例を上げて詳細に述べる。ここ
で、本実施例における上記第２演算部４による学習と
は、ある環境下における初期学習によって得られた重み
係数ｗ1の値を用いた第１演算部２によるニューラルネ
ットワークの演算結果と実環境下における第１演算部２
によるニューラルネットワークの真の演算結果(つま
り、望ましい出力値)とのずれを求めるように、ニュー
ラルネットワークの重み係数ｗ2の値を設定することで
ある。

【００３５】今、図２に示すように、上記入力部１に上
述のようなセンサからの出力が入力され、さらに入力部
１から上記センサ出力に基づく入力パターンｐを表す入
力データ(ｘ,ｙ,ｚ)が第１演算部２および第２演算部４
に送出されるものとする。さらに、第１演算部２に入力
データ(ｘ,ｙ,ｚ)を入力した際の出力値をｆ(ｘ,ｙ,z)
とする一方、第２演算部４に入力データ(ｘ,ｙ,ｚ)を入
力した際の出力値をｇ(ｘ,ｙ,ｚ)とする。尚、このよう
に、入力データ(ｘ,ｙ,ｚ)を入力した際における出力値
がｆ(ｘ,ｙ,ｚ)である場合に、入出力関係がｆ(ｘ,ｙ,
ｚ)であると表現することにする。

【００３６】また、上記第２記憶部６に記憶される重み
係数の初期値は非常に小さな値(例えば、−０.０１から
＋０.０１の間の乱数値等)に設定し、第１演算部２ある
いは第２演算部４において実施されるニューラルネット
ワークの演算の際におけるニューラルネットワークの出
力ユニットｉの関数ｆ_iは式(８)で与えられるとする。

【数６】そうすると、上記第２演算部４の入出力関係ｇ(ｘ,ｙ,
ｚ)は、総ての入力データ(ｘ,ｙ,ｚ)に対して“０"に近
い値となる。

【００３７】ここで、上述のように、上記出力部８から
出力される出力値は、加算部７によって第１演算部２に
よる演算結果と第２演算部４による演算結果とを加算し
た値である。したがって、図１に示すニューラルネット
ワーク演算装置の入出力関係ｆ'(ｘ,ｙ,ｚ)は式(９)と
なる。ｆ'(ｘ,ｙ,ｚ)＝ｆ(ｘ,ｙ,ｚ)＋ｇ(ｘ,ｙ,ｚ) …（９）そしてさらに、上述のように、初期状態における第２演
算部４の上記入出力関係ｇ(ｘ,ｙ,ｚ)は総ての入力デー
タ(ｘ,ｙ,ｚ)に対して“０"に近い値となるから、初期
状態におけるニューラルネットワーク演算装置の入出力
関係ｆ'(ｘ,ｙ,ｚ)は式(１０)となる。ｆ'(ｘ,ｙ,ｚ)＝ｆ(ｘ,ｙ,ｚ)＋ｇ(ｘ,ｙ,ｚ) ≒ｆ(ｘ,ｙ,ｚ) …（１０）

【００３８】いま、実環境下における上記ニューラルネ
ットワーク演算装置の真の入出力関係をｆ"(ｘ,ｙ,ｚ)
とすると、式(９)より式(１１)が得られる。ｇ(ｘ,ｙ,ｚ)＝ｆ"(ｘ,ｙ,ｚ)−ｆ(ｘ,ｙ,ｚ) …（１１）したがって、初期状態において“０"に近い値である第
２演算部４の入出力関係ｇ(ｘ,ｙ,ｚ)の値が、上記実環
境下では式(１１)になるように第２演算部４におけるニ
ューラルネットワークの学習を実施する。そうすると、
入力データ(ｘ,ｙ,ｚ)を第１演算部２に入力した際の第
１演算部２の出力値ｆ(ｘ,ｙ,ｚ)と入力データ(ｘ,ｙ,
ｚ)を第２演算部４に入力した際の第２演算部４の出力
値ｇ(ｘ,ｙ,ｚ)(＝ｆ"(ｘ,ｙ,ｚ)−ｆ(ｘ,ｙ,ｚ))とを
加算部７によって加算することによって、出力値ｆ"
(ｘ,ｙ,ｚ)を得ることができるようになる。つまり、上
記ニューラルネットワーク演算装置の入出力関係は上記
実環境下での真の入出力関係ｆ"(ｘ,ｙ,ｚ)となるので
ある。

【００３９】そこで、上記第２演算部４においてニュー
ラルネットワークの学習を実施するに際しては、入力部
１からの入力データ(ｘ,ｙ,ｚ)を入力層に入力する一
方、出力層には差分部３によって算出された第１演算部
２からの出力値ｆ(ｘ,ｙ,ｚ)と入力部１からの実環境下
での真の入出力関係ｆ"(ｘ,ｙ,ｚ)との差の値(ｆ"(ｘ,
ｙ,ｚ)−ｆ(ｘ,ｙ,ｚ))を教師データとして入力する。
そして、学習の結果得られた重み係数の値で第２記憶部
６に記憶された重み係数ｗ2の値を更新していくのであ
る。こうして、学習の結果、上記第２演算部４における
入出力関係ｇ(ｘ,ｙ,ｘ)は(ｆ"(ｘ,ｙ,ｚ)−ｆ(ｘ,ｙ,
ｚ))となり、第２演算部４は、第１演算部２による学習
環境に基づくニューラルネットワークの演算結果と実環
境下での演算結果とのずれを求めることができるように
なる。

【００４０】このようにして、第２演算部４によるニュ
ーラルネットワークの学習動作が終了したニューラルネ
ットワーク演算装置は次のように動作する。外部のセン
サから上記入力部１に入力パターンｐが入力されて第１
演算部２および第２演算部４に入力データが送出され
る。そうすると、第１演算部２は、入力部１からの入力
データと第１記憶部５に予め記憶されている重み係数ｗ
1とを用いてニューラルネットワークの各ユニットにお
ける演算を実施する。そして、出力ユニットからの出力
値ｏ1が加算部７に送出される。また、第２演算部４
は、入力部１からの同じ入力データと第２記憶部６に記
憶されている重み係数ｗ2とを用いてニューラルネット
ワークの各ユニットにおける演算を実施する。そして、
出力ユニットからの出力値ｏ2が加算部７に送出され
る。

【００４１】そうすると、上記加算部７は、入力される
第１演算部２からの出力値ｏ1と第２演算部４からの出
力値ｏ2とを加算して、出力部８から演算結果として出
力する。

【００４２】端的に言うならば、本実施例におけるニュ
ーラルネットワーク演算装置は、学習環境下において構
築されたニューラルネットワークによる演算結果に、上
記学習環境に基づく演算結果と実環境下における正しい
演算結果とのずれを求めるように学習したニューラルネ
ットワークの出力による補正を加えることによって、実
環境下における正しい演算結果を適応的に得ることがで
きる。つまり、本実施例におけるニューラルネットワー
ク演算装置によれば、初期認識能力を保持しつつ実環境
に適応できるのである。

【００４３】表１は、予め初期学習によって設定されて
第１記憶部５に記憶された重み係数ｗ1を用いた第１演
算部２の入出力関係ｆ(ｘ,ｙ)を示す。

【表１】

【００４４】表２は、実環境下でのニューラルネットワ
ーク演算装置の入出力関係ｆ"(ｘ,ｙ)を示す。

【表２】

【００４５】表３は、上記差分部３によって算出される
差分値(ｆ"(ｘ,ｙ)−ｆ(ｘ,ｙ))を示す。

【表３】

【００４６】上記第１表,第２表および第３表より、例
えば、入力データ(０,０)が入力層に入力されると出力
層よりｆ(０,０)＝１.０を出力するように設定された重
み係数ｗ1を用いて、真の出力値がｆ"(０,０)＝０.９と
なるような実環境下で第１演算部２によってニューラル
ネットワークの演算を実施する場合には、ｆ(０,０)の
値のｆ"(０,０)の値からのずれの値を求めるような学習
によって得られた重み係数ｗ2を用いた第２演算部４に
よるニューラルネットワークの演算結果(ｆ"(０,０)−
ｆ(０,０)＝−０.１)によって、第１演算部２による演
算結果ｆ(０,０)＝１.０を補正することによって、真の
出力値ｆ"(０.０)＝０.９を得ることができるのであ
る。

【００４７】上記実施例においては、第１演算部２およ
び第２演算部４からの出力は複数要素からなるベクトル
であっても何等差し支えない。また、表１,表２および
表３では各値ｆ(ｘ,ｙ),ｆ"(ｘ,ｙ)およびｆ"(ｘ,ｙ)−
ｆ(ｘ,ｙ)は離散値を取るようになっているが、連続値
であっても構わない。また、上記第１記憶部５は、例え
ばＥＰＲＯＭ(消去可能プログラマブル・リード・オンリ・
メモリ)等で構成すれば、停電時であっても記憶された
重み係数ｗ1は失われない。また、第２記憶部６は、例
えばＳＲＡＭ(スタティック・ランダム・アクセス・メモ
リ)等の読み書き可能なメモリで構成する。

【００４８】＜第２実施例＞図３は第１実施例における
ニューラルネットワーク演算装置の第２演算部用の重み
係数ｗ2に係る記憶容量を少なくして容易に交換可能に
したニューラルネットワーク演算装置の一実施例を示す
ブロック図である。図３において、入力部１１,第１演
算部１２,第１差分部１３,第２演算部１４,第１記憶部
１５,第１加算部１７および出力部１８の夫々について
は、図１に示した入力部１,第１演算部２,差分部３,第
２演算部４,第１記憶部５,加算部７および出力部８と同
じであるから、その説明を省略する。

【００４９】第２差分部２１は、上記第２演算部１４に
よるニューラルネットワークの学習の際に算出されて第
２記憶部２２に一時的に記憶された重み係数ｗ2の値と
予め第３記憶部２３に記憶されている基準重み係数の対
応する値との差を算出する。この算出された差分値は第
４記憶部２４に記憶される。第２加算部２５は、上記第
２演算部１４によるニューラルネットワークの演算の際
に用いられる重み係数ｗ2の値を、第４記憶部２４に記
憶された差分値と第３記憶部２３に記憶された対応する
基準重み係数の値とを加算することによって算出する。
この算出された重み係数ｗ2の値は第２演算部１４に送
出される。

【００５０】すなわち、上記第１差分部１３で上記差分
算出部を構成し、第２差分部２１で上記重み係数差算出
部を構成し、第３記憶部２３で上記基準重み係数記憶部
を構成し、第４記憶部２４で上記差分値記憶部を構成
し、第２加算部２５で上記重み係数算出部を構成するの
である。

【００５１】上記第３記憶部２３に記憶される基準重み
係数としては、先験的知識によって設定した値かあるい
は本ニューラルネットワーク演算装置が実環境下で充分
な性能を示していた際の第２演算部１４用の重み係数ｗ
2の値を用いる。また、第４記憶部２４に記憶される差
分値の初期値は“０"である。

【００５２】そうすると、上記第２演算部１４によるニ
ューラルネットワークの学習の際に使用される重み係数
ｗ2の初期値は、第３記憶部２３に記憶される基準重み
係数の値となる。以後、第１実施例の場合と同様に、第
２演算部１４によって、第１演算部１５のニューラルネ
ットワークの演算による学習環境に基づく演算結果と実
環境下における真の演算結果とのずれを求めるようなニ
ューラルネットワークの学習を実施する。

【００５３】その場合に、上記第２演算部１４によって
算出された重み係数ｗ2の値は一旦第２記憶部２２に記
憶される。そうすると、第２差分部２１によって、第２
記憶部２２に記憶された新たな重み係数ｗ2の値と第３
記憶部２３に記憶された対応する基準重み係数の値との
差が算出され、この差分値によって第４記憶部２４の内
容が更新される。こうして、学習の進行に伴って順次第
４記憶部２４に記憶されている差分値の内容が更新され
るのである。

【００５４】その際に、上記第３記憶部２３に記憶され
ている基準重み係数の値は、上述のように、先験的知識
によって設定した値あるいは本ニューラルネットワーク
演算装置が実環境下で充分な性能を示していた際の第２
演算部１４用の重み係数ｗ2の値であるから、実環境が
予想以上に変化しない限り上記基準重み係数の値は第２
記憶部２２に記憶されている新たな重み係数ｗ2の値と
大略同じ値を呈することになる。その結果、上記第２差
分部２１によって算出される差分値のダイナミックレン
ジは小さくなり、第４記憶部２４の小型化が可能にな
る。

【００５５】こうすることによって、上記第４記憶部２
４を容易に交換可能な外部記憶媒体で構成することがで
き、この外部記憶媒体を交換することによって、第２演
算部１４の入出力関係および本ニューラルネットワーク
演算装置の入出力関係を簡単に変更できるのである。す
なわち、同じ実環境下であってもユーザＡとユーザＢと
では雰囲気の空調状態に好みの違いがある。そこで、例
えば、本ニューラルネットワーク演算装置を空気調和機
の制御に使用する場合には、初期学習に基づく第１演算
部１２の演算結果と実環境下での第１演算部１２の真の
演算結果とのずれの度合を各ユーザ毎に外部記憶媒体に
格納しておけば、この外部記憶媒体を交換するだけでユ
ーザＡの好みに合わせた制御とユーザＢの好みに合わせ
た制御とに素早く変更できるのである。

【００５６】表４は、上記第２記憶部２２に記憶されて
いる新たな重み係数ｗ2、第３記憶部２３に記憶されて
いる基準重み係数ｗ2'、第４記憶部２４に記憶されてい
る差分値(ｗ2'−ｗ2)の具体例を示す。

【表４】

【００５７】表４より、上記第２記憶部２２に記憶され
ている新たな重み係数ｗ2のダイナミックレンジは“８.
７４"(＝５.２９−(−３.４５))であるの対して、上記
第４記憶部２４に記憶されている差分値(ｗ2'-ｗ2)のダ
イナミックレンジは“０.５０"(＝０.２０−(−０.３
０))と充分に小さい。したがって、差分値をディジタル
化する際のバイト数が少なくて済み、第４記憶部２４の
容量を小さくして容易に着脱可能にできるのである。

【００５８】＜第３実施例＞図４は、第１実施例のニュ
ーラルネットワーク演算装置における上記第２演算部の
入出力関係を複数の入出力関係に切り替え可能にしたニ
ューラルネットワーク演算装置の一実施例を示すブロッ
ク図である。図４において、入力部３１,第１演算部３
２,差分部３３,第２演算部３４,第１記憶部３５,加算部
３７および出力部３８の夫々については、図１に示した
入力部１,第１演算部２,差分部３,第２演算部４,第１記
憶部５,加算部７および出力部８と同じであるから、そ
の説明を省略する。

【００５９】上記第２演算部３４によるニューラルネッ
トワークの学習の結果得られた新たな重み係数ｗ2の値
は、切替部４１によって切り替え選択された第２記憶部
４２あるいは第３記憶部４３のいずれか一方の記憶部に
記憶される。また、上記第２演算部３４によってニュー
ラルネットワークの演算を実施する際には、切替部４１
によって切り替え選択された第２記憶部４２あるいは第
３記憶部４３のいずれか一方の記憶部から読み出された
重み係数ｗ2を用いて演算が実施されるのである。

【００６０】こうすることによって、上記第２演算部３
４は２種類の重み係数ｗ2を用いたニューラルネットワ
ークの演算が可能となり、第２演算部３４は２種類の入
出力関係を持つことと同じことになるのである。ここ
で、上記第２演算部３４が２種類の入出力関係を持つと
いうことは次のようなことである。すなわち、例えば、
本ニューラルネットワーク演算装置を空気調和機の制御
に使用するとする。その場合には、室温が同じ２０℃で
あっても夏における２０℃と冬における２０℃とではユ
ーザの感じ方は異なるので、本ニューラルネットワーク
演算装置は、上記入力部３１にセンサから同じ入力パタ
ーンｐが入力されても夏と冬とでは異なった値を出力す
る必要がある。そこで、例えば第２記憶部４２には、第
１演算部３２の演算結果に対する夏用の補正を実施する
為の重み係数ｗ2を記憶する。一方、第３記憶部４３に
は、第１演算部３２の演算結果に対する冬用の補正を実
施する為の重み係数ｗ2を記憶するのである。

【００６１】こうして、冬になって当該空気調和機の冷
媒回路における冷媒の循環方向を切り替える際に上記切
替部４１をも第３記憶部４３側に切り替えれば、第２演
算部３４の入出力関係を冬用の入出力関係に設定でき、
最適な制御が実施可能になるのである。

【００６２】尚、本実施例においては、第２演算部３４
で使用される重み係数ｗ2格納用の記憶部として第２記
憶部４２および第３記憶部４３の２つの記憶部を有して
いるが、３つ以上の記憶部を有しても何等差し支えな
い。また、上記第２記憶部４２および第３記憶部４３に
は同じ重み係数ｗ2を記憶し、上記第２記憶部４２ある
いは第３記憶部４３のいずれか一方を２次電源等によっ
てバックアップすることによって、学習の結果得られた
第２演算部３４の入出力関係を停電時においても最小限
保持できるようにしてもよい。

【００６３】＜第４実施例＞図５は、第２実施例におけ
るニューラルネットワーク演算装置の上記第２演算部の
入出力関係を複数の入出力関係に切り替え可能にしたニ
ューラルネットワーク演算装置の一実施例を示すブロッ
ク図である。図５において、入力部５１,第１演算部５
２,第１差分部５３,第２演算部５４,第１記憶部５５,第
１加算部５７および出力部５８の夫々は、図３における
入力部１１,第１演算部１２,第１差分部１３,第２演算
部１４,第１記憶部１５,第１加算部１７および出力部１
８と同じである。

【００６４】さらに、第２差分部６１,第２記憶部６２,
第３記憶部６３,第４記憶部６４および第２加算部６５
の夫々は、図３における第２差分部２１,第２記憶部２
２,第３記憶部２３,第４記憶部２４及び第２加算部２５
と同じである。したがって、上記各部の詳細な説明は省
略する。その際に、上述の第２実施例の場合と同様に、
上記第２差分部６１によって算出される差分値のダイナ
ミックレンジは小さいので、第４記憶部６４の記憶容量
を小さくして外部記憶媒体で容易に構成できるのであ
る。

【００６５】切替部６６は、上記第２演算部５４による
ニューラルネットワークの演算の際には第２加算部６５
側あるいは第３記憶部６３側を切り替え選択する。そし
て、第２加算部６５側を切り替え選択した場合には、第
２加算部６５によって第４記憶部６４に記憶された差分
値と第３記憶部６３に記憶された対応する基準重み係数
の値とを加算して算出された重み係数ｗ2の値を第２演
算部５４に送出する。一方、上記第３記憶部６３側を切
り替え選択した場合には、第３記憶部６３に記憶されて
いる先験的知識によって設定した値あるいは本ニューラ
ルネットワーク演算装置が実環境で充分な性能を示して
いた際の第２演算部１４用の重み係数ｗ2の値等である
基準重み係数の値を読み出して第２演算部５４に送出す
るのである。

【００６６】したがって、上述の第３実施例の場合と同
様に、本実施例の場合にも第２演算部５４は２種類の入
出力関係を持つのである。

【００６７】すなわち、本実施例によれば、第１実施例
の効果に加えて、ニューラルネットワーク演算装置にお
ける上記第２演算部の入出力関係を複数の入出力関係に
切り替え可能にし、且つ上記入出力関係を設定するため
の重み係数ｗ2を差分値によって小容量で記憶すること
によって記憶部の外部記憶媒体化を小可能にするのであ
る。

【００６８】上記各実施例における第１演算部および第
２演算部によって実施されるニューラルネットワークの
演算は、図２に示すように多層パーセプトロン型ニュー
ラルネットワークの演算であってもよいし、他のニュー
ラルネットワークの演算であってもよい。

【００６９】

【発明の効果】以上より明らかなように、第１の発明の
ニューラルネットワーク演算装置は、第１演算部によっ
てニューラルネットワークの演算を実施する際に用いる
重み係数を予め初期学習によって設定して第１記憶部に
記憶し、学習時には、上記第１演算部および第２演算部
に同じ入力データを入力し、初期学習に基づく上記第１
演算部による演算結果と実環境下での上記第１演算部の
真の出力値との差を差分算出部によって求め、この求め
られた上記差の値を教師データとして、第２演算部によ
って、上記入力データおよび第２記憶部に記憶された重
み係数とに基づいてニューラルネットワークの学習を実
施して得られた重み係数の値で上記第２記憶部の内容を
更新し、演算時には、上記第１記憶部および第２記憶部
に同じ入力データを入力し、両演算部によって、上記入
力データおよび上記第１又は第２記憶部に記憶された重
み係数に基づいてニューラルネットワークの演算を実施
し、加算部によって、上記第１演算部による演算結果に
上記第２演算部による演算結果を加算して得られた加算
値を出力部から出力するようにしたので、演算時におい
ては、予め実施された初期学習に基づく上記第１演算部
の演算結果を上記実環境下において実施された学習に基
づく上記第２演算部の演算結果によって補正できる。し
たがって、出力部から出力される本ニューラルネットワ
ーク演算装置による演算結果は、初期学習に基づく演算
結果ではなく上記実環境に即した最適演算結果となる。
すなわち、この発明によれば、上記第１記憶部に記憶さ
れた重み係数に基づく初期能力を保持しつつ実環境に適
応できる学習機能を有するニューラルネットワーク演算
装置を提供できる。

【００７０】また、この発明における上記第２演算部に
よる学習には上記初期学習の際に使用した初期学習デー
タを必要とはしない。したがって、初期学習データ格納
用の記憶部を確保する必要がなく、初期能力を保持しつ
つ実環境に対応できる学習機能を有するニューラルネッ
トワーク演算装置を安価に提供できる。

【００７１】また、第２の発明のニューラルネットワー
ク演算装置は、上記学習時に、上記第２演算部による学
習の結果得られた重み係数を第２記憶部に一時的に記憶
し、重み係数差算出部によって、上記第２記憶部に記憶
された重み係数の値と基準重み係数記憶部に記憶された
対応する基準重み係数の値との差を算出して差分値記憶
部に記憶し、上記演算時に、重み係数算出部によって、
上記差分値記憶部および基準重み係数記憶部から対応し
た上記差の値と基準重み係数の値とを読み出して加算し
て上記第２演算部用の重み係数を算出するので、上記第
２演算部用の重み係数はダイナミックレンジの小さい差
分値として差分値記憶部に記憶できる。したがって、こ
の発明によれば、上記差分値記憶部を容易に小型化して
着脱/交換可能にでき、上記差分値記憶部を交換するこ
とによって異なる実環境下に素早く対応できるのであ
る。

【００７２】また、第３の発明のニューラルネットワー
ク演算装置は、上記第２記憶部を含む少なくとも二つの
記憶部を切替部によって切り替え選択し、上記学習時に
は、上記第２演算部による学習によって得られた重み係
数の値を上記選択された記憶部に送出する一方、上記演
算時には、上記選択された記憶部から読み出した重み係
数の値を上記第２演算部に送出するようにしたので、上
記切替部の制御によって第２演算部の入出力関係を複数
得ることができる。したがって、この発明によれば、複
数の記憶部に上記第２演算部用の同じ重み係数を記憶し
てバックアップ態勢を形成したり、上記複数の記憶部に
異なる環境下における重み係数を記憶して異なる環境に
対応可能にしたり容易にできる。

【００７３】また、第４の発明のニューラルネットワー
ク演算装置は、上記学習時に、上記第２演算部による学
習の結果得られた重み係数の値と上記基準重み係数の値
との差を上記差分値記憶部に記憶し、上記演算時に、切
替部によって上記重み係数算出部側あるいは基準重み係
数記憶部側を切り替え選択し、上記重み係数算出部側を
選択した場合には上記重み係数算出部によって算出され
た重み係数を上記第２演算部に送出する一方、上記基準
重み係数記憶部側を選択した場合には上記基準重み係数
を上記第２演算部に送出するので、上記差分値記憶部を
容易に小型化して着脱/交換可能にでき、且つ上記切替
部の制御によって第２演算部の入出力関係を複数得るこ
とができる。したがって、この発明によれば、上記差分
値記憶部の交換に加えて上記切替部の切り替えによっ
て、更に多くの異なる実環境下に素早く対応できるので
ある。

【図面の簡単な説明】

【図１】この発明のニューラルネットワーク演算装置の
一実施例におけるブロック図である。

【図２】図１に示すニューラルネットワーク演算装置の
第２演算部によるニューラルネットワークの学習の説明
図である。

【図３】図１に示す実施例とは異なる実施例におけるブ
ロック図である。

【図４】図１および図３に示す実施例とは異なる実施例
におけるブロック図である。

【図５】図１,図３および図４に示す実施例とは異なる
実施例におけるブロック図である。

【図６】ニューラルネットワークにおけるユニットのモ
デル図である。

【図７】ニューラルネットワークの構造およびその学習
の説明図である。

【符号の説明】

１,１１,３１,５１…入力部、２,１２,３２,
５２…第１演算部、３,１３,３３,５３…差分部、
４,１４,３４,５４…第２演算部、５,１５,３５,
５５…第１記憶部、６,２２,６２…第２記憶部、
７,１７,３７,５７…加算部、８,１８,３８,
５８…出力部、２１,６１…第２差分部、
２３,６３…第３記憶部、２４,６４…第４記憶部、
２５,６５…第２加算部、４１,６６…切替
部。

Claims

【特許請求の範囲】

【請求項１】外部からの入力データを取り込む入力部
と、予め初期学習によって設定されたニューラルネット
ワークの重み係数を記憶しておく第１記憶部と、上記入
力部からの入力データと上記第１記憶部に記憶された重
み係数の値とに基づいて所定の手順によってニューラル
ネットワークの演算を実施する第１演算部と、上記第１
演算部によって得られた上記ニューラルネットワークの
演算結果を出力する出力部を有するニューラルネットワ
ーク演算装置において、実環境下での上記第１演算部の真の出力値が上記入力部
から入力されて、この入力値と上記第１演算部による演
算結果との差の値を求める差分算出部と、上記第１記憶部に記憶された重み係数とは異なるニュー
ラルネットワークの重み係数を記憶しておく第２記憶部
と、学習時には、上記差分算出部によって求められた上記差
の値を教師データとして、この教師データに対応して上
記入力部から入力された入力データおよび上記第２記憶
部に記憶された重み係数の値に基づいて所定の手順によ
ってニューラルネットワークの学習を実施して得られた
重み係数の値で上記第２記憶部に記憶されている重み係
数の値を更新する一方、演算時には、上記入力部からの
入力データと上記第２記憶部に記憶された重み係数の値
とに基づいて所定の手順によってニューラルネットワー
クの演算を実施する第２演算部と、上記演算時において、同じ入力データに基づく上記第１
演算部による演算結果と上記第２演算部による演算結果
とを加算して上記出力部に送出する加算部を備えて、予め実施された初期学習に基づく上記第１演算部の演算
結果に上記実環境下において実施された学習に基づく上
記第２演算部の演算結果による補正を行って、上記実環
境下における上記第１演算部の真の演算結果を適応的に
得ることを特徴とするニューラルネットワーク演算装
置。
【請求項２】請求項１に記載したニューラルネットワ
ーク演算装置において、上記第２記憶部は、上記学習時に上記第２演算部によっ
て得られた重み係数の値を一時的に記憶するように成す
と共に、上記第２演算部によって用いられる重み係数の基準とな
る基準重み係数を記憶する基準重み係数記憶部と、上記第２記憶部に記憶された上記学習による重み係数の
値と上記基準重み係数記憶部に記憶された対応する基準
重み係数の値との差を算出する重み係数差算出部と、上記重み係数差算出部によって算出された上記学習によ
る重み係数と上記基準重み係数との差の値が記憶される
差分値記憶部と、演算時には、上記差分値記憶部および基準重み係数記憶
部から対応した上記差の値と基準重み係数の値とを読み
出し、両者を加算して上記第２演算部用の重み係数の値
を算出する重み係数算出部を備えたことを特徴とするニ
ューラルネットワーク演算装置。
【請求項３】請求項１に記載したニューラルネットワ
ーク演算装置において、上記第２演算部での学習によって得られた重み係数を記
憶する上記第２記憶部とは異なる少なくとも一つの記憶
部と、この記憶部および上記第２記憶部を含む少なくとも二つ
の記憶部を切り替え選択して、上記学習時には上記第２
演算部による学習によって得られた重み係数の値を上記
選択された記憶部に送出する一方、上記演算時には上記
選択された記憶部から読み出した重み係数の値を上記第
２演算部に送出する切替部を備えたことを特徴とするニ
ューラルネットワーク演算装置。
【請求項４】請求項２に記載したニューラルネットワ
ーク演算装置において、上記演算時には、上記重み係数算出部側あるいは基準重
み係数記憶部側を切り替え選択し、選択された側から読
み出された重み係数の値あるいは基準重み係数の値を上
記第２演算部に送出する切替部を備えたことを特徴とす
るニューラルネットワーク演算装置。