JPH1055346A - ニューラルネットワーク回路 - Google Patents

Abstract

(57)【要約】 【課題】 音声認識や画像認識処理等を行うニューラル
ネットワーク回路において、初期学習された多数の荷重
値（初期荷重値）を記憶する重みメモリがＲＯＭで構成
される場合であっても、前記初期荷重値の追加学習を可
能にする。 【解決手段】 ニューラルネットワークの多数の初期荷
重値を保持する重みメモリ２０３を備える。この重みメ
モリ２０３の荷重値と追加学習後の荷重値との差分値を
記憶するＳＲＡＭから成る差分値メモリ２１８を追加す
る。入力データの認識動作時には、前記重みメモリ２０
３の初期荷重値と差分値メモリ２１８の差分値とを加算
器２１３で加算し、その加算された荷重値を使用して出
力層の各ニューロンの出力値を計算する。従って、小さ
な容量の差分値メモリの追加で高速な追加学習を可能に
でき、新たな数字や文字等を誤り無く良好に認識するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識や画像認
識処理等を行うニューラルネットワーク回路の改良に関
する。

【０００２】

【従来の技術】近年、情報処理のニューラルネットワー
クの分野に大きな関心が集まってきている。これ等のニ
ューラルネットワークは、生物のニューロンの構造を模
倣して、電子回路で実現されている。

【０００３】ニューラルネットワーク回路としては、従
来より種々のものが提案されている。図１５は層構造の
ニューラルネットワークを示す。同図のニューラルネッ
トワークは、入力層及び出力層より構成され、出力層は
複数個（同図では４個）ニューロンからなる。前記入力
層に画像や音声の１組のデータが入力され、それ等の認
識結果が出力層から出力される。この層構造のニューラ
ルネットワークを階層的に重ねることにより、多層のニ
ューラルネットワークを構成することも従来より行われ
ている。

【０００４】前記図１５に示したニューラルネットワー
クにおいて、出力層を構成するニューロンは、図１４に
示すニューロン１より構成される。同図のニューロン１
は、１つの出力端子Ｙと複数の入力端子Ｘｉとを持って
おり、各々の入力端子Ｘｉにこの各入力端子Ｘｉに対応
する重み係数Ｗｉを乗じ、その各乗算結果を加算して、
その加算結果を出力する。出力層の複数個のニューロン
に対して複数個の数字や文字を予め対応付けておき、何
れか１つの数字又は文字を構成する１組のデータを入力
層に入力した時、その入力データに対応するニューロン
の出力値（加算結果値）が出力層の複数個のニューロン
の中で最大値となるように設定される。この設定は、各
ニューロン１の複数の重み係数Ｗｉを最適化することに
より行われる。従って、特定の１組のデータの入力時に
は、これに対応するニューロンからの出力値がその特定
データに対する認識結果となる。前記多数の重み係数Ｗ
ｉを変更し、最適化するプロセスは、ニューラルネット
ワークの学習と呼ばれ、重み係数Ｗｉの変更量の計算則
を学習則という。

【０００５】以上のニューラルネットワークの処理の多
くは、フォン・ノイマン型の計算機により実現される。

【０００６】図１３にその一例を示す。同図に示した従
来のネットワーク回路は、入力メモリ１０１、重みメモ
リ１０２、乗算器１０３、選択回路１０４、加算器１０
５、レジスタ１０６、出力メモリ１０７及び制御回路１
０８により構成される。

【０００７】前記入力メモリ１０１は、ニューラルネッ
トワークに与えられる多数組の入力データが保持され
る。重みメモリ１０２は、各組の入力データに対応した
重み係数（以下、荷重値という）が格納されている。出
力メモリ１０７は、ニューラルネットワークとしての計
算結果を保持する。

【０００８】前記図１３の従来回路の詳細な構成を、そ
の動作を用いて以下に説明する。この従来回路では、制
御回路１０８にスタート信号が与えられることにより、
処理がクロック信号に従って実行される。制御回路１０
８から入力メモリ１０１にアドレスＡが与えられて、入
力メモリ１０１から１つの入力データが読み出される。
制御回路１０８からアドレスＢが重みメモリ１０２に与
えられて、重みメモリ１０２から荷重値が読み出され
る。この読み出された荷重値は、前記入力メモリ１０１
から読み出された入力データに対応する。

【０００９】乗算器１０３は、前記入力メモリ１０１か
ら読み出された入力データと、重みメモリ１０２から読
み出された荷重値との乗算を行い、その乗算結果を加算
器１０５に出力する。

【００１０】選択回路１０４は、制御回路１０８からの
切替信号Ａにより、各ニューロンにおける最初の計算の
時のみ値“０”を選択し、従って、前記加算器１０５
は、当初、値“０”と前記乗算器１０３の乗算結果とを
加算する。この加算器１０５の加算結果はレジスタ１０
６に保持される。その後、前記選択回路１０４は前記レ
ジスタ１０６の値を選択し、加算器１０５は、レジスタ
１０６の値と、乗算器１０３の乗算結果を加算し、その
加算結果がレジスタ１０６に保持される。

【００１１】最初のニューロンにおける計算の最後で
は、制御回路１０８からアドレス“Ｏ”が出力され、こ
の時点でレジスタ１０６の保持データ、即ち、図１５の
ニューラルネットワークの出力層の第１番目のニューロ
ンについての入力データと荷重値との累積加算結果が、
出力メモリ１０７の前記アドレス“０”に書き込まれ
る。以後、第２番目以降のニューロンに対しても同様の
加算処理が行われ、その加算結果が出力メモリ１０７の
アドレス“１”以降に順次書き込まれる。

【００１２】図１３に示した従来回路の入力データとし
て画像や音声データを与えれば、その処理の実行によ
り、画像又は音声の認識が可能となる。

【００１３】次に、荷重値の学習について説明する。荷
重値の学習は、荷重値を初期状態から変更して行く初期
学習と、この初期学習された荷重値を更に追加変更して
行く追加学習とがある。前者の初期学習は、例えば、図
１６に示す各type“０”、“１”の１０種の数字０〜９
を認識する、即ち、出力層のニューロンの数が１０個で
ある場合に、これ等のニューロンに１つづつ数字を対応
させ、特定の数字の入力時に、その数字に対応するニュ
ーロンの出力が出力層の全ニューロンの中で最大値にな
るように、各荷重値を変更する処理である。後者の追加
学習は、例えば、個人的又は地域的に図１６のタイプ
“２”の各数字を追加的に認識させるように、各荷重値
を変更する処理である。

【００１４】前記初期学習と追加学習とでは、その荷重
値の変更処理は相違せず、同一である。従って、以下、
初期学習での荷重値の変更処理を説明する。ここでは、
図１６のtype“０”及び“１”の数字０〜９を認識する
場合について、学習則としてヘブ学習則を用いて説明す
る。このヘブ学習則は、学習したい特定の１個又は複数
個のニューロンを選択し、このニューロンの持つ複数の
荷重値を変更する学習則である。この変更は、このニュ
ーロンの各入力端子に入力される入力データの大きさＸ
ｉに比例して、その入力端子に対応する荷重値を増大さ
せる処理であり、荷重値をＷとして、下式に基いて行わ
れる。

【００１５】Ｗ(t+1) ＝ａ＊Ｘｉ＋Ｗ(t) ここに、ｔは時間（回数）を、ａは学習の所定値の係数
を示す。各数字は、例えば図１８に数字“０”で例示す
るように、多数の画素の１組のデータより成り、これ等
の画素の値は多値である。

【００１６】図１７の学習フローにおいて、先ずステッ
プＳ０で、学習に用いる変数flag、type、及びnumberを
“０”に初期化する。次いで、ステップＳ１で、図１６
のtype“０”の最初の数字０(number=0)の各画素の値を
入力層に入力し、ステップＳ２で出力層の各ニューロン
の各出力値を求める。ステップＳ３では、出力が最大値
のニューロンが数字“０”に対応するニューロン（即
ち、第１番目のニューロン）か否かを判別し、そうでな
い場合には、ステップＳ４で第１番目のニューロンの荷
重値を学習することとして、その複数の荷重値Ｗを前記
式に基いて計算して変更し、flag=1として学習有りを表
示する。

【００１７】その後、ステップＳ５で数字０〜９の全て
の認識が終了した否かを判別し、そうでない場合には、
ステップＳ６で対象となる数字の番号numberを“１”だ
け増やして、前記の処理を続行する。

【００１８】type“０”の全ての数字の認識が終了すれ
ば、ステップＳ７でtype=1か否かを判定し、当初はtype
=0であるので、ステップＳ８でtype=1とすると共に，入
力される数字の番号をnumber=0に戻し、前記ステップＳ
１〜Ｓ６を繰返して、type=1での全ての数字０〜９に対
する認識を行う。

【００１９】type“１”の全ての数字の認識が終了すれ
ば、ステップＳ９でflagの値を判別し、flag=1の場合
は、学習有りの場合であるので、荷重値を変更したニュ
ーロン以外のニューロンが対応する数字を正しく認識す
ることが保持されていることを確認するために、ステッ
プＳ１０で全ての変数flag、type、numberを“０”に戻
し、前記の処理を繰返す。以上の処理を経て、ステップ
Ｓ９でflag=0になれば、全てのtypeの全ての数字が正し
く認識されたのであるから、終了する。

【００２０】

【発明が解決しようとする課題】しかしながら、前記従
来のニューラルネットワーク回路では、入力される画像
データ等は膨大な量であり、従って、これ等データを認
識するためには、重みメモリも膨大な数の荷重値を記憶
する必要があって大型化する。そこで、ＲＡＭに比較し
て物理的に小さいＲＯＭにより重みメモリを構成して、
小型化を図ることが考えられるが、ＲＯＭでは荷重値の
変更ができず、荷重値の追加学習が不可能になる欠点が
生じる。

【００２１】重みメモリをＲＡＭで構成して、荷重値の
追加学習を可能とする場合には、この重みメモリが大型
化するために、重みメモリは外付けとなり、その結果、
荷重値の追加学習に多くの時間が必要となる欠点があ
る。

【００２２】本発明は、以上のような問題点を解決する
ためになされたものであり、その目的は、従来の重みメ
モリをＲＯＭで構成した場合であっても、荷重値の追加
学習が可能で且つその追加学習を高速に行えるニューラ
ルネットワーク回路を提供することにある。

【００２３】

【課題を解決するための手段】前記目的を達成するため
に、本発明のニューラルネットワーク回路では、従来の
重みメモリに加えて、追加学習のための荷重値変更用に
専用のメモリを持つ構成を採用する。

【００２４】すなわち、請求項１記載のニューラルネッ
トワーク回路は、１つの出力端子と複数の入力端子とを
有するニューロンを複数個備えて少なくとも１層を構成
し、１組の入力データを共通に前記各ニューロンの複数
の入力端子に与えて前記各ニューロンの出力を得て、こ
の各出力に基いて前記１組の入力データを認識するニュ
ーラルネットワーク回路であって、前記各ニューロンの
複数の入力端子に対応し且つ初期学習された値を持つ複
数の荷重値が記憶された重みメモリと、前記重みメモリ
に記憶された荷重値と、これ等の荷重値に対応し且つ追
加学習された荷重値との差分値を記憶する差分値メモリ
と、与えられる１組の入力データの認識時に、この１組
の入力データ、前記重みメモリの荷重値、及び前記差分
値メモリの差分値に基いて、各ニューロンの出力値を計
算する計算手段とを備えることを特徴とする。

【００２５】請求項２記載の発明は、前記請求項１記載
のニューラルネットワーク回路において、前記追加学習
時に、新たな１組の入力データを正しく認識するよう
に、前記重みメモリに記憶された荷重値を所定の学習則
に従って変更する荷重値変更手段を備えることを特徴と
する。

【００２６】請求項３記載の発明のニューラルネットワ
ーク回路は、１つの出力端子と複数の入力端子とを有す
るニューロンを複数個備えて少なくとも１層を構成し、
１組の入力データを共通に前記各ニューロンの複数の入
力端子に与えて、この１組の入力データと前記各ニュー
ロンの複数の入力端子に対応する荷重値とに基いて前記
各ニューロンの出力を得て、この各出力に基いて前記１
組の入力データを認識するニューラルネットワーク回路
において、前記各ニューロンの複数の入力端子に対応し
且つ初期学習された値を持つ複数の荷重値が記憶された
重みメモリと、追加学習時に、新たな１組の入力データ
を正しく認識するように、前記重みメモリに記憶された
荷重値を所定の学習則に従って変更する荷重値変更手段
と、前記重みメモリに記憶された荷重値と、これ等の荷
重値に対応し且つ前記荷重値変更手段により追加学習さ
れた値を持つ荷重値との差分値を記憶する差分値メモリ
とを備えることを特徴としている。

【００２７】請求項４記載の発明は、前記請求項１、２
又は３記載のニューラルネットワーク回路において、前
記重みメモリはＲＯＭで構成され、前記差分値メモリは
前記重みメモリよりもサイズの小さいＲＡＭで構成され
ることを特徴とする。

【００２８】請求項５記載の発明は、前記請求項１、２
又は３記載のニューラルネットワーク回路において、前
記差分値メモリは、一部のニューロンの荷重値に対する
差分値のみを記憶する少アドレス数のＲＡＭで構成され
ることを特徴とする。

【００２９】請求項６記載の発明は、前記請求項２又は
３記載のニューラルネットワーク回路において、前記荷
重値変更手段は、前記学習則をヘブ則とすると共に、荷
重値の変更に際し、その荷重値の変更回数をｎ、ｎ回目
の入力データをＸ (ｎ) 、変更係数をα、ｎ−１回目ま
での合計変更値をｄＷ (ｎ-1) として、ｎ回目の合計変
更値ｄＷ (ｎ) を下記式 ｄＷ (ｎ) ＝ｄＷ (ｎ-1) ＋Ｘ (ｎ) ・α に基いて算出するものであり、前記算出したｎ回目の合
計変更値ｄＷ (ｎ) が差分値として前記差分値メモリに
記憶されることを特徴とする。

【００３０】請求項７記載の発明は、前記請求項６記載
のニューラルネットワーク回路において、前記荷重値変
更手段は、乗算器、及び加算器として動作可能な算術演
算回路を用いて、ｎ回目の合計変更値ｄＷ (ｎ) を算出
することを特徴とする。

【００３１】請求項８記載の発明は、前記請求項１、２
又は３記載のニューラルネットワーク回路において、前
記差分値メモリは、前記重みメモリに保持された荷重値
よりもビット数が少ない差分値であって且つ全てのニュ
ーロンの複数の入力端子の荷重値に対する差分値を記憶
するＲＡＭで構成されることを特徴とする。

【００３２】請求項９記載の発明は、前記請求項１、２
又は３記載のニューラルネットワーク回路において、差
分値の最大値を所定値のリミットレベルで制限するリミ
ッタを備え、前記リミッタにより制限された後の差分値
が前記差分値メモリに格納されることを特徴とする。

【００３３】請求項１０記載の発明は、前記請求項９記
載のニューラルネットワーク回路において、前記差分値
メモリから読み出された差分値のビット幅を拡張するビ
ット拡張器を備えることを特徴とする。

【００３４】請求項１１記載の発明は、前記請求項１又
は２記載のニューラルネットワーク回路において、所定
ビット幅で表現される差分値においてその下位より所定
数のビットを右にシフトすることにより、このシフト後
の差分値のビット幅を前記所定ビット幅より小さい数の
ビット幅に制限するシフトリミッタを備え、前記シフト
リミッタにより制限された後の差分値が前記差分値メモ
リに格納されることを特徴とする。

【００３５】請求項１２記載の発明は、前記請求項１１
記載のニューラルネットワーク回路において、前記差分
値メモリから読み出された差分値のビット幅を拡張し、
その差分値の変更幅を大きするシフト拡張器を備えるこ
とを特徴とする。

【００３６】請求項１３記載の発明は、前記請求項２又
は３記載のニューラルネットワーク回路において、前記
荷重値変更手段は、前記学習則をデルタ則又はバックプ
ロパゲーション則とすると共に、荷重値の変更に際し、
その荷重値の変更回数をｎ、ｎ回目の入力データをＸ
(ｎ) 、Ｏ (ｎ) をニューロンの出力値、Ｔ (ｎ) を前
記ニューロンの出力の教師値、変更係数をα、ｎ−１回
目までの合計変更値をｄＷ (ｎ-1) として、ｎ回目の合
計変更値ｄＷ (ｎ) を下記式 ｄＷ (ｎ) ＝ｄＷ (ｎ-1) ＋（Ｔ (ｎ)-Ｏ (ｎ))・Ｘ
(ｎ) ・α に基いて算出するものであり、前記算出したｎ回目の合
計変更値ｄＷ (ｎ) が差分値として前記差分値メモリに
記憶されることを特徴とする。

【００３７】請求項１４記載の発明は、前記請求項１３
記載のニューラルネットワーク回路において、前記荷重
値変更手段は、乗算器、及び加算器として動作可能な算
術演算回路を用いて、ｎ回目の合計変更値ｄＷ (ｎ) を
算出することを特徴としている。

【００３８】請求項１５記載の発明は、前記請求項１又
は２記載のニューラルネットワーク回路において、前記
計算手段は、与えられる１組の入力データの認識時に、
前記１組の入力データのうちの１つの入力データに対応
する前記重みメモリの荷重値と、この荷重値に対応する
前記差分値メモリの差分値とを加算し、前記加算結果の
荷重値と、前記１つの入力データとを乗算することを繰
返して、各ニューロンの出力値を計算することを特徴と
する。

【００３９】前記の構成により、本発明では、重みメモ
リに記憶された荷重値と追加学習後の荷重値との差分値
が、差分値メモリに記憶される。その後の画像認識時等
では、前記重みメモリに記憶された荷重値と前記差分値
メモリに記憶された差分値とが加算されて、追加学習後
の荷重値が得られ、この最新の荷重値を用いて処理が実
行される。

【００４０】ここに、差分値メモリは、全ての荷重値の
うち一部の荷重値を追加学習する場合には、その分、大
きさを小型化できる。また、全ての荷重値を追加学習す
る場合であっても、差分値は、重みメモリに記憶された
荷重値よりも小さな値であり、従って、差分値メモリ
は、重みメモリよりもビット幅の小さいメモリでよい。
その結果、この差分値メモリを内蔵でき、追加学習を高
速に行うことができる。

【００４１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基いて説明する。

【００４２】（第１の実施の形態）図１は、本発明の第
１の実施の形態のニューラルネットワーク回路を示す。

【００４３】同図のニューラルネットワーク回路は、図
１５に示した層構造のニューラルネットワークの処理を
実行する。

【００４４】図１のニューラルネットワーク回路は、入
力メモリ１０１、係数レジスタ２０２、ＲＯＭより成る
重みメモリ２０３、ＳＲＡＭより成る差分値メモリ２０
４、減算器２１２、加算器２１３、オフセットレジスタ
２１１、乗算器１０３、算術演算回路２０５、レジスタ
１０６、出力メモリ１０７、選択回路２１０、２０８、
２０６、制御回路２１４、及びアドレス空間イネーブル
回路２１５により構成される。

【００４５】前記入力メモリ１０１は、ニューラルネッ
トワークに与えられる多数組の入力データを保持する。
重みメモリ２０３は多数の入力データに各々対応した荷
重値を格納する。この各荷重値は初期学習済みである。
差分値メモリ２０４は、予め、全ての領域に値“０”を
保存し、追加学習時は前記重みメモリ２０３の荷重値と
追加学習後の荷重値との差分値を記憶するものである。
出力メモリ１０７は、ニューラルネットワークとしての
計算結果を保持するためのものである。

【００４６】前記重みメモリ２０３、差分値メモリ２０
４、オフセットレジスタ２１１及びアドレス空間イネー
ブル回路２１５の関係は、図２に示される。同図におい
て、重みメモリ２０３は、図１５のニューラルネットワ
ークを構成する全て（４個）のニューロン毎に入力端子
の数に等しい複数個の荷重値が記憶される。差分値メモ
リ２０４は、全て（４個）のニューロンのうち、追加学
習しようとする特定の１個のニューロン（図では第２番
目のニューロン）の複数個の荷重値に対する差分値を格
納する空間のみを有する。オフセットレジスタ２１１
は、重みメモリ２０３の荷重値指定用のアドレスＢをオ
フセットして、差分値メモリ２０４の最初のアドレスを
生成するためのものである。アドレス空間イネーブル回
路２１５は、前記差分値メモリ２０４の最初のアドレス
から最後のアドレスまでの間、値“１”の信号を出力す
るものであり、その構成は後述する。

【００４７】図１に示したニューラルネットワーク回路
の詳細な構成をその動作に基いて説明する。

【００４８】制御回路２１４の動作モードが１組の入力
データの認識モードに設定されている場合には、制御回
路２１４へスタート信号が与えられることにより、処理
がクロック信号に従って実行される。制御回路２１４か
らアドレスＡが入力メモリ１０１に与えられて、入力メ
モリ１０１より１つの入力データが読み出される。制御
回路２１４からアドレスＢが重みメモリ２０３に与えら
れ、重みメモリ２０３から１つの荷重値が読み出され
る。この荷重値は前記読み出された入力データに対応す
る。

【００４９】一方、制御回路２１４からのアドレスＢは
減算器２１２に与えられ、減算器２１２は、このアドレ
スＢからオフセットレジスタ２１１の値を減算し、その
減算結果が差分値メモリ２０４に与えられる。差分値メ
モリ２０４では、前記与えられた減算結果をアドレスと
して差分値が読み出される。

【００５０】選択回路２１０は、アドレス空間イネーブ
ル回路２１５の出力により制御され、この出力が値
“１”の信号のとき差分値メモリ２０４の出力を選択
し、値“０”の信号のとき値“０”を選択し、出力す
る。

【００５１】加算器２１３は、重みメモリ２０３からの
荷重値と、選択回路２１０の出力とを加算する。従っ
て、重みメモリ２０３の荷重値が追加学習されている場
合には、この重みメモリ２０３からの荷重値と差分値メ
モリ２０４からの差分値とが加算されて出力され、追加
学習の必要のない荷重値では、重みメモリ２０３の荷重
値が加算器２１３から出力される。

【００５２】選択回路２０８は、制御回路２１４の切替
信号１により、認識モードでは加算器２１３の出力を選
択する。従って、乗算器１０３には前記加算器２１３の
出力が入力される。

【００５３】前記乗算器１０３は、入力メモリ１０１か
らの入力データを受け取り、この入力データと、前記加
算器２１３からの荷重値との乗算を行う。この時、この
入力データと荷重値とは対応している。前記乗算器１０
３の乗算結果は算術演算回路２０５に出力される。

【００５４】選択回路２０６は、制御回路２１４からの
切替信号２により、認識モードでは、各ニューロンにお
ける最初の計算の時には値“０”を選択し、それ以降は
レジスタ１０６の値を選択して、出力する。

【００５５】制御回路２１４は、加算を指定する演算制
御信号を出力し、この制御信号が算術演算回路２０５に
入力される。算術演算回路２０５は、各ニューロンにお
ける最初の計算の時には値“０”と乗算器１０３の乗算
結果とを加算し、その後は、レジスタ１０６の出力と乗
算器１０３の乗算結果とを加算し、レジスタ１０６に出
力する。従って、レジスタ１０６は、ニューラルネット
ワークの個々のニューロンについての入力データと荷重
値との累積加算結果を保持する。

【００５６】各ニューロにおける計算の最後では、制御
回路２１４はアドレス“０”の信号を出力して、前記レ
ジスタ１０６の出力が出力メモリ１０７の前記アドレス
“０”の領域に書き込まれる。

【００５７】次に、図１のニューラルネットワーク回路
の追加学習について説明する。ここでは、追加学習の方
法をヘブ則として説明する。尚、ヘブ則については、
「入門ニューロコンピュータ」（著者 菊池豊彦，オー
ム社発行）に記載される。

【００５８】ヘブ則では、荷重値の変更は、指定された
ニューロンに対して、下記式１、２に従って行われる。

【００５９】 Ｗｉnew ＝Ｗｉold+△Ｗi （１） △Ｗi ＝Ｘｉx α （２） ここで、Ｘi はｉ番目の入力端子に入力されるデータの
値、Ｗｉnew は荷重値更新後のｉ番目の入力端子に対応
する荷重値、Ｗｉold は更新前のｉ番目の入力端子に対
応する荷重値、αは変更の定数である。ここで、荷重の
変更回数をｎとすると、ｎ回更新された荷重値Ｗｉ
（ｎ）は、 Ｗi(n)= Ｗi(0)＋Ｘi(1)x α＋Ｘi(2)x α＋…＋Ｘi(n)x α （３） となる。ここで、括弧の中は回数を示す。更に、この荷
重値Ｗｉ（ｎ）を初期荷重値と差分値との加算として考
えると、 Ｗi(n)＝Ｗi(0)+ ｄＷi(n) （４） ここで、 ｄＷi(1)＝Ｘi(1)x α （５） ｄＷi(2)＝ｄＷi(1)+ Ｘi(2)x α （６） ｄＷi(3)＝ｄＷi(2)+ Ｘi(3)x α （７） となる。これより、現在の入力データの値Ｘをα倍し、
これにこれまでの変更値を加算すれば、その加算値が初
期荷重値との差分となることが判る。

【００６０】次に、本実施の形態のニューラルネットワ
ーク回路の追加学習の動作について説明する。

【００６１】予め、荷重値の変更を行うニューロン番号
（変更ニューロン番号）をオフセットレジスタ２１１及
び制御回路２１４に設定し、制御回路２１４のモードを
追加学習モードに設定する。

【００６２】追加学習処理は、制御回路２１４へスター
ト信号が与えられることにより、クロック信号に従って
実行される。制御回路２１４は、変更ニューロン番号で
指定された入力データ及び荷重値のアドレスＡ及びＢを
順次、出力する。

【００６３】制御回路２１４から与えられるアドレスＡ
により、入力メモリ１０１から入力データが読み出され
て、乗算器１０３に与えられる。係数レジスタ２０２の
変更係数αは選択回路２０８を経て前記乗算器１０３に
与えられる。

【００６４】前記乗算器１０３は、入力メモリ１０１か
らの入力データと、係数レジスタ２０２からの変更係数
αとの乗算を行い、その乗算結果を算術演算回路２０５
に出力する。

【００６５】制御回路２１４からのアドレスＢは減算器
２１２にも与えられ、減算器２１２は、前記アドレスＢ
からオフセットレジスタ２１１の値を減算し、その減算
結果は差分値メモリ２０４に与えられる。この差分値メ
モリ２０４は、前記入力メモリ１０１からの入力データ
に対応した差分値を出力し、この差分値は選択回路２０
６を経て算術演算回路２０５に与えられる。

【００６６】前記算術演算回路２０５は、制御回路２１
４から与えられる演算制御信号により、加算器となり、
前記乗算器１０３の乗算結果と、前記差分値メモリ２０
４からの差分値とを加算し、その加算結果はレジスタ１
０６に保持される。このレジスタ１０６の値は前記式
（５）〜（７）の値に対応する。このレジスタ１０６の
値は、初期荷重値と追加学習後の荷重値との差分値とし
て、差分値メモリ２０４に保存される。

【００６７】図１において、入力メモリ１０１、重みメ
モリ２０３、差分値メモリ２０４及び係数レジスタ２０
２を除く全ての構成要素により、入力メモリ１０１から
与えられる１組の入力データの認識時に、この入力デー
タと、重みメモリ２０３に保持された初期荷重値と、差
分値メモリ２０４に記憶された差分値ｄＷi(n)とに基い
て、出力層の各ニューロンの出力値を計算する計算手段
５０が構成される。

【００６８】また、図１において、入力メモリ１０１、
重みメモリ２０３、差分値メモリ２０４及び出力メモリ
１０７を除く全ての構成要素により、図１６のtype
“２”の各数字を追加認識するための追加学習時に、こ
れ等数字に相当する各組の入力データを正しく認識する
ように、重みメモリ２０３に記憶された一部の初期荷重
値をヘブ則に従って変更する荷重値変更手段６０が構成
される。

【００６９】従って、ヘブ学習則では、図１９（ａ）に
示すように、出力層に例えば１０個のニューロン（同図
にニューロンの番号０〜９を付す）が含まれる場合に、
番号１のニューロンのみに対し荷重値を追加学習したと
きには、同図（ｂ）に示すように、各ニューロンのｎ個
の荷重値は、番号１のニューロンだけが同図に実線で示
す初期学習時の荷重値から同図に破線で示すように微少
値ｄＷだけ増大し、他のニューロンでは同図に示すよう
に変化しない。

【００７０】次に、アドレス空間イネーブル回路２１５
の構成を図３に基いて説明する。同図のイネーブル回路
２１５は、２個の比較器７０１、７０２と、サイズレジ
スタ７０３と、加算器７０４と、ＡＮＤ回路７０５とを
備える。一方の比較器７０１は、前記図１のオフセット
レジスタ２１１の値Ａと制御回路２１４からのアドレス
Ｂの値とを比較し、Ｂ≧Ａのとき値“１”を出力する。
サイズレジスタ７０３は差分値メモリ２０４のアドレス
数（記憶される差分値の数）を記憶し、加算器７０４は
このサイズレジスタ７０３の値とオフセットレジスタ２
１１の値Ａとを加算し、その加算結果、即ち、差分値メ
モリ２０４の最後のアドレスを出力する。比較器７０２
は、前記加算器７０４の出力Ｃと制御回路２１４からの
アドレスＢの値とを比較し、Ｂ＜Ｃのとき値“１”を出
力する。ＡＮＤ回路７０５は前記２個の比較器７０１、
７０２の出力の論理積を取り、従ってＡＮＤ回路７０５
の出力は、図２に示すように、差分値メモリ２０４のア
ドレス範囲で値“１”の信号を出力し、この信号が図１
の選択回路２１０に出力される。

【００７１】本実施の形態のニューラルネットワーク回
路では、重みメモリ２０３は全てのニューロンが持つ複
数の荷重値を保持するサイズのＲＯＭであるのに対し、
差分値メモリ２０４は、１個又は少数のニューロンの荷
重値を保持する小さなサイズのＳＲＡＭであるので、所
望の（追加学習が要求される）ニューロンの追加学習が
可能になると共に、小さなサイズの差分値メモリ２０４
を内蔵できて、荷重値の追加学習を高速に行うことがで
き、高速な追加学習を実現できる。

【００７２】（第２の実施の形態）図４は本発明の第２
の実施の形態のニューラルネットワーク回路を示す。

【００７３】本実施の形態では、学習則がデルタ則又は
バックプパゲーション則の場合の追加学習を可能として
いる。ここでは、学習則をデルタ則として説明する。
尚、デルタ則については、「入門ニューロコンピュータ
著者 菊池豊彦 オーム社」に記載されている。

【００７４】荷重値の変更は、全てのニューロンに対し
て、下記式８及び９に従って行われる。

【００７５】 Ｗij new＝Ｗij old+ △Ｗij （８） △Ｗij＝（Ｔj-Ｏj ）Ｘij xα （９） ここで、Ｏｊはｊ番目のニューロンの出力値、Ｔｊはｊ
番目のニューロンの教師値、Ｘijはｊ番目のニューロン
のｉ番目の入力端子に入力されるデータの値、Ｗｉｊ n
ewは更新後のｊ番目のニューロンのｉ番目の入力端子に
対応する荷重値、Ｗij oldは更新前のｊ番目のニューロ
ンのｉ番目の入力端子に対応する荷重値、αは変更の定
数である。ここで、荷重値の変更回数をｎとすると、ｎ
回更新された荷重値Ｗij(n) は、 Ｗij(n)=Ｗij(0)+△Ｗij(1)+△Ｗij(2)+…+ △Ｗij(n) （10） となる。ここで、括弧の中は回数を示す。更に、この荷
重値Ｗij(n) を初期荷重値Ｗij(o) と差分値との加算と
して考えると、 Ｗij(n)=Ｗij(0)+ｄＷij(n) （11） ここで、 ｄＷij(1)=（Ｔj(1)- Ｏj(1)） x Ｘij(1) x α （12） ｄＷij(2)=ｄＷij(1)+（Ｔj(2)- Ｏj(2)） x Ｘij(2) x α （13） ｄＷij(3)=ｄＷij(2)+（Ｔj(3)- Ｏj(3)） x Ｘij(3) x α （14） となる。これより、現在の入力データの値Ｘとニューロ
ンの出力誤差（教師値-出力値）とを乗算し、その乗算
結果をα倍し、これをこれまでの変更値と加算すれば、
初期荷重値との差分値となることが判る。ここで、ｄＷ
ijは、初期荷重値Ｗij(0) との差分値であり、正値又は
負値をとる。

【００７６】本実施の形態の要点は次の通りである。即
ち、重みメモリに記憶された多数の荷重値（初期荷重
値）Ｗij(0) が図７（ａ）に示す値である場合に、その
初期荷重値と追加学習後の荷重値との差分値ｄＷij(n)
が同図（ｂ）に示す値となるとき、この差分値ｄＷij
(n) の大きさの最大値を所定値のリミットレベルで制限
し（同図（ｂ）参照）、その制限後の差分値ｄＷij(n)
を差分値メモリに記憶する。これにより、差分値メモリ
のサイズをより一層小さくできる。ここで、画像等の認
識動作では、使用される荷重値Ｗij(n) は、同図（ｃ）
に示すように、前記初期荷重値Ｗij(0) と差分値ｄＷij
(n) との合計値（Ｗij(n)=Ｗij(0)+ｄＷij(n))であり、
前記リミットレベルで制限された差分値を用いた荷重値
では真の荷重値に対し誤差を生じる。しかし、認識動作
は全ての荷重値を用いて行われるので、極く一部の荷重
値（差分値）が故障していても、他のほとんどの差分値
が前記リミットレベルで制限されない限り、認識性能に
は実質的に影響はない。

【００７７】次に、図４の本実施の形態のニューラルネ
ットワーク回路の詳細を説明する。同図のニューラルネ
ットワーク回路は、入力メモリ１０１、係数レジスタ２
０２、ＲＯＭより成る重みメモリ２０３、例えばＳＲＡ
Ｍより成る差分値メモリ２１８、加算器２１３、ビット
拡張器２２１、リミッタ２２０、乗算器１０３、算術演
算回路２０５、レジスタ１０６、出力メモリ１０７、選
択回路２０９、２１７、２０７、２１９、制御回路２１
６、及び教師メモリ２０１により構成される。

【００７８】本実施の形態のニューラルネットワーク回
路の詳細な構成をその動作に基いて説明する。

【００７９】先ず、１組の入力データの認識動作は、制
御回路２１６へスタート信号が与えられることにより、
クロック信号に従って処理が実行される。制御回路２１
６は予め認識モードに設定される。

【００８０】制御回路２１６からのアドレスＡにより、
入力メモリ１０１から入力データが読み出される。ま
た、制御回路２１６からアドレスＢが重みメモリ２０３
及び差分値メモリ２１８に与えられる。重みメモリ２０
３はアドレスＢに対応する荷重値を出力する。一方、差
分値メモリ２１８はアドレスＢに対応する差分値を出力
し、この差分値がビット拡張器２２１に与えられて、そ
の差分値のビットが拡張され、重みメモリ２０３の荷重
値と同一のビット幅となる。このビット拡張された差分
値は加算器２１３に与えられる。加算器２１３は、前記
重みメモリ２０３からの荷重値と、前記ビット拡張され
た差分値とを加算し、この加算値は、入力メモリ１０１
に対応した荷重値である。

【００８１】前記ビット拡張器２２１の入出力のデータ
関係を図５に示す。同図では、入力される差分値を４ビ
ット幅とし、出力される差分値を８ビットとするとき、
入力される差分値のサインビット（最上位ビット）が、
出力される差分値の下位から４ビット目から８ビット目
まで現われ、入力される差分値の下位３ビットがそのま
ま出力される。

【００８２】図４において、乗算器１０３は、選択回路
２０９で選択された入力メモリ１０１からの入力データ
と、加算器２１３からの荷重値との乗算を行い、選択回
路２０７を経て算術演算回路２０５に出力する。

【００８３】選択回路２１９は、制御回路２１６からの
切替信号２により、認識モードでは、各ニューロンにお
ける最初の計算の時は値“０”を選択し、それ以降はレ
ジスタ１０６の値を選択して、出力する。

【００８４】算術演算回路２０５は、制御回路２１６の
演算制御信号により、加算器として機能して、選択回路
２１９の出力と乗算器１０３の出力とを加算し、その加
算結果をレジスタ１０６に出力する。各ニューロンにお
ける計算の最後では、制御回路２１６のアドレス“０”
の出力により、前記レジスタ１０６の値が出力メモリ１
０７の前記アドレス“０”の領域に書き込まれる。

【００８５】以上の動作の繰返しにより、図１５のニュ
ーラルネットワークの個々のニューロン１の出力が出力
メモリ１０７に書き込まれる。

【００８６】次に、追加学習の動作について説明する。
ここでは、学習則をデルタ則として説明する。予め、入
力メモリ１０１の入力データに対するニューラルネット
ワークの出力は、出力メモリ１０７に保存され、また、
教師メモリ２０１には前記入力メモリ１０１の入力デー
タの教師値が保存されている。

【００８７】本追加学習の動作は、前記式（12）〜（1
4）に示された差分値ｄＷijを差分値メモリ２１８に書
き込む動作である。制御回路２１６は追加学習モードに
設定される。追加学習の動作は、スタート信号により開
始される。

【００８８】以下、差分値ｄＷijを計算し、その計算結
果を差分値メモリ２１８に書き込む動作について説明す
る。

【００８９】１ステップ目では、前記式での（Ｔ−Ｏ）
の計算を行う。即ち、先ず、制御回路２１６のアドレス
“０”により、出力メモリ１０７の値とそれに対応する
教師メモリ２０１の値とが読み出され、各々、選択回路
２１９及び選択回路２０７を経て算術演算回路２０５に
与えられる。選択回路２１９は制御回路２１６の切替信
号２により、選択回路２０７は制御回路２１６の切替信
号４により、各々制御される。算術演算回路２０５は、
制御回路２１６の演算制御信号により、前記教師メモリ
２０１の値から出力メモリ１０７の値を減算する操作を
実行し、その減算結果はレジスタ１０６に保持される。

【００９０】２ステップ目では、前記式での（Ｔ−Ｏ）
・Ｘの計算を行う。即ち、選択回路２１７は、制御回路
２１６の切替信号１により、レジスタ１０６の値を選択
し、選択回路２０９は制御回路２１６の切替信号３によ
り、入力メモリ１０１の値を選択する。入力メモリ１０
１は、制御回路２１６のアドレスＡにより、計算を行う
差分値ｄＷijに対応するに入力データを出力する。乗算
器１０３は、前記選択回路２０９を経て与えられた入力
メモリ１０１の入力データと、選択回路２１７を経て与
えられたレジスタ１０６の値とを乗算し、その乗算結果
を選択回路２０７に出力する。算術演算回路２０５は、
制御回路２１６の演算制御信号により、選択回路２０７
からの乗算器１０３の乗算結果と、選択回路２１９で選
択された値“０”とを加算し、その加算結果はレジスタ
１０６に保持される。

【００９１】３ステップ目では、ｄＷ(n)+（Ｔ- Ｏ）x
Ｘ xαを実行する。即ち、選択回路２１７は、制御回路
２１６の切替信号１によりレジスタ１０６の値を選択
し、選択回路２０９は、制御回路２１６の切替信号３に
より、係数レジスタ２０２の変更係数αを選択する。乗
算器１０３は、選択回路２０９を経て与えられた係数レ
ジスタ２０２の変更係数αと、選択回路２１７を経て与
えられたレジスタ１０６の値とを乗算し、その乗算結果
を選択回路２０７に出力する。算術演算回路２０５は、
制御回路２１６の演算制御信号により、選択回路２０７
からの乗算器１０３の結果と、選択回路２１９で選択さ
れた差分値メモリ２１８の値とを加算し、その加算結果
はレジスタ１０６に保持される。この値が、式（12）〜
（14）に示された差分値ｄＷijに対応する。

【００９２】４ステップ目では、ｄＷ(n+1)=ｄＷ(n)+
（Ｔ- Ｏ）x Ｘ xαを実行する。即ち、レジスタ１０６
の値がリミッタ２２０を経て差分値メモリ２１８に与え
られる。リミッタ２２０は、前記ビット拡張器２２１の
逆の処理を行う。即ち、リミッタ２２０は、図８に示す
ように、例えば、入力される８ビットの差分値を４ビッ
トの差分値に制限する。同図では、横軸は-128〜127 の
入力値を示し、入力値が- ７〜６の範囲では出力（縦
軸）の値も入力値に等しいが、入力値が-128〜- ８及び
７〜127 では出力値は- ８及び７に制限されている。

【００９３】図４において、差分値メモリ２１８は、制
御回路２１６からのアドレスＢにより、リミッタ２２０
の出力を記憶する。前記制御回路２１６のアドレスＢ
は、変更する現在の荷重値のアドレスを示している。

【００９４】以上の１ステップから４ステップを全ての
荷重値について行うことにより、追加学習が実行され
る。

【００９５】図４において、入力メモリ１０１、重みメ
モリ２０３、差分値メモリ２１８及び係数レジスタ２０
２を除く全ての構成要素により、入力メモリ１０１から
与えられる１組の入力データの認識時に、出力層の各ニ
ューロンの出力値を計算する計算手段５１が構成され
る。また、同図において、入力メモリ１０１、重みメモ
リ２０３、差分値メモリ２１８及び出力メモリ１０７を
除く全ての構成要素により、追加学習時に、重みメモリ
２０３に記憶された全ての初期荷重値をデルタ則に従っ
て変更する荷重値変更手段６１が構成される。

【００９６】前記リミッタ２２０の内部構成を図６に示
す、同図のリミッタ２２０において、入力データが正の
場合、即ち、最上位ビットが値“０”の場合には、選択
回路４０１は選択回路４０３を選択する。ＯＲ回路４０
５によりビットｄ３からｄ６の信号に値“１”が存在す
れば、選択回路４０３は値“１１１”を選択し、ビット
ｄ３からｄ６の信号に値“１”がなければ、入力データ
ｄ２〜ｄ０を選択する。入力データが負の場合、選択回
路４０１は選択回路４０２の出力を選択する。選択回路
４０２は、入力データｄ３からｄ６の信号に値“０”が
あれば、ＡＮＤ回路４０４の出力により、値“０００”
を選択し、入力データｄ３からｄ６の信号に値“０”が
なければ、入力データｄ２〜ｄ０を選択する。これによ
り、８ビット幅の差分値が４ビットに制限される。

【００９７】本実施の形態では、差分値メモリ２１８の
アドレスの数は、重みメモリ２０３のアドレスの数と同
一であるが、差分値のビット幅が荷重値のビット幅の数
分の１であるので、差分値メモリ２１８の容量を重みメ
モリ２０３の容量の数分の１に小さくしながら、追加学
習を実現できる。尚、学習則はヘブ則としてもよい。

【００９８】また、差分値メモリ２１８は小さいサイズ
であるので内蔵でき、しかも、入力データに対するニュ
ーラルネットワークの出力が出力メモリ１０７に保存さ
れた後は、重みメモリ２０３を用いずに差分値の算出が
可能であるので、前記追加学習を高速に行うことができ
る。

【００９９】（第３の実施の形態）図９は本発明の第３
の実施の形態のニューラルネットワーク回路を示す。同
図のニューラルネットワーク回路は、入力メモリ１０
１、係数レジスタ２０２、重みメモリ２０３、差分値メ
モリ２１８、加算器２１３、シフト拡張器３０２、シフ
トリミッタ３０１、乗算器１０３、算術演算回路２０
５、レジスタ１０６、出力メモリ１０７、選択回路２０
９、２１７、２０７、２１９、制御回路２１６及び教師
メモリ２０１により、構成される。

【０１００】図９のニューラルネットワーク回路と図４
のニューラルネットワーク回路との相違点は、図４のビ
ット拡張器２２１がシフト拡張器３０２に、図４のリミ
ッタ２２０がシフトリミッタ３０１に置換される点であ
り、入力データの認識の動作及び追加学習の動作に大き
な変更はない。本実施の形態の計算手段５２及び荷重値
変更手段６２と前記第２の実施の形態の計算手段５１及
び荷重値変更手段６１との構成の相違は、前記相違点の
みである。以下、シフト拡張器３０２及びシフトリミッ
タ３０１について説明する。

【０１０１】図１０はシフト拡張器３０２の入力出力関
係を示す。ここでは、入力を４ビット、出力を８ビッ
ト、シフト量を“２”としている。シフト拡張器３０２
の入力の最上位ビットは出力の最上位から３ビットに接
続され、入力のｄ０〜ｄ２ビットが出力のＤ４〜Ｄ２ビ
ットに接続される。出力のＤ０及びＤ１ビットには値
“０”が接続される。この構成により、入力の値が４倍
され（即ち、２ビット左にシフトされ）て、出力され
る。

【０１０２】図１１に示すシフトリミッタ３０１は、前
記シフト拡張器３０２の逆の変換を行う。即ち、入力さ
れる８ビットの差分値を２ビット右にシフトした後に、
その結果を４ビットの差分値に制限する。このシフトリ
ミッタ３０１の動作を図１２に示す。同図では、横軸は
-128〜127 の入力値であり、入力値が０〜３では出力
（縦軸）の値は“０”、入力値が４〜７では出力値は
“１”となり、以後、入力値が“４”増加する毎に出力
値も“１”増加する。入力値２８〜１２７では出力値は
“７”に制限される。入力値が負値の場合も同様に、入
力値が“４”減少する毎に出力値は“１”減少し、入力
値が-29 〜-128では出力値は“- ８”に制限される。

【０１０３】前記シフトリミッタ３０１は、図１１の回
路構成で示すように、入力データが正の場合、即ち、最
上位ビットが値“０”の場合は、選択回路５０１は選択
回路５０３を選択する。選択回路５０３は、ｄ５又はｄ
６ビットに値“１”があれば、ＯＲ回路５０５の出力に
より、値“１１１”を選択し、ｄ５及びｄ６ビットに値
“１”がなければ、入力データｄ４〜ｄ２を選択する。
選択回路５０１は、入力データが負の場合には、選択回
路５０２を選択する。選択回路５０２は、ｄ６又はｄ５
ビットに値“０”があれば、ＡＮＤ回路５０４の出力に
より、値“０００”を選択し、ｄ６及びｄ５ビットに値
“０”がなければ、入力データｄ４〜ｄ２を選択する。
これにより、８ビット幅の差分値を２ビット左にシフト
し、且つ４ビットの差分値に制限する。

【０１０４】以上の構成により、加算器２１３で計算さ
れる差分値、即ち、前記式（11）でのｄＷij(n) の最大
値及び最小値を拡大できるので、図４の第２の実施の形
態よりも、差分値メモリ２１８のビット幅を増やすこと
なく、差分値を大きな値に変更でき、より一層に自由度
の高い追加学習が可能である。

【０１０５】尚、本実施の形態のシフトリミッタ３０１
は、シフト量を“２”に固定したが、このシフト量を可
変にすれば、差分値ｄＷij(n) の最大値及び最小値を可
変にできるので、追加学習での差分値ｄＷij(n) の大き
さを合せることができ、より一層追加学習の自由度を高
めることができる。

【０１０６】尚、以上の説明では、差分値メモリ２０
４、２１８はＳＲＡＭで構成したが、その他、ＤＲＡＭ
等で構成してもよいのは勿論である。また、ニューラル
ネットワークは、図１５に示す１層でなくてもよく、多
層構造に構成してもよい。

【０１０７】

【発明の効果】以上説明したように、本発明のニューラ
ルネットワーク回路によれば、ニューラルネットワーク
全体の荷重値（初期荷重値）をＲＯＭに記憶しても、こ
のＲＯＭよりもサイズの小さいＲＡＭ等の差分値メモリ
に、前記初期荷重値と追加学習後の荷重値との差分値を
記憶するので、前記差分値メモリを内蔵して追加学習の
高速化を図りつつ、追加学習可能なニューラルネットワ
ーク回路を実現することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のニューラルネット
ワーク回路を示す図である。

【図２】同実施の形態の重みメモリと差分値メモリとの
両アドレスマップを示す図である。

【図３】同実施の形態のアドレス空間イネーブル回路の
構成を示す図である。

【図４】本発明の第２の実施の形態のニューラルネット
ワーク回路を示す図である。

【図５】同実施の形態のビット拡張器の動作を示す図で
ある。

【図６】同実施の形態のリミッタの構成を示す図であ
る。

【図７】（ａ）は重みメモリに記憶された複数の荷重値
（初期荷重値）Ｗij(o) を示す図、（ｂ）は初期荷重値
Ｗij(o) と追加学習後の荷重値との差分値ｄＷij(n) を
同実施の形態のリミッタで制限した図、（ｃ）は１組の
入力データの認識動作時に使用される荷重値を示す図で
ある。

【図８】同実施の形態のリミッタの入出力関係の説明図
である。

【図９】本発明の第３の実施の形態のニューラルネット
ワーク回路の構成を示す図である。

【図１０】同実施の形態のシフト拡張器の動作を示す図
である。

【図１１】同実施の形態のシフトリミッタの構成を示す
図である。

【図１２】同実施の形態のシフトリミッタの入出力関係
の説明図である。

【図１３】従来のニューラルネットワーク回路の構成を
示す図である。

【図１４】ニューロンの構成を示す図である。

【図１５】ニューラルネットワークの構成図である。

【図１６】初期学習と追加学習とで認識する数字の一例
を示す図である。

【図１７】ヘブ学習則を用いた荷重値の追加学習処理の
流れを説明するフローチャート図である。

【図１８】認識する数字の画素構成を示す図である。

【図１９】（ａ）は出力層が１０個のニューロンで構成
される場合のニューラルネットワークの構成図、（ｂ）
はその各ニューロンにおけるｎ個の荷重値の追加学習前
後の状態を示す図である。

【符号の説明】

１ ニューロン ５０、５１、５２ 計算手段 ６０、６１、６２ 荷重値変更手段 １０１ 入力メモリ １０２、２０３ 重みメモリ １０３ 乗算器 １０５、２１３ 加算器 １０６ レジスタ １０７ 出力メモリ １０８、２１４、２１６ 制御回路 ２０２ 係数レジスタ ２１１ オフセットレジスタ ２０５ 算術演算回路 ２０４、２１８ 差分値メモリ ２１２ 減算器 ２１５ アドレス空間イネーブル
回路 ２２１ ビット拡張器 ２２０ リミッタ ２０１ 教師メモリ ３０１ シフトリミッタ ３０２ シフト拡張器

───────────────────────────────────────────────────── フロントページの続き (72)発明者 崎山 史朗 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (15)

【特許請求の範囲】
1. 【請求項１】 １つの出力端子と複数の入力端子とを有
   するニューロンを複数個備えて少なくとも１層を構成
   し、１組の入力データを共通に前記各ニューロンの複数
   の入力端子に与えて前記各ニューロンの出力を得て、こ
   の各出力に基いて前記１組の入力データを認識するニュ
   ーラルネットワーク回路であって、 前記各ニューロンの複数の入力端子に対応し且つ初期学
   習された値を持つ複数の荷重値が記憶された重みメモリ
   と、 前記重みメモリに記憶された荷重値と、これ等の荷重値
   に対応し且つ追加学習された荷重値との差分値を記憶す
   る差分値メモリと、 与えられる１組の入力データの認識時に、この１組の入
   力データ、前記重みメモリの荷重値、及び前記差分値メ
   モリの差分値に基いて、各ニューロンの出力値を計算す
   る計算手段とを備えることを特徴とするニューラルネッ
   トワーク回路。
2. 【請求項２】 前記追加学習時に、新たな１組の入力デ
   ータを正しく認識するように、前記重みメモリに記憶さ
   れた荷重値を所定の学習則に従って変更する荷重値変更
   手段を備えることを特徴とする請求項１記載のニューラ
   ルネットワーク回路。
3. 【請求項３】 １つの出力端子と複数の入力端子とを有
   するニューロンを複数個備えて少なくとも１層を構成
   し、１組の入力データを共通に前記各ニューロンの複数
   の入力端子に与えて、この１組の入力データと前記各ニ
   ューロンの複数の入力端子に対応する荷重値とに基いて
   前記各ニューロンの出力を得て、この各出力に基いて前
   記１組の入力データを認識するニューラルネットワーク
   回路において、 前記各ニューロンの複数の入力端子に対応し且つ初期学
   習された値を持つ複数の荷重値が記憶された重みメモリ
   と、 追加学習時に、新たな１組の入力データを正しく認識す
   るように、前記重みメモリに記憶された荷重値を所定の
   学習則に従って変更する荷重値変更手段と、 前記重みメモリに記憶された荷重値と、これ等の荷重値
   に対応し且つ前記荷重値変更手段により追加学習された
   値を持つ荷重値との差分値を記憶する差分値メモリとを
   備えることを特徴とするニューラルネットワーク回路。
4. 【請求項４】 前記重みメモリはＲＯＭで構成され、前
   記差分値メモリは前記重みメモリよりもサイズの小さい
   ＲＡＭで構成されることを特徴とする請求項１、２又は
   ３記載のニューラルネットワーク回路。
5. 【請求項５】 前記差分値メモリは、 一部のニューロンの荷重値に対する差分値のみを記憶す
   る少アドレス数のＲＡＭで構成されることを特徴とする
   請求項１、２又は３記載のニューラルネットワーク回
   路。
6. 【請求項６】 前記荷重値変更手段は、 前記学習則をヘブ則とすると共に、荷重値の変更に際
   し、その荷重値の変更回数をｎ、ｎ回目の入力データを
   Ｘ (ｎ) 、変更係数をα、ｎ−１回目までの合計変更値
   をｄＷ (ｎ-1) として、ｎ回目の合計変更値ｄＷ (ｎ)
   を下記式 ｄＷ (ｎ) ＝ｄＷ (ｎ-1) ＋Ｘ (ｎ) ・α に基いて算出するものであり、 前記算出したｎ回目の合計変更値ｄＷ (ｎ) が差分値と
   して前記差分値メモリに記憶されることを特徴とする請
   求項２又は３記載のニューラルネットワーク回路。
7. 【請求項７】 前記荷重値変更手段は、乗算器、及び加
   算器として動作可能な算術演算回路を用いて、ｎ回目の
   合計変更値ｄＷ (ｎ) を算出することを特徴とする請求
   項６記載のニューラルネットワーク回路。
8. 【請求項８】 前記差分値メモリは、 前記重みメモリに保持された荷重値よりもビット数が少
   ない差分値であって且つ全てのニューロンの複数の入力
   端子の荷重値に対する差分値を記憶するＲＡＭで構成さ
   れることを特徴とする請求項１、２又は３記載のニュー
   ラルネットワーク回路。
9. 【請求項９】 差分値の最大値を所定値のリミットレベ
   ルで制限するリミッタを備え、 前記リミッタにより制限された後の差分値が前記差分値
   メモリに格納されることを特徴とする請求項１、２又は
   ３記載のニューラルネットワーク回路。
10. 【請求項１０】 前記差分値メモリから読み出された差
    分値のビット幅を拡張するビット拡張器を備えることを
    特徴とする請求項９記載のニューラルネットワーク回
    路。
11. 【請求項１１】 所定ビット幅で表現される差分値にお
    いてその下位より所定数のビットを右にシフトすること
    により、このシフト後の差分値のビット幅を前記所定ビ
    ット幅より小さい数のビット幅に制限するシフトリミッ
    タを備え、 前記シフトリミッタにより制限された後の差分値が前記
    差分値メモリに格納されることを特徴とする請求項１又
    は２記載のニューラルネットワーク回路。
12. 【請求項１２】 前記差分値メモリから読み出された差
    分値のビット幅を拡張し、その差分値の変更幅を大きす
    るシフト拡張器を備えることを特徴とする請求項１１記
    載のニューラルネットワーク回路。
13. 【請求項１３】 前記荷重値変更手段は、 前記学習則をデルタ則又はバックプロパゲーション則と
    すると共に、荷重値の変更に際し、その荷重値の変更回
    数をｎ、ｎ回目の入力データをＸ (ｎ) 、Ｏ( ｎ) をニ
    ューロンの出力値、Ｔ (ｎ) を前記ニューロンの出力の
    教師値、変更係数をα、ｎ−１回目までの合計変更値を
    ｄＷ (ｎ-1) として、ｎ回目の合計変更値ｄＷ (ｎ) を
    下記式 ｄＷ (ｎ) ＝ｄＷ (ｎ-1) ＋（Ｔ (ｎ)-Ｏ (ｎ))・Ｘ
    (ｎ) ・α に基いて算出するものであり、 前記算出したｎ回目の合計変更値ｄＷ (ｎ) が差分値と
    して前記差分値メモリに記憶されることを特徴とする請
    求項２又は３記載のニューラルネットワーク回路。
14. 【請求項１４】 前記荷重値変更手段は、乗算器、及び
    加算器として動作可能な算術演算回路を用いて、ｎ回目
    の合計変更値ｄＷ (ｎ) を算出することを特徴とする請
    求項１３記載のニューラルネットワーク回路。
15. 【請求項１５】 前記計算手段は、 与えられる１組の入力データの認識時に、前記１組の入
    力データのうちの１つの入力データに対応する前記重み
    メモリの荷重値と、この荷重値に対応する前記差分値メ
    モリの差分値とを加算し、 前記加算結果の荷重値と、前記１つの入力データとを乗
    算することを繰返して、各ニューロンの出力値を計算す
    ることを特徴とする請求項１又は２記載のニューラルネ
    ットワーク回路。