JP3172352B2 - ニューラルネットワーク回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像認識処理等を行う
ニューラルネットワーク回路の改良に関するものであ
る。

【０００２】

【従来の技術】情報処理のニューラルネットワークの分
野に最近大きな関心が集まってきている。これらのニュ
ーラルネットワークは生物のニューロンの構造を模倣し
て考えられており、これらのニューラルネットワークの
処理の多くは、従来のフォン・ノイマン型の逐次計算機
で実現されているため、処理速度はきわめて遅い。そこ
で、専用の電子回路での構成の試みがなされている。

【０００３】専用の電子回路で構成したニューラルネッ
トワークは色々あるが、その中の１つのニューラルネッ
トワークである量子化ニューロン（量子化セル）のネッ
トワークによる画像認識は、例えば文献：『機能別階層
ネットワークを用いた文字認識システム』平成２年度画
像電子通信学会全国大会予稿ページ77〜80、又は『Mult
i-Functional Layered Network using Quantizer Neuro
ns』ComputerWorld '90,November 1990 ）に開示され
る。以下、このニューラルネットワークによる画像認識
について説明する。

【０００４】図１２に量子化ニューロンのネットワーク
を示す。このネットワークは、複数個の量子化ニューロ
ンを層状のツリー構成で多層ネットワーク状に連結し、
最終層は多入力１出力の通常の人工神経細胞を連結した
構成となっている。このネットワークに与える画像の特
徴データは、その１例として、８×８の画素値、８×８
の画素値の横方向の差分値、及び８×８の画素値の縦方
向の差分値である。図１２に示すように、第１層は、８
×８画素数に相当する６４個の量子化ニューロンからな
り、これらの量子化ニューロンの量子化信号入力端子に
は特徴データ入力１として画素値を入力する。第２層で
は、量子化ニューロンの量子化信号入力端子に特徴デー
タ入力２として画素値の横方向の差分値を入力する。第
３層では、量子化ニューロンの量子化信号入力端子に特
徴データ入力３として画素値の縦方向の差分値を入力す
る。第４層は教師入力層であって、教師入力によって最
終層の各ニューロンのシナプシスの結合係数を変化させ
る。最終層は解答の出力層であって、例えば、英数字６
２文字に対する６２個の通常の人工神経細胞からなる。

【０００５】前記出力層のニューロンは、図１５に示す
ように、それぞれの入力データに対し、各々、学習で決
定されている重みＷn （n は入力の番号）を掛けて、そ
れらの総和を出力する。

【０００６】前記量子化ニューロン（量子化セル）は、
図１３に示すように、量子化信号入力端子Ｓ及び選択入
力端子Ｒと、複数の出力とを有している。選択入力端子
Ｒより入力された信号は、量子化信号入力端子Ｓから入
力される値x によって、例えば、（式１）に従った重み
τが掛けられ各出力に出力される。

【０００７】 τj ＝１−β（｜j-x ｜） …（式１） ｜a ｜：a の絶対値 ここで、j は量子化ニューロンの出力番号を示す。

【０００８】前記図１３の量子化ニューロンは、量子化
信号入力端子Ｓからの入力レベルが８レベルであって、
出力数が８ケのものである。例えば、関数（１−β）を
図１６で示すものとするならば、量子化信号入力が値０
であったとき、量子化ニューロンのそれぞれの出力に現
れる値は、選択信号入力に与えられる値に図１４（ａ）
で示される対応する重みτ（ｎ）を掛けた値となる。

【０００９】図１３で示したような量子化信号入力レベ
ルＳが８レベル、出力数が８ケの量子化ニューロンでネ
ットワークを構成する場合、第１層の量子化ニューロン
の８つの出力それぞれに、第２層の量子化ニューロンの
選択信号入力が接続される。更に、この８つの第２層の
量子化ニューロンの各々の８つの出力それぞれに第３層
の量子化ニューロンの選択信号入力が接続される。この
ように、第１層の量子化ニューロン１個から、量子化ニ
ューロンを経由し、ツリー状に分岐すると、第３層の量
子化ニューロンの出力数（第４層）は５１２となる。

【００１０】第１層の量子化ニューロンの８つの出力に
接続される８個の第２層の量子化ニューロンの量子化信
号入力は、第１層の特徴データ入力１である画素値と同
位置の横方向差分値が与えられる。

【００１１】８個ある第２層の量子化ニューロンの各８
つの出力に接続される６４個の第３層の量子化ニューロ
ンの量子化信号入力は、第１層の特徴データ入力１であ
る画素値、および第２層の特徴データ入力２である横方
向差分値と同位置の縦方向差分値が与えられる。

【００１２】図１２に示した量子化ニューロンの画像認
識ネットワークは、第１層の１個の量子化ニューロンを
元として、第３層の量子化ニューロンの数が６４個とな
る第４層までのツリー状のネットワークを構成し、それ
に最終層のネットワークを付して構成されている。

【００１３】先ず、量子化ニューロンの一層について説
明する。図１３で説明したように、量子化ニューロン
は、下層のニューロンの出力、又は選択信号（通常は１
か最大の値）が与えられる選択信号入力Ｒと、特徴デー
タが与えられる量子化信号入力Ｓとがある。ここでは、
特徴データを０〜７までの８レベルとして説明する。こ
の時、量子化ニューロンの出力は出力０〜７の８つあ
る。

【００１４】量子化信号入力Ｓが値０であったとき、そ
れぞれの出力に現れる値は、選択信号入力Ｒに与えられ
る値に図１４（ａ）で示された対応する結合係数を掛け
たものとなる。量子化信号入力Ｒが値３であれば、それ
ぞれの結合係数は、図１４（ｂ）となる。図１４（ｂ）
は、同図（ａ）を出力番号方向に３つスライドしたのと
同様である。また、量子化信号入力Ｒが値７であれば、
それぞれの結合係数は、出力番号方向に７つスライドし
たのと同様で図１４（ｃ）のようになる。

【００１５】第１層の量子化ニューロンの選択信号入力
Ｒは、最大の値が与えられている。例えば、量子化ニュ
ーロンを８ビットの演算で行うとするならば、第１層
で、量子化信号入力が０の場合は、 選択信号入力＝ＦＦ 出力番号０＝ＦＦ 出力番号１＝７Ｆ 出力番号２＝０ 出力番号３＝０ 出力番号４＝０ 出力番号５＝０ 出力番号６＝０ 出力番号７＝７Ｆ （１６進表現） となる。

【００１６】第２層の量子化ニューロンの選択信号入力
は、第１層の量子化ニューロンの出力が与えられる。ま
た、第３層の量子化ニューロンの選択信号入力は、第２
層の量子化ニューロンの出力が与えられる。

【００１７】従って、第３層の量子化ニューロンの出力
は、第１層の量子化ニューロンの結合係数、第２層の量
子化ニューロンの結合係数、第３層の量子化ニューロン
の結合係数の３つと第１層の量子化ニューロンの選択信
号入力を掛け合わせたものになっている。

【００１８】このニューラルネットワークを高速に計算
するために図１１に示す構成が提案されており（出願番
号03-237674 ）、以下に説明する。

【００１９】図１１示す従来回路は、特徴データを特徴
データメモリ１０７〜１０９に与え、その特徴データを
認識するニューラルネットワーク回路である。すなわ
ち、特徴データについてネットワークの演算を行うもの
である。

【００２０】図１１において、特徴データメモリ１０７
〜１０９は、それぞれ第１層〜第３層の量子化ニューロ
ンの量子化信号入力に与えるデータが保持されている。
係数メモリ１０１〜１０３は、それぞれ第１層〜第３層
の量子化ニューロンの結合係数が保持されている。テー
ブルメモリ１１２は、係数メモリ１０１〜１０３の出力
Ｊ，Ｋ，Ｈを入力とし、それらの掛け合わせた値を出力
する。重みメモリ１１８は量子化ニューロンのネットワ
ークの最終層のニューロンの重みを保持する。累積乗算
器１１３は、テーブルメモリ１１２の出力と重みメモリ
１１８の出力とを入力とし、その両値の累積乗算を行
う。

【００２１】制御回路１１７は、ニューラルネットワー
ク回路１を制御し、スタート入力によって処理を開始
し、クロック信号によって動作する。前記制御回路１１
７は、第１層〜第３層の各結合係数の零以外のデータの
数Ｗｊ，Ｗｋ，Ｗｈをアドレス発生器１１９とアドレス
変換器１０４〜１０６に与える。アドレス変換器１０４
〜１０６は、アドレス発生器１１９と対応する特徴デー
タメモリ１０７〜１０９との各データを受け取り、それ
ぞれ対応する係数メモリ１０１〜１０３のアドレス入力
の変換と重みメモリ１１８へのアドレス入力の変換を行
う。

【００２２】前記アドレス発生器１１９は、図８に示す
ように、５つのカウンタ１２１〜１２４で構成されてい
る。第１層カウンタ１２０、第２層カウンタ１２１及び
第３層カウンタ１２２は、キャリ入力が１のとき、零か
ら幅入力の値−１までカウントアップする。例えば、幅
入力が値３であれば０、１、２とカウントし、その後に
０に戻り、再び１、２とカウントする。特徴データカウ
ンタ１２３は、特徴データ数をカウントするカウンタで
あり、出力層カウンタ１２４は、出力数をカウントする
カウンタである。

【００２３】また、図１１において、出力メモリ１１４
は、前記アドレス発生器１１９の出力カウンタ１２４の
出力Ｐのアドレスに累積演算器１１３の値が書き込まれ
るものである。

【００２４】次に、前記従来回路の動作について説明す
る。

【００２５】特徴データメモリ１０７、１０８、１０９
には、認識すべき画像の特徴データが書き込まれてい
る。

【００２６】アドレス発生器１１９の特徴データカウン
ター１２３の出力ｉにより特徴データメモリ１０７、１
０８、１０９から各層に与えられる特徴データｊ，ｋ，
ｈが読み出される。

【００２７】アドレス変換器１０４は、第１層の特徴デ
ータｊ、アドレス発生器１１９の第１層カウンター１２
０の出力ｘ、第１層の結合係数の零以外のデータの数Ｗ
ｊを入力としている。ここで、例えば、第１層の結合係
数を図１６に示したものとするならば、Ｗｊは３とな
る。前記アドレス変換器１０４は、第１層の量子化ニュ
ーロンの結合係数を保持している係数メモリ１０１のア
ドレスと、最終層のニューロンの結合係数を記憶してい
る重みメモリ１１８のアドレスの一部とに変換する。

【００２８】前記アドレス変換器１０４によるアドレス
の変換式を次に示す。

【００２９】重みメモリ１１９のアドレスへの出力ｊｊ
は、 ｊｊ＝ｊ−ｗｊ／２＋ｘ で示され、係数メモリ１０１のアドレスへの出力ｊｊｊ
は、 ｊｊｊ＝−ｗｊ／２＋ｘ で示される。ここで、量子化ニューロン出力数を８、量
子化信号入力のレベルを０〜７とした場合、それの変数
の範囲は０〜７である。ｊｊｊ、ｊｊの結果の下位より
３ビットを出力とする。

【００３０】同様に、アドレス変換器１０５は、第２層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの係数を記
憶している重みメモリ１１９のアドレスの一部とに変換
し、出力する。同様に、アドレス変換器１０６は、第３
層の量子化ニューロンの結合係数を保持している係数メ
モリ１０３のアドレスと、最終層のニューロンの係数を
記憶している重みメモリ１１９のアドレスの一部とに変
換し、出力する。

【００３１】前記係数メモリ１０１〜１０３は、それぞ
れ第１層〜第３層の量子化ニューロンの結合係数が保持
されており、入力されたデータのアドレスの結合係数を
出力する。

【００３２】テーブルメモリ１１２は、係数メモリ１０
１〜１０３からの出力を入力とし、それらの掛け合わせ
た値を出力する。すなわち、第３層の量子化ニューロン
の出力となる。

【００３３】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１８は、３
個のアドレス変換器１０４、１０５、１０６からの入力
と、アドレス発生器１１９の特徴データカウンター１２
３の出力ｉと、アドレス発生器１１９の出力層カウンタ
ー１２４の出力ｐからの入力とによって、テーブルメモ
リ１１２の出力データ（すなわち、第３層の量子化ニュ
ーロンの出力）に一致する出力ニューロンの重みデータ
を出力する。

【００３４】累積演算器１１３は、テーブルメモリ１１
２の出力と重みメモリ１１８の出力を掛け合わせ、累積
する。

【００３５】以上の動作を、アドレス発生器１１９のカ
ウントアップに従って実行する。アドレス発生器１１９
の出力層カウンタ１２４が変化するときに、そのアドレ
スに累積演算器１１３の値を書き込み、累積演算器１１
３の値を０にする。

【００３６】アドレス発生器１１９のカウントアップが
終了すれば、認識の演算が終了しており、出力メモリ１
１４には量子化ニューロンのネットワークの解答出力が
得られる。

【００３７】

【発明が解決しようとする課題】しかしながら、前記従
来のハードウェアで構成したニューラルネットワーク回
路では、処理する入力特徴データの数とネットワークの
規模を予め決めて構成する必要があり、このため、処理
内容の複雑化に伴いネットワーク規模を拡大することが
困難であった。

【００３８】本発明は、以上のような問題点を解決する
ためになされたものであり、その目的は、柔軟に規模の
拡張可能なニューラルネットワーク回路を提供すること
にある。

【００３９】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、ニューラルネットワークを一定の規模
のハードウェアで構築して複数設け、それ等を簡易に接
続して演算結果を利用できる構成とする。

【００４０】すなわち、請求項１記載の発明のニューラ
ルネットワーク回路は、１入力複数出力の量子化ニュー
ロンを複数個層状のツリー構成で分岐配置した複数層の
ネットワークと、前記層状のツリー構成で分岐配置した
前記複数層のネットワークの出力を入力とする複数入力
１出力の出力ニューロンで構成される最終層のネットワ
ークとを有し、与えられた特徴データのネットワークの
演算を実行することで認識処理を行う多層のニューラル
ネットワーク回路を対象として、前記最終層のネットワ
ークの出力ニューロンは、入力データとして前記多層の
ニューラルネットワーク回路と同一構成の他のニューラ
ルネットワーク回路の出力ニューロンの出力を入力する
ための入力端子を有する構成である。

【００４１】また、請求項２記載の発明のニューラルネ
ットワーク回路は、前記請求項１記載の発明の複数層の
ネットワーク及び最終層のネットワークを特定し、これ
等を、前記最終層以外の各層での計算の繰り返し回数を
出力する制御回路と、前記制御回路の出力を受け、前記
最終層以外の各層で繰り返し計算した回数を順次カウン
トするアドレス発生器と、前記アドレス発生器によって
指定される特徴データを記憶している特徴データメモリ
と、最終層の出力ニューロンの重みを記憶する重みメモ
リと、最終層以外のニューロンの結合係数を記憶する最
終層以外の層別の結合係数メモリと、前記制御回路、特
徴データメモリ及びアドレス発生器の出力を、前記重み
メモリに与えるアドレス、及び前記結合係数メモリに与
えるアドレスに変換するアドレス変換器と、前記層別の
結合係数メモリの出力を入力として各入力を乗算した値
を出力するテーブルメモリと、前記テーブルメモリの出
力と前記重みメモリの出力とを累積加算すると共に、前
記アドレス発生器の信号により、前記累積加算の結果値
と前記出力ニューロンの入力端子に入力されたデータと
の加算を実行する累積演算器と、前記アドレス発生器の
出力アドレスに前記累積演算器の結果を保持する出力メ
モリとにより構成したものである。

【００４２】加えて、請求項３記載の発明のニューラル
ネットワーク回路では、更に、テーブルメモリと前記出
力ニューロンの入力端子に入力されたデータとを入力と
して何れか一方を選択する選択回路を設けるとともに、
重みメモリは、前記選択回路が前記出力ニューロンの入
力端子に入力されたデータを選択したとき所定の重みを
出力するものであり、累積演算器は、前記選択回路によ
り選択された出力ニューロンの入力端子に入力されたデ
ータと前記重みメモリの所定の重みとを累積加算して外
部に出力する機能を持たせる構成としている。

【００４３】

【作用】以上の構成により、請求項１ないし請求項３記
載の発明のニューラルネットワーク回路では、最終層の
出力ニューロンに別途設けた入力端子に、入力データと
して、多層のニューラルネットワーク回路と同一構成の
他のニューラルネットワーク回路の出力ニューロンの出
力を入力できる構成、即ち累積演算器が前記最終層の出
力ニューロンに別途設けた入力端子に入力されたデータ
の加算を実行する構成であるので、このニューラルネッ
トワーク回路を複数設け、ニューラルネットワーク回路
で得た解答出力を他のニューラルネットワーク回路の最
終層で加算利用できるようにそれ等を簡易に接続すれだ
けで、柔軟に規模の拡張したニューラルネットワーク回
路を提供できる。従って、各ニューラルネットワーク回
路別に異なる分別能力を持たせれば、簡易に処理能力の
向上を図ることができる。

【００４４】

【実施例】（実施例１） 本発明の第１の実施例を図１に示す。同図の実施例は、
最終層の出力ニューロンを図６に示すように従来での最
終層の出力ニューロンより１入力多く、増加した入力の
重みを１としている。これにより、図５に示すように、
隣りのニューラルネットワークの出力を最終層の出力ニ
ューロンに与えることで拡張性に優れたニューラルネッ
トワーク回路となる。

【００４５】同図の実施例は、特徴データを特徴データ
メモリ１０７〜１０９に与え、そのデータについて処理
するニューラルネットワーク回路である。

【００４６】係数メモリ１０１〜１０３には、それぞれ
第１層〜第３層の量子化ニューロンの結合係数が保持さ
れている。テーブルメモリ１１２は、３個の係数メモリ
１０１〜１０３の出力Ｊ，Ｋ，Ｈを入力とし、それらの
掛け合わせた値を出力する。重みメモリ１１８は量子化
ニューロンのネットワークの最終層のニューロンの重み
を保持する。

【００４７】そして、累積乗算器１３０は、切替入力が
ＬＯＷのとき、テーブルメモリ１１２の出力と、重みメ
モリ１１８の出力とを入力として累積乗算を行い、一
方、切替入力がＨＩＧＨのとき、外部加算入力より入っ
た信号を加算する。特徴データメモリ１０７〜１０９に
は、それぞれ第１層〜第３層の量子化ニューロンの量子
化信号入力Ｓに与えるデータが保持されている。

【００４８】制御回路１３２は、ニューラルネットワー
ク回路１０を制御し、スタート入力によって処理を開始
し、クロック信号によって動作する。

【００４９】また、制御回路１３２のスタート出力は、
スタート入力を１クロック遅らせたものである。

【００５０】前記制御回路１３２は、第１層〜第３層の
各結合係数の零以外のデータの数、 即ち、各層での計算
の繰り返し回数Ｗｊ，Ｗｋ，Ｗｈをアドレス発生器１３
１とアドレス変換器１０４〜１０６とに与える。前記ア
ドレス変換器１０４〜１０６は、アドレス発生器１１０
と特徴データメモリ１０７〜１０９との両データを受け
取り、それぞれ係数メモリ１０１〜１０３のアドレス入
力の変換と、重みメモリ１１８へのアドレス入力の変換
を行う。

【００５１】図２に示すように、アドレス発生器１３１
は、６つのカウンタで構成されている。第１層カウンタ
１２０、第２層カウンタ１２１及び第３層カウンタ１２
２は、前記制御回路１３２から第１層〜第３層の各結合
係数の零以外のデータの数Ｗｊ，Ｗｋ，Ｗｈを受け、キ
ャリ入力が１のとき、零から幅入力Ｗｊ，Ｗｋ，Ｗｈの
値−１までカウントアップする。例えば、幅入力が値３
であれば０、１、２とカウントし、その後に０に戻り、
再び１、２とカウントして、各層での計算の繰り返し回
数Ｗｊ，Ｗｋ，Ｗｈを順次カウントすることを繰り返
す。特徴データカウンタ１２３は特徴データ数をカウン
トするカウンタであり、出力層カウンタ１２４は出力数
をカウントするカウンタである。

【００５２】そして、１３３は外部アクセスカウンタで
あって、この外部アクセスカウンタ１３３は、特徴デー
タカウンタ１２３の出力を１クロック遅らせて出力カウ
ンタ１２４に与えて、累積演算器１３０の外部入力の計
算サイクルをカウントするカウンタである。

【００５３】次に、本発明の実施例の動作について説明
する。

【００５４】特徴データメモリ１０７、１０８、１０９
には、処理すべき特徴データが書き込まれている。

【００５５】アドレス発生器１３１の特徴データカウン
ター１２３の出力ｉにより、特徴データメモリ１０７、
１０８、１０９からは、前記特徴データカウンター１２
３の出力ｉにより指定される各層に与えられる特徴デー
タｊ，ｋ，ｈが各々読み出される。

【００５６】アドレス変換器１０４は、第１層の特徴デ
ータｊ、アドレス発生器１３１の第１層カウンター１２
０の出力ｘ、第１層の結合係数の零以外のデータの数Ｗ
ｊを入力としている。ここで、例えば、第１層の結合係
数を図１６に示したものとするならば、Ｗｊは３とな
る。

【００５７】アドレス変換器１０４は、第１層の量子化
ニューロンの結合係数を保持している係数メモリ１０１
のアドレスと、最終層のニューロンの結合係数を記憶し
ている重みメモリ１１８のアドレスの一部とに変換す
る。

【００５８】前記アドレス変換器１０４のアドレスの変
換式を次に示す。

【００５９】重みメモリ１１８のアドレスへの出力ｊｊ
は、 ｊｊ＝ｊ−ｗｊ／２＋ｘ で示され、係数メモリ１０１のアドレスへの出力ｊｊｊ
は、 ｊｊｊ＝−ｗｊ／２＋ｘ で示される。ここで、量子化ニューロン出力数を８、量
子化信号入力のレベルを０〜７とした場合、それの変数
の範囲は０〜７である。ｊｊｊ、ｊｊの結果の下位より
３ビットを出力とする。

【００６０】同様に、アドレス変換器１０５は、第２層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの係数を記
憶している重みメモリ１１８のアドレスの一部とに変換
し、出力する。同様に、アドレス変換器１０６は、第３
層の量子化ニューロンの結合係数を保持している係数メ
モリ１０３のアドレスと、最終層のニューロンの係数を
記憶している重みメモリ１１８のアドレスの一部とに変
換し、出力する。

【００６１】係数メモリ１０１〜１０３には、それぞれ
対応する第１層〜第３層の量子化ニューロンの結合係数
が保持されており、入力されたデータのアドレスの結合
係数を出力する。

【００６２】テーブルメモリ１１２は、３個の係数メモ
リ１０１〜１０３からの出力を入力として、それらの掛
け合わせた値を出力する。すなわち、第３層の量子化ニ
ューロンの出力となる。

【００６３】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１８は、ア
ドレス変換器１０４、１０５、１０６からの入力と、ア
ドレス発生器１３１の特徴データカウンター１２３の出
力ｉと、出力層カウンター１２４の出力ｐからの入力に
よって、テーブルメモリ１１２の出力データ（すなわ
ち、第３層の量子化ニューロンの出力）に一致する出力
ニューロンの重みデータを出力する。

【００６４】累積演算器１３０はテーブルメモリ１１２
の出力と重みメモリ１１８の出力とを掛け合わせ、累積
する。

【００６５】以上の動作を、図４の波形図に示すよう
に、アドレス発生器１３１のカウントアップに従って実
行する。

【００６６】アドレス発生器１３１の外部アクセスカウ
ンタ１３３の出力がＨＩＧＨになったとき、特徴データ
カウンタ１２３のキャリ出力Ｃにより累積演算器１３０
の入力が外部加算入力に切り替えられて、外部のデータ
が累積演算器１３０に入力されて、累積演算器１３０は
前記テーブルメモリ１１２の出力と重みメモリ１１８の
出力との累積結果値と前記入力した外部データとの加算
を行う。

【００６７】その後、アドレス発生器１３１の出力層カ
ウンタ１２４の出力Ｐが変化するときに、そのアドレス
に累積演算器１３０の値を出力メモリ１１４に書き込
み、累積演算器１３０の値を０にする。そして、特徴デ
ータカウンタ１２３、第３層カウンタ１２２、第２層カ
ウンタ１２１、及び第１層カウンタ１２０がリセットさ
れる。

【００６８】アドレス発生器１３１のカウントアップが
終了すれば、認識の演算が終了しており、出力メモリ１
１４には量子化ニューロンのネットワークの解答出力が
得られる。

【００６９】本ニューラルネットワーク回路１０を、図
３のように、例えば２つ設け、一方の回路１０Ａには外
部データとして０を入力すると共に、他の回路１０Ｂに
は、前記一方の回路１０Ａの累積演算器１３０の累積演
算結果を最終層のネットワークの複数入力１出力の出力
ニューロンに外部データとして入力するように接続する
ことにより、図５に示すようなネットワークの拡張がで
きる。ここで、前記累積演算器１３０の累積演算結果を
外部データとして入力する側の回路１０Ｂは、図４の波
形図に示すように、その累積演算結果を外部データとし
て出力する側の回路１０Ａより１クロック遅れて動作演
算する。

【００７０】尚、図５に示すネットワークは、入力特徴
データが各層１２８データ、すなわち２倍の拡張とした
場合であるが、３倍以上の拡張とする場合も同様であ
る。

【００７１】（実施例２） 本発明の第２の実施例を図７に示す。同図の実施例は、
最終層の出力ニューロンを図１０のような従来での最終
層の出力ニューロンより１入力多く、その増加した入力
に対し重みＷｓを有している。これにより、図９に示す
ように隣りのニューラルネットワークの出力を最終層の
出力ニューロンに与えることで拡張性に優れたニューラ
ルネットワーク回路となる。

【００７２】図７の実施例は、特徴データを特徴データ
メモリ１０７〜１０９に与えたデータを処理する回路で
ある。

【００７３】制御回路１３２、アドレス発生器１３１、
係数メモリ１０１〜１０３、テーブルメモリ１１２、特
徴データメモリ１０７〜１０９、アドレス変換器１０４
〜１０６、出力メモリ１１４は、前記実施例１と同様の
ものである。

【００７４】重みメモリ１３４は、アドレス変換器１０
４〜１０６の出力ｈｈ，ｋｋ，ｊｊとアドレス発生器１
３１の出力ｃ，ｉ，ｐとをアドレス信号とし、量子化ニ
ューロンのネットワークの最終層のニューロンの重みを
保持する。

【００７５】１３６はマルチプレクサであって、このマ
ルチプレクサ１３６は、外部累積入力とテーブルメモリ
１１２の出力との２つを入力とし、アドレス発生器１３
１からの切り替え信号ｃによって、切替入力がＬＯＷの
ときはテーブルメモリ１１２を、切り替え入力がＨＩＧ
Ｈのときは外部累積入力を出力する。累積乗算器１１３
は、マルチプレクサ１３６の出力と、重みメモリ１３４
の出力を入力とし、累積乗算を行う。

【００７６】前記実施例１と同様に、図４の波形図に示
すようにアドレス発生器１３１のカウントアップに従っ
て実行する。アドレス発生器１３１の外部アクセスカウ
ンタ１３３の出力がＨＩＧＨになったとき、その出力カ
ウンタ１２４の出力Ｃによりマルチプレクサ１３６は外
部累算入力を選択し、累積乗算器１１３に外部累算入力
データの値を出力する。累積乗算器１１３は、外部累算
入力データの値と、重みメモリ１３４から読み出された
値との累積を計算する。この時、重みメモリ１３４から
読み出された値は、図９での重みＷｓの値である。その
後、アドレス発生器１３１の出力層カウンタ１２４の出
力Ｐが変化するときに、そのアドレスに累積演算器１１
３の値を出力メモリ１１４に書き込み、累積演算器１１
３の値を０にする。そして、その後、特徴データカウン
タ１２３、第３層カウンタ１２２、第２層カウンタ１２
１、第１層カウンタ１２０がリセットされる。

【００７７】アドレス発生器１３１のカウントアップが
終了すれば、認識の演算が終了しており、出力メモリ１
１４には量子化ニューロンのネットワークの解答出力が
得られる。

【００７８】本ニューラルネットワーク回路１１を図３
と同様に接続することで図９に示すネットワークの拡張
ができる。図９に示すネットワークは、入力特徴データ
が各層６４データであるが、左右それぞれのニューラル
ネットワークに違った分別能力持たせ、それぞれの結果
を重み付け加算することで、最終的な解答出力とし、こ
れによりニューラルネットワークの能力の向上を実現で
きる。

【００７９】尚、以上の説明では、量子化ニューロンを
用いたネットワークを、１層の特徴データを８×８の６
４ヶ、３層の特徴データ、６４解答出力として説明した
がこの限りではない。

【００８０】

【発明の効果】以上説明したように、本発明によれば、
量子化ニューロンを用いたニューラルネットワーク回路
において、ニューラルネットワークを一定の規模のハー
ドウェアで構築し、それを外部入力可能な構成としたの
で、そのニューラルネットワークを複数設けてそれ等を
簡易に接続するだけで柔軟に規模の拡張可能なニューラ
ルネットワーク回路を提供でき、処理能力の向上が図れ
るニューラルネットワーク回路が実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例におけるニューラルネッ
トワーク回路の構成図である。

【図２】本発明の第１の実施例におけるアドレス発生器
の構成図である。

【図３】本発明の第１の実施例におけるニューラルネッ
トワーク回路を複数用いる場合の接続図である。

【図４】図３の接続における各部の波形図である。

【図５】本発明の第１の実施例におけるニューラルネッ
トワーク回路図３の接続におけるニューラルネットワー
クモデルの説明図である。

【図６】本発明の第１の実施例におけるニューラルネッ
トワーク回路のモデルの最終層のニューロンの説明図で
ある。

【図７】本発明の第２の実施例におけるニューラルネッ
トワーク回路の構成図である。

【図８】従来例におけるニューラルネットワーク回路に
おけるアドレス発生器の構成図である。

【図９】本発明の第２の実施例におけるニューラルネッ
トワーク回路の図３の接続におけるニューラルネットワ
ークモデルの説明図である。

【図１０】本発明の第２の実施例におけるニューラルネ
ットワーク回路のモデルの最終層のニューロンの説明図
である。

【図１１】従来例におけるニューラルネットワーク回路
の構成図である。

【図１２】従来例における量子化ニューロンによるニュ
ーラルネットワークの構造の説明図である。

【図１３】量子化ニューロンの説明図である。

【図１４】量子化ニューロン結合係数の説明図である。

【図１５】量子化ニューロンによるニューラルネットワ
ークの最終層のニューロンの説明図である。

【図１６】量子化ニューロン結合係数の説明図である。

【符号の説明】

１０１〜１０３ 係数メモリ １０４〜１０６ アドレス変換器 １０７〜１０９ 特徴データメモリ １１２ テーブルメモリ １１３、１３０ 累積演算器 １１８、１３４ 重みメモリ １１７、１３２ 制御回路 １１９、１３１ アドレス発生器 １２０ 第１層カウンタ １２１ 第２層カウンタ １２２ 第３層カウンタ １２３ 特徴データカウンタ １２４ 出力層カウンタ １３３ 外部アクセスカウンタ １３６ マルチプレクサ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−264354（ＪＰ，Ａ) 中平 博幸、外５名，”量子化ニュー ロンを用いたディジタルニューロプロセ ッサ”，電子情報通信学会技術研究報 告，社団法人電子情報通信学会，1993年 ９月，第93巻，第233号（ＤＳＰ93 55 −64），ｐ．39−46 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/18

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 １入力複数出力の量子化ニューロンを複
   数個層状のツリー構成で分岐配置した複数層のネットワ
   ークと、前記層状のツリー構成で分岐配置した前記複数層のネッ
   トワークの出力を入力とする 複数入力１出力の出力ニュ
   ーロンで構成される最終層のネットワークとを有し、 与えられた特徴データのネットワークの演算を実行する
   ことで認識処理を行う多層のニューラルネットワーク回
   路であって、 前記最終層のネットワークの出力ニューロンは、入力デ
   ータとして前記多層のニューラルネットワーク回路と同
   一構成の他のニューラルネットワーク回路の出力ニュー
   ロンの出力を入力するための入力端子を有することを特
   徴とするニューラルネットワーク回路。
2. 【請求項２】 複数層のネットワーク及び最終層のネッ
   トワークは、前記最終層以外の各層での計算の繰り返し回数 を出力す
   る制御回路と、 前記制御回路の出力を受け、前記最終層以外の各層で繰
   り返し計算した回数を順次カウントするアドレス発生器
   と、 前記アドレス発生器によって指定される特徴データを記
   憶している特徴データメモリと、 最終層の出力ニューロンの重みを記憶する重みメモリ
   と、 最終層以外のニューロンの結合係数を記憶する最終層以
   外の層別の結合係数メモリと、 前記制御回路、特徴データメモリ及びアドレス発生器の
   出力を、前記重みメモリに与えるアドレス、及び前記結
   合係数メモリに与えるアドレスに変換するアドレス変換
   器と、 前記層別の結合係数メモリの出力を入力として各入力を
   乗算した値を出力するテーブルメモリと、 前記テーブルメモリの出力と前記重みメモリの出力とを
   累積加算すると共に、 前記アドレス発生器の信号によ
   り、前記累積加算の結果値と前記出力ニューロンの入力
   端子に入力されたデータとの加算を実行する累積演算器
   と、 前記アドレス発生器の出力アドレスに前記累積演算器の
   結果を保持する出力メモリとから成ることを特徴とする
   請求項１記載のニューラルネットワーク回路。
3. 【請求項３】 テーブルメモリと前記出力ニューロンの
   入力端子に入力されたデータとを入力として何れか一方
   を選択する選択回路を有するとともに、 重みメモリは、前記選択回路が前記出力ニューロンの入
   力端子に入力されたデータを選択したとき所定の重みを
   出力するものであり、 累積演算器は、前記選択回路により選択された出力ニュ
   ーロンの入力端子に入力されたデータと前記重みメモリ
   の所定の重みとを累積加算して外部に出力するものであ
   ることを特徴とする請求項２記載のニューラルネットワ
   ーク回路。
4. 【請求項４】 請求項２記載のニューラルネットワーク
   回路又は請求項３記載のニューラルネットワーク回路を
   複数備え、 相い隣る２つのニューラルネットワーク回路は、その一
   方のニューラルネットワーク回路の累積演算器の累積結
   果が、前記出力ニューロンの入力端子に入力されるデー
   タとして他方のニューラルネットワーク回路に出力され
   ることを特徴とするニューラルネットワーク回路。
5. 【請求項５】 累積演算器の累積結果が前記出力ニュー
   ロンの入力端子に入力されるデータとして入力される側
   のニューラルネットワーク回路の演算は、前記累積演算
   器の累積結果が出力される側のニューラルネットワーク
   回路の演算よりも１クロック遅れることを特徴とする請
   求項４記載のニューラルネットワーク回路