JPH064504A

JPH064504A - ニューラルネットワーク回路

Info

Publication number: JPH064504A
Application number: JP4159495A
Authority: JP
Inventors: Shiro Sakiyama; 史朗崎山; Toshiyuki Koda; 敏行香田; Masakatsu Maruyama; 征克丸山; Hiroyuki Nakahira; 博幸中平
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-06-18
Filing date: 1992-06-18
Publication date: 1994-01-14

Abstract

(57)【要約】【目的】画像等の認識処理を行うニューラルネットワ
ーク回路において、対象とする認識物に対し、小規模な
回路で高速に認識及び学習を実行できるネットワーク回
路を提供する。【構成】入力ベクトルｉ＝１，ｉ＝２により一意的に
出力の定まる木分岐構造の中間層１１，１２と、統合ニ
ューロン３１〜３６より成る出力ｏ＝１，ｏ＝２の出力
層とを持ち、各中間層と出力層との間の経路のシナプス
群４の結合荷重の逐次変更により、シナプス群４の結合
荷重の学習を行なうニューラルネットワークにおいて、
シナプス群４の学習された結合荷重に対して重要度判定
器５を用いて重要度判定を行ない、各入力ベクトルｉ＝
１，ｉ＝２と出力ユニットｏ＝１，ｏ＝２との組合せ毎
に、経路選択回路２１〜２４で重要度の高いシナプスの
選択を行なって、ネットワークを再構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像認識処理等の情報
処理を行うニューラルネットワーク回路の改良に関す
る。

【０００２】

【従来の技術】近年、情報処理のニューラルネットワー
クの分野に大きな関心が集まってきている。これ等のニ
ューラルネットワークは、生物の頭脳に備えるニューロ
ンの構造を模倣して考えられている。これ等のニューラ
ルネットワークの処理の多くは、従来のフォン・ノイマ
ン型の逐次計算機により実現されていて、処理速度は極
めて遅いため、最近、ニューラルネットワークの構成を
専用の電子回路で構成する試みがなされている。

【０００３】専用の電子回路で構成するニューラルネッ
トワークには様々な形態があるが、その中の一つに多層
型のニューラルネットワークがある。これは、図７に示
すようなネットワーク構造であって、分岐能力のあるニ
ューロン及び統合能力のあるニューロンを持ち、入力層
と出力層との間に、多層からなる中間層を持つ。

【０００４】図７に示す多層型のニューラルネットワー
クは、入力ベクトルｉ＝１，ｉ＝２が各々入力される２
個のニューロン素子１１１、１１２より成る入力層と、
出力ｏ＝１，ｏ＝２に関する２個のニューロン素子３３
０、３４０より成る出力層と、この入力層と出力層との
間に位置し、２階層に形成した６個のニューロン素子１
２１〜１２４、１３１，１３２より成る中間層の３層か
らなるニューラルネットワークであって、前記各層のニ
ューロン素子間には、該各層のニューロン素子間の結合
荷重を定めるシナプス群４１〜４３が配置される。該各
シナプス群４１〜４３の各シナプスの結合荷重は、学習
により変更可能である。

【０００５】前記各シナプス群４１〜４３の各シナプス
の結合荷重を逐次適切に変更して学習することにより、
認識目的に合致したニューラルネットワークが構築され
る。これ等各シナプス群４１〜４３の各シナプスの結合
荷重の学習方法として、一般的に、バックプロパゲーシ
ョン法（ＢＰ法）が知られるが、該ＢＰ法では学習や追
加学習に時間を要し、また、学習アルゴリズムがハード
ウエア化に適していないという欠点があった。

【０００６】そこで、高速な学習及び追加学習が可能で
あり、また学習アルゴリズムがハードウエア化に適した
図８に示すニューラルネットワーク回路が提案されてい
る。図８のニューラルネットワーク回路は、図７に示す
ネットワーク構造を木分岐構造に展開したニューラルネ
ットワークであって、入力ベクトルｉ＝１，ｉ＝２を各
々入力する２個の分岐動作のみのニューロン素子１１-1
1 ，１２-11 よりなる入力層と、２階層に形成した２４
個の分岐動作のみのニューロン素子１１-21 〜１１-24
，１１-31 〜１１-38 ，１２-21 〜１２-24 ，１２-31
〜１２-38 よりなる中間層と、該中間層のうち上層の
１６個のニューロン素子１１-31 〜１１-38，１２-31
〜１２-38 からの出力を統合し、出力ｏ＝１，ｏ＝２に
関する統合動作のみの２個のニューロン素子３１０，３
２０よりなる出力層とを備えた３層のニューラルネット
ワークであって、中間層と出力層との間には、それ等の
ニューロン素子間の結合荷重を定めるシナプス群４が配
置され、該シナプス群４の各シナプスの結合荷重は学習
により変更が可能である。前記図８において、例えば図
７におけるニューロン素子１１２−１２２−１３２−３
３０の経路は、図８におけるニューロン素子１２-11 −
１２-22 −１２-34 −３１０の経路に対応する。但し、
ニューロン素子１１-11 〜１１-38 間の各シナプスの結
合荷重、及びニューロン素子１２-11 〜１２-38 間の各
シナプスの結合荷重は共に学習されず、入力層の各ニュ
ーロン素子１１- １１，１２-11 に入力される入力ベク
トルの値により一意的に定まる。

【０００７】前記図８のように入力ベクトルの値のみに
依存し、学習せずに一意的に木分岐構造のシナプスの結
合荷重を定めるネットワークの形態の一つとして、例え
ば文献「機能別階層ネットワークを用いた文字認識シス
テム」（平成２年度画像電子通信学会全国大会予稿第77
頁〜第80頁、又は文献「Multi-Functional LayeredNetw
ork using Quantizer Neurons 」（Computer World '9
0,November 1990）に示されるように、量子化ニューロ
ンと呼ばれるネットワーク形態がある。この種のネット
ワーク構成は、個々のシナプスの結合荷重の変更が他の
シナプスに依存しないので、高速な学習や追加学習性を
持ち、また学習アルゴリズムのハードウエア化にも適し
ている。

【０００８】図９は、図８に示したニューラルネットワ
ーク回路の出力層を構成する２個の統合ニューロン３１
０，３２０を２階層に分けた構造を示し、そのネットワ
ーク構造は図８と全く同じである。即ち、図９におい
て、１１…は入力ベクトルｉ＝１に対する中間層であっ
て、図８の１２個のニューロン素子１１-11 〜１１-38
の集合体である。また、１２…は入力ベクトルｉ＝２に
対する中間層であって、図８の１２個のニューロン素子
１２-11 〜１２-38 の集合体である。３１は出力ｏ＝１
に関する中間層１１の出力を統合する統合ニューロンで
あり、３２は出力ｏ＝１に関する中間層１２の出力を統
合する統合ニューロンである。同様に、３３は出力ｏ＝
２に関する中間層１１の出力を統合する統合ニューロン
であり、３４は出力ｏ＝２に関する中間層１２の出力を
統合する統合ニューロンである。３５は前記統合ニュー
ロン３１，３２の出力を統合する統合ニューロンであ
り、３６は同様に前記統合ニューロン３３，３４の出力
を統合する統合ニューロンである。以下、この図９に示
した図示法で説明を行なう。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
たような木分岐構造からなる中間層を持ち、最終層の統
合ニューロンにより各シナプスの統合を行ない、最終層
のシナプスの結合荷重の変更により学習を行なう多層型
ニューラルネットワーク構成では、シナプスの結合荷重
の変更が他のシナプスに依存しないので、多層型のニュ
ーラルネットワークの１つの学習法であるＢＰ法の欠点
を改善できて、高速な学習及び追加学習が可能であると
共に、学習アルゴリズムのハードウエア化にも適してい
るものの、中間層の多数のニューロン素子により分岐さ
れた多数の出力を出力層の統合ニューロンで統合してい
るため、この中間層と出力層との間に位置するシナプス
群におけるシナプスの数が膨大となる欠点がある。

【００１０】本発明の目的は、前記木分岐構造のニュー
ラルネットワークにおける問題点に鑑み、その木分岐構
造のニューラルネットワーク構造を基本的に採用しなが
ら、そのシナプス群のシナプス数を減少し、よって演算
速度の高速化を図って短時間での画像認識等を可能にす
ると共に、ネットワーク回路を構成するハードウエアの
規模を縮小することにある。

【００１１】

【課題を解決するための手段】前記の目的を達成するた
め、請求項１記載の発明の構成は、単一又は複数個の入
力ベクトルを持つ入力層と、出力が前記入力層の入力ベ
クトルの値により一意的に定まる木分岐構造のネットワ
ークを前記入力層の入力ベクトルの数だけ持つ中間層
と、該各中間層の出力を該各出力に対応する結合荷重で
もって統合する単一又は複数個の出力ユニットを持つ出
力層とを有し、前記中間層の各出力と前記出力層との経
路の結合荷重を学習するようにした多層型のニューラル
ネットワークにおいて、前記入力層の各入力ベクトル毎
に、若しくは前記出力層の各出力ユニット毎に、又は該
各入力ベクトルと出力ユニットとの組合せ毎に、学習さ
れた前記中間層と出力層との経路の結合荷重の重要度を
判定する重要度判定器と、該重要度判定器の出力により
前記中間層と出力層との経路のうち重要度の高い経路を
選択し、該選択された経路のみによるネットワークを再
構成する経路選択回路とを設ける構成とする。

【００１２】更に、請求項２記載の発明の構成は、単一
又は複数個の入力ベクトルを持つ入力層と、出力が前記
入力層の入力ベクトルの値により一意的に定まる木分岐
構造のネットワークを前記入力層の入力ベクトルの数だ
け持つ中間層と、該各中間層の出力を該各出力に対応す
る結合荷重でもって統合する単一又は複数個の出力ユニ
ットを持つ出力層とを有し、前記中間層の各出力と前記
出力層との経路の結合荷重を学習する多層型のニューラ
ルネットワークであって、前記入力層の各入力ベクトル
毎に、若しくは前記出力層の各出力ユニット毎に、又は
該各入力ベクトルと出力ユニットとの組合せ毎に、学習
された前記中間層と出力層との経路の結合荷重の重要度
を判定して結合荷重の重要度の高い経路を選択し、該選
択された経路のみによるネットワークを再構成するよう
にした多層型のニューラルネットワーク回路において、
前記中間層の再構成前の重要度の高い各出力経路のアド
レスと前記中間層の再構成後の各出力経路のアドレスと
の対応関係を記憶するアドレス変換テーブルメモリを設
けるとともに、前記中間層の再構成前の重要度の高い各
出力経路のアドレスに対応する結合荷重を記憶し、前記
中間層の再構成前の重要度の高い各出力経路のアドレス
に対応する結合荷重が読み出される結合荷重メモリと、
前記アドレス変換テーブルメモリから出力される中間層
の再構成後の各出力の経路のアドレスに対応する中間層
の出力を演算する演算ユニットと、前記結合荷重メモリ
の結合荷重と前記中間層の出力とを合成する合成ユニッ
トと、前記各出力ユニット毎に前記合成ユニットによる
再構成後の前記中間層の全ての合成結果を逐次的に統合
する単数又は複数の統合ユニットとを設ける構成とす
る。

【００１３】

【作用】前記の構成により、請求項１記載の発明では、
学習された中間層と出力層との経路の結合荷重の重要度
が重要度判定器により判定され、その重要度の高い経路
が経路選択回路により選択されて、該選択された経路の
みによるネットワークが再構成されるので、認識の対象
データに対してシナプス数が少なく制限しつつも認識効
率の良いニューラルネットワーク回路となり、演算速度
の高速化が可能になる。

【００１４】また、請求項２記載の発明では、中間層と
出力層との間の経路のうち重要度の高い再構成前の経路
のアドレスが、アドレス変換テーブルメモリによって、
再構成後の経路のアドレスに変換される。そして、前記
再構成前の重要度の高い経路のアドレスに対応する結合
荷重が結合荷重メモリから読み出されると共に、前記再
構成後のアドレスに対応する中間層の出力が演算ユニッ
トにより演算され、その後、前記読み出された結合係数
と演算された中間層の出力とが合成ユニットにより合成
されて、該合成ユニットに合成された再構成後の中間層
の全ての合成結果が各出力ユニット毎に統合ユニットに
より逐次的に統合される。その結果、アドレス変換テー
ブルメモリから出力される再構成後の経路のアドレスの
数，即ちシナプスの数が少くても、認識の対象が精度良
く認識されるニューラルネットワーク回路となり、演算
速度の高速化及び、ネットワーク回路を構成するハード
ウエアの規模を縮小することが可能になる。

【００１５】

【実施例】

（実施例１）請求項１記載の発明の実施例を図１に示
す。図１のネットワーク構成の図示法は前述した図９に
従っており、同じ構成要素に対しては同じ番号を付して
ある。図１において、１１は入力ベクトルｉ＝１に対す
る中間層であって、図８に示す１２個のニューロン素子
１１-11 〜１１-38 の集合体である。同様に、１２は入
力ベクトルｉ＝２に対する中間層であって、図８に示す
１２個のニューロン素子１２-11 〜１２-38 の集合体で
ある。３１は出力ｏ＝１に関する中間層１１の出力を統
合する出力ユニットとしての統合ニューロン、３２は出
力ｏ＝１に関する中間層１２の出力を統合する出力ユニ
ットとしての統合ニューロンである。同様に、３３は出
力ｏ＝２に関する中間層１１の出力を統合する出力ユニ
ットとしての統合ニューロン、３４は出力ｏ＝２に関す
る中間層１２の出力を統合する出力ユニットとしての統
合ニューロンである。３５は前記出力ｏ＝１に関する２
個の統合ニューロン３１，３２の各出力を統合する統合
ニューロン、３６は前記出力ｏ＝２に関する２個の統合
ニューロン３３，３４の各出力を統合する統合ニューロ
ンであって、これ等統合ニューロン３１〜３６により、
２階層の出力層を構成している。

【００１６】また、図１において、２１は出力ｏ＝１に
関する中間層１１の出力のシナプスを選択する経路選択
回路、２２は出力ｏ＝１に関する中間層１２の出力のシ
ナプスを選択する経路選択回路である。同様に、２３は
出力ｏ＝２に関する中間層１１の出力のシナプスを選択
する経路選択回路、２４は出力ｏ＝２に関する中間層１
２の出力のシナプスを選択する経路選択回路である。ま
た、４は各経路選択回路２１〜２４と統合ニューロン３
１〜３４との間に配置されたシナプス群であって、各中
間層１１〜１４と統合ニューロン３１〜３４との間の結
合荷重を定めるものである。５は前記シナプス群４にお
ける各経路選択回路２１〜２４と統合ニューロン３１〜
３４との間のシナプスのうち、重量度の高いシナプスを
各経路選択回路２１〜２４毎に判定し、その判定結果に
基いて各経路選択回路２１〜２４のシナプスのスイッチ
を制御する重要度判定器である。前記重要度判定器５に
よる重要度の判定は、ヘブの学習則に基づく場合には、
結合荷重の大きいものが重要度が高いシナプスであると
判定され、またパーセプトロンの学習則に基づく場合に
は、促進や抑制が大きい，換言すれば結合荷重の絶対値
の大きいものが重要度の高いシナプスであると判定され
る。

【００１７】次に本実施例の動作について説明する。

【００１８】先ず、各経路選択回路２１〜２４の各シナ
プスのスイッチを全てオンにして、図９で示したネット
ワーク回路と同様の学習を行なう。そして、複数回の学
習を行ない、これにより所定の認識対象に対して、ある
程度の認識能力を持つネットワークが構成されれば、こ
の時点で重要度判定器５により各経路選択回路２１〜２
４の出力毎のシナプス群４の結合荷重の重要度を判定
し、その重要度の高いシナプスのみスイッチをオンす
る。これにより、少ないシナプスを用いた新たなネット
ワークが再構成される。

【００１９】前記経路選択回路２１〜２４を用いた再構
成前と再構成後のネットワーク形態を示すと、図２及び
図３の通りとなる。図２は再構成前のネットワーク形態
を示し、図３は再構成後のネットワーク形態を示す。
尚、図２及び図３では図１と同一構成要素につき図１と
同一番号を付している。

【００２０】図３は、経路選択回路２１〜２４により、
各中間層の出力のシナプス８本を４本に圧縮した例を示
す。図３では、出力ｏ＝１に関する中間層１１の出力は
経路選択回路２１により、左から３番目、４番目、６番
目、及び８番目のシナプスが選択されている。従って、
演算すべきシナプスの数を図２の再構成前のネットワー
ク回路に比較して半分に減少することができる。よっ
て、本実施例では、認識すべき対象に対してシナプスが
少なくて効率の良いニューラルネットワークを再構築す
ることができる。

【００２１】尚、前記図１では、各入力ベクトルと出力
との各々の組合せ（ｉ＝１，ｏ＝１）、（ｉ＝２，ｏ＝
１）、（ｉ＝１，ｏ＝２）、（ｉ＝２，ｏ＝２）毎にそ
れぞれ経路選択回路２１〜２４を設け、該経路選択回路
２１〜２４別に最終層のシナプスの重要度を判定して、
シナプスの経路選択を行なう実施例を示したが、各入力
ベクトルｉ＝１，ｉ＝２毎に、又は各出力ｏ＝１，ｏ＝
２毎に経路選択回路を設けてもよい。但し、本実施例の
ように各入力ベクトルと出力との各々の組合わせ毎に最
終層のシナプスの経路選択を行なう方が、シナプスの圧
縮効果は高い。その理由は、認識すべき対象となる各入
力ベクトル群と各出力とは相関性が高いからである。例
えば入出力の組合わせ毎ではなく、入力ベクトル毎に経
路選択回路を設ける場合には、図１において、経路選択
回路２１と経路選択回路２３との論理和をとった経路選
択回路が必要となり、シナプス数が増大する。

【００２２】次に、前記図１の４個の経路選択回路２１
〜２４のハードウエア構成を例を挙げて説明する。

【００２３】図４は、図３に示す中間層１１と統合ニュ
ーロン３１との間における図１の経路選択回路２１の経
路選択を示す。図４に示すように、経路選択回路２１に
より中間層のアドレス０１０、０１１、１０１、１１１
の重要度が高いと判別されたシナプスだけが図３の統合
ニューロン３１に接続される。経路選択回路２２〜２４
に対しても同様に中間層の重要度が高いアドレスが選択
されて、対応する統合ニューロン３２〜３４に接続され
る。

【００２４】図５は、前記図４で示した経路選択回路２
１の再構成前と再構成後のアドレスの対応を示したアド
レス変換テーブル２１０を示す。同様に、各経路選択回
路２２〜２４に対してもアドレス変換テーブルを作成す
る。

【００２５】尚、図４及び図５では、８本のシナプスを
４本に圧縮する例を述べたが、認識すべき対象に対して
目標とする認識能力が得られる限り、一層少ないシナプ
ス数に圧縮することが可能である。

【００２６】（実施例２）図６は請求項２記載の発明の
実施例を示す。図６において、８００は中間層と出力層
との間の経路を重要度に応じて選択した再構成前のシナ
プスのアドレスを発生するアドレス発生器である。２０
０は図５で示したアドレス変換テーブル２１０を有する
アドレス変換テーブルメモリであって、入出力の組合せ
毎のアドレス変換テーブル２１０〜２４０からなり、前
記アドレス発生器８００から発生する再構成前のアドレ
スを受け、該再構成前のアドレスに対応する再構成後の
アドレスを出力するものである。また、４００は中間層
の各出力と出力層との間の経路の結合荷重のうち、図１
の重要度判定器５によって判定された重要度の高い結合
荷重のみを再構成前のアドレスに対応して記憶する結合
荷重メモリであって、入出力の組合せ毎の結合荷重テー
ブル４１０〜４４０からなり、前記アドレス発生器８０
０から発生する再構成前のアドレスに対応する結合係数
を出力するものである。７００は入力ベクトルｉ＝１，
ｉ＝２の入力ベクトルテーブル７１０，７２０を記憶す
る入力メモリ、１００は前記アドレス変換テーブルメモ
リ２００より出力される再構成後のアドレスに対応する
中間層の出力を演算する演算ユニットとしての中間層出
力演算回路であり、該中間層出力演算回路１００の出力
は、入力メモリ７００に記憶する入力ベクトルと、アド
レス変換テーブルメモリ２００より出力される再構成後
のアドレスにより一意的に定まる。９００は、前記中間
層出力演算回路１００より出力されるデータ（中間層の
出力）と、結合荷重メモリ４００より出力される結合荷
重との合成を行なう合成ユニットとしての合成部であ
る。該合成部９００は一般的に乗算器等が用いられる。
３００は図１の各出力ユニット３５，３６別に合成部９
００の出力を逐次的に統合する統合部である。該統合部
３００は、図１で示す統合ニューロン３１〜３６の役割
を果たし、図６の実施例では例えば統合ニューロン３
１、３２の役目を逐次的（順序的）に行なうものであ
る。６００は、前記統合部３００により一つの出力ユニ
ットに関して全ての統合化が終了した時点で、その統合
結果を記憶するものであって、一般的には累積加算器等
を用いる。アドレス発生器８００は、上記合成部９０
０、統合部３００を含む全てのユニットの制御を行う。

【００２７】続いて、図６における実施例の動作につい
て説明する。

【００２８】アドレス発生器８００は、再構成前のシナ
プスのうち、選択された重要度の高いシナプスのアドレ
スを順次出力し、結合荷重メモリ４００及びアドレス変
換テーブルメモリ２００に送られる。結合荷重メモリ４
００では、アドレス発生器８００から発生する再構成前
の重要度の高いアドレスに対応する結合荷重が読み出さ
れて、合成部９００に送られる。一方、アドレス変換テ
ーブルメモリ２００からは、中間層の再構成後のアドレ
スが出力されて、中間層出力演算回路１００に送られ
る。入力メモリ７００からはアドレス発生器８００から
発生する再構成前の重要度の高いアドレスに対応する入
力ベクトルのデータが出力され、中間層出力演算回路１
００に送られる。中間層出力演算回路１００では、前記
入力メモリ７００からの入力ベクトルのデータと、アド
レス変換テーブルメモリ２００からの中間層の再構成後
のアドレスとで一意的に定まる中間層の出力データが出
力され、合成部９００に送られる。合成部９００では、
前記結合荷重メモリ４００より出力される結合荷重デー
タと中間層出力演算回路１００より出力される中間層の
出力データとが合成され、その合成結果が統合部３００
に送られる。統合部３００では、出力ユニット毎に合成
部９００のデータが統合されて、出力メモリ６００に記
憶される。出力メモリ６００の出力結果が偽である時
は、教師信号により結合荷重メモリ４００の結合係数値
が更新される。

【００２９】したがって、本実施例においては、前記図
１で示したハードウエアを使用して経路選択回路２１〜
２４におけるアドレス変換対応テーブルを作成し、これ
が図６のアドレス変換テーブルメモリ２００に書き込ま
れているので、アドレス発生器８００から発生させるア
ドレス信号でもって再構成前の中間層と出力層との間の
重要度の高い経路を指定すると、演算すべきシナプスの
数の少ない限られたハードウエアでもって、認識すべき
対象が高い認識能力で高速に認識し得る。また、結合荷
重メモリ４００は、重要度の高い結合荷重のみを記憶す
るので、その容量が少なくて済み、小型の画像認識装置
等を提供できる。

【００３０】尚、本実施例では、図６において統合部３
００を１個設けたが、この統合部３００は、出力ユニッ
ト毎の中間層当り１個、又は入力層と出力ユニットとの
組合せ毎の中間層当り１個用意して、これ等中間層の出
力を統合させることも可能である。また、認識すべき対
象が固定である場合には、図６のアドレス変換テーブル
メモリ２００はＲＯＭで代用でき、該ＲＯＭを取り替え
れば各種の認識対象に対して固有の最適なネットワーク
を構築できる。

【００３１】また、本実施例の図６では、入力ベクトル
と出力ユニットとの組合せ毎にアドレス変換テーブル２
１０〜２４０を設けたが、各入力ベクトル毎又は各出力
ユニット毎にアドレス変換テーブルを設けてもよく、例
えば各入力ベクトル毎に用意する場合には、図６の２つ
のアドレス変換テーブル２１０，２３０の内容を等しく
したものに一致する。

【００３２】更に、以上の説明では、入力ベクトル数を
２、出力ベクトル数を２として説明したが、本発明はこ
れに限定されず、他のベクトル数としてもよいのは勿論
である。

【００３３】

【発明の効果】以上説明したように、請求項１記載の発
明によれば、学習された中間層と出力層との経路の結合
荷重の重要度を判定し、その重要度の高い経路を選択し
て、該選択された経路のみによるネットワークを再構成
したので、認識の対象データに対してシナプスの数を少
なく制限しながら認識効率の高い小型のニューラルネッ
トワーク回路を提供でき、演算速度の高速化を図ること
ができる。

【００３４】また、請求項２記載の発明によれば、前記
請求項１記載の発明の効果と同様に、シナプスの数の少
ない限られたハードウエアでもって、認識すべき対象を
高い認識能力で高速に認識し得るネットワークを提供で
きると共に、結合荷重メモリの容量を少なくして、小型
の画像認識装置等を提供でき、ネットワーク回路のハー
ドウェア規模の縮小化を図ることができる。

【図面の簡単な説明】

【図１】請求項１記載の発明の実施例におけるニューラ
ルネットワーク回路の構成図である。

【図２】同実施例における再構成前のニューラルネット
ワーク回路を示す図である。

【図３】同実施例における再構成後のニューラルネット
ワーク回路を示す図である。

【図４】同実施例における経路選択回路の説明図であ
る。

【図５】図４の経路選択回路をハードウェア構成する場
合のアドレス変換テーブルを示す図である。

【図６】請求項２記載の発明の実施例におけるニューラ
ルネットワーク回路の構成図である。

【図７】従来例を示す多層型のニューラルネットワーク
回路の一般的回路を示す図である。

【図８】木分岐構造の多層型のニューラルネットワーク
回路を示す図である。

【図９】出力層を２階層とした木分岐構造の多層型のニ
ューラルネットワーク回路を示す図である。

【符号の説明】

４シナプス群５重要度判定器１１、１２中間層１１-11 〜１１-38 分岐ニューロン素子１２-11 〜１２-38 分岐ニューロン素子２１〜２４経路選択回路３１〜３６統合ニューロン４１〜４３シナプス群１００中間層出力演算回路（演算ユニ
ット）１１１〜１３２ニューロン素子２００アドレス変換テーブルメモリ２１０〜２４０アドレス変換テーブル３００統合部（統合ユニット）３１０〜３４０統合ニューロン素子４００〜４４０結合荷重メモリ６００〜６２０出力メモリ７００〜７２０入力メモリ８００アドレス発生器９００合成部（合成ユニット）

───────────────────────────────────────────────────── フロントページの続き (72)発明者中平博幸大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】単一又は複数個の入力ベクトルを持つ入
力層と、出力が前記入力層の入力ベクトルの値により一
意的に定まる木分岐構造のネットワークを前記入力層の
入力ベクトルの数だけ持つ中間層と、該各中間層の出力
を該各出力に対応する結合荷重でもって統合する単一又
は複数個の出力ユニットを持つ出力層とを有し、前記中
間層の各出力と前記出力層との経路の結合荷重を学習す
るようにした多層型のニューラルネットワークにおい
て、前記入力層の各入力ベクトル毎に、若しくは前記出力層
の各出力ユニット毎に、又は該各入力ベクトルと出力ユ
ニットとの組合せ毎に、学習された前記中間層と出力層
との経路の結合荷重の重要度を判定する重要度判定器
と、該重要度判定器の出力により前記中間層と出力層と
の経路のうち重要度の高い経路を選択し、該選択された
経路のみによるネットワークを再構成する経路選択回路
とを有することを特徴とする多層型のニューラルネット
ワーク回路。
【請求項２】単一又は複数個の入力ベクトルを持つ入
力層と、出力が前記入力層の入力ベクトルの値により一
意的に定まる木分岐構造のネットワークを前記入力層の
入力ベクトルの数だけ持つ中間層と、該各中間層の出力
を該各出力に対応する結合荷重でもって統合する単一又
は複数個の出力ユニットを持つ出力層とを有し、前記中
間層の各出力と前記出力層との経路の結合荷重を学習す
る多層型のニューラルネットワークであって、前記入力
層の各入力ベクトル毎に、若しくは前記出力層の各出力
ユニット毎に、又は該各入力ベクトルと出力ユニットと
の組合せ毎に、学習された前記中間層と出力層との経路
の結合荷重の重要度を判定して結合荷重の重要度の高い
経路を選択し、該選択された経路のみによるネットワー
クを再構成するようにした多層型のニューラルネットワ
ーク回路において、前記中間層の再構成前の重要度の
高い各出力経路のアドレスと前記中間層の再構成後の各
出力経路のアドレスとの対応関係を記憶するアドレス変
換テーブルメモリを備えるとともに、前記中間層の再構
成前の重要度の高い各出力経路のアドレスに対応する結
合荷重を記憶し、前記中間層の再構成前の重要度の高い
各出力経路のアドレスに対応する結合荷重が読み出され
る結合荷重メモリと、前記アドレス変換テーブルメモリ
から出力される中間層の再構成後の各出力の経路のアド
レスに対応する中間層の出力を演算する演算ユニット
と、前記結合荷重メモリの結合荷重と前記中間層の出力
とを合成する合成ユニットと、前記各出力ユニット毎に
前記合成ユニットによる再構成後の前記中間層の全ての
合成結果を逐次的に統合する単数又は複数の統合ユニッ
トとを有することを特徴とする多層型のニューラルネッ
トワーク回路。