JP2542107B2

JP2542107B2 - ニュ―ラルネットワ―ク回路

Info

Publication number: JP2542107B2
Application number: JP2179665A
Authority: JP
Inventors: 国治内村; 修斉藤; 好仁雨宮; 穆岩田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1990-07-09
Filing date: 1990-07-09
Publication date: 1996-10-09
Anticipated expiration: 2011-10-09
Also published as: JPH0467257A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、単位回路である多数のニューロン回路の入
出力端子間を接続することによってネットワーク回路を
構成したニューラルネットワーク回路に関する。

〔従来の技術〕ニューラルネットワーク回路は生物の神経回路網をモ
デル化して、従来のノイマン形計算機では難しかった文
字認識や音声認識などのパターン認識処理、最適化問
題、ロボット制御などを実現するものである。従来のノ
イマン形計算機ではプログラムに従って逐次処理するた
め計算時間が膨大だったのに対して、ニューラルネット
ワーク回路ではニューロン回路が並列に演算を実行でき
るので処理速度が極めて高速になる特徴がある。また、
ニューラルネットワーク回路の機能は、学習によってニ
ューロン間の接続状態を変えることによって実現され
る。このため、処理手順がルール化しにくい問題でも学
習教材さえあれば機能を実現できる特徴がある。学習を
常に行いながら作動させると、環境の変化によって時間
とともに望ましい機能が変化しても、それに追従するこ
とができるなどの柔軟なシステムが構築できるものであ
る。さらに、同一のニューロン回路を多数接続してネッ
トワークを構成するため、故障した回路があっても他の
正常な回路に簡単に置き換えて動作できるので、LSI化
する場合などに高い欠陥耐性を実現できる。本発明はこ
のようなニューラルネットワーク回路をLSI化する場合
に適し、少数のニューロン回路で高い性能の得られる構
成法に関するものである。

ニューラルネットワーク回路は神経細胞に相当するニ
ューロン回路を単位として、ニューロン回路を多数接続
して構成される。第10図に、１個のニューロン回路の記
号を示す。１個のニューロン回路は複数の入力端子から
の信号を受けて、それぞれの入力信号に対して荷重係数
を持っており、荷重係数に応じて結合の強さを変えた
り、入力との誤差を計算し、その結果を全て加算して出
力を決定する。このニューロン回路の接続によりニュー
ラルネットワーク回路の構造がきまるが、最も簡単な構
造は第11図に示すような２層構造のニューラルネットワ
ーク回路である。入力端子の層を入力層あるいは第１
層、ニューロン回路の層を第２層あるいは出力層と言っ
ている。それぞれの入力端子の信号は全てのニューロン
回路に並列に入力されており、それぞれにニューロン回
路は並列に入力信号を処理できるようになっている。入
力信号が加えられると、特定のニューロン回路が反応し
て認識などの処理が実現される。

しかし、２層構造のニューラルネットワークでは処理
能力はあまり大きくないので、一般的には、第12図に示
すような３層構造のニューラルネットワークを使う場合
が多い。３層構造の場合には、第２層のニューロン回路
の層を中間層あるいは隠れ層、第３層のニューン回路の
層を出力層と呼んでいる。この第３層は第２層のニュー
ロン回路の出力を入力として、第２層と全く同じ構造を
持つ場合と異なる構造を持つ場合がある。同じ構造の場
合にはそれぞれの中間層の出力信号は全ての出力層のニ
ューロン回路に入力されるが、第12図に示すように出力
層のニューロン回路をOR論理処理のみの簡単な構造にす
ることができる。この場合には中間層の出力は１個の出
力層のニューロン回路に接続されるだけなので回路規模
は大幅に低減できるとともに、パターン認識などに使う
場合には十分な能力を維持している。しかし、複雑な処
理に対応するためには、ネットワークの構造も複雑なも
のが使用されるのが一般的であり、ニューロン回路の出
力が帰還されたり、３層以上の多層構造が使用された
り、複数のネットワーク回路を組み合わせたりされる。

従来のニューラルネットワーク回路で使用されていた
ニューロン回路を第13図に示す。また、本発明者らによ
り発明されたニューロン回路を第14図に示す。ｎ個の入
力に対応して、ｎ個の荷重係数（w1〜wn）を持ち、減算
回路は入力信号と荷重係数の差を求め、その結果を２乗
回路で２乗するか絶対値回路で絶対値を計算し、それぞ
れの入力と荷重係数に対する演算結果を全て加算回路に
よって累積し、その結果の大きさによって出力値が決定
される。出力値を最終的に決定する閾値回路は、第15図
（ａ）〜（ｃ）に示すような伝達特性をもっている。
（ａ）はステップ関数形、（ｂ）は折れ線形、（ｃ）は
シグモイド関数形である。第15図（ｃ）のシグモイド関
数形がもっとも汎用性が高いが、演算が複雑であるので
（ａ）、（ｂ）のような簡単化したものも使用できる。

〔発明が解決しようとする課題〕

第13、14図のニューロン回路を用いて、第12図のネッ
トワーク回路を構成したものはパターン認識に多く使用
される。入力層に入力されたパターンによってニューロ
ン回路が反応して認識を行う。入力信号の数に応じた次
元数の多次元空間を認識する多数の領域に区切るように
ニューロン回路の荷重係数が決められていると、入力パ
ターンを含む領域を形成するニューロン回路が反応す
る。

入力数が２個の場合、１個のニューロン回路が形成す
る領域の形状は、第13図の従来形の場合には第４図に示
すように円状になる。例えば、入力１、２の値が円内の
部分に含まれる場合にニューロン回路が反応するように
するには、荷重係数w1、w2の値を円の中心点に設定して
ベクトルＷを決め、閾値回路のスレショルドレベルｈの
大きさを半径に設定すればよい。つまり、ベクトルＷと
入力ベクトルの距離を計算し、距離がスレショルドレベ
ルｈ以内であればニューロン回路が反応出力（Low）を
出している。従って、ベクトルＷから等距離になる半径
ｈの円が境界になる。入力数が３個の場合の識別領域は
球状になり、４個以上では超球面になる。また、第14図
のニューロン回路では、入力数が２個の場合、１個のニ
ューロン回路が形成する領域の形状は第５図に示すよう
に四角形になる。入力数が３個の場合には８面体にな
り、４個以上では超多面体になり、閾値回路の伝達特性
を第15図（ａ）のステップ関数形に設定すると、識別領
域の境界は明確になるし、第15図（ｂ）、（ｃ）の特性
に設定すると境界は幅を持つことになる。識別できる領
域数はニューロン回路数が増えるほど多くなる。

ところが、任意の形状の識別領域に対応するには、第
12図のように出力層でOR処理を行うことにより、識別領
域を複数の超球面の集まりとして形成する。第７図
（ａ）は、多数のニューロン回路を用いて任意の形状の
目標識別領域に対応したときの例であるが、精度良く目
標形状に合致させるには円形の重なりが多くなり、極め
て多数のニューロン回路が必要になる問題があった。こ
のため、装置が極めて大型化したり、消費電力も極めて
大きくなる問題があった。

本発明の目的は、従来の識別領域形状が固定のニュー
ロン回路では極めて多数のニューロン回路数を必要にし
ていた任意形状の識別領域を、少ないニューロン回路数
で実現できる高機能なニューロン回路を作製することに
ある。

〔課題を解決するための手段〕

上記の目的を達成するために、本発明は、ｎ個の入力
端子と（ｎは１以上の整数）、上記入力端子のそれぞれ
に対応して２個ずつ、合計2n個の荷重係数と、上記２個
の荷重係数から成る各組のうち大きい値の荷重係数をw
H、小さい値の荷重係数をwLとして、（入力信号−wH）
を求める減算回路と、（wL−入力信号）を求める減算回
路と、それぞれの減算結果の正の値だけを通過させる整
流回路と、上記整流回路の出力をそれぞれ非線形特性回
路を経た後または直接に全て累積する加算回路と、上記
累積結果が非線形特性回路を経た後または直接に入力さ
れる閾値回路とを有し、上記閾値回路の出力値を出力信
号とするニューロン回路を単位回路として、ｋ個（ｋは１以上の整数）の上記単位回路の並列接続
でニューラルネットワーク回路を構成し、該ニューラルネットワーク回路のｍ個（ｍは１以上ｎ
以下の整数）の入力端子には、上記単位回路のそれぞれ
ｎ個の入力端子が接続され、また、該ニューラルネット
ワーク回路のｐ個（ｐは１以上ｋ以下の整数）の出力端
子には、上記ｋ個の単位回路の出力端子が接続され、それぞれの上記単位回路の上記荷重係数と上記閾値回
路の閾値の大きさによって、上記ニューラルネットワー
ク回路の機能を制御することを特徴とする。

〔作用〕

従来のニューロン回路では識別領域形状が固定である
ために任意形状の識別領域を形成するのに極めて多数の
ニューロン回路数を必要にしていた。そこで、本発明で
は従来形の２倍の荷重係数を持つニューロン回路によ
り、１個のニューロン回路の識別領域形状を可変にし
て、少ないニューロン回路数で任意形状の識別領域を形
成できるようにした。

〔実施例〕

本発明のニューロン回路の例を第１、２図に示す。ｎ
個の入力端子と（ｎは１以上の整数）、それぞれの入力
端子に対応して２個ずつの合計2n個の荷重係数を持ち、
２個の組のうち大きい値の荷重係数をwH、小さい値の荷
重係数をwLとすると、減算回路は（入力信号−wH）と
（wL−入力信号）を求めており、それぞれの減算結果の
正の値だけを通過させる整流回路を持っている。それぞ
れの入力と荷重係数に対する演算結果を全て加算回路に
よって累積し、その結果によって出力値が決定されるの
は従来と同じである。出力値を最終的に決定する閾値回
路は、従来回路と同様に第15図に示すような伝達特性を
もっている。

第14図のニューロン回路における入力部分の伝達特性
を第３図（ａ）に示す。減算回路と絶対値回路の特性
は、入力信号に対して荷重係数ｗ以下の部分で極性が反
転するのでＶ字形の特性を持っている。第13図の２乗回
路を持つニューロン回路では、これが放物線特性にな
る。これに対して、本発明による第２図のニューロン回
路では１個の入力に対してwH、wLの２個の荷重係数を持
っているので、入力部分の特性は第３図（ｂ）のような
特性になる。wHとwLの間の入力に対して出力レベルがゼ
ロになる。wH以上とwL以下については従来と同様な特性
である。また、本発明による第１図のニューロン回路で
は２乗回路によって、wH以上とwL以下の直線部分が放物
曲線になる。

入力数が２個の場合、第１、２図の本発明によるニュ
ーロン回路では、第１のニューロン回路が形成する領域
の形状は、第６図に示すような形状になる。荷重係数wH
1、wH2の値のベクトルWHと、荷重係数wL1、wL2の値のベ
クトルWLと２個のベクトルを１個のニューロン回路がも
っており、入力１＜wL1、入力２＜wL2、の領域と、入力
１＜wL1、入力２＞wH2、の領域と、入力１＞wH1、入力
２＜wL2、の領域と、入力１＞wH1、入力２＞wH2、の領
域の４領域では、従来形と同じ特性を示すが、それ以外
の部分では、入力１がwL1からwH1までのときには入力１
に対する演算結果はゼロなので入力２だけで識別領域の
範囲が決まり、閾値回路がLowを出力するのは（wL2−
ｈ）から（wH2＋ｈ）の範囲になる。また、入力２がwL2
からwH2までのときには入力２に対する演算結果はゼロ
なので入力１だけで識別領域の範囲が決まり、閾値回路
がLowを出力するのは（wL1−ｈ）から（wH1＋ｈ）の範
囲になる。従って、その両者を合わせた領域は第12図に
示すような形状になる。この（wL1、wL2）と（wH1、wH
2）の２点を対角線とする四角形は正方形ではなく長方
形であり、その形状は荷重係数によって制御できること
が明らかである。入力数が３個の場合の識別領域は直方
体に厚さｈの周辺部を含む形状になり、４個以上では超
直方体に厚さｈの周辺部を含む形状になる。

本発明によるニューロン回路の識別領域の形状は、第
６図に示すようになることを説明したが、この形状はベ
クトルWLとWHがほぼ等しい場合には従来形ニューロン回
路の識別領域の形状に近くなり、閾値レベルｈが小さけ
ればその形状はほとんど長方形になる。このように、本
発明のニューロン回路の識別領域の形状は自由度の高い
ものになっている。

従って、第６図に任意形状を目標識別領域にして、従
来形と本発明のニューロン回路で対応した例を示す。従
来形では前記したように多数のニューロン回路が必要で
あったのが、本発明では極めて少数のニューロン回路で
済むことがわかる。さらに、実際の応用ではパターン認
識に全ての入力データが有効に利用できるわけではな
く、パターンの特徴情報を抽出して利用されるので、不
必要な入力データが含まれていることが多い。第８図
（ａ）、（ｂ）は入力２の値が意味のないデータであっ
た場合の例である。識別領域は入力１で決まり、入力２
に関しては全ての範囲が領域に含まれる。このため、入
力２の方向に長い領域を実現しなければならない。とこ
ろが、入力２を表現しているディジタル信号のビット数
が大きい場合や、浮動小数点表現である場合には入力２
の範囲は極めて広く、入力１の識別領域の幅が小さけれ
ば小さな半径の円で識別領域を埋めつくす必要があり、
極めて多数のニューロン回路が必要になる。現実問題と
しては、ニューロン数に比例して回路規模が大きくな
り、ニューロン数には限界があるので、逆に入力信号の
範囲を狭くすることで対処せざるを得ない。入力信号の
範囲を狭くすると、信号精度（分解能）が低下するの
で、精度の良いパターン認識はできなくなる。これに対
して、本発明ではこのような場合も入力信号の範囲に関
係なく１個のニューロン回路で対処できるので、必要な
ニューロン数の低減効果は極めて大きい利点がある。さ
らに、パターン認識の精度を大きく改善できることも明
らかである。

ディジタル回路によって本発明によるニューラルネッ
トワーク回路を実現する場合のニューロン回路の構成例
を第９図に示す。第９図ではニューロン回路の入力部分
であるｉ番目の入力と荷重係数に対する演算回路と１か
らｎまでの演算結果の累積を行うｉ番目の加算器のみを
示している。入力信号と荷重係数の減算を実行する加算
回路のキャリー出力（Co）が“1"のときに演算結果が負
数であるので、整流回路はANDゲート回路を用いて負数
が伝達しないようになっている。また、wHとwLの係数に
対する演算結果のうち少なくとも１個はゼロ出力である
ので、両者の加算はORゲートで簡単に実現できるので、
累積に使用する加算回路の個数は従来形より増加しな
い。従って、本発明の１個のニューロン回路の回路規模
は従来形に対して荷重係数の演算に使用する加算回路が
１個から２個に増加するのみである。

ニューロン回路全体で回路規模を比較すると、第１図
の実施例では２乗回路が１入力につき２個必要であるよ
うに書かれているが、第９図のような構成をとればOR回
路で加算したあとに２乗回路を配置しても同じ演算がで
きるので、２乗回路は１入力につき１個になり、従来形
と同じである。加算器と２乗回路の回路規模を比較する
と２乗回路の方が圧倒的に大きいので、本発明の１個の
ニューロン回路の回路規模増加の割合は小さい。第８図
の実施例では２乗回路がないので、もともと回路規模が
小さい構成であったので、増加率は約1.5倍になる。

以上説明したように、１個のニューロン回路の回路規
模の増加は1.5倍あるいはそれ以下であるのに対して、
必要なニューロン数の低減効果は応用により大きく違う
が、規模の大きなニューラルネットワーク回路ほど低減
効果は大きく、1/100〜1/10000以上になると考えられる
ので、本発明のニューラルネットワーク回路としての回
路規模の低減効果は極めて大きい。

ニューラルネットワーク回路をハード化するとき、必
要なニューロン回路数は応用によって異なるが、一般的
にはニューロン回路数が大きいほど処理能力は向上す
る。そのため、LSI化によって多数のニューロン回路を
搭載したニューラルネットワーク回路の実現が期待され
ている。しかし、チップサイズの制限によって１チップ
に搭載できる回路規模は限られているし、放熱や実装の
問題から１チップで消費できる電力も制限がある。従っ
て、LSI化されたニューラルネットワーク回路が実用的
な性能を発揮するために、ニューロン回路の回路規模と
消費電力の低減が最も重要な課題になっている。このた
め、本発明のニューロン回路を用いることにより、ニュ
ーラルネットワーク回路が実用的なレベルまで性能が向
上する効果は極めて大きい。

以上本発明を上記実施例に基づいて具体的に説明した
が、本発明は上記実施例に限定されるものではなく、そ
の要旨を逸脱しない範囲において種々変更可能であるこ
とは勿論である。

〔発明の効果〕

以上説明したように、本発明のニューラルネットワー
ク回路では、必要なニューロン回路数を大幅に低減で
き、かつパターン認識の精度を大きく改善できるととも
に、回路規模を低減できる。

【図面の簡単な説明】

第１図は本発明の超球面識別形ニューロン回路の構成の
一例を示す図、第２図は本発明の超多面体識別形ニュー
ロン回路の構成の一例を示す図、第３図（ａ）、（ｂ）
はニューロン回路の入力部の伝達特性を示す図で、
（ａ）は減算回路と絶対値回路の特性を示し、（ｂ）は
減算回路と整流回路の特性を示し、第４図は従来の超球
面識別形ニューロン回路の識別領域（２入力の場合）を
示す図、第５図は従来の超多面体識別形ニューロン回路
の識別領域（２入力の場合）を示す図、第６図（ａ）、
（ｂ）は本発明によるニューロン回路の識別領域の形状
（２入力の場合）を示す図で、（ａ）は超球面形を示
し、（ｂ）は超多面体形を示し、第７図（ａ）、（ｂ）
は複数のニューロン回路による識別領域の第１の形成例
（２入力の場合）を示す図で、（ａ）は従来形を示し、
（ｂ）は本発明を示し、第８図（ａ）、（ｂ）は複数の
ニューロン回路による識別領域の第２の形成例を示す図
で、（ａ）は従来形を示し、（ｂ）は本発明を示し、第
９図は本発明の超多面体識別形ニューロン回路の演算回
路の構成例を示す図、第10図はニューロン回路の記号を
示す図、第11図は２層構造のニューラルネットワーク回
路の構成を示す図、第12図は３層構造のニューラルネッ
トワーク回路（OR処理出力形）の構成を示す図、第13図
は従来の超球面識別形ニューロン回路の構成を示す図、
第14図は従来の超多面体識別形ニューロン回路の構成を
示す図、第15図（ａ）、（ｂ）、（ｃ）は閾値回路の伝
達特性を示す図で、（ａ）はステップ関数形、（ｂ）は
折れ線形、（ｃ）はシグモイド関数形を示す。

Claims

(57)【特許請求の範囲】

【請求項１】ｎ個の入力端子と（ｎは１以上の整数）、
上記入力端子のそれぞれに対応して２個ずつ、合計2n個
の荷重係数と、上記２個の荷重係数から成る各組のうち
大きい値の荷重係数をwH、小さい値の荷重係数をwLとし
て、（入力信号−wH）を求める減算回路と、（wL−入力
信号）を求める減算回路と、それぞれの減算結果の正の
値だけを通過させる整流回路と、上記整流回路の出力を
それぞれ非線形特性回路を経た後または直接に全て累積
する加算回路と、上記累積結果が非線形特性回路を経た
後または直接に入力される閾値回路とを有し、上記閾値
回路の出力値を出力信号とするニューロン回路を単位回
路として、ｋ個（ｋは１以上の整数）の上記単位回路の並列接続で
ニューラルネットワーク回路を構成し、該ニューラルネットワーク回路のｍ個（ｍは１以上ｎ以
下の整数）の入力端子には、上記単位回路のそれぞれｎ
個の入力端子が接続され、また、該ニューラルネットワ
ーク回路のｐ個（ｐは１以上ｋ以下の整数）の出力端子
には、上記ｋ個の単位回路の出力端子が接続され、それぞれの上記単位回路の上記荷重係数と上記閾値回路
の閾値の大きさによって、上記ニューラルネットワーク
回路の機能を制御することを特徴とするニューラルネッ
トワーク回路。