JPH0467258A - ニューラルネットワーク回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、単位回路である多数のニューロン回路の入出
力端子間を接続することによってネットワーク回路を構
成したニューラルネットワーク回路に関する。

〔従来の技術〕

ニューラルネットワーク回路は生物の神経回路網をモデ
ル化して、従来のノイマン形計算機では難しかった文字
認識や音声認識などのパターン認識処理、最適化問題、
ロボット制御などを実現するものである。従来のノイマ
ン形計算機ではプログラムに従って逐次処理するため計
算時間が膨大だったのに対して、ニューラルネットワー
ク回路ではニューロン回路が並列に演算を実行できるの
で処理速度が極めて高速になる特徴がある。また、ニュ
ーラルネットワーク回路の機能は、学習によってニュー
ロン間の接続状態を変えることによって実現される。こ
のため、処理手順がルール化しにくい問題でも学習教材
さえあれば機能を実現できる特徴がある。学習を常に行
いながら動作させると、環境の変化によって時間ととも
に望ましい機能が変化しても、それに追従することがで
きるなどの柔軟なシステムが構築できるものである。

さらに、同一のニューロン回路を多数接続してネットワ
ークを構成するため、故障した回路があっても他の正常
な回路に簡単に置き換えて動作できるので、ＬＳＩ化す
る場合などに高い欠陥耐性を実現できる。本発明はこの
ようなニューラルネットワーク回路をＬＳＩ化する場合
に適し、回路規模と消費電力の小さいニューロン回路の
構成法に関するものである。

ニューラルネットワーク回路は神経細胞に相当するニュ
ーロン回路を単位として、ニューロン回路を多数接続し
て構成される。第６図に、１個のニューロン回路の記号
を示す。１個のニューロン回路は、複数の入力端子から
の信号を受けて、それぞれの入力信号に対して荷重係数
を持っており、荷重係数に応じて結合の強さを変えたり
、入力との誤差を計算し、その結果を全て加算して出力
を決定する。このニューロン回路の接続によりニューラ
ルネットワーク回路の構造がきまるが、最も簡単な構造
は第７図に示すような２層構造のニューラルネットワー
ク回路である。入力端子の層を入力層あるいは第１層、
ニューロン回路の層を第２層あるいは出力層と言ってい
る。それぞれの入力端子の信号は全てのニューロン回路
に並列に入力されており、それぞれにニューロン回路は
並列に入力信号を処理できるようになっている。入力信
号が加えられると、特定のニューロン回路が反応して認
識などの処理が実現される。

しかし、２層構造のニューラルネットワークでは処理能
力はあまり大きくないので、一般的には、第８図に示す
ような３層構造のニューラルネットワークを使う場合が
多い。３層構造の場合には、第２層のニューロン回路の
層を中間層あるいは隠れ層、第３層のニューロン回路の
層を出力層と呼んでいる。この第３層は第２層のニュー
ロン回路の出力を入力として、第２層と全く同じ構造を
持つ場合と異なる構造を持つ場合がある。同じ構造の場
合にはそれぞれの中間層の出力信号は全ての出力層のニ
ューロン回路に入力されるが、第８図に示すように出力
層のニューロン回路をＯＲ論理処理のみの簡単な構造に
することができる。この場合には、中間層の出力は１個
の出力層のニューロン回路に接続されるだけなので回路
規模は大幅に低減できるとともに、パターン認識などに
使う場合には十分な能力を維持している。しかし、複雑
な処理に対応するためには、ネットワークの構造も複雑
なものが使用されるのが一般的であり、ニューロン回路
の出力が帰還されたり、３層以上の多層構造が使用され
たり、複数のネットワーク回路を組み合わせたりされる
。

従来のニューラルネットワーク回路で使用されていたニ
ューロン回路を第９図に示す。ｎ個の入力に対応して、
ｎ個の荷重係数（ｗ　１　％　ｗｎ）を持ち、減算回路
は入力信号と荷重係数の差を求め、その結果を２乗回路
で２乗して、それぞれの入力と荷重係数に対する演算結
果を全て加算回路によって累積し、その結果の平方根の
大きさによって出力値が決定される。出力値を最終的に
決定する閾値回路は、第１０図（ａ）〜（Ｃ）に示すよ
うな伝達特性をもっている。（ａ）はステップ関数形、
（ｂ）は折線形、（ｃ）はシグモイド関数形である。第
１０図（ｃ）のシグモイド関数形がもっとも汎用性が高
いが、演算が複雑であるので、（ａ）、（ｂ）のような
簡単化したものも使用できる。

〔発明が解決しようとする課題〕

第９図のニューロン回路を用いて、第８図の３層構造の
ネットワーク回路を構成したものはパターン認識等に使
用される。第３図の構成で中間層のニューロン回路の個
数をｈ個、入力層の入力端子数をｎ個とすると、荷重係
数はｎ−ｈ個だけ存在し、この個数だけ減算回路と２乗
回路が必要になる。パターン認識の対象数が多くなるに
ともなって中間層のニューロン数りは大きくなるため、
極めて多数の減算回路と２乗回路が必要になることがわ
かる。特に、ディジタル回路でニューラルネットワーク
回路を実現する場合には、乗算回路を使う２乗回路の回
路規模が極めて大きいため、装置が極めて大型化したり
、多数のニューロン回路をＬＳＩ化できない欠点があっ
た。また、２乗回路は回路規模だけでなく、消費電力も
大きな回路であり、極めて多数の２乗回路が同時に動作
することによって全体の消費電力は極めて大きくなる欠
点もあった。

本発明の目的は、従来の２乗回路を使用していたニュー
ロン回路で構成されたニューラルネットワーク回路と同
等の機能を持ち、回路規模と消費電力の低減を図ったニ
ューラルネットワーク回路を実現することにある。

〔課題を解決するための手段〕

上記の目的を解決するために、本発明は、ｎ個の入力端
子と（ｎは１以上の整数）、上記入力端子のそれぞれに
対応するｎ個の荷重係数と、入力信号と上記荷重係数の
差を求める減算回路と、上記減算結果の絶対値を求める
絶対値回路と、上記絶対値演算の結果の全てを累積する
加算回路と、上記累積結果が入力される閾値回路とを有
し、かつ上記閾値回路の出力値を出力信号とするニュー
ロン回路を単位回路として、多数の上記ニューロン回路
の入呂力端子間を接続することによってネットワーク回
路を構成し、上記ネットワーク回路に入力されたｍ個（
ｍは１以上の整数）の入力信号に対してそれぞれ独自の
上記荷重係数を持つ上記ニューロン回路が演算を実行し
、上記ネットワーク回路内の全て、または一部の上記ニ
ューロン回路の出力値を上記ネットワーク回路の出力信
号とし、それぞれの上記ニューロン回路の上記荷重係数
と上記閾値回路の閾値の大きさによって上記ネットワー
ク回路の機能を制御することを特徴とする。

［作用］ 本発明は、従来形のニューロン回路で使用していた２乗
回路を、同様な機能を有し、回路規模の小さい絶対値回
路に置き換えることにより２乗回路を不要にしたので、
回路規模と消費電力の低減を図ることができる。

［実施例］ 本発明のニューロン回路の一例を第１図に示す。

ｎ個の入力に対応して、ｎ個の荷重係数（ｗｌ〜ｗ　ｎ
　）を持ち、減算回路は入力信号と荷重係数の差を求め
、その結果を絶対値回路に入力し、それぞれの入力と荷
重係数に対する絶対値回路の出力を全て加算回路によっ
て累積し、その結果によって出力値が決定される。出力
値を最終的に決定する閾値回路は、従来回路と同様に第
１０図（ａ）〜（ｃ）に示すような伝達特性をもってい
る。第９図の従来のニューロン回路と比較すると、２乗
回路が絶対値回路に置き変わり、平方根回路が省略され
ている点が異なっている。

第９図の従来のニューロン回路あるいは第１図の本発明
のニューロン回路を用いて、第８図のネットワーク回路
を構成したものはパターン認識に多く使用される。入力
層に入力されたパターンによってニューロン回路が反応
して認識を行う。入力信号の数に応じた次元数の多次元
空間を認識する多数の領域に区切るようにニューロン回
路の荷重係数が決められていると、入カバターンを含む
領域を形成するニューロン回路が反応する。

入力数が２個の場合、１個のニューロン回路が形成する
領域の形状は、第９図の従来形の場合には第２図に示す
ように円状になる。例えば、入力ｌ、２の値が円内の部
分に含まれる場合にニューロン回路が反応するようにす
るには、荷重係数ｗ１、Ｗ２の値を円の中心点に設定し
てベクトルＷを決め、閾値回路のスレショルドレベルｈ
の大きさを半径に設定すればよい。つまり、ベクトルＷ
と入力ベクトルの距離を計算し、距離がスレショルドレ
ベルｈ以内であればニューロン回路が反応出力（Ｌｏｗ
）を呂している。従って、ベクトルＷから等距離になる
半径りの円が境界になる。閾値回路の伝達特性を第１Ｏ
図（ａ）のステップ関数形に設定すると、識別領域の境
界は明確になるし、第１０図（ｂ）、（Ｃ）の特性に設
定すると境界は幅を持つことになる。入力数が３個の場
合の識別領域は球状になり、４個以上では超球面になる
。識別できる領域数はニューロン回路数が増えるほど多
くなる。また、第８図のように出力層でＯＲ処理を行う
ことにより、識別領域を複数の超球面の集まりとして形
成できるので、多数のニューロン回路を用いれば任意の
形状の識別領域に対応できる。

本発明による第１図のニューロン回路では、入力数が２
個の場合、１個のニューロン回路が形成する領域の形状
は第３図に示すように四角形になる。第１図のニューロ
ン回路では入力と荷重係数の差の絶対値を加算し、その
総和が閾値回路のスレショルドレベルｈより小さければ
反応出力を出している。その境界は入力ｌをＸ、入力２
をＹとすると、 Ｘ−ｗｌ　　　＋　　Ｙ−ｗ２　　　＝ｈの直線で表わ
される。従って、入力数が２個の場合には第３図のよう
に四角形になり、入力数が３個の場合には８面体になり
、４個以上では越冬面体になる。

本発明と従来回路の識別領域を比較した場合に、識別領
域の形状が異なっている点を除くと全く同じ機能を持っ
ている。任意の形状の識別領域に対応するために複数の
ニューロン回路を使う場合、超球面でも越冬面体でも接
するように並べたのでは隙間ができるので重なりを作る
必要がある。重なった部分については２種類のニューロ
ン回路の識別領域の形状の差はあまりなくなる。つまり
、任意の形状の表面のでこぼこの形状が異なるに過ぎな
いので２種類のニューロン回路の識別領域の形状の違い
による性能の差はほとんど無いと考えられる。以上説明
したように、本発明のニューロン回路は従来のニューロ
ン回路とほとんど同じ機能を持っていることが明らかで
ある。

ディジタル回路によってニューラルネットワーク回路を
実現する場合のニューロン回路の構成例は従来形では第
４図に示すようになり、本発明では第５図に示すように
なる。第４．５図では１番目の入力と荷重係数に対する
演算回路と１からｎまでの演算結果の累積を行うｉ＃目
の加算器のみを示しており、ニューロン回路の入力部分
を示している。第４．５図を比較すると従来回路の２乗
回路と、本発明の絶対値回路の部分が異なっている以外
は同じ構成である。従来回路の２乗回路は乗算器のＡ、
Ｂの２個の入力端子に同じ信号を入力することによって
実現されているのに対して、本発明の絶対値回路は第５
図に示すようにＥＸ−ＯＲ論理（排他的論理和）ゲート
のみで構成される。入力ｉと荷重係数ｗｉの差を加算回
路で演算すると、演算結果が正数の場合にはキャリー出
力（Ｃｏ）がＩＩ　Ｑ　ＩＩになり、演算結果が負数の
場合にはキャリー出力（Ｃｏ）が“１″になる。２の補
数表示２進ディジタル信号で、負数を正数に変換するに
は各ビット信号を反転して、ｉｔ　Ｉ　ＩＩを加算すれ
ば良い。従って、上記Ｃｏが“ｌ”のときのみＥＸ−Ｏ
Ｒゲートを用いて各ビット信号を反転し、累積を行う加
算回路のキャリー人力（Ｃｉｎ）を利角して“１″の加
算を行うことが可能である。

第４．５図では、信号は４ビツトの２進デイジタルの時
の例であるが、これは図を簡単にするためで、一般的に
は８ビツト以上の精度の２進ディジタル信号が使用され
る。ディジタル信号のビット数をＮｂ１ｔとすると、加
算回路を構成するのに必要なトランジスタ数Ｎａは次式
で概算できる。

Ｎ　ａ　＝２８Ｎｂｉｔ また、乗算回路を構成するのに必要なトランジスタ数Ｎ
ｍは次式で概算できる。

Ｎｍ＝２６Ｎｂｉｔ” さらに、絶対値回路を構成するのに必要なトランジスタ
数Ｎｚは次式で概算できる。

Ｎ　ｚ　＝１６Ｎｂｉｔ 必要なトランジスタ数を８ビツト、１６ビツトの場合を
例に試算してみると、 Ｎｂ１ｔ＝８の場合、Ｎ　ａ　＝２２４、Ｎ　ｍ　＝　
１６６４、Ｎｚ＝１２８ Ｎｂ１ｔ＝８６の場合、Ｎ　ａ　＝４４８、Ｎｍ＝６６
５６、Ｎｚ＝２５６ ビット数が大きくなるにともなって、加算回路や絶対値
回路に比べて乗算回路が極めて大きな回路規模になるこ
とが明らかである。このように、乗算回路を使わない本
発明のニューロン回路では従来形より、大幅に回路規模
を低減できる利点がある。

また、消費電力もほぼ回路規模に比例して増加するので
、大幅な回路規模低減による消費電力の削減効果もある
。

さらに、乗算回路と絶対値回路の遅延を比較した場合、
乗算回路の遅延時間Ｔｍは１ビツトの加算回路の遅延時
間をＴａｌとすると、Ｔｍ＝２　Ｎｂ１ｔＴａｌで概算
できるのに対して、絶対値回路の遅延時間は１ビツト加
算回路の遅延時間よりやや小さい程度であるので、乗算
回路より１／（２Ｎｂ１ｔ）に低減できることになる。

このように、本発明のニューロン回路は演算時間を大幅
に短縮できる利点もある。

ニューラルネットワーク回路をハード化するとき、必要
なニューロン回路数は応用によって異なるが、一般的に
はニューロン回路数が大きいほど処理能力は向上する。

そのため、ＬＳＩ化によって多数のニューロン回路を搭
載したニューラルネットワーク回路の実現が期待されて
いる。しかし、チップサイズの制限によって１チツプに
搭載できる回路規模は限られているし、放熱や実装の問
題から１チツプで消費できる電力も制限がある。従って
、ＬＳＩ化されたニューラルネットワーク回路が実用的
な性能を発揮するために、ニューロン回路の回路規模と
消費電力の低減が最も重要な課題になっている。このた
め、本発明のニューロン回路を用いることにより、ニュ
ーラルネットワーク回路が実用的なレベルまで性能が向
上する効果は極めて大きい。

以上本発明を上記実施例に基づいて具体的に説明したが
、本発明は上記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は勿論である。

〔発明の効果〕

本発明のニューロン回路では、乗算回路を用いないので
、従来形より大幅に回路規模を低減でき、また、消費電
力もほぼ回路規模に比例して増加するので、大幅な回路
規模低減による消費電力を削減できる。さらに、演算時
間を大幅に短縮できる。

【図面の簡単な説明】

第１図は本発明のニューロン回路の構成例を示す図、第
２図は従来形のニューロン回路の識別領域を示す図（２
人力の場合）、第３図は本発明によるニューロン回路の
識別領域を示す図（２人力の場合）、第４図は従来形の
ニューロン回路の演算回路の構成例を示す図、第５図は
本発明によるニューロン回路の演算回路の構成例を示す
図、第６図はニューロン回路の記号を示す図、第７図は
２層構造のニューラルネットワーク回路の構成を示す図
、第８図は３層構造のニューラルネットワーク回路（Ｏ
Ｒ処理出力形）の構成を示す図、第９図は従来形のニュ
ーロン回路の構成を示す図、第１０図（ａ）〜（ｃ）は
閾値回路の伝達特性を示す図である。 第１ＷＪ Ｗ　　　　　入力 第２図 特許出願人　日本電信電話株式会社

Claims (1)

【特許請求の範囲】
1. １．ｎ個の入力端子と（ｎは１以上の整数）、上記入力
   端子のそれぞれに対応するｎ個の荷重係数と、入力信号
   と上記荷重係数の差を求める減算回路と、上記減算結果
   の絶対値を求める絶対値回路と、上記絶対値演算の結果
   の全てを累積する加算回路と、上記累積結果が入力され
   る閾値回路とを有し、かつ上記閾値回路の出力値を出力
   信号とするニューロン回路を単位回路として、多数の上
   記ニューロン回路の入出力端子間を接続することによっ
   てネットワーク回路を構成し、上記ネツトワーク回路に
   入力されたｍ個（ｍは１以上の整数）の入力信号に対し
   てそれぞれ独自の上記荷重係数を持つ上記ニユーロン回
   路が演算を実行し、上記ネットワーク回路内の全て、ま
   たは一部の上記ニューロン回路の出力値を上記ネットワ
   ーク回路の出力信号とし、それぞれの上記ニューロン回
   路の上記荷重係数と上記閾値回路の閾値の大きさによっ
   て上記ネットワーク回路の機能を制御することを特徴と
   するニューラルネットワーク回路。