JPH04112354A - ニューラルネットワーク回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はニューラルネットワーク回路に係り、生物の神
経回路網をモデル化して、従来のノイマン形計算機では
離しかった文字認識や音声認識なとのパターン認識処理
、最適化問題、ロポ・ノド制画なとを実現するニューラ
ルネットワーク回路に関する。

従来のノイマン形計算機ではプログラムに従って逐次処
理するため計算時間か膨大たったのに対して、ニューラ
ルネットワーク回路ではニューロン回路か並列に演算を
実行できるので処理速度か極めて高速になる。また、ニ
ューラルネットワーク回路の機能は学習によってニュー
ロン間の接続状態を変えることによって実現される。こ
の為、処理手順かルール化しにくい問題でも学習教材さ
えあれば機能を実現できる。学習を常に行いながら動作
させると、環境の変化によって時間とともに望ましい機
能が変化しても、それに追従することかできるなどの柔
軟なシステムが構築できる。

さらに、同一のニューロン回路を多数接続してネットワ
ークを構成するため、故障した回路かあっても他の正常
な回路に簡単に置き換えて動作できるので、ＬＳＩ化す
る場合などに高い欠陥耐性を実現できる。

これにより、ニューラルネットワーク回路をＬＳＩ化す
る場合に適し、少数のニューロン回路で高い性能が得ら
れることか望まれている。

〔従来の技術〕

ニューラルネットワーク回路は神経細胞に相当するニュ
ーロン回路を単位として、ニューロン回路を多数接続し
て構成される。

第６図はニューロン回路の記号を示す。１個のニューロ
ン回路は複数の入力端子（ｘｉ、ｘ２゜・・・ｘｎ）か
らの信号を受ける。ニューロン回路はそれぞれの入力信
号に対して荷重係数を持っており荷重係数に応じて結合
の強さを変えたり、入力との誤差を計算し、その結果を
全て加算して出力ｙを決定する。

上記ニューロン回路の接続方法によりニューラルネット
ワーク回路の構造か決まる。

第７図は２層構造のニューラルネットワーク回路を示す
。入力端子ｘｉ、ｘ２．ｘ３・・・ｘｎて構成される層
を入力層、または第１層という。一方、ニューロン回路
の層を出力層、または第２層という。それぞれの入力端
子の入力信号はすへてのニューロン回路に並列に入力さ
れており、それぞれにニューロン回路は並列に入力信号
を処理できるようになっている。入力層からの入力信号
かニューロン回路に加えられると、特定のニューロン回
路が反応して認識等の処理が行われる。

第８図は３層構造のニューラルネットワーク回路を示す
。しかし、２層構造のニューラルネットワークでは処理
能力はあまり大きくないのて、船釣には第８図に示すよ
うな３層のニューラルネットワークを用いる。このよう
な３層構造の場合には、第２層のニューロン回路の層を
出力層と呼んでいる。この第３層は第２層のニューロン
回路の出力を入力として、第２層と全く同じ構造を持つ
場合と異なる構造を持つ場合かある。同じ構造の場合に
は夫々の中間層の出力信号は全ての出力層がニューロン
回路に入力されるが、第８図に示すように出力層のニュ
ーロン回路をＯＲ論理処理のみの簡単な構造にすること
かできる。同図に示すように、ニューロン回路からＯＲ
ニューロン回路に入力され、夫々の出力光は出力端子ｚ
ｌ。

ｚ２．ｚ３．　・・・ｚｍに出力される。この場合は中
間層の出力は１個の出力層のニューロン回路に接続され
るだけなので回路規模は大幅に低減できるとともに、パ
ターン認識などに使う場合には充分である。

しかし、複雑な処理に対応するためには、ネットワーク
回路を組み合わせて行われる。

従来のニューラルネットワーク回路で使用されていたニ
ューロン回路を第９図、第１Ｏ図に示す。

第９図は従来における超球面識別形ニューロン回路の構
成図を示す。入力端子ｘｉ、ｘ２・・・ｘｎの入力に対
応して、ｎ個の荷重係数ｗｌ、ｗ２．・・・ｗｎをもち
、減算回路９１は入力信号と荷重係数の差を求め、その
結果を２乗回路９２で２乗し、それぞれの入力と荷重係
数に対する演算結果を全て加算回路９３に入力し、累積
を行い、平方根回路９４に入力し、その結果の大きさに
よって出力値か決定される。次に閾値回路９５を経て出
力端子ｙより出力される。

第１Ｏ図は従来における超球面識別形ニュロン回路の構
成図を示す。

入力端子ｘｉ、ｘ２・・・ｘｎの入力に対応して、ｎ個
の荷重係数ｗｌ、　ｗ２．・・・ｗｎをもち、減算回路
９１は入力信号と荷重係数の差を求め、その結果を絶対
値回路１００に入力し、絶対値を計算し、正数に変換し
、それぞれの入力と荷重係数に対する演算結果を全て加
算回路９３に入力し、累積を行い、次に閾値回路９５を
経て出力端子ｙより出力される。

閾値回路９５は出力値を最終的に決定する。第１１図に
閾値回路の伝達特性を示す。伝達特性を表すものとして
同図（Ｃ）のシグモイド関数形か最も汎用性が高いか、
同図（Ａ）のステップ関数形、同図（Ｂ）の折れ線形の
ように簡単化したものか多く使用される。同図中りの地
点を境にハイレベルになり、それ以上に入力レベルか太
き（なっても出力レベルは変化しなくなる。

第９図、第１０図の従来におけるニューロン回路を用い
て、第８図のようなニューラルネットワーク回路を構成
したものはパターン認識に多く使用され、なかでも入力
層に入力されたパターン認識に多く使用される。このニ
ューラルネットワク回路は入力層に入力されたパターン
によってニューロン回路が反応して認識を行う。入力信
号の数に応じた次元数の多次元空間を認識する多数の領
域に区切るようにニューロン回路の荷重係数が決められ
ていると、入カバターンを含む領域を形成するニューロ
ン回路か反応する。

例えば、第９図の従来形における超球面識別形ニューロ
ン回路の構成のように２乗回路を用いている場合には、
入力端子数か２個の場合、１個のニューロン回路が形成
する識別領域の形状は第１２図の（Ａ）に示すように、
円状になる。この場合、入力１、入力２の値か円内の部
分に含まれるときにニューロン回路が反応するようにす
るには、荷重係数ｗｌ、ｗ２の値を円の中心点に設定し
て、ベクトルＷを決め、閾値回路９５のスレショルドレ
ベルｈの大きさを円の半径に設定すればよい。

つまり、ベクトルＷと入力ベクトルの距離を計算し、入
力ベクトルの距離かスレショルドレベルｈ以内であれば
ニューロン回路か反応出力（Ｌｏｗ）を出力している。

従って、ベクトルＷから等距離になる半径りの円が境界
になる。また、入力端子数か３個の場合の識別領域は球
状になり、また、入力端子数か４個の場合の識別領域は
超球面になる。

また、第１０図の従来における超多面体識別形ニューロ
ン回路の構成において絶対値回路１００を用いる場合で
は入力端子数か２個の場合には、１個のニューロン回路
が形成する領域の形状は第１２図（Ｂ）に示すような四
角形になる。入力端子数が３個の場合には８面体になり
、入力端子数か４個以上では超多面体となる。

閾値回路９５の伝達特性を第１１図（Ａ）のステップ関
数形に設定すると、識別領域の境界は明確になる。また
、第１１図（Ｂ）の折れ線形、（Ｃ）のシグモイド関数
形等の特性に設定すると境界は幅をもつことになる。識
別できる領域数はニューロン回路の数か増える程多くな
る。

〔発明か解決しようとする課題〕

しかるに、任意の形状の識別領域に対応するには第８図
のように出力層でＯＲ処理を行うことにより、識別領域
を複数の超球面の集まりとして形成する。第４図は複数
のニューロン回路による識別領域の形成例を示す。同図
は２人力の場合を示す。同図（Ａ）は多数のニューロン
回路を用いて任意の形状の目標識別領域に対応したとき
の従来の例であるか、精度良く目標形状に合致させるに
は円形の重なりか多くなり、多数のニューロン回路が必
要になるという欠点かあり、このため装置か極めて大型
化したり、消費電力も極めて大きくなるという問題があ
った。

本発明は上記の点に鑑みなされたもので識別領域形状が
固定であるニューロン回路では極めて多数のニューロン
回路数を必要としていたが、少ないニューロン回路数で
任意形状の識別領域を実現できるニューロン回路を提供
することを目的とする。

〔課題を解決するための手段〕

多数のニューロン回路の入出力端子間を接続することに
よって構成されるニューロンネットワーク回路において
、本発明は前記ニューロン回路の各々を任意形状の識別
領域を形成する場合にｎ（ｎは１以上の整数）個の入力
端子と、それぞれの入力端子に対応して２個ずつの合計
２ｎ個の荷重係数を持ち、２個の組のうちの１個の荷重
係数と入力信号の差を求める減算回路と、減算回路の減
算結果に対して２乗演算あるいは絶対値演算を行う演算
回路と、２個の組のうちのもう１個の荷重係数を演算回
路の出力信号に乗じる乗算回路と、乗算回路より取り出
された信号（ｎ個の入力信号と２ｎ個の荷重係数に対す
る演算の結果）を全て累積する加算回路と、この累積結
果から出力値を決定する閾値回路とより構成し、ネット
ワーク回路に入力されたｍ　（ｍは１以上の整数）個の
入力信号に対してそれぞれ独自の荷重係数をもつ前記ニ
ューロン回路か演算を実行し、ネットワーク回路内の全
て、あるいは一部のニューロン回路の出力値をネットワ
ーク回路の出力信号とし、それぞれのニューロン回路の
荷重係数と閾値回路の閾値の大きさによってニューロン
回路の識別領域形状を可変にしてネットワーク回路の機
能を制御する。

〔作用〕

本発明では従来の２倍の荷重係数を持つニューロン回路
により、入力と荷重係数の演算結果を累積するときに荷
重係数で重み付けを行い、その累積結果を閾値回路に入
力し、閾値回路の閾値レベルの大きさにより、１個のニ
ューロン回路の識別領域形状を可変にして、少ないニュ
ーロン回路数で任意の形状の識別領域を形成する。

〔実施例〕

第１図は本発明になるニューラルネットワーク回路で単
位回路として使用されるニューロン回路の第１実施例の
構成図を示す。本実施例は減算回路１０によって得られ
た入力信号と荷重係数の減算結果を２東回路１２を用い
て変換している。ｎ（ｎは１以上の整数）個の入力端子
と、それぞれの入力端子に対応して２個ずつの合計２ｎ
個の荷重係数（ｗｌ、ｗ２．・・・Ｗ、）を持ち、減算
回路１０は入力信号と２個の組のうち１個の荷重係数Ｗ
との差を求めており、夫々の減算結果は２東回路１２で
正数に変換されるとともに、乗算回路１４で２個の組の
うちもう１個の荷重係数ｗｈを乗算する。夫々の入力と
荷重係数に対する演算結果を全て加算回路１６によって
累積し、その結果によって出力値が決定される。

第２図は本発明になるニューラルネットワーク回路で単
位回路として使用されるニューロン回路の第２実施例の
構成例を示す。本実施例は減算回路ｌＯによって得られ
た入力信号と荷重係数の減算結果を絶対値回路２０を用
いて変換している。

ｎ　（ｎは１以上の整数）個の入力端子と、それぞれの
入力端子に対応して２個ずつの合計２ｎ個の荷重係数（
ｗｌ、ｗ２．・・・Ｗ、）を持ち、減算回路１０は入力
信号と２個の組のうち１個の荷重係数Ｗとの差を求めて
おり、夫々の減算結果は絶対値回路２０で正数に変換さ
れるとともに乗算回路１４て２個の組のうちもう１個の
荷重係数ｗｈを乗算する。夫々の入力と荷重係数に対す
る演算結果を全て加算回路１６によって累積し、その結
果によって出力値が決定される。

出力値を最終的に決定するのは閾値回路１９であるのは
従来と同様である。

第３図は本発明におけるニューロン回路の識別領域を示
す。入力端子数が２個の場合、第１図の２東回路１２を
用いている場合には１個のニュロン回路が形成する領域
の形状は第３図（Ａ）に示すような楕円の形状となる。

また、第２図の絶対値回路２０を用いている場合には１
個のニューロン回路が形成する領域の形状は第３図（Ｂ
）に示すような菱形の形状となる。

荷重係数ｗｌ、ｗ２の値のベクトルＷが識別領域の中心
を表すのは従来と同様であるが、第１図の実施例では従
来では円形であったが、本実施例ては各入力端子の入力
と荷重係数Ｗに対する演算結果を累積するときに荷重係
数ｗｈで重みをつけて加算回路１６で加算しているため
に識別領域の形状か楕円になっている。例えば第３図（
Ａ）の２乗形で入力ｌに対して（入力１−ｗｌ）ｗｈｌ
＝ｈか境界点になるので入力１の方向の半径はｈ／ｗｈ
　１になる。同様に入力２に対して（入力２−ｗｌ）ｗ
ｈ２＝ｈか境界点になるので入力２の方向の半径はｈ／
ｗｈ２となる。従って、荷重係数ｗｈによって半径か自
由に制御できる。

また、第２図の実施例の絶対値回路２０を用いている場
合には１個のニューロン回路が形成する領域の形状は、
従来ては正方形であったが、本実施例では各入力端子の
入力と荷重係数Ｗに対する演算結果を累積するときに荷
重係数ｗｈて重みをつけて加算回路１６で加算している
ために、識別領域の形状が第３図（Ｂ）の絶対値形に示
すような形状になる。例えば、第３図（Ｂ）で入力ｌに
対して（入力１−ｗｌ）ｗｈ　ｌ＝ｈか境界点になるの
で入力１の方向の半径はｈ／ｗｈｌになる。

同様に、入力２に対して（入力２−ｗｌ）ｗｈ２ｈが境
界点になるので入力２の方向の半径はｈ／ｗｈ２となる
。従って、荷重係数ｗｈによって半径か自由に制御でき
る。

第４図は複数のニューロン回路による識別領域の形成例
を示す。同図は２つの入力端子からの入力の場合の任意
形状を目標識別領域にして、従来形と本発明のニューロ
ン回路で対応した例である。

同図（Ａ）の従来形におけるニューロン回路の識別領域
は多数のニューロン回路か必要であったか、同図（Ｂ）
の本発明におけるニューロン回路の識別領域では３つで
目標識別領域に対応する。

さらに、実際の応用ではパターン認識に全ての入力デー
タか有効に利用できるわけではなく、パターンの特徴情
報を抽出して利用されるので、不必要な入力データか含
まれていることが多い。第５図は複数のニューロン回路
による識別領域の形成例を示す。同図は２つの入力端子
からの入力の場合を示し、入力２の値が意味のないデー
タであった場合の例である。識別領域は入力Ｉで決まり
、入力２に間しては全ての範囲が領域に含まれる。この
ため、入力２の方向に長い領域を実現しなければならな
い。同図（Ａ）は従来形を示す。

入力２を表現しているディジタル信号のビット数が大き
い場合や、浮動小数点上限である場合には入力２の範囲
は極めてひろく、入力１の識別領域の幅か小さければ小
さな半径の円で識別領域を埋めつくす必要があり、極め
て多数のニューロン回路が必要になる。同図（Ｂ）の本
発明ては目標識別領域に対して、ニューロン回路識別領
域は−って済むことになる。

〔発明の効果〕

上記のように本発明によれば、ニューロン数に比例して
回路規模か大きくなってもニューロン数には限界がある
ので入力信号の範囲を狭くすることで対処しなくてはな
らないが、この場合には信号精度（分解能）が低下する
ので精度の良いパターン認識はできなくなってしまうと
いう状況であっても、入力信号の範囲に関係なく１個の
二ニーロン回路で対処できるので、必要ニューロン数の
低減効果か高く、パターン認識の精度か改善できる。

さらに、ニューラルネットワーク回路をハード化すると
き、必要なニューロン回路数は応用によって異なるか、
−船釣にはニューロン回路数か大きい程処理能力か向上
する。そのため、ＬＳＩ化によって多数のニューロン回
路を搭載したニュラルネットワーク回路の実現が期待さ
れている。

しかし、チップサイズの制限によって１チツプに搭載で
きる回路規模は限られているし、放熱や実装の問題から
１チツプで消費できる電力も制限がある。従って、ＬＳ
Ｉ化されたニューラルネットワーク回路が実用的な性能
を発揮するために、ニューロン回路の回路規模と消費電
力の低減がもっとも重要な課題になっている。このため
、本発明の回路は実用上有用である。

【図面の簡単な説明】

第１図は本発明におけるニューロン回路の第１実施例の
構成図、 第２図は本発明におけるニューロン回路の第２実施例の
構成図、 第３図は本発明におけるニューロン回路の識別領域を示
す図（２人力の場合）、 第４図は複数のニューロン回路による識別領域の形成例
を示す図（２人力の場合）、 第５図は複数のニューロン回路による識別領域の形成例
を示す図（２人力の場合）、 第６図はニューロン回路の記号を示す図、第７図は２層
構造のニューラルネットワーク回路を示す図、 第８図は３層構造のニューラルネットワーク回路を示す
図（ＯＲ処理出力形）、 第９図は従来における超球面識別形ニューロン回路の構
成図、 第１０図は従来における超球面識別形ニュロン回路の構
成図、 第１１図は閾値回路の伝達特性を示す図、第１２図は従
来におけるニューロン回路の識別領域を示す図（２人力
の場合）である。 １０・・・減算回路、１２・・・２乗回路、１４・・・
乗算回路、１６・・加算回路、１８・・・平方根回路、
１９・・・閾値回路、２０・・・絶対値回路。 特許出願人　日本電信電話株式会社 （Ａ） （β） 赴明におばするニューロン回路の第１実施例の構威図第
１図 ２乗形　　　　　　　　　　　　　　　　絶対値形朱秦
男（こｈｌるニューロン回路の職別領域（２人力の場合
）第 図 （Ａ） （Ｂ） 本・う唱にｂＩするニューロン回路の第２実施例の構成
図第２図 従来形 第 図 本発明 ２層構造のニューラルネットワ ク回路を示す図 第 図 第 図 減算回路 Ｕ（こお（する超球面朧別形ニューロン回路の構威図第 図 減算回路 り１民おりろ超多面体識別形ニュ ロン回路の構成図 第 図 平成 ３年 ４月２２日 事件の表示 平成　２年 特許願 第２３２９１、 発明の名称 ニューラルネットワーク回路 補正をする者 事件との関係　特許出願人 住　所　〒１００東京都千代田区内幸町−丁目１番６号
名　称　（４２２）日本電信電話株式会社代表者　児　
島　　仁 ６、　補正の対象 明細書の発明の詳細な説明の欄、図面。 ７、　補正の内容 （１）明細書中、第１５頁５行目から９行目記載の「（
入力１−ｗｌ）ｗｈｌ＝ｈが　・・・・となる。」を次
の文章に補正する。 「（入力１−ｗｌ）　２ｗｈ　１　＝ｈ２が境界点にな
るので入力ｌの方向の半径はｈ／「になる。 同様に入力２に対して（入力２−ｗｌ）２ｗｈ２＝ｈ２
が境界点になるので入力２の方向の半径はｈ７ｑｉ下］
−となる。」 （２）図面中、第３図を別添の図面に補正する。

Claims (1)

1. 【特許請求の範囲】 　多数のニューロン回路の入出力端子間を接続すること
   によって構成されるニューロンネットワーク回路におい
   て、 前記ニューロン回路の各々は任意形状の識別領域を形成
   する場合にｎ（ｎは１以上の整数）個の入力端子と、そ
   れぞれの入力端子に対応して２個ずつの合計２ｎ個の荷
   重係数を持ち、２個の組のうちの１個の荷重係数と入力
   信号の差を求める減算回路と、 該減算回路の減算結果に対して２乗演算あるいは絶対値
   演算を行う演算回路と、 ２個の組のうちのもう１個の荷重係数を該演算回路の出
   力信号に乗じる乗算回路と、 該乗算回路より取り出されたｎ個の入力信号と２ｎ個の
   荷重係数に対する演算の結果を全て累積する加算回路と
   、 この累積結果から出力値を決定する閾値回路とより構成
   し、 ネットワーク回路に入力されたｍ（ｍは１以上の整数）
   個の入力信号に対してそれぞれ独自の荷重係数をもつ前
   記ニューロン回路が演算を実行し、ネットワーク回路内
   の全て、あるいは一部のニューロン回路の出力値をネッ
   トワーク回路の出力信号とし、 それぞれの該ニューロン回路の荷重係数と閾値回路の閾
   値の大きさによって該ニューロン回路の識別領域形状を
   可変にしてネットワーク回路の機能をを制御することを
   特徴とするニューラルネットワーク回路。