JPH0451386A - ニューラルネットワーク及びその構築方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は、各種処理に好適なニューラルネットワーク及
びその構築方法に関するものである。

［従来の技術］ 近年、ニューラルネットワークによって各種処理を行な
うことが研究されている。

ニューラルネットワークを用いる処理では、処理精度を
向上させるために、各素子にニーロン）は多数の入力に
対して演算処理を施して出力を行なう。

［発明が解決しようとする課題］ しかしながら、ニューラルネットワークを単純にハード
化すると、その回路規模は非常に大きいものとなってし
まうという問題があった。

［課題を解決するための手段および作用］上記課題を解
決するために、本発明のニューラルネットワークは、一
部の層における入力な０または１とし、当該層の重み係
数を２のべき乗または２のべき乗の和として、この層に
おける乗算と加算をシフト演算と加算により実現し、被
加算データにおいて桁の重なりのない複数の加算処理を
、同時に同一の加算器により行なう。

また、本発明ニューラルネットワークの他の形態は、一
部の層における入力な０又は１とし、当該層の重み係数
を２のべき乗または２のべき乗の和として、この層にお
ける乗算と加算をシフト演算と加算により実現し、デー
タを構成する桁に重なりのない複数のデータの加算を、
各データを同一データ中の当該桁部分として後段の処理
部に入力することにより行なう。

また、本発明のニューラルネットワークの構築方法は、
入力層、１つ以上の中間層及び出力層を有し、学習によ
り決定されたニューラルネットワークにおいて、０又は
１が入力されるある層の重み係数に対して、２のべき乗
または２のべき乗の和による近似値を求め、求められた
値を新たな重み係数とする乗算とその総和を求める演算
を、シフト演算と加算により実現し、被加算データにお
いて桁の重なりのない複数の加算処理を、同時に同一の
加算器により行なうように構成することを特徴とする。

また、本発明のニューラルネットワークの構築方法の他
の形態は、入力層、１つ以上の中間層及び出力層を有し
、学習により決定されたニューラルネットワークにおい
て、０又は１が人力されるある層の重み係数に対して、
２のべき乗または２のべき乗の和による近似値を求め、
求められた値を新たな重み係数とする乗算とその総和を
求める演算を、シフト演算と加算により実現し、ブタを
構成する桁に重なりのない複数のデータの加算を、各デ
ータを同一データ中の当該桁部分として後段の処理部に
入力することにより行なうように構成することを特徴と
する。

［実施例］ 先ず、パックプロパゲーション型ニューラルネットワー
クにおける学習の手順を第５図を例として説明する。

第５図に示されたニューラルネットワークは、入力層ｉ
、１層よりなる中間層Ｊ、出力層ｋによって構成されて
いる。

学習のためには、人力データと、それに対する理想出力
とを用意し、中間層にお←づる結合強度Ｗ、３、出力層
における結合強度Ｗ８、の初期値を適当に決定し、この
初期値に基づいて結合されたネットワークに、用意した
入力データを与え、中間層、出力層の順で処理されて出
力データを得る。ここまでが、第５図における■および
■の流れである。次に、得られた出力層よりの出力と、
用意した理想出力とを比較し、この比較により教師信号
を生成し、この教師信号によって、出力層における結合
強度Ｗ０を補正し、更に中間層における結合強度ＷＪ、
を補正する。これが■および■の流れである。

以上が学習の１工程であり、この学習を繰り返すことに
より、結合強度Ｗ１１、Ｗ□、が適切な値へと修正され
ていく。学習の結果、更新された結合強度がネッ１−ワ
ーク内に保持される。

上述の学習手順を、第４図のフローヂャートを用いて更
に詳細に説明する。

先ず、ステップＳ４０］で、重み係数（結合強度）Ｗ、
１、ＷｋＪの初期値を勾える。ここでは、学習過程での
収束を考慮して、−０，５〜＋０．　５の範囲の値を選
択する。

次に、ステップ５４０２で学習用の入力データ１ｏｕｔ
（ｉ）を選択し、ステップ５４０３でこのブタ１ｏｕｔ
（ｉ）を入力層にセットする。また、ステップ５４０４
で、人力データ１ｏｕｔ（ｉ）に対する理想出力（ｊｄ
ｅａｌ　ｏｕｔ）を用意する。

そこで、ステップ５４０５で、中間層の出力ｊｏｕｔ（
ｊ）を求める。

先ず、入力層よりのデータ１ｏｕｔ（ｉ）に中間層の重
み係数Ｗ　Ｊ　＋を掛け、その総和Ｓｕｍｐ＝を、Ｓｕ
ｍｐ、＋＝ΣＷ　Ｊ　Ｉ　（ｊ、　ｉ）＊１ｏｕｔ（ｉ
）により計算し、次に、このＳｕｍｐＪにｓｉｇｍｏｉ
ｄ関数を作用させて、ｊ番目の中間層の出力ｊｏｕｔ（
ｊ）を、 によって計算する。

次に、ステップ５４０６で、出力層の出力ｋｏｕｔ（ｋ
）を求める。この手順はステップ８４０６と同様である
。

すなわち、中間層からの出力ｊｏｕｔ（ｊ）に出力層の
重み係数ＷｋＪを掛け、その総和Ｓｕｍｐｈを、ＳＩＪ
ｍｐｋ−ΣＷｈ、＋（ｋ、ｊ）＊ｊｏｕｔ（ｊ）により
計算し、次に、このＳｕｍｐＨにｓｉｇｍｏｉｄ関数を
作用させて、ｋ番目の中間層の出力ｋｏｕｔ（ｋ）を、 によって計算する。なお、この出力値は正規化されてい
る。また、一般には、出力層の素子数は複数であるが、
第５図の例では、１個だけとしている。

次に、ステップ５４０７では、以上により得られた出力
ｋｏｕｔ、（ｋ）と、ステップ５４０４で用意した理想
出力１ｄｅａｌ　ｏｕｔ（ｋ）とを比較し、出力層の教
師信号ｔｅａｃｈ　ｋ（ｋ）として、 ｔｅａｃｈ　ｋ（ｋ）　＝　（ｉｄｅａｌ　ｏｕｔ（ｋ
）　−ｋｏｕｔ（ｋ））＊ｋｏｕｔ（ｋ）＊（１−ｋｏ
ｕｔ（ｋ））を求める。ここで、ｋｏｕｔ（ｋ）＊（１
−ｋｏｕｔ（ｋ））は、ｓｉｇｍｏｉｄ関数ｋｏｕｔ　
（ｋ）の微分の意義を有する。

次に、ステップ５４０８で、出力層の重み係数の変化幅
△Ｗｍ；（ｋ、ｊ）を、 △Ｗｋ１（ｋ、ｊ）　＝β＊ｊｏｕｔ（ｊ）＊ｔｅａｃ
ｈ　ｋ（ｋ）＋α＊△Ｗ　ｙ　ｈ　（ｋ、　Ｊ） により計算する。ここで、αは安定化定数、βは学習定
数と呼ばれる定数であり、急激な変化を押える役割を果
たしている。

ステップ５４０９では、この変化幅に基づいて、重み係
数Ｗｉ、Ｊ（ｋ、ｊ）を、 ＷｋＪ（ｋ、ｊ）　＝ＷｋＪ（ｋ、ｊ）＋△ｗｋ、（ｋ
、ｊ）と、更新する。すなわち学習を行なう。

次に、ステップ５４１０で、中間層の教師信号ｔｅａｃ
ｈ　ｊ（ｊ）を計算する。そのために、先ず、ＳＩＪｍ
ａＪ＝Σｔｅａｃｈ　ｋ（ｋ）＊　ＷｋＪ（ｊ＋ｉ）に
基づいて、出力層から、中間層の各素子への逆方向の寄
与を計算する。次にこのＳｕｍｎ、＋から、中間層の教
師信号ｔｅａｃｈ　ｊ（ｊｌを以下の式により演算する
。

ｔｅａｃｈ　ｊ（ｊ）　＝　、ｊｏｕｔ（ｊ）”（１−
ｊｏｕｔ（ｊ）ｌ＊ｓｕｍＢＪ次に、ステップ５４１１
で、中間層の重み係数の変化幅△Ｗ　Ｊ　ｌ　（ｊ、　
ｉ）を、△Ｗ４＋（ｊ、ｉ）　＝β崎ｏｕｔ（ｉ）＊ｔ
ｅａｃｈ　ｊ（ｊ）＋α＊△ＷＪ、（ｊ、ｉ） により計算する。

ステップ５４１２では、この変化幅に基づいて、重み係
数ＷＪＩ（ｊ、ｉ）を、 Ｗ、＋：（ｊ、ｉ）　＝Ｗ、、（ｊ、ｉ）＋△ＷＪｌ（
ｊ、ｉ）と、更新する。すなわち学習を行なう。

こうして、ステップ８４０１〜４１２により、１組の入
力データとこれに対する理想出力とから、重み係数ＷＪ
、とＷ　ｗ　ｉとが１回学習された。

ステップ５４１３では、以上のような学習を全入力デー
タにつき行なったかを調べ、未だの場合は、ステップ８
４０１〜４１２を繰り返す。

ステップ５４１４では、所定の学習回数に達したかを調
べ、不足の場合は、ステップ３４０１〜４１３を繰り返
す。

以上がパックプロパゲーション法に基づいたニューラル
ネットワークの学習手順の説明である。

本発明では、以上のようにして確立されたニュラルネッ
トワークの中間層において、重み係数を乗じる部分を、
次のように変形する。

〈方法１〉 各ＷＪｌについて、２のべき乗（２″）の中で最も値が
近いものを新しくＷ４．とする。

〈方法２〉 各ＷＪ、について、所定個以下の２のべき乗の和の全て
の組み合わせ（１個を含む）の中で最も値が近いものを
新しく　Ｗ　ｈ　、とする。

く方法３〉 許容される最大誤差△Ｅを先ず設定する。

各Ｗ、□について、２のべき乗のうちで、ＷＪｌと最も
値が近いものとの差が△Ｅ以下であれば、それを新しく
　ＷＪｌとする。

△Ｅ以下でない場合は、２のべき乗２個の和の中でＷ４
．と最も値が近いものとの差が△Ｅ以下であれば、それ
を新しくＷ、、とする。

これも△Ｅ以下でない場合は、更に、３個の和、４個の
和、・・・と順に増やしていき、△Ｅ以下となるものが
得られるまで続ける。

以上の方法１〜３において、ＷＪｌが２のべき乗２″と
なる場合は、入力にＷ、１を乗じる演算は、人力なｎだ
けシフトすることにより実現される。

また、方法２または３において、ＷＪ。が２のべき乗の
和、例えば２′″＋２″＋２′となる場合は、入力にＷ
ＪＩを乗じる演算は、入力をそれぞれｎ、ｍ、１だけシ
フトしたものの和をとることにより実現される。

従って、重み係数の乗算部分は、シフト演算、またはシ
フト演算と加算とにより達成される。

しかしながら、上述の方法によれば、ＷＪ、を、学習で
得られた値に近いながらも、それとは異なる値とするた
めに、出力層で得られる値にも、若干の誤差が生じる。

その誤差が、ニューラルネットワークとしての許容範囲
外であれば、新しい重み係数ＷＪ１を固定して再学習を
行なってもよい。

再学習のフローチャートを第５図に示す。

第５図は、第４図における中間層の重み係数の更新に必
要なステップ８４１０〜５４１２が省略されている点で
第４図と異なり、他は同じように学習を行なう。従って
、固定された重み係数Ｗ４に基づく中間層よりの出力に
対して、出力層の重み係数Ｗ□だけが再学習され、出力
層よりの出力の誤差が低減される。

本発明に係るニューラルネットワークの回路構成につい
て、更に詳細に説明する。

第２図は、中間層における１個のニューロンによる処理
を実現する中間部である。

ＢＦはピッＩ・シフト部であり、人力信号を配線上シフ
トして加算器ＡＤに入力させるものであり、実際の回路
があるわけではない。また、ＡＤではシフトされた入力
を加算し、ｓｉｇｍｏｉｄ関数テブルＦＴでは、ＡＤに
よる加算結果に対してｓｉｇｍｏｉｄ関数を作用させた
結果が得られる。

第３図は、ニューラルネットワークの全体構成例である
。

第３図（ａ）は、３×３領域の２値画像をニューラルネ
ットワークの入力とする場合の入力部の例である。

先ず、入力された２値デークは、ラインバッファＬ　Ｂ
　１で１ライン分の遅延が行なわれ、次にラインバッフ
ァＬＢ２において、もう１ライン分の遅延が行なわれ、
合計２ライン分の遅延が行なわれる。遅延されていない
データ、１ライン分及び２ライン分遅延されたデータは
、それぞれ、ラッチＬＴ３〜５にラッチされて１画素分
遅延され、その出力はラッチＬ７６〜８により、更に１
画素分の遅延を受ける。これらによる出力は、水平ライ
ン方向、および垂直画素方向に連続する３×３の領域の
２値データとして、２値ＰＴデタとなる。

２値ＰＴデークは、中間部に入力される。中間部では、
第２図につき説明したように、ビットシフト う。中間部の出力は、乗算器に人力され、出力層の重み
係数Ｗ　ｋＪが乗じられ、各乗算器の出力は、加算器に
より全て加算される。加算器による加算結果は、関数演
算部ＦＴによるテーブル変換により、対応するｓｉｇｍ
ｏｉｄ関数値を最終結果として得る。

以上のように、本発明によれば、ニューロンにおける乗
算を、ビットシフトまたは、ビットシフトなる。

次に、本発明では、以上説明した中間部への人力がＯと
１の２値データである場合に限定して、具体的な回路構
成を簡単にすることを考える。

第２図において、加算器ＡＤでは、それぞれビットシフ
ト部ＢＦのシフトによって得られる全ての桁についての
加算に対応するために、例えば８〜１０ビット程度の規
模でなくてはならない。

従って、加算器ＡＤの小規模化が未だ十分ではない。

本発明では、ビットシフト部ＢＦへの入力が０又は１の
場合、出力はシフトされた桁における０又は１の１ビツ
トであり、ｎビット加算器の出力は、高々１桁上までの
ｎ＋１ビット（特に入力が１ビツトなら、出力は２ビツ
ト）であることを利用し、以下の規則に基づいて、加算
器ＡＤの回路規模を小さくする。

規則１：ビットシフト部ＢＦの出力を加算する際に、シ
フト量の異なる出力をまとめて１つのデータとし、多数
ビットの加算器で加算する。

規則２．シフト量が同一の出力同士を加算する。

規則３：加算器の出力を更に加算する際に、出力値域（
桁）の重ならないものを１つにまとめる。

規則４：加算器の出力の加算とビットシフト部の出力の
加算でも、桁の重ならないものは１つにまとめて加算す
る。

規則５：加算器では、桁がなるべく多く重なるブタ同士
の加算を行なう。

以上の規則に基づいて、加算を行なう回路の例を第１図
に示す。

なお、前述した如く、中間層の重み係数の乗算において
、重み係数が２のべき乗となる場合には、乗算はビット
シフト部１つ、重み係数が２のべき乗の和となる場合に
は、乗算は複数のビットシフト部とそれを加算するため
の加算器とからなるが、中間層の出力としては、入力デ
ータに各重み係数を乗じたものの総和（に対するｓｉｇ
ｍｏｉｄ関数の値）を必要としているだけなので、各シ
フト結果は、最終的に加算されれば、重み係数に対応す
る組み合わせによらずに、その順序や組み合わせを自由
に選択することができる。

第１図において、ビットシフト部ＢＦ５１〜５７に対す
るＳｆはシフト量を示し、ｓ　ｆ＝ｎならば、入力は２
°倍され、左に９桁（ｎ＜Ｏなら右にｎ１桁）シフトさ
れる。ここでは、ビットシフト部ＢＦ５１〜５７のシフ
ト量は、それぞれ、３、０、１、−１、２、・・・、１
、−１としている。

また、図中のｄ　ｎ　（　ｎ　＝　−　２　、　−　１
　、−、　３　）ｎビットシフトされた桁のデータを示
している。

先ず、４ビツトの加算器５８の八人力として、ＡＯには
、ｓｆ＝−１なる、あるＢＦの出力が入り、Ａ１にはＢ
Ｆ５２の出力（ｓｆ＝ｏ）、Ａ２にはＢＦ５３の出力（
ｓｆ＝１）、Ａ３にはあるＢＦの出力（ｓｆ＝２）がそ
れぞれ人力される。以上のＡＯ−Ａ３が１つのデータと
して八人力に与えられる。これは、（規則１）に従って
いる。

次に、Ｂ入力には、（規則５）に基づき、八人力のそれ
ぞれと同じ桁となるシフト量ｓｆ＝−］〜２のデータを
、八人力と同様（規則１）に従ってまとめて与えるもの
とし、両者が加算される。

また、１ビットの加算器５９では、（規則２）に従い、
共にｓｆ＝］である２つの入力が加算され、同様に、１
ビットの加算器６０では、（規則２）に従い、共に５ｆ
＝−１である２つの入力が加算される。加算器５９．６
０の出力は、それぞれｄ１〜ｄ２、ｄ−１〜ｄＯであり
、重ならないので、（規則３）に従い、まとめられ、更
に（規則４）に従ってｓ　ｆ＝３となるＢＦの出力とも
まとめられ、ｄ−１〜ｄ３なる５ビツトの入力として５
ビツト加算器６１に入力される。

一方、４ビツト加算器５８の出力もｄ−１〜ｄ３であり
、（規則５）に従って、５ビツト加算器６１に人力され
る。また、５ビツト加算器６１の出力（ｄ−１〜ｄ４）
にも、（規則４）に従って５ｆ＝−２となる他のＢＦの
出力とまとめられる。

なお、図中には、回路の構成において、採用した（規則
１）〜（規則５）を■〜■で表わしている。

また、本発明においては、上述した（規則１）〜（規則
５）の適用に優先順位をつけるものではなく、規則を全
て利用することを要求したり、規則に当てはまらない部
分の存在を認めなかったりするものではない。

本発明では、入力は０又は１に限られ、これに対するビ
ットシフトの結果の加算のためには、高々数ビツト程度
の加算器で十分に演算が可能となる。従って、ニューラ
ルネットワークのハードウェアをＬＳＩやゲートアレイ
で組むことが可能となる。

以上は、２値画像データの入力につき説明したが、２値
データは画像に限るものではない。

また、本実施例は、中間層の重み係数を例にとったが、
前段よりの人力が０又は１の２値であればよ（、例えば
、閾値関数による処理を行なうことにより、各層で適用
可能となる。

［発明の効果］ 以上説明した如く、本発明によれば、ニューラルネット
ワークのニューロンにおける乗算を、ビットシフトまた
は、ビットシフトされたもの同士の和に置き換え、被加
算データにおいて桁の重なりのない複数の加算処理を、
同時に同一の加算器により行ない、あるいは、データを
構成する桁に重なりのない複数のデータの加算を、各デ
ータを同一データ中の当該桁部分として後段の処理部に
入力することにより行なうことにより、回路規模を小さ
くすることが可能となる。

【図面の簡単な説明】

第１図は、実施例のニューロンの回路構成図、第２図は
、実施例のニューロンのブロック構成図、 第３図は、実施例のニューラルネットワークの全体構成
図、 第４図は、ニューラルネットワークの学習手順のフロー
ヂャート、 第５図は、ニューラルネットワークの概念図、第６図は
、再学習手順のフローヂャートであ１．２・・・ライン
バッファ ３〜８・・・ラッチ ５８・・・４ビツト加算器 ５９．６０・・・１ビツト加算器 ６１・・・５ビツト加算器 ＢＦ・・・ビットシフト部 ＡＤ・・・加算器 ＦＴ・・・関数演算部

Claims (5)

【特許請求の範囲】
1. （１）入力層、１つ以上の中間層及び出力層を有するニ
   ューラルネットワークであって、一部の層における入力
   を０又は１とし、当該層の重み係数を２のべき乗または
   ２のべき乗の和として、この層における乗算と加算をシ
   フト演算と加算により実現し、被加算データにおいて桁
   の重なりのない複数の加算処理を、同時に同一の加算器
   により行なうことを特徴とするニューラルネットワーク
   。
2. （２）入力層、１つ以上の中間層及び出力層を有するニ
   ューラルネットワークであって、一部の層における入力
   を０または１とし、当該層の重み係数を２のべき乗また
   は２のべき乗の和として、この層における乗算と加算を
   シフト演算と加算により実現し、データを構成する桁に
   重なりのない複数のデータの加算を、各データを同一デ
   ータ中の当該桁部分として後段の処理部に入力すること
   により行なうことを特徴とするニューラルネットワーク
   。
3. （３）入力層、１つ以上の中間層及び出力層を有し、学
   習により決定されたニューラルネットワークにおいて、
   ０または１が入力されるある層の重み係数に対して、２
   のべき乗または２のべき乗の和による近似値を求め、求
   められた値を新たな重み係数とする乗算とその総和を求
   める演算を、シフト演算と加算により実現し、被加算デ
   ータにおいて桁の重なりのない複数の加算処理を、同時
   に同一の加算器により行なうように構成することを特徴
   とするニューラルネットワークの構築方法。
4. （４）入力層、１つ以上の中間層及び出力層を有し、学
   習により決定されたニューラルネットワークにおいて、
   ０または１が入力されるある層の重み係数に対して、２
   のべき乗または２のべき乗の和による近似値を求め、求
   められた値を新たな重み係数とする乗算とその総和を求
   める演算を、シフト演算と加算により実現し、データを
   構成する桁に重なりのない複数のデータの加算を、各デ
   ータを同一データ中の当該桁部分として後段の処理部に
   入力することにより行なうように構成することを特徴と
   するニューラルネットワークの構築方法。
5. （５）前記重み係数を、求められた２のべき乗または２
   のべき乗和による近似値に固定して再学習を行ない、当
   該重み係数以外の係数を更新することを特徴とする請求
   項第３項または第４項記載のニューラルネットワークの
   構築方法。