JPH0451385A - ニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は、各種処理に好適なニューラルネットワーク及
びその構築方法に関するものである。

［従来の技術］ 近年、ニューラルネットワークによって各種処理を行な
うことが研究されている。

ニューラルネットワークを用いる処理では、処理精度を
向上させるために、各素子にニューロン）は多数の人力
に対して演算処理を施して出力を行なう。

［発明が解決しようとする課題］ しかしながら、ニューラルネットワークを単純にハード
化すると、その回路規模は非常に大きいものとなってし
まうという問題があった。

［課題を解決するための手段および作用］上記課題を解
決するために、本発明のニューラルネッ！・ワークは、
当該ニューラルネットワークの入力層と、中間層の内の
１層以上とを、各々が入力層と中間層とを有する互いに
非接続な複数のグループにより構成したことにより、各
ニューロン間の結線を減らして回路規模を小さくする。

［実施例］ 先ず、バックプロパゲーション型ニューラルネットワー
クにおける学習の手順を第５図を例として説明する。

第５図に示されたニューラルネットワークは、入力層ｉ
、１層よりなる中間層ｊ、出力層ｋによって構成されて
いる。

学習のためには、入力データと、それに対する理想出力
とを用意し、中間層における結合強度ＷＪｌ、出力層に
おける結合強度ＷＭＪの初期値を適当に決定し、この初
期値に基づいて結合されたネットワークに、用意した入
力データを与え、中間層、出力層の順で処理されて出力
データを得る。ここまでが、第５図における■および■
の流れである。次に、得られた出力層よりの出力と、用
意した理想出力とを比較し、この比較により教師信号を
生成し、この教師信号によって、出力層における結合強
度Ｗ０を補正し、更に中間層における結合強度ＷＪｌを
補正する。これが■および■の流れである。

以上が学習の１工程であり、この学習を繰り返すことに
より、結合強度Ｗ３１、ＷｋＪが適切な値へと修正され
ていく。学習の結果、更新された結合強度がネットワー
ク内に保持される。

上述の学習手順を、第４図のフローチャートを用いて更
に詳細に説明する。

先ず、ステップ５４０１で、重み係数（結合強度）Ｗ４
０、Ｗ　ｋＪの初期値を与える。ここでは、学習過程で
の収束を考慮して、−〇、５〜＋０．５の範囲の値を選
択する。

次に、ステップ５４０２で学習用の入力データ１ｏｕｔ
　（ｉ　）を選択し、ステップ５４０３でこのブタ１ｏ
ｕｔ（ｉ）を入力層にセットする。また、ステップ５４
０４で、入力データｊｏｕｔ（ｉ）に対する理想出力（
ｉｄｅａｌ　ｏｕｔ）を用意する。

そこで、ステップ３４０５で、中間層の出力ｊ（＋ｕｔ
（ｊ）を求める。

先ず、入力層よりのデータ１ｏｕｔ（ｉ）に中間層の重
み係数Ｗ、１を掛け、その総和Ｓｕｍｖ　Ｊを、Ｓｕｍ
ｚ＝ΣＷ　Ｊｌ（ｊ、　ｉ）＊１ｏｕｔ（ｉ）により計
算し、次に、このＳｌｌｍＦｊにｓｉｇｍｏｊｄ関数を
作用させて、ｊ番目の中間層の出力ｊｏｕｔ（ｊ）を、 によって計算する。

次に、ステップ８４０６で、出力層の出力ｋｏｕｔ（ｋ
）を求める。この手順はステップ３４０６と同様である
。

すなわち、中間層からの出力ｊｏｕｔ（ｊ）に出力層の
重み係数Ｗ　ｋＪを掛け、その総和Ｓｕｍｐ　ｕを、Ｓ
ＬＩｍｐｉ＋＝ΣＷ　ＩＩＪ　（ｋ、　ｊ）＊ｊｏｕｔ
（ｊ）により計算し、次に、このＳｕｍｐｋにｓｉｇｍ
ｏｉｄ関数を作用させて、ｋ番目の中間層の出力ｋｏｕ
ｔ（ｋ）を、 によって計算する。なお、この出力値は正規化されてい
る。また、一般には、出力層の素子数は複数であるが、
第５図の例では、１個だけとしている。

次に、ステップ５４０７では、以上により得られた出力
ｋｏｕｔ（ｋ）と、ステップ５４０４で用意した理想出
力１ｄｅａｌ　ｏｕｔ（ｋ）とを比較し、出力層の教師
信号ｔｅａｃｈ　ｋ（ｋ）として、 ｔｅａｃｈ　ｋ（ｋ）　＝　（ｉｄｅａｌ　ｏｕｔ（ｋ
）　−ｋｏｕｔ（ｋ））＊ｋｏｕｔ（ｋ）＊（１−ｋｏ
ｕｔ（ｋ）１を求める。ここで、ｋｏｕｔ（ｋ）＊（１
−ｋｏｕｔ（ｋＮは、ｓｉｇｍｏｉｄ関数ｋｏｕｔ（ｋ
）の微分の意義を有する。

次に、ステップ３４．０８で、出力層の重み係数の変化
幅△Ｗｙａ（ｋ、ｊ）を、 △Ｗ０（ｋｌｊ）＝β＊ｊｏｕｔ（ｊ）＊ｔｅａｃｈ　
ｋ（ｋ）＋α＊△Ｗｋ、１（ｋ、、＋） により計算する。ここで、αは安定化定数、βは学習定
数と呼ばれる定数であり、急激な変化を押える役割を果
たしている。

ステップ５４０９では、この変化幅に基づいて、重み係
数Ｗ　−＝　（ｋ、　ｊ）を、ＷｋＪ（ｋ、ｊ）　＝Ｗ
ｋＪ（ｋ、ｊ）＋△Ｗ　ｋＪ（ｋ、　ｊ）と、更新する
。すなわち学習を行なう。

次に、ステップ５４１０で、中間層の教師信号ｔｅａｃ
ｈ　ｊ（ｊ）を計算する。そのために、先ず、Ｓｕｍｕ
ｉ−Σｔｅａｃｈ　ｋ（ｋ）＊　　Ｗｋ、＋（ｊ、ｊ）
に基づいて、出力層から、中間層の各素子への逆方向の
寄与を計算する。次にこのＳｕｍａ、＋から、中間層の
教師信号ｔｅａｃｈ　ｊ（ｊ）を以下の式により演算す
る。

ｔｅａｃｈ　ｊ（ｊ）＝ｊｏｕｔ（ｊ）”（Ｉ−ｊｏｕ
ｔ（ｊ）ｌ＊ｓｕｍＢ。

次に、ステップ５４１１で、中間層の重み係数の変化幅
△Ｗ　Ｊ　ｌ　（ｊ、　ｉ）を、△ＷＪ＋（、ｊ、ｉ）
　＝β＊ｊｏｕｔ（ｉ）＊ｔｅａｃｈ　ｊ（ｊ）＋ａ＊
△ＷＪ　＋　（ｊ、　１） により計算する。

ステップ５４１２では、この変化幅に基づいて、重み係
数ＷＪｌ（ｊ、ｉ）を、 Ｗ４＋（ｊ、ｉ）　　＝：ＷＪ、（ｊ、ｉ）　十△Ｗ１
．（ｊ、ｉ）と、更新する。すなわち学習を行なう。

こうして、ステップ８４０１〜４１２により、１組の人
力データとこれに対する理想出力とから、重み係数Ｗ４
．とＷ５とが１回学習された。

ステップ８４１３では、以上のような学習を全入力デー
タにつき行なったかを調べ、未だの場合は、ステップ８
４０１〜４１２を繰り返す。

ステップ５４１４では、所定の学習回数に達したかを調
べ、不足の場合は、ステップ３４．０１〜４１３を繰り
返す。

以上がバックプロパゲーション法に基づいたニューラル
ネットワークの学習手順の説明である。

本発明は、第５図のような一般のニューラルネットワー
クに対して、次のような構成のニュラルネットワークを
新たに提案するものである。

本発明の１実施例の構成を第１図（ａ）に示す。同図に
おけるニューラルネットワークは、入力層および第１中
間層までが、グループ１〜ｎに分断され、異なるグルー
プ間では、結合は生じない。各グループで処理されたデ
ータは、出力層において、初めて１つの神経細胞で処理
される。

このようなニューラルネットワークのハードウェア構成
について、以下に説明する。

出力層での処理を軽減するために次のような方法を考え
る。

出力層では、各グループの中間層よりの出力データに出
力層での重み係数を乗じ、総和を取るｓ　ｕ、　ｍ　＝
ΣＷ　ｙ　ａ　Ｘ　ｊｏｕｔ　（ｊ）の演算が実行され
るが、これを、 ｓｕｍ（ｍ）＝ΣＷ　Ｊ　Ｘ　ｊｏｕｔ（ｊ）（、ｊは
グループｍの内部） と定義すれば、 Ｓｕｍ＝ｓｕｍ（１）＋ｓｕｍ（２）＋−川用Ｓ　ｕ　
ｍ　（ｎ） となる。従って、各グループ内で、ｓ　ｕ　ｍ　（ｍ）
を求めて、これを各グループからの出力とすれば、出力
層では、各グループからの出力の総和をとってｓｕ、ｍ
を求め、これにｓｉｇｍｏｉｄ関数を作用させればよい
。

このようにして、ｓ　ｕ　ｍ　（ｎ）の計算を含めて各
グループにおいては、処理をテーブルによる変換で実現
する。

このようにグループ分けされた構造を、ハードウェアに
よって実現するための回路構成を第２図に示す。

第２図は、２値画像を処理するためのものである。第２
図（ｂ）に示すように、入力された２値画像は、ライン
バッファ部１で垂直画素方向に遅延され、ＤＦＦ２Ｏよ
り水平ライン方向に遅延され、注目画素の周囲の画像デ
ータがとりだされて演算メモリ３〜４に入力される。各
演算メモリは、それぞれ、前述のグループ１〜ｎに対応
しており、ＤＦＦ２Ｏりの出力の内で、対応するグルー
プに関する入力層の値だけが人力され、各グループｍで
は、テーブル変換により、ｓ　ｕ　ｍ　（ｍ）を求める
ところまでの演算が行なわれる。

そして加算器５で、ｓｕ　ｍ　（ｍ）の全グループにつ
いての総和が計算され、関数メモリ６において、ｓｉｇ
ｍｏｉｄ関数の値をテーブル変換により得る。

上記のラインバッファ部１およびＤＦＦ２Ｏ更に詳細な
構造を第２図（ａ）に示す。ラインバッファ部は、直列
に接続されたラインバッファ１０１〜１０３により構成
され、それぞれからがらは、１ライン、２ライン、・・
・の遅延データが得られ、画像の垂直方向のデータが得
られる。

また、ＤＦ部２では、ラインバッファ部１からの遅延デ
ータが、先ず、ＤフリップフロップＤＦ１１１〜１１４
に入力さＡ１、水平方向に１画素の遅延が行なわれる。

また、その出力は、ＤフリップフロップＤＦ１１５〜１
１８に入力され、水平方向に更に】画素の遅延が行なわ
れ、同様にＤフリップフロップＤＦ１１９〜１２２まで
で、順次１画素の遅延が行なわれる。

このようにして、注目画素の周辺の画素がとりだされる
。各グループには、この周辺画素の内、当該グループに
対応する画素が与えられる。

特に、グループ数が２の場合のグループ分しづの例が第
２図（Ｃｕｄ）に示されている。これらの図では、例え
ば、斜線部分をグループ１、残りをグループ２とする。

（ｃ）は中心部分と周辺部分とにグループ分けした例で
あり、（ｄ）は注目画素周辺を一様に２つに分割した例
である。

本実施例を、演算メモリ３〜４および加算器５、関数メ
モリ６を１つのテーブルで実現した場合と比べると、入
力素子数をｐとし、ｐをｎ等分してｎ個のグループとす
れば、テーブル量は、全部を１つのテーブルとする場合
が、２値デ一タｐ個に対する２ｐであるのに対し、本実
施例では、各グループの入力が２値デ一タｐ／ｎ個であ
り、そのｎグルー１分に対する２　ｐ／　ｎ　Ｘ　ｎの
テーブル量で済む。

例えば、入力を５×５の画素とし、これを５グループに
分けるとすると、］テテブルにするには、２２５岬３．
４Ｘ１．０７必要であるのに対し、本実施例では、２′
″Ｘ　５　＝　１．６０で済むこととなる。

次に、本発明の他の構成を第１図（ｌ〕）に示す。

同図において、ニューラルネットワークは、入力層、第
１中間層、第２中間層および出力層よりなる。

このニューラルネットワークでは、前述の場合のグルー
プ１〜ｎが、変形グループ１〜ｎに含まれ、変形グルー
プにおける第１中間層までを形成し、その出力は、変形
グループ内の第２の中間層に全て入力される。

第２の中間層では、各入力に第２中間層の重み係数を乗
じてグループ内の総和をとり、ｓｉｇｍｏｉｄ関数の値
を計算する。

この４層からなるニューラルネットワークも、第２図に
示すものと同じ回路構成で、実現が可能である。

この場合は、第２図（ｂ）に示した演算メモリ３〜４の
テーブルの内容は、以下のニューロンの演算結果が記憶
される。

先ず、グループにおける全ての入力層の値１ｏｕｔ　　
に対するｓｕｍ＋＝ΣＷ、、Ｘ１ｏｕｔ　　、および、
第１中間層の出力となるｓｉｇｍｏｉｄ関数の値ｊｏｕ
ｔ＝　ｆ　（ｓ　ｕ　ｍ　ｌ）、この出力ｊｏｕｔに対
するＳｔｌｍｊ：ΣＷｂ、＋Ｘｊｏｕｔ、および、第１
中間層の出力となるＳｉｇｍｏｉｄ関数の値ｋｏｕｔ＝
　ｆ　（ｓ　ｕｍ、、）更に、ｋｏｕｔに対して出力層
における重み係数Ｗ１□を乗じたＷ、□Ｘ　ｋｏｕｔを
テーブルの内容として持つ。

従って、第２図（ｌ〕）に示す加算器５では、Ｓｕｍｗ
＝ΣＷ　ｈ　＋　Ｘ　ｋｏｕ　ｔの演算が行なわれ、関
数メモリ６では、ｓｉｇｍｏｉｄ関数値ｆ（ｓｕｍｋ）
がテーブル変換により求められ、最終出力が得られるこ
ととなる。

以上の説明では、各グループは、完全に分断されていた
が、一部分だけは接続されるようにしてもよい。第３図
にその構成例を示す。

同図では、入力層および中間層は２つのグルブより構成
され、入力層の素子の内、斜線部分の素子だけが、両グ
ループに共通となる。

このような場合、ハードウェア化におけるテブル容量は
、完全に分断されている場合に比べると、例えば、各グ
ループが、新たに他のグループに属する素子を１つ共有
するようにし、各グルブ内の素子を１増加させるとして
も、２倍になるだけなので、その容量が、メモリの許容
範囲内であれば、差し支えない。

以上のように、本発明によれば、入力層側で、ニューラ
ルネットワークを複数のグループに分断した構成とした
ので、ニューロンの処理の一部を少数ビットのアドレス
によるテーブル変換で実現できるようにし、そのための
メモリを数個設けることにより、ニューラルネットワー
クにおける？寅算の大部分を行なうようにしたので、回
路規模の縮小化が図れる。

一方、出力層側においては、入力層側で分断されていた
グループが接続されるので、全体としてニューラルネジ
１〜ワークの作用が保たれている。

また、分断された各グループでは、中間層を多層化させ
ても、ハードウェアの規模を大きくする必要はない。

［発明の効果］ 以上説明した如く、本発明によれば、ニューラルネット
ワークの入力層と、中間層の内の１層以上とを、各々が
入力層と中間層とを有する互いに非接続な複数のグルー
プにより構成したことにより、回路規模を小さくするこ
とが可能となる。

【図面の簡単な説明】

第１図（ａ）は、実施例のニューラルネットワークの構
成図、 第１図（ｂ）は、他の実施例のニューラルネットワーク
の構成図、 第２図（ａ）、（１〕）は、実施例のニューラルネジ１
〜ワークの回路構成図、 第２図（ｃＬ（ｄ）は、入力画像のグループ分けの例を
示す図、 第３図は、他の実施例のニューラルネットワークの構成
図、 第４図は、ニューラルネットワークの学習手順のフロー
チャー１・、 第５図は、ニューラルネットワークの概念図、１・・・
ラインバッファ部 ２・・・ＤＦ部 ３〜４・・・演算メモリ ５・・・加算器 ６・・・関数メモリ

Claims (2)

【特許請求の範囲】
1. （１）入力層、１つ以上の中間層及び出力層を有するニ
   ューラルネットワークであって、当該ニューラルネット
   ワークの入力層と、中間層の内の１層以上とを、各々が
   入力層と中間層とを有する互いに非接続な複数のグルー
   プにより構成したことを特徴とするニューラルネットワ
   ーク。
2. （２）前記グループの各々に、グループ内の各層の処理
   をテーブル変換によって行なうための演算テーブルを備
   えたことを特徴とする請求項第１項記載のニューラルネ
   ットワーク。