JPH0451383A

JPH0451383A - ニューラルネットワーク

Info

Publication number: JPH0451383A
Application number: JP2161903A
Authority: JP
Inventors: Yoshinobu Mita; 三田　良信
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-06-19
Filing date: 1990-06-19
Publication date: 1992-02-19

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】本発明は、各種処理に好適なニューラルネットワーク及
びその構築方法に関するものである。

［従来の技術］近年、ニューラルネットワークによって各種処理を行な
うことが研究されている。

ニューラルネットワークを用いる処理では、処理精度を
向上させるために、各素子にニーロン）は多数の入力に
対して演算処理を施して出力を行なう。

［発明が解決しようとする課題］しかしながら、ニューラルネットワークを単純にハード
化すると、その回路規模は非常に大きいものとなってし
まうという問題があった。

［課題を解決するための手段］上記課題を解決するために、本発明のニューラルネット
ワークは、当該ニューラルネットワークの中間層の各素
子において、当該素子に接続される入力層の素子を複数
のグループに分け、入力層よりの出力を各グループ毎に
テーブル変換によって処理を行なう複数の演算処理手段
を具える。

また、本発明のニューラルネットワークの他の態様は、
当該ニューラルネットワークの入力層の素子を複数のグ
ループに分け、入力層よりの出力を各グループ毎にテー
ブル変換によって処理を行なう複数の演算処理手段を具
える。

［作用］本発明によれば、ニューラルネットワークの処理の大部
分を複数のテーブルによる変換により実現する。

［実施例］先ず、パックプロパゲーション型ニューラルネットワー
クにおける学習の手順を第５図を例として説明する。

第５図に示されたニューラルネットワークｉｌｌ、入力
層ｉ、１層よりなる中間層ｊ、出力層ｋによって構成さ
れている。

学習のためには、入力データと、それに対する理想出力
とを用意し、中間層における結合強度ＷＪ３、出力層に
おける結合強度Ｗ　ｋ４の初期値を適当に決定し、この
初期値に基づいて結合されたネットワークに、用意した
入力データを与え、中間層、出力層の順で処理されて出
力データを得る。ここまでが、第５図における■および
■の流れである。次に、得られた出力層よりの出力と、
用意した理想出力とを比較し、この比較により教師信号
を生成し、この教師信号によって、出力層における結合
強度ＷｋＪを補正し、更に中間層における結合強度ＷＪ
ｌを補正する。これが■および■の流れである。

以上が学習の１工程であり、この学習を繰り返すことに
より、結合強度Ｗ４８、Ｗ　ｋ、が適切な値へと修正さ
れてい（。学習の結果、更新された結合強度がネットワ
ーク内に保持される。

上述の学習手順を、第６図のフローチャートを用いて更
に詳細に説明する。

先ず、ステップ５４０１で、重み係数（結合強度）　Ｗ
Ｊ、、Ｗ　ｋＪの初期値を与える。ここでは、学習過程
での収束を考慮して、−〇、５〜＋０．５の範囲の値を
選択する。

次に、ステップ５４０２で学習用の入力データ１ｏｕｔ
（ｉ）を選択し、ステップ５４０３でこのデータ１ｏｕ
ｔ（ｉ）を入力層にセットする。また、ステップ３４．
０４で、人力データ１ｏｕｔ（ｉ）に対する理想出力（
ｉｄｅａｌ　ｏｕｔ）を用意する。

そこで、ステップ５４０５で、中間層の出力ｊｏｕｔ（
ｊ）を求める。

先ず、入力層よりのデータ１ｏｕｔ（ｉ）に中間層の重
み係数Ｗ、、を掛け、その総和Ｓｌ１ｍＦｊを、Ｓｕｍ
ｚ−ΣＷ　Ｊｌ（ｊ、　ｉ）＊１ｏｕｔ（ｉ）により計
算し、次に、この５ｕｌｌｌｒＪにｓｉｇｍｏｉｄ関数
を作用させて、ｊ番目の中間層の出力ｊｏｕｔ（、ｉ）
を、によって計算する。

次に、ステップ８４０６で、出力層の出力ｋｏｕｔ（ｋ
）を求める。この手順はステップ５４０６と同様である
。

すなわち、中間層からの出力ｊｏｕｔ（ｊ）に出力層の
重み係数ＷｋＪを掛け、その総和ＳｕｍＦｋを、ＳＬＩ
ｍＦｋ＝ΣＷ　ｈ＝　（ｋ、　ｊ）＊ｊｏｕｔ（ｊ）に
より計算し、次に、このＳｕｍＦｋにｓｉｇｍｏｉｄ関
数を作用させて、ｋ番目の中間層の出力ｋｏｕｔ（ｋ）
を、によって計算する。なお、この出力値は正規化されてい
る。また、一般には、出力層の素子数は複数であるが、
第５図の例では、１個だけとしている。

次に、ステップ５４０７では、以上により得られた出力
ｋｏｕｔ（ｋ）と、ステップ５４０４で用意した理想出
力ｊｄｅａｌ　ｏｕｔ（ｋ）とを比較し、出力層の教師
信号ｔｅａｃｈ　ｋ（ｋ）として、ｔｅａｃｈ　ｋ（ｋ）　＝　（ｉｄｅａｌ　ｏｕｔ（ｋ
）　−ｋｏｕｔ（ｋ））＊ｋｏｕｔ（ｋ）＊（１−ｋｏ
ｕｔ（ｋ）１を求める。ここで、ｋｏｕｔ（ｋ）＊（１
−ｋｏｕｔ（ｋ）ｌは、ｓｉｇｍｏｉｄ関数ｋｏｕｔ（
ｋ）の微分の意義を有する。

次に、ステップ５４０８で、出力層の重み係数の変化幅
△ｗｋＪ（ｂ、ｊ）を、 △Ｗｋ、＋（ｋ、、ｊ）　＝β＊ｊｏｕｔ（ｊ）＊ｔｅ
ａｃｈ　ｋ（ｋ）十α＊△’Ａ’ｋＪ（ｋ、ｊ）により計算する。ここで、αは安定化定数、βは学習定
数と呼ばれる定数であり、急激な変化を押える役割を果
たしている。

ステップ５４０９では、この変化幅に基づいて、重み係
数ＶＶｋｉ（ｋ、、＋）を、Ｗ　ｋＪ（ｋ、　ｊ）　＝
　Ｗ　ｋｉ　（ｋ、Ｊ）＋△Ｗｙａ（ｋ、ｊ）と、更新
する。すなわぢ学習を行なう。

次に、ステップ５４１０で、中間層の教師信号ｔｅａｃ
ｈ　ｊ（ｊ）を計算する。そのために、先ず、ＳｕｍＢ
Ｊ＝Σｔｅａｃｈ　ｋ（ｋ）＊　ＷｂＪ（ｊ、ｉ）に基
づいて、出力層から、中間層の各素子への逆方向の寄与
を計算する。次にこのＳＬｌｍｎｊから、中間層の教師
信号ｔｅａｃｈ　ｊ（ｊ）を以下の式により演算する。

ｔｅａｃｈ　ｊ（ｊ）＝ｊｏｕｔ（ｊ）＊（Ｉ−ｊｏｕ
ｔ（ｊ）ｌ＊ｓｕｍ１１．１次に、ステップ５４１１で
、中間層の重み係数の変化幅△Ｗ　４１（ｊ、　ｉ）を
、 △ＷＪ＋（ｊ、ｉ）　＝β＊１ｏｕｔ（ｉ）＊ｔｅａｃ
ｈ　ｊ（ｊ）＋α＊△ＷＪ□（ｊ、ｊ）により計算する。

ステップ５４１２では、この変化幅に基づいて、重み係
数Ｗ　Ｊ　ｌ　（ｊ、　ｉ）を、Ｗ　Ｊｌ　（ｊ、　ｔ
）　＝　Ｗ　Ｊｌ（ｊ、　；、）＋△ＷＪｌ（ｊ、ｉ）
と、更新する。すなわち学習を行なう。

こうして、ステップ３４０１〜４１２により、１組の人
力データとこれに対する理想出力とから、重み係数Ｗ　
Ｊ　ｌとＷｋ、とが１回学習された。

ステップ５４１３では、以上のような学習を全人力デー
タにつき行なったかを調べ、未だの場合は、ステップ３
４０１〜４１２を繰り返す。

ステップ５４１４では、所定の学習回数に達したかを調
べ、不足の場合は、ステップ８４０１〜４１３を繰り返
す。

以上がパックプロパゲーション法に基づいたニューラル
ネットワークの学習手順の説明である。

本発明は、第５図のような一般のニューラルネットワー
クに対して、次のような方法により、ニューラルネット
ワークのハードウェアを構成するものである。

本発明の１実施例の構成を第１図（ａ）に示す。同図に
おけるニューラルネットワークは、入力層の各素子は、
中間層の全ての素子と接続され、中間層の各素子は、１
個の素子よりなる出力層と接続されている。この中間層
の各素子において、図の破線に示すように、入力層の素
子をグルブ１および２の二つに分ける。グループの数は
、入力層の素子数に応じて、更に増やしても構わない。

これを全ての、または一部の中間層について行なう。な
お、中間層の素子ごとに、グループ分けは、一致しなく
てもよく、例えば、第１図（ａ）のように、素子ｍ１と
ｍ２とで異なっていてもよい。

このようなニューラルネットワークのハードウェア構成
について、以下に説明する。

第２図は、２個画像を処理するための回路構成である。

入力された２個画像は、直列に接続されたラインバッフ
ァ１〜３により、それぞれからから、１ライン、２ライ
ン、・・・の遅延データが得られ、画像の垂直方向のデ
ータが得られる。また、元のデータおよびこれらの遅延
データは、先ず、ラッチ４〜７に入力され、水平方向に
１画素の遅延が行なわれる。また、その出力は、ラッチ
８〜１１に入力され、水平方向に更に１画素の遅延が行
なわれ、同様にラッチ１２〜１５までで、順次１画素の
遅延が行なわれる。このようにして、注目画素およびそ
の周囲の矩形領域の画像データがとりだされる。これを
２値パタンデータと呼ぶものとする。

２値パタンデータは、各演算部に入力される。

各演算部は、それぞれ、中間層の１素子に対応しており
、本実施例では、各演算部は、各素子におけるグループ
Ｇ１およびＧ２に対して、異なる２つのテーブルを持ち
、それぞれのグループに属する入力層の素子からの入力
を受ける。

各演算テーブルでは、グループにおける全ての入力層の
値ｊｏｕｔに対するΣＷ　ｉ　ｉ　Ｘ１ｏｌｊｔ、が得
られる。これらを、グループＧ１、Ｇ２について、それ
ぞれ、Ｓ　ｕ　ｍ　１、Ｓ　ｕ　ｍ　２とすると、加算
器２２〜２４では、ｓｕｍ＝ｓｕｍｌ＋ｓｕｍ２が得ら
れる。中間層の出力としては、ｓｉｇｍｏｉｄ関数の値
ｊｏｕｔ＝　ｆ　（ｓ　ｕｍ）を計算すればよいが、本
実施例では、この出力ｊｏｕｔにＷｋＪを乗じたＷ　ｋ
ＪＸ　ｊｏｕｔまでを関数テーブル２５〜２７で求める
。

従って、加算器２８では、ｓｕｍ　　＝ΣＷ　ｋＪｘ　ｊｏｕｔの総和のみが行な
われ、Ｓ関数テーブル２９により、ｓｉｇｍｏｉｄ関数
値ｆ　（ｓｕｍ’　）がテーブル変換により求められ、
最終出力が得られることとなる。

第１図（ｂ）に、本発明の他の構成として、中間層が入
力層の１部とだけ接続される場合の例を示す。同図では
、中間層の素子ｍ１ば、入力層の素子１１、ｉ３、ｊ５
、・・・と結合され、中間層の素子ｍ２は、入力層の素
子１２、ｉ４、ｊ６、・・・と結合される。

このように、入力層と中間層とは、全て結合していなく
てもよい。

また、前述した如く、グループ数は、３以」二でもよい
が、その場合は、各演算部における演算テブルをグルー
プの数だけ用意し、演算テーブルから加算器への入力数
もグループの数だけ必要となる。

また、上述のように、入力層と中間層の結線数が少な（
なれば、１つの演算部全体を１つのテブルに置き換えて
もよい。この場合、テーブルには、入力バタン１ｏｕｔ
に対して、ｆ　（ΣＷＪｌｘｌｏｌｌ　ｔ　）　Ｘ　Ｗ　ｌ、　１
が書き込まれルコトニなる。従って、テーブル演算によ
り、中間層の出力に、出力層の重み係数を乗じた値まで
が得られる。

更に他の構成例を説明する。

本実施例では、各中間素子におけるグループ分けは共通
とする。

また、前述の実施例で中間層においてｓｉｇｍｏｉｄ関
数による値を求めていた部分を１次関数によって処理す
る。１次関数としては、ｓｉｇｍｏｉｄ関数とｙ切片が
同一のものを使用する。

ｓｉｇｍｏｉｄ関数ｆ　（ｘ）を第４図（ａ）に、１次
関数ｆ’　　（ｘ）を第４図（ｂ）に示す。

以上の方法により、本実施例では、第２図の演算テーブ
ル１６〜２１、加算器２２〜２４、加算テーブル２５〜
２７および加算器２８を第３図に示す構成の回路と置き
換えることが可能になる。

以下にこのことを示す。

この場合、加算器１０３による出力が、加算器２８の出
力Σ（ｆ　（ｓｕｍ）ＸＷｗｉ）に対応するΣ（ｆ’　
　（ｓｕｍ）ＸＷｉ＋４）となれば、置き換え可能であ
る。ここで、ｓｕｍ＝＝ｓｕｍ］−＋ｓｕｍ２であり、ｆ’　　（ｘ
）は１次関数であるので、第４図（ｂ）も参照して、ｆ
’（ｓｕｍ）ｆ’（ｓｕｍｌ）＋ｆ’（ｓｕｍ２）−ｆ’（０）ｆ’
（ｓｕｍｌ）＋ｆ’（ｓｕｍ２）−ｍｉ　ｄを得る。従
って、 Σｆ　’　（ｓ　ｕ　ｍ　）　Ｘ　Ｗ　ｈ、＋）＝Σｆ
　’（ｓ　ｕｍ　１　）　ＸＷ＋、）十Σｆ　’（ｓ　
ｕ　ｍ　２　）　ＸＷｋＪ）Σｆ　’　（ｍ　１　ｄ　
）　Ｘ　Ｗ　１）となるので、」１式の右辺第１項、第
２項をそれぞれ特殊関数テーブル１０］、１０２で計算
するものとし、更に定数項となる第３項をどちらか一方
（例えば、テーブル１０１）で加えれば、加算器１、０
３の出力は、上式の左辺 Σｆ　’　（Ｓ　ｕ　ｍ　）　×Ｗ　ｉ＋Ｊ）となるの
で、上述の置き換えが成立する。

すなわち、特殊関数テーブル１０１では、入力に対して
、 Σｆ　’（ｓ　ｕ　ｍ　］　　）　　ｘ　ＷｋＪ）Σｆ
　’　（ｍ　１　　ｄ　）　　Ｘ　Ｗ　ｋＪ）Σｆ　’
（ｓ　ｕｍ　１−ｍ　ｉ　ｄ）　ＸＷｌｌＪ）を出力し
、特殊関数テーブル１０２では、 Σｆ’（ｓｕｍ２）ＸＷｋ、＋）が書かれテイル。

［発明の効果］以上説明した如く、本発明によれば、ニューラルネット
ワークの入力層を複数のグループに分り、ニューラルネ
ットワークの処理の大部分を、各グループ毎にテーブル
変換によって実現し、回路規模を小さくすることが可能
となる。

【図面の簡単な説明】

第１図（ａ）は、実施例のニューラルネットワクの構成
図、第１図（ｂ）は、他の実施例のニューラルネットワーク
の構成図、第２図は、実施例のニューラルネットワークの回路構成
図、第３図は、他の実施例のニューラルネットワクの構成図
、第４図（ａ）は、処理に利用するｓｉｇｍｏｉｄ関数を
示す図、第４図（ｂ）は、処理に利用する１次関数を示す図、第５図は、ニューラルネットワークの概念図、第６図は
、ニューラルネットワークの学習手順のフローチャート
である。１〜３・・・ラインバッファ４〜１５・・・ラッチ１６〜２１・・・演算テーブル２２〜２４．２８．１０３・・・加算器２５〜２７・・
・関数テーブル２９・−ｓｉｇｍｏｉｄ関数テーブル１０１、１０２・・・特殊演算テーブル（り入力層 ψ間層但ｆｊ４（し）

Claims

【特許請求の範囲】

（１）入力層、中間層及び出力層を有するニューラルネ
ットワークであって、当該ニューラルネットワークの中間層の各素子において
、当該素子に接続される入力層の素子を複数のグループ
に分け、入力層よりの出力を各グループ毎にテーブル変
換によって処理を行なう複数の演算処理手段を具えたこ
とを特徴とするニューラルネットワーク。
（２）前記演算処理手段は、入力層よりの出力を受けて
、中間層の出力に出力層での重み係数を乗じたものを出
力することを特徴とする請求項第１項記載のニューラル
ネットワーク。
（３）入力層、中間層及び出力層を有するニューラルネ
ットワークであって、当該ニューラルネットワークの入力層の素子を複数のグ
ループに分け、入力層よりの出力を各グループ毎にテー
ブル変換によって処理を行なう複数の演算処理手段を具
えたことを特徴とするニューラルネットワーク。
（４）前記演算処理手段の少なくとも１つは、入力層よ
りの出力を受けて、中間層の各素子の出力に出力層での
当該素子に対する重み係数を乗じたものの和を出力する
ことを特徴とする請求項第１項記載のニューラルネット
ワーク。