JPH11120158A

JPH11120158A - 階層型ニューラルネットワークの学習方法

Info

Publication number: JPH11120158A
Application number: JP9282008A
Authority: JP
Inventors: Masamichi Ichikawa; 雅理市川
Original assignee: Advantest Corp
Current assignee: Advantest Corp
Priority date: 1997-10-15
Filing date: 1997-10-15
Publication date: 1999-04-30

Abstract

(57)【要約】【課題】入力画像が大きくても、規模を小さくし、か
つ冗長な画像に影響されないものとする。【解決手段】入力層をＭ個の部分入力層１６_mに分割
し、各部分入力層１６_mに対し、１個の中間層ユニット
１７_mを設け、中間層ユニット１７_mは対応部分入力層
１６_mとのみ結合させる。全ての学習セットの学習終了
ごとに、中間層ユニットの出力の符号を反転した時とし
ない時の教師に対するトータル誤差ＥとＥ′が常に等し
い、中間層ユニットとこれと結合する部分入力層を削除
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はパターン認識など
の入力した信号の分類に用いる階層型ニューラルネット
ワークの学習方法に関するものである。

【０００２】

【従来の技術】階層型ニューラルネットワークを用い
て、二値画像中のパターンを認識・分類する方法が数多
く提案されている。階層型ニューラルネットワークによ
ってパターン認識をおこなう場合、図４に示すような画
像１１を入力信号とする構造が最も一般的に用いられて
いる。この場合、階層型ニューラルネットワークは入力
された画像を多次元のベクトルとして処理している。多
次元のベクトルは画像中のパターンの形状を反映してい
る。図４に示す入力層１２、中間層１３、出力層１４か
らなる階層型ニューラルネットワークを用いて入力画像
１１中のパターンを認識する場合、入力層１２のユニッ
ト数はこのネットワークに入力する画像の画素数（入力
画像のサイズ）Ｉによって決定する。同様に、出力層１
４のユニット数は出力層出力の個数や分類のカテゴリ数
Ｎによって決定する。中間層１３のユニット数Ｍは認識
したいパターンの種類や複雑さによって適切に選択する
必要がある。

【０００３】このような階層型ニューラルネットワーク
をパターンの認識や分類に利用する場合、その認識の性
能は中間層１３の層数、ユニット数などのネットワーク
の構造に強く依存している。例えば、中間層１３のユニ
ット数が多すぎる場合は、入力信号空間（入力信号全体
が作る多次元ベクトル空間）を必要以上に細かく分割す
るためネットワークの汎化能力が低下する。また、大き
い構造は学習に要する時間や計算コストの増大を招く。
従って、階層型ニューラルネットワークをパターンの認
識や分類に利用する場合、ネットワークの構造はできる
だけ小さいほうがよい。

【０００４】このため、出力関数としてシグナム関数
（符号関数）を用いるユニットにより構成された階層型
ニューラルネットワークに対するＭＲII（ＭＡＤＡＬＩ
ＮＥＲｕｌｅ II）という学習方法を改良し、中間層ユ
ニットの出力信号の変化などから入力信号空間の分割状
態を考慮して、ネットワークの動作に貢献しない中間層
ユニット（非貢献中間層ユニット）の削除を適宜おこな
いながら学習を進める方法を先に本発明者は提案した
（特開平５−１０１２０９、特開平７−６４９４３）。

【０００５】図５にこの階層型ニューラルネットワーク
の中間層１３と出力層１４の各ユニットに用いたニュー
ロンモデルを示す。このニューロンモデルは、±１の二
値信号Ｘ（ｘ₁，ｘ₂，…，ｘ_n）が入力されると、入
力信号に結合荷重Ｗ（ｗ₁，ｗ₂，…，ｗ_n）を乗じて
総和ｙを求め、二値信号ｑ＝ＳＧＮ（ｙ）を出力する。
出力関数に用いたシグナム関数ＳＧＮ（ｙ）は、実数値
を持つｙの符号を見て＋１（ｙ≧０のとき）または−１
（ｙ＜０のとき）を出力する関数である。ｘ₀＝１はし
きい値の入力、ｗ₀はその結合荷重である。以下では特
に断らないかぎり、中間層と出力層の各ユニットに入力
される入力信号Ｘとそれに対する結合荷重Ｗに、しきい
値入力ｘ₀とその結合荷重ｗ₀を含むものとする。

【０００６】各ユニットの出力関数としてシグナム関数
を用いる階層型ニューラルネットワークの学習法とし
て、つまり、例えば入力画像を入力すると、そのパター
ンに応じた出力端子に出力が得られ、画像の認識を可能
とするための各結合荷重の決定を行う方法として、ＭＲ
II法がある。ここでは、学習途中で非貢献中間層ユニッ
トを削除するように改良したＭＲII法を、図１４、図１
５を参照して説明する。

【０００７】中間層のユニットを適当な個数、例えば学
習のために用意した信号の個数だけ用意しておき、中間
層と出力層の全ての結合荷重に小数をランダムに与えて
初期化する（Ｓ１）。次にトータルエラーを０、学習セ
ット提示回数を１に初期化する。この学習方法では中間
層ユニットの動作をチェックするため、テーブル１，テ
ーブル２，テーブル３と称する中間層のユニットと同数
の信号を格納できるメモリを用意し、これらのメモリの
内容を０に初期化する（Ｓ３）。テーブル３はその各中
間層ユニットに対し１ビットを割り当て、これを“１”
にしてフラグを立てることができるようにされる。用意
した学習セット（学習に用いる入力信号Ｘと教師信号Ｄ
との組）の内の１組をニューラルネットワークに提示
し、つまり入力信号Ｘをニューラルネットワークに入力
する（Ｓ４）。その入力信号に対し中間層１３の各ユニ
ットの出力ｑを計算し（Ｓ６）、中間層１３の各ユニッ
トの出力をそれぞれテーブル２内の対応するユニットの
加算値に加算して格納し（Ｓ７）、さらに出力層の出力
を計算して出力層出力Ｑを得る（Ｓ８）。

【０００８】その出力層出力Ｑと教師信号Ｄとの誤差Ｅ
を求め（Ｓ９）、その誤差Ｅをトータルエラーに加算し
てそれを新たなトータルエラーとする（Ｓ１０）。次に
試行回数ｊを１に初期化し（Ｓ１１）、中間層ユニット
の内部状態値ｙが試行回数ｊ番目に０に近い中間層ユニ
ットｋを選択し、つまり内部状態値ｙの絶対値が試行回
数ｊ番目に小さい中間層ユニットを選択する（Ｓ１
２）。

【０００９】その選択した中間層ユニットｋの二値出力
ｑ（ｋ）の符号を反転し、新しく中間層の出力信号を作
る（Ｓ１３）。以下これを試行パターンｑ′と記す。そ
の試行パターンｑ′を出力層に入力し、演算して出力層
出力Ｑ′を求め（Ｓ１４）、その出力層出力Ｑ′と教師
信号Ｄとの誤差Ｅ′を求める（Ｓ１５）。この誤差信号
Ｅ′とステップＳ９で得た誤差信号Ｅとを比較し（Ｓ１
６）、Ｅ＞Ｅ′の場合は選択した中間層ユニットｋにつ
いてテーブル１（ｋ）に“−１”を格納し（Ｓ１７）、
選択した中間層ユニットｋの結合荷重を、実際にそのユ
ニットの出力の符号が反転するようにＬＭＳアルゴリズ
ムによって更新してステップＳ２２に移る（Ｓ１８）。
つまり現在の結合荷重をＷ_k、更新後のそれをＷ_k+1、
学習係数をα、教師信号をｄ（符号反転後の二値出力）
とすると、Ｗ_k+1＝Ｗ_k＋αεＸ／｜Ｘ｜²， ε＝ｄ−ｙを演算する。Ｅ＜Ｅ′の場合は選択した中間層ユニット
ｋについてテーブル１（ｋ）が“−１”かを確認し（Ｓ
１９）、“−１”でない場合はテーブル１（ｋ）に
“１”を格納し（Ｓ２０）、“−１”である場合はステ
ップＳ２１に移る。Ｅ＝Ｅ′の場合はテーブル１の変更
を行わず、ステップＳ２１に移る。ステップＳ２１では
試行パターン中の反転した符号を元に戻し、結合荷重の
更新は行わない。

【００１０】次に試行回数ｊを＋１して新たな試行回数
とし（Ｓ２２）、その試行回数ｊと中間層のユニット数
Ｍとを比較し（Ｓ２３）、その試行回数が中間層のユニ
ット数以下であればステップＳ１２に戻る。このように
して中間層ユニットの全てについてその内部状態値ｙが
０に近いものの順に、結合荷重を更新するかしないまま
とされる。その後その入力信号Ｘを再び入力して出力層
出力Ｑを再度求め（Ｓ２４）、その出力層出力Ｑと教師
信号Ｄとを比較し（Ｓ２５）、不一致の場合は、教師信
号と異なる信号を出力した出力層のユニットの結合荷重
をＬＭＳアルゴリズムで更新し（Ｓ２６）、一致してい
る場合は出力層ユニットの結合荷重をそのままとする。

【００１１】次に学習セット提示回数を＋１して新たな
学習セット提示回数とし（Ｓ２７）、その学習セット提
示回数と予め与えられた学習セットの数を比較し（Ｓ２
８）、予め与えられた学習セットの数以下であればステ
ップＳ４に戻り、新たに他の学習セットについて同様の
ことを行い、以下同様にして、全ての学習セットについ
てステップＳ４〜Ｓ２８を実行する。

【００１２】ステップＳ２８において学習セット提示回
数が学習セット数より大きくなり、全ての学習セットに
ついて学習を終了すると、つまり１サイクルの学習が終
了すると、テーブル１の各値が全て“−１”か確認し
（Ｓ２９）、全て“−１”の場合は直ちにステップＳ３
７に移る。テーブル１の全てが“−１”ではない場合、
ユニット数のカウンタｍを初期化し（Ｓ３０）、各中間
層ユニットの動作の確認と削除の処理を行う。テーブル
１（ｍ）の値が“−１”の場合は直ちにステップＳ３４
に移る。テーブル１（ｍ）の値が“１”の場合は、その
中間層ユニットに対してテーブル２（ｍ）に格納されて
いる信号の絶対値が学習セット数と一致するかチェック
して（Ｓ３２）、一致する場合はその中間層ユニットつ
いてテーブル３（ｍ）にフラグを立て（Ｓ３３）、一致
しない場合はステップＳ３４に移る。ステップＳ３１で
テーブル１（ｍ）の値が“０”の場合はその中間層ユニ
ットについてテーブル３（ｍ）にフラグを立てる（Ｓ３
３）。次いでユニット数のカウンタｍを＋１して（Ｓ３
４）、ステップＳ３５でｍと中間層ユニット数Ｍとを比
較し、中間層ユニット数Ｍ以下であればステップＳ３１
からＳ３４までを繰り返して全ての中間層ユニットの動
作を確認する。その後、テーブル３を参照して非貢献中
間層ユニット、つまりテーブル３（ｍ）中で“１”であ
るｍと対応するユニットの削除を行い（Ｓ３６）、ステ
ップＳ３７に移る。つまり、テーブル３（ｍ）のフラグ
が立っている場合は、１サイクルで常にＥ＝Ｅ′つま
り、符号を反転しても、誤差に変化がないということ
は、その中間層ユニットは、ネットワークの行うパター
ン認識に貢献していないか貢献の程度が、非常に低いあ
るいは１サイクルで常にＥ＜Ｅ′であり、テーブル２に
格納されている信号の絶対値が学習セット数と等しい、
つまり、全ての学習セットの入力信号に対して同一符号
の信号を常に出力した中間層ユニットも、入力信号の分
離（パターン認識）に貢献していない。ステップＳ３７
ではトータルエラーが０か否かをチェックし、０でなけ
ればステップＳ３に戻り、再び全ての学習セットについ
てトータルエラーが０になるまでステップＳ３〜Ｓ３６
を繰り返し実行（学習）する。ステップＳ３７でトータ
ルエラーが０になったら学習を終了する。

【００１３】以上の学習方法で、中間層ユニットの動作
の確認（ステップＳ７，Ｓ１７，Ｓ１９，Ｓ２０，Ｓ２
９〜Ｓ３５）と非貢献中間層ユニットの削除（ステップ
Ｓ３６）を行わなければ、基本的なＭＲII法になる。

【００１４】

【発明が解決しようとする課題】画像を入力信号とする
階層型ニューラルネットワークを用いたパターン認識の
場合、図３のように画像全体の信号が中間層の各ユニッ
トに入力される構造が、簡単であることから最もよく用
いられる。しかし、このようなネットワークの構造を取
る場合、上述の学習方法で非貢献中間層ユニットの削除
をおこないながら学習しても、入力画像が大きくなり入
力層ユニット数が増えるにともない、入力層ユニットと
中間層ユニットとの結合数が急激に増大しネットワーク
の構造が大きくなる問題がある。

【００１５】また、画像の持つ冗長性がノイズとして振
るまい、認識能力を損なうという問題もあった。

【００１６】

【課題を解決するための手段】この発明によれば、出力
関数としてシグナム関数を用いるユニットによって構成
され、入力層を複数の部分入力層に分割し、初期状態と
して部分入力層と同数の中間層ユニットを持ち、各中間
層ユニットが一つの部分入力層内のユニットだけと結合
することを特徴とする階層型ニューラルネットワークの
学習であって、請求項１ではすべての学習セットについ
ての実行（学習）を終了する（１サイクルの学習）毎
に、すべての学習セットの入力信号に対して常にＥ＝
Ｅ′であった中間層ユニットと、その中間層ユニットが
結合する部分入力層の入力層ユニットを、ニューラルネ
ットワークの動作に貢献しないユニットと判断する。

【００１７】請求項２ではすべての学習セットについて
の実行（学習）を終了する（１サイクルの学習）毎に、
すべての学習セットの入力信号に対して常に同一符号の
信号を出力した中間層ユニットと、その中間層ユニット
が結合する部分入力層の入力層ユニットを、ニューラル
ネットワークの動作に貢献しないユニットと判断する。

【００１８】請求項１又は２で、ニューラルネットワー
クの動作に貢献しないユニットと判断された、中間層ユ
ニットと、その中間層ユニットが結合する部分入力層の
入力層ユニットを削除する。この発明によれば、入力層
が複数の部分入力層に分割され、中間層のユニットがそ
れぞれ一つの部分入力層のユニットだけと結合した構造
を有する階層型ニューラルネットワークを用いているの
で、非貢献中間層ユニットの削除を適宜繰り返しながら
学習をおこなう時に、その非貢献中間層ユニットと結合
する部分入力層のユニットの削除を同時におこなうこと
ができるので、適切な構造でかつ入力信号の冗長性を低
減した階層型ニューラルネットワークを得ることができ
る。作用出力関数としてシグナム関数を用いるユニットからなる
階層型ニューラルネットワークをパターン認識に用いる
場合、中間層ユニットは入力信号空間を分割する働きを
担う。１個の中間層ユニットは入力信号空間に１枚の超
平面を張り入力信号空間を二分する。ユニットの結合荷
重は超平面の法線ベクトルであり、しきい値を変えると
超平面は平行に移動する。結合荷重としきい値を適切に
すると、１個の中間層ユニットが張る超平面は入力信号
を２種類に分離することができる。すなわち、入力信号
ベクトルが法線ベクトル側の空間にあるとき＋１を出力
し、反対側の空間にあるとき−１を出力する。

【００１９】この発明では図２に示すように階層型ニュ
ーラルネットワークの入力層１２を複数の部分入力層１
６₁〜１６_Mに分割し、部分入力層１６の個数Ｍと同数
の中間層ユニット１７の各々には一つの部分入力層１６
だけから信号を入力する（図２参照）。従って、１個の
中間層ユニット１７_m（ｍ＝１，２，…，Ｍ）には入力
画像の一部分（以下、部分画像と称する）、つまり部分
入力層１６_mが入力され、中間層ユニット１７_mはその
部分画像の入力信号が作る信号空間を超平面で二分し
て、入力信号ベクトルの存在位置に対応した出力信号を
出力する。学習を繰り返すと、中間層ユニットは入力さ
れた部分画像中のパターンの形状に対応して出力信号を
出力するようになる。すなわち、中間層ユニットはパタ
ーンの形状によって入力された任意の部分画像を２種類
に分類する。

【００２０】中間層ユニットの出力信号を１列に並べて
中間層出力パターンとすると、中間層出力パターンは部
分画像の形状特徴のベクトルであり、それによって入力
画像を特徴付けると考えられる。出力層ユニットは入力
画像を特徴付ける中間層出力パターンのベクトルを、さ
らに分離して認識結果を出力する。このとき、入力画像
の分割が適当で、それぞれの信号空間が中間層ユニット
の張る超平面で適切に分割されていると、優れた認識能
力を持つことができる。反対に、必要以上に細かく入力
層が分割されて（すなわち、細かい部分画像に分割され
て）多数の中間層ユニットがある場合や、中間層ユニッ
トが張る超平面による分割が適切でない場合は認識能力
は低くなる。

【００２１】これを解決するため、従来技術で述べた場
合と同様にして、中間層ユニットの出力信号の符号を反
転したとき、その影響が出力層出力の誤差に現われるか
否かによって、中間層ユニットの貢献の程度を決めてい
る。つまり誤差が減少する場合、選択した中間層ユニッ
トの符号が反転するように結合荷重を更新することは、
入力信号空間の分割が適切になるように超平面を修正す
ることであり、結合荷重更新後の中間層ユニットはネッ
トワークの行うパターン認識に貢献すると考えることが
できる。誤差が増加する場合、選択した中間層ユニット
は現状でネットワークの行うパターン認識に貢献してい
る可能性があると考えることができる。これらに反し
て、１サイクルの学習で１度も誤差の増減の無い中間層
ユニットは、ネットワークの行うパターン認識に貢献し
ていないか貢献の程度が非常に低いと考えることができ
る。また、１サイクルの学習で、全ての入力パターンに
対して同一符号の信号を出力する中間層ユニットは、出
力層ユニットのバイアス入力として動作しており、入力
信号空間の分割結果がネットワークの行うパターン認識
に貢献していないと考えることができる。

【００２２】中間層ユニットがネットワークの行うパタ
ーン認識に貢献していないということから、その中間層
ユニットが結合する部分入力層の信号が、パターンの認
識結果に影響を与えていないと考えられる。これは部分
入力層に入力される部分画像が、画像中のパターンの認
識において無効な情報であって、冗長な部分であるとい
える。

【００２３】以上から、学習サイクル毎の中間層出力パ
ターンの変化を調べることで、非貢献中間層ユニットと
冗長な部分入力層を判定できる。学習サイクルごとに非
貢献中間層ユニットと、その中間層ユニットが結合する
部分入力層ユニットを削除することで、適切な構造のネ
ットワークを得ることができる。同時に、画像の冗長性
がパターン認識に与える影響を低減できる。

【００２４】

【発明の実施の形態】図１、図２にこの発明の実施例を
示し、図１４、図１５と対応するステップには同一記号
を付けてあり、図１３の場合と同様に３つのテーブル
１，２，３を用いる。この発明では入力層分割情報を用
いて、入力信号を受け取りバッファとして働く入力層を
複数の部分入力層に分割することができるようにされ
る。中間層のユニット数は分割された部分入力層と同数
にされ、各々の中間層ユニットはただ一つの部分入力層
のユニットと結合するようにされる。

【００２５】はじめに図１４、図１５と異なる部分につ
いて説明する。ステップＳ２では入力層の分割に用いる
情報が設定される。すなわち、入力層ユニットを連続し
た配置で切り出すとした場合、その配置の先頭のユニッ
ト番号ＩＳ（ｍ）と最後尾のユニット番号ＩＥ（ｍ）と
切り出すユニット数ＩＮ（ｍ）が設定される。ｍは部分
入力層１６ｍの番号で、Ｍ個に分割する場合はｍ＝１，
２，…，Ｍである。入力層分割情報は予め設定してＲＯ
Ｍなどに格納しておいてもよいし、学習開始時に外部
（例えばキーボード）から入力して設定してもよい。

【００２６】ステップＳ５では、ステップＳ２で設定し
た入力層分割情報にしたがって入力層をＭ個に分割す
る。すなわち、入力された画像Ｘを分割し部分入力層信
号Ｘ^paを作成する。部分入力層信号の作成は図６に示す
ように、入力層分割情報で指定されたユニットに相当す
る位置の入力画像のデータを、入力画像メモリから読み
出して部分入力層信号Ｘ^paに格納して行う。つまり、ｍ
＝１と初期設定し、更にＩＳ（１），ＩＥ（１），ＩＮ
（１）を入取しｉ＝ＩＳ（１），ＩＳ（１）＋１，…，
ＩＥ（１）と対応するＩＮ（１）個のＸ（ｉ）を分割し
てＸ^pa（１）を得、次にｍ＝２とし、またＩＳ（２），
ＩＥ（２），ＩＮ（２）を入取し、ｉ＝ＩＳ（２），Ｉ
Ｓ（２）＋１，…，ＩＥ（２）と対応するＩＮ（２）個
のＸ（ｉ）を分割してＸ^pa（２）を得、以下同様にして
ｍがＭより大となるとその分割を終了する。

【００２７】ステップＳ３６のネットワークの動作に貢
献しないユニットを削除する処理では、中間層ユニット
１７ｍと同時に部分入力層のユニット１６ｍも削除され
る。削除は図１３に示すようにして行う。部分入力層の
数Ｍだけ、０から計数するカウンタｃを０に初期化し
（１０１）、テーブル３からその１つの中間層ユニット
のフラグを読みだし、これが“１”か否かをチェックし
（１０２）、“１”でなければ、カウンタを＋１し（１
０３）、カウンタの計数値番目の中間層ユニットとその
ユニットが結合する部分入力層との各結合荷重Ｗ
^mi（ｉ，ｃ）を、中間層ユニットｍとそのユニットが結
合する部分入力層との各結合荷重Ｗ^mi（ｉ，ｍ）で置換
し（１０４）、つまり、中間層ユニットの結合荷重メモ
リのＷ^mi（ｉ，ｎ）が記憶される部分にＷ^mi（ｉ，ｍ）
を記憶し、次にカウンタの計数値番目の中間層ユニット
と各出力層ユニットｎとの各結合荷重Ｗ^ou（ｃ，ｎ）
を、中間層ユニットｍと各出力層ユニットｎとの各結合
荷重Ｗ^ou（ｍ，ｎ）で置換する（１０５）。このように
テーブル３のフラグが立っていない中間層ユニットつま
りネットワークの動作に貢献する中間層ユニットの結合
荷重だけ、中間層ユニット結合荷重メモリ、出力層ユニ
ット結合荷重メモリにそれぞれ詰めて行くことによっ
て、非貢献中間層ユニットの削除を行う。ネットワーク
の動作に貢献しない部分入力層のユニットの削除は、非
貢献中間層ユニットの削除と同様の手法で、入力層分割
情報を詰めて行くことで行う。すなわち、カウンタの計
数値番目の入力層分割情報ＩＳ（ｃ），ＩＥ（ｃ），Ｉ
Ｎ（ｃ）をｍ番目の入力層分割情報ＩＳ（ｍ），ＩＥ
（ｍ），ＩＮ（ｍ）で置換する（１０６）。これによっ
て、入力層分割情報からネットワークの動作に貢献しな
い部分入力層の情報が削除されるので、次のサイクルの
学習ではステップＳ５において削除された部分入力層の
信号は作成されない。ｍを＋１し、ｎがＭより大になる
まで（１０７，１０８）、各中間層ユニットについて上
記の処理を行った後、カウンタの値で中間層ユニットの
個数（すなわち部分入力層の個数）Ｍを更新する（１０
９）。

【００２８】次にこのような部分入力層ユニットを用い
る場合において、図１３に示した従来の処理と異なる部
分について図１、図２の学習アルゴリズムを用いてより
詳細に説明する。図１、図２の学習において、ステップ
Ｓ６の中間層出力ｑの計算は図７に示すように、各部分
入力層信号と各１つの中間層ユニットについてその結合
荷重とを掛け算したものの総和を求めてその内部状態値
を得、その内部状態値をシグナム関数に代入して二値化
した中間層出力を得る。つまりｍ＝１に初期設定し、Ｉ
Ｎ（１）個の入力信号Ｘ^pa（ｉ，１）と、ＩＮ（１）個
の中間層ユニットの結合荷重Ｗ^mi（ｉ，１）の積Ｘ
^pa（ｉ，１）×Ｗ^mi（ｉ，１）をｉ＝０からＩＮ（１）
まで総和ｙ^mi（１）により中間層ユニットの内部状態値
を求め、そのｙ^mi（１）をシグナム関数に代入して中間
層出力ｑ（１）を得、ｎを＋１し、つまりｍ＝２とし
て、Ｘ^pa（ｉ，２）×Ｗ^mi（ｉ，２）をｉ＝０からＩＮ
（２）までの総和ｙ ^mi（２）を求め、そのシグナム関数
値ｑ（２）を得、以下ｍがＭより大となるまで同様のこ
とを行う。このようにして部分入力信号Ｘ^pa（１）〜Ｘ
^pa（ＩＮ（ｍ））に対し、対応中間層ユニットから１つ
の出力ｑ（ｎ）を得る。

【００２９】ステップＳ８およびＳ１４，Ｓ２４の出力
層出力Ｑ（またはＱ′）の計算は図８に示すように、各
中間層出力ｑ（ｍ）と各１つの出力層ユニットについて
その結合荷重Ｗ^ou（ｍ，ｎ）とを掛け算したものの総
和、つまりｍ＝０からｍ＝Ｍまでの和を求めてその内部
状態値ｙ^ou（ｎ）を得、その内部状態値をシグナム関数
に代入して二値化した出力層出力を得る。ステップＳ１
４とＳ２４では、中間層出力の代りに試行パターンｑ′
を用いて同様にして出力層出力を得る。

【００３０】ステップＳ９およびＳ１５の出力層出力Ｑ
（またはＱ′）と教師信号Ｄとの誤差Ｅ（またはＥ′）
は図９に示すように計算する。つまり｜Ｄ（ｎ）−Ｑ
（ｎ）｜／２をｎ＝１からｎ＝Ｎまで加算して誤差Ｅと
する。ステップＳ１２およびＳ１３の試行パターンの生
成は、中間層の各ユニットを内部状態値の絶対値の小さ
い順に並べ、試行回数ｊ番目に小さい内部状態値を持つ
中間層ユニットを求め、図１０に示すようにユニット番
号ｋがｋ＝ｍの場合のユニットの出力信号ｑ（ｍ）のみ
の符号を反転し、ｑ（ｍ）×（−１）＝ｑ（ｍ）とし、
これとその他の中間層ユニットの出力とを試行パターン
とする。

【００３１】ステップＳ１８における中間層ユニットの
結合荷重の更新は図１１に示すように行われる。つま
り、選択した中間層ユニットのステップＳ１２で符号を
反転した出力と、そのユニットの内部状態値との差を求
め、その差εと学習係数αと各入力信号との積を入力信
号数で割った値を、その入力信号に対する現結合荷重に
加算して更新した結合荷重とする。つまり部分入力層信
号Ｘ^pa（ｉ，ｋ），（ｉ＝１，２，…，ＩＮ（ｋ））と
その中間層ユニットの結合荷重Ｗ^mi（ｉ，ｋ）との差の
絶対値をｉ＝０からＩＮ（ｋ）まで加算し、即ち次式を
演算してそのユニットの内部状態を求め、 Σ^IN(k) _i=0｛Ｘ^pa（ｉ，ｋ）×Ｗ^mi（ｉ，ｋ）｝この演算結果を、選択して符号反転した中間層ユニット
の出力ｑ′（ｋ）から計算して差εを求め、このεと学
習係数αと、各試行パターンＸ^pa（ｉ，ｋ）との積を入
力信号数（ＩＮ（ｋ）＋１）で割算し、その割算結果
を、出力層ユニットｎと各中間層ユニットとの現結合荷
重Ｗ^mi（ｉ，ｋ）と加算して、中間層ユニットｎの結合
荷重を更新する。即ち新結合荷重Ｗ（ｉ），（ｉ＝０，
１，…，Ｉ）は次式で表わせる。

【００３２】Ｗ（ｉ）＝Ｗ^mi（ｉ，ｋ）＋α×ε×Ｘ^pa
（ｉ，ｋ）／（ＩＮ（ｋ）＋１）ステップＳ２５およびＳ２６における出力層ユニットの
結合荷重の更新は図１２に示すように行われる。先ずｎ
＝１とし（２０１）、再計算した各出力層ユニットの出
力Ｑ（ｎ）と、これと対応する教師信号Ｄ（ｎ）とを比
較し（２０２）、不一致となった出力層ユニットｎにつ
いて教師信号Ｄ（ｎ）とその出力層ユニットの内部状態
値ｙ^ou（ｎ）との差εを計算し、その差εと、学習係数
αと、各中間層ユニットの試行パターンｑ′（ｍ）との
積を、入力される信号の数（Ｍ＋１）で割った値α×ε
×ｑ′（ｍ）／（Ｍ＋１）を、出力層ユニットｎと各中
間層ユニットとの現結合荷重Ｗ^ou（ｍ，ｎ）に加算し
（２０３）、その加算結果Ｗ ^ou（ｍ）を出力層ユニット
ｎの更新した結合荷重Ｗ^ou（ｍ，ｎ）とする（２０
４）。このことを各出力層ユニットについて行う。

【００３３】以下に部分入力層の分割数および一つの部
分入力層の大きさについて検討する。以下の説明では簡
単のため、入力層全体の大きさをＩ、分割数をＰとす
る。これから、一つの部分入力層の大きさは（Ｉ／Ｐ）
個になる。さて、このニューラルネットワークで入力さ
れたパターンをＮ個のカテゴリに分類することを考え
る。１個の中間層ユニットは入力されたパターンを２個
のカテゴリに分類できるので、Ｎ個のカテゴリに分類す
るには、２^P1≧Ｎ，従ってＰ１≧ logＮ／ log２を満たすＰ１個以上の中間層ユニットが必要である。こ
の発明では、部分入力層の個数と中間層ユニット数は等
しいので、部分入力層の最小分割数はこれによって制限
される。また、部分入力層の大きさが小さすぎると、分
類対象のパターンの特徴を識別できなくなる。パターン
の特徴を表現できないほどに部分入力層が小さいと、正
しく分類できなくなると考えられる。

【００３４】部分入力層の１個のユニットは０または１
の２種類の情報を表現できる。ｓ個のユニットがあれ
ば、つまり部分入力層の大きさがｓであれば、２のｓ乗
個の情報を表現できる。したがって、Ｎ個のカテゴリの
パターンを表現するには２^s≧Ｎ従ってｓ≧ logＮ／ log２を満たす部分入力層ユニットが必要である。このときの
分割数をＰ２とすると、Ｐ２＝Ｉ／ｓであるから、Ｉ／Ｐ２≧ logＮ／ log２従ってＰ２≦Ｉ logＮ／
log２以上から、部分入力層の分割の条件は次のようになる。

【００３５】logＮ／ log２≦Ｐ≦Ｉ logＮ／ log２階層型ニューラルネットワークはパターン認識に適用す
る場合に限らず、電子計算機上で学習を行い、学習後の
結合荷重をＲＯＭにコピーして、そのＲＯＭを他の装置
に利用することもできる。

【００３６】

【発明の効果】以上述べたようにこの発明によれば、入
力層を複数の部分入力層に分割しその部分入力層の数だ
け中間層ユニットを設けているため、入力画像が大きく
ても、入力層と中間層との結合数が急激に増大すること
なく、つまりネットワークの構造が大きくならない、し
かも非貢献中間層ユニットの削除の際に、対応する部分
入力層を削除することにより入力画像の冗長な部分が除
去され、冗長性がパターン認識に与える影響を低減する
ことができる。

【００３７】例えば対象画像中のパターン情報は局在し
ていることがあり、その場合、入力層全体において、情
報が少ない、つまり変化が少ないと予想される部分では
部分入力層のサイズを大きくすると、速い段階で削除さ
れ、コンパクトなネットワークになり、学習の負荷が小
さくなり、高速化することが利得できる。

【図面の簡単な説明】

【図１】ネットワークの動作に貢献しない部分入力層と
中間層ユニットを削除する請求項３の発明の学習方法の
実施例の一部を示す流れ図。

【図２】図１の残りの部分を示す図。

【図３】入力層を分割したこの発明の階層型ニューラル
ネットワークを示すブロック図。

【図４】従来の階層型ニューラルネットワークを示すブ
ロック図。

【図５】ニューロンモデルの例を示すブロック図。

【図６】部分入力層信号の作成処理を示す流れ図。

【図７】中間層出力の計算を示す流れ図。

【図８】出力層出力の計算を示す流れ図。

【図９】誤差の計算を示す流れ図。

【図１０】試行パターンの生成処理を示す流れ図。

【図１１】中間層ユニットの結合荷重の更新処理を示す
流れ図。

【図１２】出力層ユニットの結合荷重の更新処理を示す
流れ図。

【図１３】ネットワークの動作に貢献しない部分入力層
と中間層ユニットの削除処理を示す流れ図。

【図１４】従来のネットワークの動作に貢献しない中間
層ユニットを削除する学習方法の一部を示す流れ図。

【図１５】図１４の残りの部分を示す図。

Claims

【特許請求の範囲】

【請求項１】出力関数としてシグナム関数を用いるユ
ニットによって構成された階層型ニューラルネットワー
クであって、入力層が複数の部分入力層に分割されてお
り、初期状態として部分入力層と同数の中間層ユニット
を持ち、各中間層ユニットが一つの部分入力層内のユニ
ットだけと結合することを特徴とする階層型ニューラル
ネットワークの学習方法であって、ａ．その中間層および出力層の全ユニットの結合荷重に
適当な小数を与え、ｂ．用意した学習セット（入力信号と教師信号の組）の
入力信号を上記ニューラルネットワークに入力し、ｃ．その時の出力層出力と上記教師信号との誤差Ｅを求
め、ｄ．中間層ユニットの中からその内部状態値がゼロに近
い順に選択してその選択した中間層ユニットの二値出力
の符号を反転して新しく中間層の出力信号（試行パター
ンと記す）を作り、ｅ．その試行パターンを出力層に入力して出力層出力を
求め、この出力層出力と上記教師信号との誤差Ｅ′を求
め、ｆ．その誤差Ｅ′と上記誤差Ｅとを比較し、Ｅ＞Ｅ′の
時は、選択した中間層ユニットの結合荷重を実際にその
二値出力の信号が反転するように更新し、ｇ．Ｅ≦Ｅ′の時は、上記反転した二値出力の信号を元
に戻し、ｈ．すべての中間層ユニットについて上記ｄ〜ｇを繰り
返し、ｉ．その後、上記入力信号を再び入力して出力層出力を
求め、その出力層出力と上記教師信号との誤差を求め、ｊ．その誤差がゼロでない時は、出力層ユニットの結合
荷重を更新し、ｋ．他の各学習セットについて、上記ｂ〜ｊを実行し、ｌ．その後、各学習セット毎に得られた上記ｉの誤差合
計（トータルエラー）がゼロか否かを判断し、ｍ．ゼロでない場合は上記ｂ〜ｌを繰り返し、ゼロの場
合は終了とする、階層型ニューラルネットワークの学習方法において、上記ｋにおいてすべての学習セットについての実行を終
了した時に、すべての学習セットの入力信号に対して常
にＥ＝Ｅ′であった中間層ユニットと、その中間層ユニ
ットが結合する部分入力層の入力層ユニットを、ニュー
ラルネットワークの動作に貢献しないユニットと判断す
ることを特徴とする階層型ニューラルネットワークの学
習方法。
【請求項２】上記ｋにおいてすべての学習セットにつ
いての実行を終了した時に、すべての学習セットの入力
信号に対して常に同一符号の信号を出力した中間層ユニ
ットと、その中間層ユニットが結合する部分入力層の入
力層ユニットを、ニューラルネットワークの動作に貢献
しないユニットと判断することを特徴とする階層型ニュ
ーラルネットワークの学習方法。
【請求項３】上記ニューラルネットワークの動作に貢
献しないユニットと判断された中間層ユニットと、その
中間層ユニットが結合する部分入力層の入力層ユニット
を削除することを特徴とする請求項１又は２に記載の階
層型ニューラルネットワークの学習方法。