JPH0594554A - ニユ−ラルネツトワ−ク装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、実用的なニュ−ラルネットワ−ク装
置を得ることを目的とする。 【構成】ニュ−ラルネットワ−ク装置本体１１と、学習
用デ−タを備えた学習デ−タ提示部１３と、学習用デ−
タとニュ−ラルネットワ−ク装置本体１１の出力とか
ら、ニュ−ラルネットワ−ク装置本体１１の入力と出力
とが所定の関係になるように、ニュ−ラルネットワ−ク
装置本体１１を制御するネットワ−ク修正部１５と、補
充学習用入力デ−タを生成すると共に、この補充学習用
入力デ−タに対するニュ−ラルネットワ−ク装置本体１
１の出力として望まれる出力（補充教師デ−タ）を利用
者に要求し、この補充教師デ−タと補充学習用入力デ−
タとを新たな学習用デ−タとして学習デ−タ提示部１３
に与える補充デ−タ生成手段１７とを備えていることを
特徴とするニュ−ラルネットワ−ク装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、組合わせ最適化判断、
パタ−ン認識、画像修復などの分野に応用可能なニュ−
ラルネットワ−ク装置に関する。

【０００２】

【従来の技術】近年、ニュ−ラルネット（神経回路網）
を用いた情報処理の有効性が見直され、各所で研究が活
発に行なわれている。ニュ−ラルネットワ−ク装置の応
用分野は、その並列性を生かした組合わせ最適化判断や
学習機能を利用したパタ−ン認識，音声認識，画像修
復，画像圧縮等の幅広い分野にまたがっている。

【０００３】図８は従来のニュ−ラルネットワ−ク装置
の概略構成図である。このニュ−ラルネットワ−ク装置
は、大きく分けて、ニュ−ラルネット装置本体５１と、
学習デ−タ提示部５３と、ネットワ−ク修正部５５とで
構成されている。

【０００４】ニュ−ラルネット装置本体５１は、複数の
ニュ−ラルユニット層、即ち、入力層４３，中間層４
５，出力層４７とからなり、これらニュ−ラルユニット
層４３，４５，４７により、階層タイプのニュ−ラルネ
ットワ−クが構成されている。入力層４３，中間層４
５，出力層４７はニュ−ロン素子４１からなり、入力層
４３と中間層４５とを結ぶニュ−ロン素子４１及び中間
層４５と出力層４７とを結ぶニュ−ロン素子４１は結合
係数が割り振られたシナプス接合部４９を介して接続さ
れている。

【０００５】ここで、入力層４３の第ｉ番目のニュ−ロ
ン素子４１と中間層４５の第ｊ番目のニュ−ロン素子４
１との結合係数をＳ_jiとし、中間層４５の第ｊ番目のニ
ュ−ロン素子４１と出力層４７の第ｋ番目のニュ−ロン
素子４１との結合係数をＴ_kjとし、入力層４３の第ｉ番
目のニュ−ロン素子４１の出力信号をｘ_i とし、中間層
４５の第ｊ番目のニュ−ロン素子４１の出力信号をｙ_j
とし、出力層４７の第ｊ番目のニュ−ロン素子４１の出
力信号をｚ_k とすると、ニュ−ラルネット装置本体５１
の動作方程式は次のようになる。

【０００６】

【数１】 なお、Ｉ_i は入力層４３の第ｉ番目のニュ−ロン素子４
１の入力信号、θ_j ，φ_k はしきい値である 学習デ−タ提示部５３には、学習用入力デ−タと、この
学習用入力デ−タを入力層４３に与えたときに望まれる
出力層４７の出力信号、つまり、教師デ−タとが蓄えら
れている。

【０００７】ネットワ−ク修正部５５には、学習用入力
デ−タと教師デ−タ、並びに学習用入力デ−タに対する
出力層４７の出力信号が与えられる。ネットワ−ク修正
部５５は、この学習用入力デ−タと出力信号とから、結
合荷重Ｓ_ji，Ｔ_kj及びしきい値θ_j ，φ_k が所定の関係
を満たすようにニュ−ラルネット装置本体５１を制御す
る。

【０００８】即ち、出力信号ｚ_k の関数である次式の誤
差関数Ｅが最小になるように制御する。

【０００９】

【数２】 なお、Ｏ_k は教師デ−タ（教師信号）である。また、出
力信号ｚ_k は、入力信号ｘ_i （＝Ｉ_i ）、結合係数
Ｓ_ji，Ｔ_kj及びしきい値θ_j ，φ_k の関数である。

【００１０】このように構成されたニュ−ラルネットワ
−ク装置では次のようにして学習が行われる。

【００１１】即ち、ランダムに定めた結合係数Ｓ_ji，Ｔ
_kj，しきい値θ_j ，φ_k を初期値としたニュ−ラルネッ
ト装置本体５１に、学習デ−タ提示部５３の最初の学習
用入力デ−タを入力層４３に与え、このときの出力層４
７の出力をネットワ−ク修正部５５に与える。ネットワ
−ク修正部５５は、この出力と教師デ−タとから誤差関
数Ｅの値を求め、この値がより小さくなるように結合荷
重Ｓ_ji，Ｔ_kj、しきい値θ_j ，φ_k を微少量増減させ、
修正を行なう。次いで学習デ−タ提示部５３の他の入力
デ−タを順次与え、修正を繰り返すことでニュ−ラルネ
ットワ−ク装置は、しだいに教師デ−タを出力するよう
になる。そして、学習を終了した後は、入力が多少異な
っても正常な出力が得られる。このような学習は一般に
バックプロパゲ−ション学習法と呼ばれている。

【００１２】しかしながら、学習デ−タ提示部５３に蓄
えられた学習用デ−タのどれとも似ていない入力や大き
く異なる入力が与えられると、その入力に対応した所望
の出力が得られないという問題があった。この種の問題
は、利用者が新たな学習用デ−タ（補充学習用デ−タ）
を作成し、これを用いて追加学習や再学習を行なえば解
決可能であるが、補充デ−タの作成指針が確立されてい
ないため、その実行は困難なものとなり、結果として実
用的なニュ−ラルネットワ−ク装置が得られないという
問題があった。

【００１３】

【発明が解決しようとする課題】上述の如く、与えられ
た学習用デ−タだけでは、十分な学習を行なうことがで
きず、利用者が補充デ−タを作成する必要があった。し
かしながら、補充デ−タの作成指針が確立されていなか
ったので、利用者は補充デ−タを作成できず、実用に耐
え得るニュ−ラルネットワ−ク装置が得られないという
問題があった。

【００１４】本発明は、上記事情を考慮してなされたも
ので、その目的とするところは、利用者側で容易に追加
学習や再学習を行なえるニュ−ラルネットワ−ク装置を
提供することにある。

【００１５】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明のニュ−ラルネットワ−ク装置は、ニュ−
ラルネットワ−ク装置本体と、学習用デ−タを備えた学
習デ−タ提示部と、前記学習用デ−タと前記ニュ−ラル
ネットワ−ク装置本体の出力とから、前記ニュ−ラルネ
ットワ−ク装置本体の入力と出力とが所定の関係になる
ように、前記ニュ−ラルネットワ−ク装置本体を制御す
る制御手段と、前記ニュ−ラルネットワ−ク装置本体の
入力を生成すると共に、この入力に対する前記ニュ−ラ
ルネットワ−ク装置本体の望ましい出力を利用者に要求
し、この出力と前記入力とを新たな学習用デ−タとして
前記学習デ−タ提示部に与える補充デ−タ生成手段とを
備えていることを特徴とする。

【００１６】

【作用】本発明のニュ−ラルネットワ−ク装置では、補
充デ−タ生成手段により、新たな学習用デ−タが得られ
る。したがって、この学習用デ−タを用いて追加学習や
再学習を行なうことで、不当な解が出現する可能性が低
くなり、実用的なニュ−ラルネットワ−ク装置を構築で
きるようになる。

【００１７】

【実施例】以下、図面を参照しながら実施例を説明す
る。

【００１８】図１は本発明の一実施例に係るニュ−ラル
ネットワ−ク装置の概略構成図である。このニュ−ラル
ネットワ−ク装置は、大きく分けて、ニュ−ラルネット
装置本体１１と、学習デ−タ提示部１３と、ネットワ−
ク修正部１５と、補充デ−タ生成部１７とからなる。

【００１９】ニュ−ラルネット装置本体１１は、入力層
３，中間層５，出力層７とからなる階層タイプのニュ−
ラルネットワ−クである。各層３，５，７はそれぞれＮ
個，Ｌ個，Ｍ個のニュ−ロン素子１で構成され、入力層
３のニュ−ロン素子１は、中間層５に設けられた結合係
数が割り振られたシナプス接合部９を介して中間層５の
ニュ−ロン素子１と接続し、中間層５のニュ−ロン素子
１は、上述したように入力層３のニュ−ロン素子１と接
続すると共に、出力層７に設けられたシナプス接合部９
を介して出力層７のニュ−ロン素子１と接続している。

【００２０】学習デ−タ提示部１３には、学習用入力デ
−タとこの学習用入力デ−タに対する教師デ−タとから
なる初期学習用デ−タが蓄えられていると共に、後述す
る補充デ−タ生成部１７により生成された補充学習用入
力デ−タと補充教師デ−タとからなる補充学習用デ−タ
が与えられ蓄積される。

【００２１】ネットワ−ク修正部１５には、上記初期学
習用デ−タと追加学習用デ−タ、並びにこれら学習用デ
−タに対する出力層７の出力が与えられる。ネットワ−
ク修正部１５は、入力層３の入力と出力層７の出力とが
所定の関係を満たすように、ニュ−ラルネット装置本体
１１を制御する。

【００２２】図２は補充デ−タ生成部１７の概略構成図
である。補充デ−タ生成部１７は、大きく分けて、仮出
力信号生成部１９と中間−出力層間逆算部２１と入力−
中間層間逆算部２３とで構成されている。仮出力信号生
成部１９は、出力層１９の仮の出力Ａ１を生成する。中
間−出力層間逆算部２１は、仮の出力Ａ１から、出力層
１９が仮の出力Ａ１を出力するような中間層５の出力Ａ
２を求める。入力−中間層間逆算部２１は、出力Ａ２か
ら、入力層３が出力Ａ２を出力するような入力層３の出
力を求める。なお、入力層３は入力をそのまま中間層５
に流すだけなので、上記入力層３の出力は入力層３の入
力そのものである。補充デ−タ生成部１７は、仮の出力
Ａ１から逆算して得られた入力層３の入力を利用者に提
示すると共に、その入力信号に対する望ましい出力層７
の出力を利用者に要求し、上記入力を補充学習用入力デ
−タ、上記出力を補充教師デ−タとして学習デ−タ提示
部３に与える。

【００２３】次に上記の如く構成されたニュ−ラルネッ
トワ−ク装置の学習について説明する。まず、学習デ−
タ提示部１３に予め備わっている初期学習用デ−タを用
いて学習を行なう。この学習について、手書き数字のパ
タ−ン識別を例にあげて更に詳細に説明する。

【００２４】図３は手書き数字の２次元パタ−ンの一例
を表している。この２次元パタ−ンを２４×２４のメッ
シュに区切り、これを１次元的に並び替え、各メッシュ
の値として、予め設定されているしきい値によって
“１”又は“０”のいずれかを割り当てる。例えば、数
字の構成に寄与しているメッシュには“１”を割り当
て、数字の構成に寄与していないメッシュに“０”を割
り当てる。２次元パタ−ンを２４×２４（＝５７６）の
メッシュに区切ったので、この場合、入力層３のニュ−
ロン素子１の個数Ｎは５７６となる。また、識別するべ
き数字は０，１，…，９の１０個なので、出力層７のニ
ュ−ロン素子１の個数Ｍは１０となる。なお、本実施例
では、中間層５のニュ−ロン素子１の個数Ｌを５０とし
た。

【００２５】ここで、ニュ−ラルネットワ−ク装置本体
１１の動作方程式は次式のようになる。

【００２６】

【数３】 上式において、Ｓ_jiは入力層３の第ｉ番目（１≦ｉ≦５
７６）のニュ−ロン素子１と中間層５の第ｊ番目（１≦
ｊ≦５０）のニュ−ロン素子１との結合係数を示し、Ｔ
_kjは中間層５の第ｊ番目のニュ−ロン素子１と出力層７
の第ｋ番目のニュ−ロン素子１との結合係数をＴ_kjを示
し、ｘ_i は入力層３の第ｉ番目のニュ−ロン素子１の出
力信号を示し、ｙ_j は中間層５の第ｊ番目のニュ−ロン
素子１の出力信号を示し、ｚ_kは出力層７の第ｋ番目の
ニュ−ロン素子１の出力信号を示し、Ｉ_i は入力層３の
第ｉ番目のニュ−ロン素子１の入力信号を示し、θ_j 及
びφ_k はしきい値を示していている。また、本実施例で
は、出力信号ｚ₁ 〜ｚ₁₀にそれぞれ１，…，９，０を対
応させている。例えば、入力信号が“５”のパタ−ンの
場合、出力信号ｚ_k の望ましい信号はｚ₅ ＝１，ｚ₁ ＝
ｚ₂ ＝ｚ₃ ＝ｚ₄ ＝ｚ₆ ＝ｚ₇ ＝ｚ₈ ＝ｚ₉ ＝ｚ₁₀＝０
となる。

【００２７】まず、結合係数Ｓ_ji，結合係数Ｔ_kj，しき
い値θ_j 及びφ_k の初期値として、範囲を制限した乱数
を用いる。

【００２８】次に学習デ−タ提示部１３に予め備わって
いる初期学習用デ−タの最初の学習用入力デ−タを入力
層３のニュ−ロン素子１に与える。ネットワ−ク修正部
１５は、この学習用入力デ−タに対する出力層７の出力
信号ｚ_k と教師デ−タとから次式の誤差関数Ｅ´を評価
する。

【００２９】

【数４】 そして最急降下法等を用いて、誤差関数Ｅ´が小さくな
るように、即ち、出力信号ｚ_k が教師デ−タに近付くよ
うに、結合荷重Ｓ_ji，Ｔ_kj及びしきい値θ_j ，φ_k を微
少量増減させ、修正を行なう。なお、出力信号Ｏ_k は教
師デ−タ（教師信号）である。また、出力信号ｚ_k は、
入力信号ｘ_i ，結合係数Ｓ_ji，Ｔ_kj及びしきい値θ_j ，
φ_k の関数である。

【００３０】このような修正を残りの学習用入力デ−タ
についても行なうことで、ニュ−ラルネットワ−ク装置
は、しだいに教師デ−タを出力するようになり、初期学
習用デ−タの学習用入力デ−タとあまり異なっていない
入力に対しては、高い解答率が得られる。

【００３１】次にニュ−ラルネットワ−ク装置の性能を
向上するために、補充デ−タ生成部１７による追加学習
を行なう。

【００３２】まず、仮出力生成部１９により、出力層７
の仮の出力Ａ１を生成する。ここでは出現することが望
ましくない信号を仮の出力Ａ１の生成指針とする。望ま
しくない信号とは、例えば、出力層７の１０個の出力信
号ｚ_k のうち、２個が同程度の出力レベルとなるものが
ある。即ち、ｚ₅ ＝ｚ₆ ＝０．７，ｚ₁ ＝ｚ₂ ＝ｚ₃ ＝
ｚ₄ ＝ｚ₇ ＝ｚ₈ ＝ｚ₉ ＝ｚ₁₀＝０となるような出力信
号ｚ_k である。

【００３３】次に入力−中間層間逆算部２１により、出
力層７が仮の出力Ａ１を出力するような中間層５の出力
Ａ２を求める。この出力Ａ２の算出方法を図４のフロ−
チャ−トを用いて説明する。まず、仮出力信号Ａ１の各
成分ｚ_k （ｋ＝１，…１０）に非線形関数ｆの逆関数Ｆ
を作用させる（ステップＳ１）。逆関数Ｆは次式の通り
である。

【００３４】 Ｆ（ｚ）＝−ｌｏｇ_e ｛（１−ｚ）／ｚ）｝ 次にステップＳ１により得られた中間層５から出力層７
への信号Ｔ_kjｙ_j のｊについての荷重和から、出力ｙ_j
（１≦ｊ≦５０）に関する連立１次方程式

【００３５】

【数５】 を求める（ステップＳ２）。次いでこの連立１次方程式
を解き、出力ｙ_j を求める（ステップ３）。このように
して得られた出力ｙ_j が、出力層７が仮の出力Ａ１を出
力するような中間層５の出力Ａ２である。

【００３６】次に上記連立１次方程式の解法（ステップ
Ｓ３）の詳細について、図５のフロ−チャ−トを用いて
説明する。

【００３７】本実施例では、未知数の数、つまり、中間
層５のニュ−ロン素子１の個数（５０個）が、方程式の
数、つまり、出力層７のニュ−ロン素子１の個数（１０
個）より多いので、上記方程式は不定となり、解に任意
性が残る。そこで、まず、連立１次方程式の特解を１つ
求める（ステップＳ３ａ）。特解は次の手順で求めるこ
とができる。なお、表記を簡単にするため、結合係数Ｔ
_kjを次のようにベクトル表示する。

【００３８】

【数６】 なお、右辺の右肩のＴは転置を表している。

【００３９】また、基底｛Ｔ｝及びこの基底｛Ｔ｝の張
る部分空間における双対基底｛Ｔ^* ｝をそれぞれ下記の
ように表す。

【００４０】

【数７】

【００４１】

【数８】 ただし、

【００４２】

【数９】 である。

【００４３】このような表記を用いると、内積に関して
次の等式が成り立つ。

【００４４】

【数１０】 この双対基底を用いると、上記連立一次方程式の特解、
即ち、中間層５の出力の特解ｙ_i ^specificは次式のよう
に表せる。

【００４５】

【数１１】 次にこの特解ｙ_i ^specificを用いて上記連立一次方程式
の一般解を求める（ステップＳ３ｂ）。

【００４６】即ち、基底｛Ｔ｝が張る部分空間に対する
補空間の正規直交基底｛τ｝をＳｃｈｍｉｄｔの直交化
法により求め、下記のように表記する。

【００４７】

【数１２】 ただし、

【００４８】

【数１３】 この正規直交基底｛τ｝を用いると、中間層５の出力の
一般解ｙ_i は次式のように表せる。

【００４９】

【数１４】 ここで、λ_k は任意の実数である。

【００５０】次に上記一般解ｙ_i の任意性を吸収する
（ステップＳ３ｃ）。即ち、評価関数を導入し、それに
ついての最適化を行なうことで、一般解ｙ_i の任意性を
吸収する。本実施例では、ニュ−ロン素子１の興奮状態
を中間的なものとする次の評価関数Ｃ（ｙ_j ，λ_k ）を
導入する。

【００５１】

【数１５】 ただし

【００５２】

【数１６】 評価関数Ｃ（ｙ_j ，λ_k ）を最小にするという条件から
λ_k は、

【００５３】

【数１７】 となる。ここで、右辺の括弧は内積を意味する。

【００５４】なお、評価関数は上記のものに限らず、学
習用入力デ−タとして望まれる性質、例えば、数字の標
準的なドットパタ−ンに近いといった性質が分かってい
る場合には、それに対応した評価関数を用いることで、
そのような性質を評価関数に反映させることができる。

【００５５】このようにして得られたλ_k をステップＳ
３ｂでもとめた一般解に代入することにより、一般解の
任意性が吸収され、中間層５の出力Ａ２が求まる。

【００５６】以上のようにして、図２の中間−出力層間
逆算部２１は、仮の出力Ａ１から、出力層１９が仮の出
力Ａ１を出力するような中間層５の出力Ａ２を求める。

【００５７】次に入力−中間層間逆算部２３は、上記出
力Ａ２から、入力層３が出力Ａ２を出力するような入力
層３の入力Ａ３を求める。図６，図７は入力Ａ３を求め
る手順を示すフロ−チャ−トである。これは上述した出
力Ａ１から出力Ａ２を求める方法と同じである。即ち、
まず、出力Ａ２からｘ_i に関する連立一次方程式を作成
し（ステップＳ４，Ｓ５）、これを解いて入力Ａ３を求
める（ステップＳ６，Ｓ７）。

【００５８】以上のようにして、例えば、ｚ₅ ＝ｚ₆ ＝
０．７，ｚ₁ ＝ｚ₂ ＝ｚ₃ ＝ｚ₄ ＝ｚ₇ ＝ｚ₈ ＝ｚ₉ ＝
ｚ₁₀＝０のような望ましくない仮の信号Ａ１を与える入
力Ａ３が求まる。

【００５９】したがって、上記の例の場合において、望
ましくない仮の信号Ａ１に対する補充教師デ−タをｚ₅
＝１，ｚ₁ ＝ｚ₂ ＝ｚ₃ ＝ｚ₄ ＝ｚ₆ ＝ｚ₇ ＝ｚ₈ ＝ｚ
₉ ＝ｚ₁₀＝０として追加学習を行なえば、入力層３の入
力が信号Ａ１であっても、正常な出力、即ち、手書き数
字が５だと判断される。このような追加学習を行なうこ
とで、不当な出力が出現する率が低くなり、信頼性が向
上する。また、以上のようにして得られた補充学習用デ
−タと初期学習用デ−タと一緒に用い、再学習を行なっ
ても識別能力が向上する。

【００６０】また、補充学習用デ−タを利用者に明示す
ることにより、ニュ−ラルネット装置本体の状態がどの
ようなものであるか、即ち、どのような入力に対して出
力が正常なるか又は異常になるかが分かり、これにより
装置の有効利用が図れるなど、利用者は大きな利益が得
られる。

【００６１】また、評価関数を取り替えることで、様々
な入力状態を得ることができ、補充学習用デ−タの補充
分の性質をコントロ−ルできるので、色々な利用法が可
能となる。

【００６２】かくして本実施例によれば、利用者側で新
たな学習デ−タを作成でき、これを用いて追加学習や再
学習を行なうことで、汎化能力が高いニュ−ラルネット
ワ−ク装置を短期間で構築できる。

【００６３】なお、上記実施例では手書き数字のパタ−
ン識別の場合について説明したが、本発明は他の情報処
理の場合にも適用できる。その他、本発明の要旨を逸脱
しない範囲で、種々変形して実施できる。

【００６４】

【発明の効果】以上詳述したように本発明によれば、利
用者側で追加学習や再学習を行なえるようになるので、
高い汎化能力を有するニュ−ラルネットワ−ク装置を得
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るニュ−ラルネットワ−
ク装置の概略構成図。

【図２】補充デ−タ生成部の概略構成図。

【図３】手書き数字の２次元パタ−ン。

【図４】仮の出力から中間層の出力を求める方法を示す
フロ−チャ−ト。

【図５】中間層の出力を求めるのに必要な連立一次方程
式の解法を示すフロ−チャ−ト。

【図６】中間層の出力から入力層の入力を求める方法を
示すフロ−チャ−ト。

【図７】入力層の入力を求めるのに必要な連立一次方程
式の解法を示すフロ−チャ−ト。

【図８】従来のニュ−ラルネットワ−ク装置の概略構成
図。

【符号の説明】

１…ニュ−ロン素子、３…入力層、５…中間層、７…出
力層、９…シナプス接合部、１１…ニュ−ラルネット装
置本体、１３…学習デ−タ提示部、１５…ネットワ−ク
修正部、１７…補充デ−タ生成部、１９…仮出力信号生
成部、２１…中間−出力層間逆算部、２３…入力−中間
層間逆算部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】ニュ−ラルネットワ−ク装置本体と、 学習用デ−タを備えた学習デ−タ提示部と、 前記学習用デ−タと前記ニュ−ラルネットワ−ク装置本
   体の出力とから、前記ニュ−ラルネットワ−ク装置本体
   の入力と出力とが所定の関係になるように、前記ニュ−
   ラルネットワ−ク装置本体を制御する制御手段と、 前記ニュ−ラルネットワ−ク装置本体の入力を生成する
   と共に、この入力に対する前記ニュ−ラルネットワ−ク
   装置本体の望ましい出力を利用者に要求し、この出力と
   前記入力とを新たな学習用デ−タとして前記学習デ−タ
   提示部に与える補充デ−タ生成手段とを具備してなるこ
   とを特徴とするニュ−ラルネットワ−ク装置。