JPH08110896A - フィードフォワード型ニューラルネットワーク - Google Patents

Abstract

(57)【要約】 【目的】入出力関係を任意の精度で実現するための最適
化 【構成】 全ての入力ユニットとゲートユニットとに結
合した演算ユニットＢ₁〜Ｂ_N/L-1 と全ての入力ユニッ
トに結合した制御ユニットＣ_1,1 〜Ｃ_L,2 を有する。制
御ユニットはＭ次元空間を座標原点を通るＭ−１次元の
超平面でＬ個の部分空間に分割することで、Ｎ個の入力
ベクトルデータをＬ個の群に群別する時、入力ベクトル
データが超平面に対して一方の側に存在する時、値０又
はａを、他方の側に存在する時、値ａ又は０を、それぞ
れ、出力し、各超平面に対応して、それぞれ、一対ずつ
設けられている。各ゲートユニットは入力ベクトルデー
タのＬ個の各群と対応し、そのゲートユニットに対応す
る部分空間を隔離している超平面に対応した制御ユニッ
トのうちゲートユニットに対応した群の入力ベクトルデ
ータが入力された時、出力値が０となる制御ユットと結
合している。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、フィードフォワード型
ニューラルネットワークの最適構造に関し、特に与えら
れた入出力データ組の対応関係を正確に実現し、且つ、
構成ユニットを減少させるための構造に関する。

【０００２】

【従来技術】フィードフォワード型ニューラルネットワ
ークを具体的用途に応用する際に、従来行われている手
順を以下に記す。

【０００３】（１）三層（入力層、隠れ層、出力層）ま
たは、四層（入力層、二つの隠れ層、出力層）のフィー
ドフォワードニューラルネットワークの構造や隠れユニ
ット数を研究者の直観から適当に決める。 （２）こうして決定したニューラルネットワークのパラ
メータ（結合係数とバイアス値）を何らかの学習アルゴ
リズムを使って、問題から与えられた有限個の入出力関
係を実現するように調節する。

【０００４】無限個の隠れユニットをニューラルネット
ワークが持てば、三層または四層のフィードフォワード
ニューラルネットワークが任意の連続写像を実現できる
ことが証明されており、応用に際してはもっぱら三層ま
たは四層のフィードフォワードニューラルネットワーク
が使われている。上記の手順から判るように従来手法に
は以下の問題がある。

【０００５】

【発明が解決しようとする課題】研究者の直観によって
決定されたニューラルネットワークが、与えられた入出
力関係を実現できるのか、出来ないのか判らない。実現
できないとした場合、それではどのくらいの誤差で実現
できるのかも判らない。

【０００６】非線形要素を持つニューラルネットワーク
の学習アルゴリズムは、非線形最適化のアルゴリズムと
なるため、学習によって得られたパラメータが最適なパ
ラメータである保証が全くない。もっと良いパラメータ
が存在する可能性がある。また、一般に応用に使われる
ニューラルネットワークは少なくとも数十以上のパラメ
ータを持っており、学習に時間がかかる。

【０００７】本発明は上記の課題を解決するために成さ
れたものであり、その目的は、与えられた入出力関係を
任意の精度で実現出来ることが保証され、且つ、学習を
必要としない四層フィードフォワードニューラルネット
ワークの新規な構造を提供するものである。

【０００８】

【課題を解決するための手段】請求項１に記載の発明
は、図１に示す４層構造をしている。尚、表現を簡単に
するために、以下の記載では、ユニットの出力値０，ａ
等の表現は、正確な値０，ａの他、０又はａと見なせる
値０、値ａの近似値も含むものとする。本ニューラルネ
ットワークは、Ｍ個の入力ユニットＡ₁ 〜Ａ_M を有する
入力層と、入力層に結合した第１隠れ層と、第１隠れ層
に結合し、Ｌ個のゲートユニットＤ₁ 〜Ｄ_L から成る第
２隠れ層と、第２隠れ層に結合した１個の出力ユニット
Ｅから成る出力層とから成る。

【０００９】第１隠れ層は、全ての入力ユニットと全て
のゲートユニットとに結合した演算ユニットＢ₁〜Ｂ
_N/L-1 と、全ての入力ユニットに結合し出力値を０とａ
（≠０）を含む０とａの間の値とする制御ユニットＣ
_1,1 〜Ｃ_L,2 であって、図２に示すように、Ｍ次元空間
をＭ−１次元の超平面Ｓ₁ 〜Ｓ_L でＬ個の部分空間Ｖ₁
〜Ｖ_L に分割することで、Ｎ個の入力ベクトルデータを
Ｌ個の群に群別する時、入力ベクトルデータが超平面に
対して一方の側に存在する時、値０又はａを、他方の側
に存在する時、値ａ又は０を、それぞれ、出力する一対
のユニットで、各超平面に対応して、それぞれ、一対ず
つ設けられた制御ユニットとを有する。

【００１０】例えば、第１群、即ち、第１部分空間Ｖ₁
は、２つの超平面Ｓ_1,Ｓ₂ とで隔離されている。任意の
超平面に対して、反時計回転方向を方向１、時計回転方
向を方向２とする。超平面Ｓ₁ 〜Ｓ_L には、それぞれ、
一対の制御ユニットＣ_1,1,Ｃ_1,2 〜Ｃ_L,1,Ｃ_L,2 が対応
する。今仮に、入力ベクトルデータが超平面Ｓ₁ に対し
て方向１側に存在するとすると、超平面Ｓ₁ に対応する
一対の制御ユニットＣ_1,1,Ｃ_1,2 のうち、制御ユニット
Ｃ_1,1 は値０を出力し、制御ユニットＣ_1,2 は値ａを出
力する。又、逆に、入力ベクトルデータが超平面Ｓ₁ に
対して方向２側に存在するとすると、制御ユニットＣ
_1,1 は値ａを出力し、制御ユニットＣ_1,2は値０を出力
する。

【００１１】又、超平面Ｓ₂ には、一対の制御ユニット
Ｃ_2,1,Ｃ_2,2 が対応する。入力ベクトルデータが超平面
Ｓ₂ 対して方向２側に存在するとすると、制御ユニット
Ｃ_2,2 は値０を出力し、制御ユニットＣ_2,1 は値ａを出
力する。逆に、入力ベクトルデータが超平面Ｓ₂ 対して
方向１側に存在するとすると、制御ユニットＣ_2,2 は値
ａを出力し、制御ユニットＣ_2,1 は値０を出力する。図
２には、各部分空間の入力ベクトルデータの入力に対し
て値０を出力する制御ユニットのみが各部分空間に対応
して表記されている。

【００１２】各ゲートユニットは、それぞれ、入力ベク
トルデータのＬ個の各群と対応し、それぞれ、そのゲー
トユニットに対応する部分空間を隔離している超平面に
対応した制御ユニットのうち、そのゲートユニットに対
応した群の入力ベクトルデータが入力された時、出力値
が０となる制御ユットと結合している。

【００１３】即ち、ゲートユニットＤ₁ 〜Ｄ_L は、それ
ぞれ、部分区間Ｖ₁ 〜Ｖ_L 及びそれに対応する入力ベク
トルデータの群に対応している。１つのゲートユニット
Ｄ₁について言えば、対応する部分空間Ｖ₁ は２つの超
平面Ｓ_1,Ｓ₂ で隔離されている。よって、部分空間Ｖ₁
に関して、対応する制御ユニットはＣ_1,1,Ｃ_1,2,Ｃ_2,1,
Ｃ_2,2 の２対存在する。部分空間Ｖ₁ に存在する入力ベ
クトルデータに対して値０を出力する制御ユニットは、
Ｃ_1,1 とＣ_2,2 である。よって、ゲートユニットＤ₁ は
制御ユニットＣ_1,1 とＣ_2,2 とに結合している。他のゲ
ートユニットに関しても同様である。

【００１４】各ゲートユニットは対応する群の入力ベク
トルデータに対しては正規の値を出力し、対応しない群
の入力ベクトルデータに対しては値０を出力するもので
ある。例えば、ゲートユニットＤ₁ は部分空間Ｖ₁ に属
する入力ベクトルデータに関しては、正規の値を出力
し、その部分空間Ｖ₁ に属しない入力ベクトルデータに
関しては値０を出力する。他のゲートユニットも同様で
ある。

【００１５】入力層、第１隠れ層の演算ユニット、第２
隠れ層とで構成されるネットワークにおいて、各群の入
力ベクトルデータが入力された時、その群に対応するゲ
ートユニットの出力が正規の値となるように、結合係
数、バイアス値が決定されている。

【００１６】尚、部分空間を隔離する２つの超平面は、
それらの平面の交線に対して反対側で他の部分空間を隔
離する超平面と共用することもできる。その場合には、
共通化された分だけ超平面の数も宿約でき、ゲートユニ
ットに対する結線だけを変更するだけで対応する制御ユ
ニットも共用でき、その数を宿約すくこともできる。

【００１７】請求項２の発明は、演算ユニットの個数と
入力ベクトルデータの個数との関係を規定したものであ
る。即ち、請求項１の発明において、入力ベクトルデー
タの個数ＮはＬの倍数であり、演算ユニットの個数は最
大個数でＮ／Ｌ−１個とした。このことは、Ｎ組の入力
ベクトルデータと教師出力データとの任意の対応関係を
実現するために、本構成のネットワークを用いれば、演
算ユニットの数は最大個数でＮ／Ｌ−１個あれば十分で
あることを規定している。

【００１８】請求項３の発明は、より具体的に入力ベク
トルデータを２つの群に分割した場合のニューラルネッ
トワークの構造を規定している。即ち、請求項３の発明
では、Ｌは２、演算ユニットの個数は最大個数でＮ／２
−１、ゲートユニットの個数は２、制御ユニットの個数
は２、超平面の数は１であり、各制御ユニットは対応す
る１つのゲートユニットとのみ結合している。尚、２つ
の超平面で２つの部分空間に分割することもできる。そ
の場合には、制御ユニットの個数は４個となり、１つの
ゲートユニットには２つの超平面に対応する２つの制御
ユニットが結合することになる。

【００１９】請求項４の発明は、演算ユニットに、単調
に増加又は減少し十分に小さい領域と十分に大きい領域
で飽和した級数展開可能な非線形な一対一対応の関数を
持たせ、制御ユニットとゲートユニットには、単調に増
加又は減少し十分に小さい領域と十分に大きい領域で飽
和した非線形な一対一対応の関数を持つせたことであ
る。 この関数としては、演算ユニットにはシグモイド
関数等の単調増加非線形関数等を使用でき、制御ユニッ
トとゲートユニットにはシグモイド関数の他、飽和領域
で０又は１、非飽和領域で直線とした折線関数等の単調
増加／減少非線形関数が使用できる。

【００２０】請求項５の発明は、入力ユニットと演算ユ
ニット間の結合係数を異なる入力ベクトルデータに対し
て、各入力ユニットの各出力値と各結合係数との積の和
の値が異なるように決定し、各演算ユニットのバイアス
値を、各群の入力ベクトルデータの入力に対して出力さ
れる各演算ユニットの出力値及び単位定数を成分とする
出力ベクトルの各群内において、その出力ベクトルが１
次独立となるように決定したことを１つの特徴点とす
る。

【００２１】本発明の構造において、上記のように結合
係数とバイアス値を決定することが可能であり、演算ユ
ニットの出力する値及び単位定数を成分とする１群に属
する出力ベクトルが１次独立であることは、教師出力デ
ータと、対応する演算ユニットの出力ベクトルとを用い
て、演算ユニットとゲートユニット間との結合係数及び
ゲートユニットのバイアス値が一意的に逆変換により演
算できることを意味している。

【００２２】よって、各演算ユニットとゲートユニット
間の結合係数及びゲートユニットのバイアス値は、その
ゲートユニットに対応する群の入力ベクトルデータの組
を入力した時の各演算ユニットの出力値及び単位定数を
各成分とする出力ベクトルデータの組と、その群に対応
する教師出力データの組に対応するゲートユニットの出
力値の組とから逆変換により決定される。

【００２３】請求項６の発明は、制御ユニットに関する
結合係数とバイアス値の決定に関するものである。即
ち、入力ユニットと一対の制御ユニットの各々間の結合
係数は、対応する超平面の両側に存在する入力ベクトル
データに対して、その一対の制御ユニットの出力値が、
それぞれ、値ａ又は値０となるように超平面の法線ベク
トルの十分に大きな値Ｔ倍の各成分で決定されている。

【００２４】例えば、図１、図２示すように、制御ユニ
ットＣ_1,1 は超平面Ｓ₁ と対応し、超平面Ｓ₁ に対して
方向１側に存在する入力ベクトルデータに対して値０を
出力し、方向２側に存在する入力ベクトルデータに対し
て値ａを出力する。よって、この制御ユニットＣ_1,1 が
シグモイド関数等のような単調増加非線形関数であれ
ば、値０を出力するには入力の積和値が−∞、値ａ（ａ
を正値として）を出力するには入力の積和値が＋∞であ
れば良い。よって、このような積和値を得るためには、
制御ユニットＣ_1,1 と各入力ユニットＡ₁ 〜Ａ_M 間の結
合係数は、超平面Ｓ₁ の方向２の向きにとった法線ベク
トルの十分に大きな値Ｔ倍の各成分で決定すれば良い。
尚、とるべき法線ベクトルの向きは、制御ユニットの関
数形（単調減少等）によって異なる。

【００２５】又、制御ユニットのバイアス値は、超平面
上のベクトルを入力ベクトルデータとする時、その制御
ユニットの出力値がａ／２となるように決定されてい
る。例えば、制御ユニットＣ_1,1 のバイアス値は、超平
面Ｓ₁ 上の入力ベクトルデータに対して、制御ユニット
Ｃ_1,1 の出力値がａ／２、即ち、出力範囲の中間値をと
るように決定されている。超平面Ｓ₁ が座標原点を通る
ようにとられたとき超平面Ｓ₁ の法線ベクトルと超平面
Ｓ₁ 上の入力ベクトルとは直交しているから、バイアス
値の関数値、例えば、シグモイド関数値がａ／２となる
ようにバイアス値が決定される。−∞〜＋∞の独立変数
の範囲に対して出力範囲０〜ａで定義されたシグモイド
関数であれば、そのバイアス値は０である。又、超平面
Ｓ₁ が座標原点を通らない場合には、バイアス値は超平
面Ｓ₁ と原点との距離を絶対値とし、原点が法線ベクト
ル側に存在する場合には正、原点が法線ベクトルと反対
側に存在する場合には負に選ぶ。

【００２６】制御ユニットとその制御ユニットに結合し
ているゲートユニット間の結合係数は、その制御ユニッ
トの出力値がａの時、そのゲートユニットの出力値を他
の入力にかかわらず０とし得る程に十分に絶対値の大き
な値である。例えば、制御ユニットＣ_1,1 とそのユニッ
トが結合しているゲートユニットＤ₁ との結合係数は、
制御ユニットＣ_1,1 の出力値がａの時、ゲートユニット
Ｄ₁の出力値を０とし得るに十分に絶対値の大きな値に
決定される。ゲートユニットＤ₁ の関数が単調増加のシ
グモイド関数であれば、結合係数は負の絶対値が十分に
大きな値である。この時、制御ユニットＣ_1,1 の出力値
ａと結合係数との積は負の絶対値の十分に大きな値とな
り、ゲートユニットＤ₁ の他の入力がどのような値であ
っても、ゲートユニットＤ₁ の積和値は負の絶対値の十
分に大きな値となる。よって、積和値のそのシグモイド
関数は値０となる。このゲートユニットＤ₁ の出力値０
は、制御ユニットＣ_1,1 の出力値がａとなる部分区間に
属する入力ベクトルデータの場合には、演算ユニットに
よる演算結果を無視することを意味している。

【００２７】一方、ゲートユニットＤ₁ は、制御ユニッ
トＣ_1,1 とＣ_2,2 と結合している。即ち、部分空間Ｖ₁
に属する入力ベクトルデータに対して、制御ユニットＣ
_1,1とＣ_2,2 の出力値は共に０である。よって、ゲート
ユニットＤ₁ における積和値は制御ユニットＣ_1,1 とＣ
_2,2 以外、即ち、演算ユニットＢ₁ 〜Ｂ_N/L-1 の出力値
によって決定される値となる。従って、ゲートユニット
Ｄ₁ は正規の値を出力することになる。

【００２８】又、部分空間Ｖ₁ 以外の空間に属する入力
ベクトルデータに対しては、制御ユニットＣ_1,1 とＣ
_2,2 の少なくともいずれか一方の出力はａとなる。よっ
て、部分空間Ｖ₁ 以外の空間に属する入力ベクトルデー
タに対して、ゲートユニットＤ₁ の出力値を０とするこ
とが可能となる。同様に、ゲートユニットＤ₂ は部分空
間Ｖ₂ に属する入力ベクトルデータに対してのみ正規の
値を出力し、その他の値に対しては出力値が０となる。
以下、同様にゲートユニットＤ_L は部分空間Ｖ_Lに属す
る入力ベクトルデータに対してのみ正規の値を出力し、
その他の値に対しては出力値が０となる。このようにゲ
ートユニットは、対応する部分空間に属する入力ベクト
ルデータに対する正規の演算値のみ出力する機能、即
ち、ゲート機能を有している。

【００２９】請求項７の発明は、出力ユニットに関する
パラメータの決定に関する。即ち、ゲートユニットと出
力ユニット間の結合係数は、ゲートユニットの出力値の
範囲幅を教師出力データの範囲幅に変換する増幅比βで
あり、出力ユニットのバイアス値は、１つのゲートユニ
ットの出力値がａ／２、他のゲートユニットの出力値が
０の時に、出力ユニットの出力値が教師出力データの範
囲の中間値をとるように決定されている。

【００３０】請求項５の発明において、演算ユニットと
ゲートユニット間の結合係数、ゲートユニットのバイア
ス値を逆変換により演算する場合に、教師出力データに
対応した各ゲートユニットの出力値を演算している。こ
の出力値はゲートユニットの関数の出力範囲０〜ａに存
在することが必要である。このために、任意範囲に存在
する教師出力データを範囲０〜ａに線形ゲージ変換する
ことが必要となる。このゲートユニットの出力値の範囲
０〜ａを元の教師出力データの範囲に変換するのが、出
力ユニットとゲートユニット間の結合係数と出力ユニッ
トのバイアス値である。

【００３１】

【作用及び発明の効果】請求項１の発明では、入力ベク
トルデータの属する空間をＬ分割し、それぞれの部分空
間に対応してゲートユニット、一対の制御ユニットを設
けている。そして、制御ユニットにより入力ベクトルデ
ータがどの部分空間に属するかを判定し、ゲートユニッ
トで対応する部分空間に属する入力ベクトルデータに対
してのみ正規の値を出力するようにしている。

【００３２】このように決定することで、入力ベクトル
データに対して対応した教師出力データを正確に出力す
ることができる。又、各層の結合係数、各ユニットのバ
イアス値も論理的に決定可能である。

【００３３】請求項２の発明では、請求項１の構成のニ
ューラルネットワークにおいて、演算ユニットの個数を
最大でＮ／Ｌ−１で、任意のＮ組の入力ベクトルデータ
と教師出力データとの対応関係を正確に実現できる。よ
って、ニューラルネットワークのユニットの最適設計に
より、演算速度が向上し、結合係数、バイアス値の決定
が高速で行える。

【００３４】請求項３の発明では、分割数２とした場合
であり、超平面の数を１としているので、制御ユニッ
ト、ゲートユニットは２個で、上記構成のニューラルネ
ットワークが構成でき、その構造を簡略化することがで
きる。

【００３５】請求項４の発明のように、演算ユニット、
制御ユニット、ゲートユニットの関数を決定すること
で、請求項１の構成のニューラルネットワークがより簡
単に実現できる。

【００３６】請求項５の発明のように、演算ユニットと
入力ユニット間の結合係数、演算ユニットのバイアス値
は、演算ユニットの出力値及び単位定数を成分とする出
力ベクトルが各群において１次独立となるように決定す
ることができ、さらに、そのように結合係数とバイアス
値とを決定した後、ゲートユニットと演算ユニット間の
結合係数とゲートユニットのバイアス値は、演算ユニッ
トの出力値及び単位定数を成分とする１次独立の出力ベ
クトルと対応する教師出力データに対応するゲートユニ
ットの出力データとから逆変換により決定しているの
で、請求項１の構成のニューラルネットワークのパラメ
ータをより正確且つ簡単に決定することができる。

【００３７】請求項６の発明のように、制御ユニットに
関するパラメータを決定することで、制御ユニットに入
力ベクトルデータの存在する部分空間を判別させること
ができ、ゲートユニットにそのゲートユニットに対応し
た部分空間の入力ベクトルデータに対してのみ正規の値
を出力させ、その他の部分空間の入力ベクトルデータに
対しては０を出力させることができる。

【００３８】請求項７の発明のように、出力ユニットに
関するパラメータを決定することで、ゲートユニットに
関するパラメータが決定でき、且つ、出力ユニットから
適正な範囲の教師データを出力させることができる。

【００３９】

【実施例】以下、本発明を具体的な実施例に基づいて説
明する。まず、本発明の実施例を説明する前に、本発明
の構造のニューラルネットワークの基礎となる三層フィ
ードフォワードニューラルネットワークの写像能力につ
いて説明する。

【００４０】図３に示すように、Ｎ−１個の隠れユニッ
トを持つ三層のフィードフォワードニューラルネットワ
ークは任意のＮ個の入出力関係を実現できることが知ら
れている。その事実に対する新しい証明を次のように行
った。ネットワークは、Ｍ個の入力ユニット、Ｎ−１個
の隠れユニット、一個の出力ユニットから成る。入出力
ユニットは線形ユニット、隠れユニットはシグモイド関
数をもつ非線形ユニットである。入力ユニットと隠れユ
ニット間、隠れユニットと出力ユニット間は、各々全結
合になっている。入力ユニット、隠れユニットは、各
々、１からＭ、１からＮ−１と番号が付けられている。

【００４１】以下の記号を定義する。尚、ベクトル、及
び、マトリックスには記号の右肩に^* 印を付す。

【数１】 (x^(k)*,t^(k))： k番目データの入出力関係 x^(k)*： k番目のＭ次元入力ベクトルデータ （以下、「入力ベクトル」という） t^(k)： k番目の教師出力データ （以下、「教師出力」という） t^*：教師出力ベクトル t_k = t^(k)(k=1,2,..,Ｎ) o^<i> _k： x^(k)*を入力した時のｉ番の隠れユニットの出力 s(x)：シグモイド関数、1/(1+exp(-x)) w_ij：j番の入力ユニットからi 番目の隠れユニットへの結合係数 (i=1,2..Ｎ-1, j=1,2,...,Ｍ） b_i：i 番目の隠れユニットのバイアス値 Ｗ^* ：隠れ層から出力ユニットへの結合係数と出力ユニットのバイアス値 から成るベクトル Ｗ_i：ｉ−１番の隠れユニットから出力ユニットへの結合係数 ( =2,3,..., Ｎ） Ｗ₁：出力ユニットのバイアス値 (1)

【００４２】空間はユークリッド空間を仮定する。Ｎ個
の入出力関係を実現するには、ネットワークは以下の方
程式を満たさねばならない。

【数２】 Ｏ^*Ｗ^*= t^*, Ｏ_i,1 = 1 (i=1,2,...,Ｎ),Ｏ_k,i = o^<i-1> _k (2) (i=2,...,Ｎ, k=1,...,Ｎ）

【００４３】(2) 式のＮ×ＮマトリクスＯ^* を次のよう
に書く。

【数３】 Ｏ^* =(1^*,o^<1>*,o ^<2>*,...,o ^<N-1>*) (3)

【００４４】1^* は要素が全て1 である定数列ベクト
ル、o^<i>* はｉ＋１番目の列ベクトルである。証明すべ
きことは、方程式(2) が解けること、即ちＯ^* をフルラ
ンクに出来るということである。

【００４５】w^<i>* を入力層からｉ番目の隠れユニット
への結合係数を全てならべたベクトル、(,) を内積とす
ると、x^(k)* を入力した時のｉ番目の隠れユニットの出
力は次のように書ける。

【数４】 o^<i> _k=s((w^<i>*,x^(k)*)+b_i) (k=1,2,...,Ｎ) (4) o^<i> _kはo^<i>*のｋ番目の要素、(w^<i>* ,x^(k)*) はｉ番
の隠れユニットへの入力である。

【００４６】ユークリッド空間R^N内の曲線、c(b_i)^* を
考える。

【数５】

【００４７】(5) 式において結合係数ベクトルは、k ≠
k' ならば、(w^<i>*, x^(k)*) ≠(w^<i>* ,x^(k')*) とい
う条件を満足しているとする。条件が成立しない結合係
数ベクトルがあれば、微小な外乱ベルトルをその結合係
数ベクトルに加えればよい。

【００４８】この曲線が、Ｎ−１次元以下の次元R^Nの部
分空間に含まれないことを示す。c(b_i)^*がＮ−１次元の
部分空間に入っていると仮定する。この時、この部分空
間に直交するベクトルｎ^* が存在して以下の式が成り立
つ。

【数６】 ∀b_i∈I=[a,b], (n^*,c(b_i)^*-c(a)^*)=n₁・s(b_i+d₁)+n₂・s(b_i+d₂)+ …+n_N・s(b_i+d_N -z=0 d_k=(w^<i>*,x^(k)*) (k=1,2,...,Ｎ), z=(n ^*,c(a)^*) (6)

【００４９】n_N がゼロでないとして(6) 式を変形して
以下の式を得る。

【数７】 s(b_i)= _P=1Σ^N-1α_p・s(b_i+e_p)+z' (7) 但し、α_p=-n_p/n_N,z'=z/n_N,e_p=d_p-d_N,e_p≠e_p',b_i∈I'=
[a+d_N,b+d_N]である。

【００５０】パラメータα_p (p=1,2,...,N-1),z'は任意
のΘ∈I'について以下の線型方程式を満足しなければな
らない。

【数８】 _p=1Σ^N-1α_p・s(Θ+e_p)+z'=s (Θ) (8)

【数９】 _p=1Σ^N-1α_p・s⁽¹⁾(Θ+e_p)+z'=s⁽¹⁾(Θ) (9)

【数１０】 _p=1Σ^N-1α_p・s⁽²⁾(Θ+e_p)+z'=s⁽²⁾(Θ) (10)

【００５１】s⁽ⁿ⁾はシグモイド関数のn 階微分である。
シグモイド関数は有限次数の多項式ではないから、この
線型方程式は無限個ある。しかし、調節可能な自由パラ
メータはα₁,α₂,..., α_N-1,z' のＮ個しかなく、(8)
〜(10)等の任意のｎ階微分に関する式を全て満たすこと
は不可能である。したがって、曲線c(b_i)^*=o^<i>*,b_j ∈
I=[a,b] (a<b,a,b∈Ｒ) は、Ｎ−１次元以下の次元の部
分空間に入ることはない。

【００５２】以上のことから、i 番(i=1,2,..., Ｎ−
１) の隠れユニットについて任意の区間[a,b] ⊂Ｒから
Ｎ個のバイアス値、b_i ⁽¹⁾,b_i ⁽²⁾,…,b_i ^(N)を、対応する
ベクトル、 c(b_i ⁽¹⁾)^* ,c(b_i ⁽²⁾)^* , …,c(b_i ^(N))^*が一
次独立になるように選べることがわかる。これは、各々
の隠れユニットのバイアス値をうまく調節して、列ベク
トル、1^*,o^<1>* ,o^<2>* ,...,o^<N-1>*を一次独立にする
ことが可能であることを意味する。つまり、隠れユニッ
トのバイアス値b₁〜b_N-1を調節することによって、マト
リクスＯ^* をフルランクにすることが可能であり、Ｎ−
１個の隠れユニットを持つ三層フィードフォワードニュ
ーラルネットワークが任意のＮ個の入出力関係を実現で
きることが示されたことになる。

【００５３】以上の証明から、Ｎ個の入出力関係を実現
する際に、次の二つのことが言える。 （１）入力層から隠れ層への結合係数 w_ijは、殆ど任意
に選ぶことができる。 （２）各々の隠れユニットのバイアス値 b_i は、任意の
実数の区間から選ぶことができる。

【００５４】次に本発明の実施例である四層のフィード
フォワードニューラルネットワークの構成について説明
する。本実施例は、請求項３に対応する実施例である。
即ち、Ｌ＝２（２分割）の場合である。又、請求の範囲
では制御ユニット、ゲートユニットの出力範囲を０〜ａ
としているが、本実施例では、ａ＝１である。

【００５５】四層のフィードフォワードニューラルネッ
トワークは任意のＮ個の入出力関係、(x^(k)*,t^(k)) (k=
1,2,...,N), x^(k)*∈Ｒ^M ,t^(k)∈Ｒを前述の三層フィー
ドフォワードニューラルネットワークよりも少ない隠れ
ユニットで実現できる事を示す。簡単のため、Ｎは偶数
であるとする。

【００５６】まず、始めに、図４に示す三層サブネット
ワークを考える。図１に示す本発明のニューラルネット
ワークの構成と対応をとるために、図４のニューラルネ
ットワークの三層を入力層、第１隠れ層、第２隠れ層と
名付ける。又、入力層のユニットは入力ユニット、第１
隠れ層のユニットは演算ユニット、第２隠れ層のユニッ
トはゲートユニットと記す。

【００５７】サブネットワークはＭ個の線形の入力ユニ
ットＡ₁ 〜Ａ_N 、Ｎ／２−１個の非線形の演算ユニット
Ｂ₁ 〜Ｂ_N/2-1 、二つの非線形のゲートユニットＤ_1,Ｄ
₂ からなる。非線形ユニットはシグモイド関数を持つ。
入力層と第１隠れ層間、第１隠れ層と第２隠れ層間は、
各々全結合を形成しており、入力層と第１隠れ層間の結
合係数 w_ijは、乱数を使って決定されているとする。図
６に示すように、入力空間R^MにおいてＮ個の入力ベクト
ル、x^(k)* (k=1,2,...,N) を半分に分ける超平面Ｓ₁ を
一つ決定する。データが有限個なのでこのような超平面
Ｓ₁ は常に存在する。この超平面Ｓ₁ によって分けられ
た部分空間Ｖ₁ 、Ｖ₂ に属する入力ベクトルの組を
Ｖ₁ 、Ｖ₂ と記し、入力ベクトルの番号を以下の様に付
け直す。

【００５８】

【数１１】 x^(K)*∈Ｖ₁ (k=1,2,...,N/2) x^(k)*∈Ｖ₂ (k=N/2+1,...,N) (11)

【００５９】また、Ｎ個の教師出力から、次の新たな教
師出力を作る。

【数１２】 t'^(k)=t^(k)/β+0.5 ∈(0,1) (k=1,2,...,N) (12) βは正の定数で、t'^(k)が区間(0,1) に入るように適当
に決める。

【００６０】上に述べたように、このサブネットワーク
の第１隠れ層の演算ユニットＢ₁ 〜Ｂ_N/2-1 のバイアス
値 b_i を調節することで、Ｖ₁ の全てのベクトルを入力
して形成されるN/2 ×N/2 のマトリクスＯ^* をフルラン
クにすることができる。したがって、ゲートユニットＤ
₁ は、Ｖ₁ の入力ベクトルに対し、対応する新たな教師
出力t'^(k) を出力することが可能である。ゲートユニッ
トＤ₁ のバイアス値とゲートユニットＤ₁ と各演算ユニ
ットＢ₁ 〜Ｂ_N/2-1 間の結合係数から成るベクトルＷ₁ ^*
は以下の方程式から決定される。

【００６１】

【数１３】 Ｏ^*Ｗ₁ ^*=u^* , u_k=s^-1(t'^(k)) (k=1,2,...,N/2) (13) s^-1 はシグモイド関数の逆関数である。

【００６２】Ｖ₂ の全てのベクトルから形成されるもう
一つのN/2 ×N/2 マトリクスＯ^'*を考える。第１隠れ層
のバイアス値 b_i はＶ₁ のベクトルについて調整されて
いるのであるから、このマトリクスがフルランクである
保証はない。Ｖ₁ の入力に調整された第１隠れ層の演算
ユニットのバイアス値を以下のように書く。Ｏ^'*がフル
ランクでないと仮定する。

【００６３】

【数１４】 Ｂ^* =(b₁,b₂,...,b_N/2-1)^t (t: 転置) (14)

【００６４】三層ネットワークで述べたように、Ｏ^'*を
フルランクにするバイアス値は、各々の演算ユニットＢ
₁ 〜Ｂ_N/2-1 について任意の実数の区間から選ぶことが
出来る。従って、任意の小さな値、 e＞0 に対し、Ｏ^'*
をフルランクにする演算ユニットのバイアス値ベクトル
Ｂ^'*を以下のように選ぶことが可能である。

【００６５】

【数１５】 Ｂ^'*=(b'₁,b'₂,...,b'_N/2-1)^t b'_i∈[b_i-e,b_i+e] (i=1,2,...,N/2-1) (15)

【００６６】マトリクスＯ^* の行列式はバイアス値 b_i
の連続関数になっておりＢ^* に対しては、仮定からゼロ
でない。したがって、(15)式のe を充分小さくすれば、
マトリクスＯ^* のＢ^'*での行列式は０にならない。した
がって、我々は常にマトリクスＯ^* とＯ^'*の両方をフル
ランクにするようにバイアス値 b_i を選択することが出
来る。この様に選択したバイアス値 b_i を用いて、ゲー
トユニットＤ₂ が、Ｖ₂ の入力ベクトルに対し、対応す
る新たな教師出力t'^(k) を出力するように、ゲートユニ
ットＤ₂ と各演算ユニットＢ₁ 〜Ｂ_N/2-1 間の結合係数
とゲートユニットＤ₂ のバイアス値を、ゲートユニット
Ｄ₁ における(13)式と全く同様にして決定する。この
時、ゲートユニットＤ₁ はＶ₂ 入力に対し、ゲートユニ
ットＤ₂ はＶ₁ 入力に対して、正しい値を出力しない。

【００６７】ここで、図５に示すように、新たに、シグ
モイド関数を持つ非線形な一対の制御ユニットＣ_1,1,Ｃ
_1,2 を第１隠れ層に追加する。制御ユニットＣ_1,1,Ｃ
_1,2 は演算ユニットＢ₁ 〜Ｂ_N/2-1 と同様に入力層と全
結合をしている。しかし、制御ユニットＣ_1,1 はゲート
ユニットＤ₁ のみと、制御ユニットＣ_1,2 はゲートユニ
ットＤ₂ のみと結合している。

【００６８】制御ユニットＣ_1,1 について述べる。入力
層と制御ユニットＣ_1,1 との結合係数ベクトルを入力空
間R^MでＮ個の入力ベクトルを二つに分けている超平面Ｓ
₁ の法線ベクトルn^*に正の数Ｔを掛けたベクトルＴn^*に
等しくとる。そして、制御ユニットＣ_1,1 のバイアス値
を超平面Ｓ₁ 上のベクトルが入力された時、制御ユニッ
トＣ_1,1 の出力が0.5 になるように調整し、Ｔを充分大
きくする。こうすることで、制御ユニットＣ_1,1 はＶ₁
とＶ₂ に対する判別器になる。

【００６９】図６に示すように、超平面Ｓ₁ は原点を通
りＮ個の入力ベクトルを２分する平面である。よって、
超平面Ｓ₁ に対して図示するような法線ベクトルn^*の向
きの部分空間Ｖ₂ に属する入力ベクトルと法線ベクトル
n^*との内積の符号は正、逆に、超平面Ｓ₁ に対して図示
するような法線ベクトルn^*の向きと反対向きの分空間Ｖ
₁ に属する入力ベクトルと法線ベクトルn^*との内積の符
号は負、超平面Ｓ₁ 上の入力ベクトルと法線ベクトルn^*
との内積は０である。しかも、Ｔを大きくすれば、その
内積の負値、正値の絶対値はいくらでも大きくすること
ができる。

【００７０】従って、制御ユニットＣ_1,1 と各入力ユニ
ットＡ₁ 〜Ａ_M 間の結合係数ベクトルをＴn^*とし、制御
ユニットＣ_1,1 のバイアス値を超平面Ｓ₁ 上のベクトル
が入力された時、制御ユニットＣ_1,1 の出力が0.5 にな
るように設定することで、制御ユニットＣ_1,1 の入力の
積和値は部分空間Ｖ₁ に属する入力ベクトルに対しては
絶対値の大きな負値、部分空間Ｖ₂ に属する入力ベクト
ルに対しては絶対値の大きな正値とすることが可能であ
る。よって、制御ユニットＣ_1,1 の出力を、部分空間Ｖ
₁ に属する入力ベクトルに対しては０に近い値、部分空
間Ｖ₂ に属する入力ベクトルに対しては１に近い値を出
力することができる。

【００７１】又、制御ユニットＣ_1,1 とゲートユニット
Ｄ₁ との結合係数を絶対値の大きな負値−Ｕとすること
で、ゲートユニットＤ₁ は制御ユニットＣ_1,1 からの以
下の値を受け取る。 Ｖ₁ 入力の場合：０に近い負値-e_i (i=1,2,...,N/2) Ｖ₂ 入力の場合：大きな負値-E_i (i=N/2+1,...,N)

【００７２】ＴとＵを大きくすることで、e_i、E_iを０、
無限大にいくらでも近づけることができる。ゲートユニ
ットＤ₁ は、他の演算ユニットＢ₁ 〜Ｂ_N/2-1 からは、
Ｖ₁入力の時、対応する教師出力となる信号を、Ｖ₂ 入
力の時は、ある定まった信号を受け取る。したがって、
ゲートユニットＤ₁ は、Ｖ₁ 入力の時、対応する教師出
力にいくらでも近い値を、また、Ｖ₂ 入力の時は、０に
いくらでも近い値を出力することができる。

【００７３】制御ユニットＣ_1,2 については次のように
調整する。即ち、入力層と制御ユニットＣ_1,2 との結合
係数ベクトルを−Ｔn^*に等しくとる。そして、制御ユニ
ットＣ_1,2 のバイアス値は制御ユニットＣ_1,1 と同様
に、超平面Ｓ₁ 上のベクトルが入力された時、制御ユニ
ットＣ_1,2 の出力が0.5 になるように調整する。よっ
て、制御ユニットＣ_1,2 の入力の積和値は、制御ユニッ
トＣ_1,1 とは逆に、部分空間Ｖ₁ に属する入力ベクトル
に対しては絶対値の大きな正値、部分空間Ｖ₂ に属する
入力ベクトルに対しては絶対値の大きな負値となる。よ
って、制御ユニットＣ_1,2 の出力は、制御ユニットＣ
_1,1 とは全く逆に、部分空間Ｖ₁ に属する入力ベクトル
に対しては１に近い値、部分空間Ｖ₂ に属する入力ベク
トルに対しては制御ユニットＣ_1,1 の出力に支配される
ので、０に近い値を出力することができる。

【００７４】又、同様に、制御ユニットＣ_1,2 とゲート
ユニットＤ₂ との結合係数を絶対値の大きな負値−Ｕと
することで、ゲートユニットＤ₂ は制御ユニットＣ_1,2
からの以下の値を受け取る。 Ｖ₂ 入力の場合：０に近い負値-e_i (i=N/2+1,...,N) Ｖ₁ 入力の場合：大きな負値-E_i (i=1,2,...,N/2)

【００７５】従って、ゲートユニットＤ₂ は、演算ユニ
ットＢ₁ 〜Ｂ_N/2-1 からは、Ｖ₂ 入力の時、対応する教
師出力となる信号を、Ｖ₁ 入力の時は、ある定まった信
号を受け取る。したがって、ゲートユニットＤ₂ はＶ₂
入力の時、対応する教師出力にいくらでも近い値を、ま
た、Ｖ₁ 入力の時は、制御ユニットＣ_1,2 の出力に支配
されるので、０にいくらでも近い値を出力することがで
きる。

【００７６】このように一対の制御ユニットＣ_1,1,Ｃ
_1,2 を調整することで、図５に示すネットワークの出力
を以下のようにすることが出来る。 Ｖ₁ 入力の場合：ゲートユニットＤ₁ は、対応する教師
出力にいくらでも近い値を、ゲートユニットＤ₂ は０に
いくらでも近い値を出力する。 Ｖ₂ 入力の場合：ゲートユニットＤ₁ は０にいくらでも
近い値を、ゲートユニットＤ₂ は対応する教師出力にい
くらでも近い値を出力する。

【００７７】ネットワークの構成を完成するには、図５
のネットワークに線形の出力ユニットＥを一つ加えれば
良い。図７に完成した四層フィードフォワードニューラ
ルネットワークを示す。

【００７８】出力ユニットＥの出力を元の教師出力、t
^(k)とするためには、サブネットワークのゲートユニッ
トＤ_1,Ｄ₂ から最終の出力ユニットＥへの結合係数は(1
2)式の増幅率βに、また、出力ユニットＥのバイアス値
は0.5 βに設定すれば良い。以上より、四層フィードフ
ォワードニューラルネットワークは、合計Ｎ／２＋３個
の隠れユニットで、Ｎ個の入出力関係を任意の精度で実
現することができる。

【００７９】上記実施例では、上記構造のニューラルネ
ットワークでは、入力ベクトルデータを２群に分けた場
合について、演算ユニットの数は最大Ｎ／２−１で、入
力ベクトルデータと出力教師データとの任意の対応が実
現できることを示した。又、図１に示すニューラルネッ
トワークでは、入力ベクトルデータをＬ群に分割した場
合については、同様に、最大Ｎ／Ｌ−１個の演算ユニッ
トが存在すれば、各演算ユニットの出力値及び単位定数
を各成分とするＮ／Ｌ個の出力ベクトルを１次独立に決
定することができる。よって、Ｌ分割の場合も２分割の
実施例と同様にニューラルネットワークの結合係数とバ
イアス値を決定することができる。尚、制御ユニットに
ついては、各部分区間を隔離する超平面が２つ必要とな
るので、１つの部分空間に対して０値を出力する２個の
制御ユニットが必要となる。

【図面の簡単な説明】

【図１】本発明のニューラルネットワークを示した構造
図。

【図２】本発明のニューラルネットワークの作用を説明
する説明図。

【図３】本発明の具体的な実施例に係るニューラルネッ
トワークの基本となる三層構造のニューラルネットワー
クを示した構造図。

【図４】実施例に係るニューラルネットワークの作用を
説明するためのその構造を一部を示した構造図。

【図５】実施例に係るニューラルネットワークの作用を
説明するためのその構造を一部を示した構造図。

【図６】実施例に係るニューラルネットワークの作用を
説明するための説明図。

【図７】実施例に係るニューラルネットワークの構造を
示した構造図。

【符号の説明】

Ａ₁ 〜Ａ_M …入力ユニット Ｃ_1,1 〜Ｃ_L,2 …制御ユニット Ｂ₁ 〜Ｂ_N/L-1 …演算ユニット Ｄ₁ 〜Ｄ_L …ゲートユニット Ｅ…出力ユニット Ｓ₁ 〜Ｓ_L …超平面 Ｖ₁ 〜Ｖ_L …部分空間

Claims (7)

【特許請求の範囲】
1. 【請求項１】 Ｍ次元Ｎ個の入力ベクトルデータを入力
   層に入力させた時、出力ユニットからの出力データがＮ
   個の教師出力データに一致するフィードフォワード型ニ
   ューラルネットワークにおいて、 Ｍ個の入力ユニットを有する入力層と、 入力層に結合した第１隠れ層と、 前記第１隠れ層に結合し、Ｌ個のゲートユニットから成
   る第２隠れ層と、 第２隠れ層に結合した１個の出力ユニットから成る出力
   層とから成り、 前記第１隠れ層は、 全ての前記入力ユニットと全ての前記ゲートユニットと
   に結合した演算ユニットと、 全ての前記入力ユニットに結合し出力値を０とａ（≠
   ０）を含む０とａの間の値とする制御ユニットであっ
   て、Ｍ次元空間をＭ−１次元の超平面でＬ個の部分空間
   に分割することで、Ｎ個の入力ベクトルデータをＬ個の
   群に群別する時、前記入力ベクトルデータが超平面に対
   して一方の側に存在する時、値０又はａ又はそれらの近
   似値を、他方の側に存在する時、値ａ又は０又はそれら
   の近似値を、それぞれ、出力する一対のユニットで、前
   記各超平面に対応して、それぞれ、一対ずつ設けられた
   制御ユニットとを有し、 前記各ゲートユニットは、それぞれ、前記入力ベクトル
   データの前記Ｌ個の各群と対応し、それぞれ、そのゲー
   トユニットに対応する部分空間を隔離している超平面に
   対応した制御ユニットのうち、そのゲートユニットに対
   応した群の入力ベクトルデータが入力された時、出力値
   が０又はその近似値となる制御ユットと結合し、 前記各ゲートユニットは対応する群の入力ベクトルデー
   タに対しては正規の値を出力し、対応しない群の入力ベ
   クトルデータに対しては値０又はその近似値を出力する
   ものであり、 前記入力層、前記第１隠れ層の演算ユニット、前記第２
   隠れ層とで構成されるネットワークにおいて、前記各群
   の入力ベクトルデータが入力された時、その群に対応す
   る前記ゲートユニットの出力が正規の値となるように、
   結合係数、バイアス値が決定されていることを特徴とす
   るフィードフォワード型ニューラルネットワーク。
2. 【請求項２】 前記入力ベクトルデータの個数ＮはＬの
   倍数であり、前記演算ユニットの個数は最大個数でＮ／
   Ｌ−１個であることを特徴とする請求項１に記載のフィ
   ードフォワード型ニューラルネットワーク。
3. 【請求項３】 前記Ｌは２、前記演算ユニットの個数は
   最大個数でＮ／２−１、前記ゲートユニットの個数は
   ２、前記制御ユニットの個数は２、前記超平面の数は１
   であり、前記各制御ユニットは対応する１つのゲートユ
   ニットとのみ結合していることを特徴とする請求項１に
   記載のフィードフォワード型ニューラルネットワーク。
4. 【請求項４】 前記演算ユニットは、単調に増加又は減
   少し十分に小さい領域と十分に大きい領域で飽和した級
   数展開可能な非線形な一対一対応の関数を持ち、前記制
   御ユニットと前記ゲートユニットは、単調に増加又は減
   少し十分に小さい領域と十分に大きい領域で飽和した非
   線形な一対一対応の関数を持つことを特徴とする請求項
   １に記載のフィードフォワード型ニューラルネットワー
   ク。
5. 【請求項５】 前記入力ユニットと前記演算ユニット間
   の結合係数は異なる入力ベクトルデータに対して、前記
   各入力ユニットの各出力値と各結合係数との積の和の値
   が異なるように決定されており、前記各演算ユニットの
   バイアス値は、各群の入力ベクトルデータの入力に対し
   て出力される前記各演算ユニットの出力値及び単位定数
   を成分とする出力ベクトルの各群内において、その出力
   ベクトルが１次独立となるように決定されており、 前記各演算ユニットと前記ゲートユニット間の結合係数
   及び前記ゲートユニットのバイアス値は、そのゲートユ
   ニットに対応する群の入力ベクトルデータの組の入力に
   対して出力される前記演算ユニットの出力値及び単位定
   数を成分とする出力ベクトルデータの組とその群に対応
   する教師出力データの組に対応する前記ゲートユニット
   の出力値の組とから逆変換により決定されていることを
   特徴とする請求項４に記載のフィードフォワード型ニュ
   ーラルネットワーク。
6. 【請求項６】 前記入力ユニットと前記一対の制御ユニ
   ットの各々間の結合係数は、対応する超平面の両側に存
   在する入力ベクトルデータに対して、その一対の制御ユ
   ニットの出力値が、それぞれ、値ａ又は値０又はそれら
   の近似値となるように前記超平面の法線ベクトルの十分
   に大きな値Ｔ倍の各成分で決定され、前記制御ユニット
   のバイアス値は、前記超平面上のベクトルを入力ベクト
   ルデータとする時、その制御ユニットの出力値がａ／２
   又はその近似値となるように決定されており、 前記制御ユニットとその制御ユニットに結合している前
   記ゲートユニット間の結合係数は、その制御ユニットの
   出力値がａ又はその近似値の時、そのゲートユニットの
   出力値を他の入力にかかわらず０又はその近似値とし得
   る程に十分に絶対値の大きな値としたことを特徴とする
   請求項４に記載のフィードフォワード型ニューラルネッ
   トワーク。
7. 【請求項７】 前記ゲートユニットと前記出力ユニット
   間の結合係数は、前記ゲートユニットの出力値の範囲幅
   を前記教師出力データの範囲幅に変換する値であり、前
   記出力ユニットのバイアス値は、１つのゲートユニット
   の出力値がａ／２又はその近似値、他のゲートユニット
   の出力値が０又はその近似値の時に、前記出力ユニット
   の出力値が前記教師出力データの範囲の中間値をとるよ
   うに決定されていることを特徴とする請求項５に記載の
   フィードフォワード型ニューラルネットワーク。