JP3132027B2 - ニューラル・ネットワークの評価方法 - Google Patents
ニューラル・ネットワークの評価方法Info
- Publication number
- JP3132027B2 JP3132027B2 JP03070004A JP7000491A JP3132027B2 JP 3132027 B2 JP3132027 B2 JP 3132027B2 JP 03070004 A JP03070004 A JP 03070004A JP 7000491 A JP7000491 A JP 7000491A JP 3132027 B2 JP3132027 B2 JP 3132027B2
- Authority
- JP
- Japan
- Prior art keywords
- equation
- input
- output
- neural network
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Devices For Executing Special Programs (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ニューラル・ネットワ
ークの評価方法に係り、特に、階層型ニューラル・ネッ
トワークの入出力信号間の因果関係を明確にし、階層型
ニューラル・ネットワークの評価するに好適なニューラ
ル・ネットワークの評価方法に関する。
ークの評価方法に係り、特に、階層型ニューラル・ネッ
トワークの入出力信号間の因果関係を明確にし、階層型
ニューラル・ネットワークの評価するに好適なニューラ
ル・ネットワークの評価方法に関する。
【０００２】
【従来の技術】階層型ニューラル・ネットワークは、ニ
ューロンをモデル化したユニットの階層状結合により構
成され、入力信号を非線形変換でき、この非線形変換の
関数形を学習により構築できる特徴がある。このため、
この特徴を利用して、“ニューラル・コンピュータ”
（東京電気大学出版局、昭和６３−４）、“ニューラル
・ネットワーク情報処理”（産業図書、昭和６３−７）
に記載されているように、種々の分野への応用が試みら
れている。
ューロンをモデル化したユニットの階層状結合により構
成され、入力信号を非線形変換でき、この非線形変換の
関数形を学習により構築できる特徴がある。このため、
この特徴を利用して、“ニューラル・コンピュータ”
（東京電気大学出版局、昭和６３−４）、“ニューラル
・ネットワーク情報処理”（産業図書、昭和６３−７）
に記載されているように、種々の分野への応用が試みら
れている。
【０００３】階層型ニューラル・ネットワークの構成例
及びユニットの構成を、それぞれ図１，図２に示す。前
記非線形変換の機能は、ユニットの入出力関数ｆ（ｘ）
の非線形性に依存しており、次式で表わされる関数が一
般的に使用されている。
及びユニットの構成を、それぞれ図１，図２に示す。前
記非線形変換の機能は、ユニットの入出力関数ｆ（ｘ）
の非線形性に依存しており、次式で表わされる関数が一
般的に使用されている。
【０００４】
【数１】
【０００５】ここで、ｘ：入力 θ：しきい値 この入出力関数ｆ（ｘ）の非線形性及びネットワークの
非線形変換機能については、“ニューラル・ネットワー
クによる連続写像の近似実現について”（電子情報通信
学会技術研究報告，ＭＢＥ８８−９，１９８８−４），
“ニューラル・ネットワークのcapabilityについて”
（電子情報通信学会技術研究報告、ＭＢＥ８８−５２，
１９８８−７）に記載されているように、数学理論の面
から検討され、階層型ニューラル・ネットワークが連続
写像の実現機構としてある種の万能性を持っていること
が証明されている。
非線形変換機能については、“ニューラル・ネットワー
クによる連続写像の近似実現について”（電子情報通信
学会技術研究報告，ＭＢＥ８８−９，１９８８−４），
“ニューラル・ネットワークのcapabilityについて”
（電子情報通信学会技術研究報告、ＭＢＥ８８−５２，
１９８８−７）に記載されているように、数学理論の面
から検討され、階層型ニューラル・ネットワークが連続
写像の実現機構としてある種の万能性を持っていること
が証明されている。
【０００６】
【発明が解決しようとする課題】上記従来技術は、階層
型ニューラル・ネットワークが連続写像の実現機構とし
てある種の万能性を持っていることを証明しているが、
ある連続写像を近似する階層型ニューラル・ネットワー
クの設計について、具体的な方法を提供していない。ま
た、学習により形成されたネットワークから入出力関係
の構造を抽出するための理論的背景も与えられていな
い。このため、従来は、ネットワークは、ブラック・ボ
ックスとして扱われていた。
型ニューラル・ネットワークが連続写像の実現機構とし
てある種の万能性を持っていることを証明しているが、
ある連続写像を近似する階層型ニューラル・ネットワー
クの設計について、具体的な方法を提供していない。ま
た、学習により形成されたネットワークから入出力関係
の構造を抽出するための理論的背景も与えられていな
い。このため、従来は、ネットワークは、ブラック・ボ
ックスとして扱われていた。
【０００７】本発明の目的は、階層状に結合された夫々
のユニットの入出力関数を級数展開し、この級数展開さ
れた入出力関数の式を用い、階層型ニューラル・ネット
ワークを非線形回帰式で表し、入出力信号間の因果関係
を明瞭にし、階層型ニューラル・ネットワークを評価す
るニューラル・ネットワークの評価方法を提供すること
にある。
のユニットの入出力関数を級数展開し、この級数展開さ
れた入出力関数の式を用い、階層型ニューラル・ネット
ワークを非線形回帰式で表し、入出力信号間の因果関係
を明瞭にし、階層型ニューラル・ネットワークを評価す
るニューラル・ネットワークの評価方法を提供すること
にある。
【０００８】
【課題を解決するための手段】本発明のニューラル・ネ
ットワークの評価方法は、ニューロンをモデル化したユ
ニットの階層状結合により構成し、対象システムの入出
力特性を表す階層型ニューラル・ネットワークを評価す
るニューラル・ネットワークの評価方法において、 階層
状に結合された夫々のユニットの入出力関数を級数展開
し、この級数展開された入出力関数の式に基づき階層型
ニューラル・ネットワークの入出力信号間の因果関係を
非線形回帰式で表わし、この非線形回帰式により階層型
ニューラル・ネットワークを評価することを特徴とす
る。
ットワークの評価方法は、ニューロンをモデル化したユ
ニットの階層状結合により構成し、対象システムの入出
力特性を表す階層型ニューラル・ネットワークを評価す
るニューラル・ネットワークの評価方法において、 階層
状に結合された夫々のユニットの入出力関数を級数展開
し、この級数展開された入出力関数の式に基づき階層型
ニューラル・ネットワークの入出力信号間の因果関係を
非線形回帰式で表わし、この非線形回帰式により階層型
ニューラル・ネットワークを評価することを特徴とす
る。
【０００９】
【作用】ニューロンをモデル化したユニットの階層状結
合により構成し、対象システムの入出力特性を表す階層
型ニューラル・ネットワークを評価するニューラル・ネ
ットワークの評価方法において、階層状に結合された夫
々のユニットの入出力関数を級数展開し、この級数展開
された入出力関数の式に基づき階層型ニューラル・ネッ
トワークの入出力信号間の因果関係を非線形回帰式で表
わし、この非線形回帰式により階層型ニューラル・ネッ
トワークを評価することにより、階層状に結合された夫
々のユニットの入出力関数を級数展開し、この級数展開
された入出力関数の式を用い、階層型ニューラル・ネッ
トワークを非線形回帰式で表し、入出力信号間の因果関
係を明瞭にし、階層型ニューラル・ネットワークを評価
するニューラル・ネットワークの評価方法を提供するこ
とができる。
合により構成し、対象システムの入出力特性を表す階層
型ニューラル・ネットワークを評価するニューラル・ネ
ットワークの評価方法において、階層状に結合された夫
々のユニットの入出力関数を級数展開し、この級数展開
された入出力関数の式に基づき階層型ニューラル・ネッ
トワークの入出力信号間の因果関係を非線形回帰式で表
わし、この非線形回帰式により階層型ニューラル・ネッ
トワークを評価することにより、階層状に結合された夫
々のユニットの入出力関数を級数展開し、この級数展開
された入出力関数の式を用い、階層型ニューラル・ネッ
トワークを非線形回帰式で表し、入出力信号間の因果関
係を明瞭にし、階層型ニューラル・ネットワークを評価
するニューラル・ネットワークの評価方法を提供するこ
とができる。
【００１０】
【実施例】以下、本発明の一実施例を図３により説明す
る。本実施例は、対象システム１の入出力特性をニュー
ラル・ネットワークに学習させる学習システム２，学習
後のニューラル・ネットワークにより対象システム１の
入出力特性を推定する推定システム３，学習後のニュー
ラル・ネットワークを評価する評価システム４、から構
成される。
る。本実施例は、対象システム１の入出力特性をニュー
ラル・ネットワークに学習させる学習システム２，学習
後のニューラル・ネットワークにより対象システム１の
入出力特性を推定する推定システム３，学習後のニュー
ラル・ネットワークを評価する評価システム４、から構
成される。
【００１１】対象システム１は、プラント等のように入
力に対して出力が対応付けられるものであれば、どのよ
うなものでもよい。
力に対して出力が対応付けられるものであれば、どのよ
うなものでもよい。
【００１２】推定システム３は、階層型ニューラル・ネ
ットワークを用いて、対象システム１の入力ｘ（ベクト
ル）に対する出力ｙ（ベクトル）を推定する。この関係
は、次式で表わされる。
ットワークを用いて、対象システム１の入力ｘ（ベクト
ル）に対する出力ｙ（ベクトル）を推定する。この関係
は、次式で表わされる。
【００１３】
【数２】
【００１４】ここで、ｇ：非線形関係（ベクトル） ｙ：出力ｙの推定値（ベクトル） 階層型ニューラル・ネットワークは、図１に示すよう
に、図２に示すユニットの階層状結合により構成され
る。各層のユニットの入出力関係は、次式で表わされ
る。
に、図２に示すユニットの階層状結合により構成され
る。各層のユニットの入出力関係は、次式で表わされ
る。
【００１５】
【数３】
【００１６】
【数４】
【００１７】ここで、ｕj（ｋ）：第ｋ層の第ｊユニッ
トへの入力の総和 ｖj（ｋ）：第ｋ層の第ｊユニットの出力 ｗij（ｋ−１，ｋ）：第（ｋ−１）層の第ｉユニットか
ら第ｋ層の第ｊユニットへの結合の重み係数 ｆ：各ユニットの入出力関数を与える関数（入出力関
数） なお、第１層（入力層）の各ユニットは、ユニットの入
力と同じものを出力する。数２の非線形関数ｇの特性
は、層の個数，各層のユニットの個数、重み係数ｗ
ij（ｋ−１，ｋ）が変わると変化する。したがって、こ
れらを調整することにより、対象システム１の入出力特
性を表わす非線形関数ｇが得られる。特に、この重み係
数ｗij（ｋ−１，ｋ）の調整は、学習により実現でき
る。
トへの入力の総和 ｖj（ｋ）：第ｋ層の第ｊユニットの出力 ｗij（ｋ−１，ｋ）：第（ｋ−１）層の第ｉユニットか
ら第ｋ層の第ｊユニットへの結合の重み係数 ｆ：各ユニットの入出力関数を与える関数（入出力関
数） なお、第１層（入力層）の各ユニットは、ユニットの入
力と同じものを出力する。数２の非線形関数ｇの特性
は、層の個数，各層のユニットの個数、重み係数ｗ
ij（ｋ−１，ｋ）が変わると変化する。したがって、こ
れらを調整することにより、対象システム１の入出力特
性を表わす非線形関数ｇが得られる。特に、この重み係
数ｗij（ｋ−１，ｋ）の調整は、学習により実現でき
る。
【００１８】学習システム２は、対象システム１の入出
力特性を表わす非線形関数ｇを学習により構築する。次
に、この学習のアルゴリズムについて説明する。
力特性を表わす非線形関数ｇを学習により構築する。次
に、この学習のアルゴリズムについて説明する。
【００１９】先ず、学習用データとして入出力の組（ｘ
t，ｙt）が与えられたとき、次式に示す誤差の２乗和を
損失関数ｒとして定義する。
t，ｙt）が与えられたとき、次式に示す誤差の２乗和を
損失関数ｒとして定義する。
【００２０】
【数５】
【００２１】ここで、ｗ：ニューラル・ネットワークの
結合の重み係数をすべてまとめたもの ｖj（ｍ）（ｗ，ｘt）：入力ｘt と重みｗから総合的に
得られる第ｎ層（出力層）の第ｊユニットの出力 ｗの修正量Δｗは、損失関数ｒのｗについての勾配（gr
adient）から求められ、次式で表わされる。
結合の重み係数をすべてまとめたもの ｖj（ｍ）（ｗ，ｘt）：入力ｘt と重みｗから総合的に
得られる第ｎ層（出力層）の第ｊユニットの出力 ｗの修正量Δｗは、損失関数ｒのｗについての勾配（gr
adient）から求められ、次式で表わされる。
【００２２】
【数６】
【００２３】数６の右辺の▽r の各成分は、次式のよう
に変形できる。
に変形できる。
【００２４】
【数７】
【００２５】数７に数４を代入して整理すると、次式が
導かれる。
導かれる。
【００２６】
【数８】
【００２７】ｋ≠ｍのとき、数８の右辺の∂ｒ／∂ｕ
j(ｋ）は、次式により求められる。
j(ｋ）は、次式により求められる。
【００２８】
【数９】
【００２９】数９に数３，数４を代入して、整理すると
次式が得られる。
次式が得られる。
【００３０】
【数１０】
【００３１】ここで、ｆ′：ｆの導関数 ∂ｒ／∂ｕj(ｋ）＝ｄj(ｋ）とおくと、数６，数１０
は、次式で表わされる。
は、次式で表わされる。
【００３２】
【数１１】
【００３３】
【数１２】
【００３４】また、ｋ＝ｍのとき、∂ｒ／∂ｕj(ｍ）＝
ｄj(ｍ）は、数５より次式で求められる。
ｄj(ｍ）は、数５より次式で求められる。
【００３５】
【数１３】
【００３６】数１１，数１２，数１３を用いると、結合
の重み係数ｗij（ｋ−１，ｋ）の修正が、ｋ＝ｍからｋ
＝２に向って、再帰的に計算できる。すなわち、出力層
での理想出力と実際の出力との誤差が、出力層から入力
層の方向へ、信号の伝播と逆の方向にｗil（ｋ，ｋ＋
１）で重み付けた和をとりながら伝播していく。これ
が、誤差逆伝播学習アルゴリズムである。
の重み係数ｗij（ｋ−１，ｋ）の修正が、ｋ＝ｍからｋ
＝２に向って、再帰的に計算できる。すなわち、出力層
での理想出力と実際の出力との誤差が、出力層から入力
層の方向へ、信号の伝播と逆の方向にｗil（ｋ，ｋ＋
１）で重み付けた和をとりながら伝播していく。これ
が、誤差逆伝播学習アルゴリズムである。
【００３７】入出力関数ｆがすべてのユニットに共通
で、数１で与えられる場合、ｆ′は次式で表わされる。
で、数１で与えられる場合、ｆ′は次式で表わされる。
【００３８】
【数１４】
【００３９】数３と数１４より、次式が導かれる。
【００４０】
【数１５】
【００４１】なお、学習を滑らかに速く収束させるため
に、数１１は次式のように修正することができる。
に、数１１は次式のように修正することができる。
【００４２】
【数１６】
【００４３】ここで、α：小さな正の定数（α＝１−ε
としてもよい） ｔ：修正の回数（あるいは時刻（離散）） 評価システム４は、学習後のニューラル・ネットワーク
を評価する。すなわち、学習により対象システム１の入
出力特性を表わすニューラル・ネットワークが得られる
が、このニューラル・ネットワークを評価する。このた
めに、ユニットの入出力関数を級数展開し、この展開式
を用いて、ネットワークを非線形回帰式で表わし、この
非線形回帰式を用いて、ネットワークを評価する。以
下、これについて、詳細に説明する。なお、評価システ
ム４は、学習後のニューラル・ネットワークの解析評価
のみならずニューラル・ネットワークの設計にも利用で
きる。
としてもよい） ｔ：修正の回数（あるいは時刻（離散）） 評価システム４は、学習後のニューラル・ネットワーク
を評価する。すなわち、学習により対象システム１の入
出力特性を表わすニューラル・ネットワークが得られる
が、このニューラル・ネットワークを評価する。このた
めに、ユニットの入出力関数を級数展開し、この展開式
を用いて、ネットワークを非線形回帰式で表わし、この
非線形回帰式を用いて、ネットワークを評価する。以
下、これについて、詳細に説明する。なお、評価システ
ム４は、学習後のニューラル・ネットワークの解析評価
のみならずニューラル・ネットワークの設計にも利用で
きる。
【００４４】関数の級数展開の１つの方法として、テイ
ラー展開があり、これを利用すると、入出力関数ｆ
（ｘ）は、次式により表わされる。
ラー展開があり、これを利用すると、入出力関数ｆ
（ｘ）は、次式により表わされる。
【００４５】
【数１７】
【００４６】数１に示す入出力関数ｆ（ｘ）の導関数
は、次式で表わされ、次数が高くなると急激に式が複雑
になる。
は、次式で表わされ、次数が高くなると急激に式が複雑
になる。
【００４７】
【数１８】
【００４８】この数１８で表わされる導関数のｘ＝ｘ0
における値を数１７に代入すると、ｆ（ｘ）のテイラー
展開式が得られる。
における値を数１７に代入すると、ｆ（ｘ）のテイラー
展開式が得られる。
【００４９】上記ｆ(ｘ)のテイラー展開式の基本式は、
ｘ0 ＝０における入出力関数ｆ(ｘ)のテイラー展開式、
すなわちマクローリン展開式であり、これについて誤差
評価する。数１７にｘ0 ＝０を代入すると、次式が得ら
れる。
ｘ0 ＝０における入出力関数ｆ(ｘ)のテイラー展開式、
すなわちマクローリン展開式であり、これについて誤差
評価する。数１７にｘ0 ＝０を代入すると、次式が得ら
れる。
【００５０】
【数１９】
【００５１】また、数１８にｘ＝０を代入すると、次式
が導かれる。
が導かれる。
【００５２】
【数２０】
【００５３】この数２０を整理すると、ｘ＝０における
入出力関数ｆ（ｘ）の６次までの導関数の値は、次式で
表わされる。
入出力関数ｆ（ｘ）の６次までの導関数の値は、次式で
表わされる。
【００５４】
【数２１】
【００５５】この数２１において、しきい値θ＝０を代
入すると次式が得られる。
入すると次式が得られる。
【００５６】
【数２２】
【００５７】また、数２１において、しきい値θ＝０.
５ 及び１を代入すると次式が得られる。
５ 及び１を代入すると次式が得られる。
【００５８】
【数２３】
【００５９】
【数２４】
【００６０】数１９において、７次以上の項を省略し
て、数２２，数２３，数２４を代入すると、次式が導か
れる。
て、数２２，数２３，数２４を代入すると、次式が導か
れる。
【００６１】
【数２５】
【００６２】
【数２６】
【００６３】
【数２７】
【００６４】ここで、ｆｎ(ｘ）：ｆ(ｘ)のｎ次近似式 数２５より、しきい値θが零の場合、入出力関数ｆ
（ｘ）のｘ＝０でのテイラー展開式は、奇数次の項のみ
により表わされることが予想される。これに対して、数
２６，数２７より、しきい値θが非零の場合、このテイ
ラー展開式は、奇数次及び偶数次の項により表わされる
ことが分かる。
（ｘ）のｘ＝０でのテイラー展開式は、奇数次の項のみ
により表わされることが予想される。これに対して、数
２６，数２７より、しきい値θが非零の場合、このテイ
ラー展開式は、奇数次及び偶数次の項により表わされる
ことが分かる。
【００６５】しきい値θ＝０の場合について、入出力関
数ｆ（ｘ）のｎ次近似式ｆn(ｘ）数２５で求めた近似値
と真値との比較結果を表１及び図４に示す。この表及び
図から、ｆ（ｘ）の値がほぼ０.１〜０.９となるｘの範
囲、
数ｆ（ｘ）のｎ次近似式ｆn(ｘ）数２５で求めた近似値
と真値との比較結果を表１及び図４に示す。この表及び
図から、ｆ（ｘ）の値がほぼ０.１〜０.９となるｘの範
囲、
【００６６】
【表１】
【００６７】−２≦ｘ≦２において、近似の次数が大き
くなる程精度が良くなることが分かる。すなわち、１
次，３次，５次近似式で、それぞれ、±１２％，±５
％，±２％の誤差内の近似値が得られている。
くなる程精度が良くなることが分かる。すなわち、１
次，３次，５次近似式で、それぞれ、±１２％，±５
％，±２％の誤差内の近似値が得られている。
【００６８】また、しきい値θ＝０.５ 及び１の場合に
ついて、入出力関数ｆ（ｘ）の６次近似式ｆ6(ｘ）（数
２６及び数２７で求めた近似値と真値との比較結果を表
２、図５及び表３，図６に示す。これらの表及び図か
ら、ｘの範囲が−２≦ｘ≦２において、θ＝０.５，１
の場合の誤差が、それぞれ、±５０％，±１４０％とな
り、しきい値θが大きくなる程精度が悪くなることが分
かる。
ついて、入出力関数ｆ（ｘ）の６次近似式ｆ6(ｘ）（数
２６及び数２７で求めた近似値と真値との比較結果を表
２、図５及び表３，図６に示す。これらの表及び図か
ら、ｘの範囲が−２≦ｘ≦２において、θ＝０.５，１
の場合の誤差が、それぞれ、±５０％，±１４０％とな
り、しきい値θが大きくなる程精度が悪くなることが分
かる。
【００６９】
【表２】
【００７０】
【表３】
【００７１】次に、入出力関数ｆ（ｘ）のテイラー展開
式の特性について説明する。
式の特性について説明する。
【００７２】しきい値θが零の場合、入出力関数ｆ
（ｘ）のｘ＝０でのテイラー展開式は、奇数次の項のみ
により表わされ、しきい値θが非零の場合は、奇数次及
び偶数次の項により表わされると先に述べたが、先ず、
これについて説明する。
（ｘ）のｘ＝０でのテイラー展開式は、奇数次の項のみ
により表わされ、しきい値θが非零の場合は、奇数次及
び偶数次の項により表わされると先に述べたが、先ず、
これについて説明する。
【００７３】関数ｇ（ｘ）を次式により定義する。
【００７４】
【数２８】
【００７５】数２８に−ｘを代入すると、次式が導かれ
る。
る。
【００７６】
【数２９】
【００７７】また、数２８の両辺に−１を掛けると、次
式が得られる。
式が得られる。
【００７８】
【数３０】
【００７９】数２９，数３０より次式が成立つ。
【００８０】
【数３１】
【００８１】数３１は、関数ｇ（ｘ）が奇関数であるこ
とを示している。したがって、関数ｇ（ｘ）は、次式で
表わされる。
とを示している。したがって、関数ｇ（ｘ）は、次式で
表わされる。
【００８２】
【数３２】
【００８３】ここで、ａ2n+1：係数 一方、数１と数２８から、次式が成立つ。
【００８４】
【数３３】
【００８５】ここで、ｈ（ｘ）：入出力関数ｆ（ｘ）に
おいて、θ＝０としたときの関数この数３３に数３２を
代入すると、次式が得られる。
おいて、θ＝０としたときの関数この数３３に数３２を
代入すると、次式が得られる。
【００８６】
【数３４】
【００８７】数３４より、しきい値θが零の場合、入出
力関数ｆ（ｘ）のｘ＝０でのテイラー展開式が奇数次の
項のみにより表わされることが分かる。
力関数ｆ（ｘ）のｘ＝０でのテイラー展開式が奇数次の
項のみにより表わされることが分かる。
【００８８】次に、数２８から次式が導かれる。
【００８９】
【数３５】
【００９０】数１と数３５より、次式が得られる。
【００９１】
【数３６】
【００９２】数３６に数３２を代入すると、次式が導か
れる。
れる。
【００９３】
【数３７】
【００９４】数３７を変形すると、次式が得られる。
【００９５】
【数３８】
【００９６】ここで、ｂi ：係数（θの関数） 数３８より、しきい値θが非零の場合、入出力関数ｆ
(ｘ)のｘ＝０でのテイラー展開式が、奇数次及び偶数次
の項により表示されることが分かる。
(ｘ)のｘ＝０でのテイラー展開式が、奇数次及び偶数次
の項により表示されることが分かる。
【００９７】さらに、先に、しきい値θが零の場合、入
出力関数ｆ(ｘ)のｘ＝０でのテイラー展開式でｘの６次
の項まで使用すると、かなり精度の良い近似値が得られ
るが、しきい値θが非零の場合は、精度が悪いことが分
かった。しかし、この問題は、容易に解決できる。すな
わち、数３３と数１から次式が導かれる。
出力関数ｆ(ｘ)のｘ＝０でのテイラー展開式でｘの６次
の項まで使用すると、かなり精度の良い近似値が得られ
るが、しきい値θが非零の場合は、精度が悪いことが分
かった。しかし、この問題は、容易に解決できる。すな
わち、数３３と数１から次式が導かれる。
【００９８】
【数３９】
【００９９】数３９は、ｈ(ｘ)をθだけ平行移動する
と、ｆ(ｘ)となることを示している。したがって、しき
い値θが非零の場合、入出力関数ｆ(ｘ)のテイラー展開
式で良い精度を得るには、θ＝０の場合のｆ(ｘ)のｘ＝
０でのテイラー展開式をθだけ平行移動し、これを使用
すればよい。
と、ｆ(ｘ)となることを示している。したがって、しき
い値θが非零の場合、入出力関数ｆ(ｘ)のテイラー展開
式で良い精度を得るには、θ＝０の場合のｆ(ｘ)のｘ＝
０でのテイラー展開式をθだけ平行移動し、これを使用
すればよい。
【０１００】先に、テイラー展開式を利用して、入出力
関数ｆ(ｘ)の非線形性について検討できることを示し
た。引続いて、このテイラー展開式を利用して、階層型
ニューラル・ネットワークの非線形変換機能について検
討できることを示す。なお、階層型ネットワークのうち
で基本となるのは、３層型ネットワークであり、これを
対象にして説明する。
関数ｆ(ｘ)の非線形性について検討できることを示し
た。引続いて、このテイラー展開式を利用して、階層型
ニューラル・ネットワークの非線形変換機能について検
討できることを示す。なお、階層型ネットワークのうち
で基本となるのは、３層型ネットワークであり、これを
対象にして説明する。
【０１０１】３層型ネットワークのうちで、比較的単純
な２入力１出力のネットワークについて検討する。図７
にその構成を示す。なお、展開を簡単にするために、入
出力関数ｆ(ｘ)は、全てのユニットで同じ関数を使用す
るものとする。
な２入力１出力のネットワークについて検討する。図７
にその構成を示す。なお、展開を簡単にするために、入
出力関数ｆ(ｘ)は、全てのユニットで同じ関数を使用す
るものとする。
【０１０２】先ず、入力層のユニットの出力ｖj(１)(ｊ
＝１，２）は、ネットワークの定義より次式で与えられ
る。
＝１，２）は、ネットワークの定義より次式で与えられ
る。
【０１０３】
【数４０】
【０１０４】次に、中間層のユニットへの入力の総和ｕ
j(２)(ｊ＝１，２，３，…，Ｎ）は、次式で与えられ
る。
j(２)(ｊ＝１，２，３，…，Ｎ）は、次式で与えられ
る。
【０１０５】
【数４１】
【０１０６】また、中間層のユニットの出力ｖj(２)(ｊ
＝１，２，３，…，Ｎ）は、数３８で用いると次式で表
わされる。
＝１，２，３，…，Ｎ）は、数３８で用いると次式で表
わされる。
【０１０７】
【数４２】
【０１０８】出力層のユニットへの入力の総和ｕj(３)
(ｊ＝１）は、次式で与えられる。
(ｊ＝１）は、次式で与えられる。
【０１０９】
【数４３】
【０１１０】また、出力層のユニットの出力ｖj(３)(ｊ
＝１）は、数３８を用いると次式で表わされる。
＝１）は、数３８を用いると次式で表わされる。
【０１１１】
【数４４】
【０１１２】数４４に数４２を代入すると、次式が得ら
れる。
れる。
【０１１３】
【数４５】
【０１１４】この数４５に数４０を代入すると、ｖ
1(３）をｙと表わすと、次式が導かれる。
1(３）をｙと表わすと、次式が導かれる。
【０１１５】
【数４６】
【０１１６】数４６を展開して整理すると共に、次式が
得られる。
得られる。
【０１１７】
【数４７】
【０１１８】ここで、ｂmn：ｂi ，ｗij(ｋ,ｌ)の関数 数４７より、図７に示すニューラル・ネットワークは、
中間層のユニットの個数Ｎを増加させると、重み係数ｗ
1i(１,２)，ｗ2i(１,２)，ｗi1（２，３）(ｉ＝１，
２，３，…，Ｎ）の個数が増加して調整の自由度が増加
し、より高次で複雑な非線関数を近似できることが分か
る。
中間層のユニットの個数Ｎを増加させると、重み係数ｗ
1i(１,２)，ｗ2i(１,２)，ｗi1（２，３）(ｉ＝１，
２，３，…，Ｎ）の個数が増加して調整の自由度が増加
し、より高次で複雑な非線関数を近似できることが分か
る。
【０１１９】次に、しきい値ユニットの機能について、
ｆ(ｘ)のテイラー展開式を利用して検討できることを示
す。
ｆ(ｘ)のテイラー展開式を利用して検討できることを示
す。
【０１２０】しきい値ユニットは、常に１を出力し、階
層型ニューラル・ネットワークの各ユニットの入出力関
数のしきい値をユニット毎に変化させる機能がある。す
なわち、これによりユニット毎に入出力関数の平行移動
量を変化させることができる。このしきい値ユニットを
組込んだ２入力１出力ネットワークについて以下検討す
る。図８にその構成を示す。なお、ここでは、入力層の
しきい値ユニットは、入力の個数から除外している。ま
た、展開を簡単にするために、入出力関数ｆ(ｘ)は、全
てのユニットで同じ関数を使用するものとする。
層型ニューラル・ネットワークの各ユニットの入出力関
数のしきい値をユニット毎に変化させる機能がある。す
なわち、これによりユニット毎に入出力関数の平行移動
量を変化させることができる。このしきい値ユニットを
組込んだ２入力１出力ネットワークについて以下検討す
る。図８にその構成を示す。なお、ここでは、入力層の
しきい値ユニットは、入力の個数から除外している。ま
た、展開を簡単にするために、入出力関数ｆ(ｘ)は、全
てのユニットで同じ関数を使用するものとする。
【０１２１】先ず、入力層のユニットの出力ｖj(１)(ｊ
＝０，１，２）は、ネットワークの定義より次式で与え
られる。
＝０，１，２）は、ネットワークの定義より次式で与え
られる。
【０１２２】
【数４８】
【０１２３】次に、中間層のユニットへの入力の総和ｕ
j(２)(ｊ＝０，１，２，３,…,Ｎ）は次式で与えられ
る。
j(２)(ｊ＝０，１，２，３,…,Ｎ）は次式で与えられ
る。
【０１２４】
【数４９】
【０１２５】
【数５０】
【０１２６】このとき、中間層のユニットの出力ｖ
j(２)(ｊ＝０，１，２，３，…，Ｎ）は、数３８を用い
ると次式で表わされる。
j(２)(ｊ＝０，１，２，３，…，Ｎ）は、数３８を用い
ると次式で表わされる。
【０１２７】
【数５１】
【０１２８】また、出力層のユニットへの総和ｕj(３)
(ｊ＝１）は、次式で与えられる。
(ｊ＝１）は、次式で与えられる。
【０１２９】
【数５２】
【０１３０】このとき、出力層のユニットの出力ｖ
j(３)(ｊ＝１）は、数３８を用いると次式で表わされ
る。
j(３)(ｊ＝１）は、数３８を用いると次式で表わされ
る。
【０１３１】
【数５３】
【０１３２】数５３に数５１を代入すると、次式が得ら
れる。
れる。
【０１３３】
【数５４】
【０１３４】この数５４に数４８を代入すると共に、ｖ
1(３）をｙと表わすと、次式が導かれる。
1(３）をｙと表わすと、次式が導かれる。
【０１３５】
【数５５】
【０１３６】数５５を展開して整理すると、数４６を展
開して得られる数４７と同形の式が導かれる。この場
合、しきい値ユニットを導入したことにより、数４６よ
り数４７の方がｗ01(２,３)，ｗ0i(１,２)（ｉ＝１，
２，３，…，Ｎ）の分だけ重み係数の個数が増加し、入
出力関数のテイラー展開式を平行移動させる自由度が増
加する。これにより高次で複雑な非線形関数の近似に大
きい調整の自由度が生じて、近似精度が向上することが
分かる。
開して得られる数４７と同形の式が導かれる。この場
合、しきい値ユニットを導入したことにより、数４６よ
り数４７の方がｗ01(２,３)，ｗ0i(１,２)（ｉ＝１，
２，３，…，Ｎ）の分だけ重み係数の個数が増加し、入
出力関数のテイラー展開式を平行移動させる自由度が増
加する。これにより高次で複雑な非線形関数の近似に大
きい調整の自由度が生じて、近似精度が向上することが
分かる。
【０１３７】先に、入出力関数ｆ(ｘ)の非線形性及び階
層型ニューラル・ネットワークの非線形変換機能につい
てｆ(ｘ)のテイラー展開式を利用して検討できることを
示した。引続いて、以下の項目について説明する。
層型ニューラル・ネットワークの非線形変換機能につい
てｆ(ｘ)のテイラー展開式を利用して検討できることを
示した。引続いて、以下の項目について説明する。
【０１３８】(1）入出力関数ｆ(ｘ)の高次導関数値の簡
易導出法 (2）ニューラル・ネットワークの他の構成法 (3）ニューラル・ネットワークの構造決定の１方法 先ず、入出力関数ｆ(ｘ)の高次導関数値の簡易導出法に
ついて説明する。先に、入出力関数ｆ(ｘ)の６次までの
導関数を導出し、ｘ＝０における導関数の値を求めた。
しかしながら、導関数の次数が高くなると急激に式が複
雑になり、式の導出及び値の計算に非常に時間が掛かる
という問題がある。この問題を解決する方法について、
以下、説明する。
易導出法 (2）ニューラル・ネットワークの他の構成法 (3）ニューラル・ネットワークの構造決定の１方法 先ず、入出力関数ｆ(ｘ)の高次導関数値の簡易導出法に
ついて説明する。先に、入出力関数ｆ(ｘ)の６次までの
導関数を導出し、ｘ＝０における導関数の値を求めた。
しかしながら、導関数の次数が高くなると急激に式が複
雑になり、式の導出及び値の計算に非常に時間が掛かる
という問題がある。この問題を解決する方法について、
以下、説明する。
【０１３９】先ず、入出力関数ｆ(ｘ)において、θ＝０
のときの関数ｈ(ｘ)は、先に説明したように数３３で表
わされる。この関数ｈ(ｘ)のマクローリン展開式は、次
式で与えられる。
のときの関数ｈ(ｘ)は、先に説明したように数３３で表
わされる。この関数ｈ(ｘ)のマクローリン展開式は、次
式で与えられる。
【０１４０】
【数５６】
【０１４１】数５６は、次式のように変形できる。
【０１４２】
【数５７】
【０１４３】
【数５８】
【０１４４】また、数３３は、次式のように変形でき
る。
る。
【０１４５】
【数５９】
【０１４６】
【数６０】
【０１４７】この数６０を数５９に代入して整理する
と、次式が導かれる。
と、次式が導かれる。
【０１４８】
【数６１】
【０１４９】数５７と数６１が等しいとして整理する
と、次式が得られる。
と、次式が得られる。
【０１５０】
【数６２】
【０１５１】数６２において、両辺のｘのｎ次の係数が
一致するためには、次式が成立つ必要がある。
一致するためには、次式が成立つ必要がある。
【０１５２】
【数６３】
【０１５３】この数６３の一般化式は、次式で表わされ
る。
る。
【０１５４】
【数６４】
【０１５５】さらに数３９と数５７より、入出力関数ｆ
(ｘ)は、次式で表わされる。
(ｘ)は、次式で表わされる。
【０１５６】
【数６５】
【０１５７】数６４を用いて、ｃn （ｎ＝０，１，…，
１４）を求めると、表４に示すようになり、次数ｎが大
きくなる程係数ｃn が急速に小さくなることが分かる。
１４）を求めると、表４に示すようになり、次数ｎが大
きくなる程係数ｃn が急速に小さくなることが分かる。
【０１５８】
【表４】
【０１５９】また、これらの値を用いて、入出力関数ｆ
(ｘ)でθ＝０のときの関数ｈ(ｘ)のマクローリン展開式
数５７において、ｎ次で打切ったときの近似式、すなわ
ちｎ次近似式ｆn(ｘ）の推定値を求めると表５及び図９
に示すようになる。
(ｘ)でθ＝０のときの関数ｈ(ｘ)のマクローリン展開式
数５７において、ｎ次で打切ったときの近似式、すなわ
ちｎ次近似式ｆn(ｘ）の推定値を求めると表５及び図９
に示すようになる。
【０１６０】
【表５】
【０１６１】この表及び図から、ｆ(ｘ)の値がほぼ０.
１〜０.９となるｘの範囲、−２≦ｘ≦２において、７
次，９次，１１次，１３次近似式で、それぞれ、±０.
７８％，±０.３２％，±０.１３％，±０.０５％の誤
差内の近似値が得られることが分かる。すなわち、近似
の打切り次数が大きくなる程精度が良くなることが分か
る。ただ、ｘの範囲が、−３≦ｘ≦３の場合、７次，９
次，１１次，１３次近似式でも、それぞれ、±２２％，
±２０％，±１８％，±１６.７％ の誤差内の近似値と
なり、−２≦ｘ≦２の場合と比較して誤差がかなり大き
い。このことから、入出力関数ｆ(ｘ)は、ｘの範囲が広
がる程非線形度が急激に大きく、非常に高次の近似式で
も誤差は小さくならないことが分かる。
１〜０.９となるｘの範囲、−２≦ｘ≦２において、７
次，９次，１１次，１３次近似式で、それぞれ、±０.
７８％，±０.３２％，±０.１３％，±０.０５％の誤
差内の近似値が得られることが分かる。すなわち、近似
の打切り次数が大きくなる程精度が良くなることが分か
る。ただ、ｘの範囲が、−３≦ｘ≦３の場合、７次，９
次，１１次，１３次近似式でも、それぞれ、±２２％，
±２０％，±１８％，±１６.７％ の誤差内の近似値と
なり、−２≦ｘ≦２の場合と比較して誤差がかなり大き
い。このことから、入出力関数ｆ(ｘ)は、ｘの範囲が広
がる程非線形度が急激に大きく、非常に高次の近似式で
も誤差は小さくならないことが分かる。
【０１６２】次に、ニューラル・ネットワークの他の構
成法について、ｆ(ｘ)のテイラー展開式を利用して検討
できることを説明する。
成法について、ｆ(ｘ)のテイラー展開式を利用して検討
できることを説明する。
【０１６３】先に、図７に示す３層型ニューラル・ネッ
トワークを対象にして、非線形変換処理機能について検
討できることを説明した。
トワークを対象にして、非線形変換処理機能について検
討できることを説明した。
【０１６４】このネットワークは、入力層，中間層，出
力層からなり、それぞれの層で、線形，非線形，非線形
の変換を行っている。このため、この構成を線形−非線
形−非線形構成と呼ぶことにする。この構成は、ニュー
ラル・ネットワークの基本構成であるが、他の構成とし
て、(1）線形−非線形−線形構成，(2）線形−線形−非
線形構成も考えられる。ｆ(ｘ)のテイラー展開式を利用
すると、これらの構成についても検討できることを以下
説明する。
力層からなり、それぞれの層で、線形，非線形，非線形
の変換を行っている。このため、この構成を線形−非線
形−非線形構成と呼ぶことにする。この構成は、ニュー
ラル・ネットワークの基本構成であるが、他の構成とし
て、(1）線形−非線形−線形構成，(2）線形−線形−非
線形構成も考えられる。ｆ(ｘ)のテイラー展開式を利用
すると、これらの構成についても検討できることを以下
説明する。
【０１６５】先ず、線形−非線形−線形構成の場合であ
るが、図１０にこの線形−非線形−線形構成のニューラ
ル・ネットワークを示す。なお、入出力の個数は、２入
力１出力とする。また、展開を簡単にするために、入出
力関数ｆ(ｘ)は、全てのユニットで同じ関数を使用する
ものとする。
るが、図１０にこの線形−非線形−線形構成のニューラ
ル・ネットワークを示す。なお、入出力の個数は、２入
力１出力とする。また、展開を簡単にするために、入出
力関数ｆ(ｘ)は、全てのユニットで同じ関数を使用する
ものとする。
【０１６６】入力層のユニットの出力ｖj(１)(ｊ＝１，
２）は、図７に示す線形−非線形−線形構成と同様、数
４０で与えられ、また、中間層のユニットの入力の総和
ｕj(２)(ｊ＝１，２，３，…，Ｎ）及び出力ｖj(２)(ｊ
＝１，２，３，…，Ｎ)も、それぞれ数４１及び数４２
に与えられる。さらに、出力層のユニットへの火力の総
和ｕj(３)(ｊ＝１）も、同様に数４３で表わされる。た
だし出力層のユニットの出力ｖj(３)(ｊ＝１)は、次式
に示すように、入力の総和ｕj(３)(ｊ＝１）をそのまま
出力した値として求められる。
２）は、図７に示す線形−非線形−線形構成と同様、数
４０で与えられ、また、中間層のユニットの入力の総和
ｕj(２)(ｊ＝１，２，３，…，Ｎ）及び出力ｖj(２)(ｊ
＝１，２，３，…，Ｎ)も、それぞれ数４１及び数４２
に与えられる。さらに、出力層のユニットへの火力の総
和ｕj(３)(ｊ＝１）も、同様に数４３で表わされる。た
だし出力層のユニットの出力ｖj(３)(ｊ＝１)は、次式
に示すように、入力の総和ｕj(３)(ｊ＝１）をそのまま
出力した値として求められる。
【０１６７】
【数６６】
【０１６８】数４２を数６６に代入すると、次式が得ら
れる。
れる。
【０１６９】
【数６７】
【０１７０】数４０を数６７に代入すると共に、ｖ
1(３）をｙで表わすと、次式が導かれる。
1(３）をｙで表わすと、次式が導かれる。
【０１７１】
【数６８】
【０１７２】数６８を展開して整理すると、数４６を展
開した数４７と同形の式が得られる。これより、図１０
に示す構成の階層型ネットワークも、図７に示す線形−
非線形−非線形構成のネットワークと同様、中間層のユ
ニットの個数を増加させると、重み係数ｗ1i(１,２)，
ｗ2i(１,２)，ｗi1（２，３）(ｉ＝１，２，３，…，
Ｎ)の個数が増加して調整の自由度が増加し、より高次
で複雑な非線形関数を近似できることが分かる。ただ、
数６８より数４６の方が、非線形変換を２回行う分、よ
り非線形度の高い関数を近似できる。
開した数４７と同形の式が得られる。これより、図１０
に示す構成の階層型ネットワークも、図７に示す線形−
非線形−非線形構成のネットワークと同様、中間層のユ
ニットの個数を増加させると、重み係数ｗ1i(１,２)，
ｗ2i(１,２)，ｗi1（２，３）(ｉ＝１，２，３，…，
Ｎ)の個数が増加して調整の自由度が増加し、より高次
で複雑な非線形関数を近似できることが分かる。ただ、
数６８より数４６の方が、非線形変換を２回行う分、よ
り非線形度の高い関数を近似できる。
【０１７３】次に、線形−線形−非線形構成の場合であ
るが、図１１に線形−線形−非線形構成のニューラル・
ネットワークを示す。なお、この場合も、入出力の個数
は、２入力１出力とする。また、展開を簡単にするため
に入出力関数は、全てのユニットで同じ関数を使用する
ものとする。
るが、図１１に線形−線形−非線形構成のニューラル・
ネットワークを示す。なお、この場合も、入出力の個数
は、２入力１出力とする。また、展開を簡単にするため
に入出力関数は、全てのユニットで同じ関数を使用する
ものとする。
【０１７４】入力層のユニットの出力ｖj(１)(ｊ＝１，
２）は、図７に示す線形−非線形−非線形構成と同様、
数４０で与えられ、中間層のユニットの入力の総和ｕ
j(2)(ｊ＝１，２，３，…，Ｎ）は、数４１で与えられ
る。このとき、中間層のユニットの出力ｖj(２)(ｊ＝
１，２，３，…，Ｎ）は、次式に示すように入力の総和
ｕj(２)(ｊ＝１，２，３，…，Ｎ）をそのまま出力した
値として求められる。
２）は、図７に示す線形−非線形−非線形構成と同様、
数４０で与えられ、中間層のユニットの入力の総和ｕ
j(2)(ｊ＝１，２，３，…，Ｎ）は、数４１で与えられ
る。このとき、中間層のユニットの出力ｖj(２)(ｊ＝
１，２，３，…，Ｎ）は、次式に示すように入力の総和
ｕj(２)(ｊ＝１，２，３，…，Ｎ）をそのまま出力した
値として求められる。
【０１７５】
【数６９】
【０１７６】また、出力層のユニットへの入力層の総和
ｕj(３)(ｊ＝１）は、図７に示す線形−非線形−非線形
構成と同様数４３で与えられる。さらに、出力層のユニ
ットの出力ｖj(３)(ｊ＝１）は、同様に数４４で表わさ
れる。数６９を数４４に代入すると、次式が得られる。
ｕj(３)(ｊ＝１）は、図７に示す線形−非線形−非線形
構成と同様数４３で与えられる。さらに、出力層のユニ
ットの出力ｖj(３)(ｊ＝１）は、同様に数４４で表わさ
れる。数６９を数４４に代入すると、次式が得られる。
【０１７７】
【数７０】
【０１７８】数４０を数７０に代入すると共に、ｖ
1(３）をｙと表わすと、次式が導かれる。
1(３）をｙと表わすと、次式が導かれる。
【０１７９】
【数７１】
【０１８０】数７１は、展開して整理すると、数４６を
展開した数４７と同形の式が得られる。しかしながら、
この場合は、数４６と違って、中間層のユニットの個数
を増加させても非線形関数の近似の自由度は増加せず、
任意の高次非線形関数の近似は難しい。すなわち、数７
１は、次式のように変形できる。
展開した数４７と同形の式が得られる。しかしながら、
この場合は、数４６と違って、中間層のユニットの個数
を増加させても非線形関数の近似の自由度は増加せず、
任意の高次非線形関数の近似は難しい。すなわち、数７
１は、次式のように変形できる。
【０１８１】
【数７２】
【０１８２】
【数７３】
【０１８３】数７２のパラメータは、実質Ｗ1，Ｗ2の２
個であり、中間層のユニットの個数を２個以上にして
も、自由度はユニット１個の場合と同じである。
個であり、中間層のユニットの個数を２個以上にして
も、自由度はユニット１個の場合と同じである。
【０１８４】次に、ニューラル・ネットワークの構造決
定の１方法について、ｆ(ｘ)のテイラー展開式を利用し
て検討できることを説明する。
定の１方法について、ｆ(ｘ)のテイラー展開式を利用し
て検討できることを説明する。
【０１８５】階層型ネットワークにより実現される非線
形関数の特性は、層の個数，各層のユニットの個数，重
み係数が変わると変化する。したがって、これらを調整
することにより、目的に適合する特性を持った非線形関
数が得られる。このうち、重み係数の調整は、学習によ
り実現できる。しかしながら、層の個数，各層のユニッ
トの個数の調整は、試行錯誤的に実施している。ここで
は、これらのうち中間層のユニットの個数決定のための
１つの方法を提案する。
形関数の特性は、層の個数，各層のユニットの個数，重
み係数が変わると変化する。したがって、これらを調整
することにより、目的に適合する特性を持った非線形関
数が得られる。このうち、重み係数の調整は、学習によ
り実現できる。しかしながら、層の個数，各層のユニッ
トの個数の調整は、試行錯誤的に実施している。ここで
は、これらのうち中間層のユニットの個数決定のための
１つの方法を提案する。
【０１８６】説明を簡単にするために、図１２に示す線
形−非線形−線形構成の１入力１出力系を考える。この
とき、入力ｘと出力ｙの関係は、数６８から導かれ、次
式で表わされる。
形−非線形−線形構成の１入力１出力系を考える。この
とき、入力ｘと出力ｙの関係は、数６８から導かれ、次
式で表わされる。
【０１８７】
【数７４】
【０１８８】数７４を書下すと、次式が得られる。
【０１８９】
【数７５】
【０１９０】図１２に示すニューラル・ネットワークで
模擬する関数として、次式で表わされる関数を考える。
模擬する関数として、次式で表わされる関数を考える。
【０１９１】
【数７６】
【０１９２】ここで、ｄi ：係数 数７５と数７６を一致させるには、次式が成立つ必要が
ある。
ある。
【０１９３】
【数７７】
【０１９４】数７６で表わされる関数のｘの６次以上の
係数が零(ｄ6＝ｄ7＝ｄ8＝…＝０)の場合、数７７は、
７個の式から成る連立方程式となる。ただし、この範囲
として、入出力関数ｆ(ｘ)で６次以上の係数の影響が小
さい範囲を考える。この連立方程式は、中間層のユニッ
トの個数により未知数（重み係数）の個数が変化し、そ
れにより解決が求まるかどうかが決まる。
係数が零(ｄ6＝ｄ7＝ｄ8＝…＝０)の場合、数７７は、
７個の式から成る連立方程式となる。ただし、この範囲
として、入出力関数ｆ(ｘ)で６次以上の係数の影響が小
さい範囲を考える。この連立方程式は、中間層のユニッ
トの個数により未知数（重み係数）の個数が変化し、そ
れにより解決が求まるかどうかが決まる。
【０１９５】
【表６】
【０１９６】この関数を表６に示す。この表から分かる
よう、中間層のユニットの個数が３個以下の場合は、未
知数（重み係数）の個数が６個以下となり、式の個数よ
り未知数の個数が小さいので解は求まらない。ところ
が、中間層のユニットの個数が４個以上の場合は、未知
数（重み係数）の個数が８個以上となり、式の個数より
未知の個数が大きくなり解は求まる。ただ、未知数の個
数と式の個数の差だけ自由度があり、この差の個数分の
未知数を任意に指定できる。このことは、誤差逆伝播学
習アルゴリズムにより重み係数を決定する場合、初期値
により重み係数の収束値が異なることと対応している。
よう、中間層のユニットの個数が３個以下の場合は、未
知数（重み係数）の個数が６個以下となり、式の個数よ
り未知数の個数が小さいので解は求まらない。ところ
が、中間層のユニットの個数が４個以上の場合は、未知
数（重み係数）の個数が８個以上となり、式の個数より
未知の個数が大きくなり解は求まる。ただ、未知数の個
数と式の個数の差だけ自由度があり、この差の個数分の
未知数を任意に指定できる。このことは、誤差逆伝播学
習アルゴリズムにより重み係数を決定する場合、初期値
により重み係数の収束値が異なることと対応している。
【０１９７】
【発明の効果】本発明によると、階層状に結合された夫
々のユニットの入出力関数を級数展開し、この級数展開
された入出力関数の式を用い、階層型ニューラル・ネッ
トワークを非線形回帰式で表し、入出力信号間の因果関
係を明瞭にし、階層型ニューラル・ネットワークを評価
するニューラル・ネットワークの評価方法を提供するこ
とができるという効果を奏する。
々のユニットの入出力関数を級数展開し、この級数展開
された入出力関数の式を用い、階層型ニューラル・ネッ
トワークを非線形回帰式で表し、入出力信号間の因果関
係を明瞭にし、階層型ニューラル・ネットワークを評価
するニューラル・ネットワークの評価方法を提供するこ
とができるという効果を奏する。
【図１】階層型ニューラル・ネットワークの一例を示す
構成図である。
構成図である。
【図２】階層型ニューラル・ネットワークのユニットの
一例を示す構成図である。
一例を示す構成図である。
【図３】本発明の一実施例を示す図である。
【図４】入出力関数と近似式とを比較したグラフであ
る。
る。
【図５】他の入出力関数と近似式とを比較したグラフで
ある。
ある。
【図６】他の入出力関数と近似式とを比較したグラフで
ある。
ある。
【図７】２入力１出力の３層型ネットワークの一例を示
す構成図である。
す構成図である。
【図８】しきい値ユニットを組込んだ２入力１出力の３
層型ネットワークの一例を示す構成図である。
層型ネットワークの一例を示す構成図である。
【図９】入出力関数と近似式とを比較したグラフであ
る。
る。
【図１０】２入力１出力の３層型ネットワークの別の例
を示す構成図である。
を示す構成図である。
【図１１】２入力１出力の３層型ネットワークの別の例
を示す構成図である。
を示す構成図である。
【図１２】１入力１出力の３層型ネットワークの一例を
示す構成図である。
示す構成図である。
ｆ(ｘ)…入出力関数。
フロントページの続き (56)参考文献 電子情報通信学会技術報告 ｖｏｌ. 90 ｎｏ．280 1990年10月26日発行 ｐ７〜14、「汎関数級数表現における非 線形システムの同定精度」横田康成 他 ２名 著 (58)調査した分野(Int.Cl.7，ＤＢ名) G06G 7/60 G06F 15/18
Claims (2)
- 【請求項１】ニューロンをモデル化したユニットの階層
状結合により構成し、対象システムの入出力特性を表す
階層型ニューラル・ネットワークを評価するニューラル
・ネットワークの評価方法において、 階層状に結合された夫々のユニットの入出力関数を級数
展開し、 この級数展開された入出力関数の式に基づき階層型ニュ
ーラル・ネットワークの入出力信号間の因果関係を非線
形回帰式で表わし、この非線形回帰式により階層型ニュ
ーラル・ネットワークを評価する ことを特徴とするニュ
ーラル・ネットワークの評価方法。 - 【請求項２】 ニューロンをモデル化したユニットの階層
状結合により構成し、対象システムの入出力特性を表す
階層型ニューラル・ネットワークを評価するニューラル
・ネットワークの評価方法において、 階層状に結合された夫々のユニットの入出力関数を級数
展開し、 該夫々のユニットの入出力関数のしきい値をユニット毎
に変化させ、 この級数展開された入出力関数の式に基づき階層型ニュ
ーラル・ネットワークの入出力信号間の因果関係を非線
形回帰式で表わし、この非線形回帰式により階層型ニュ
ーラル・ネットワークを評価することを特徴とするニュ
ーラル・ネットワークの評価方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03070004A JP3132027B2 (ja) | 1991-04-02 | 1991-04-02 | ニューラル・ネットワークの評価方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03070004A JP3132027B2 (ja) | 1991-04-02 | 1991-04-02 | ニューラル・ネットワークの評価方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04305785A JPH04305785A (ja) | 1992-10-28 |
| JP3132027B2 true JP3132027B2 (ja) | 2001-02-05 |
Family
ID=13419030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03070004A Expired - Lifetime JP3132027B2 (ja) | 1991-04-02 | 1991-04-02 | ニューラル・ネットワークの評価方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3132027B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2570433A (en) * | 2017-09-25 | 2019-07-31 | Nissan Motor Mfg Uk Ltd | Machine vision system |
-
1991
- 1991-04-02 JP JP03070004A patent/JP3132027B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会技術報告 ｖｏｌ．９０ ｎｏ．２８０ １９９０年１０月２６日発行 ｐ７〜１４、「汎関数級数表現における非線形システムの同定精度」横田康成 他２名 著 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04305785A (ja) | 1992-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tutunji | Parametric system identification using neural networks | |
| CN111967679A (zh) | 基于tcn模型的电离层总电子含量预报方法 | |
| JP2747104B2 (ja) | ニューラルネットワーク | |
| Pei et al. | Analysis and modification of Volterra/Wiener neural networks for the adaptive identification of non-linear hysteretic dynamic systems | |
| Nayak et al. | Comparison of modified teaching–learning-based optimization and extreme learning machine for classification of multiple power signal disturbances | |
| Asady et al. | Utilizing artificial neural network approach for solving two-dimensional integral equations | |
| Löhner et al. | Deep learning or interpolation for inverse modelling of heat and fluid flow problems? | |
| Postavaru | An efficient numerical method based on Fibonacci polynomials to solve fractional differential equations | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| JP3132027B2 (ja) | ニューラル・ネットワークの評価方法 | |
| JP2862337B2 (ja) | ニューラルネットワークの構築方法 | |
| JPH05197701A (ja) | ニューラルネットワークを用いた情報処理装置 | |
| CN115481816A (zh) | 基于互补集成经验模分解的时空卷积短时交通流预测方法 | |
| CN113283986B (zh) | 算法交易系统及基于该系统的算法交易模型的训练方法 | |
| Wang et al. | A Hammerstein-Wiener recurrent neural network with universal approximation capability | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| Xia et al. | Echo state networks for multidimensional data: Exploiting noncircularity and widely linear models | |
| CN114548400A (zh) | 一种快速灵活全纯嵌入式神经网络广域寻优训练方法 | |
| Kanaan et al. | Nonlinear time-domain macromodeling using proper orthogonal decomposition and feedforward neural networks | |
| Kuroe et al. | A learning method of nonlinear mappings by neural networks with considering their derivatives | |
| Belfore et al. | ANN inverse mapping technique applied to electromagnetic design | |
| Adhira et al. | Exponential extended dissipative performance for delayed discrete-time neural networks under memoryless resilient-based observer design | |
| Vai | A massively parallel reverse modeling approach for semiconductor devices and circuits | |
| CN114492212B (zh) | 低压配电网动态增容方法、装置、终端及存储介质 | |
| Krusienski et al. | Comparative analysis of neural network filters and adaptive Volterra filters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071124 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081124 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081124 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091124 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 11 |