JPH05197701A - ニューラルネットワークを用いた情報処理装置 - Google Patents
ニューラルネットワークを用いた情報処理装置Info
- Publication number
- JPH05197701A JPH05197701A JP4008746A JP874692A JPH05197701A JP H05197701 A JPH05197701 A JP H05197701A JP 4008746 A JP4008746 A JP 4008746A JP 874692 A JP874692 A JP 874692A JP H05197701 A JPH05197701 A JP H05197701A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- output
- function
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】ニューラルネットワーク内でのデータ表現を直
観的に解析でき、同時にニューラルネットワークの学習
に必要な処理時間を短縮できる階層型ニューラルネット
ワークを用いた情報処理装置を提供する。 【構成】入力層１、この入力層１に結合する中間層２、
この中間層２に結合する出力層３とからなり、各層がそ
れぞれ少なくとも１つ以上のユニットを有し、各層間で
各ユニットが相互に結合してなる階層型ニューラルネッ
トワークにおいて、中間層２及び出力層３における各ユ
ニットの入出力特性を表す入出力関数として、微分が可
能な任意の関数を用いるよう構成する。
観的に解析でき、同時にニューラルネットワークの学習
に必要な処理時間を短縮できる階層型ニューラルネット
ワークを用いた情報処理装置を提供する。 【構成】入力層１、この入力層１に結合する中間層２、
この中間層２に結合する出力層３とからなり、各層がそ
れぞれ少なくとも１つ以上のユニットを有し、各層間で
各ユニットが相互に結合してなる階層型ニューラルネッ
トワークにおいて、中間層２及び出力層３における各ユ
ニットの入出力特性を表す入出力関数として、微分が可
能な任意の関数を用いるよう構成する。
Description
【０００１】
【産業上の利用分野】本発明は、入力層、中間層及び出
力層からなる階層型ニューラルネットワークを用いた情
報処理装置に関する。
力層からなる階層型ニューラルネットワークを用いた情
報処理装置に関する。
【０００２】
【従来の技術】近年、コンピュータの処理能力が高度化
するにつれて、その情報処理機能を人間の頭脳活動に近
づけたいという要求が高まっている。その有望な手段の
１つとして、脳の情報処理機能を模倣したニューラルネ
ットワークを適用することが注目されている。
するにつれて、その情報処理機能を人間の頭脳活動に近
づけたいという要求が高まっている。その有望な手段の
１つとして、脳の情報処理機能を模倣したニューラルネ
ットワークを適用することが注目されている。
【０００３】このニューラルネットワークを用いれば、
従来のノイマン型コンピューターでは困難であった柔軟
な情報処理を行えることが知られており、これまでに様
々な形式のニューラルネットワークが提案されている。
このうち特に情報の伝達方向を１方向に限定した階層型
ニューラルネットワークは、入力層，中間層，出力層の
間で相互に結合し、各層のそれぞれに少なくとも１つ以
上のユニットを有している。階層型ニューラルネットワ
ークは、その特徴である学習能力や汎化能力を利用し
て、ロボット制御や知的情報処理など様々な分野への応
用例が報告されている。
従来のノイマン型コンピューターでは困難であった柔軟
な情報処理を行えることが知られており、これまでに様
々な形式のニューラルネットワークが提案されている。
このうち特に情報の伝達方向を１方向に限定した階層型
ニューラルネットワークは、入力層，中間層，出力層の
間で相互に結合し、各層のそれぞれに少なくとも１つ以
上のユニットを有している。階層型ニューラルネットワ
ークは、その特徴である学習能力や汎化能力を利用し
て、ロボット制御や知的情報処理など様々な分野への応
用例が報告されている。
【０００４】このように、従来提案されていた階層型ニ
ューラルネットワークは、生物の神経細胞を模倣して作
られていたため、各層の各ユニットの入出力特性を表す
入出力関数として図１２に示すようなシグモイド関数あ
るいは図示しない階段関数が用いられていた。
ューラルネットワークは、生物の神経細胞を模倣して作
られていたため、各層の各ユニットの入出力特性を表す
入出力関数として図１２に示すようなシグモイド関数あ
るいは図示しない階段関数が用いられていた。
【０００５】
【発明が解決しようとする課題】しかしながら、各層の
各ユニットの入出力関数としてシグモイド関数や階段関
数を用いたニューラルネットワークにあっては、学習に
多くの時間を要していた。
各ユニットの入出力関数としてシグモイド関数や階段関
数を用いたニューラルネットワークにあっては、学習に
多くの時間を要していた。
【０００６】また、これまでに提案されている階層型ニ
ューラルネットワークは、与えられた教師データがニュ
ーラルネットワークの内部でどのように表現されている
かがわかりにくいという問題があった。この原因の１つ
には、各層の各ユニットの入出力特性を表す入出力関数
として、すべて同じ特性を持つシグモイド関数が用いら
れているということが挙げられる。
ューラルネットワークは、与えられた教師データがニュ
ーラルネットワークの内部でどのように表現されている
かがわかりにくいという問題があった。この原因の１つ
には、各層の各ユニットの入出力特性を表す入出力関数
として、すべて同じ特性を持つシグモイド関数が用いら
れているということが挙げられる。
【０００７】例えば、出力層の各ユニットでは、中間層
の各ユニットからの入力をたし合わせた後、再度シグモ
イド関数に入力しているため、中間層の各ユニットの出
力の持つ意味が非常にわかりにくくなっていた。
の各ユニットからの入力をたし合わせた後、再度シグモ
イド関数に入力しているため、中間層の各ユニットの出
力の持つ意味が非常にわかりにくくなっていた。
【０００８】このため、これらはニューラルネットワー
クを工学の分野で利用する上で大きな問題となってい
た。本発明は、ニューラルネットワーク内でのデータ表
現を直観的に解析でき、同時にニューラルネットワーク
の学習に必要な処理時間を短縮できる階層型ニューラル
ネットワークを用いた情報処理装置を提供することにあ
る。
クを工学の分野で利用する上で大きな問題となってい
た。本発明は、ニューラルネットワーク内でのデータ表
現を直観的に解析でき、同時にニューラルネットワーク
の学習に必要な処理時間を短縮できる階層型ニューラル
ネットワークを用いた情報処理装置を提供することにあ
る。
【０００９】
【課題を解決するための手段】本発明は、上記課題を達
成すべく次のような構成とした。図１は本発明の原理図
である。本発明は、入力層１、この入力層１に結合する
中間層２、この中間層２に結合する出力層３とからな
り、各層がそれぞれ少なくとも１つ以上のユニットを有
し、各層間で各ユニットが相互に結合してなる階層型ニ
ューラルネットワークにおいて、中間層２及び出力層３
における各ユニットの入出力特性を表す入出力関数とし
て、微分が可能な任意の関数を用いるよう構成する。
成すべく次のような構成とした。図１は本発明の原理図
である。本発明は、入力層１、この入力層１に結合する
中間層２、この中間層２に結合する出力層３とからな
り、各層がそれぞれ少なくとも１つ以上のユニットを有
し、各層間で各ユニットが相互に結合してなる階層型ニ
ューラルネットワークにおいて、中間層２及び出力層３
における各ユニットの入出力特性を表す入出力関数とし
て、微分が可能な任意の関数を用いるよう構成する。
【００１０】より好適には、以下のようにするのが望ま
しい。すなわち、ニューラルネットワークに一般化デル
タルールを適用し、入力層１及び出力層３の各ユニット
に与えられる教師データ点列に応じて、各層間の結合の
重み，各ユニットのオフセット値の少なくともいずれか
一方を調節するよう構成する。
しい。すなわち、ニューラルネットワークに一般化デル
タルールを適用し、入力層１及び出力層３の各ユニット
に与えられる教師データ点列に応じて、各層間の結合の
重み，各ユニットのオフセット値の少なくともいずれか
一方を調節するよう構成する。
【００１１】また、中間層２の各ユニットの入出力関数
として三角関数を用い、出力層３の入出力関数として線
形和関数を用いるよう構成する。さらに、入力層１と中
間層２との間の結合の重みを固定し、入力層１及び出力
層３の各ユニットに与えられる教師データに応じて、中
間層２の各ユニットにおける三角関数のオフセット値及
び出力層３の各ユニットにおけるゲイン及びオフセット
値を調節することにより、教師データのフーリエ変換を
行うように構成する。
として三角関数を用い、出力層３の入出力関数として線
形和関数を用いるよう構成する。さらに、入力層１と中
間層２との間の結合の重みを固定し、入力層１及び出力
層３の各ユニットに与えられる教師データに応じて、中
間層２の各ユニットにおける三角関数のオフセット値及
び出力層３の各ユニットにおけるゲイン及びオフセット
値を調節することにより、教師データのフーリエ変換を
行うように構成する。
【００１２】さらに、中間層２，出力層３のいずれか少
なくとも一方のユニットにおける入出力関数として、三
角関数を用いるよう構成する。また、中間層２，出力層
３のいずれか少なくとも一方のユニットにおける入出力
関数として、線形和関数を用いるよう構成する。
なくとも一方のユニットにおける入出力関数として、三
角関数を用いるよう構成する。また、中間層２，出力層
３のいずれか少なくとも一方のユニットにおける入出力
関数として、線形和関数を用いるよう構成する。
【００１３】さらには、中間層２、出力層３のいずれか
少なくとも一方のユニットにおける入出力関数として、
微分可能な任意のｎ次関数、微分可能な任意の指数関
数、微分可能な任意の対数関数を用いるよう構成する。
少なくとも一方のユニットにおける入出力関数として、
微分可能な任意のｎ次関数、微分可能な任意の指数関
数、微分可能な任意の対数関数を用いるよう構成する。
【００１４】
【作用】本発明によれば、中間層及び出力層の各ユニッ
トにおいて任意の微分が可能な入出力関数を選ぶことに
より、ニューラルネットワークの内部のデータ表現を直
観的に理解することができる。
トにおいて任意の微分が可能な入出力関数を選ぶことに
より、ニューラルネットワークの内部のデータ表現を直
観的に理解することができる。
【００１５】ニューラルネットワークに一般化デルタル
ールを適用し、入力層及び出力層の各ユニットに与えら
れる教師データ点列に応じて、各層間の結合の重み，各
ユニットのオフセット値の少なくともいずれか一方を調
節すれば、教師データ点列をフーリエ変換した場合の周
波数成分とオフセット値及びゲインを求めることと等価
になる。
ールを適用し、入力層及び出力層の各ユニットに与えら
れる教師データ点列に応じて、各層間の結合の重み，各
ユニットのオフセット値の少なくともいずれか一方を調
節すれば、教師データ点列をフーリエ変換した場合の周
波数成分とオフセット値及びゲインを求めることと等価
になる。
【００１６】また、中間層の各ユニットの入出力関数と
して三角関数を用い、出力層の入出力関数として線形和
関数を用いれば、出力層の出力は周期関数のフーリエ変
換式と同様となり、データ表現が直感的に理解できる。
して三角関数を用い、出力層の入出力関数として線形和
関数を用いれば、出力層の出力は周期関数のフーリエ変
換式と同様となり、データ表現が直感的に理解できる。
【００１７】さらに、入力層と中間層との間の結合の重
みを固定し、入力層及び出力層の各ユニットに与えられ
る教師データに応じて、中間層の各ユニットにおける三
角関数のオフセット値及び出力層の各ユニットにおける
ゲイン及びオフセット値を調節して、教師データのフー
リエ変換を行うので、フーリエ級数展開した場合の係数
を求めることができる。
みを固定し、入力層及び出力層の各ユニットに与えられ
る教師データに応じて、中間層の各ユニットにおける三
角関数のオフセット値及び出力層の各ユニットにおける
ゲイン及びオフセット値を調節して、教師データのフー
リエ変換を行うので、フーリエ級数展開した場合の係数
を求めることができる。
【００１８】また、ニューラルネットワークの中間層及
び出力層のそれぞれのユニットに、三角関数、線形和関
数、微分可能なｎ次関数、指数関数、対数関数などを適
当に用いるので、ニューラルネット内部でのデータ表現
を直観的に解析でき、例えば中間層の各ユニットの入出
力関数として三角関数を用いた場合には、ニューラルネ
ットワークの出力は、異なる周波数成分を持つ三角関数
の重ね合わせとして捉えることができる。
び出力層のそれぞれのユニットに、三角関数、線形和関
数、微分可能なｎ次関数、指数関数、対数関数などを適
当に用いるので、ニューラルネット内部でのデータ表現
を直観的に解析でき、例えば中間層の各ユニットの入出
力関数として三角関数を用いた場合には、ニューラルネ
ットワークの出力は、異なる周波数成分を持つ三角関数
の重ね合わせとして捉えることができる。
【００１９】また中間層の出力を見ることにより、与え
られた教師データ点列を表現するのに必要な中間層ユニ
ット数を容易に知ることができ、学習のための計算時間
を短縮することができる。
られた教師データ点列を表現するのに必要な中間層ユニ
ット数を容易に知ることができ、学習のための計算時間
を短縮することができる。
【００２０】
【実施例】次に本発明の具体的な実施例を説明する。図
２は本発明の実施例１の構成図である。図３は中間層の
入出力関数としての正弦関数を示す図、図４は出力層の
入出力関数としての線形和関数を示す図である。
２は本発明の実施例１の構成図である。図３は中間層の
入出力関数としての正弦関数を示す図、図４は出力層の
入出力関数としての線形和関数を示す図である。
【００２１】図２に示すように階層型ニューラルネット
ワークは、入力層１、この入力層１に結合する中間層
２、この中間層２に結合する出力層３からなる。入力層
１は１個のユニットからなり、中間層２は、ｎ個のユニ
ット２−１〜２−ｎを有しており、各ユニット２−１〜
２−ｎの入力側が入力層１に接続されている。各ユニッ
ト２−１〜２−ｎの出力側は１個のユニットからなる出
力層３に接続されている。なお、各層内でのユニット間
での結合はない。
ワークは、入力層１、この入力層１に結合する中間層
２、この中間層２に結合する出力層３からなる。入力層
１は１個のユニットからなり、中間層２は、ｎ個のユニ
ット２−１〜２−ｎを有しており、各ユニット２−１〜
２−ｎの入力側が入力層１に接続されている。各ユニッ
ト２−１〜２−ｎの出力側は１個のユニットからなる出
力層３に接続されている。なお、各層内でのユニット間
での結合はない。
【００２２】図３に示すように中間層２の各ユニット２
−１〜２−ｎの入出力特性を表す入出力関数として正弦
関数を用い、図４に示すように出力層３の入出力関数と
して傾き１の線形和関数を用いた場合について説明す
る。
−１〜２−ｎの入出力特性を表す入出力関数として正弦
関数を用い、図４に示すように出力層３の入出力関数と
して傾き１の線形和関数を用いた場合について説明す
る。
【００２３】図２において、ニューラルネットワークへ
の入力をｕとし、中間層２のｉ番目のユニット２−ｉの
出力をＸｉ（ｉ＝１〜ｎ）とし、ニューラルネットワー
クの出力をｏとすると、各層において次式が成り立つ。
の入力をｕとし、中間層２のｉ番目のユニット２−ｉの
出力をＸｉ（ｉ＝１〜ｎ）とし、ニューラルネットワー
クの出力をｏとすると、各層において次式が成り立つ。
【００２４】
【数１】
【数２】
【００２５】ただし、ω1iは、入力層１と中間層２との
間の結合の重みであり、ω2iは、中間層２と出力層３と
の間の結合の重みである。θHiは、中間層２におけるし
きい値であり、θ0は、出力層３におけるしきい値であ
る。
間の結合の重みであり、ω2iは、中間層２と出力層３と
の間の結合の重みである。θHiは、中間層２におけるし
きい値であり、θ0は、出力層３におけるしきい値であ
る。
【００２６】ここで式（１）は周期関数のフーリエ変換
式
式
【数３】 と同様の形式である。従って、このニューラルネットワ
ークにおいて中間層２の各ユニット２−１〜２−ｎにお
ける出力は、様々な周波数を持つ正弦波を示しており、
出力層ユニットでそれらを足し合わせることにより与え
られた関数を表現していることが直観的に理解できる。
ークにおいて中間層２の各ユニット２−１〜２−ｎにお
ける出力は、様々な周波数を持つ正弦波を示しており、
出力層ユニットでそれらを足し合わせることにより与え
られた関数を表現していることが直観的に理解できる。
【００２７】次に与えた教師データをｏｔとし、このニ
ューラルネットワークに一般化デルタルールを適用する
と、次のようになる。
ューラルネットワークに一般化デルタルールを適用する
と、次のようになる。
【００２８】
【数４】
【数５】
【数６】
【数７】
【００２９】δoは、デルタ係数であり、ε1，ε2は係
数である。これらを用いて、各層間の結合の重みω1i，
ω2iや各ユニットのしきい値θHiを調節することは、与
えられた教師データ点列をフーリエ変換した場合におけ
る周波数成分とオフセット値、及びゲイン（利得）を求
めることと等価である。
数である。これらを用いて、各層間の結合の重みω1i，
ω2iや各ユニットのしきい値θHiを調節することは、与
えられた教師データ点列をフーリエ変換した場合におけ
る周波数成分とオフセット値、及びゲイン（利得）を求
めることと等価である。
【００３０】またこのニューラルネットワークにおいて
入力層１と中間層２との間の重みω 1iを固定し、入力層
１と中間層２との間のしきい値θHiや中間層２と出力層
３との間の結合の重みω2iやしきい値θ0を、教師デー
タを用いて学習させる。そうすると、与えられた周期関
数を、フーリエ級数展開した場合の係数を求めることが
できる。
入力層１と中間層２との間の重みω 1iを固定し、入力層
１と中間層２との間のしきい値θHiや中間層２と出力層
３との間の結合の重みω2iやしきい値θ0を、教師デー
タを用いて学習させる。そうすると、与えられた周期関
数を、フーリエ級数展開した場合の係数を求めることが
できる。
【００３１】従って、このニューラルネットワークを、
フーリエ級数展開を自動的に行う処理装置として、取り
扱うこともできる。なお、ニューラルネットワークによ
り結合の重みやしきい値の学習を行なうには、ＢＰ（バ
ックプロパゲーション，誤差逆伝播）法を用いる。判断
が入力層から出力層への信号伝播だとしたら、ＢＰによ
る学習は、出力層での誤差を入力層へ向かって伝播させ
ることで達成される。
フーリエ級数展開を自動的に行う処理装置として、取り
扱うこともできる。なお、ニューラルネットワークによ
り結合の重みやしきい値の学習を行なうには、ＢＰ（バ
ックプロパゲーション，誤差逆伝播）法を用いる。判断
が入力層から出力層への信号伝播だとしたら、ＢＰによ
る学習は、出力層での誤差を入力層へ向かって伝播させ
ることで達成される。
【００３２】ニューラルネットワークでの学習は、ネッ
トワークの重みを変えることである。ある入力データを
与えた時の実際の出力値と、教師データとしての望まし
い出力値の平均２乗誤差をとる。この誤差を学習データ
として入力層１のほうへ伝播させながら、誤差を減らす
ようにネットワーク中のすべての結合の重みを変える。
そして学習は、すべての学習データについて誤差の２乗
平均がある設定値以下となるまで繰り返し行われ、学習
が収束する。
トワークの重みを変えることである。ある入力データを
与えた時の実際の出力値と、教師データとしての望まし
い出力値の平均２乗誤差をとる。この誤差を学習データ
として入力層１のほうへ伝播させながら、誤差を減らす
ようにネットワーク中のすべての結合の重みを変える。
そして学習は、すべての学習データについて誤差の２乗
平均がある設定値以下となるまで繰り返し行われ、学習
が収束する。
【００３３】次に実施例の実験結果を説明する。入出力
関数として、中間層２の各ユニットに正弦関数を用い、
出力層３に線形和関数を用いたニューラルネットワーク
において、ランダムに定められた９つの点を教師データ
点列とし、ニューラルネットワークに学習させる実験を
行った。
関数として、中間層２の各ユニットに正弦関数を用い、
出力層３に線形和関数を用いたニューラルネットワーク
において、ランダムに定められた９つの点を教師データ
点列とし、ニューラルネットワークに学習させる実験を
行った。
【００３４】図５は実施例のニューラルネットワークを
用いて学習した実験結果を示す図、図６は従来のニュー
ラルネットを用いて学習した実験結果を示す図である。
なお、それぞれの中間層２のユニット数は１３個であ
る。
用いて学習した実験結果を示す図、図６は従来のニュー
ラルネットを用いて学習した実験結果を示す図である。
なお、それぞれの中間層２のユニット数は１３個であ
る。
【００３５】図５（ａ）及び図６（ａ）は、学習が終了
した時のニューラルネットワークの出力を示しており、
図中の○印は教師データとして与えたデータ点列を示し
ている。図５（ｂ）及び図６（ｂ）は、中間層２の１３
個の各ユニットからの出力を示しており、図５（ｃ）及
び図６（ｃ）は、出力誤差の二乗平均値を示している。
図５（ｄ）及び図６（ｄ）は、中間層２の各ユニットか
ら出力層３のユニットへの入力信号を示している。この
入力信号は、中間層２の各ユニットからの出力Ｘｉに、
中間層２と出力層３との間の結合の重みω2iを掛け合わ
せたものである。
した時のニューラルネットワークの出力を示しており、
図中の○印は教師データとして与えたデータ点列を示し
ている。図５（ｂ）及び図６（ｂ）は、中間層２の１３
個の各ユニットからの出力を示しており、図５（ｃ）及
び図６（ｃ）は、出力誤差の二乗平均値を示している。
図５（ｄ）及び図６（ｄ）は、中間層２の各ユニットか
ら出力層３のユニットへの入力信号を示している。この
入力信号は、中間層２の各ユニットからの出力Ｘｉに、
中間層２と出力層３との間の結合の重みω2iを掛け合わ
せたものである。
【００３６】図５（ａ）及び図６（ａ）に示すように、
双方のニューラルネットワークともに、教師データとし
て与えられた９つの点列を通る曲線を出力している。ま
た、図６（ｃ）に示すように、学習の様子を見ると、従
来のニューラルネットワークでは、すべての教師データ
の学習には３４００回の繰り返し計算が必要である。
双方のニューラルネットワークともに、教師データとし
て与えられた９つの点列を通る曲線を出力している。ま
た、図６（ｃ）に示すように、学習の様子を見ると、従
来のニューラルネットワークでは、すべての教師データ
の学習には３４００回の繰り返し計算が必要である。
【００３７】これに対し、図５（ｃ）に示す本実施例で
は、全ての教師データの学習に１２００回の繰り返し計
算を行えばよく、従来の約１／３の繰り返し回数で済む
ことがわかった。
は、全ての教師データの学習に１２００回の繰り返し計
算を行えばよく、従来の約１／３の繰り返し回数で済む
ことがわかった。
【００３８】また、図５（ｂ）及び図６（ｂ）の中間層
２の各ユニットの出力を見ると、いくつかのユニットで
は、正弦波の周波数成分である入力層１と中間層２との
間の結合の重みω1iが小さくなり、その出力があまり変
化していないことがわかる。
２の各ユニットの出力を見ると、いくつかのユニットで
は、正弦波の周波数成分である入力層１と中間層２との
間の結合の重みω1iが小さくなり、その出力があまり変
化していないことがわかる。
【００３９】そこで、このようなあまり出力の変化して
いない中間層２のユニットが存在しなくなるまで、中間
層２のユニットの個数を減らしていく。これにより、与
えられた教師データを表現するのに必要な中間層２ユニ
ットの最小個数を容易に知ることができる。この方法で
先程と同じ教師データ点列（９つの点）について必要な
中間層ユニットの個数を調べた結果、５個のユニットが
あれば、この教師データを表現できることがわかった。
そのときの実験結果を図７に示す。図７（ｂ）に示すよ
うに中間層２の５個のユニットの出力により、図７
（ａ）に示す９つの教師データを表現できる。図７
（ｃ）に示す出力誤差の二乗平均値は図５（ｃ）に示す
ものとほぼ同様である。図７（ｄ）は、中間層２の各ユ
ニットから出力層３のユニットへの入力信号を示す。
いない中間層２のユニットが存在しなくなるまで、中間
層２のユニットの個数を減らしていく。これにより、与
えられた教師データを表現するのに必要な中間層２ユニ
ットの最小個数を容易に知ることができる。この方法で
先程と同じ教師データ点列（９つの点）について必要な
中間層ユニットの個数を調べた結果、５個のユニットが
あれば、この教師データを表現できることがわかった。
そのときの実験結果を図７に示す。図７（ｂ）に示すよ
うに中間層２の５個のユニットの出力により、図７
（ａ）に示す９つの教師データを表現できる。図７
（ｃ）に示す出力誤差の二乗平均値は図５（ｃ）に示す
ものとほぼ同様である。図７（ｄ）は、中間層２の各ユ
ニットから出力層３のユニットへの入力信号を示す。
【００４０】これによりすべての中間層２のユニットが
ほぼ均等に使われており、しかも学習回数もそれほど増
えていないことがわかる。また、図８に示す例は、中間
層２の入出力関数に二次関数を用い、出力層３の入出力
関数にシグモイド関数を用いた場合である。
ほぼ均等に使われており、しかも学習回数もそれほど増
えていないことがわかる。また、図８に示す例は、中間
層２の入出力関数に二次関数を用い、出力層３の入出力
関数にシグモイド関数を用いた場合である。
【００４１】図９に示す例は、中間層２の入出力関数に
底をｅとする指数関数を用い、出力層３の入出力関数に
シグモイド関数を用いた場合である。図１０に示す例
は、出力層３の入出力関数に底をｅとする対数関数を用
い、出力層３の入出力関数にシグモイド関数を用いた場
合である。
底をｅとする指数関数を用い、出力層３の入出力関数に
シグモイド関数を用いた場合である。図１０に示す例
は、出力層３の入出力関数に底をｅとする対数関数を用
い、出力層３の入出力関数にシグモイド関数を用いた場
合である。
【００４２】このように中間層２及び出力層３の各ユニ
ットにおいて三角関数、線形和関数、微分可能な任意の
ｎ次関数、指数関数、対数関数など適切な入出力関数を
選ぶことにより、ニューラルネットワークの内部のデー
タ表現を直観的に理解することができる。
ットにおいて三角関数、線形和関数、微分可能な任意の
ｎ次関数、指数関数、対数関数など適切な入出力関数を
選ぶことにより、ニューラルネットワークの内部のデー
タ表現を直観的に理解することができる。
【００４３】また、中間層２のユニット数を最適化する
ことにより、従来のネットワークに比べて、計算時間を
大幅に短縮することができる。図１１は本発明の実施例
２の構成ブロック図である。実施例２は、複数のユニッ
ト１−１〜１−ｎからなる入力層１、複数のユニット２
−１〜２−ｎからなる中間層２，複数のユニット３−１
〜３−ｎからなる出力層３からなっている。
ことにより、従来のネットワークに比べて、計算時間を
大幅に短縮することができる。図１１は本発明の実施例
２の構成ブロック図である。実施例２は、複数のユニッ
ト１−１〜１−ｎからなる入力層１、複数のユニット２
−１〜２−ｎからなる中間層２，複数のユニット３−１
〜３−ｎからなる出力層３からなっている。
【００４４】中間層２の各ユニット２−１〜２−ｎは、
入力層１のすべてのユニット１−１〜１−ｎと結合して
いる。出力層３の各ユニット３−１〜３−ｎは、中間層
２のすべてのユニット２−１〜２−ｎと結合している。
なお、各層内でのユニット間での結合はない。
入力層１のすべてのユニット１−１〜１−ｎと結合して
いる。出力層３の各ユニット３−１〜３−ｎは、中間層
２のすべてのユニット２−１〜２−ｎと結合している。
なお、各層内でのユニット間での結合はない。
【００４５】このように構成された実施例２にあって
も、出力層のあるユニットでは、中間層の各ユニットの
和を求めるから、中間層２に例えば三角関数を用い、出
力層３に線形和関数を用いれば、実施例１と同様の効果
を奏することができる。
も、出力層のあるユニットでは、中間層の各ユニットの
和を求めるから、中間層２に例えば三角関数を用い、出
力層３に線形和関数を用いれば、実施例１と同様の効果
を奏することができる。
【００４６】
【発明の効果】本発明によれば、中間層及び出力層の各
ユニットにおいて任意の微分が可能な入出力関数を選ぶ
ことにより、ニューラルネットワークの内部のデータ表
現を直観的に理解することができる。
ユニットにおいて任意の微分が可能な入出力関数を選ぶ
ことにより、ニューラルネットワークの内部のデータ表
現を直観的に理解することができる。
【００４７】また、中間層の各ユニットの入出力関数と
して三角関数を用い、出力層のユニットに線形和関数を
用いた場合には、ニューラルネットワークの出力は、異
なる周波数成分を持つ三角関数の重ね合わせとして捉え
ることができる。
して三角関数を用い、出力層のユニットに線形和関数を
用いた場合には、ニューラルネットワークの出力は、異
なる周波数成分を持つ三角関数の重ね合わせとして捉え
ることができる。
【００４８】また中間層の出力を見ることにより、与え
られた教師データ点列を表現するのに必要な中間層ユニ
ット数を容易に知ることができ、さらには計算時間を短
縮することができる。
られた教師データ点列を表現するのに必要な中間層ユニ
ット数を容易に知ることができ、さらには計算時間を短
縮することができる。
【図１】本発明の原理図である。
【図２】本発明の実施例１の構成図である。
【図３】正弦関数を示す図である。
【図４】線形和関数を示す図である。
【図５】入出力関数に正弦関数及び線形和関数を用いた
例１を示す図である。
例１を示す図である。
【図６】入出力関数にシグモイド関数を用いた従来例を
示す図である。
示す図である。
【図７】入出力関数に正弦関数及び線形和関数を用いた
例２を示す図である。
例２を示す図である。
【図８】入出力関数に二次関数及びシグモイド関数を用
いた例３を示す図である。
いた例３を示す図である。
【図９】入出力関数に指数関数及びシグモイド関数を用
いた例４を示す図である。
いた例４を示す図である。
【図１０】入出力関数に対数関数及びシグモイド関数を
用いた例５を示す図である。
用いた例５を示す図である。
【図１１】本発明の実施例２の構成ブロック図である。
【図１２】入出力関数としてのシグモイド関数を示す図
である。
である。
１・・入力層 ２・・中間層 ３・・出力層
Claims (6)
- 【請求項１】 入力層（１）と、この入力層（１）に結
合する中間層（２）と、この中間層（２）に結合する出
力層（３）とからなり、各層がそれぞれ少なくとも１つ
以上のユニットを有し、各層間で各ユニットが相互に結
合してなる階層型ニューラルネットワークにおいて、前
記中間層（２）及び出力層（３）における各ユニットの
入出力特性を表す入出力関数として、微分が可能な任意
の関数を用いたことを特徴とするニューラルネットワー
クを用いた情報処理装置。 - 【請求項２】 前記ニューラルネットワークに一般化デ
ルタルールを適用し、前記入力層（１）及び出力層
（３）の各ユニットに与えられる教師データ点列に応じ
て、前記各層間の結合の重み，各ユニットのオフセット
値の少なくともいずれか一方を調節することを特徴とす
る請求項１記載のニューラルネットワークを用いた情報
処理装置。 - 【請求項３】 前記中間層（２）の各ユニットの入出力
関数として三角関数を用い、出力層（３）の入出力関数
として線形和関数を用いたことを特徴とする請求項１記
載のニューラルネットワークを用いた情報処理装置。 - 【請求項４】 前記入力層（１）と中間層（２）との間
の結合の重みを固定し、入力層（１）及び出力層（３）
の各ユニットに与えられる教師データに応じて、中間層
（２）の各ユニットにおける三角関数のオフセット値及
び出力層（３）の各ユニットにおけるゲイン及びオフセ
ット値を調節することにより、前記教師データのフーリ
エ変換を行うことを特徴とする請求項３記載のニューラ
ルネットワークを用いた情報処理装置。 - 【請求項５】 前記中間層（２），出力層（３）のいず
れか少なくとも一方のユニットにおける入出力関数とし
て、三角関数を用いたことを特徴とする請求項１記載の
ニューラルネットワークを用いた情報処理装置。 - 【請求項６】 中間層（２），出力層（３）のいずれか
少なくとも一方のユニットにおける入出力関数として、
線形和関数を用いたことを特徴とする請求項１記載のニ
ューラルネットワークを用いた情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4008746A JPH05197701A (ja) | 1992-01-21 | 1992-01-21 | ニューラルネットワークを用いた情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4008746A JPH05197701A (ja) | 1992-01-21 | 1992-01-21 | ニューラルネットワークを用いた情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05197701A true JPH05197701A (ja) | 1993-08-06 |
Family
ID=11701502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4008746A Withdrawn JPH05197701A (ja) | 1992-01-21 | 1992-01-21 | ニューラルネットワークを用いた情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05197701A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0887485A (ja) * | 1994-09-19 | 1996-04-02 | Mitsui Eng & Shipbuild Co Ltd | パターンマッチング装置 |
| JP2011113125A (ja) * | 2009-11-24 | 2011-06-09 | Fuji Xerox Co Ltd | 情報処理装置及び情報処理プログラム |
| EP3767552A1 (en) | 2019-07-11 | 2021-01-20 | Fujitsu Limited | Machine learning method, program, and machine learning device |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
-
1992
- 1992-01-21 JP JP4008746A patent/JPH05197701A/ja not_active Withdrawn
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0887485A (ja) * | 1994-09-19 | 1996-04-02 | Mitsui Eng & Shipbuild Co Ltd | パターンマッチング装置 |
| JP2011113125A (ja) * | 2009-11-24 | 2011-06-09 | Fuji Xerox Co Ltd | 情報処理装置及び情報処理プログラム |
| US11263512B2 (en) | 2017-04-04 | 2022-03-01 | Hailo Technologies Ltd. | Neural network processor incorporating separate control and data fabric |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11238331B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method for augmenting an existing artificial neural network |
| US11461614B2 (en) | 2017-04-04 | 2022-10-04 | Hailo Technologies Ltd. | Data driven quantization optimization of weights and input data in an artificial neural network |
| EP3767552A1 (en) | 2019-07-11 | 2021-01-20 | Fujitsu Limited | Machine learning method, program, and machine learning device |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110880036B (zh) | 神经网络压缩方法、装置、计算机设备及存储介质 | |
| US9367797B2 (en) | Methods and apparatus for spiking neural computation | |
| Han et al. | An improved evolutionary extreme learning machine based on particle swarm optimization | |
| US9111225B2 (en) | Methods and apparatus for spiking neural computation | |
| Man et al. | A new robust training algorithm for a class of single-hidden layer feedforward neural networks | |
| US20130204814A1 (en) | Methods and apparatus for spiking neural computation | |
| Yesil et al. | Fuzzy cognitive maps learning using artificial bee colony optimization | |
| CN113489014B (zh) | 一种快速灵活全纯嵌入式电力系统最优潮流评估方法 | |
| CN110286586A (zh) | 一种磁流变阻尼器混合建模方法 | |
| CN108153943A (zh) | 基于时钟循环神经网络的功率放大器的行为建模方法 | |
| JPH05197701A (ja) | ニューラルネットワークを用いた情報処理装置 | |
| Yang et al. | Finite-time synchronization of coupled inertial memristive neural networks with mixed delays via nonlinear feedback control | |
| Hussien | The Lagrange interpolation polynomial for neural network learning | |
| CN112884160B (zh) | 一种元学习方法及相关装置 | |
| JP3168204B2 (ja) | ネットワーク構成データ処理装置 | |
| Zhong et al. | An effective and efficient broad-based ensemble learning model for moderate-large scale image recognition | |
| TWI719337B (zh) | 基於深度學習之數位控制器的控制方法 | |
| Sanger | Optimal hidden units for two-layer nonlinear feedforward neural networks | |
| CN109474258A (zh) | 基于核极化策略的随机傅立叶特征核lms的核参数优化方法 | |
| CN109190086A (zh) | 一种用于时变矩阵求逆的指数增强型变参求解方法 | |
| CN112198800B (zh) | 一种具有时变时延的多机器人系统一致性控制方法 | |
| CN107506778A (zh) | 一种基于最小生成树的海量数据聚类处理方法 | |
| JP2544489B2 (ja) | ニュ―ラルネットワ―クモデルの学習方法 | |
| JP2798793B2 (ja) | 神経回路網装置 | |
| JP3288066B2 (ja) | ネットワーク構成データ処理装置の学習処理方法およびシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19990408 |