JP3491317B2 - フィードフォワード型ニューラルネットワークの構築方法 - Google Patents
フィードフォワード型ニューラルネットワークの構築方法Info
- Publication number
- JP3491317B2 JP3491317B2 JP02251894A JP2251894A JP3491317B2 JP 3491317 B2 JP3491317 B2 JP 3491317B2 JP 02251894 A JP02251894 A JP 02251894A JP 2251894 A JP2251894 A JP 2251894A JP 3491317 B2 JP3491317 B2 JP 3491317B2
- Authority
- JP
- Japan
- Prior art keywords
- hidden layer
- layer
- neurons
- column vector
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Feedback Control In General (AREA)
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
ク(NN)の構築方法に関し、特に、フィードフォワード型
ニューラルネットワークの隠れ層（中間層とも呼ばれ
る）に含まれるニューロンの個数を最適に決定する方法
に関する。
ク(NN)の構築方法に関し、特に、フィードフォワード型
ニューラルネットワークの隠れ層（中間層とも呼ばれ
る）に含まれるニューロンの個数を最適に決定する方法
に関する。
【０００２】
【従来の技術】従来、フィードフォワード型ニューラル
ネットワーク（階層型NNとも呼ばれる。以下、FFNNと記
す）においては、ある特定の問題に適用する場合に、ネ
ットワークの層数や、隠れ層のニューロン数等は、研究
者の経験と勘によって適当に決められている。そして階
層化されたFFNNではBP学習（バックプロパゲーション学
習、逆伝播学習）が一般に実施されている。これはある
系もしくはそのある特定の問題の入力値に対する出力値
が得られた時、その入力に対する望ましい出力値が系か
ら出力されるように、各層を結び付けるリンクウエイト
（結合係数）を出力層側から変更していく学習アルゴリ
ズムである。階層構造が暫定的に決定されたFFNNで、BP
学習によりトレーニングして、学習誤差が予め定めた値
よりも小さくなれば、つまりうまく学習に成功すれば、
そのFFNNを応用に適用する、という方法がとられてい
る。このあり方は、FFNNに限らず、一般のニューラルネ
ットワークの理論的解析がいまだになされていないこと
に起因する。構築されたニューラルネットワークが最適
な構成であるとは限らないため、いくつかのモデルを用
意して、学習の結果、最も良いネットワークを採用する
などの方法も取られている。
ネットワーク（階層型NNとも呼ばれる。以下、FFNNと記
す）においては、ある特定の問題に適用する場合に、ネ
ットワークの層数や、隠れ層のニューロン数等は、研究
者の経験と勘によって適当に決められている。そして階
層化されたFFNNではBP学習（バックプロパゲーション学
習、逆伝播学習）が一般に実施されている。これはある
系もしくはそのある特定の問題の入力値に対する出力値
が得られた時、その入力に対する望ましい出力値が系か
ら出力されるように、各層を結び付けるリンクウエイト
（結合係数）を出力層側から変更していく学習アルゴリ
ズムである。階層構造が暫定的に決定されたFFNNで、BP
学習によりトレーニングして、学習誤差が予め定めた値
よりも小さくなれば、つまりうまく学習に成功すれば、
そのFFNNを応用に適用する、という方法がとられてい
る。このあり方は、FFNNに限らず、一般のニューラルネ
ットワークの理論的解析がいまだになされていないこと
に起因する。構築されたニューラルネットワークが最適
な構成であるとは限らないため、いくつかのモデルを用
意して、学習の結果、最も良いネットワークを採用する
などの方法も取られている。
【０００３】
【発明が解決しようとする課題】いずれにせよ、学習が
完了して応用に適したFFNNが用意されたとしても、その
FFNNが、その応用に際して申し分無く最適な、必要最小
限の隠れニューロン数構成になっているかどうかは全く
保証がなく、一般には余分な隠れニューロンを保有す
る。このことは、ネットワークとして必要以上の計算を
実施しなければならず、余分な記憶容量を必要とするこ
とを意味し、取り扱える問題の限度が小さくなり、計算
時間が増大してしまうという問題がある。また、ネット
ワークをハードウエアで実現する場合では装置の規模を
必要以上に大きくしてしまうという問題がある。それゆ
え、ニューラルネットワークにおいて最適なネットワー
クを構築するための手立てが求められていた。
完了して応用に適したFFNNが用意されたとしても、その
FFNNが、その応用に際して申し分無く最適な、必要最小
限の隠れニューロン数構成になっているかどうかは全く
保証がなく、一般には余分な隠れニューロンを保有す
る。このことは、ネットワークとして必要以上の計算を
実施しなければならず、余分な記憶容量を必要とするこ
とを意味し、取り扱える問題の限度が小さくなり、計算
時間が増大してしまうという問題がある。また、ネット
ワークをハードウエアで実現する場合では装置の規模を
必要以上に大きくしてしまうという問題がある。それゆ
え、ニューラルネットワークにおいて最適なネットワー
クを構築するための手立てが求められていた。
【０００４】発明者らは、ネットワークの特徴を示す、
FFNNを学習させた後の関係式が行列（マトリクス）で表
記されることから、数学の行列理論及びベクトル理論を
応用して最適化する方法を見出したのでFFNNの最適構築
方法として提案する。
FFNNを学習させた後の関係式が行列（マトリクス）で表
記されることから、数学の行列理論及びベクトル理論を
応用して最適化する方法を見出したのでFFNNの最適構築
方法として提案する。
【０００５】
【課題を解決するための手段】上記の課題を解決するた
めに構成された本発明のフィードフォワード型ニューラ
ルネットワークの構築方法は、入力層、出力層、及び前
記入力層と前記出力層との間に設けられた少なくとも一
つの隠れ層を有し、前記入力層と前記出力層と前記隠れ
層との内の隣接する２つの層に属するニューロンごとに
リンクウエイトが存在し、学習データに基づいた学習に
より各々のリンクウエイトが記憶装置内に記憶され、出
力計算時には下層のニューロンの出力と前記記憶装置か
ら読み出された前記リンクウエイトの値とが積和演算さ
れて上層ニューロンへの入力値として供給され、更に前
記入力層はデータを入力して入力層データを出力する少
なくとも一つ以上の入力層ニューロンを有し、前記隠れ
層は前記入力層ニューロンで出力された前記入力層デー
タを受ける複数の隠れ層ニューロンを有するフィードフ
ォワード型ニューラルネットワークの構築方法におい
て、複数の学習データの各学習データに対する隠れ層の
個々の前記隠れ層ニューロンの出力を行ベクトルとして
表す段階と、前記行ベクトルを前記学習データの数並べ
て行列Ｏ（ｍ×ｎ行列、但しｍは学習データ数，ｎは隠
れ層ニューロンの数）を形成する段階とを有する行列形
成過程と、前記行列形成過程で形成された行列Ｏを前記
隠れ層ニューロンの数の列ベクトルに分解する列ベクト
ル形成過程と、前記列ベクトル形成過程で形成した前記
列ベクトル相互間で所定数の一次独立性の高い列ベクト
ルを求める列ベクトル選別過程と、前記列ベクトル選別
過程で求めた一次独立性の高い列ベクトルに対応した前
記隠れ層ニューロンを前記隠れ層の中に残し、他の隠れ
層ニューロンを前記隠れ層から取り除くニューロン除去
過程と、前記ニューロン除去過程で残った前記隠れ層ニ
ューロンから成る隠れ層を有するフィードフォワード型
ニューラルネットワークの新たなリンクウエイトを決定
するリンクウエイト決定過程とを備えたことを特徴とし
ている。
めに構成された本発明のフィードフォワード型ニューラ
ルネットワークの構築方法は、入力層、出力層、及び前
記入力層と前記出力層との間に設けられた少なくとも一
つの隠れ層を有し、前記入力層と前記出力層と前記隠れ
層との内の隣接する２つの層に属するニューロンごとに
リンクウエイトが存在し、学習データに基づいた学習に
より各々のリンクウエイトが記憶装置内に記憶され、出
力計算時には下層のニューロンの出力と前記記憶装置か
ら読み出された前記リンクウエイトの値とが積和演算さ
れて上層ニューロンへの入力値として供給され、更に前
記入力層はデータを入力して入力層データを出力する少
なくとも一つ以上の入力層ニューロンを有し、前記隠れ
層は前記入力層ニューロンで出力された前記入力層デー
タを受ける複数の隠れ層ニューロンを有するフィードフ
ォワード型ニューラルネットワークの構築方法におい
て、複数の学習データの各学習データに対する隠れ層の
個々の前記隠れ層ニューロンの出力を行ベクトルとして
表す段階と、前記行ベクトルを前記学習データの数並べ
て行列Ｏ（ｍ×ｎ行列、但しｍは学習データ数，ｎは隠
れ層ニューロンの数）を形成する段階とを有する行列形
成過程と、前記行列形成過程で形成された行列Ｏを前記
隠れ層ニューロンの数の列ベクトルに分解する列ベクト
ル形成過程と、前記列ベクトル形成過程で形成した前記
列ベクトル相互間で所定数の一次独立性の高い列ベクト
ルを求める列ベクトル選別過程と、前記列ベクトル選別
過程で求めた一次独立性の高い列ベクトルに対応した前
記隠れ層ニューロンを前記隠れ層の中に残し、他の隠れ
層ニューロンを前記隠れ層から取り除くニューロン除去
過程と、前記ニューロン除去過程で残った前記隠れ層ニ
ューロンから成る隠れ層を有するフィードフォワード型
ニューラルネットワークの新たなリンクウエイトを決定
するリンクウエイト決定過程とを備えたことを特徴とし
ている。
【０００６】
【０００７】また前記列ベクトル形成過程は、前記行列
Ｏを前記隠れ層ニューロンの数ｎ個の列ベクトル（ｍ×
１の列ベクトル）に分解することが好ましい。また前記
列ベクトル選別過程は、前記ｎ個の列ベクトルの長さを
１にする正規化段階と、前記ｎ個の列ベクトルの集まり
の集合Ｔと空集合Ｓを形成する集合形成段階と、前記集
合Ｔの中から任意の列ベクトルを一つ取り出し集合Ｓに
入れる列ベクトル移動段階と、前記集合Ｓ内の前記列ベ
クトルが張る部分線型空間への前記集合Ｔ内の前記列ベ
クトルから下ろした垂線の長さを求める垂線計算段階
と、前記垂線のうち一番長い垂線の前記列ベクトルを集
合Ｔから取り出し集合Ｓに入れる抽出段階とを備え、前
記列ベクトル移動段階と前記垂線計算段階と前記抽出段
階とを所定回数繰り返し、前記集合Ｔ内に残った列ベク
トルに対応した前記隠れ層ニューロンを、前記隠れ層か
ら取り除くことが好ましい。
Ｏを前記隠れ層ニューロンの数ｎ個の列ベクトル（ｍ×
１の列ベクトル）に分解することが好ましい。また前記
列ベクトル選別過程は、前記ｎ個の列ベクトルの長さを
１にする正規化段階と、前記ｎ個の列ベクトルの集まり
の集合Ｔと空集合Ｓを形成する集合形成段階と、前記集
合Ｔの中から任意の列ベクトルを一つ取り出し集合Ｓに
入れる列ベクトル移動段階と、前記集合Ｓ内の前記列ベ
クトルが張る部分線型空間への前記集合Ｔ内の前記列ベ
クトルから下ろした垂線の長さを求める垂線計算段階
と、前記垂線のうち一番長い垂線の前記列ベクトルを集
合Ｔから取り出し集合Ｓに入れる抽出段階とを備え、前
記列ベクトル移動段階と前記垂線計算段階と前記抽出段
階とを所定回数繰り返し、前記集合Ｔ内に残った列ベク
トルに対応した前記隠れ層ニューロンを、前記隠れ層か
ら取り除くことが好ましい。
【０００８】そして前記リンクウエイト決定過程は、前
記ニューロン除去過程で取り除かれた前記隠れ層ニュー
ロンに対応する列ベクトルを、残された隠れ層ニューロ
ンの列ベクトルの線型結合で表し、もとの線型方程式に
代入する段階と、該線型方程式を列ベクトルについて整
理する段階と、該整理した線型方程式のそれぞれの列ベ
クトルに掛けられている係数を新しいリンクウエイトと
して決定する段階とを備えていることが好ましい。
記ニューロン除去過程で取り除かれた前記隠れ層ニュー
ロンに対応する列ベクトルを、残された隠れ層ニューロ
ンの列ベクトルの線型結合で表し、もとの線型方程式に
代入する段階と、該線型方程式を列ベクトルについて整
理する段階と、該整理した線型方程式のそれぞれの列ベ
クトルに掛けられている係数を新しいリンクウエイトと
して決定する段階とを備えていることが好ましい。
【０００９】ここで前記隠れ層ニューロンは、シグモイ
ド関数を有していても良い。また前記入力層ニューロン
は次層の全ての前記隠れ層ニューロンへ結合され、前記
隠れ層ニューロンは次層の全ての前記隠れ層ニューロン
もしくは前記出力層の何れか一方に結合されていること
が好ましい。そして前記各隠れ層ニューロンは、該隠れ
層ニューロンに結合される直前の隠れ層ニューロンまた
は入力層ニューロンの何れか一方から出力される値に前
記リンクウエイトを掛け合わせて加算し、加算結果に前
記各隠れ層ニューロン毎に依存するバイアスを加算し、
続いてこのバイアス加算結果をシグモイド関数に入力
し、その出力結果を次層への出力値とすることが好まし
い。
ド関数を有していても良い。また前記入力層ニューロン
は次層の全ての前記隠れ層ニューロンへ結合され、前記
隠れ層ニューロンは次層の全ての前記隠れ層ニューロン
もしくは前記出力層の何れか一方に結合されていること
が好ましい。そして前記各隠れ層ニューロンは、該隠れ
層ニューロンに結合される直前の隠れ層ニューロンまた
は入力層ニューロンの何れか一方から出力される値に前
記リンクウエイトを掛け合わせて加算し、加算結果に前
記各隠れ層ニューロン毎に依存するバイアスを加算し、
続いてこのバイアス加算結果をシグモイド関数に入力
し、その出力結果を次層への出力値とすることが好まし
い。
【００１０】
【作用】請求項１記載の発明によれば、複数の学習デー
タによりフィードフォワード型ニューラルネットワーク
に学習させ、学習で得られたフィードフォワード型ニュ
ーラルネットワークから行列Ｏを形成する。そして、形
成された行列を隠れ層ニューロンの数の列ベクトルに分
解し、この分解した列ベクトル相互間で所定数の一次独
立性の高い列ベクトルを求める。一次独立性の高い列ベ
クトルに対応した隠れ層ニューロンを隠れ層の中に残
し、他の隠れ層ニューロンを隠れ層から取り除く。そし
て残った隠れ層ニューロンから成る隠れ層を有するフィ
ードフォワード型ニューラルネットワークに新たなリン
クウエイトを決定する。
タによりフィードフォワード型ニューラルネットワーク
に学習させ、学習で得られたフィードフォワード型ニュ
ーラルネットワークから行列Ｏを形成する。そして、形
成された行列を隠れ層ニューロンの数の列ベクトルに分
解し、この分解した列ベクトル相互間で所定数の一次独
立性の高い列ベクトルを求める。一次独立性の高い列ベ
クトルに対応した隠れ層ニューロンを隠れ層の中に残
し、他の隠れ層ニューロンを隠れ層から取り除く。そし
て残った隠れ層ニューロンから成る隠れ層を有するフィ
ードフォワード型ニューラルネットワークに新たなリン
クウエイトを決定する。
【００１１】 ここで、行列形成過程は、学習データの
各学習データに対する隠れ層の個々の隠れ層ニューロン
の出力を行ベクトルとして表し、その行ベクトルを学習
データの数並べて行列Ｏを形成する。また、請求項２記
載の発明によれば、列ベクトル形成過程は、行列Ｏを隠
れ層ニューロンの数ｎ個の列ベクトルに分解する。
各学習データに対する隠れ層の個々の隠れ層ニューロン
の出力を行ベクトルとして表し、その行ベクトルを学習
データの数並べて行列Ｏを形成する。また、請求項２記
載の発明によれば、列ベクトル形成過程は、行列Ｏを隠
れ層ニューロンの数ｎ個の列ベクトルに分解する。
【００１２】 請求項３記載の発明によれば、列ベクト
ル選別過程は、ｎ個の列ベクトルの長さを１とし、次に
ｎ個の列ベクトルの集まりの集合Ｔと空集合Ｓを形成す
る。そして、集合Ｔの中から任意の列ベクトルを一つ取
り出し集合Ｓに入れ、集合Ｓ内の列ベクトルが張る部分
線型空間への集合Ｔ内の列ベクトルから下ろした垂線の
長さを求める。そして、垂線のうち一番長い垂線の列ベ
クトルを集合Ｔから取り出し集合Ｓに入れる。これらを
所定回数繰り返し、最後まで集合Ｔ内に残った列ベクト
ルに対応した隠れ層ニューロンを、隠れ層から取り除
く。
ル選別過程は、ｎ個の列ベクトルの長さを１とし、次に
ｎ個の列ベクトルの集まりの集合Ｔと空集合Ｓを形成す
る。そして、集合Ｔの中から任意の列ベクトルを一つ取
り出し集合Ｓに入れ、集合Ｓ内の列ベクトルが張る部分
線型空間への集合Ｔ内の列ベクトルから下ろした垂線の
長さを求める。そして、垂線のうち一番長い垂線の列ベ
クトルを集合Ｔから取り出し集合Ｓに入れる。これらを
所定回数繰り返し、最後まで集合Ｔ内に残った列ベクト
ルに対応した隠れ層ニューロンを、隠れ層から取り除
く。
【００１３】
【００１４】
【発明の効果】請求項１記載の発明によれば、無駄に計
算量を増加させているニューラルネットワークの隠れ層
ニューロンを見つけ出し、その隠れ層ニューロンを除去
することができるため、効率良い最適なニューラルネッ
トワークが構築できる。また、隠れ層ニューロンの除去
によりネットワークの誤差が著しく増加することがな
い。これにより、計算時間、記憶容量の節約が実現し、
同規模の計算機では、より高度な問題に対処できる。
算量を増加させているニューラルネットワークの隠れ層
ニューロンを見つけ出し、その隠れ層ニューロンを除去
することができるため、効率良い最適なニューラルネッ
トワークが構築できる。また、隠れ層ニューロンの除去
によりネットワークの誤差が著しく増加することがな
い。これにより、計算時間、記憶容量の節約が実現し、
同規模の計算機では、より高度な問題に対処できる。
【００１５】 請求項３記載の発明によれば、列ベクト
ル選別過程は、一次独立の高い列ベクトルを選別するこ
とができる。
ル選別過程は、一次独立の高い列ベクトルを選別するこ
とができる。
【００１６】
【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明の、FFNN（フィードフォワード型
ニューラルネットワーク）の構築方法を示すフローチャ
ートである。ここでＭは所定回数を示す。この手順を実
際に当てはめていくFFNNの構成として、図２に示す４層
構造のFFNNで説明する。
明する。図１は本発明の、FFNN（フィードフォワード型
ニューラルネットワーク）の構築方法を示すフローチャ
ートである。ここでＭは所定回数を示す。この手順を実
際に当てはめていくFFNNの構成として、図２に示す４層
構造のFFNNで説明する。
【００１７】図２のFFNNは入力層として二つのニューロ
ン１、２（入力層ニューロン）を持ち、第１隠れ層とし
ての６個(n=6) のニューロン３〜８（隠れ層ニューロ
ン）があり、第２隠れ層としての６個(n=6) のニューロ
ン９〜１４（隠れ層ニューロン）、出力層は一つのニュ
ーロン１５のみで構成され、各層のニューロンは次の層
の全てのニューロンへリンクされている。そして学習デ
ータによりＢＰ学習法で既に学習がなされ、各リンクウ
エイトの値が決められている。
ン１、２（入力層ニューロン）を持ち、第１隠れ層とし
ての６個(n=6) のニューロン３〜８（隠れ層ニューロ
ン）があり、第２隠れ層としての６個(n=6) のニューロ
ン９〜１４（隠れ層ニューロン）、出力層は一つのニュ
ーロン１５のみで構成され、各層のニューロンは次の層
の全てのニューロンへリンクされている。そして学習デ
ータによりＢＰ学習法で既に学習がなされ、各リンクウ
エイトの値が決められている。
【００１８】ここで、第１，第２隠れ層のニューロンは
それぞれ変換関数として良く知られたシグモイド関数s
(x)=1／(1+exp(-x)) を持つものとし、入、出力層のニ
ューロンは線型関係のみ持つものとする。つまり、隠れ
層の各ニューロンの関係は、図３(a) に示すように、そ
のニューロンにリンクされる各ニューロンの値ｏj (j=
1,2, …,n) に、リンクウエイト（重み付けを表す実数
値）としてｗj (i=1,2, …,n) を掛け合わせて加算す
る。即ち、
それぞれ変換関数として良く知られたシグモイド関数s
(x)=1／(1+exp(-x)) を持つものとし、入、出力層のニ
ューロンは線型関係のみ持つものとする。つまり、隠れ
層の各ニューロンの関係は、図３(a) に示すように、そ
のニューロンにリンクされる各ニューロンの値ｏj (j=
1,2, …,n) に、リンクウエイト（重み付けを表す実数
値）としてｗj (i=1,2, …,n) を掛け合わせて加算す
る。即ち、
【００１９】
【数２】
【００２０】がそのニューロンの出力値となる。ここで
θは、そのニューロンが持つポテンシャルもしくはバイ
アスであり実数値であって、系に適した値を決めること
ができる。図２の各隠れ層はこのようなニューロンが６
個並んでつなげられている(n=6) 。入出力ニューロンの
関係は図３(b) に示す線型関係である。このようなFFNN
において、効率的なFFNN構築のために、現在隠れ層にあ
るニューロンの中でどのニューロンを除去し、どのニュ
ーロンを残すべきかの決定方法を図２の４層フィードフ
ォワード型ニューラルネットワークの例に則して説明す
る。
θは、そのニューロンが持つポテンシャルもしくはバイ
アスであり実数値であって、系に適した値を決めること
ができる。図２の各隠れ層はこのようなニューロンが６
個並んでつなげられている(n=6) 。入出力ニューロンの
関係は図３(b) に示す線型関係である。このようなFFNN
において、効率的なFFNN構築のために、現在隠れ層にあ
るニューロンの中でどのニューロンを除去し、どのニュ
ーロンを残すべきかの決定方法を図２の４層フィードフ
ォワード型ニューラルネットワークの例に則して説明す
る。
【００２１】なお、第１，第２隠れ層とも手順は同じで
あるので、第２隠れ層における不要なニューロン番号の
決定方法について説明する。すなわち本実施例の決定方
法は、隠れ層の中にあるニューロンの列ベクトルを形成
する第一過程（行列形成過程，列ベクトル形成過程に相
当）と、現在隠れ層の中にあるニューロンの内、取り除
くことのできるニューロンの番号を決定する第二過程
（列ベクトル選別過程，ニューロン除去過程に相当）
と、第二過程で残された各ニューロンのリンクウエイト
を再決定する第三過程（リンクウエイト決定過程に相
当）とからなる。以下にこれらの決定方法を順に説明す
る。
あるので、第２隠れ層における不要なニューロン番号の
決定方法について説明する。すなわち本実施例の決定方
法は、隠れ層の中にあるニューロンの列ベクトルを形成
する第一過程（行列形成過程，列ベクトル形成過程に相
当）と、現在隠れ層の中にあるニューロンの内、取り除
くことのできるニューロンの番号を決定する第二過程
（列ベクトル選別過程，ニューロン除去過程に相当）
と、第二過程で残された各ニューロンのリンクウエイト
を再決定する第三過程（リンクウエイト決定過程に相
当）とからなる。以下にこれらの決定方法を順に説明す
る。
【００２２】先ず第一過程について説明する。ここで
は、このFFNNが10個の学習データ出力値（教師信号）ｔ
i (i=1,2, …,10)によってトレーニングされたとし(m=1
0)、また、取り除くことのできるニューロンの数Ｍが予
め分かっているとする。この除去可能なニューロン数の
決定方法は、例えば本発明者が先に出願した「ニューラ
ルネットワークの構築方法」（特願平５−２８７６４
９）等がある。
は、このFFNNが10個の学習データ出力値（教師信号）ｔ
i (i=1,2, …,10)によってトレーニングされたとし(m=1
0)、また、取り除くことのできるニューロンの数Ｍが予
め分かっているとする。この除去可能なニューロン数の
決定方法は、例えば本発明者が先に出願した「ニューラ
ルネットワークの構築方法」（特願平５−２８７６４
９）等がある。
【００２３】先ず初めに、出力層に近い第２隠れ層にお
いて、第ｉ番目の学習データが与えられた時の第２隠れ
層のｊ番目ニューロンの出力をｏ(i,k) として、以下の
10×6 行列Ｏを作成する（行列形成過程）。
いて、第ｉ番目の学習データが与えられた時の第２隠れ
層のｊ番目ニューロンの出力をｏ(i,k) として、以下の
10×6 行列Ｏを作成する（行列形成過程）。
【００２４】
【数３】
（ただし、i=1,2,…,10(10個) は学習データ番号、k=1,
2,…,6(6個) は各々図２中の第 9,10,…,14 のニューロ
ンの番号に対応する。） また、上記数３式はｏj （但し、(j=1,2, …,6),10×1
の列ベクトル）を用いて次式のように表される（列ベク
トル形成過程）。
2,…,6(6個) は各々図２中の第 9,10,…,14 のニューロ
ンの番号に対応する。） また、上記数３式はｏj （但し、(j=1,2, …,6),10×1
の列ベクトル）を用いて次式のように表される（列ベク
トル形成過程）。
【００２５】
【数４】Ｏ＝（ｏ1 ，ｏ2 ，ｏ3 ，ｏ4 ，ｏ5 ，ｏ6 ）
すなわち上記数４式で、ｏj は以下のように表される。
【００２６】
【数５】
従って問題は、列ベクトルｏ1,…, ｏ6 の内、どの（６
−Ｍ）個（但し、Ｍは第２隠れ層における取り除くべき
ニューロン個数）の列ベクトルを選び、第２隠れ層に残
せば良いかという問題になる。（６−Ｍ）は列ベクトル
ｏ1,…, ｏ6 の一次独立なベクトルの数になっているの
で、一次独立性の高い（６−Ｍ）の列ベクトルを選ぶこ
とが望ましい。残されたＭ個の列ベクトルは（６−Ｍ）
個の列ベクトルの線型結合で表されるものであるから、
この基底ベクトルとしては計算誤差が大きくなったり、
ベクトルの線型結合の結合係数が極端に変動するのを抑
制するためにも一次独立性の高いものが望ましい。従っ
て、ここでは隠れ層の６個のニューロンの中から、ニュ
ーロンに対する列ベクトルの一次独立性の高い（６−
Ｍ）個のニューロンを選ぶ。
−Ｍ）個（但し、Ｍは第２隠れ層における取り除くべき
ニューロン個数）の列ベクトルを選び、第２隠れ層に残
せば良いかという問題になる。（６−Ｍ）は列ベクトル
ｏ1,…, ｏ6 の一次独立なベクトルの数になっているの
で、一次独立性の高い（６−Ｍ）の列ベクトルを選ぶこ
とが望ましい。残されたＭ個の列ベクトルは（６−Ｍ）
個の列ベクトルの線型結合で表されるものであるから、
この基底ベクトルとしては計算誤差が大きくなったり、
ベクトルの線型結合の結合係数が極端に変動するのを抑
制するためにも一次独立性の高いものが望ましい。従っ
て、ここでは隠れ層の６個のニューロンの中から、ニュ
ーロンに対する列ベクトルの一次独立性の高い（６−
Ｍ）個のニューロンを選ぶ。
【００２７】次に図５に示したフローチャートに基づ
き、第二過程（列ベクトル選別過程）を説明する。まず
ステップ２００では、６個の10×1 列ベクトルの長さを
全て１にする（正規化段階）。次にステップ２０２で
は、６個の列ベクトルの集まりの集合Ｔと、空集合Ｓを
考える。ステップ２０４では、先の残すニューロンの数
（６−Ｍ）よりも１だけ小さい数を考え、カウンタであ
る変数Ｃに代入する。そしてステップ２０６で、集合Ｔ
の中から任意の列ベクトルを一つ取り出し集合Ｓに入れ
る（列ベクトル移動段階）。ステップ２０８では図４に
示すように、集合Ｓの列ベクトルが張る部分線型空間へ
集合Ｔの列ベクトルから下ろした垂線の長さ、すなわち
一次独立性の大きさを集合Ｔに含まれる全ての列ベクト
ルについて計算する（垂線計算段階）。ステップ２１０
では、ステップ２０８で求めた垂線のうち一番長いも
の、すなわち最も一次独立性の高いものを集合Ｔから取
り出し集合Ｓに入れる（抽出段階）。
き、第二過程（列ベクトル選別過程）を説明する。まず
ステップ２００では、６個の10×1 列ベクトルの長さを
全て１にする（正規化段階）。次にステップ２０２で
は、６個の列ベクトルの集まりの集合Ｔと、空集合Ｓを
考える。ステップ２０４では、先の残すニューロンの数
（６−Ｍ）よりも１だけ小さい数を考え、カウンタであ
る変数Ｃに代入する。そしてステップ２０６で、集合Ｔ
の中から任意の列ベクトルを一つ取り出し集合Ｓに入れ
る（列ベクトル移動段階）。ステップ２０８では図４に
示すように、集合Ｓの列ベクトルが張る部分線型空間へ
集合Ｔの列ベクトルから下ろした垂線の長さ、すなわち
一次独立性の大きさを集合Ｔに含まれる全ての列ベクト
ルについて計算する（垂線計算段階）。ステップ２１０
では、ステップ２０８で求めた垂線のうち一番長いも
の、すなわち最も一次独立性の高いものを集合Ｔから取
り出し集合Ｓに入れる（抽出段階）。
【００２８】ここで、ステップ２０８，ステップ２１０
の意味について図４を用いて説明する。集合Ｓの列ベク
トルが張る部分線型空間への集合Ｔの列ベクトルから下
ろした垂線の長さは図４のｌ1 又はｌ2 に相当する。集
合Ｔ内に二つの列ベクトルａ，ｂがあり、このうち何れ
か一方とＳの元の二つの列ベクトルを使って任意の列ベ
クトルｃを表したいとする。この場合、列ベクトルｃ
は、列ベクトルａ又は列ベクトルｂのスカラー倍とＳの
元のスカラー倍の合計で表されるが、列ベクトルｂとＳ
の元を用いて表すよりも列ベクトルａとＳの元を用いて
表す方が、スカラー量は小さくて済む。すなわち、ネッ
トワークにおいても垂線の長いものを採用したほうが効
率的である。なお、このように垂線の長さを比較するた
め、ステップ２００において列ベクトルの長さを全て１
にする必要がある。
の意味について図４を用いて説明する。集合Ｓの列ベク
トルが張る部分線型空間への集合Ｔの列ベクトルから下
ろした垂線の長さは図４のｌ1 又はｌ2 に相当する。集
合Ｔ内に二つの列ベクトルａ，ｂがあり、このうち何れ
か一方とＳの元の二つの列ベクトルを使って任意の列ベ
クトルｃを表したいとする。この場合、列ベクトルｃ
は、列ベクトルａ又は列ベクトルｂのスカラー倍とＳの
元のスカラー倍の合計で表されるが、列ベクトルｂとＳ
の元を用いて表すよりも列ベクトルａとＳの元を用いて
表す方が、スカラー量は小さくて済む。すなわち、ネッ
トワークにおいても垂線の長いものを採用したほうが効
率的である。なお、このように垂線の長さを比較するた
め、ステップ２００において列ベクトルの長さを全て１
にする必要がある。
【００２９】次にステップ２１２でＣに（Ｃ−１）を代
入しステップ２０８に戻る。そしてＣ＝０となるまでこ
れを繰り返す。Ｃ＝０となった場合、ステップ２１６で
最後まで集合Ｔに残った列ベクトルに対応したニューロ
ンの番号を確認し、このニューロンをネットワークから
除き、集合Ｓに移動した列ベクトルに対応したニューロ
ンをネットワークに残す（ニューロン除去過程）。すな
わち集合Ｓには一次独立性が高い列ベクトルが入ってい
ることになる。
入しステップ２０８に戻る。そしてＣ＝０となるまでこ
れを繰り返す。Ｃ＝０となった場合、ステップ２１６で
最後まで集合Ｔに残った列ベクトルに対応したニューロ
ンの番号を確認し、このニューロンをネットワークから
除き、集合Ｓに移動した列ベクトルに対応したニューロ
ンをネットワークに残す（ニューロン除去過程）。すな
わち集合Ｓには一次独立性が高い列ベクトルが入ってい
ることになる。
【００３０】次に第三過程（リンクウエイト決定過程）
について説明する。ネットワークでは、上記第二過程で
取り除くことが望ましいと判断されたニューロンが抜け
ると、その分をカバーする必要性が生じる。すなわち、
取り除くと決定されたニューロンに対する列ベクトル
を、それぞれ残される列ベクトルの線型結合で表し、も
との線型方程式に代入する。そしてこの線型方程式を整
理すると、残される列ベクトルのみの線型方程式とな
る。この新しい線型方程式のそれぞれの列ベクトルに掛
けられている係数が、ニューロンから次層のニューロン
への新しいリンクウエイトとなる。
について説明する。ネットワークでは、上記第二過程で
取り除くことが望ましいと判断されたニューロンが抜け
ると、その分をカバーする必要性が生じる。すなわち、
取り除くと決定されたニューロンに対する列ベクトル
を、それぞれ残される列ベクトルの線型結合で表し、も
との線型方程式に代入する。そしてこの線型方程式を整
理すると、残される列ベクトルのみの線型方程式とな
る。この新しい線型方程式のそれぞれの列ベクトルに掛
けられている係数が、ニューロンから次層のニューロン
への新しいリンクウエイトとなる。
【００３１】すなわち、数２式におけるｗj から成るベ
クトルをＷ、学習データ出力値から成るベクトルをｔと
すると、学習結果は以下の式で表される。
クトルをＷ、学習データ出力値から成るベクトルをｔと
すると、学習結果は以下の式で表される。
【００３２】
【数６】ＯＷ＝ｔ
ここで数４式において、例えば一つの列ベクトルｏ1 が
他の５つの列ベクトルにより、以下のような線型結合で
表されるとする。
他の５つの列ベクトルにより、以下のような線型結合で
表されるとする。
【００３３】
【数７】ｏ1 ＝ａ2 ｏ2 ＋ａ3 ｏ3 ＋ａ4 ｏ4 ＋ａ5 ｏ
5 ＋ａ6 ｏ6 この数７式を上記数６式に代入すると、
5 ＋ａ6 ｏ6 この数７式を上記数６式に代入すると、
【００３４】
【数８】（ａ2 ｏ2 ＋ａ3 ｏ3 ＋ａ4 ｏ4 ＋ａ5 ｏ5 ＋
ａ6 ｏ6 ，ｏ2 ，ｏ3 ，ｏ4 ，ｏ5 ，ｏ6 ）Ｗ＝ｔ となる。この式を展開すると、
ａ6 ｏ6 ，ｏ2 ，ｏ3 ，ｏ4 ，ｏ5 ，ｏ6 ）Ｗ＝ｔ となる。この式を展開すると、
【００３５】
【数９】（ｗ1 ａ2 ＋ｗ2 ）ｏ2 ＋（ｗ1 ａ3 ＋ｗ3 ）
ｏ3 ＋（ｗ1 ａ4 ＋ｗ4 ）ｏ4＋（ｗ1 ａ5 ＋ｗ5 ）ｏ
5 ＋（ｗ1 ａ6 ＋ｗ6 ）ｏ ＝ｔ となる。すなわち、これは５つの列ベクトルより成るマ
トリクス、
ｏ3 ＋（ｗ1 ａ4 ＋ｗ4 ）ｏ4＋（ｗ1 ａ5 ＋ｗ5 ）ｏ
5 ＋（ｗ1 ａ6 ＋ｗ6 ）ｏ ＝ｔ となる。すなわち、これは５つの列ベクトルより成るマ
トリクス、
【００３６】
【数１０】（ｏ2 ，ｏ3 ，ｏ4 ，ｏ5 ，ｏ6 ）
が数６式を満たしていることになる。つまり数９式でｏ
j に掛けられている数値が新しいウエイトリンクとな
る。以下に図６に示したフローチャートに基づき、この
第三過程を説明する。
j に掛けられている数値が新しいウエイトリンクとな
る。以下に図６に示したフローチャートに基づき、この
第三過程を説明する。
【００３７】まず、ステップ３００で取り除くニューロ
ンに対応する列ベクトルを、残されるニューロンの列ベ
クトルの線型結合で表す。ステップ３０２では、もとの
線型方程式に、上記線型結合で表された列ベクトルを代
入する。ステップ３０４で、この線型方程式を整理す
る。最後にステップ３０６で、前記整理した線型方程式
のそれぞれの列ベクトルに掛けられている数値を新しい
リンクウエイトと決定する。
ンに対応する列ベクトルを、残されるニューロンの列ベ
クトルの線型結合で表す。ステップ３０２では、もとの
線型方程式に、上記線型結合で表された列ベクトルを代
入する。ステップ３０４で、この線型方程式を整理す
る。最後にステップ３０６で、前記整理した線型方程式
のそれぞれの列ベクトルに掛けられている数値を新しい
リンクウエイトと決定する。
【００３８】なお、第１隠れ層についても第２隠れ層と
同様に上記の操作を行えば良い。以上のように、学習済
みのFFNNにおいて、各層のニューロンの構成数に係わら
ず、学習データに基づき、隠れ層内にあるニューロンの
どれを残しどれを省略すれば良いのかが明らかにされた
ので、効率的な計算が実施でき、また効果的な結果を求
められるフィードフォワード型ニューラルネットワーク
を構築することができる。そしてこれにより、無駄に計
算量を増加させているネットワークを減少させることが
でき、効率良い最適なニューラルネットワークが構築で
きるので、計算時間、記憶容量の節約が実現し、同規模
の計算機では、より高度な問題に対処できる。
同様に上記の操作を行えば良い。以上のように、学習済
みのFFNNにおいて、各層のニューロンの構成数に係わら
ず、学習データに基づき、隠れ層内にあるニューロンの
どれを残しどれを省略すれば良いのかが明らかにされた
ので、効率的な計算が実施でき、また効果的な結果を求
められるフィードフォワード型ニューラルネットワーク
を構築することができる。そしてこれにより、無駄に計
算量を増加させているネットワークを減少させることが
でき、効率良い最適なニューラルネットワークが構築で
きるので、計算時間、記憶容量の節約が実現し、同規模
の計算機では、より高度な問題に対処できる。
【図１】本発明の一実施例であるフィードフォワード型
ニューラルネットワークの構築方法を示すフローチャー
ト。
ニューラルネットワークの構築方法を示すフローチャー
ト。
【図２】本発明の応用を示すニューラルネットワークの
構成図。
構成図。
【図３】各層のニューロンの働きを示す説明図。
【図４】図１に示したフローチャートを説明する図。
１、２ 入力層のニューロン（入力層ニューロン）
３、４、５、６、７、８ 第１隠れ層のニューロン（隠
れ層ニューロン） ９、１０、１１、１２、１３、１４ 第２隠れ層のニュ
ーロン（隠れ層ニューロン） １５ 出力層のニューロン
れ層ニューロン） ９、１０、１１、１２、１３、１４ 第２隠れ層のニュ
ーロン（隠れ層ニューロン） １５ 出力層のニューロン
フロントページの続き
(56)参考文献 特開 平４−175964（ＪＰ，Ａ)
特開 平５−242062（ＪＰ，Ａ)
Ｔａｍｕｒａ， Ｓ． Ｔａｔｅｉｓ
ｈｉ， Ｍ．，ｅｔ．ａｌ．，”Ｄｅｔ
ｅｒｍｉｎａｔｉｏｎ ｏｆ Ｔｈｅ
Ｎｕｍｂｅｒ ｏｆ Ｒｅｄｕｎｄａｎ
ｔ Ｈｉｄｄｅｎ Ｕｎｉｔｓ ｉｎ
ａ Ｔｈｒｅｅ−ｌａｙｅｒｅｄ Ｆｅ
ｅｄ−ｆｏｒｗａｒｄ Ｎｅｕｒａ
ｌ・・・”，Ｐｒｏｃ． ｏｆ 1993
Ｉｎｔ． Ｊｏｉｎｔ Ｃｏｎｆ． ｏ
ｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ
（ＩＪＣＮＮ’93），1993年，Ｖｏｌ.
１，ｐｐ．335−338
Ｇｏｇｇｉｎ， Ｓ．Ｄ．Ｄ． Ｇｕ
ｓｔａｆｓｏｎ， Ｋ．Ｅ．， ｅｔ.
ａｌ．，”Ａｎ Ａｓｙｍｐｔｏｔｉｃ
Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅ
ｃｏｍｐｏｓｉｔｉｏｎ Ａｎａｌｙｓ
ｉｓ ｏｆ Ｎｏｎｌｉｎｅａｒ Ｍｕ
ｌｔｉｌａｙｅｒ Ｎｅｕｒａｌ Ｎｅ
ｔｗｏｒｋｓ”，Ｐｒｏｃ． ｏｆ Ｉ
ｎｔ． Ｊｏｉｎｔ Ｃｏｎｆ． ｏｎ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ｉ
ＪＣＮＮ’91），1991年，Ｖｏｌ．１,
ｐｐ．785−789
増田達也・他，「隠れユニットの合成
による階層型ニューラルネットワークの
コンパクト構造化」，計測自動制御学会
論文集，日本，社団法人計測自動制御学
会，1992年 ４月30日，Ｖｏｌ．28，
Ｎｏ．４，ｐｐ．519−527
鹿山昌宏・他，「多層ニューラルネッ
トの最適中間層ニューロン数決定方
法」，電気学会論文誌Ｄ，日本，社団法
人電気学会，1992年11月20日，Ｖｏｌ.
112， Ｎｏ．11，ｐｐ．1064−1070
藤田修，「フィードフォワードニュー
ラルネットワークにおける隠れ素子の最
適化」，電子情報通信学会技術研究報
告，日本，社団法人電子情報通信学会,
1991年 ３月18日，Ｖｏｌ．90， Ｎ
ｏ．483（ＮＣ90−68〜111），ｐｐ．43
−48
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06N 1/00 - 7/08
G06G 7/60
G06F 19/00
G06F 17/10 - 17/18
ＪＳＴファイル（ＪＯＩＳ)
ＣＳＤＢ（日本国特許庁)
Claims (6)
- 【請求項１】 入力層、出力層、及び前記入力層と前記
出力層との間に設けられた少なくとも一つの隠れ層を有
し、前記入力層と前記出力層と前記隠れ層との内の隣接
する２つの層に属するニューロンごとにリンクウエイト
が存在し、学習データに基づいた学習により各々のリン
クウエイトが記憶装置内に記憶され、出力計算時には下
層のニューロンの出力と前記記憶装置から読み出された
前記リンクウエイトの値とが積和演算されて上層ニュー
ロンへの入力値として供給され、更に前記入力層はデー
タを入力して入力層データを出力する少なくとも一つ以
上の入力層ニューロンを有し、前記隠れ層は前記入力層
ニューロンで出力された前記入力層データを受ける複数
の隠れ層ニューロンを有するフィードフォワード型ニュ
ーラルネットワークの構築方法において、 複数の学習データの各学習データに対する隠れ層の個々
の前記隠れ層ニューロンの出力を行ベクトルとして表す
段階と、前記行ベクトルを前記学習データの数並べて行
列Ｏ（ｍ×ｎ行列、但しｍは学習データ数，ｎは隠れ層
ニューロンの数）を形成する段階とを有する行列形成過
程と、 前記行列形成過程で形成された行列Ｏを前記隠れ層ニュ
ーロンの数の列ベクトルに分解する列ベクトル形成過程
と、 前記列ベクトル形成過程で形成した前記列ベクトル相互
間で所定数の一次独立性の高い列ベクトルを求める列ベ
クトル選別過程と、 前記列ベクトル選別過程で求めた一次独立性の高い列ベ
クトルに対応した前記隠れ層ニューロンを前記隠れ層の
中に残し、他の隠れ層ニューロンを前記隠れ層から取り
除くニューロン除去過程と、 前記ニューロン除去過程で残った前記隠れ層ニューロン
から成る隠れ層を有するフィードフォワード型ニューラ
ルネットワークの新たなリンクウエイトを決定するリン
クウエイト決定過程とを備えたことを特徴とするフィー
ドフォワード型ニューラルネットワークの構築方法。 - 【請求項２】 前記列ベクトル形成過程は、前記行列Ｏ
を前記隠れ層ニューロンの数ｎ個の列ベクトル（ｍ×１
の列ベクトル）に分解することを特徴とする請求項１記
載のフィードフォワード型ニューラルネットワークの構
築方法。 - 【請求項３】 前記列ベクトル選別過程は、 前記ｎ個の列ベクトルの長さを１にする正規化段階と、 前記ｎ個の列ベクトルの集まりの集合Ｔと空集合Ｓを形
成する集合形成段階と、 前記集合Ｔの中から任意の列ベクトルを一つ取り出し集
合Ｓに入れる列ベクトル移動段階と、 前記集合Ｓ内の前記列ベクトルが張る部分線型空間への
前記集合Ｔ内の前記列ベクトルから下ろした垂線の長さ
を求める垂線計算段階と、 前記垂線のうち一番長い垂線の前記列ベクトルを集合Ｔ
から取り出し集合Ｓに入れる抽出段階とを備え、前記列
ベクトル移動段階と前記垂線計算段階と前記抽出段階と
を所定回数繰り返し、前記集合Ｔ内に残った列ベクトル
に対応した前記隠れ層ニューロンを、前記隠れ層から取
り除くことを特徴とする請求項１乃至請求項２記載のフ
ィードフォワード型ニューラルネットワークの構築方
法。 - 【請求項４】 前記隠れ層ニューロンはシグモイド関
数、 【数１】ｓ（ｘ）＝１／（１＋ｅｘｐ（−ｘ）） を有することを特徴とする請求項１乃至請求項３記載の
フィードフォワード型ニューラルネットワークの構築方
法。 - 【請求項５】 前記入力層ニューロンは次層の全ての前
記隠れ層ニューロンへ結合され、前記隠れ層ニューロン
は次層の全ての前記隠れ層ニューロンもしくは前記出力
層の何れか一方に結合されていることを特徴とする請求
項１乃至請求項４記載のフィードフォワード型ニューラ
ルネットワークの構築方法。 - 【請求項６】 前記各隠れ層ニューロンは、該隠れ層ニ
ューロンに結合される直前の隠れ層ニューロンまたは入
力層ニューロンの何れか一方から出力される値に前記リ
ンクウエイトを掛け合わせて加算し、加算結果に前記各
隠れ層ニューロン毎に依存するバイアスを加算し、続い
てこのバイアス加算結果をシグモイド関数に入力し、そ
の出力結果を次層への出力値とすることを特徴とする請
求項１乃至請求項５記載のフィードフォワード型ニュー
ラルネットワークの構築方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02251894A JP3491317B2 (ja) | 1994-02-21 | 1994-02-21 | フィードフォワード型ニューラルネットワークの構築方法 |
| US08/326,950 US5596681A (en) | 1993-10-22 | 1994-10-21 | Method of determining an optimal number of neurons contained in hidden layers of a neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02251894A JP3491317B2 (ja) | 1994-02-21 | 1994-02-21 | フィードフォワード型ニューラルネットワークの構築方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07230437A JPH07230437A (ja) | 1995-08-29 |
| JP3491317B2 true JP3491317B2 (ja) | 2004-01-26 |
Family
ID=12084998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02251894A Expired - Lifetime JP3491317B2 (ja) | 1993-10-22 | 1994-02-21 | フィードフォワード型ニューラルネットワークの構築方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3491317B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7438517B2 (ja) * | 2019-07-25 | 2024-02-27 | 国立大学法人 和歌山大学 | ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3329806B2 (ja) * | 1990-11-09 | 2002-09-30 | 株式会社日立製作所 | ニューラルネット構築装置 |
| JPH05242062A (ja) * | 1992-02-26 | 1993-09-21 | Matsushita Graphic Commun Syst Inc | ニューラルネット中間層ユニット数の決定方法 |
-
1994
- 1994-02-21 JP JP02251894A patent/JP3491317B2/ja not_active Expired - Lifetime
Non-Patent Citations (5)
| Title |
|---|
| Ｇｏｇｇｉｎ， Ｓ．Ｄ．Ｄ． Ｇｕｓｔａｆｓｏｎ， Ｋ．Ｅ．， ｅｔ．ａｌ．，"Ａｎ Ａｓｙｍｐｔｏｔｉｃ Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ Ａｎａｌｙｓｉｓ ｏｆ Ｎｏｎｌｉｎｅａｒ Ｍｕｌｔｉｌａｙｅｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"，Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｊｏｉｎｔ Ｃｏｎｆ． ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＩＪＣＮＮ’９１），１９９１年，Ｖｏｌ．１，ｐｐ．７８５−７８９ |
| Ｔａｍｕｒａ， Ｓ． Ｔａｔｅｉｓｈｉ， Ｍ．，ｅｔ．ａｌ．，"Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｔｈｅ Ｎｕｍｂｅｒ ｏｆ Ｒｅｄｕｎｄａｎｔ Ｈｉｄｄｅｎ Ｕｎｉｔｓ ｉｎ ａ Ｔｈｒｅｅ−ｌａｙｅｒｅｄ Ｆｅｅｄ−ｆｏｒｗａｒｄ Ｎｅｕｒａｌ・・・"，Ｐｒｏｃ． ｏｆ １９９３ Ｉｎｔ． Ｊｏｉｎｔ Ｃｏｎｆ． ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＩＪＣＮＮ’９３），１９９３年，Ｖｏｌ．１，ｐｐ．３３５−３３８ |
| 増田達也・他，「隠れユニットの合成による階層型ニューラルネットワークのコンパクト構造化」，計測自動制御学会論文集，日本，社団法人計測自動制御学会，１９９２年 ４月３０日，Ｖｏｌ．２８， Ｎｏ．４，ｐｐ．５１９−５２７ |
| 藤田修，「フィードフォワードニューラルネットワークにおける隠れ素子の最適化」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９１年 ３月１８日，Ｖｏｌ．９０， Ｎｏ．４８３（ＮＣ９０−６８〜１１１），ｐｐ．４３−４８ |
| 鹿山昌宏・他，「多層ニューラルネットの最適中間層ニューロン数決定方法」，電気学会論文誌Ｄ，日本，社団法人電気学会，１９９２年１１月２０日，Ｖｏｌ．１１２， Ｎｏ．１１，ｐｐ．１０６４−１０７０ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07230437A (ja) | 1995-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3329806B2 (ja) | ニューラルネット構築装置 | |
| CN113780470B (zh) | 一种基于自适应多通道交叉图卷积网络的图分类方法 | |
| CN109543112A (zh) | 一种基于循环卷积神经网络的序列推荐方法及装置 | |
| US6446054B1 (en) | Fuzzy inference system or adaptive neuro-fuzzy inference system, and intelligent agent for the dynamic generation and retrieval of user interface software modules | |
| CN113516133A (zh) | 一种多模态图像分类方法及系统 | |
| CN114067819A (zh) | 基于跨层相似性知识蒸馏的语音增强方法 | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| Choi et al. | Relevance feedback for content-based image retrieval using the choquet integral | |
| JP2002518925A (ja) | 適応状態空間信号の分離、弁別、回復用アーキテクチャ、及び、動的環境における使用へのそれらの適用 | |
| JP3491317B2 (ja) | フィードフォワード型ニューラルネットワークの構築方法 | |
| US5596681A (en) | Method of determining an optimal number of neurons contained in hidden layers of a neural network | |
| CN116739900A (zh) | 基于对偶注意力网络的高效图像超分辨率重建方法 | |
| JPH07129534A (ja) | 現存するエキスパートシステムを１つ以上のニューラルネットワークを使用するものに変換する方法 | |
| CN115100599A (zh) | 基于掩码transformer的半监督人群场景异常检测方法 | |
| CN109800859B (zh) | 一种神经网络批归一化的优化方法及装置 | |
| CN111475620A (zh) | 一种面向智能问答系统的自然语言推理方法 | |
| CN115294967B (zh) | 一种适用于语音分类的学习模型搜索空间全自动构建方法 | |
| CN116596779B (zh) | 基于Transformer的Raw视频去噪方法 | |
| CN118378593B (zh) | 一种将序列的位置信息添加到文本特征的多通道方法及装置 | |
| CN118098212B (zh) | 一种基于Whisper模型的住院医师临床口试智能评分方法 | |
| CN117972389A (zh) | 基于自注意机制的vae的数据降维方法及预测装置 | |
| JP3328953B2 (ja) | 非線形シナプスニューロン、そのデバイス及びそれを用いた予測方法 | |
| CN116521836A (zh) | 一种基于动态路由和答案投票的生物医学抽取式问答方法 | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク | |
| JP3389684B2 (ja) | ニューラルネットワークの学習方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031014 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101114 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |