JPH08272759A - 相関信号処理用ニューラルネットワークの実行スピードアップの方法 - Google Patents
相関信号処理用ニューラルネットワークの実行スピードアップの方法Info
- Publication number
- JPH08272759A JPH08272759A JP8091745A JP9174596A JPH08272759A JP H08272759 A JPH08272759 A JP H08272759A JP 8091745 A JP8091745 A JP 8091745A JP 9174596 A JP9174596 A JP 9174596A JP H08272759 A JPH08272759 A JP H08272759A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- quant
- neurons
- input
- activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
- Feedback Control In General (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
(57)【要約】
【課題】 相関信号処理用ニューラルネットワークの実
行スピードをアップする方法を提供すること。 【解決手段】 本方法により、例えば音声、レーダー、
ソナー、ビデオ信号のような時間的にゆっくりと変化す
る入力信号を処理するためのニューラルネットワークの
大部分で実行スピードがアップでき、さらに専門の高価
な、又は入手の困難なハードウエアーを必要としない。
本方法では、ネットワークの少なくとも一つのレベルに
おけるニューロンに対し、ある時間に活性化値を記憶し
てその次の時間に計算された値と比較することを要求す
る。もし活性化値が等しければ、ニューロンは活動せ
ず、そうでなければ、活性化値の差に相互連結重みを掛
けたものを接続されたニューロンに伝える。
行スピードをアップする方法を提供すること。 【解決手段】 本方法により、例えば音声、レーダー、
ソナー、ビデオ信号のような時間的にゆっくりと変化す
る入力信号を処理するためのニューラルネットワークの
大部分で実行スピードがアップでき、さらに専門の高価
な、又は入手の困難なハードウエアーを必要としない。
本方法では、ネットワークの少なくとも一つのレベルに
おけるニューロンに対し、ある時間に活性化値を記憶し
てその次の時間に計算された値と比較することを要求す
る。もし活性化値が等しければ、ニューロンは活動せ
ず、そうでなければ、活性化値の差に相互連結重みを掛
けたものを接続されたニューロンに伝える。
Description
【０００１】
【発明の属する技術分野】本発明は自動信号認識システ
ムに係り、特に相関信号を処理するニューラルネットワ
ークの実行スピードアップの方法に関する。
ムに係り、特に相関信号を処理するニューラルネットワ
ークの実行スピードアップの方法に関する。
【０００２】
【従来の技術】ニューラルネットワークは、極端に単純
化した形式の大脳皮質組織を再現する並列処理モデルで
ある。ニューラルネットワークは、ニューロンとして知
られている複数の処理ユニットを含み、これらのニュー
ロンは、シナプス又は相互連結重みと称されている種々
の強度のリンクにより強く相互連結される。一般に、ニ
ューロンは、入力レベル、１又は１以上の中間レベル、
及び出力レベルを有する多層構造に沿って配される。ま
ず、処理される信号を受け取る入力ユニットでは、処理
がネットワークの後続のレベルに伝わって、そしてそれ
は結果を出力する出力ユニットまで伝わる。ニューラル
ネットワークはプログラミングされていないが、モデル
化されるべき現象の一連の例により訓練される。ニュー
ラルネットワークの種々の実施例が、例えばD.ラメルハ
ート(Rumelhart) 著、「並列分散処理(Parallel Distri
buted Processing) 」、創刊第１巻、MIT Press 、Camb
ridge 、Mass. 、１９８６年の著書に記載されている。
ニューラルネットワーク技術は、処理能力及び処理速度
の十分な手段が存在しないことから生じる幾つかの問題
を依然として抱えてはいるが、関数評価、音声と映像信
号の処理や分類、自動制御、予測、及び最適化のような
多くの分野に適用可能である。周知のように、ニューラ
ルネットワークがシーケンシャル・プロセッサー上での
エミュレーションにより実行されるときには、そのニュ
ーラルネットワークの実行は非常に遅くなり、特にネッ
トワークが無数の重みを必要とする場合はそうである。
もし、例えば音声、映像、ソナー、又はレーダー信号の
ような時間的に連続して変わる信号をリアルタイムで処
理する必要が生じれば、この技術の使用はさらに困難な
ものとなる。
化した形式の大脳皮質組織を再現する並列処理モデルで
ある。ニューラルネットワークは、ニューロンとして知
られている複数の処理ユニットを含み、これらのニュー
ロンは、シナプス又は相互連結重みと称されている種々
の強度のリンクにより強く相互連結される。一般に、ニ
ューロンは、入力レベル、１又は１以上の中間レベル、
及び出力レベルを有する多層構造に沿って配される。ま
ず、処理される信号を受け取る入力ユニットでは、処理
がネットワークの後続のレベルに伝わって、そしてそれ
は結果を出力する出力ユニットまで伝わる。ニューラル
ネットワークはプログラミングされていないが、モデル
化されるべき現象の一連の例により訓練される。ニュー
ラルネットワークの種々の実施例が、例えばD.ラメルハ
ート(Rumelhart) 著、「並列分散処理(Parallel Distri
buted Processing) 」、創刊第１巻、MIT Press 、Camb
ridge 、Mass. 、１９８６年の著書に記載されている。
ニューラルネットワーク技術は、処理能力及び処理速度
の十分な手段が存在しないことから生じる幾つかの問題
を依然として抱えてはいるが、関数評価、音声と映像信
号の処理や分類、自動制御、予測、及び最適化のような
多くの分野に適用可能である。周知のように、ニューラ
ルネットワークがシーケンシャル・プロセッサー上での
エミュレーションにより実行されるときには、そのニュ
ーラルネットワークの実行は非常に遅くなり、特にネッ
トワークが無数の重みを必要とする場合はそうである。
もし、例えば音声、映像、ソナー、又はレーダー信号の
ような時間的に連続して変わる信号をリアルタイムで処
理する必要が生じれば、この技術の使用はさらに困難な
ものとなる。
【０００３】この問題に対する周知の解決策には、３つ
の方法が採られる。一つの方法は、重みやユニットの不
要な部分を取り除いてネットワークを軽くすることを狙
ったものである。これは、例えばR.リード(Reed)著、
「アルゴリズム軽減−サーベイ(Pruning Algorithms -
A Survey) 」、ニューラルネットワークについてのIEEE
会報、第４巻、第５号、１９９３年に記載されている。
しかしながら、性能を低下させずに削減できる重みやユ
ニットの数は通常は非常に制限されるので、これらの方
法の効果には限度がある。二番目の方法は、ＶＬＳＩチ
ップ本来の並列化能力を用いることにより、そのチップ
上にニューラルネットワークを実現することに基づいて
いる。この方法は潜在的には非常に有望であるが、まだ
十分に完成されたものではない。この方法は、そのため
の専用ハードウエアーも使用しなければならず、これは
しばしば非常に高価であり、商用プロセッサーに組み込
むのは容易でない。三番目の方法は、種々のプロセッサ
ーの中にニューラルネットワークの実行を分散させるこ
とにより、マルチプロセッサー型の専用ハードウエアー
を用いるものである。前のケースのように、この解決策
も標準的でないハードウエアーが必要であり、これは高
価でパーソナルコンピューターやワークステーションの
ような商用プラットホームに組み込むのは困難である。
の方法が採られる。一つの方法は、重みやユニットの不
要な部分を取り除いてネットワークを軽くすることを狙
ったものである。これは、例えばR.リード(Reed)著、
「アルゴリズム軽減−サーベイ(Pruning Algorithms -
A Survey) 」、ニューラルネットワークについてのIEEE
会報、第４巻、第５号、１９９３年に記載されている。
しかしながら、性能を低下させずに削減できる重みやユ
ニットの数は通常は非常に制限されるので、これらの方
法の効果には限度がある。二番目の方法は、ＶＬＳＩチ
ップ本来の並列化能力を用いることにより、そのチップ
上にニューラルネットワークを実現することに基づいて
いる。この方法は潜在的には非常に有望であるが、まだ
十分に完成されたものではない。この方法は、そのため
の専用ハードウエアーも使用しなければならず、これは
しばしば非常に高価であり、商用プロセッサーに組み込
むのは容易でない。三番目の方法は、種々のプロセッサ
ーの中にニューラルネットワークの実行を分散させるこ
とにより、マルチプロセッサー型の専用ハードウエアー
を用いるものである。前のケースのように、この解決策
も標準的でないハードウエアーが必要であり、これは高
価でパーソナルコンピューターやワークステーションの
ような商用プラットホームに組み込むのは困難である。
【０００４】
【発明が解決しようとする課題】上述の欠点は、本発明
による、相関信号処理用ニューラルネットワークの実行
スピードをアップする方法により取り除かれる。本方法
により、例えば音声、レーダー、ソナー、映像信号のよ
うな時間的にゆっくりと変化するシーケンシャル入力信
号を処理するワイドクラスのニューラルネットワークの
実行スピードをアップでき、専門の高価な又は入手の困
難なハードウエアーを必要としない。特に、本発明の目
的は、請求項１の特徴を述べた部分に記載のように、相
関信号処理用ニューラルネットワークの実行スピードを
アップする方法を提供することである。
による、相関信号処理用ニューラルネットワークの実行
スピードをアップする方法により取り除かれる。本方法
により、例えば音声、レーダー、ソナー、映像信号のよ
うな時間的にゆっくりと変化するシーケンシャル入力信
号を処理するワイドクラスのニューラルネットワークの
実行スピードをアップでき、専門の高価な又は入手の困
難なハードウエアーを必要としない。特に、本発明の目
的は、請求項１の特徴を述べた部分に記載のように、相
関信号処理用ニューラルネットワークの実行スピードを
アップする方法を提供することである。
【０００５】
【課題を解決するための手段】本発明のこれらの及びそ
の他の特徴は、非制限的な例により単に与えられた本発
明の好適実施例の以下の記載により、及び添付の図面に
よりより明瞭にされるであろう。
の他の特徴は、非制限的な例により単に与えられた本発
明の好適実施例の以下の記載により、及び添付の図面に
よりより明瞭にされるであろう。
【０００６】
【発明の実施の形態】本方法は、以下の考えに基づいて
いる。つまり、入力信号はシーケンシャルであり時間的
にゆっくりと連続的に変わっていくので、各入力に対し
て全ニューロンの活性化値全部を再度計算する必要はな
く、前の入力に対する差をネットワークを介して送るこ
とで十分である。即ち、動作において、時間ｔでのニュ
ーロン活性化値の絶対値を考慮せず、時間ｔ−１の活性
化値に対する差を考慮すればよい。従って、ネットワー
クのどの地点でも、もしニューロンが時間ｔ−１での活
性化値に十分近い（好ましくは同じ）活性化値を時間ｔ
に有していれば、ニューロンは何も信号を送らない。ネ
ットワークの実行は、シナプスの重みで平均化された各
ニューロンの活性化値を後続のニューロンに送るという
基本動作に基づいているので、活性化レベルのかなりの
変化が起こるニューロンにのみそのような活動を制限す
ることが極めて重要であることは容易に理解される。こ
の考えを利用することにより、ニューラルネットワーク
の実行は重要な活性化値の差を伝送することによりスピ
ードアップでき、このことにより、音声認識ならば実行
時間の２／３まで短縮できる。この方法では予備メモリ
を非常にわずかしか必要とせず、実験的に確かめられた
のであるが、大きな性能の低下は起こらない。
いる。つまり、入力信号はシーケンシャルであり時間的
にゆっくりと連続的に変わっていくので、各入力に対し
て全ニューロンの活性化値全部を再度計算する必要はな
く、前の入力に対する差をネットワークを介して送るこ
とで十分である。即ち、動作において、時間ｔでのニュ
ーロン活性化値の絶対値を考慮せず、時間ｔ−１の活性
化値に対する差を考慮すればよい。従って、ネットワー
クのどの地点でも、もしニューロンが時間ｔ−１での活
性化値に十分近い（好ましくは同じ）活性化値を時間ｔ
に有していれば、ニューロンは何も信号を送らない。ネ
ットワークの実行は、シナプスの重みで平均化された各
ニューロンの活性化値を後続のニューロンに送るという
基本動作に基づいているので、活性化レベルのかなりの
変化が起こるニューロンにのみそのような活動を制限す
ることが極めて重要であることは容易に理解される。こ
の考えを利用することにより、ニューラルネットワーク
の実行は重要な活性化値の差を伝送することによりスピ
ードアップでき、このことにより、音声認識ならば実行
時間の２／３まで短縮できる。この方法では予備メモリ
を非常にわずかしか必要とせず、実験的に確かめられた
のであるが、大きな性能の低下は起こらない。
【０００７】
【実施例】図１は、既述のD.ラメルハート著、「並列分
散処理」なる著書に記載されたものと同様の多層知覚ニ
ューラルネットワーク(Multi-layer Perception neural
network) を示す。ネットワーク入力は、時間的にサン
プリングされた信号であり、ネットワークの出力は、例
えば入力信号の分類のような所望の処理に対応した値で
ある。中間及び出力レベルの各ニューロンは、次式 net
i = Σj ｏj ｗij［ｗijはニューロンｊをニューロンｉ
に連結する重み］により、低いレベルのニューロンの活
性化値ｏj に連結重みｗijを掛けた積の総和としての総
入力 neti を計算する。次に、ニューロンは、次式
散処理」なる著書に記載されたものと同様の多層知覚ニ
ューラルネットワーク(Multi-layer Perception neural
network) を示す。ネットワーク入力は、時間的にサン
プリングされた信号であり、ネットワークの出力は、例
えば入力信号の分類のような所望の処理に対応した値で
ある。中間及び出力レベルの各ニューロンは、次式 net
i = Σj ｏj ｗij［ｗijはニューロンｊをニューロンｉ
に連結する重み］により、低いレベルのニューロンの活
性化値ｏj に連結重みｗijを掛けた積の総和としての総
入力 neti を計算する。次に、ニューロンは、次式
【数１】 ［θi はニューロンｉの定数］により、総入力の非線形
関数として活性化値ｏiを計算する。この非線形関数は
Ｓ字状であり、
関数として活性化値ｏiを計算する。この非線形関数は
Ｓ字状であり、
【数 2】 型であり、０から１の間の値を有する。
【０００８】図２は、一つのニューロンｉとその先の連
結及びスピードアップ方法に求められるメモリ構造M
1i 、M2i を示す。ニューロンはその連結に沿って活性
化値の差を送る。M1i は従来のニューラルネットワーク
と同様に時間ｔでの活性化値ｏi(t) を含み、M2i はそ
の前の時間ｔ−１での値ｏi (t-1) を含む。ネットワー
ク内のその他のニューロンも同様のメモリ構造を有し、
例えばニューロンｋに対してはM1k 、M2k と記する。図
３は、ニューロンのＳ字状伝達関数の出力値の組（出力
領域）の量子化を示す。この目的は、ニューロンの活性
化レベルを量子化し、それにより時間ｔとｔ−１での活
性化値の類似条件を認識して信号を伝送しないようにす
ることである。好ましくは、時間ｔとｔ−１での量子化
値が同一ならば、ニューロンはどんな信号も伝送しな
い。このことにより、ネットワークの実行スピードをア
ップする基本動作が達成される。
結及びスピードアップ方法に求められるメモリ構造M
1i 、M2i を示す。ニューロンはその連結に沿って活性
化値の差を送る。M1i は従来のニューラルネットワーク
と同様に時間ｔでの活性化値ｏi(t) を含み、M2i はそ
の前の時間ｔ−１での値ｏi (t-1) を含む。ネットワー
ク内のその他のニューロンも同様のメモリ構造を有し、
例えばニューロンｋに対してはM1k 、M2k と記する。図
３は、ニューロンのＳ字状伝達関数の出力値の組（出力
領域）の量子化を示す。この目的は、ニューロンの活性
化レベルを量子化し、それにより時間ｔとｔ−１での活
性化値の類似条件を認識して信号を伝送しないようにす
ることである。好ましくは、時間ｔとｔ−１での量子化
値が同一ならば、ニューロンはどんな信号も伝送しな
い。このことにより、ネットワークの実行スピードをア
ップする基本動作が達成される。
【０００９】ここで、ニューラルネットワークの実行ス
ピードをアップする方法を詳細に説明する。本方法で
は、時間ｔ−１でのニューロンの活性化値を記憶し、そ
の値を時間ｔで計算された活性化値と比較する必要があ
る。もし活性化値の差が所定の閾値よりも小さければ
（好ましくは同じならば）、ニューロンは何も行わず、
そうでなければ、相互連結重みを掛けた活性化値差をそ
の連結されたニューロンに伝送する。ニューロンの活性
化値は、入力の非線形連続関数（通常はＳ字状の
ピードをアップする方法を詳細に説明する。本方法で
は、時間ｔ−１でのニューロンの活性化値を記憶し、そ
の値を時間ｔで計算された活性化値と比較する必要があ
る。もし活性化値の差が所定の閾値よりも小さければ
（好ましくは同じならば）、ニューロンは何も行わず、
そうでなければ、相互連結重みを掛けた活性化値差をそ
の連結されたニューロンに伝送する。ニューロンの活性
化値は、入力の非線形連続関数（通常はＳ字状の
【数３】 型）であるので、活性化値が一致する条件が実際に認識
されるように、そのような関数の出力領域を所定の個数
の値に量子化する必要がある（図３）。量子化は一般に
は中間レベルのニューロンに対して行われ、その結果、
スピードアップはそのようなレベルに関して生じる。Ｓ
字状関数の出力領域のこの量子化により、一種の量子化
ノイズがネットワークに混入する。しかし、情報は広く
分散しているので、このエラーは十分に補償され、大き
な性能の低下を引き起こさない。明らかに、量子化値の
数は経験的に概算されなければならない。それが小さけ
れば、本方法はより加速されるが、性能の低下を避ける
ために過度に小さくはできない。約50,000から100,000
重みの現実的な多層知覚ネットワークの場合、量子化値
の数は約２５から約５０まで変わり得る。
されるように、そのような関数の出力領域を所定の個数
の値に量子化する必要がある（図３）。量子化は一般に
は中間レベルのニューロンに対して行われ、その結果、
スピードアップはそのようなレベルに関して生じる。Ｓ
字状関数の出力領域のこの量子化により、一種の量子化
ノイズがネットワークに混入する。しかし、情報は広く
分散しているので、このエラーは十分に補償され、大き
な性能の低下を引き起こさない。明らかに、量子化値の
数は経験的に概算されなければならない。それが小さけ
れば、本方法はより加速されるが、性能の低下を避ける
ために過度に小さくはできない。約50,000から100,000
重みの現実的な多層知覚ネットワークの場合、量子化値
の数は約２５から約５０まで変わり得る。
【００１０】ここで、入力ニューロンｊ、中間ニューロ
ンｍ、及び出力ニューロンｋについてサイクルに再分割
された、ある時間ｔでのニューラルネットワークの実行
を詳細に説明する。 Ａ）入力ニューロンのサイクル １．全ての入力ニューロンｊに対して、以下のステップ
が実行される。 １．１ 前の活性化値ｏj (t-1) を記憶した後、時間ｔ
に量子化された信号のjth値に等しい入力ニューロンの
活性化値ｏj (t) が定められる。 １．２ ニューロンｊから到達した各中間ニューロンｍ
に対して、総入力 netm が、差ｏj (t)-ｏj (t-1) に相
互結合重みｗmjを掛けて得られる入力ニューロンｊの寄
与分だけ増加される。 Ｂ）中間ニューロンのサイクル ２．全ての中間ニューロンｍに対して、以下のステップ
が行われる。 ２．１ 前の量子化活性化値ｏm quant (t-1) を記憶し
た後、量子化された活性化値が次式ｏm quant = ｆ
quant (netm ) により計算される。ここで、ｆ
quant (x) は出力領域上で量子化されたＳ字状関数であ
る。 ２．２ もしｏm quant (t)=ｏm quant (t-1) ならば、
ニューロンｍに対しては何も行われず、次のニューロン
が考慮され、そのことにより基本的なスピードアップ動
作が為される。ｏm quant (t)=ｏm quant (t-1) でなけ
れば、差が伝送される。 ２．３ ニューロンｍから到達した各ニューロンｋに対
して、総入力 netk は、ニューロンｍからの寄与分だけ
増加される。この寄与分は、差ｏm quant (t)-ｏm
quant (t-1) に相互連結重みｗkmを掛けたものに等し
い。 Ｃ）出力ニューロンのサイクル ３．全ての出力ニューロンｋに対して、正確な活性化値
が次式ｏk = ｆ(netk) ［f(x)はＳ字状］により計算さ
れる。 この方法は、相関入力信号の全サンプル値に対して開始
時間ｔ＝１から終了時間ｔ＝Ｔまで繰り返される。ここ
で、Ｔはサンプル入力信号の要素数である。差伝播機構
においては、各ニューロンの定数θは開始時に定めら
れ、それ以後は決して変更されないのであるから、信号
のネットワークを作る前に、値 neti はネットワーク内
の各ニューロンに対してθi に初期化される。
ンｍ、及び出力ニューロンｋについてサイクルに再分割
された、ある時間ｔでのニューラルネットワークの実行
を詳細に説明する。 Ａ）入力ニューロンのサイクル １．全ての入力ニューロンｊに対して、以下のステップ
が実行される。 １．１ 前の活性化値ｏj (t-1) を記憶した後、時間ｔ
に量子化された信号のjth値に等しい入力ニューロンの
活性化値ｏj (t) が定められる。 １．２ ニューロンｊから到達した各中間ニューロンｍ
に対して、総入力 netm が、差ｏj (t)-ｏj (t-1) に相
互結合重みｗmjを掛けて得られる入力ニューロンｊの寄
与分だけ増加される。 Ｂ）中間ニューロンのサイクル ２．全ての中間ニューロンｍに対して、以下のステップ
が行われる。 ２．１ 前の量子化活性化値ｏm quant (t-1) を記憶し
た後、量子化された活性化値が次式ｏm quant = ｆ
quant (netm ) により計算される。ここで、ｆ
quant (x) は出力領域上で量子化されたＳ字状関数であ
る。 ２．２ もしｏm quant (t)=ｏm quant (t-1) ならば、
ニューロンｍに対しては何も行われず、次のニューロン
が考慮され、そのことにより基本的なスピードアップ動
作が為される。ｏm quant (t)=ｏm quant (t-1) でなけ
れば、差が伝送される。 ２．３ ニューロンｍから到達した各ニューロンｋに対
して、総入力 netk は、ニューロンｍからの寄与分だけ
増加される。この寄与分は、差ｏm quant (t)-ｏm
quant (t-1) に相互連結重みｗkmを掛けたものに等し
い。 Ｃ）出力ニューロンのサイクル ３．全ての出力ニューロンｋに対して、正確な活性化値
が次式ｏk = ｆ(netk) ［f(x)はＳ字状］により計算さ
れる。 この方法は、相関入力信号の全サンプル値に対して開始
時間ｔ＝１から終了時間ｔ＝Ｔまで繰り返される。ここ
で、Ｔはサンプル入力信号の要素数である。差伝播機構
においては、各ニューロンの定数θは開始時に定めら
れ、それ以後は決して変更されないのであるから、信号
のネットワークを作る前に、値 neti はネットワーク内
の各ニューロンに対してθi に初期化される。
【００１１】
【発明の効果】本方法の主な利点は以下の通りである。 ａ．最適化はネットワーク構築の概念的変更によるもの
であり、ソフトウエアー最適化によるものではない。従
って、この利点は実際的であり、どんなハードウエアー
のプラットホームにも（ＤＳＰプロセッサーにも）置き
換えられる。 ｂ．追加メモリの使用は、ネットワークユニットの数、
即ちニューロンの数のオーダーに関係し、重みのオーダ
ーには関係ないので、大いに限定される。 ｃ．Ｓ字状関数の出力領域の量子化ステップを適切に選
択することにより、大きな性能低下もなしに実行時間を
顕著に減少できる。 ｄ．本方法は、連続的にゆっくりと変化するシーケンシ
ャル入力（例えば、音声、映像、ソナー、医療信号）の
全ての場合に適用できる。 ｅ．入力信号の完全で連続的な変化の最悪の場合にも、
本方法は大きな追加費用を必要とすることなく、ニュー
ラルネットワークの標準的な実行の制限ケースに収束す
る。 これまで記載されてきたことが、非制限的な例により純
粋に与えられていることは明白である。変化や修正が、
本発明の範囲を逸脱することなく可能である。
であり、ソフトウエアー最適化によるものではない。従
って、この利点は実際的であり、どんなハードウエアー
のプラットホームにも（ＤＳＰプロセッサーにも）置き
換えられる。 ｂ．追加メモリの使用は、ネットワークユニットの数、
即ちニューロンの数のオーダーに関係し、重みのオーダ
ーには関係ないので、大いに限定される。 ｃ．Ｓ字状関数の出力領域の量子化ステップを適切に選
択することにより、大きな性能低下もなしに実行時間を
顕著に減少できる。 ｄ．本方法は、連続的にゆっくりと変化するシーケンシ
ャル入力（例えば、音声、映像、ソナー、医療信号）の
全ての場合に適用できる。 ｅ．入力信号の完全で連続的な変化の最悪の場合にも、
本方法は大きな追加費用を必要とすることなく、ニュー
ラルネットワークの標準的な実行の制限ケースに収束す
る。 これまで記載されてきたことが、非制限的な例により純
粋に与えられていることは明白である。変化や修正が、
本発明の範囲を逸脱することなく可能である。
【図１】多層知覚ニューラルネットワークを示す。
【図２】個々のニューロンｉをその先の連結と共に示
す。
す。
【図３】ニューロンのＳ字状伝達関数の出力領域の量子
化を示す。
化を示す。
ｉ、ｊ、ｋ ニューロン ｗij、ｗki 重み Ｍ１k 、Ｍ２k メモリ Ｍ１i 、Ｍ２i メモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ダリオ・アルベサノ イタリー国ヴエナリア（トリノ）、ヴイ ア・エル・ダ・ヴインチ 55 (72)発明者 ロベルト・ジエメロ イタリー国トリノ、ヴイア・ソスペロ 173／１ (72)発明者 フランコ・マナ イタリー国トリノ、ヴイア・チヤムベリー 93／115シー
Claims (6)
- 【請求項１】 相関信号処理用ニューラルネットワーク
の実行をスピードアップする方法であって、該ネットワ
ークは底レベルから最上レベルまで、即ち入力レベル、
１又は１より多い中間レベル、及び出力レベルから成る
層構造により構成されたニューロンにより作られ、一つ
のレベルにあるニューロンは、異なる強度（シナプス重
み）のリンクにより直ぐ上のレベルのニューロンに連結
しており、あるサンプリング時間ｔでのニューラルネッ
トワークの実行は、少なくとも一つ又は複数の中間レベ
ルのニューロンに対して、 − 時間ｔでのニューロンの活性化値を計算し記憶する
ステップ、 − 時間ｔでの活性化値とその前のサンプリング時間ｔ
−１での活性化値を比較して、それらの値の差を計算す
るステップ、及び − 前記差が所与の閾値を越えるときのみ、直ぐ上の層
のニューロンとのリンクのシナプス重みにより重み付け
された前記差を、直ぐ上の層のニューロンに向けて送る
ステップを含むことを特徴とする上記方法。 - 【請求項２】 前記少なくとも一つのレベルでは、活性
化値が量子化され、前記比較がその量子化された値につ
いて実行され、そして時間ｔ及びｔ−１での量子化され
た値が同じでないときに、活性化値の差が伝えられるこ
とを特徴とする請求項１に記載の方法。 - 【請求項３】 時間ｔでのニューラルネットワークの実
行が、 ａ）全ての入力ニューロンｊに対して、 ａ１）前の活性化値 oj (t-1) を記憶した後、時間ｔで
量子化された信号の jth値に等しい入力ニューロンの活
性化値 oj (t) を定めるステップ、 ａ２）ニューロンｊから到達した各中間ニューロンｍに
対して、入力ニューロンｊからの寄与分だけ総入力 net
m を増加するステップであって、前記寄与分は差oj (t)
-oj (t-1) に相互連結重みｗmjを掛けたものに等しいス
テップ、 ｂ）全ての中間ニューロンｍに対して、 ｂ１）量子化された前の活性化値 om quant (t-1) を記
憶した後、次式 om quant = f quant (netm ) [fquant
(x) は、出力領域で量子化されたＳ字状関数である］に
より量子化された活性化値を計算するステップ、 ｂ２）もし量子化された活性化値 om quant (t) が om
quant (t) = om quant (t-1) ならば、ニューロンｍに
対しては操作を行わず、次のニューロンに送るステッ
プ、 ｂ３）ニューロンｍから到達した各ニューロンｋに対し
て、ニューロンｍからの寄与分だけ総入力 netk を増加
するステップであって、前記寄与分は差 om quant (t)
- om quant (t-1) に相互連結重みｗkmを掛けたものに
等しいステップ、 ｃ）全ての出力ニューロンｋに対して、次式 ok = f(n
etk ) [f(x) はＳ字状関数］により正確な活性化値を計
算するステップを含むことを特徴とする請求項１又は２
に記載の方法。 - 【請求項４】 相関入力信号の全サンプル値に対して繰
り返される、請求項３に記載の方法。 - 【請求項５】 信号に対するネットワーク実行の開始前
に、各ネットワークニューロンに対して neti = θ
i ［θi は各ニューロンに対して定数であり、その値は
初めに定められ、後には変化しない。］と設定すること
により入力が初期化されることを特徴とする請求項３に
記載の方法。 - 【請求項６】 Ｓ字状関数の出力領域が２５から５０の
範囲の量子化ステップで量子化されることを特徴とする
請求項３に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT95TO000216A IT1280816B1 (it) | 1995-03-22 | 1995-03-22 | Metodo per velocizzare l'esecuzione di reti neurali per il trattamento di segnali correlati. |
| IT95A000216 | 1995-03-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08272759A true JPH08272759A (ja) | 1996-10-18 |
Family
ID=11413390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8091745A Pending JPH08272759A (ja) | 1995-03-22 | 1996-03-22 | 相関信号処理用ニューラルネットワークの実行スピードアップの方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5742739A (ja) |
| EP (1) | EP0733982B1 (ja) |
| JP (1) | JPH08272759A (ja) |
| CA (1) | CA2172199C (ja) |
| DE (2) | DE69602662T2 (ja) |
| IT (1) | IT1280816B1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017149722A1 (ja) * | 2016-03-03 | 2017-09-08 | 三菱電機株式会社 | 演算装置および演算方法 |
| WO2020240687A1 (ja) * | 2019-05-28 | 2020-12-03 | 株式会社ソシオネクスト | 演算処理方法、演算処理装置及びプログラム |
| JP2021192322A (ja) * | 2016-07-13 | 2021-12-16 | 三星電子株式会社Samsung Electronics Co., Ltd. | ニューラルネットワークのための方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6516309B1 (en) * | 1998-07-17 | 2003-02-04 | Advanced Research & Technology Institute | Method and apparatus for evolving a neural network |
| ITTO20020170A1 (it) | 2002-02-28 | 2003-08-28 | Loquendo Spa | Metodo per velocizzare l'esecuzione di reti neurali per il riconoscimento della voce e relativo dispositivo di riconoscimento vocale. |
| ATE545130T1 (de) * | 2002-12-23 | 2012-02-15 | Loquendo Spa | Verfahren zur optimierung der durchführung eines neuronalen netzwerkes in einem spracherkennungssystem durch bedingtes überspringen einer variablen anzahl von zeitfenstern |
| US9627532B2 (en) * | 2014-06-18 | 2017-04-18 | Nuance Communications, Inc. | Methods and apparatus for training an artificial neural network for use in speech recognition |
| CN105306779A (zh) * | 2015-10-27 | 2016-02-03 | 西安电子科技大学 | 基于压缩感知和索引置乱的图像加密方法 |
| DE102017206892A1 (de) * | 2017-03-01 | 2018-09-06 | Robert Bosch Gmbh | Neuronalnetzsystem |
| US11030518B2 (en) * | 2018-06-13 | 2021-06-08 | United States Of America As Represented By The Secretary Of The Navy | Asynchronous artificial neural network architecture |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02207369A (ja) * | 1989-02-08 | 1990-08-17 | Hitachi Ltd | ニューラルネットワーク計算機 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5313558A (en) * | 1991-08-13 | 1994-05-17 | Adams James L | System for spatial and temporal pattern learning and recognition |
| DE4224621C2 (de) * | 1992-07-25 | 1994-05-05 | Boehringer Mannheim Gmbh | Verfahren zur Analyse eines Bestandteils einer medizinischen Probe mittels eines automatischen Analysegerätes |
| US5559811A (en) * | 1994-09-14 | 1996-09-24 | Lucent Technologies Inc. | Method for identifying untestable and redundant faults in sequential logic circuits. |
-
1995
- 1995-03-22 IT IT95TO000216A patent/IT1280816B1/it active IP Right Grant
-
1996
- 1996-02-28 US US08/608,480 patent/US5742739A/en not_active Expired - Lifetime
- 1996-03-20 DE DE69602662T patent/DE69602662T2/de not_active Expired - Lifetime
- 1996-03-20 CA CA002172199A patent/CA2172199C/en not_active Expired - Lifetime
- 1996-03-20 EP EP96104445A patent/EP0733982B1/en not_active Expired - Lifetime
- 1996-03-20 DE DE0733982T patent/DE733982T1/de active Pending
- 1996-03-22 JP JP8091745A patent/JPH08272759A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02207369A (ja) * | 1989-02-08 | 1990-08-17 | Hitachi Ltd | ニューラルネットワーク計算機 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017149722A1 (ja) * | 2016-03-03 | 2017-09-08 | 三菱電機株式会社 | 演算装置および演算方法 |
| JP2021192322A (ja) * | 2016-07-13 | 2021-12-16 | 三星電子株式会社Samsung Electronics Co., Ltd. | ニューラルネットワークのための方法 |
| WO2020240687A1 (ja) * | 2019-05-28 | 2020-12-03 | 株式会社ソシオネクスト | 演算処理方法、演算処理装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2172199A1 (en) | 1996-09-23 |
| DE69602662D1 (de) | 1999-07-08 |
| ITTO950216A1 (it) | 1996-09-22 |
| US5742739A (en) | 1998-04-21 |
| IT1280816B1 (it) | 1998-02-11 |
| CA2172199C (en) | 1999-07-20 |
| EP0733982B1 (en) | 1999-06-02 |
| ITTO950216A0 (it) | 1995-03-22 |
| EP0733982A1 (en) | 1996-09-25 |
| DE69602662T2 (de) | 1999-11-18 |
| DE733982T1 (de) | 1997-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sakr et al. | Analytical guarantees on numerical precision of deep neural networks | |
| US5095443A (en) | Plural neural network system having a successive approximation learning method | |
| EP0454037B1 (en) | Neural network for processing a plurality of informations and learning method | |
| JP6272784B2 (ja) | スパイキングニューラル計算のための方法および装置 | |
| US4912647A (en) | Neural network training tool | |
| EP2812855A1 (en) | Methods and apparatus for spiking neural computation | |
| EP2812854A1 (en) | Methods and apparatus for spiking neural computation | |
| JPH08272759A (ja) | 相関信号処理用ニューラルネットワークの実行スピードアップの方法 | |
| CN112085198A (zh) | 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 | |
| KR100306848B1 (ko) | 신경회로망을 이용한 선택적 주의집중 방법 | |
| GB2245401A (en) | Neural network signal processor | |
| JPH09128359A (ja) | レカレントニューラルネットの学習方法 | |
| CN115546556A (zh) | 用于图像分类的脉冲神经网络的训练方法 | |
| Back et al. | An adaptive lattice architecture for dynamic multilayer perceptrons | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP7386462B2 (ja) | 演算装置および学習済みモデル | |
| Al-Allaf | Removing noise from speech signals using different approaches of artificial neural networks | |
| KR20210146002A (ko) | 다층 스파이킹 뉴럴 네트워크의 학습 방법 및 장치 | |
| Guo et al. | Temporal difference learning applied to sequential detection | |
| JPH02231670A (ja) | ニューラル・ネットワークの学習装置 | |
| Lawrence et al. | The gamma MLP-using multiple temporal resolutions for improved classification | |
| US20230085043A1 (en) | Utilizing hidden state sharing modules to prevent catastrophic forgetting | |
| US20240112025A1 (en) | Method for spiking neural network computation learning based temporal coding and system thereof | |
| JPH05204885A (ja) | ニューラルネットワークの学習高速化装置及び方法 | |
| Feldbusch et al. | Simulation of spiking neural nets with inspire me |