JPH07191950A - 計算ネットワーク - Google Patents
計算ネットワークInfo
- Publication number
- JPH07191950A JPH07191950A JP6299020A JP29902094A JPH07191950A JP H07191950 A JPH07191950 A JP H07191950A JP 6299020 A JP6299020 A JP 6299020A JP 29902094 A JP29902094 A JP 29902094A JP H07191950 A JPH07191950 A JP H07191950A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- network
- output
- inputs
- computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】
【目的】 ニューラルネットワークにおいて、応答時間
を改善し、広範な応用可能性を有する巨大ネットワーク
を構築すること。 【構成】 ノード出力は、Ｓ２n（ここで、ｎは整数で
あり、Ｓは＋１又は−１である）の値に打切られる。こ
れにより、順方向伝播中は、乗算演算ではなく簡単なシ
フト演算によりノード出力と重みとの積を生成すること
ができる。ニューラルネットワーク全体で乗算演算の代
わりにシフト演算を使用することにより応答時間を改善
し、広範な応用可能性を有する巨大ネットワークを構築
することができる。逆方向伝播の効率を高めることによ
っても学習が改善される。逆方向伝播に含まれる乗算は
各ノードに伴う誤差を打切ることによりシフト演算に変
えられる。これにより、誤差はＳ２n（ここで、ｎは整
数であり、Ｓは＋１又は−１である）として表示され
る。
を改善し、広範な応用可能性を有する巨大ネットワーク
を構築すること。 【構成】 ノード出力は、Ｓ２n（ここで、ｎは整数で
あり、Ｓは＋１又は−１である）の値に打切られる。こ
れにより、順方向伝播中は、乗算演算ではなく簡単なシ
フト演算によりノード出力と重みとの積を生成すること
ができる。ニューラルネットワーク全体で乗算演算の代
わりにシフト演算を使用することにより応答時間を改善
し、広範な応用可能性を有する巨大ネットワークを構築
することができる。逆方向伝播の効率を高めることによ
っても学習が改善される。逆方向伝播に含まれる乗算は
各ノードに伴う誤差を打切ることによりシフト演算に変
えられる。これにより、誤差はＳ２n（ここで、ｎは整
数であり、Ｓは＋１又は−１である）として表示され
る。
Description
【０００１】
【産業上の利用分野】本発明は学習ネットワークに関
し、特に、効率的な順方向伝播及び逆方向伝播を伴う学
習ネットワークに関する。
し、特に、効率的な順方向伝播及び逆方向伝播を伴う学
習ネットワークに関する。
【０００２】
【従来の技術】学習ネットワーク又はニューラルネット
ワークは、ハードウエア、ソフトウエア又はハードウエ
アとソフトウエアの組合せにおいて実現される様々なア
ーキテクチャで利用できる。米国特許第５０６７１６４
号明細書（発明の名称“文字認識用の階層的に制約され
た自動学習ニューラルネットワーク”）及び米国特許第
５０５８１７９号明細書（発明の名称“文字認識用の階
層的に制約された自動学習ネットワーク”）は学習ネッ
トワークに利用できる多くのアーキテクチャのうちの２
つを開示している。
ワークは、ハードウエア、ソフトウエア又はハードウエ
アとソフトウエアの組合せにおいて実現される様々なア
ーキテクチャで利用できる。米国特許第５０６７１６４
号明細書（発明の名称“文字認識用の階層的に制約され
た自動学習ニューラルネットワーク”）及び米国特許第
５０５８１７９号明細書（発明の名称“文字認識用の階
層的に制約された自動学習ネットワーク”）は学習ネッ
トワークに利用できる多くのアーキテクチャのうちの２
つを開示している。
【０００３】学習ネットワークは、出力を供給するオペ
ランド（演算数）としてその入力の和を使用するアクチ
ベーションファンクション（“ファンクション”は機能
又は関数を意味する。以下同じ）を実行する計算ノード
又はニューロンからなる。これらのノードは一般的に、
層状に配列され、或る層からのノードの出力は次の層の
幾つかのノードの入力に接続される。ノードへの各入力
は一般的に、ノードにより合計される前に、重みと乗算
される。
ランド（演算数）としてその入力の和を使用するアクチ
ベーションファンクション（“ファンクション”は機能
又は関数を意味する。以下同じ）を実行する計算ノード
又はニューロンからなる。これらのノードは一般的に、
層状に配列され、或る層からのノードの出力は次の層の
幾つかのノードの入力に接続される。ノードへの各入力
は一般的に、ノードにより合計される前に、重みと乗算
される。
【０００４】学習ネットワーク又はニューラルネットワ
ークは一般的に、学習ネットワーク内の他の多数のニュ
ーロンからの入力を受信する極めて多数のノード又はニ
ューロンを含む。これにより、ノードの出力と入力との
間に多数の相互接続が存在するアーキテクチャが得られ
る。前記のように、これらの相互接続は通常、乗法ファ
ンクションを含む。
ークは一般的に、学習ネットワーク内の他の多数のニュ
ーロンからの入力を受信する極めて多数のノード又はニ
ューロンを含む。これにより、ノードの出力と入力との
間に多数の相互接続が存在するアーキテクチャが得られ
る。前記のように、これらの相互接続は通常、乗法ファ
ンクションを含む。
【０００５】その結果、巨大なニューラルネットワーク
は出力を生成するために極めて多数の乗算が必要であ
る。更に、これらの乗算は一般的に、或る１６−ビット
ワードと別の１６−ビットワードとの乗算を含む。この
ため、多量の計算パワーを必要とする。これらの計算要
件の結果として、巨大なニューラルネットワークはしば
しば、緩慢な応答時間及び緩慢な学習時間を有する。
は出力を生成するために極めて多数の乗算が必要であ
る。更に、これらの乗算は一般的に、或る１６−ビット
ワードと別の１６−ビットワードとの乗算を含む。この
ため、多量の計算パワーを必要とする。これらの計算要
件の結果として、巨大なニューラルネットワークはしば
しば、緩慢な応答時間及び緩慢な学習時間を有する。
【０００６】会話認識，手書文字認識及びパターン認識
のようなファンクションを含む製品に対する飽くなき拡
大要求に対して、速い応答速度と短い学習時間を発揮す
る巨大ニューラルネットワークの開発の必要性が叫ばれ
ている。
のようなファンクションを含む製品に対する飽くなき拡
大要求に対して、速い応答速度と短い学習時間を発揮す
る巨大ニューラルネットワークの開発の必要性が叫ばれ
ている。
【０００７】
【発明が解決しようとする課題】従って、本発明の目的
は速い応答速度と短い学習時間を発揮する巨大ニューラ
ルネットワークを提供することである。
は速い応答速度と短い学習時間を発揮する巨大ニューラ
ルネットワークを提供することである。
【０００８】
【課題を解決するための手段】本発明は、乗算の代わり
にシフト演算を行う学習又はノーダルネットワークを提
供する。シフト演算は学習ネットワークの計算オーバー
ヘッドを劇的に低下する。その結果、高速応答時間及び
高速学習時間を維持しながら、極めて多数の相互接続を
有するネットワークを提供することができる。
にシフト演算を行う学習又はノーダルネットワークを提
供する。シフト演算は学習ネットワークの計算オーバー
ヘッドを劇的に低下する。その結果、高速応答時間及び
高速学習時間を維持しながら、極めて多数の相互接続を
有するネットワークを提供することができる。
【０００９】本発明はネットワークの各ノード又はニュ
ーロンの出力を打切ることにより計算オーバーヘッドを
低下する。従って、この出力はＳ２n（ここで、ｎは整
数であり、Ｓは＋１又は−１である。）で示される。こ
れにより、各接続に対応する重みをｎ回シフトすること
により、この接続に関する乗算を行うことができる。そ
の結果、ネットワーク内の各接続は、乗算演算とは対照
的に、簡単なシフト演算を使用する。
ーロンの出力を打切ることにより計算オーバーヘッドを
低下する。従って、この出力はＳ２n（ここで、ｎは整
数であり、Ｓは＋１又は−１である。）で示される。こ
れにより、各接続に対応する重みをｎ回シフトすること
により、この接続に関する乗算を行うことができる。そ
の結果、ネットワーク内の各接続は、乗算演算とは対照
的に、簡単なシフト演算を使用する。
【００１０】学習又は逆方向伝播モードでは、重みを調
整するために使用される勾配もＳ２n（ここで、ｎは整
数であり、Ｓは＋１又は−１である。）で示される。こ
れにより、新たな重み値は、乗算演算と対照的に簡単な
シフト演算を使用することにより計算することができ
る。順方向伝播の場合も同様に、計算オーバーヘッドを
低下する。その結果、ネットワークの高速学習が可能に
なる。
整するために使用される勾配もＳ２n（ここで、ｎは整
数であり、Ｓは＋１又は−１である。）で示される。こ
れにより、新たな重み値は、乗算演算と対照的に簡単な
シフト演算を使用することにより計算することができ
る。順方向伝播の場合も同様に、計算オーバーヘッドを
低下する。その結果、ネットワークの高速学習が可能に
なる。
【００１１】低計算オーバーヘッド、すなわち、高速応
答時間及び高速学習時間を有するネットワークの提供に
より、一層複雑なネットワークの実現が可能になる。極
めて多数の接続と低計算オーバーヘッドを有するネット
ワークを実現することにより、ネットワークの認識能力
は、応答時間又は学習時間を許容不能なレベルにまで高
めることなく、大幅に向上される。
答時間及び高速学習時間を有するネットワークの提供に
より、一層複雑なネットワークの実現が可能になる。極
めて多数の接続と低計算オーバーヘッドを有するネット
ワークを実現することにより、ネットワークの認識能力
は、応答時間又は学習時間を許容不能なレベルにまで高
めることなく、大幅に向上される。
【００１２】
【実施例】以下、図面を参照しながら本発明を具体的に
説明する。
説明する。
【００１３】図１は、ハードウエア又はソフトウエアで
実現できる一般的なニューラル又は学習ネットワークの
模式図である。この実施例では、ネットワークに対して
３層が存在するが、任意の層数のネットワークを構成す
ることができる。また、畳み込みニューラルネットワー
ク及び局所的に接続されえたニューラルネットワークに
より使用される接続パターンのようなその他の周知の接
続パターンも使用できる。
実現できる一般的なニューラル又は学習ネットワークの
模式図である。この実施例では、ネットワークに対して
３層が存在するが、任意の層数のネットワークを構成す
ることができる。また、畳み込みニューラルネットワー
ク及び局所的に接続されえたニューラルネットワークに
より使用される接続パターンのようなその他の周知の接
続パターンも使用できる。
【００１４】ノード１０，１２，１４及び１６は第１の
層を構成し、ノード１８，２０，２２及び２４は第２の
層を構成し、ノード２６，２８，３０及び３２は第３の
層を構成する。第３の層は出力層である。この実施例で
は、第１、第２及び第３の層はそれぞれＬ，Ｍ及びＰノ
ードを含むように図示されている。Ｌ，Ｍ及びＰは任意
の正の整数であり、各層は異なる数のノードを有する。
層を構成し、ノード１８，２０，２２及び２４は第２の
層を構成し、ノード２６，２８，３０及び３２は第３の
層を構成する。第３の層は出力層である。この実施例で
は、第１、第２及び第３の層はそれぞれＬ，Ｍ及びＰノ
ードを含むように図示されている。Ｌ，Ｍ及びＰは任意
の正の整数であり、各層は異なる数のノードを有する。
【００１５】ノード１０，１２，１４及び１６の出力は
Ｘk（ここで、ｋは１〜Ｌのインデックスである。）で
示される。中間層ノード１８，２０，２２及び２４はＸ
i（ここで、ｉは１〜Ｍのインデックスである。）で示
される出力を有する。同様に、ノード２６，２８，３０
及び３２の出力であるネットワーク出力はＸj（ここ
で、ｊは１〜Ｐのインデックスである。）で示される。
この実施例では、隣接層のノードは完全に接続されてい
る。
Ｘk（ここで、ｋは１〜Ｌのインデックスである。）で
示される。中間層ノード１８，２０，２２及び２４はＸ
i（ここで、ｉは１〜Ｍのインデックスである。）で示
される出力を有する。同様に、ノード２６，２８，３０
及び３２の出力であるネットワーク出力はＸj（ここ
で、ｊは１〜Ｐのインデックスである。）で示される。
この実施例では、隣接層のノードは完全に接続されてい
る。
【００１６】すなわち、一つの層の各ノードは隣接する
層の全てのノードに接続されている。例えば、ノード２
０の出力はノード２６，２８，３０及び３２に接続さ
れ、ノード２８の入力はノード１８，２０，２２及び２
４の出力に接続されている。先行する層内のノードの出
力と後続の層内のノードの入力との間の各接続は乗算を
行い、先行ノードの出力と重みとの積を生成する。得ら
れた積は後続層におけるノードにより受信される。
層の全てのノードに接続されている。例えば、ノード２
０の出力はノード２６，２８，３０及び３２に接続さ
れ、ノード２８の入力はノード１８，２０，２２及び２
４の出力に接続されている。先行する層内のノードの出
力と後続の層内のノードの入力との間の各接続は乗算を
行い、先行ノードの出力と重みとの積を生成する。得ら
れた積は後続層におけるノードにより受信される。
【００１７】図２はノードの動作を示す模式図である。
ノード３０はその全ての入力を合計し、次いで、オペラ
ンド（演算数）としてその合計を使用し、アクチベーシ
ョンファンクションを実行し、出力Ｘjを発生する。ノ
ード３０に対する入力は乗算器５２，５４，５６及び５
８の出力から受信される。各乗算器は先行層におけるノ
ードの出力から入力を受信し、この入力を重みと乗算す
る。
ノード３０はその全ての入力を合計し、次いで、オペラ
ンド（演算数）としてその合計を使用し、アクチベーシ
ョンファンクションを実行し、出力Ｘjを発生する。ノ
ード３０に対する入力は乗算器５２，５４，５６及び５
８の出力から受信される。各乗算器は先行層におけるノ
ードの出力から入力を受信し、この入力を重みと乗算す
る。
【００１８】この実施例では、先行層のノードから受信
された出力Ｘi（ｉ＝１〜Ｍ）は、乗算器５２，５４，
５６及び５８において、重みＷji（ｉ＝１〜Ｍ）と乗算
される。ノード３０が出力層の一部でない場合には、出
力Ｗjは次の層におけるノードへの入力として使用され
る。また、ノード３０が出力層の一部である場合には、
出力Ｘｊはネットワークからの出力のうちの一つであ
る。
された出力Ｘi（ｉ＝１〜Ｍ）は、乗算器５２，５４，
５６及び５８において、重みＷji（ｉ＝１〜Ｍ）と乗算
される。ノード３０が出力層の一部でない場合には、出
力Ｗjは次の層におけるノードへの入力として使用され
る。また、ノード３０が出力層の一部である場合には、
出力Ｘｊはネットワークからの出力のうちの一つであ
る。
【００１９】図１のネットワークは順方向伝播モードと
逆方向伝播モードの２種類のモードで動作する。順方向
伝播モードでは、入力はネットワークの第１の層に供給
され、また出力はネットワークの出力箇所で供給され
る。これはネットワーク内の各接続に付随する乗算，各
ノードに対する入力における積の合算及び各ノードにお
ける合算について行われるアクチベーションファンクシ
ョンを含む。
逆方向伝播モードの２種類のモードで動作する。順方向
伝播モードでは、入力はネットワークの第１の層に供給
され、また出力はネットワークの出力箇所で供給され
る。これはネットワーク内の各接続に付随する乗算，各
ノードに対する入力における積の合算及び各ノードにお
ける合算について行われるアクチベーションファンクシ
ョンを含む。
【００２０】逆方向伝播モードでは、ネットワークが学
習される。このモードでは、入力はネットワークに対し
て供給され、得られた出力は正確に観察される。各出力
にはエラーが伴う。その後、エラー勾配を計算し、これ
により、相互接続ネットワーク内の各重みを調整するこ
とができる。各重みは、勾配，先行層からのノードの出
力及び学習速度を用いて積を生成することにより調整さ
れる。
習される。このモードでは、入力はネットワークに対し
て供給され、得られた出力は正確に観察される。各出力
にはエラーが伴う。その後、エラー勾配を計算し、これ
により、相互接続ネットワーク内の各重みを調整するこ
とができる。各重みは、勾配，先行層からのノードの出
力及び学習速度を用いて積を生成することにより調整さ
れる。
【００２１】下記の数１は先行層内のノードからの出力
Ｘiと後続層内のノードの出力Ｘjの関係を示す。
Ｘiと後続層内のノードの出力Ｘjの関係を示す。
【００２２】
【数１】
【００２３】数１は、先行層から受信された各出力Ｘi
が重みＸjiと乗算され、積ｉを生成することを示す。得
られた積を合算し、この和をアクチベーションファンク
ションｆ（）によりオペランドとして使用する。従来、
アクチベーションファンクションは図３に示されるよう
なＳ字状曲線のような関数であった。線形，スプライン
及び双曲線タンジェントのようなその他の多数の周知の
関数を使用することもできる。
が重みＸjiと乗算され、積ｉを生成することを示す。得
られた積を合算し、この和をアクチベーションファンク
ションｆ（）によりオペランドとして使用する。従来、
アクチベーションファンクションは図３に示されるよう
なＳ字状曲線のような関数であった。線形，スプライン
及び双曲線タンジェントのようなその他の多数の周知の
関数を使用することもできる。
【００２４】別の層内のノードについて、又は同じ層内
のノードについて、別のアクチベーションファンクショ
ンを使用することもできる。本発明は、その出力を打切
るアクチベーションファンクションを使用する。このア
クチベーションファンクションは、２の累乗、更に詳細
には、Ｓ２n（ここで、ｎは整数であり、Ｓは＋１又は
−１である。）により示すことができる。図４はこのよ
うなアクチベーションファンクションを示す。
のノードについて、別のアクチベーションファンクショ
ンを使用することもできる。本発明は、その出力を打切
るアクチベーションファンクションを使用する。このア
クチベーションファンクションは、２の累乗、更に詳細
には、Ｓ２n（ここで、ｎは整数であり、Ｓは＋１又は
−１である。）により示すことができる。図４はこのよ
うなアクチベーションファンクションを示す。
【００２５】このファンクションはソフトウエア内の検
索テーブルを使用することにより、又はハードウエア内
のＰＲＯＭを使用することにより実現できる。図４は、
軸７０におけるオペランド又は和の各値について、軸７
２に示されるように、所定の値Ｘが生成されることを示
す。この実施例では、Ｘの値はＳ２n（ここで、ｎは
０，−１，−２又は−３の値をとることができる。）に
より示すことができる。ｎが任意の整数（．．．＋３，
＋２，＋１，０，−１，−２，−３．．．）であるファ
ンクションを生成することもできる。
索テーブルを使用することにより、又はハードウエア内
のＰＲＯＭを使用することにより実現できる。図４は、
軸７０におけるオペランド又は和の各値について、軸７
２に示されるように、所定の値Ｘが生成されることを示
す。この実施例では、Ｘの値はＳ２n（ここで、ｎは
０，−１，−２又は−３の値をとることができる。）に
より示すことができる。ｎが任意の整数（．．．＋３，
＋２，＋１，０，−１，−２，−３．．．）であるファ
ンクションを生成することもできる。
【００２６】図２を参照する。先行層のノードからの出
力Ｘiは乗算器５２，５４，５６及び５８を用いて重み
Ｗjiと乗算され、積を生成する。図４の打切りアクチベ
ーションファンクションを使用することにより、各ノー
ドからの出力Ｘiは符号ビット及びｎの値により表すこ
とができる。その結果、乗算器５２，５４，５６及び５
８で行われる乗算は、単に、重みＷj,iの符号ビットに
適当に変更し、その後、ｎにより特定される箇所の数だ
け重みをシフトさせることにより実行できる。
力Ｘiは乗算器５２，５４，５６及び５８を用いて重み
Ｗjiと乗算され、積を生成する。図４の打切りアクチベ
ーションファンクションを使用することにより、各ノー
ドからの出力Ｘiは符号ビット及びｎの値により表すこ
とができる。その結果、乗算器５２，５４，５６及び５
８で行われる乗算は、単に、重みＷj,iの符号ビットに
適当に変更し、その後、ｎにより特定される箇所の数だ
け重みをシフトさせることにより実行できる。
【００２７】例えば、先行ノード１８に対する入力箇所
で生成された和が−０．４に等しい場合、図４のアクチ
ベーションファンクションのオペランドとして−０．４
を使用することにより得られるノード１８の出力は−
０．５である。その結果、ノード１８の出力は−２-1と
表される。この出力を乗算器５２への入力として使用す
る場合、重みＷj,i=1は位置を一つだけ右へシフトされ
るだけであり、符号ビットが変更され、結果Ｘi=1が得
られる。
で生成された和が−０．４に等しい場合、図４のアクチ
ベーションファンクションのオペランドとして−０．４
を使用することにより得られるノード１８の出力は−
０．５である。その結果、ノード１８の出力は−２-1と
表される。この出力を乗算器５２への入力として使用す
る場合、重みＷj,i=1は位置を一つだけ右へシフトされ
るだけであり、符号ビットが変更され、結果Ｘi=1が得
られる。
【００２８】これにより、乗算器５２及びネットワーク
内の接続に使用される他の乗算器を、重みＷj,iを左又
は右にｎ回シフトする単なるシフトレジスタで置き換え
ることができる。ｎが負数である場合、重みは右にシフ
トされ、ｎが正数である場合、重みは左にシフトされ
る。Ｗj,i及びＸiの符号ビットは排他的ＯＲゲートを通
過し、積の符号ビットを生成することができる。
内の接続に使用される他の乗算器を、重みＷj,iを左又
は右にｎ回シフトする単なるシフトレジスタで置き換え
ることができる。ｎが負数である場合、重みは右にシフ
トされ、ｎが正数である場合、重みは左にシフトされ
る。Ｗj,i及びＸiの符号ビットは排他的ＯＲゲートを通
過し、積の符号ビットを生成することができる。
【００２９】ネットワークの第１の層に対する入力は図
４に従って打切ることもできる。ネットワーク入力が重
みと乗算されるネットワーク構成では、入力を２の累乗
として表示することで、シフト動作によるこれらの初期
乗算を実現可能にする。
４に従って打切ることもできる。ネットワーク入力が重
みと乗算されるネットワーク構成では、入力を２の累乗
として表示することで、シフト動作によるこれらの初期
乗算を実現可能にする。
【００３０】図５は単純化された乗算器を示す。単純な
シフトレジスタ及び排他的ＯＲゲートは、常用の乗算器
を使用することなく、積Ｘi・Ｗj,iを生成する。ｎの値
はシフト回数及びシフト方向をコントロールする。シフ
トレジスタ及び単純な論理ゲートを使用してネットワー
ク全体の乗算器を置換することにより、このネットワー
クに付随する計算過負荷を低減するハードウエア及びソ
フトウエアの簡約化が得られる。ネットワークをソフト
ウエアで実現する場合、乗算をシフト演算で置換する
と、計算時間が短くなり、それにより、ネットワークの
応答時間も短縮される。
シフトレジスタ及び排他的ＯＲゲートは、常用の乗算器
を使用することなく、積Ｘi・Ｗj,iを生成する。ｎの値
はシフト回数及びシフト方向をコントロールする。シフ
トレジスタ及び単純な論理ゲートを使用してネットワー
ク全体の乗算器を置換することにより、このネットワー
クに付随する計算過負荷を低減するハードウエア及びソ
フトウエアの簡約化が得られる。ネットワークをソフト
ウエアで実現する場合、乗算をシフト演算で置換する
と、計算時間が短くなり、それにより、ネットワークの
応答時間も短縮される。
【００３１】重みの値の広範な変動に適応可能にするた
めに、重みを仮数及び指数の形で定型化することができ
る。しかし、重みは不動点表示のような他の形で表示す
ることもできる。仮数及び指数を用いて動作する場合、
図５のシフトレジスタは加算で置換することができる。
加算器を使用して重みの指数とｎを合計し、積の指数を
得ることができる。
めに、重みを仮数及び指数の形で定型化することができ
る。しかし、重みは不動点表示のような他の形で表示す
ることもできる。仮数及び指数を用いて動作する場合、
図５のシフトレジスタは加算で置換することができる。
加算器を使用して重みの指数とｎを合計し、積の指数を
得ることができる。
【００３２】Ｘiが−０．５であり、−２-1（すなわ
ち、ｎ＝−１，Ｓ＝−１）として表示される先の実施例
では、重みの指数は−１と合計され、重みの符号ビット
は−１の符号ビットを有する排他的ＯＲである。得られ
た、仮数及び指数の形の積を受信するノードは、和が生
成される前に、仮数を整列させるために適切なシフトを
行わなければならない。
ち、ｎ＝−１，Ｓ＝−１）として表示される先の実施例
では、重みの指数は−１と合計され、重みの符号ビット
は−１の符号ビットを有する排他的ＯＲである。得られ
た、仮数及び指数の形の積を受信するノードは、和が生
成される前に、仮数を整列させるために適切なシフトを
行わなければならない。
【００３３】学習又はニューラルネットワークの演算の
第２のモードは逆方向伝播モードである。このモードを
用いて、ネットワーク内で使用される重みを調整するこ
とにより、ネットワークを調教又は学習させることがで
きる。このモードの処理は、一連の学習入力をネットワ
ークに供給し、そしてネットワーク出力における誤差を
決定することを含む。
第２のモードは逆方向伝播モードである。このモードを
用いて、ネットワーク内で使用される重みを調整するこ
とにより、ネットワークを調教又は学習させることがで
きる。このモードの処理は、一連の学習入力をネットワ
ークに供給し、そしてネットワーク出力における誤差を
決定することを含む。
【００３４】この誤差を使用し、重みの値を調整するこ
とができる。この処理は、ネットワークが許容可能な誤
差を有する出力を生成するまで、多数の異なる学習入力
を用いて継続される。一連の学習入力に応答して、ネッ
トワークに一連の出力を生成させた後、ネットワークの
各出力における誤差を決定することにより逆方向伝播を
開始する。下記の数２は出力誤差Ｅを表す。
とができる。この処理は、ネットワークが許容可能な誤
差を有する出力を生成するまで、多数の異なる学習入力
を用いて継続される。一連の学習入力に応答して、ネッ
トワークに一連の出力を生成させた後、ネットワークの
各出力における誤差を決定することにより逆方向伝播を
開始する。下記の数２は出力誤差Ｅを表す。
【００３５】
【数２】
【００３６】前記の数２は、出力“ｊ”における誤差ｅ
jは実際の出力Ｘjと所望の出力Ｔjの差により表される
ことを示す。数２に数１を代入すると、誤差ｅjを別の
形で表示する下記の数３が得られる。
jは実際の出力Ｘjと所望の出力Ｔjの差により表される
ことを示す。数２に数１を代入すると、誤差ｅjを別の
形で表示する下記の数３が得られる。
【００３７】
【数３】
【００３８】その結果、出力誤差Ｅは下記の数４により
表すことができる。
表すことができる。
【００３９】
【数４】
【００４０】最後の層の単位ｊに関する単位勾配、
【数５】 は下記の数６により得られる。
【００４１】
【数６】 ここで、誤差項Ｈj＝ｆ（Ｓj−Ｔj）
【００４２】或る層の単位勾配が判明すれば、先行層の
単位勾配は連鎖ルールを用いて計算することができる。
例えば、下記の数７により、下記の数８は、層ｊに先行
する層の単位ｉに関する単位勾配Ｇiの計算を例証す
る。
単位勾配は連鎖ルールを用いて計算することができる。
例えば、下記の数７により、下記の数８は、層ｊに先行
する層の単位ｉに関する単位勾配Ｇiの計算を例証す
る。
【００４３】
【数７】
【００４４】
【数８】 が得られる。
【００４５】数６及び数８に関して、層の勾配Ｇは誤差
項Ｈと導関数項ｆ´（）を用いて計算できることが理解
できる。出力層又は最終層について、誤差項Ｈは下記の
数９により表すことができる。
項Ｈと導関数項ｆ´（）を用いて計算できることが理解
できる。出力層又は最終層について、誤差項Ｈは下記の
数９により表すことができる。
【００４６】
【数９】
【００４７】また、先行層について、誤差項Ｈは下記の
数１０により表すことができる。
数１０により表すことができる。
【００４８】
【数１０】
【００４９】但し、前記の数９及び数１０において、層
ｉは層ｊに先行し、層ｊは層ｉよりも出力層に接近して
いる。
ｉは層ｊに先行し、層ｊは層ｉよりも出力層に接近して
いる。
【００５０】重みＷは、所望の重みに関するＥの勾配を
用いて調整される。例えば、重みＷjiに関するＥの勾配
は下記の数１１により得られる。
用いて調整される。例えば、重みＷjiに関するＥの勾配
は下記の数１１により得られる。
【００５１】
【数１１】
【００５２】重み調整は、下記の数１２に示されるよう
に、Ｗjiに関するＥの勾配を減少することにより行われ
る。
に、Ｗjiに関するＥの勾配を減少することにより行われ
る。
【００５３】
【数１２】
【００５４】同様に、層ｊに先行する層ｉにおける重み
は下記の数１３を用いることにより調整される。
は下記の数１３を用いることにより調整される。
【００５５】
【数１３】
【００５６】ＬＲは学習速度であり、一般的に、０．０
０１程度の小さな値である。多くの処理系はユニット間
で学習速度を変化させたり、全体的に学習速度を変化さ
せることができる。また、ＬＲを２の累乗に限定するこ
ともできる。すなわち、ＬＲ＝２n（ここで、ｎは整数
である。）に限定することもできる。ｎを負の整数に限
定することが好ましい。
０１程度の小さな値である。多くの処理系はユニット間
で学習速度を変化させたり、全体的に学習速度を変化さ
せることができる。また、ＬＲを２の累乗に限定するこ
ともできる。すなわち、ＬＲ＝２n（ここで、ｎは整数
である。）に限定することもできる。ｎを負の整数に限
定することが好ましい。
【００５７】逆方向伝播を開始する場合、先ず、数６に
従って、出力層の勾配Ｇiを比較する。（ｆ（Ｓj）−Ｔ
j）に等しい、項Ｈjを図６の打切りファンクションに従
って、２の最も近い累乗に打切る。このファンクション
はソフトウエア内の検索テーブルを使用し、また、ハー
ドウエア内のＰＲＯＭを使用することにより実現するこ
とができる。
従って、出力層の勾配Ｇiを比較する。（ｆ（Ｓj）−Ｔ
j）に等しい、項Ｈjを図６の打切りファンクションに従
って、２の最も近い累乗に打切る。このファンクション
はソフトウエア内の検索テーブルを使用し、また、ハー
ドウエア内のＰＲＯＭを使用することにより実現するこ
とができる。
【００５８】図６において、横軸上の全ての値は縦軸上
の２の累乗にマップされる。打切り後、ＨjはＳ２n（こ
こで、ｎは整数であり、Ｓは−１又は＋１である。）の
形で記憶される。
の２の累乗にマップされる。打切り後、ＨjはＳ２n（こ
こで、ｎは整数であり、Ｓは−１又は＋１である。）の
形で記憶される。
【００５９】数６はまた、積Ｈjｆ´（Ｓj）の生成を必
要とする。ｆ´（）（アクチベーションの導関数）を計
算するために、ｆ（）（図４のアクチベーションファン
クション）は図７のファンクションにより近似される。
図８に示されるように、ｆ´（）の値は０又は１であ
る。（値０は学習を促進するために０．１２５のような
２の小さな累乗であることもできる。）
要とする。ｆ´（）（アクチベーションの導関数）を計
算するために、ｆ（）（図４のアクチベーションファン
クション）は図７のファンクションにより近似される。
図８に示されるように、ｆ´（）の値は０又は１であ
る。（値０は学習を促進するために０．１２５のような
２の小さな累乗であることもできる。）
【００６０】その他のアクチベーションファンクション
が使用される場合、ｆ´（）はＳ２n（ここで、ｎは整
数であり、Ｓは±１である）として表示することもでき
る。Ｈjとｆ´（Ｓj）との乗算は、Ｓjが−１〜＋１の
間の値であるか否かを決定することにより行われる。Ｓ
jが−１〜＋１の間の値である場合、積はＨjに等しい。
Ｓjが−１〜＋１の間の値でない場合、積は０である
（若しくは２Ｈjの小さな累乗である）。
が使用される場合、ｆ´（）はＳ２n（ここで、ｎは整
数であり、Ｓは±１である）として表示することもでき
る。Ｈjとｆ´（Ｓj）との乗算は、Ｓjが−１〜＋１の
間の値であるか否かを決定することにより行われる。Ｓ
jが−１〜＋１の間の値である場合、積はＨjに等しい。
Ｓjが−１〜＋１の間の値でない場合、積は０である
（若しくは２Ｈjの小さな累乗である）。
【００６１】０の代わりに、２-nのような２の小さな累
乗を使用する場合、Ｈjはｎビットだけ右にシフトされ
る。これにより、勾配Ｇjの計算が完了する。ＧjはＳ２
n（ここで、ｎは整数である）の形である。なぜなら、
Ｈjは図６に従って打切られており、しかも、ｆ´
（Ｓj）は０又は１だからである。
乗を使用する場合、Ｈjはｎビットだけ右にシフトされ
る。これにより、勾配Ｇjの計算が完了する。ＧjはＳ２
n（ここで、ｎは整数である）の形である。なぜなら、
Ｈjは図６に従って打切られており、しかも、ｆ´
（Ｓj）は０又は１だからである。
【００６２】重みの更新は数１２に従って行われる。Ｘ
iはＳ２n（ここで、ｎは整数であり、Ｓは−１又は＋１
である）の形である。（図４のアクチベーションファン
クションを想起せよ。）その結果、数１２の計算を開始
する場合、勾配Ｇjとノード出力Ｘiの積は、Ｇj及びＸi
に関連するｎの値の単なる追加である。積ＧjＸiの符号
ビットはＧj及びＸiの符号ビットを排他的ＯＲすること
により生成される。Ｇj及びＸiの両方ともＳ２nの形な
ので、積ＧjＸiもＳ２nの形である。その結果、学習速
度ＬＲと積ＧjＸiの乗算は、積ＧjＸiに関連するｎの値
及び排他的ＯＲする符号ビットに基づき、ＬＲを単にシ
フトさせるだけである。その結果、単なるシフト及び加
算演算によりＷjiの新たな値が得られる。
iはＳ２n（ここで、ｎは整数であり、Ｓは−１又は＋１
である）の形である。（図４のアクチベーションファン
クションを想起せよ。）その結果、数１２の計算を開始
する場合、勾配Ｇjとノード出力Ｘiの積は、Ｇj及びＸi
に関連するｎの値の単なる追加である。積ＧjＸiの符号
ビットはＧj及びＸiの符号ビットを排他的ＯＲすること
により生成される。Ｇj及びＸiの両方ともＳ２nの形な
ので、積ＧjＸiもＳ２nの形である。その結果、学習速
度ＬＲと積ＧjＸiの乗算は、積ＧjＸiに関連するｎの値
及び排他的ＯＲする符号ビットに基づき、ＬＲを単にシ
フトさせるだけである。その結果、単なるシフト及び加
算演算によりＷjiの新たな値が得られる。
【００６３】勾配Ｇj及びノード出力ＸiをＳ２nと表現
することにより、数１２を用いて新たな重みを得るため
に、もはや乗算を行う必要はない。前記のように、乗算
の省略により、高速演算と一層複雑なネットワークが可
能になる。
することにより、数１２を用いて新たな重みを得るため
に、もはや乗算を行う必要はない。前記のように、乗算
の省略により、高速演算と一層複雑なネットワークが可
能になる。
【００６４】概して、また、図９に関連して説明すれ
ば、ネットワークの先行層における重みは、ネットワー
クを通して逆方向に伝播される誤差値を用いて調整され
る。説明のために、層ｎが層ｎ＋１に先行しており、層
ｎ＋１は層ｎよりもネットワーク出力に接近していると
仮定する。
ば、ネットワークの先行層における重みは、ネットワー
クを通して逆方向に伝播される誤差値を用いて調整され
る。説明のために、層ｎが層ｎ＋１に先行しており、層
ｎ＋１は層ｎよりもネットワーク出力に接近していると
仮定する。
【００６５】層ｎの各ノードに関する誤差項Ｈiは、数
１０に示されるように、層ｎ＋１からの単位勾配Ｇjの
積と層ｎ＋１からのその連合未調整重み値Ｗjiの積を加
算することにより計算される。層ｎの各ノードに関連す
る誤差項Ｈiは２の累乗に打切られ、数８に従って、層
ｎの各ノードに関連する単位勾配Ｇiを生成するのに使
用される。
１０に示されるように、層ｎ＋１からの単位勾配Ｇjの
積と層ｎ＋１からのその連合未調整重み値Ｗjiの積を加
算することにより計算される。層ｎの各ノードに関連す
る誤差項Ｈiは２の累乗に打切られ、数８に従って、層
ｎの各ノードに関連する単位勾配Ｇiを生成するのに使
用される。
【００６６】層ｎの重みＷikは、数１３の（１１）に示
されるように、層ｎの単位勾配Ｇiと層ｎ−１の出力Ｘk
を用いて調整される。この手順は、全ての重みが調整さ
れるまで、先行層について反復される。
されるように、層ｎの単位勾配Ｇiと層ｎ−１の出力Ｘk
を用いて調整される。この手順は、全ての重みが調整さ
れるまで、先行層について反復される。
【００６７】ノード及び乗算器はコンピュータ上のソフ
トウエア、又はアナログ若しくはデジタル回路を使用す
るハードウエアで実現することができる。ハードウエア
構成では、各ノードはマイクロプロセッサ又はデジタル
信号プロセッサ（ＤＳＰ）チップを使用することにより
実現できる。各ノードは加算機及びＰＲＯＭにより実現
することもできる。ここで、加算機は入力を合計し、Ｐ
ＲＯＭはこの和を用いてＳ２nの形の出力を生成する。
トウエア、又はアナログ若しくはデジタル回路を使用す
るハードウエアで実現することができる。ハードウエア
構成では、各ノードはマイクロプロセッサ又はデジタル
信号プロセッサ（ＤＳＰ）チップを使用することにより
実現できる。各ノードは加算機及びＰＲＯＭにより実現
することもできる。ここで、加算機は入力を合計し、Ｐ
ＲＯＭはこの和を用いてＳ２nの形の出力を生成する。
【００６８】重みはＲＡＭ又はレジスタのようなメモリ
に記憶させることができる。重みはコンピュータ上のネ
ットワークで処理し、次いで、一連の学習入力を使用
し、重みを変更するために逆方向伝播される出力誤差を
発生させることにより更新させることができる。後続層
からの誤差情報及び先行層からの出力を使用するように
マイクロプロセッサ又はＤＳＰをプログラムすることに
より重みを調整することもできる。
に記憶させることができる。重みはコンピュータ上のネ
ットワークで処理し、次いで、一連の学習入力を使用
し、重みを変更するために逆方向伝播される出力誤差を
発生させることにより更新させることができる。後続層
からの誤差情報及び先行層からの出力を使用するように
マイクロプロセッサ又はＤＳＰをプログラムすることに
より重みを調整することもできる。
【００６９】ノード又は学習ネットワークは会話，手書
文字，パターン又は物体を認識するために使用される。
例えば、第１の層に対する入力は、音声又は手書文字の
ような入力の信号又は数値代表元である。逆方向伝播を
用いて調教したら、これらの入力に応答して生成された
出力は音声又は手書文字を識別するために使用される。
文字，パターン又は物体を認識するために使用される。
例えば、第１の層に対する入力は、音声又は手書文字の
ような入力の信号又は数値代表元である。逆方向伝播を
用いて調教したら、これらの入力に応答して生成された
出力は音声又は手書文字を識別するために使用される。
【００７０】
【発明の効果】以上説明したように、本発明によれば、
乗算の代わりにシフト演算を行う学習又はノーダルネッ
トワークが得られる。シフト演算は学習ネットワークの
計算オーバーヘッドを劇的に低下する。その結果、高速
応答時間及び高速学習時間を維持しながら、極めて多数
の相互接続を有するネットワークが得られる。
乗算の代わりにシフト演算を行う学習又はノーダルネッ
トワークが得られる。シフト演算は学習ネットワークの
計算オーバーヘッドを劇的に低下する。その結果、高速
応答時間及び高速学習時間を維持しながら、極めて多数
の相互接続を有するネットワークが得られる。
【図１】学習ネットワークアーキテクチャの模式図であ
る。
る。
【図２】１個のノードの入力と数個のノードの出力との
間の関係を説明する模式図である。
間の関係を説明する模式図である。
【図３】Ｓ字曲線アクチベーションファンクションの特
性図である。
性図である。
【図４】打切りアクチベーションファンクションの特性
図である。
図である。
【図５】単純化された乗算器のブロック図である。
【図６】誤差打切りファンクションを説明する模式図で
ある。
ある。
【図７】図４のアクチベーションファンクションの近似
を説明する特性図である。
を説明する特性図である。
【図８】アクチベーションファンクションの導関数を説
明する特性図である。
明する特性図である。
【図９】逆方向伝播中の隣接層のノード間の関係を説明
する模式図である。
する模式図である。
１０，１２，１４，１６ 第１の層のノード １８，２０，２２，２４ 第２の層のノード ２６，２８，３０，３２ 第３の層のノード ５２，５４，５６，５８ 乗算器
Claims (10)
- 【請求項１】 複数のネットワーク入力に応答して複数
のネットワーク出力を生成する計算ネットワークであ
り、 計算ネットワークの第１の層を形成する複数の第１層計
算ノードと、 計算ネットワークの第２の層を形成する複数の第２層計
算ノードと、 からなり、 前記各第１層計算ノードは複数の計算ネットワーク入力
のうちの少なくとも一つから生じる少なくとも一つの第
１層入力を受信して第１層出力を生成し、前記第１層出
力は２のゼロ以外の累乗に打切られる，前記複数の第２
層計算ノードの各々は複数の第２層入力を受信して第２
層出力を生成し、前記複数の第２層入力の各々は、前記
複数の第１層計算ノードのうちの一つにより生成された
前記第１層出力と重み値との積であり、前記第２層出力
は、前記複数の入力の和を使用することにより、第１の
アクチベーションファンクションのオペランドとして生
成され、前記第２層出力は複数のネットワーク出力のう
ちの少なくとも一つを生成するために使用される，こと
を特徴とする計算ネットワーク。 - 【請求項２】 第１層出力はＳ２n（ここで、ｎはゼロ
以外の整数であり、Ｓは±１である）の形である請求項
１の計算ネットワーク。 - 【請求項３】 重み値をｎ回シフトすることにより積を
生成する乗算手段を特徴とする請求項２の計算ネットワ
ーク。 - 【請求項４】 ｎと、重み値の指数部分とを合計するこ
とにより前記積を生成する乗算手段を特徴とする請求項
２の計算ネットワーク。 - 【請求項５】 複数のネットワーク入力は２の累乗に打
切られる請求項１の計算ネットワーク。 - 【請求項６】 各第１層計算ノードは、複数の第１層入
力の和を使用することにより、第２のアクチベーション
ファンクションのオペランドとして第１層出力を生成す
る請求項１の計算ネットワーク。 - 【請求項７】 第１層出力はＳ２n（ここで、ｎはゼロ
以外の整数であり、Ｓは±１である）の形である請求項
６の計算ネットワーク。 - 【請求項８】 重み値をｎ回シフトすることにより積を
生成する製品手段を特徴とする請求項７の計算ネットワ
ーク。 - 【請求項９】 ｎと、重み値の指数部分とを合計するこ
とにより前記積を生成する乗算手段を特徴とする請求項
７の計算ネットワーク。 - 【請求項１０】 複数のネットワーク入力は２の累乗に
打切られる請求項６の計算ネットワーク。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/150,677 US5473730A (en) | 1993-11-09 | 1993-11-09 | High efficiency learning network |
| US150677 | 1993-11-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07191950A true JPH07191950A (ja) | 1995-07-28 |
Family
ID=22535542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6299020A Pending JPH07191950A (ja) | 1993-11-09 | 1994-11-09 | 計算ネットワーク |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5473730A (ja) |
| EP (1) | EP0652525B1 (ja) |
| JP (1) | JPH07191950A (ja) |
| CA (1) | CA2132756C (ja) |
| DE (1) | DE69424372T2 (ja) |
| TW (1) | TW270186B (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014517973A (ja) * | 2011-05-25 | 2014-07-24 | クゥアルコム・インコーポレイテッド | １次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 |
| JP2017068577A (ja) * | 2015-09-30 | 2017-04-06 | 株式会社東芝 | 演算装置、方法及びプログラム |
| WO2018193906A1 (ja) * | 2017-04-20 | 2018-10-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理装置およびプログラム |
| JP2019091512A (ja) * | 2017-09-29 | 2019-06-13 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| US11960565B2 (en) | 2018-03-02 | 2024-04-16 | Nec Corporation | Add-mulitply-add convolution computation for a convolutional neural network |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5630024A (en) * | 1994-01-19 | 1997-05-13 | Nippon Telegraph And Telephone Corporation | Method and apparatus for processing using neural network with reduced calculation amount |
| US6141044A (en) * | 1996-09-26 | 2000-10-31 | Apple Computer, Inc. | Method and system for coherent image group maintenance in memory |
| US5883716A (en) * | 1997-07-15 | 1999-03-16 | Litton Systems, Inc. | Rate control loop for fiber optic gyroscope |
| US7362892B2 (en) | 2003-07-02 | 2008-04-22 | Lockheed Martin Corporation | Self-optimizing classifier |
| US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
| WO2018108126A1 (zh) * | 2016-12-14 | 2018-06-21 | 上海寒武纪信息科技有限公司 | 神经网络卷积运算装置及方法 |
| US11256978B2 (en) * | 2017-07-14 | 2022-02-22 | Intel Corporation | Hyperbolic functions for machine learning acceleration |
| CN113554163B (zh) * | 2021-07-27 | 2024-03-29 | 深圳思谋信息科技有限公司 | 卷积神经网络加速器 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
| KR940001173B1 (ko) * | 1988-08-31 | 1994-02-16 | 후지쓰 가부시끼가이샤 | 뉴로 컴퓨터 |
| US4972363A (en) * | 1989-02-01 | 1990-11-20 | The Boeing Company | Neural network using stochastic processing |
| US5222195A (en) * | 1989-05-17 | 1993-06-22 | United States Of America | Dynamically stable associative learning neural system with one fixed weight |
| US5138924A (en) * | 1989-08-10 | 1992-08-18 | Yamaha Corporation | Electronic musical instrument utilizing a neural network |
| US5109351A (en) * | 1989-08-21 | 1992-04-28 | Texas Instruments Incorporated | Learning device and method |
| GB2236608B (en) * | 1989-10-06 | 1993-08-18 | British Telecomm | Digital neural networks |
| US5067164A (en) * | 1989-11-30 | 1991-11-19 | At&T Bell Laboratories | Hierarchical constrained automatic learning neural network for character recognition |
| JPH0782481B2 (ja) * | 1989-12-26 | 1995-09-06 | 三菱電機株式会社 | 半導体神経回路網 |
| US5255346A (en) * | 1989-12-28 | 1993-10-19 | U S West Advanced Technologies, Inc. | Method and apparatus for design of a vector quantizer |
| US5167006A (en) * | 1989-12-29 | 1992-11-24 | Ricoh Company, Ltd. | Neuron unit, neural network and signal processing method |
| US5058179A (en) * | 1990-01-31 | 1991-10-15 | At&T Bell Laboratories | Hierarchical constrained automatic learning network for character recognition |
| JP3110434B2 (ja) * | 1990-03-17 | 2000-11-20 | 科学技術振興事業団 | アナログ逆伝搬学習回路 |
| US5337395A (en) * | 1991-04-08 | 1994-08-09 | International Business Machines Corporation | SPIN: a sequential pipeline neurocomputer |
| EP0461902B1 (en) * | 1990-06-14 | 1998-12-23 | Canon Kabushiki Kaisha | Neural network |
| US5097141A (en) * | 1990-12-12 | 1992-03-17 | Motorola, Inc. | Simple distance neuron |
| US5228113A (en) * | 1991-06-17 | 1993-07-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Accelerated training apparatus for back propagation networks |
-
1993
- 1993-11-09 US US08/150,677 patent/US5473730A/en not_active Expired - Fee Related
-
1994
- 1994-09-23 CA CA002132756A patent/CA2132756C/en not_active Expired - Fee Related
- 1994-11-02 EP EP94308066A patent/EP0652525B1/en not_active Expired - Lifetime
- 1994-11-02 DE DE69424372T patent/DE69424372T2/de not_active Expired - Fee Related
- 1994-11-07 TW TW083110291A patent/TW270186B/zh active
- 1994-11-09 JP JP6299020A patent/JPH07191950A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014517973A (ja) * | 2011-05-25 | 2014-07-24 | クゥアルコム・インコーポレイテッド | １次視覚野単純細胞および他の神経回路の入力シナプスの教師なしトレーニングのための方法および装置 |
| JP2017068577A (ja) * | 2015-09-30 | 2017-04-06 | 株式会社東芝 | 演算装置、方法及びプログラム |
| WO2018193906A1 (ja) * | 2017-04-20 | 2018-10-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理装置およびプログラム |
| JP2018181313A (ja) * | 2017-04-20 | 2018-11-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報処理方法、情報処理装置およびプログラム |
| US11055379B2 (en) | 2017-04-20 | 2021-07-06 | Panasonic Intellectual Property Corporation Of America | Information processing method, information processing apparatus, and computer-readable recording medium |
| JP2019091512A (ja) * | 2017-09-29 | 2019-06-13 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| US11960565B2 (en) | 2018-03-02 | 2024-04-16 | Nec Corporation | Add-mulitply-add convolution computation for a convolutional neural network |
Also Published As
| Publication number | Publication date |
|---|---|
| US5473730A (en) | 1995-12-05 |
| CA2132756C (en) | 1999-05-18 |
| DE69424372T2 (de) | 2000-09-21 |
| DE69424372D1 (de) | 2000-06-15 |
| EP0652525A2 (en) | 1995-05-10 |
| EP0652525A3 (en) | 1995-12-27 |
| EP0652525B1 (en) | 2000-05-10 |
| TW270186B (ja) | 1996-02-11 |
| CA2132756A1 (en) | 1995-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6977864B2 (ja) | 推論装置、畳み込み演算実行方法及びプログラム | |
| EP0424086B1 (en) | Arithmetic processing apparatus and method used thereby | |
| CN112074806A (zh) | 使用减小的位宽向量的块浮点计算 | |
| US5280439A (en) | Apparatus for determining booth recoder input control signals | |
| JPH07191950A (ja) | 計算ネットワーク | |
| JPH0713949A (ja) | ニューラルネットワークおよびその使用方法 | |
| JPH07248841A (ja) | 非線形関数発生装置およびフォーマット変換装置 | |
| EP3671572A1 (en) | Information processing apparatus, neural network program, and processing method for neural network | |
| JPH08297716A (ja) | ニューラル・ネットワーク用の適応型重み調整回路 | |
| US11106431B2 (en) | Apparatus and method of fast floating-point adder tree for neural networks | |
| JP3323894B2 (ja) | ニューラルネットワーク学習方法及び装置 | |
| EP0385637A2 (en) | Learning machine with multi-input single output circuits connected in hierarchical structure | |
| JP2760170B2 (ja) | 学習機械 | |
| US5289399A (en) | Multiplier for processing multi-valued data | |
| JPH076146A (ja) | 並列データ処理システム | |
| JP2024506441A (ja) | 正規化関数のためのデジタル回路機構 | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| JPH10111791A (ja) | 除算装置 | |
| JPH08314697A (ja) | 符号付き／符号なし数兼用乗算器 | |
| CN109388372B (zh) | 一种基于最小模块的三值光学处理器msd乘法计算方法 | |
| US20200250524A1 (en) | System and method for reducing computational complexity of neural network | |
| CN113065648B (zh) | 一种低硬件开销的分段线性函数的硬件实现方法 | |
| KR940008611B1 (ko) | Ieee 754-1985 표준에 따라서 라운딩한 2진 부동 소숫점 연산 | |
| US7139786B2 (en) | Method and apparatus for efficiently performing a square root operation | |
| US20230385370A1 (en) | Method and apparatus for computation on convolutional layer of neural network |