JPH07271748A - データを正規化する手段を含むニューラル・プロセッサ - Google Patents
データを正規化する手段を含むニューラル・プロセッサInfo
- Publication number
- JPH07271748A JPH07271748A JP5101218A JP10121893A JPH07271748A JP H07271748 A JPH07271748 A JP H07271748A JP 5101218 A JP5101218 A JP 5101218A JP 10121893 A JP10121893 A JP 10121893A JP H07271748 A JPH07271748 A JP H07271748A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- neural processor
- neural
- quotient
- neurons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Abstract
(57)【要約】
【目的】 入力データＸをもう１つの入力データＹに関
して正規化するニューラル計算手段(30,NQ,RQ)を有する
ニューラル・プロセッサの提供。 【構成】 該ニューラル・プロセッサは商Ｑを決定する
ためＸをＹで割る割り算を実行する。計算手段は、部分
商QPを更新するのに使われる(NQ,RQ) 一連のコントリビ
ューションΔＱi の繰り返しにより計算する(30)ように
プログラムされ、部分商QPの更新は計算の終わりには商
Ｑとなる。計算は任意の算術的ベース上で実行すること
ができ、該算術的ベースは利用されるニューロンの数及
び計算の精度を決定する。部分剰余RPを利用することも
また可能である。幾つかのプログラミング・モードが提
示されている。
して正規化するニューラル計算手段(30,NQ,RQ)を有する
ニューラル・プロセッサの提供。 【構成】 該ニューラル・プロセッサは商Ｑを決定する
ためＸをＹで割る割り算を実行する。計算手段は、部分
商QPを更新するのに使われる(NQ,RQ) 一連のコントリビ
ューションΔＱi の繰り返しにより計算する(30)ように
プログラムされ、部分商QPの更新は計算の終わりには商
Ｑとなる。計算は任意の算術的ベース上で実行すること
ができ、該算術的ベースは利用されるニューロンの数及
び計算の精度を決定する。部分剰余RPを利用することも
また可能である。幾つかのプログラミング・モードが提
示されている。
Description
【０００１】
【産業上の利用分野】本発明は、１つの入力データＸを
もう１つの入力データＹで割った商Ｑを計算することに
より、入力データＹに関して入力データＸを正規化する
ニューラル計算手段を有するニューラル・プロセッサに
関する。
もう１つの入力データＹで割った商Ｑを計算することに
より、入力データＹに関して入力データＸを正規化する
ニューラル計算手段を有するニューラル・プロセッサに
関する。
【０００２】ニューラル・プロセッサは類別問題に使用
される、特に、形状や文字の認識、音声信号の処理、画
像処理、情報圧縮、等々に使用される。一般に入力デー
タは物理量で表されよう。
される、特に、形状や文字の認識、音声信号の処理、画
像処理、情報圧縮、等々に使用される。一般に入力デー
タは物理量で表されよう。
【０００３】
【従来の技術】ニューラル・ネットワークの種々のタイ
プに関する情報は、例えばIEEE ASSP誌, 1987年４月号,
第４〜22頁所載の R.P.LIPPMANN による "An introduc
tionto computing with neural nets"という文献に記載
されている。
プに関する情報は、例えばIEEE ASSP誌, 1987年４月号,
第４〜22頁所載の R.P.LIPPMANN による "An introduc
tionto computing with neural nets"という文献に記載
されている。
【０００４】ニューラル・プロセッサ中の上述のプロセ
スのある物は、これを実行するのに、例えば継起的な学
習段階の中間ステップとしてのデータを正規化する必要
があるかも知れない。ニューラル・プロセッサ自身が正
規化ステップを実行すれば好都合である。かようなステ
ップは反復的であり得る因数によるディジタル・データ
のバッチの分割から成る。
スのある物は、これを実行するのに、例えば継起的な学
習段階の中間ステップとしてのデータを正規化する必要
があるかも知れない。ニューラル・プロセッサ自身が正
規化ステップを実行すれば好都合である。かようなステ
ップは反復的であり得る因数によるディジタル・データ
のバッチの分割から成る。
【０００５】ニューラル・タイプの課題（分解、学習）
を実行することからは独立に、ニューラル・プロセッサ
はデータの正規化のための計算を実行するディジタル・
データ処理装置と考えることもできる。
を実行することからは独立に、ニューラル・プロセッサ
はデータの正規化のための計算を実行するディジタル・
データ処理装置と考えることもできる。
【０００６】分割を実行するニューラル・アーキテクチ
ャーが Electronics Letters誌1989年３月号, Vol.25,N
o.5,334-335ページ所載 H.HUNG 及び P.SIYによる"High
-Speed division unit using asymmetric neural netwo
rk architecture" という文献に記載されている。該引
用文献は、２進記号で表されている一方が他方の倍数で
ある２つの数の商の各ビットのカスケード計算を実行す
る非対称のニューラル・アーキテクチャーを記述してい
る。この商はその整数部分に限定されている。このアー
キテクチャーは、データの積の総和を算出し非線形転移
関数を適用する増幅器を用いて、アナログ・ニューラル
・プロセッサで実行される。商の各ビットは、先行のビ
ットを考慮に入れて逐次決定されるので、商の計算には
大きな数の計算サイクルが必要となろう。
ャーが Electronics Letters誌1989年３月号, Vol.25,N
o.5,334-335ページ所載 H.HUNG 及び P.SIYによる"High
-Speed division unit using asymmetric neural netwo
rk architecture" という文献に記載されている。該引
用文献は、２進記号で表されている一方が他方の倍数で
ある２つの数の商の各ビットのカスケード計算を実行す
る非対称のニューラル・アーキテクチャーを記述してい
る。この商はその整数部分に限定されている。このアー
キテクチャーは、データの積の総和を算出し非線形転移
関数を適用する増幅器を用いて、アナログ・ニューラル
・プロセッサで実行される。商の各ビットは、先行のビ
ットを考慮に入れて逐次決定されるので、商の計算には
大きな数の計算サイクルが必要となろう。
【０００７】このことはまた、段々低くなる桁のビット
を定めるニューロンは漸増する数の入力を含むことを意
味する。そのような演算モードは、演算の程度を下げる
ことなしにディジタル技術に転換することができない。
を定めるニューロンは漸増する数の入力を含むことを意
味する。そのような演算モードは、演算の程度を下げる
ことなしにディジタル技術に転換することができない。
【０００８】
【発明が解決しようとする課題】本発明の目的は、最少
の規模のハードウェア手段のみを用い、計算サイクル数
を減らして、１つの入力データＸをもう１つの入力デー
タＹで割った商Ｑを計算することにより、データを正規
化する能力のあるニューラル・プロセッサを提供するこ
とである。種々の入力Ｘ及びＹに適合するための計算手
段を再配置することは容易でなければならず、計算の精
度は予め定められていなければならない。
の規模のハードウェア手段のみを用い、計算サイクル数
を減らして、１つの入力データＸをもう１つの入力デー
タＹで割った商Ｑを計算することにより、データを正規
化する能力のあるニューラル・プロセッサを提供するこ
とである。種々の入力Ｘ及びＹに適合するための計算手
段を再配置することは容易でなければならず、計算の精
度は予め定められていなければならない。
【０００９】
【課題を解決するための手段】この目的は、ニューラル
・プロセッサを用いて達成され、このニューラル・プロ
セッサに対して上記計算手段は、 ・一纏めになって算術的ベースＢ上で商Ｑの数式を形成
する一連のコントリビューション
・プロセッサを用いて達成され、このニューラル・プロ
セッサに対して上記計算手段は、 ・一纏めになって算術的ベースＢ上で商Ｑの数式を形成
する一連のコントリビューション
【数７】 を繰り返し計算する少なくとも１つのニューロンと、 ・商Ｑを生成するために上記コントリビューションΔＱ
i を加え合わせることにより部分商QPを繰り返し更新す
る少なくとも１つのニューロンとを能動化するようプロ
グラムされているものである。
i を加え合わせることにより部分商QPを繰り返し更新す
る少なくとも１つのニューロンとを能動化するようプロ
グラムされているものである。
【００１０】従ってベースＢのサイズを選ぶことは可能
であり、それ故に計算されるべきコントリビューション
ΔＱi の数を選ぶこと、及び更に速い又は更に遅い実行
を得るためにニューロンの数を選ぶこともまた可能であ
る。こうして多重ハードウェア手段を用いる高速に対し
て、或いはハードウェア手段の量を減らして実行速度を
遅くするのに対して、そのいずれかを選ぶことが可能で
ある。繰り返しによる演算はハードウェアをかなり減少
させることを可能とする。
であり、それ故に計算されるべきコントリビューション
ΔＱi の数を選ぶこと、及び更に速い又は更に遅い実行
を得るためにニューロンの数を選ぶこともまた可能であ
る。こうして多重ハードウェア手段を用いる高速に対し
て、或いはハードウェア手段の量を減らして実行速度を
遅くするのに対して、そのいずれかを選ぶことが可能で
ある。繰り返しによる演算はハードウェアをかなり減少
させることを可能とする。
【００１１】商Ｑは任意のベースＢ上で
【数８】 として表すことができる。
【００１２】ベース及びｍの値の選定もまた予め定めら
れるべき計算の精度を可能にする。Ｑを１ユニットの精
度で得るためには、ｑn.Ｂn からｑ0.Ｂ0 までのみを使
えば十分である。そうするとＱはＸ対Ｙの比の整数部分
である。本発明では正のデータＸ及びＹを用いる。入力
データが負であるときは、このデータの絶対値を考える
だけで十分である。
れるべき計算の精度を可能にする。Ｑを１ユニットの精
度で得るためには、ｑn.Ｂn からｑ0.Ｂ0 までのみを使
えば十分である。そうするとＱはＸ対Ｙの比の整数部分
である。本発明では正のデータＸ及びＹを用いる。入力
データが負であるときは、このデータの絶対値を考える
だけで十分である。
【００１３】本発明によれば、-m≦ｉ≦n なるすべての
項ｑi.Ｂi は、最大項ｑn.Ｂn から始めて順次決定され
る。これらの項はベースＢ上で定められ、このベースは
任意でよい。ベースＢの選定はニューラル・プロセッサ
のアーキテクチャーが構築されるやり方で決定される。
ベースＢのサイズＢが定められると、各項ｑi.Ｂi を計
算するため各値ｑi が定められ、この目的のために数個
の項j.Ｂi が計算され、それに対し値ｊは決定されるべ
き値ｑi を内包している。ベースＢに対しては、ｊの値
は０と B−1 の間にある。値０は計算を必要としないか
ら、これらの項は、 1≦ｊ≦B-1 に対して決定される。
従ってニューラル・プロセッサの演算は、並列に動作す
る最大では(B−1)個のニューロン又はニューロン群を必
要とするか、又は(B−1)個の計算ステップに対し逐次動
作する最少では１個のニューロンを必要とする。その中
間を用いることもあるかも知れない。高速の実行は、大
きいサイズのベースＢを持つ(B−1)個のニューロン又は
ニューロン群の並列演算によって得られる。低速の実行
は、ある限定された数のニューロンを引き続く数個のス
テップで演算することによるか、又はベースＢに対し更
に小さいサイズを選ぶことにより得られる。
項ｑi.Ｂi は、最大項ｑn.Ｂn から始めて順次決定され
る。これらの項はベースＢ上で定められ、このベースは
任意でよい。ベースＢの選定はニューラル・プロセッサ
のアーキテクチャーが構築されるやり方で決定される。
ベースＢのサイズＢが定められると、各項ｑi.Ｂi を計
算するため各値ｑi が定められ、この目的のために数個
の項j.Ｂi が計算され、それに対し値ｊは決定されるべ
き値ｑi を内包している。ベースＢに対しては、ｊの値
は０と B−1 の間にある。値０は計算を必要としないか
ら、これらの項は、 1≦ｊ≦B-1 に対して決定される。
従ってニューラル・プロセッサの演算は、並列に動作す
る最大では(B−1)個のニューロン又はニューロン群を必
要とするか、又は(B−1)個の計算ステップに対し逐次動
作する最少では１個のニューロンを必要とする。その中
間を用いることもあるかも知れない。高速の実行は、大
きいサイズのベースＢを持つ(B−1)個のニューロン又は
ニューロン群の並列演算によって得られる。低速の実行
は、ある限定された数のニューロンを引き続く数個のス
テップで演算することによるか、又はベースＢに対し更
に小さいサイズを選ぶことにより得られる。
【００１４】原理的にはニューラル・プロセッサは、ニ
ューロン状態Ｖi を記憶するメモリと、シナプス係数Ｃ
ijを記憶するメモリと、重み付けされた総和を計算する
ためのユニットΣＣijＶi と、ニューロン状態Ｖj を生
成するための上記総和に非線形関数を適用するユニット
とにより形成される。この最後のものは実行された演算
の結果を、すなわち本発明の場合には正規化の結果を構
成する。
ューロン状態Ｖi を記憶するメモリと、シナプス係数Ｃ
ijを記憶するメモリと、重み付けされた総和を計算する
ためのユニットΣＣijＶi と、ニューロン状態Ｖj を生
成するための上記総和に非線形関数を適用するユニット
とにより形成される。この最後のものは実行された演算
の結果を、すなわち本発明の場合には正規化の結果を構
成する。
【００１５】本発明によれば、上記メモリ及び上記ユニ
ットは、初期値によってプログラムされる。それらの初
期値のうちのあるものは固定値であり、他のものは２つ
の入力データの割り算を実行するため規則的に更新され
る。各計算サイクル中に、部分商QP及び恐らくは部分剰
余RPが決定され、これらの値は更新される。計算の終わ
りには、最後の部分商QPは最終商Ｑを、またRPは最終剰
余を構成する。各サイクル中に、得られた結果はこうし
て次のサイクル用にリサイクルされる。
ットは、初期値によってプログラムされる。それらの初
期値のうちのあるものは固定値であり、他のものは２つ
の入力データの割り算を実行するため規則的に更新され
る。各計算サイクル中に、部分商QP及び恐らくは部分剰
余RPが決定され、これらの値は更新される。計算の終わ
りには、最後の部分商QPは最終商Ｑを、またRPは最終剰
余を構成する。各サイクル中に、得られた結果はこうし
て次のサイクル用にリサイクルされる。
【００１６】１つの実例にあっては、部分剰余RPを計算
することなく部分商QPのみが用いられる。この場合に
は、部分商QPは初期には０であり、上記計算手段は、 a) １から B−1 まで変化するｊと初期には予め定めら
れた最大数に等しい整数であるｉとに対し、少なくとも
１つのニューロンにより実行される(B−1)個の演算の結
果である多数の量
することなく部分商QPのみが用いられる。この場合に
は、部分商QPは初期には０であり、上記計算手段は、 a) １から B−1 まで変化するｊと初期には予め定めら
れた最大数に等しい整数であるｉとに対し、少なくとも
１つのニューロンにより実行される(B−1)個の演算の結
果である多数の量
【数９】 を計算する； b) SD0 ≧0 , SDB ＜0 及び sign(0)＝+1 とすると
き、
き、
【数１０】 を確認する値ｊ＝ｑi を決定する； c) コントリビューションΔＱi ＝ｑi.Ｂi を決定す
る； d) 新しい部分商を
る； d) 新しい部分商を
【数１１】 となるように決定する；及び e) Ｑに対し予め定められた精度を定義する最小値に達
するまで先行の繰り返し演算により商Ｑを決定するよう
にｉを減少させる；ようにプログラムされている。
するまで先行の繰り返し演算により商Ｑを決定するよう
にｉを減少させる；ようにプログラムされている。
【００１７】もう１つの実例にあっては、部分商と部分
剰余RPとが双方とも用いられる。この場合には、計算手
段は、部分剰余RPi ＝X-QPi.Y を計算するようプログラ
ムされ、部分剰余は初期にはＸに等しく且つ
剰余RPとが双方とも用いられる。この場合には、計算手
段は、部分剰余RPi ＝X-QPi.Y を計算するようプログラ
ムされ、部分剰余は初期にはＸに等しく且つ
【数１２】 のように繰り返しにより更新される。
【００１８】計算手段は更にまた、多数の量
【数１３】 をも計算することができる。
【００１９】上記ステップa)の(B−1)個の演算は、並列
に演算するようプログラムされている(B−1)個のニュー
ロン又はニューロン群により実行できる。該(B−1)個の
演算はまた、もし結果を得る速度が重要でないならば、
(B−1)個の引き続く計算ステップで動作する単一のニュ
ーロン又はニューロン群により実行できる。
に演算するようプログラムされている(B−1)個のニュー
ロン又はニューロン群により実行できる。該(B−1)個の
演算はまた、もし結果を得る速度が重要でないならば、
(B−1)個の引き続く計算ステップで動作する単一のニュ
ーロン又はニューロン群により実行できる。
【００２０】(B−1)個の演算は更に、一部は並列過程
を、また一部は繰り返し過程を実行するニューロン群に
分散することもできる。
を、また一部は繰り返し過程を実行するニューロン群に
分散することもできる。
【００２１】コントリビューションΔＱi を計算する上
記ステップa)、b)、c)は、ベースＢに対して選ばれた大
きさに依存して最少では唯１つのニューロンで実現でき
る。
記ステップa)、b)、c)は、ベースＢに対して選ばれた大
きさに依存して最少では唯１つのニューロンで実現でき
る。
【００２２】引き続くコントリビューションΔＱi の累
計用の上記ステップd)もやはり最少では唯１つのニュー
ロンで実現できる。
計用の上記ステップd)もやはり最少では唯１つのニュー
ロンで実現できる。
【００２３】サイズ２のベースＢを使うとき、商の計算
は２つのニューロンだけを使って実行できる。
は２つのニューロンだけを使って実行できる。
【００２４】上述したデータの正規化の演算は一般的
に、分解フェーズや学習フェーズに関する所与のニュー
ロン処理ステップの終わりに生じる。従ってニューラル
・プロセッサのニューロンは、所与の瞬間にデータの正
規化を実行するのに用いることができ、また他の瞬間に
実際のニューロン過程を実行するのに用いることができ
る。それ故に、ニューラル・プロセッサは、正規化の演
算専用の特定のニューロンを含む必要はない。しかし、
ニューラル・プロセッサはデータの正規化専用に使うこ
ともできる。
に、分解フェーズや学習フェーズに関する所与のニュー
ロン処理ステップの終わりに生じる。従ってニューラル
・プロセッサのニューロンは、所与の瞬間にデータの正
規化を実行するのに用いることができ、また他の瞬間に
実際のニューロン過程を実行するのに用いることができ
る。それ故に、ニューラル・プロセッサは、正規化の演
算専用の特定のニューロンを含む必要はない。しかし、
ニューラル・プロセッサはデータの正規化専用に使うこ
ともできる。
【００２５】
【実施例】以下、本発明の種々の態様及びその他の態様
が、実施例により、図面を引用して説明される。
が、実施例により、図面を引用して説明される。
【００２６】図１は、ニューラル・プロセッサ10の既知
のアーキテクチャーの簡易化した概略図である。入力手
段INP 13（例えば入力レジスタ又は入力端子）は入力デ
ータ９を処理ユニット11に与え、該処理ユニット11はま
た、記憶手段12に記憶されたシナプス係数Ｃijをも受け
取る。シナプス係数Ｃijはソース・ニューロンｊをデス
ティネーション・ニューロンｉに接続するシナプスの重
み付けを特徴付ける。処理ユニット11は更にまた、記憶
手段14に記憶されたニューロンの状態をも受け取る。
のアーキテクチャーの簡易化した概略図である。入力手
段INP 13（例えば入力レジスタ又は入力端子）は入力デ
ータ９を処理ユニット11に与え、該処理ユニット11はま
た、記憶手段12に記憶されたシナプス係数Ｃijをも受け
取る。シナプス係数Ｃijはソース・ニューロンｊをデス
ティネーション・ニューロンｉに接続するシナプスの重
み付けを特徴付ける。処理ユニット11は更にまた、記憶
手段14に記憶されたニューロンの状態をも受け取る。
【００２７】ニューロンがソース・ニューロンとして動
作するときには、その状態をＶj で表し、それがデステ
ィネーション・ニューロンとして動作するときには、そ
の状態をＶi で表す。各デスティネーション・ニューロ
ンに対して、処理ユニット11は次の計算
作するときには、その状態をＶj で表し、それがデステ
ィネーション・ニューロンとして動作するときには、そ
の状態をＶi で表す。各デスティネーション・ニューロ
ンに対して、処理ユニット11は次の計算
【数１４】 を実行する。
【００２８】処理ユニット11は、指数ｊのすべてのソー
ス・ニューロンについて総和を算出し、デスティネーシ
ョン・ニューロンｉのニューラル電位 POTi を出力する
（接続８）。このニューラル電位 POTi は、デスティネ
ーション・ニューロンｉの新しいニューロンの状態Ｖi
を生成する非線形関数NLF 15の支配下にある。この新し
い状態Ｖi は記憶手段14を更新するのに使われ、処理は
他のニューロンに対して続行する。非線形関数NLF を与
える手段15はニューラル・プロセッサ10の外に示されて
いる。図１は単にアーキテクチャーを説明するものに過
ぎず、これらの付与手段15はニューラル・プロセッサ10
の内部に配置してもよいのである。それらはまたニュー
ロンの一部にのみ関与することもある。ホスト・コンピ
ュータ16がニューラル・プロセッサ内のメカニズムのア
センブリの演算開始を制御する。簡単のために、制御手
段や学習手段のような他の部分は省略してある。
ス・ニューロンについて総和を算出し、デスティネーシ
ョン・ニューロンｉのニューラル電位 POTi を出力する
（接続８）。このニューラル電位 POTi は、デスティネ
ーション・ニューロンｉの新しいニューロンの状態Ｖi
を生成する非線形関数NLF 15の支配下にある。この新し
い状態Ｖi は記憶手段14を更新するのに使われ、処理は
他のニューロンに対して続行する。非線形関数NLF を与
える手段15はニューラル・プロセッサ10の外に示されて
いる。図１は単にアーキテクチャーを説明するものに過
ぎず、これらの付与手段15はニューラル・プロセッサ10
の内部に配置してもよいのである。それらはまたニュー
ロンの一部にのみ関与することもある。ホスト・コンピ
ュータ16がニューラル・プロセッサ内のメカニズムのア
センブリの演算開始を制御する。簡単のために、制御手
段や学習手段のような他の部分は省略してある。
【００２９】例えば、ニューラル・プロセッサは一群の
エレメント中の異なるカテゴリーであるA,B,C を選別す
るのに使うこともできる。計算されたニューロンの状態
は、これらの異なるカテゴリーを計数することを可能に
する。茲で例えば学習のような所与の演算の進行過程
で、入力データをノルムに関して表現することが必要か
も知れない。従って例えば、最大データが最大ノルムを
超えないことを保証することによりすべてのデータを正
規化する必要があるかも知れない。それ故に、正規化す
なわちすべてのデータを最大データにより分割する必要
がある。それはまた、ニューラル・プロセッサの外部で
データの創生にも関与し得る。
エレメント中の異なるカテゴリーであるA,B,C を選別す
るのに使うこともできる。計算されたニューロンの状態
は、これらの異なるカテゴリーを計数することを可能に
する。茲で例えば学習のような所与の演算の進行過程
で、入力データをノルムに関して表現することが必要か
も知れない。従って例えば、最大データが最大ノルムを
超えないことを保証することによりすべてのデータを正
規化する必要があるかも知れない。それ故に、正規化す
なわちすべてのデータを最大データにより分割する必要
がある。それはまた、ニューラル・プロセッサの外部で
データの創生にも関与し得る。
【００３０】本発明は２つのタイプのニューロンを利用
する。１番目のタイプのニューロン(図2-A)は加算器と
して動作し、非線形関数Ｆを与える手段を含まない。本
来それは２つのシナプス係数C1, C2を記憶する手段を有
し、これらのシナプス係数C1, C2に入力値Z1, Z2をそれ
ぞれ乗算して積C1Z1, C2Z2を形成する。これらの積は加
算器Σ中で加算され、出力値Ｚを出力して
する。１番目のタイプのニューロン(図2-A)は加算器と
して動作し、非線形関数Ｆを与える手段を含まない。本
来それは２つのシナプス係数C1, C2を記憶する手段を有
し、これらのシナプス係数C1, C2に入力値Z1, Z2をそれ
ぞれ乗算して積C1Z1, C2Z2を形成する。これらの積は加
算器Σ中で加算され、出力値Ｚを出力して
【数１５】 となる。
【００３１】２番目のタイプのニューロン (図2-B)は試
験器として動作し、１番目のタイプのニューロンと同じ
エレメントを持つが、更に非線形関数Ｆを与える手段20
（例えば比較器）も有する。従ってこのニューロンの出
力は
験器として動作し、１番目のタイプのニューロンと同じ
エレメントを持つが、更に非線形関数Ｆを与える手段20
（例えば比較器）も有する。従ってこのニューロンの出
力は
【数１６】 という値Ｚを供給する。
【００３２】非線形関数Ｆは図2-C で表される。手段20
(図2-B)は加算器Σの出力信号を受け取る入力ｅを持
ち、該信号は値０と比較される。該入力ｅが負の信号を
受け取るとき、又は正の信号を受け取るときには、手段
20はそれぞれ−v2又は＋v1なる値の信号を出力する。以
後説明する大多数の実施例で、値＋v1／−v2は１／０，
ｊ／０，Ｂi ／０のいずれかである。
(図2-B)は加算器Σの出力信号を受け取る入力ｅを持
ち、該信号は値０と比較される。該入力ｅが負の信号を
受け取るとき、又は正の信号を受け取るときには、手段
20はそれぞれ−v2又は＋v1なる値の信号を出力する。以
後説明する大多数の実施例で、値＋v1／−v2は１／０，
ｊ／０，Ｂi ／０のいずれかである。
【００３３】〔１番目の実例（第１グループ）〕図３
は、値Ｘを値Ｙに関して正規化するようプログラムした
計算手段を図式的に示すものである。手段30は、一方で
はデータＹの値に基づいて、またもう一方では部分剰余
RPに基づいて、コントリビューション
は、値Ｘを値Ｙに関して正規化するようプログラムした
計算手段を図式的に示すものである。手段30は、一方で
はデータＹの値に基づいて、またもう一方では部分剰余
RPに基づいて、コントリビューション
【数１７】 を逐次計算する。初期には QP＝0 及び RP＝X である。各コントリビューションΔＱi は、ｉを最大値
ｉmax から減少する整数とするとき
ｉmax から減少する整数とするとき
【数１８】 に従ってRP及びQPを更新するのに用いられる。
【００３４】これらの更新演算は、１番目のタイプの２
つのニューロンNQ及びNRを用いる。各ニューロンは累算
器として動作するために循環的に結合している。このル
ープ型の演算には、各ニューロンNQ, NRに対してその後
にレジスタRQ, RRがそれぞれ続き、それが初等計算サイ
クル中の結果を記憶することが必要である。レジスタRQ
は０に初期化され、レジスタRRはＸに初期化され、２つ
のニューロンのシナプス係数C1, C2がプログラムされ
る。
つのニューロンNQ及びNRを用いる。各ニューロンは累算
器として動作するために循環的に結合している。このル
ープ型の演算には、各ニューロンNQ, NRに対してその後
にレジスタRQ, RRがそれぞれ続き、それが初等計算サイ
クル中の結果を記憶することが必要である。レジスタRQ
は０に初期化され、レジスタRRはＸに初期化され、２つ
のニューロンのシナプス係数C1, C2がプログラムされ
る。
【００３５】各ニューロンのパラメタZ1, C1, Z2, C2の
値は次の表１に与えられる。
値は次の表１に与えられる。
【表１】
【００３６】〔コントリビューションΔＱi の決定〕 〔─１番目の実施例〕図４は、１番目の実例の第１グル
ープに対する手段30の１番目の実施例を示す。商Ｑはベ
ースＢ中に表現される。平行して動作するB-1 ニューロ
ン NAj (1≦ｊ≦B-1) の層が、所与のｉに対して 1≦ｊ≦B-1 のとき (B-1)個
の項
ープに対する手段30の１番目の実施例を示す。商Ｑはベ
ースＢ中に表現される。平行して動作するB-1 ニューロ
ン NAj (1≦ｊ≦B-1) の層が、所与のｉに対して 1≦ｊ≦B-1 のとき (B-1)個
の項
【数１９】 を決定するのに使われるのが好適である。 j＝0 の項の
計算には補充ニューロンは必要としない。ニューロンNA
j はすべてZ2及びRPi+1 を受け取る。それらは、量SDj
を決定するようにプログラムされ、その量の値は層中の
ニューロンのランクの指数ｊに依存する。項SDj はニュ
ーロンののニューラル電位 POTを設立する。
計算には補充ニューロンは必要としない。ニューロンNA
j はすべてZ2及びRPi+1 を受け取る。それらは、量SDj
を決定するようにプログラムされ、その量の値は層中の
ニューロンのランクの指数ｊに依存する。項SDj はニュ
ーロンののニューラル電位 POTを設立する。
【００３７】項ｊ.Bi .Yの決定には幾つかの組合せが生
じる。ニューロンNAj のパラメタZ1, C1, Z2, C2は３通
りの組合せを指示する次の表２に従ってプログラムされ
ることになろう：
じる。ニューロンNAj のパラメタZ1, C1, Z2, C2は３通
りの組合せを指示する次の表２に従ってプログラムされ
ることになろう：
【表２】
【００３８】すべての量SDj が、その符号を決定するよ
うに、そしてそれから正か又は０である最小の量SDj の
指数 j=qi を導くように試験される。さらに、非線形関
数Ｆをニューラル電位 POTに適用する手段を含む２番目
のタイプのニューロンNAj が使用される。この関数Ｆは
うに、そしてそれから正か又は０である最小の量SDj の
指数 j=qi を導くように試験される。さらに、非線形関
数Ｆをニューラル電位 POTに適用する手段を含む２番目
のタイプのニューロンNAj が使用される。この関数Ｆは
【数２０】 で定義される関数Ｆ1 であろう。
【００３９】従って、すべての出力Ｄj は 1≦ｊ≦ qi
に対して１であり、また、すべての出力Ｄj は qi ＜ｊ
≦B-1 に対して０である。
に対して１であり、また、すべての出力Ｄj は qi ＜ｊ
≦B-1 に対して０である。
【００４０】ニューロンの２番目の層NBj (1≦ｊ≦B-1)
が、引き続く出力Ｄj 及びＤj+1 を１対単位で比較す
る。こうして、ランクj ＝ qi を持つ１つのニューロン
NBj が排他的に２つの異なるニューロンＤj 及びＤj+1
を持ち、また qi に等しい出力を持ち、その他のニュー
ロンは出力０を持つ。それ故に、ニューロンNBj のパラ
メタZ1, C1, Z2, C2は、次の表３（但しＤB ＝0)に従っ
てプログラムされる：
が、引き続く出力Ｄj 及びＤj+1 を１対単位で比較す
る。こうして、ランクj ＝ qi を持つ１つのニューロン
NBj が排他的に２つの異なるニューロンＤj 及びＤj+1
を持ち、また qi に等しい出力を持ち、その他のニュー
ロンは出力０を持つ。それ故に、ニューロンNBj のパラ
メタZ1, C1, Z2, C2は、次の表３（但しＤB ＝0)に従っ
てプログラムされる：
【表３】
【００４１】ニューロンNBj の出力が、層中の各ニュー
ロンNBj の指数ｊ（Ｄj ≠Ｄj+1 のとき）直接供給する
ことを達成するために、次の式：
ロンNBj の指数ｊ（Ｄj ≠Ｄj+1 のとき）直接供給する
ことを達成するために、次の式：
【数２１】 の応答を持つ関数Ｆ2 を適用する手段を具えた２番目の
タイプのニューロンが使用される。
タイプのニューロンが使用される。
【００４２】３番目の層が１番目のタイプのマルチ入力
ニューロンにより形成され、その入力の各々は次の表４
に従ってプログラムされる：
ニューロンにより形成され、その入力の各々は次の表４
に従ってプログラムされる：
【表４】
【００４３】代替案として、ニューロンNBj の非線形関
数Ｆを適用する手段が関数Ｆ3 で動作し、従って
数Ｆを適用する手段が関数Ｆ3 で動作し、従って
【数２２】 となる限りにおいて、ニューロンNCの係数Ｃj を値１に
設定してもよい。
設定してもよい。
【００４４】表１から表４までは、異なる係数を設定し
ている： ─固定係数、例えば1,-1、ニューラル・プロセッサがＢ
のサイズに関し正規化の課題のために用いられる瞬間
に、これらが搭載される； ─例えばＹ，Ｘという係数、これらは使用されるデータ
に依存し、各新しいデータＸ又はＹに対し搭載される； ─項Ｂi を含む係数、これらは各循環サイクル中に修正
される。各サイクルの開始時に、Ｂi の倍数であるこれ
らの係数は、対応するニューロンの入力をも制御するホ
スト・コンピュータにより、最高の係数Ｂi から始め
て、搭載される。ｉの値は、処理容量を決定する最大値
ｉmax により限定される。ニューラル・プロセッサは、
予め定められた値ｉmax を持つ所与のベースＢ(従っ
て、ニューロンNAj,NBj の数B-1)を持つ固定アーキテク
チャーを持つと考えることができる。また同時に、ユー
ザーがベースＢの次数を選択し、また値ｉmax をニュー
ラル・プロセッサのハードウェア容量の関数として選択
すると考えることができ、結果的に係数をプログラムす
ると考えることができる。これらの選択は使われたデー
タ値Ｘ及びＹに従ってなされる。
ている： ─固定係数、例えば1,-1、ニューラル・プロセッサがＢ
のサイズに関し正規化の課題のために用いられる瞬間
に、これらが搭載される； ─例えばＹ，Ｘという係数、これらは使用されるデータ
に依存し、各新しいデータＸ又はＹに対し搭載される； ─項Ｂi を含む係数、これらは各循環サイクル中に修正
される。各サイクルの開始時に、Ｂi の倍数であるこれ
らの係数は、対応するニューロンの入力をも制御するホ
スト・コンピュータにより、最高の係数Ｂi から始め
て、搭載される。ｉの値は、処理容量を決定する最大値
ｉmax により限定される。ニューラル・プロセッサは、
予め定められた値ｉmax を持つ所与のベースＢ(従っ
て、ニューロンNAj,NBj の数B-1)を持つ固定アーキテク
チャーを持つと考えることができる。また同時に、ユー
ザーがベースＢの次数を選択し、また値ｉmax をニュー
ラル・プロセッサのハードウェア容量の関数として選択
すると考えることができ、結果的に係数をプログラムす
ると考えることができる。これらの選択は使われたデー
タ値Ｘ及びＹに従ってなされる。
【００４５】例えば、Ｘ及びＹが、０≦Ｘ≦２r −１及
び１≦Ｙ≦２r −１なる整数の場合には、ｉmax に対し
て２r ≦Ｂ(imax+1)なる最小の整数を選択することがで
きる。そうすると値ｉmax はデータＸ及びＹにに依存し
ないという利点がある。
び１≦Ｙ≦２r −１なる整数の場合には、ｉmax に対し
て２r ≦Ｂ(imax+1)なる最小の整数を選択することがで
きる。そうすると値ｉmax はデータＸ及びＹにに依存し
ないという利点がある。
【００４６】〔２番目の実施例〕１番目の実例（第１グ
ループ）の範囲内で、データの正規化に参画するニュー
ロンの数を限定することは有益であろう。図５は、ニュ
ーロンNBj の層が存在しない場合を示している。
ループ）の範囲内で、データの正規化に参画するニュー
ロンの数を限定することは有益であろう。図５は、ニュ
ーロンNBj の層が存在しない場合を示している。
【００４７】ニューロンNAj のニューロンは表２に対応
するデータを受け取り、それらの非線形関数は再びＦ1
である。すべての出力Ｄj が、Ｄj をＥj に置き換える
ことにより表４に従ってプログラムされた１番目のタイ
プのニューロンNCに与えられる。かようにしてニューロ
ンNCは、入力Ｄj ＝１に対応するコントリビューション
Ｂi の数 qi を足し合わせる。
するデータを受け取り、それらの非線形関数は再びＦ1
である。すべての出力Ｄj が、Ｄj をＥj に置き換える
ことにより表４に従ってプログラムされた１番目のタイ
プのニューロンNCに与えられる。かようにしてニューロ
ンNCは、入力Ｄj ＝１に対応するコントリビューション
Ｂi の数 qi を足し合わせる。
【００４８】この２番目の実施例の場合には、ニューロ
ンNCの係数Ｃj は、ニューロンNAjの非線形関数Ｆを適
用する手段が関数Ｆ4 で動作し、従って
ンNCの係数Ｃj は、ニューロンNAjの非線形関数Ｆを適
用する手段が関数Ｆ4 で動作し、従って
【数２３】 となる限りにおいて、値１にプログラムしてもよい。
【００４９】〔１番目の実例（第２グループ）〕一部は
ニューロンNQを、他の一部はニューロンNRを持つニュー
ロンNCと、ニューロンNCを融合して得られた変形は、第
１グループ内で既述の構造の各々に対応する。これは次
のようにして得られる： ─実施例に依存し、且つそれぞれの場合に依存して１又
はＢi に等しい係数Ｃj を持つところのＥj 又はＤj に
等しい入力Ｖj を以前に受け取ったものであるニューロ
ンNCを除外する； ─Ｖj 及びＣj が以前に使ったニューロンNCに対応する
下記の表５のTABLE5(A)に従ってプログラムされたＢ個
の入力を含む１番目のタイプのニューロンに、図３のニ
ューロンNQを置き換える；
ニューロンNQを、他の一部はニューロンNRを持つニュー
ロンNCと、ニューロンNCを融合して得られた変形は、第
１グループ内で既述の構造の各々に対応する。これは次
のようにして得られる： ─実施例に依存し、且つそれぞれの場合に依存して１又
はＢi に等しい係数Ｃj を持つところのＥj 又はＤj に
等しい入力Ｖj を以前に受け取ったものであるニューロ
ンNCを除外する； ─Ｖj 及びＣj が以前に使ったニューロンNCに対応する
下記の表５のTABLE5(A)に従ってプログラムされたＢ個
の入力を含む１番目のタイプのニューロンに、図３のニ
ューロンNQを置き換える；
【表５】 ─上記の表５のTABLE 5(B)（Ｖj 及びＣj に対しては同
じ意味を持つ）に従って、プログラムされたＢ個の入力
を含む１番目のタイプのニューロンに、図３のニューロ
ンNRを置き換える。
じ意味を持つ）に従って、プログラムされたＢ個の入力
を含む１番目のタイプのニューロンに、図３のニューロ
ンNRを置き換える。
【００５０】この変形は前より１つ少ない層を有する。
【００５１】〔２番目の実例〕図６は、２番目の実例を
図式的に示す。１番目の実例におけると同様に、計算の
最後に最終剰余を供給するニューロンNRが設けられる。
しかし今度は、ブロック30はΔＱi の計算用に部分商QP
を利用する。従って１番目の実例に対して提示された構
造の各々に、ΔＱi の計算に関与するニューロンNAj を
除いてそれと類似の構造が対応する。計算ΔＱi に関与
するニューロンの最初の層は、図2-B に示すタイプの３
入力ニューロンNAj により形成され、これは補充入力Ｚ
3 及びシナプス係数Ｃ3 を含む。表６はニューロンNAj
のパラメタZ1, C1, Z2, C2, Z3,C3を示す。
図式的に示す。１番目の実例におけると同様に、計算の
最後に最終剰余を供給するニューロンNRが設けられる。
しかし今度は、ブロック30はΔＱi の計算用に部分商QP
を利用する。従って１番目の実例に対して提示された構
造の各々に、ΔＱi の計算に関与するニューロンNAj を
除いてそれと類似の構造が対応する。計算ΔＱi に関与
するニューロンの最初の層は、図2-B に示すタイプの３
入力ニューロンNAj により形成され、これは補充入力Ｚ
3 及びシナプス係数Ｃ3 を含む。表６はニューロンNAj
のパラメタZ1, C1, Z2, C2, Z3,C3を示す。
【表６】
【００５２】ΔＱi の決定には、１番目の実例に提示さ
れた２番目の実施例に対し記述された構造を用いるのが
好適である。
れた２番目の実施例に対し記述された構造を用いるのが
好適である。
【００５３】〔３番目の実例〕３番目の実例はニューロ
ンNRが使用されず、構造により供給される唯一の結果が
最後の商である（すなわち最終剰余は与えられない）場
合に対応する。これはRPの計算を省略することを許容す
る。３番目の実例の構造は、それがニューロンNR及びレ
ジスタRRを含まないことを除き、２番目の実例の構造と
同一である。
ンNRが使用されず、構造により供給される唯一の結果が
最後の商である（すなわち最終剰余は与えられない）場
合に対応する。これはRPの計算を省略することを許容す
る。３番目の実例の構造は、それがニューロンNR及びレ
ジスタRRを含まないことを除き、２番目の実例の構造と
同一である。
【００５４】ΔＱi は、図５のそれと類似で２番目の実
例においてその適用のためにそれから導かれた構造によ
り決定されるのが好適である。
例においてその適用のためにそれから導かれた構造によ
り決定されるのが好適である。
【００５５】更にまた、ニューロンNCがニューロンNQと
融合している既述の第２グループを使うのが有利であ
る、と云うのは、そうすれば ─前と同様、構造中の１層が省略される． ─NRが存在しないので、ΔＱi の計算を２度繰り返す必
要がない． という２つの利点が得られるからである。
融合している既述の第２グループを使うのが有利であ
る、と云うのは、そうすれば ─前と同様、構造中の１層が省略される． ─NRが存在しないので、ΔＱi の計算を２度繰り返す必
要がない． という２つの利点が得られるからである。
【００５６】〔 B＝2 に対する特定の実例〕使用される
ハードウェア手段が簡単であるという理由で興味のある
場合として、ベースＢの次数が２の場合がある。この場
合には、値 qi の決定には唯一つのニューロンのみを必
要とする。図７は、部分商QP及び部分剰余RPの決定を利
用する実施例を示す。商Ｑ及び剰余Ｒを決定するには、
３つのニューロンNA, NR, NQで十分である。ニューロン
NAの出力SNA は、値 qi か又はコントリビューションq
i Ｂi かのいずれかを、用いられる非線形関数に依存し
て供給する。ニューロンNQ及びNRは１番目のタイプで、
記憶レジスタRQ及びRRがそれぞれそれに続いている。ニ
ューロンNA（２番目のタイプ）のパラメタZ, Cは、 j＝
1 のときの表２に従ってプログラムされる。NAの加算器
により供給されるデータに適用される非線形関数Ｆは、
前と同様に関数Ｆ1 又はＦ4 に従って適用される。関数
Ｆ4 の場合には、ニューロンNQ及びNRのパラメタZ, C
は、ΔＱi をSNA で置き換えて表１に従ってプログラム
されよう。関数Ｆ1 の場合には、ニューロンNQ及びNRの
パラメタZ, Cは、次の表７に従ってプログラムされよ
う。
ハードウェア手段が簡単であるという理由で興味のある
場合として、ベースＢの次数が２の場合がある。この場
合には、値 qi の決定には唯一つのニューロンのみを必
要とする。図７は、部分商QP及び部分剰余RPの決定を利
用する実施例を示す。商Ｑ及び剰余Ｒを決定するには、
３つのニューロンNA, NR, NQで十分である。ニューロン
NAの出力SNA は、値 qi か又はコントリビューションq
i Ｂi かのいずれかを、用いられる非線形関数に依存し
て供給する。ニューロンNQ及びNRは１番目のタイプで、
記憶レジスタRQ及びRRがそれぞれそれに続いている。ニ
ューロンNA（２番目のタイプ）のパラメタZ, Cは、 j＝
1 のときの表２に従ってプログラムされる。NAの加算器
により供給されるデータに適用される非線形関数Ｆは、
前と同様に関数Ｆ1 又はＦ4 に従って適用される。関数
Ｆ4 の場合には、ニューロンNQ及びNRのパラメタZ, C
は、ΔＱi をSNA で置き換えて表１に従ってプログラム
されよう。関数Ｆ1 の場合には、ニューロンNQ及びNRの
パラメタZ, Cは、次の表７に従ってプログラムされよ
う。
【表７】
【００５７】B＝2 に対しても図８に従って、ハードウ
ェアを２ニューロンのみに減らすことが可能である。そ
の場合には部分剰余は決定されない。ニューロンNAのパ
ラメタは j＝1 のときの表６のそれらと同じである。ニ
ューロンNQのパラメタ及び関数Ｆは B＝2 のときの実例
のそれらと同じである。
ェアを２ニューロンのみに減らすことが可能である。そ
の場合には部分剰余は決定されない。ニューロンNAのパ
ラメタは j＝1 のときの表６のそれらと同じである。ニ
ューロンNQのパラメタ及び関数Ｆは B＝2 のときの実例
のそれらと同じである。
【００５８】〔Ｂ＝２k の場合〕ベースの次数がｋを整
数とするとき B＝ 2k と書ける場合は、値 Bi を含む所
与の値を繰り返し計算するユニットを使用することがで
きる。例えば±j.Ｂi 及び±Y.Ｂi という値に対する場
合である。図９は、ｋ位置シフトレジスタ82及びそれに
続くところのその値が２k.imaxに初期化できるレジスタ
84を含むようなモジュール80を示す。レジスタ84の出力
は係数 B＝ 2k.i を供給し、それは更にシフトレジスタ
82の入力に与えられる。毎回ｋ位置を通る入力データを
シフトすることにより因数 2k による割り算ができるよ
うになり、それにより上述の方法を実行するため引き続
く係数 Bi がすべて計算できる。このモジュール80は、
パラメタＺやＣを決定するのに使うことができる。
数とするとき B＝ 2k と書ける場合は、値 Bi を含む所
与の値を繰り返し計算するユニットを使用することがで
きる。例えば±j.Ｂi 及び±Y.Ｂi という値に対する場
合である。図９は、ｋ位置シフトレジスタ82及びそれに
続くところのその値が２k.imaxに初期化できるレジスタ
84を含むようなモジュール80を示す。レジスタ84の出力
は係数 B＝ 2k.i を供給し、それは更にシフトレジスタ
82の入力に与えられる。毎回ｋ位置を通る入力データを
シフトすることにより因数 2k による割り算ができるよ
うになり、それにより上述の方法を実行するため引き続
く係数 Bi がすべて計算できる。このモジュール80は、
パラメタＺやＣを決定するのに使うことができる。
【００５９】〔オーバーフロー〕ニューラル・プロセッ
サは種々のパラメタZ,C や種々のニューラルデータX,Y
及び結果QP, RPを記憶しなければならない。この目的の
ためにニューラル・プロセッサはレジスタ及びメモリの
最大容量に依存する処理容量を持っている。
サは種々のパラメタZ,C や種々のニューラルデータX,Y
及び結果QP, RPを記憶しなければならない。この目的の
ためにニューラル・プロセッサはレジスタ及びメモリの
最大容量に依存する処理容量を持っている。
【００６０】一般的に、もしニューロン状態レジスタ及
びシナプス係数メモリが(r＋1)ビットの符号の付いた語
を記憶することができるならば、例えば、Ｘ及びＹを整
数とするとき０≦Ｘ≦２r −１及び１≦Ｙ≦２r −１の
ようなデータＸ及びＹを処理することができる。それに
も拘らず、中間の計算は、例えば表２に示したような様
々なやり方で計算できる項j.Ｂi Ｙを利用する。考えて
いる構造に依存して、パラメタr,B,Y に関しては何の制
約も課されないときに、ニューロンNAによってj.Ｂi Ｙ
の計算に使用される所与の中間計算は、(r＋1)ビットよ
り多いビットを持つ語を必要とするかも知れない。この
あり得べき問題に対する幾つかの解答が次のように提案
される： 1) パラメタr, B, Y(但し１≦Ｙ≦２r −１を除く) に
関し制約を課すことを、従って当該実施例に依存する内
部レジスタの長さを選択することをやめる。 2) すべてのレジスタに(r＋1)ビットの長さを持たせ、
使用可能なハードウェア手段及び表２で選択したプログ
ラミング・モードに従ってパラメタr, B, Y に関する制
約を課すことにする。上述の制約は全ての問題を避ける
のに十分である、すなわち： ─Ｂは２の冪乗 B＝ 2k とし、ｒはｋの倍数とする。特
にもし B＝2 でｒは任意とすれば、オーバーフローは起
こらない、 ─或いは、Ｙに制限Ｙmax を課し、Ｙmax の値は、計算
j.Ｂi Ｙ中に含まれるすべての量 (例えば表２中のZ2＝
Y.Bi 又はC2＝-JY)を、(r＋1)ビットのレジスタに記憶
することができるように選択する。 3) パラメタr,B,Y に制約を課すこと及び係数に対し特
定の値を選択することをやめている間は、すべてのレジ
スタに(r＋1)ビットの長さを持たせる。各レジスタの記
憶容量は(r＋1)ビットであると仮定する。RPi+1 の記憶
は正しく学習したシステムに対してはオーバーフローを
起こさない。しかし、項
びシナプス係数メモリが(r＋1)ビットの符号の付いた語
を記憶することができるならば、例えば、Ｘ及びＹを整
数とするとき０≦Ｘ≦２r −１及び１≦Ｙ≦２r −１の
ようなデータＸ及びＹを処理することができる。それに
も拘らず、中間の計算は、例えば表２に示したような様
々なやり方で計算できる項j.Ｂi Ｙを利用する。考えて
いる構造に依存して、パラメタr,B,Y に関しては何の制
約も課されないときに、ニューロンNAによってj.Ｂi Ｙ
の計算に使用される所与の中間計算は、(r＋1)ビットよ
り多いビットを持つ語を必要とするかも知れない。この
あり得べき問題に対する幾つかの解答が次のように提案
される： 1) パラメタr, B, Y(但し１≦Ｙ≦２r −１を除く) に
関し制約を課すことを、従って当該実施例に依存する内
部レジスタの長さを選択することをやめる。 2) すべてのレジスタに(r＋1)ビットの長さを持たせ、
使用可能なハードウェア手段及び表２で選択したプログ
ラミング・モードに従ってパラメタr, B, Y に関する制
約を課すことにする。上述の制約は全ての問題を避ける
のに十分である、すなわち： ─Ｂは２の冪乗 B＝ 2k とし、ｒはｋの倍数とする。特
にもし B＝2 でｒは任意とすれば、オーバーフローは起
こらない、 ─或いは、Ｙに制限Ｙmax を課し、Ｙmax の値は、計算
j.Ｂi Ｙ中に含まれるすべての量 (例えば表２中のZ2＝
Y.Bi 又はC2＝-JY)を、(r＋1)ビットのレジスタに記憶
することができるように選択する。 3) パラメタr,B,Y に制約を課すこと及び係数に対し特
定の値を選択することをやめている間は、すべてのレジ
スタに(r＋1)ビットの長さを持たせる。各レジスタの記
憶容量は(r＋1)ビットであると仮定する。RPi+1 の記憶
は正しく学習したシステムに対してはオーバーフローを
起こさない。しかし、項
【数２４】 の計算は、ｊ及びｉのいずれか一方又は双方の所与の値
に対しオーバーフローを起こさせて、負項SDj へ導くか
も知れない。次にはSDj に対し負の符号を検出するだけ
で十分である。これは、表２でオーバーフローへ導くで
あろうｊ及びｉに対し係数Ｃ1 ＝0 及びＣ2 ＝-1として
プログラミングで達成できる。このプログラミングはホ
ストコンピュータにより制御される。
に対しオーバーフローを起こさせて、負項SDj へ導くか
も知れない。次にはSDj に対し負の符号を検出するだけ
で十分である。これは、表２でオーバーフローへ導くで
あろうｊ及びｉに対し係数Ｃ1 ＝0 及びＣ2 ＝-1として
プログラミングで達成できる。このプログラミングはホ
ストコンピュータにより制御される。
【００６１】こうすると当業者は、所与のプログラミン
グ・モードの１つを選択するであろう、例えば表２又は
表６中で、そしてレジスタの長さ及びニューラル・プロ
セッサ中で使用できるメモリと処理されるデータと所望
の動作との関数として、オーバーフロー問題への解の１
つを選択するであろう。
グ・モードの１つを選択するであろう、例えば表２又は
表６中で、そしてレジスタの長さ及びニューラル・プロ
セッサ中で使用できるメモリと処理されるデータと所望
の動作との関数として、オーバーフロー問題への解の１
つを選択するであろう。
【００６２】本発明はデータＸ及びＹを整数又は実数と
してそれらを処理するのに用いることができる。
してそれらを処理するのに用いることができる。
【００６３】種々の実例はプロセッサの有効利用に当た
ってそれぞれ重要であり、考えられる様々の変形には次
のようなものがある： ・ニューロンの数がもっと多い、又はもっと少ない； ・例えば Bi 又はその値の倍数に等しい補充入力Ｚを必
要とする、又は必要としない； ・１つ又は幾つかの分割の過程でシナプス係数が固定又
は可変である； ・比較器の転移関数が分割の過程で固定又は可変であ
る； ・外部又は内部の演算変数が、ニューロンの状態又はシ
ナプス係数として現れて、もしそれぞれのレジスタが同
じ長さでないならば、これらの変数の受容できる最大値
が更に高いか又は低い、という意味はオーバーフロー問
題を種々のやり方で取り扱わなければならない、という
ことである。
ってそれぞれ重要であり、考えられる様々の変形には次
のようなものがある： ・ニューロンの数がもっと多い、又はもっと少ない； ・例えば Bi 又はその値の倍数に等しい補充入力Ｚを必
要とする、又は必要としない； ・１つ又は幾つかの分割の過程でシナプス係数が固定又
は可変である； ・比較器の転移関数が分割の過程で固定又は可変であ
る； ・外部又は内部の演算変数が、ニューロンの状態又はシ
ナプス係数として現れて、もしそれぞれのレジスタが同
じ長さでないならば、これらの変数の受容できる最大値
が更に高いか又は低い、という意味はオーバーフロー問
題を種々のやり方で取り扱わなければならない、という
ことである。
【図１】図１は、ニューラル・プロセッサの既知のアー
キテクチャーの概略図である。
キテクチャーの概略図である。
【図２】図２は、非線形関数を与えるための手段を持た
ないニューロンの概略図Ａと、非線形関数Ｆを与えるた
めの手段を具えるニューロンの概略図Ｂと、非線形関数
Ｆを表す曲線の図Ｃとを示す図である。
ないニューロンの概略図Ａと、非線形関数Ｆを与えるた
めの手段を具えるニューロンの概略図Ｂと、非線形関数
Ｆを表す曲線の図Ｃとを示す図である。
【図３】図３は、部分剰余RPに基づいてΔＱi を計算す
ることにより、本発明の商及び剰余計算手段の１番目の
実例を示す概略図である。
ることにより、本発明の商及び剰余計算手段の１番目の
実例を示す概略図である。
【図４】図４は、部分剰余RPを利用してコントリビュー
ションΔＱi を計算するための１番目の実施例を示す概
略図である。
ションΔＱi を計算するための１番目の実施例を示す概
略図である。
【図５】図５は、部分剰余RPを利用してコントリビュー
ションΔＱi を計算するための２番目の実施例を示す概
略図である。
ションΔＱi を計算するための２番目の実施例を示す概
略図である。
【図６】図６は、部分剰余QPに基づいてΔＱi を計算す
ることにより、商Ｑ及び剰余Ｒを計算する計算手段の２
番目の実例を示す概略図である。
ることにより、商Ｑ及び剰余Ｒを計算する計算手段の２
番目の実例を示す概略図である。
【図７】図７は、ベースＢの次数が２のとき、商Ｑ及び
剰余Ｒを計算するための３ニューロンを持つ実例を示す
概略図である。
剰余Ｒを計算するための３ニューロンを持つ実例を示す
概略図である。
【図８】図８は、ベースＢの次数が２の場合に、商Ｑを
計算するため２ニューロンを持つ実例を示す概略図であ
る。
計算するため２ニューロンを持つ実例を示す概略図であ
る。
【図９】図９は、ベースＢの次数が 2k のタイプの場合
の 2kiのタイプの項を計算するためのユニットの概略図
である。
の 2kiのタイプの項を計算するためのユニットの概略図
である。
10 ニューラル・プロセッサ 11 処理ユニット 12, 14 記憶手段 13 入力手段 15 非線形関数NLF を与える手段 16 ホスト・コンピュータ 20 非線形関数Ｆを与える手段 30 データＹの値及び部分剰余RPに基づいてコントリビ
ューションΔＱi を逐次計算する手段
ューションΔＱi を逐次計算する手段
Claims (11)
- 【請求項１】 １番目の入力データＸを２番目の入力デ
ータＹで割った商Ｑを計算することにより、２番目の入
力データＹに関して１番目の入力データＸを正規化する
ためのニューラル計算手段(11-15) を有するニューラル
・プロセッサにおいて、 該計算手段は、 ・一纏めになって算術的ベースＢ上で商Ｑを形成する一
連のコントリビューション 【数１】 を繰り返し計算するための、少なくとも１つの１番目の
ニューロン(NA1-NA B-1)(NB1-NB B-1)(NC)を含む１番目
のニューロン手段と、 ・上記１番目のニューロン手段から入力を与えられる２
番目のニューロン手段であり、且つ、商Ｑを生成するた
めに上記コントリビューションΔＱi を加え合わせるこ
とにより部分商QPを繰り返し更新するための少なくとも
１つのニューロン(NQ)を含む２番目のニューロン手段と
を能動化するようプログラムされていることを特徴とす
るニューラル・プロセッサ。 - 【請求項２】 部分商QPは初期には０であり、 上記計算手段は、 a) １から B−1 まで変化するｊと初期には予め定めら
れた最大数に等しい整数であるｉとに対し、少なくとも
１つのニューロンにより実行される(B−1)個の演算の結
果である多数の量 【数２】 を計算する； b) SD0 ≧0 , SDB ＜0 及び sign(0)＝+1 とすると
き、 【数３】 を確認する値ｊ＝ｑi を決定する； c) コントリビューションΔＱi ＝ｑi.Ｂi を決定す
る； d) 新しい部分商を 【数４】 となるように決定する；及び e) Ｑに対し予め定められた精度を定義する最小値に達
するまで先行の繰り返し演算により商Ｑを決定するよう
にｉを減少させるようにプログラムされていることを特
徴とする請求項１に記載のニューラル・プロセッサ。 - 【請求項３】 計算手段は、部分剰余RPi ＝X-QPi.Y を
計算する(NR)ようプログラムされ、部分剰余は初期には
Ｘに等しく且つ 【数５】 のように繰り返しにより更新されることを特徴とする請
求項２に記載のニューラル・プロセッサ。 - 【請求項４】 計算手段は、多数の量 【数６】 をも計算する（NA1 −NAB-1 ）ようプログラムされてい
ることを特徴とする請求項３に記載のニューラル・プロ
セッサ。 - 【請求項５】 (B−1)個の演算の実行は、少なくとも各
１つのニューロンの数グループに分配されていることを
特徴とする請求項１ないし４のうちのいずれか１項に記
載のニューラル・プロセッサ。 - 【請求項６】 フェーズｃ）及びｄ）のいずれか一方又
は双方は、少なくとも１つのニューロンにより実行され
ることを特徴とする請求項２ないし５のうちのいずれか
１項に記載のニューラル・プロセッサ。 - 【請求項７】 B＝2 に対して、ニューラル・プロセッ
サは２つのニューロンで動作し、１番目のニューロン(N
A)はフェーズａ），ｂ）及びｃ）を実現し、２番目のニ
ューロン(NQ)はフェーズｄ）を実現することを特徴とす
る請求項２に記載のニューラル・プロセッサ。 - 【請求項８】 B＝2 に対して、ニューラル・プロセッ
サは２つのニューロンで動作し、１番目のニューロン(N
A)はフェーズａ）及びｂ）を実現し、２番目のニューロ
ン(NQ)はフェーズｃ）及びｄ）を実現することを特徴と
する請求項２に記載のニューラル・プロセッサ。 - 【請求項９】 B＝2 に対して、ニューラル・プロセッ
サは３つのニューロンで動作し、１番目のニューロン(N
A)はフェーズａ），ｂ）及びｃ）を実現し、また、２番
目のニューロン(NQ)及び３番目のニューロン(NR)はそれ
ぞれ部分商及び部分剰余の更新を実現することを特徴と
する請求項３又は４に記載のニューラル・プロセッサ。 - 【請求項１０】 B＝2 に対して、ニューラル・プロセ
ッサは３つのニューロンで動作し、１番目のニューロン
(NA)はフェーズａ）及びｂ）を実現し、また、２番目の
ニューロン(NQ)及び３番目のニューロン(NR)はそれぞ
れ、フェーズｃ）及び部分商及び部分剰余の更新を実現
することを特徴とする請求項３又は４に記載のニューラ
ル・プロセッサ。 - 【請求項１１】 計算手段は、ある１つの瞬間に割り算
を実行し、もう１つの瞬間にニューラル分解課題及びニ
ューラル学習課題のいずれか一方又は双方を実行するこ
とを特徴とする請求項１ないし10のうちのいずれか１項
に記載のニューラル・プロセッサ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9205282A FR2690771A1 (fr) | 1992-04-29 | 1992-04-29 | Processeur neuronal muni de moyens pour normaliser des données. |
| FR9205282 | 1992-04-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07271748A true JPH07271748A (ja) | 1995-10-20 |
| JP3461525B2 JP3461525B2 (ja) | 2003-10-27 |
Family
ID=9429368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10121893A Expired - Fee Related JP3461525B2 (ja) | 1992-04-29 | 1993-04-27 | データを正規化する手段を含むニューラル・プロセッサ |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US5625753A (ja) |
| EP (1) | EP0568146B1 (ja) |
| JP (1) | JP3461525B2 (ja) |
| DE (1) | DE69315250T2 (ja) |
| FR (1) | FR2690771A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364064A (zh) * | 2017-01-27 | 2018-08-03 | 意法半导体股份有限公司 | 操作神经网络的方法、对应网络、装置、以及计算机程序产品 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8655813B2 (en) | 2010-12-30 | 2014-02-18 | International Business Machines Corporation | Synaptic weight normalized spiking neuronal networks |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
| US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
| US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3733477A (en) * | 1972-02-04 | 1973-05-15 | Control Data Corp | Iterative binary divider utilizing multiples of the divisor |
| US3828175A (en) * | 1972-10-30 | 1974-08-06 | Amdahl Corp | Method and apparatus for division employing table-lookup and functional iteration |
| US4193115A (en) * | 1977-12-15 | 1980-03-11 | The United States Of America As Represented By The Secretary Of Commerce | Method and apparatus for implementation of the CMAC mapping algorithm |
| US4503512A (en) * | 1982-02-22 | 1985-03-05 | Amdahl Corporation | Cellular division circuit |
| JPS60164837A (ja) * | 1984-02-07 | 1985-08-27 | Nec Corp | 除算装置 |
| US4860241A (en) * | 1986-10-30 | 1989-08-22 | Harris Corporation | Method and apparatus for cellular division |
| FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
| FR2646575A1 (fr) * | 1989-04-26 | 1990-11-02 | Labo Electronique Physique | Procede et structure pour la compression de donnees |
| GB2236608B (en) * | 1989-10-06 | 1993-08-18 | British Telecomm | Digital neural networks |
| EP0448890B1 (en) * | 1990-03-30 | 1997-12-29 | Koninklijke Philips Electronics N.V. | Method of processing signal data on the basis of prinicipal component transform, apparatus for performing the method |
| US5206828A (en) * | 1990-04-02 | 1993-04-27 | Advanced Micro Devices, Inc. | Special carry save adder for high speed iterative division |
| KR920009092B1 (ko) * | 1990-04-03 | 1992-10-13 | 정호선 | 나눗셈기 회로 |
| US5039870A (en) * | 1990-05-21 | 1991-08-13 | General Electric Company | Weighted summation circuits having different-weight ranks of capacitive structures |
| FR2678407A1 (fr) * | 1991-06-28 | 1992-12-31 | Philips Electronique Lab | Procede et dispositif avec un reseau neuronal pour classer des donnees, et appareil d'authentification de signature. |
| US5272660A (en) * | 1992-06-01 | 1993-12-21 | Motorola, Inc. | Method and apparatus for performing integer and floating point division using a single SRT divider in a data processor |
-
1992
- 1992-04-29 FR FR9205282A patent/FR2690771A1/fr active Pending
-
1993
- 1993-04-21 DE DE69315250T patent/DE69315250T2/de not_active Expired - Fee Related
- 1993-04-21 EP EP93201157A patent/EP0568146B1/fr not_active Expired - Lifetime
- 1993-04-27 JP JP10121893A patent/JP3461525B2/ja not_active Expired - Fee Related
- 1993-04-29 US US08/055,431 patent/US5625753A/en not_active Expired - Fee Related
-
1995
- 1995-06-05 US US08/464,922 patent/US5784536A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364064A (zh) * | 2017-01-27 | 2018-08-03 | 意法半导体股份有限公司 | 操作神经网络的方法、对应网络、装置、以及计算机程序产品 |
| US11308406B2 (en) | 2017-01-27 | 2022-04-19 | Stmicroelectronics S.R.L. | Method of operating neural networks, corresponding network, apparatus and computer program product |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0568146A1 (fr) | 1993-11-03 |
| US5625753A (en) | 1997-04-29 |
| DE69315250D1 (de) | 1998-01-02 |
| DE69315250T2 (de) | 1998-07-30 |
| US5784536A (en) | 1998-07-21 |
| JP3461525B2 (ja) | 2003-10-27 |
| EP0568146B1 (fr) | 1997-11-19 |
| FR2690771A1 (fr) | 1993-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4994982A (en) | Neural network system and circuit for use therein | |
| WO2021036904A1 (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| US6151594A (en) | Artificial neuron and method of using same | |
| US5519647A (en) | Apparatus for and method of generating an approximation function | |
| US5600843A (en) | Ring systolic array system for synchronously performing matrix/neuron computation using data transferred through cyclic shift register connected in cascade of trays | |
| US5548686A (en) | Neural comprising means for calculating a norm or a distance | |
| TWI417797B (zh) | A Parallel Learning Architecture and Its Method for Transferred Neural Network | |
| JPH07271748A (ja) | データを正規化する手段を含むニューラル・プロセッサ | |
| Langroudi et al. | Positnn framework: Tapered precision deep learning inference for the edge | |
| Yen et al. | A new k-winners-take-all neural network and its array architecture | |
| CN111353578A (zh) | 信息处理装置、神经网络程序和用于神经网络的处理方法 | |
| Zhu et al. | A sequential approximation framework for coded distributed optimization | |
| KR20210070262A (ko) | 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치 | |
| Cardinaux et al. | Iteratively training look-up tables for network quantization | |
| CN112446460A (zh) | 用于处理数据的方法、装置以及相关产品 | |
| US5857178A (en) | Neural network apparatus and learning method thereof | |
| US5581661A (en) | Artificial neuron using adder circuit and method of using same | |
| JPH04229362A (ja) | 学習機械 | |
| Hung et al. | MS_CMAC neural network learning model in structural engineering | |
| JP2825133B2 (ja) | 並列データ処理方式 | |
| Qiu et al. | Accuracy and architecture studies of residual neural network solving ordinary differential equations | |
| Bodyanskiy et al. | The cascade Neo-Fuzzy architecture and its online learning algorithm | |
| KR102541462B1 (ko) | 이형 코어 아키텍처 기반의 캡슐 신경망 추론 장치 및 그 방법 | |
| JPH04233062A (ja) | ベクトルの処理方法およびその回路 | |
| Bochev | Distributed arithmetic implementation of artificial neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |