JP3461525B2 - データを正規化する手段を含むニューラル・プロセッサ - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、１つの入力データＸを
もう１つの入力データＹで割った商Ｑを計算することに
より、入力データＸを入力データＹに対して正規化する
ニューラル計算手段を有するニューラル・プロセッサに
関する。

【０００２】ニューラル・プロセッサは類別問題に使用
される、特に、形状や文字の認識、音声信号の処理、画
像処理、情報圧縮、等々に使用される。一般に入力デー
タは物理量で表される。

【０００３】

【従来の技術】ニューラル・ネットワークの種々のタイ
プに関する情報は、例えばIEEE ASSP誌、1987年４月
号、第４〜22頁所載の、R.P.LIPPMANNによる“An intro
ductionto computing with neural nets"という文献に
記載されている。

【０００４】ニューラル・プロセッサ中の上述のプロセ
スのある物は、これを実行するのに、例えば逐次的な学
習段階の中間ステップとしてのデータを正規化する必要
があり得る。ニューラル・プロセッサ自身が正規化ステ
ップを実行すれば好都合である。かようなステップは反
復的であり得る因数によるディジタル・データの束の分
割から成る。

【０００５】ニューラル・タイプのタスク（分解、学
習）を実行することからは独立に、ニューラル・プロセ
ッサはデータの正規化のための計算を実行するディジタ
ル・データ処理装置と考えることもできる。

【０００６】分割を実行するニューラル・アーキテクチ
ャーがElectronics Letters誌1989年３月号、Vol.25、N
o.5、334〜335ページ所載の、H.HUNG及びP.SIY による
“High-Speed division unit using asymmetric neural
network architecture"という文献に記載されている。
この引用文献は、２進記号で表されている一方が他方の
倍数である２つの数の商の各ビットのカスケード（縦
続）計算を実行する非対称のニューラル・アーキテクチ
ャーを記述している。この商はその整数部分に限定され
ている。このアーキテクチャーは、データの積の総和を
算出し非線形伝達関数を適用する増幅器を用いて、アナ
ログ・ニューラル・プロセッサで実行される。商の各ビ
ットは、先行のビットを考慮に入れて逐次決定されるの
で、商の計算には大きな数の計算サイクルが必要となろ
う。

【０００７】このことはまた、段々低くなる桁のビット
を定めるニューロンは漸増する数の入力を含むことを意
味する。そのような演算モードは、演算の程度を下げる
ことなしにディジタル技術に転換することができない。

【０００８】

【発明が解決しようとする課題】本発明の目的は、最少
の規模のハードウェア手段のみを用い、計算サイクル数
を減らして、１つの入力データＸをもう１つの入力デー
タＹで割った商Ｑを計算することにより、データを正規
化する能力のあるニューラル・プロセッサを提供するこ
とである。種々の入力Ｘ及びＹに適合するための計算手
段を再構成することは容易でなければならず、計算の精
度は予め定められていなければならない。

【０００９】

【課題を解決するための手段】この目的は、ニューラル
・プロセッサを用いて達成され、このニューラル・プロ
セッサに対して上記計算手段は、 ・一纏めになって算術的基底（ベース）Ｂ上で商Ｑの数
式を形成する一連の寄与分（コントリビューション）

【数７】 を繰り返し計算する少なくとも１つのニューロンと、 ・商Ｑを生成するために上記寄与分ΔＱ_iを総計するこ
とにより部分商QPを反復的に更新する少なくとも１つの
ニューロンとを活性化するようプログラムされているも
のである。

【００１０】従って基底Ｂのサイズを選ぶことは可能で
あり、それ故に計算されるべき寄与分ΔＱ_iの数を選ぶ
こと、及び更に速い又は更に遅い実行を得るためにニュ
ーロンの数を選ぶこともまた可能である。こうして多重
ハードウェア手段を用いる高速用に、或いはハードウェ
ア手段の量を減らして実行速度を遅くするために、その
いずれかを選ぶことが可能である。繰り返しによる演算
はハードウェアをかなり減少させることを可能とする。

【００１１】商Ｑは任意の基底Ｂ上で

【数８】 として表すことができる。

【００１２】基底及びｍの値の選定もまた予め定めるべ
き計算の精度を可能にする。Ｑを１ユニットの精度で得
るためには、ｑ_n・Ｂⁿからｑ₀・Ｂ⁰までのみを使えば十
分である。そうするとＱはＸ対Ｙの比の整数部分であ
る。本発明では正のデータＸ及びＹを用いる。入力デー
タが負であるときは、このデータの絶対値を考えるだけ
で十分である。

【００１３】本発明によれば、−m≦ｉ≦ｎなるすべて
の項ｑ_i・_.Ｂⁱは、最大項ｑ_n・_.Ｂⁿから始めて順次決定
される。これらの項は基底Ｂ上で定められ、この基底は
任意でよい。基底Ｂの選定はニューラル・プロセッサの
アーキテクチャーが構築されるやり方で決定される。基
底ＢのサイズＢが定められると、各項ｑ_i・_.Ｂⁱを計算
するため各値ｑ_iが定められ、この目的のために数個の
項ｊ・Ｂⁱが計算され、それに対し値ｊは決定されるべ
き値ｑ_iを内包している。基底Ｂに対しては、ｊの値は
０とＢ−１の間にある。値０は計算を必要としないか
ら、これらの項は、１≦ｊ≦Ｂ−１に対して決定され
る。従ってニューラル・プロセッサの演算は、並列的に
動作する最大では(Ｂ−１)個のニューロン又はニューロ
ン群を必要とするか、又は(Ｂ−１)個の計算ステップに
対し逐次的に動作する少なくとも１個のニューロンを必
要とする。その中間を用いることもあり得る。高速の実
行は、大きいサイズの基底Ｂを持つ(Ｂ−１)個のニュー
ロン又はニューロン群の並列演算によって得られる。低
速の実行は、ある限定された数のニューロンを引き続く
数個のステップで演算することによるか、又は基底Ｂに
対し更に小さいサイズを選ぶことにより得られる。

【００１４】原理的にはニューラル・プロセッサは、ニ
ューロン状態Ｖ_iを記憶するメモリと、シナプス係数Ｃ
_ijを記憶するメモリと、重み付けした総和を計算するた
めのユニットΣＣ_ijＶ_iと、ニューロン状態Ｖ_jを生成す
るための上記総和に非線形関数を適用するユニットとに
より形成される。この最後のものは実行された演算の結
果を、すなわち本発明の場合には正規化の結果を構成す
る。

【００１５】本発明によれば、上記メモリ及び上記ユニ
ットは、初期値によってプログラムされる。それらの初
期値のうちのあるものは固定値であり、他のものは２つ
の入力データの割り算を実行するため規則的に更新され
る。各計算サイクル中に、部分商ＱＰ及び恐らくは部分
剰余ＲＰが決定され、これらの値は更新される。計算の
終わりには、最後の部分商ＱＰは最終商Ｑを、またＲＰ
は最終剰余を構成する。各サイクル中に、得られた結果
はこうして次のサイクル用にリサイクルされる。

【００１６】１つの実例では、部分剰余ＲＰを計算する
ことなく部分商ＱＰのみを用いる。この場合には、部分
商ＱＰは初期には０であり、上記計算手段は、 a) １からＢ−１まで変化するｊと初期には初期には最
大数に等しい整数であるｉとに対し、少なくとも１つの
ニューロンにより実行される(Ｂ−１)回の演算の回数に
相当する複数の商

【数９】 を計算する； b) ＳＤ₀≧0、ＳＤ_B＜0、及びsign(0)＝+1とするとき、

【数１０】 であることが確認される値ｊ＝ｑ_iを決定する； c) 寄与分ΔＱ_i＝ｑ_i・Ｂⁱを決定する； d) 新しい部分商を

【数１１】 となるように決定する； e) Ｑに対し所定の精度を規定する最小値に達するまで
先行の繰り返し演算により商Ｑを決定するようにｉを減
少させる；ようにプログラムされている。

【００１７】もう１つの実例では、部分商と部分剰余Ｒ
Ｐの双方を用いる。この場合には、計算手段は、部分剰
余ＲＰ_i＝Ｘ−ＱＰ_iＹ を計算するようプログラムさ
れ、部分剰余は初期にはＸに等しく且つ

【数１２】 のように反復により更新される。

【００１８】計算手段は更にまた、複数の商

【数１３】 も計算することができる。

【００１９】上記ステップa)の(Ｂ−１)回の演算は、並
列に演算するようプログラムされている(Ｂ−１)個のニ
ューロン又はニューロン群により実行できる。これらの
(Ｂ−１)回の演算はまた、もし結果を得る速度が重要で
ないならば、(Ｂ−１)回の引き続く計算ステップで動作
する単一のニューロン又はニューロン群により実行でき
る。

【００２０】(Ｂ−１)回の演算は更に、一部は並列過程
を、また一部は反復過程を実行するニューロン群に分散
することもできる。

【００２１】寄与分ΔＱ_iを計算する上記ステップa)、
b)、c)は、選択した基底Ｂの大きさに応じて、少なくと
も単一のニューロンで実現することができる。

【００２２】引き続く寄与分ΔＱ_iの累計用の上記ステ
ップd)もやはり少なくとも単一のニューロンで実現でき
る。

【００２３】大きさが２の基底Ｂを使うとき、商の計算
は２つのニューロンだけを使って実行できる。

【００２４】上述したデータの正規化の演算は一般的
に、分解フェーズや学習フェーズに関する所定のニュー
ロン処理ステップの終わりに生じる。従ってニューラル
・プロセッサのニューロンは、所定の瞬間にデータの正
規化を実行するのに用いることができ、また他の瞬間に
実際のニューロン過程を実行するのに用いることができ
る。それ故に、ニューラル・プロセッサは、正規化の演
算専用の特定のニューロンを含む必要はない。しかし、
ニューラル・プロセッサはデータの正規化専用に使うこ
ともできる。

【００２５】

【実施例】以下、本発明の種々の態様及びその他の態様
を、図面を参照した実施例によって説明する。

【００２６】図１は、ニューラル・プロセッサ10の既知
のアーキテクチャーの簡易化した概略図である。入力手
段ＩＮＰ13（例えば入力レジスタ又は入力端子）は入力
データ９を処理ユニット11に与え、処理ユニット11はま
た、記憶手段12に記憶されたシナプス係数Ｃ_ijをも受け
取る。シナプス係数Ｃ_ijはソース・ニューロンｊをデス
ティネーション・ニューロンｉに接続するシナプスの重
み付けを特徴付ける。処理ユニット11は更にまた、記憶
手段14に記憶されたニューロンの状態をも受け取る。

【００２７】ニューロンがソース・ニューロンとして動
作するときには、その状態をＶ_jで表し、それがデステ
ィネーション・ニューロンとして動作するときには、そ
の状態をＶ_iで表す。各デスティネーション・ニューロ
ンに対して、処理ユニット11は次の計算

【数１４】 を実行する。

【００２８】処理ユニット11は、指標ｊのすべてのソー
ス・ニューロンについて総和を算出し、デスティネーシ
ョン・ニューロンｉのニューラル電位ＰＯＴ_iを出力す
る（接続８）。このニューラル電位ＰＯＴ_iは、デステ
ィネーション・ニューロンｉの新しいニューロンの状態
Ｖ_iを生成する非線形関数ＮＬＦ15の支配下にある。こ
の新しい状態Ｖ_iは記憶手段14を更新するのに使われ、
他のニューロンについての処理が継続される。非線形関
数ＮＬＦを与える手段15はニューラル・プロセッサ10の
外に示されている。図１は単にアーキテクチャーを説明
するものに過ぎず、これらの付与手段15はニューラル・
プロセッサ10の内部に配置することもできる。それらは
またニューロンの一部にのみ関与することもある。ホス
ト・コンピュータ16がニューラル・プロセッサ内のメカ
ニズムのアセンブリの演算開始を制御する。簡単のため
に、制御手段や学習手段のような他の部分は省略してあ
る。

【００２９】例えば、ニューラル・プロセッサは一群の
要素中の異なるカテゴリーA、B、Cを並べ替え（ソー
ト）するのに使うこともできる。計算されたニューロン
の状態は、これらの異なるカテゴリーを計数することを
可能にする。ここで例えば学習のような所定の演算の進
行過程で、入力データをノルムに関して表現することが
必要であり得る。従って例えば、最大データが最大ノル
ムを超えないことを保証することによりすべてのデータ
を正規化する必要があり得る。それ故に、正規化すなわ
ちすべてのデータを最大データにより除算する必要があ
る。それはまた、ニューラル・プロセッサの外部で生成
されるデータにも関係し得る。

【００３０】本発明は２つのタイプのニューロンを利用
する。１番目のタイプのニューロン(図２Ａ)は加算器と
して動作し、非線形関数Ｆを与える手段を含まない。本
来それは２つのシナプス係数Ｃ₁、Ｃ₂を記憶する手段を
有し、これらのシナプス係数Ｃ₁、Ｃ₂に入力値Ｚ₁、Ｚ₂
をそれぞれ乗算して積Ｃ₁Ｚ₁、Ｃ₂Ｚ₂を形成する。これ
らの積は加算器Σ中で加算され、出力値Ｚを出力して

【数１５】 となる。

【００３１】２番目のタイプのニューロン(図２Ｂ)は試
験器として動作し、１番目のタイプのニューロンと同じ
構成要素を持つが、更に非線形関数Ｆを与える手段20
（例えば比較器）も有する。従ってこのニューロンの出
力は

【数１６】 という値Ｚを供給する。

【００３２】非線形関数Ｆは図２Ｃで表される。手段20
(図２Ｂ)は加算器Σの出力信号を受け取る入力ｅを持
ち、この信号は値０と比較される。この入力ｅが負の信
号を受け取るとき、又は正の信号を受け取るときには、
手段20はそれぞれ−ｖ₂又は＋ｖ₁なる値の信号を出力す
る。以後説明する大多数の実施例で、値＋ｖ₁／−ｖ₂は
１／０、ｊ／０、Ｂⁱ／０のいずれかである。

【００３３】〔１番目の実例（第１グループ）〕 図３は、値Ｘを値Ｙに関して正規化するようプログラム
した計算手段を図式的に示すものである。手段30は、一
方ではデータＹの値に基づいて、またもう一方では部分
剰余ＲＰに基づいて、寄与分（コントリビューション）

【数１７】 を逐次計算する。初期には ＱＰ＝０ 及び ＲＰ＝Ｘ である。各寄与分ΔＱ_iは、ｉを最大値ｉ_maxから減少す
る整数とするとき

【数１８】 に従ってＲＰ及びＱＰを更新するのに用いられる。

【００３４】これらの更新演算は、１番目のタイプの２
つのニューロンＮＱ及びＮＲを用いる。各ニューロンは
累算器（アキュミュレータ）として動作するために循環
的に結合している。このループ型の演算には、各ニュー
ロンＮＱ、ＮＲに対してその後にレジスタＲＱ、ＲＲが
それぞれ続き、これらのレジスタが初等計算サイクル中
の結果を記憶することが必要である。レジスタＲＱは０
に初期化され、レジスタＲＲはＸに初期化され、２つの
ニューロンのシナプス係数Ｃ₁、Ｃ₂がプログラムされ
る。

【００３５】各ニューロンのパラメタＺ₁、Ｃ₁、Ｚ₂、
Ｃ₂の値を表１に示す。

【表１】

【００３６】〔寄与分ΔＱ_iの決定〕 〔１番目の実施例〕 図４は、１番目の実例の第１グループ用の手段30の１番
目の実施例を示す。商Ｑは基底（ベース）Ｂで表現され
る。並列的に動作するＢ−１個のニューロンＮＡ_j(１≦
ｊ≦Ｂ−１) の層が、所定のｉに対して１≦ｊ≦Ｂ−１のとき(Ｂ−
１)個の項

【数１９】 を決定するのに使われるのが好適である。 ｊ＝０の項
の計算には追加ニューロンは必要としない。ニューロン
ＮＡ_jはすべてＺ₂及びＲＰ_i+1を受け取る。それらは、
量ＳＤ_jを決定するようにプログラムされ、その量の値
は層中のニューロンのランクの指標ｊに依存する。項Ｓ
Ｄ_jはニューロンのニューラル電位ＰＯＴを規定する。

【００３７】項ｊ・Bⁱ・Yの決定には幾つかの組合せが
生じる。ニューロンＮＡ_jのパラメタＺ１、Ｃ１、Ｚ
２、Ｃ２は３通りの組合せを指示する次の表２に従って
プログラムされることになる：

【表２】

【００３８】すべての量ＳＤ_jが、その符号を決定する
ように、そしてそれから正か又は０である最小の量ＳＤ
_jの指標ｊ＝ｑ_iを導くように試験される。さらに、非線
形関数Ｆをニューラル電位ＰＯＴに適用する手段を含む
２番目のタイプのニューロンＮＡ_jが使用される。この
関数Ｆは

【数２０】 で定義される関数Ｆ₁である。

【００３９】従って、すべての出力Ｄ_jは 1≦ｊ≦ｑ_iに
対して１であり、また、すべての出力Ｄ_jはｑ_i＜ｊ≦Ｂ
−１に対して０である。

【００４０】ニューロンの２番目の層ＮＢ_j(１≦ｊ≦Ｂ
−１)が、引き続く出力Ｄ_j及びＤ_j+1 を一対単位で比較
する。こうして、ランクｊ＝ｑ_iを持つ１つのニューロ
ンＮＢ_jが排他的に２つの異なるニューロンＤ_j及びＤ
_j+1を持ち、またｑ_iに等しい出力を持ち、その他のニュ
ーロンは出力０を持つ。それ故に、ニューロンＮＢ_jの
パラメタＺ₁、Ｃ₁、Ｚ₂、Ｃ₂は、次の表３(但しＤ_B ＝
0)に従ってプログラムされる：

【表３】

【００４１】ニューロンＮＢ_jの出力が、層中の各ニュ
ーロンＮＢ_jの指標ｊ（Ｄ_j≠Ｄ_j+1のとき）直接供給す
ることを達成するために、次の式：

【数２１】 の応答を持つ関数Ｆ₂を適用する手段を具えた２番目の
タイプのニューロンが使用される。

【００４２】３番目の層が１番目のタイプのマルチ入力
ニューロンにより形成され、その入力の各々は次の表４
に従ってプログラムされる：

【表４】

【００４３】代替案として、ニューロンＮＢ_jの非線形
関数Ｆを適用する手段が関数Ｆ₃で動作し、従って

【数２２】 となる限りにおいて、ニューロンＮＣの係数Ｃ_jを値１
に設定してもよい。

【００４４】表１から表４までは、異なる係数を設定し
ている：固定係数、例えば１，−１、ニューラル・プロ
セッサがＢの大きさに関連する正規化タスクのために用
いられる瞬時に、これらをロードする；例えばＹ，Ｘと
いう係数、これらは使用されるデータに依存し、新規の
各データＸ又はＹに対しロードする；項Ｂⁱを含む係
数、これらは各循環サイクル中に修正される。各サイク
ルの開始時に、Ｂⁱの倍数であるこれらの係数は、対応
するニューロンの入力をも制御するホスト・コンピュー
タにより、最高係数Ｂⁱから始まるようにロードされ
る。ｉの値は、処理容量を決定する最大値ｉ_maxにより
限定される。ニューラル・プロセッサは、所定値ｉ_max
を持つ所定の基底Ｂ (従って、ニューロンＮＡ_j、ＮＢ_j
の数Ｂ−１)を持つ固定アーキテクチャーを持つと考え
ることができる。また同時に、ユーザーが基底Ｂの次数
を選択し、また値ｉ_maxをニューラル・プロセッサのハ
ードウェア容量の関数として選択すると考えることがで
き、結果的に係数をプログラムすると考えることができ
る。これらの選択は使われたデータ値Ｘ及びＹに従って
なされる。

【００４５】例えば、Ｘ及びＹが、０≦Ｘ≦２^r−１及
び１≦Ｙ≦２^r−１なる整数の場合には、ｉ_maxに対して
２^r≦Ｂ^(imax+1)なる最小の整数を選択することができ
る。そうすると値ｉ_maxはデータＸ及びＹにに依存しな
いという利点がある。

【００４６】〔２番目の実施例〕 １番目の実例（第１グループ）の範囲内で、データの正
規化に参画するニューロンの数を限定することは有益で
あろう。図５は、ニューロンＮＢ_jの層が存在しない場
合を示している。

【００４７】ニューロンＮＡ_jのニューロンは表２に対
応するデータを受け取り、それらの非線形関数はここで
もＦ₁である。すべての出力Ｄ_jが、Ｄ_jをＥ_jに置き換え
ることにより表４に従ってプログラムされた１番目のタ
イプのニューロンＮＣに与えられる。このようにしてニ
ューロンＮＣは、入力Ｄ_j＝１に対応する寄与分Ｂⁱの数
ｑⁱを総計する。

【００４８】この２番目の実施例の場合には、ニューロ
ンＮＣの係数Ｃ_jは、ニューロンＮＡ_jの非線形関数Ｆを
適用する手段が関数Ｆ₄で動作し、従って

【数２３】 となる限りにおいて、値１にプログラムすることができ
る。

【００４９】〔１番目の実例（第２グループ）〕 一部はニューロンＮＱを、他の一部はニューロンＮＲを
持つニューロンＮＣと、ニューロンＮＣを融合して得ら
れた変形は、第１グループ内で既述の構造の各々に対応
する。これは次のようにして得られる：実施例に依存
し、且つそれぞれの場合に依存して１又はＢⁱに等しい
係数Ｃ_jを持つところのＥ_j又はＤ_jに等しい入力Ｖ_jを以
前に受け取ったものであるニューロンＮＣを除外する；
Ｖ_j及びＣ_jが以前に使ったニューロンＮＣに対応する下
記の表５のTABLE5(A)に従ってプログラムされたＢ個の
入力を含む１番目のタイプのニューロンで、図３のニュ
ーロンＮＱを置き換える；

【表５】 上記の表５のTABLE 5(B)（Ｖ_j及びＣ_jに対しては同じ意
味を持つ）に従って、プログラムされたＢ個の入力を含
む１番目のタイプのニューロンで、図３のニューロンＮ
Ｒを置き換える。

【００５０】この変形は前より１つ少ない層を有する。

【００５１】〔２番目の実例〕 図６に、２番目の実例を図式的に示す。１番目の実例に
おけると同様に、計算の最後に最終剰余を供給するニュ
ーロンＮＲが設けられる。しかし今度は、ブロック30は
ΔＱ_iの計算用に部分商ＱＰを利用する。従って１番目
の実例に対して提示された構造の各々に、ΔＱ_iの計算
に関与するニューロンＮＡ_jを除いた類似の構造が対応
する。計算ΔＱ_iに関与するニューロンの最初の層は、
図２Ｂに示すタイプの３入力ニューロンＮＡ_jにより形
成され、これは追加入力Ｚ₃及びシナプス係数Ｃ₃を含
む。表６に、ニューロンＮＡ_jのパラメタＺ₁、Ｃ₁、
Ｚ₂、Ｃ₂、Ｚ₃、Ｃ₃を示す。

【表６】

【００５２】ΔＱ_iの決定には、１番目の実例に対して
提示した２番目の実施例について記述した構造を用いる
のが好適である。

【００５３】〔３番目の実例〕 ３番目の実例はニューロンＮＲが使用されず、構造によ
り供給される唯一の結果が最後の商である（すなわち最
終剰余は供給しない）場合に対応する。これはＲＰの計
算を省略することを可能にする。３番目の実例の構造
は、ニューロンＮＲ及びレジスタＲＲを含まないことを
除き、２番目の実例の構造と同一である。

【００５４】ΔＱ_iは、図５の構造と類似であり、そし
て２番目の実例に適用するために、図５の構造から導出
した構造により決定されるのが好適である。

【００５５】更にまた、ニューロンＮＣがニューロンＮ
Ｑと融合している既述の第２グループを使うのが有利で
ある、と云うのは、そうすれば前と同様、構造中の１層
が省略される．ＮＲが存在しないので、ΔＱ_iの計算を
２度繰り返す必要がない．という２つの利点が得られる
からである。

【００５６】〔Ｂ＝２に対する特定の実例〕 使用されるハードウェア手段が簡単であるという理由で
興味のある場合として、基底Ｂの次数が２の場合があ
る。この場合には、値ｑ_iの決定には単一のニューロン
のみを必要とする。図７は、部分商ＱＰ及び部分剰余Ｒ
Ｐの決定を利用する実施例を示す。商Ｑ及び剰余Ｒを決
定するには、３つのニューロンＮＡ、ＮＲ、ＮＱで十分
である。ニューロンＮＡの出力ＳＮＡは、値ｑ_iか又は
寄与分ｑ_i・Ｂⁱかのいずれかを、用いる非線形関数に応
じて供給する。ニューロンＮＱ及びＮＲは１番目のタイ
プで、記憶レジスタＲＱ及びＲＲがそれぞれ続いてい
る。ニューロンＮＡ（２番目のタイプ）のパラメタＺ、
Ｃは、ｊ＝１のときの表２に従ってプログラムされる。
ＮＡの加算器により供給されるデータに適用される非線
形関数Ｆは、前と同様に関数Ｆ₁又はＦ₄に従って適用さ
れる。関数Ｆ₄の場合には、ニューロンＮＱ及びＮＲの
パラメタＺ、Ｃは、ΔＱ_iをＳＮＡで置き換えて表１に
従ってプログラムされる。関数Ｆ₁の場合には、ニュー
ロンＮＱ及びＮＲのパラメタＺ、Ｃは、次の表７に従っ
てプログラムされる。

【表７】

【００５７】Ｂ＝２に対しても図８に従って、ハードウ
ェアを２ニューロンのみに減らすことが可能である。そ
の場合には部分剰余は決定されない。ニューロンＮＡの
パラメタはｊ＝１のときの表６のパラメータと同じであ
る。ニューロンＮＱのパラメタ及び関数ＦはＢ＝２のと
きの実例のパラメータと同じである。

【００５８】〔Ｂ＝２^kの場合〕 基底の次数がｋを整数とするときＢ＝２^kと書ける場合
は、値Ｂⁱを含む所定の値を繰り返し計算するユニット
を使用することができる。例えば±ｊ・Ｂⁱ及び±Ｙ・
Ｂⁱという値についての場合である。図９は、ｋ位置シ
フトレジスタ82及びそれに続くところのその値が２
^k・imaxに初期化できるレジスタ84を含むモジュール80
を示す。レジスタ84の出力は係数Ｂ＝２^k・iを供給し、
それは更にシフトレジスタ82の入力に与えられる。毎回
ｋ位置を通る入力データをシフトすることにより因数２
^kによる割り算ができるようになり、それにより上述の
方法を実行するため引き続く係数Ｂⁱがすべて計算でき
る。このモジュール80は、パラメタＺやＣを決定するの
に使うことができる。

【００５９】〔オーバーフロー〕 ニューラル・プロセッサは種々のパラメタＺ、Ｃや種々
のニューラルデータＸ、Ｙ、及び結果ＱＰ、ＲＰを記憶
しなければならない。この目的のためにニューラル・プ
ロセッサはレジスタ及びメモリの最大容量に応じた処理
容量を持っている。

【００６０】一般的に、もしニューロン状態レジスタ及
びシナプス係数メモリが(ｒ＋１)ビットの符号の付いた
語を記憶することができるならば、例えば、Ｘ及びＹを
整数とするとき０≦Ｘ≦２^r−１及び１≦Ｙ≦２^r−１な
るデータＸ及びＹを処理することができる。それにも拘
らず、中間の計算は、例えば表２に示したような様々な
やり方で計算できる項ｊ・Ｂⁱ・Ｙを利用する。考えて
いる構造に依存して、パラメタｒ、Ｂ、Ｙに関しては何
の制約も課されないときに、ニューロンＮＡによってｊ
・Ｂⁱ・Ｙの計算に使用される所定の中間計算は、(ｒ＋
１)ビットより多いビットを持つ語を必要とし得る。こ
のあり得る問題に対する幾つかの解が次のように提案さ
れる： 1) パラメタｒ、Ｂ、Ｙ(但し１≦Ｙ≦２^r−１を除く)
に関し制約を課すことを、従って当該実施例に依存する
内部レジスタの長さを選択することをやめる。 2) すべてのレジスタに(ｒ＋１)ビットの長さを持た
せ、使用可能なハードウェア手段及び表２で選択したプ
ログラミング・モードに従ってパラメタｒ、Ｂ、Ｙに関
する制約を課すことにする。上述の制約は全ての問題を
避けるのに十分である、すなわち：Ｂは２の冪乗Ｂ＝２
^kとし、ｒはｋの倍数とする。特にもしＢ＝２でｒは任
意とすれば、オーバーフローは起こらない、或いは、Ｙ
に制限Ｙ_maxを課し、Ｙ_maxの値は、計算ｊ・Ｂⁱ・Ｙ中
に含まれるすべての量 (例えば表２中のＺ₂＝Ｙ・Ｂⁱ又
はＣ₂＝−ＪＹ)を、(ｒ＋１)ビットのレジスタに記憶す
ることができるように選択する。 3) パラメタｒ、Ｂ、Ｙに制約を課すこと及び係数に対
し特定の値を選択することをやめている間は、すべての
レジスタに(ｒ＋１)ビットの長さを持たせる。各レジス
タの記憶容量は(ｒ＋１)ビットであると仮定する。ＲＰ
_i+1の記憶は正しく学習したシステムに対してはオーバ
ーフローを起こさない。しかし、項

【数２４】 の計算は、ｊ及びｉのいずれか一方又は双方の所定の値
に対しオーバーフローを起こさせて、負項ＳＤ_jを生じ
得る。次にはＳＤ_jについて負の符号を検出するだけで
十分である。これは、表２でオーバーフローへ導くであ
ろうｊ及びｉに対し係数Ｃ₁＝０及びＣ₂＝−１としてプ
ログラミングで達成できる。このプログラミングはホス
トコンピュータにより制御される。

【００６１】従って当業者は、所定のプログラミング・
モードの１つを選択する。例えば表２又は表６中で、そ
してレジスタの長さ、ニューラル・プロセッサ中で使用
可能なメモリ、処理すべきデータ、及び所望の性能との
関数として、オーバーフロー問題への解の１つを選択す
る。

【００６２】本発明は、整数又は実数としてのデータＸ
及びＹを処理するのに用いることができる。

【００６３】種々の実例はプロセッサの有効利用に当た
ってそれぞれ重要であり、考えられる様々の変形には次
のようなものがある： ・ニューロンの数がもっと多い、又はもっと少ない； ・例えばＢⁱ又はその値の倍数に等しい追加入力Ｚを必
要とする、又は必要としない； ・１つ又は幾つかの分割の過程でシナプス係数が固定又
は可変である； ・比較器の伝達関数が、除算において固定又は可変であ
る； ・外部又は内部の演算変数が、ニューロンの状態又はシ
ナプス係数として現れて、もしそれぞれのレジスタが同
じ長さでないならば、これらの変数の受容できる最大値
が更に高いか又は低い、このことは、オーバーフロー問
題を種々の方法で取り扱わなければならないことを意味
する。

【図面の簡単な説明】

【図１】 ニューラル・プロセッサの既知のアーキテク
チャーの概略図である。

【図２】 非線形関数を与えるための手段を持たないニ
ューロンの概略図Ａと、非線形関数Ｆを与えるための手
段を具えるニューロンの概略図Ｂと、非線形関数Ｆを表
す曲線の図Ｃとを示す図である。

【図３】 部分剰余RPに基づいてΔＱ_iを計算すること
により、本発明の商及び剰余計算手段の１番目の実例を
示す概略図である。

【図４】 部分剰余RPを利用して寄与分ΔＱ_iを計算す
るための１番目の実施例を示す概略図である。

【図５】 部分剰余RPを利用して寄与分ΔＱ_iを計算す
るための２番目の実施例を示す概略図である。

【図６】 部分剰余QPに基づいてΔＱ_iを計算すること
により、商Ｑ及び剰余Ｒを計算する計算手段の２番目の
実例を示す概略図である。

【図７】 基底Ｂの次数が２のとき、商Ｑ及び剰余Ｒを
計算するための３ニューロンを持つ実例を示す概略図で
ある。

【図８】 基底Ｂの次数が２の場合に、商Ｑを計算する
ため２ニューロンを持つ実例を示す概略図である。

【図９】 基底Ｂの次数が２^kのタイプの場合の２^kiの
タイプの項を計算するためのユニットの概略図である。

【符号の説明】

10 ニューラル・プロセッサ 11 処理ユニット 12, 14 記憶手段 13 入力手段 15 非線形関数NLFを与える手段 16 ホスト・コンピュータ 20 非線形関数Ｆを与える手段 30 データＹの値及び部分剰余RＰに基づいて寄与分Δ
Ｑ_i を逐次計算する手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヤニック デヴィル フランス国 94440 ヴィルクレスネ リュ ドゥ セルセイ ３ (56)参考文献 特開 昭61−7939（ＪＰ，Ａ) 特開 平３−87924（ＪＰ，Ａ) 特開 昭60−160438（ＪＰ，Ａ) 特開 平５−158660（ＪＰ，Ａ) 特開 平２−252023（ＪＰ，Ａ) 萩原宏，「電子計算機通論２」，日 本，株式会社朝倉書店，1971年 １月15 日，初版，ｐｐ．44−56，71−77，149 −152，155，156 久間和生・他，「ニューロコンピュー タ工学」，日本，株式会社工業調査会, 1992年 ２月20日，初版，ｐｐ．107− 112，ＩＳＢＮ：４−7693−5053−８ 佐野秀輝・他，「ニューラルネットワ ークによる濃淡画像識別システムの構 築」，電子情報通信学会技術研究報告, 日本，社団法人電子情報通信学会，1991 年 ７月19日，Ｖｏｌ．19， Ｎｏ. 154（ＡＩ91−39〜47），ｐｐ．９−16 中村次男・他，「任意の精度に拡張容 易な除算器の提案」，電気学会論文誌 Ｃ，日本，社団法人電気学会，1991年 ３月20日，Ｖｏｌ．111，Ｎｏ．３，ｐ ｐ．123−128 堀越，「コンピュータの高速演算方 式」，日本，株式会社近代科学社，1980 年 ９月 １日，初版，ｐｐ．214− 283，302−307 萱島興三，「電子計算機の方式設 計」，日本，株式会社産報，1972年 ７ 月 １日，初版，ｐｐ．118−125 平山博・他，「改版電子計算機」，日 本，株式会社コロナ社，1977年 ６月30 日，第９版，ｐｐ．242−248 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06F 7/52 G06F 7/00 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 第１入力データＸを第２入力データＹで
   割った商Ｑを計算することによって、第１入力データＸ
   を第２入力データＹに対して正規化するニューラル計算
   手段(11〜15)を具えたニューラル・プロセッサにおい
   て、前記計算手段が、 一連の寄与分ΔＱ_i＝ｑ_i・Ｂⁱを反復的に計算する少な
   くとも１つの第１ニューロン(30)を具えて、前記寄与分
   ΔＱがまとまって、任意の算術的基底Ｂ上で商Ｑを形成
   し、ここにｑ及びｉは整数であり、 前記計算手段がさらに、 前記少なくとも１つの第１ニューロンによって入力供給
   され、前記寄与分ΔＱ_iを総計して前記商Ｑを形成する
   ことによって、部分商ＱＰを反復的に更新する少なくと
   も１つの第２ニューロン(ＮＱ)を具えていることを特徴
   とするニューラル・プロセッサ。
2. 【請求項２】 前記部分商ＱＰの初期値が０であり、前
   記計算手段を、次の一連のフェーズ： ａ) 複数の量ＳＤjを、次式： ＳＤ_j＝Ｘ−(ＱＰ_i+1＋ｊ・Ｂⁱ)・Ｙ に従って計算し、ここに前記複数は、少なくとも１つの
   ニューロンが、１からＢ−１まで変化する指標ｊについ
   て実行するＢ−１回の演算の回数であり、ｉは初期値が
   所定の最大数に等しい整数指標である。 ｂ) sign(ＳＤ_j)≠sign(ＳＤ_j+1) であることが確認される値ｊ＝ｑ_iを特定し、ここにＳ
   Ｄ₀≧０、ＳＤ_B＜０であり、そしてsign(０)＝＋１とす
   る。 ｃ) 寄与分ΔＱ_i＝ｑ_i・Ｂⁱを特定する。 ｄ) 新たな部分商を、次式： ＱＰ_i＝ＱＰ_i+1＋ΔＱ_i により特定する。 ｅ) ｉを減少させる。 ｆ) ｉの最小値に達するまで、フェーズａ)〜ｅ)を繰
   り返して、商Ｑを所定精度で特定する。を実行するよう
   にプログラムしたことを特徴とする請求項１に記載のプ
   ロセッサ。
3. 【請求項３】 前記計算手段がさらに、前記少なくとも
   １つの第１ニューロン(30)によって入力供給され、部分
   剰余 ＲＰ_i＝Ｘ−ＱＰ_i・Ｙ を計算する少なくとも１つの第３ニューロン(ＮＱ)を具
   えて、 前記部分剰余は、初期値がＸに等しく、次式： ＲＰ_i＝ＲＰ_i+1−Ｙ・ΔＱ_i により反復的に更新され、ここにｉは整数指標であり、
   ｉを最大値に初期化して、Ｑについての所望の精度を与
   えるための所定の最小値まで減少させることを特徴とす
   る請求項１に記載のプロセッサ。
4. 【請求項４】 複数の量ＳＤ_jを、次式： ＳＤ_j＝ＲＰ_i+1−ｊ・Ｂⁱ・Ｙ、 ここに、ｊは１からＢ−１まで変化する整数指標に従っ
   て計算するように、前記計算手段をプログラムしたこと
   を特徴とする請求項３に記載のプロセッサ。
5. 【請求項５】 前記フェーズｃ)及び／またはｄ)を、少
   なくとも１つのニューロンによって実行することを特徴
   とする請求項２に記載のプロセッサ。
6. 【請求項６】 Ｂ＝２については、前記ニューラル・プ
   ロセッサが２つのニューロンで動作し、第１ニューロン
   (ＮＡ)が前記フェーズａ)、b)、及びｃ)を実行し、第２
   プロセッサ(ＮＱ)が前記フェーズｄ)を実行することを
   特徴とする請求項２に記載のプロセッサ。
7. 【請求項７】 Ｂ＝２については、前記ニューラル・プ
   ロセッサが２つのニューロンで動作し、第１ニューロン
   (ＮＡ)が前記フェーズａ)、ｂ)を実行し、第２ニューロ
   ン(ＮＱ)が前記フェーズｃ)、ｄ)を実行することを特徴
   とする請求項２に記載のプロセッサ。
8. 【請求項８】 Ｂ＝２については、前記ニューラル・プ
   ロセッサが３つのニューロンで動作し、第１ニューロン
   (ＮＡ)が前記フェーズａ)、ｂ)、及びｃ)を実行し、第
   ２ニューロン(ＮＱ)及び第３ニューロン(ＮＲ)がそれぞ
   れ、前記部分商の更新及び前記部分剰余の更新を実行す
   ることを特徴とする請求項３または４に記載のプロセッ
   サ。
9. 【請求項９】 Ｂ＝２については、前記ニューラル・プ
   ロセッサが３つのニューロンで動作し、第１ニューロン
   (ＮＡ)が前記フェーズａ)、ｂ)を実行し、第２ニューロ
   ン(ＮＱ)及び第３ニューロン(ＮＲ)が前記フェーズｃ)
   を実行して、さらにそれぞれ、前記部分商の更新及び前
   記部分剰余の更新を実行することを特徴とする請求項３
   または４に記載のプロセッサ。
10. 【請求項１０】 前記計算手段を、１つの瞬時には除算
    を実行して、他の瞬時にはニューラル分解タスク及び／
    またはニューラル学習タスクを実行するようにプログラ
    ムしたことを特徴とする請求項１に記載のプロセッサ。