JPH0619872A - ノルム又は距離を計算するための手段を有するニューラル・プロセッサ - Google Patents
ノルム又は距離を計算するための手段を有するニューラル・プロセッサInfo
- Publication number
- JPH0619872A JPH0619872A JP10121993A JP10121993A JPH0619872A JP H0619872 A JPH0619872 A JP H0619872A JP 10121993 A JP10121993 A JP 10121993A JP 10121993 A JP10121993 A JP 10121993A JP H0619872 A JPH0619872 A JP H0619872A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- processor
- root
- programmed
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 48
- 210000002569 neuron Anatomy 0.000 claims abstract description 144
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 230000003252 repetitive effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 238000012886 linear function Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 210000000225 synapse Anatomy 0.000 description 6
- 230000000946 synaptic effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004751 neurological system process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/552—Powers or roots, e.g. Pythagorean sums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/552—Indexing scheme relating to groups G06F7/552 - G06F7/5525
- G06F2207/5525—Pythagorean sum, i.e. the square root of a sum of squares
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Mathematical Optimization (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【目的】 量Ｘの根Ｑがデータのノルム或いはデータ間
の距離を構成するものとして、その根Ｑを求めるための
ニューラル計算手段（30，ＮＱ，ＲＱ）を有するニュー
ラル・プロセッサを提供すること 【構成】 計算手段（30）は、一連のコントリビューシ
ョンΔＱi を繰り返し計算し、部分根ＱＰを逐次更新し
て、計算の終了時には部分根ＱＰが根Ｑとなるようにプ
ログラムされている。計算は、用いるニューロンの数を
決め且つ計算の精度を決めることとなる、選択された算
術的ベース上で実行することができる。部分剰余（Ｎ
Ｒ，ＲＲ）の計算をも実行できる。いくつかのプログラ
ム・モードが示されている。
の距離を構成するものとして、その根Ｑを求めるための
ニューラル計算手段（30，ＮＱ，ＲＱ）を有するニュー
ラル・プロセッサを提供すること 【構成】 計算手段（30）は、一連のコントリビューシ
ョンΔＱi を繰り返し計算し、部分根ＱＰを逐次更新し
て、計算の終了時には部分根ＱＰが根Ｑとなるようにプ
ログラムされている。計算は、用いるニューロンの数を
決め且つ計算の精度を決めることとなる、選択された算
術的ベース上で実行することができる。部分剰余（Ｎ
Ｒ，ＲＲ）の計算をも実行できる。いくつかのプログラ
ム・モードが示されている。
Description
【０００１】
【産業上の利用分野】本発明は、量Ｘの根、即ちデータ
のノルム或いはデータ間の距離を構成する根を見いだす
ニューラル計算手段を有するニューラル・プロセッサに
関する。そのような計算は、類別の問題、特に形状の認
識、文字の認識、音声信号の処理、図形処理、情報の圧
縮、その他に対して用いられる。
のノルム或いはデータ間の距離を構成する根を見いだす
ニューラル計算手段を有するニューラル・プロセッサに
関する。そのような計算は、類別の問題、特に形状の認
識、文字の認識、音声信号の処理、図形処理、情報の圧
縮、その他に対して用いられる。
【０００２】
【従来の技術】例えば R.P.LIPPMANN の論文 "An intro
duction to computing with neuralnets"(IEEE ASSP Ma
gazine,April 1987,pp.4 to 22) によれば、種々の型の
ニューラル・ネットワークに関する情報が得られる。
duction to computing with neuralnets"(IEEE ASSP Ma
gazine,April 1987,pp.4 to 22) によれば、種々の型の
ニューラル・ネットワークに関する情報が得られる。
【０００３】いくつかの上記の処理を実行するために
は、ベクトルで表されたデータ間の距離を計算すること
或いはベクトル・ノルムを計算することが必要となろ
う。例えば与えられた学習アルゴリズムを実行する場合
はその例である。ニューラル・プロセッサ自身にそのよ
うなノルム或いは距離を計算させることは好都合と思わ
れる。そのような計算は、引用されたいかなるプロセス
の処理に対しても全く独立に実行出来る。
は、ベクトルで表されたデータ間の距離を計算すること
或いはベクトル・ノルムを計算することが必要となろ
う。例えば与えられた学習アルゴリズムを実行する場合
はその例である。ニューラル・プロセッサ自身にそのよ
うなノルム或いは距離を計算させることは好都合と思わ
れる。そのような計算は、引用されたいかなるプロセス
の処理に対しても全く独立に実行出来る。
【０００４】この点に関しては、K.Y.SIV と J.BRUCK
の論文 "Neural Computation ofarithmetic functions"
(Proc.IEEE,Vol.78,No.10,October 1990,pp.1669-1675)
が参考になる。
の論文 "Neural Computation ofarithmetic functions"
(Proc.IEEE,Vol.78,No.10,October 1990,pp.1669-1675)
が参考になる。
【０００５】この論文は、ニューラル・ネットワークに
よって平方根を計算することの利益について述べている
が、但し、ニューラル・ネットワークがどのようにプロ
グラムされるべきかについては何も述べていない。
よって平方根を計算することの利益について述べている
が、但し、ニューラル・ネットワークがどのようにプロ
グラムされるべきかについては何も述べていない。
【０００６】
【発明が解決しようとする課題】ここで特に本発明の目
的としては、根Ｑの計算を行うことによってノルム或い
は距離を計算するようにプログラム可能なニューラル・
プロセッサを提供することである。計算サイクルの数を
減らすことによって使用するハードウェア手段を最小に
することが望ましい。種々の入力データに適用する計算
手段はその構成を容易に変更できるものであり、且つ計
算の精度は予め定められるべきである。このことは、ニ
ューラル・プロセッサのアーキテクチャの最小限の修正
によって達成されることが望ましい。
的としては、根Ｑの計算を行うことによってノルム或い
は距離を計算するようにプログラム可能なニューラル・
プロセッサを提供することである。計算サイクルの数を
減らすことによって使用するハードウェア手段を最小に
することが望ましい。種々の入力データに適用する計算
手段はその構成を容易に変更できるものであり、且つ計
算の精度は予め定められるべきである。このことは、ニ
ューラル・プロセッサのアーキテクチャの最小限の修正
によって達成されることが望ましい。
【０００７】
【課題を解決するための手段】従って、第一の観点によ
り、本発明は、 −ベースＢにおける根Ｑの表現を示すコントリビューシ
ョンΔＱi ＝q i.B iのシリーズを繰り返し計算する少
なくとも１個のニューロン −及び、根Ｑを生成するために上記コントリビューショ
ンΔＱi を加え合わせることにより部分根ＱＰを繰り返
し更新する少なくとも１個のニューロンを能動化するた
めにプログラムされた上記計算手段を有するニューラル
・プロセッサを提供するものである。
り、本発明は、 −ベースＢにおける根Ｑの表現を示すコントリビューシ
ョンΔＱi ＝q i.B iのシリーズを繰り返し計算する少
なくとも１個のニューロン −及び、根Ｑを生成するために上記コントリビューショ
ンΔＱi を加え合わせることにより部分根ＱＰを繰り返
し更新する少なくとも１個のニューロンを能動化するた
めにプログラムされた上記計算手段を有するニューラル
・プロセッサを提供するものである。
【０００８】このように、根Ｑの計算において、より高
いか又はより低い実行速度を得るためにベースＢのディ
メンションを任意に選ぶことができ、且つ、計算される
べきコントリビューションΔＱi の数従ってニューロン
の数を任意に選ぶことができる。このように、多数のハ
ードウェアを用いて高速にするか或いは少ないハードウ
ェアで低速にするかの選択が可能である。繰り返しによ
る操作は、計算に要求されるハードウェアのかなりの削
減を可能にする。
いか又はより低い実行速度を得るためにベースＢのディ
メンションを任意に選ぶことができ、且つ、計算される
べきコントリビューションΔＱi の数従ってニューロン
の数を任意に選ぶことができる。このように、多数のハ
ードウェアを用いて高速にするか或いは少ないハードウ
ェアで低速にするかの選択が可能である。繰り返しによ
る操作は、計算に要求されるハードウェアのかなりの削
減を可能にする。
【０００９】根Ｑは、任意のベースＢによって次式
【数１２】 のように表される。
【００１０】ベースとｍ値の選択によって、予め定めら
れている計算の精度を実現できる。１単位の精度による
Ｑを得るためには、 qn. Bn から q0. B0 までの項を用
いれば充分である。Ｑ値は、従ってＸの実根の整数部分
である。データＸは正でなければならない。
れている計算の精度を実現できる。１単位の精度による
Ｑを得るためには、 qn. Bn から q0. B0 までの項を用
いれば充分である。Ｑ値は、従ってＸの実根の整数部分
である。データＸは正でなければならない。
【００１１】本発明によれば、−ｍ≦ｉ≦ｎの範囲の q
i. Bi の全項は、最も大きい項 qn.Bn から始まって順
次決められる。これらの項は、任意のベースＢについて
決められる。ベースＢの選択は、ニューラル・プロセッ
サのアーキテクチァが構築される方法を決定づける。ベ
ースＢのディメンションが選択されれば、 qi. Bi 各項
の計算のために qi 各値が決められ、この目的のために
いくつかの項 j.Bi が決められるが、ここで値 jは、決
められるべき値 qi を内包するように定められる。ディ
メンションＢのベースについては、ｊは０とB-1 の間の
値になる。０の場合は計算が不要であるからこれらの項
は１≦ｊ≦B-1 の範囲で決められる。ニューラル・プロ
セッサの処理は、このように、並列処理する高々 B-1個
のニューロン又はニューロンの群を必要とするか、或い
は B-1個の計算ステップを連続的に処理する少なくとも
１個のニューロンを必要とするに過ぎない。中間的な条
件も用いられるだろう。例えば、ベースＢのディメンシ
ョンを大きくすると共に、B-1 個のニューロン又はニュ
ーロン群の並列処理を行えば高い実行速度が得られる。
いくつかの連続したステップにおいて、限られた数のニ
ューロンの処理によって、或いはベースＢのためにより
小さいディメンションを選択することによって、より低
い実行速度が得られる。
i. Bi の全項は、最も大きい項 qn.Bn から始まって順
次決められる。これらの項は、任意のベースＢについて
決められる。ベースＢの選択は、ニューラル・プロセッ
サのアーキテクチァが構築される方法を決定づける。ベ
ースＢのディメンションが選択されれば、 qi. Bi 各項
の計算のために qi 各値が決められ、この目的のために
いくつかの項 j.Bi が決められるが、ここで値 jは、決
められるべき値 qi を内包するように定められる。ディ
メンションＢのベースについては、ｊは０とB-1 の間の
値になる。０の場合は計算が不要であるからこれらの項
は１≦ｊ≦B-1 の範囲で決められる。ニューラル・プロ
セッサの処理は、このように、並列処理する高々 B-1個
のニューロン又はニューロンの群を必要とするか、或い
は B-1個の計算ステップを連続的に処理する少なくとも
１個のニューロンを必要とするに過ぎない。中間的な条
件も用いられるだろう。例えば、ベースＢのディメンシ
ョンを大きくすると共に、B-1 個のニューロン又はニュ
ーロン群の並列処理を行えば高い実行速度が得られる。
いくつかの連続したステップにおいて、限られた数のニ
ューロンの処理によって、或いはベースＢのためにより
小さいディメンションを選択することによって、より低
い実行速度が得られる。
【００１２】ニューラル・プロセッサは、原理的に、ニ
ューロン状態Ｖi を格納するメモリ−、シナプス係数Ｃ
ijを格納するメモリ−、加重和ΣＣij・Ｖi を計算する
ユニット、及びニューロン状態Ｖj を生成するために前
記加重和に対して非線形変換関数を適用するためのユニ
ットから構成される。後者は実行された処理の結果を構
成するものであり、即ち、本発明においてはノルム又は
距離の形に帰着する。
ューロン状態Ｖi を格納するメモリ−、シナプス係数Ｃ
ijを格納するメモリ−、加重和ΣＣij・Ｖi を計算する
ユニット、及びニューロン状態Ｖj を生成するために前
記加重和に対して非線形変換関数を適用するためのユニ
ットから構成される。後者は実行された処理の結果を構
成するものであり、即ち、本発明においてはノルム又は
距離の形に帰着する。
【００１３】本発明に従えば、前記メモリー及び前記ユ
ニットは初期値によってプログラムされるものであり、
与えられる値は、不変値及び根の計算を実行するために
規則的に更新される値である。それぞれの計算サイクル
の間、部分根ＱＰと、必要な場合には部分剰余ＲＰが計
算され、これらの値が更新される。計算の終点では最後
の部分根ＱＲが最終根Ｑとなり、ＲＰが最終剰余とな
る。これらのサイクルの間、得られた結果はこのように
次のサイクルのためにリサイクルされる。
ニットは初期値によってプログラムされるものであり、
与えられる値は、不変値及び根の計算を実行するために
規則的に更新される値である。それぞれの計算サイクル
の間、部分根ＱＰと、必要な場合には部分剰余ＲＰが計
算され、これらの値が更新される。計算の終点では最後
の部分根ＱＲが最終根Ｑとなり、ＲＰが最終剰余とな
る。これらのサイクルの間、得られた結果はこのように
次のサイクルのためにリサイクルされる。
【００１４】一つの場合では、部分剰余ＲＰの計算はせ
ずに部分根ＱＰのみが用いられる。この場合には部分根
ＱＰの初期値は０であり、ｄ乗根の計算においては前記
計算手段は次の諸事項を実行するようにプログラムされ
る。 ａ）ｊは１からB-1 まで変化し、ｉは初期値が予め定め
られた最大値に等しい整数として、少なくとも１つのニ
ューロンによって行われるB-1 個の演算の結果である複
数の量
ずに部分根ＱＰのみが用いられる。この場合には部分根
ＱＰの初期値は０であり、ｄ乗根の計算においては前記
計算手段は次の諸事項を実行するようにプログラムされ
る。 ａ）ｊは１からB-1 まで変化し、ｉは初期値が予め定め
られた最大値に等しい整数として、少なくとも１つのニ
ューロンによって行われるB-1 個の演算の結果である複
数の量
【数１３】 を計算すること。 ｂ）ＳＤ0 ≧０，ＳＤB ≦０及びsign(0) ＝＋１として
次式 sign（ＳＤj ）≠sign（ＳＤj+1 ） を確認する値ｊ＝ｑi を決定すること。 ｃ）コントリビューションΔＱi ＝ｑi.Ｂi を決定する
こと。 ｄ）新しい部分根を次式 ＱＰi ＝ＱＰi+1 ＋ΔＱi として決定すること。 ｅ）予め定められているＱの精度によって決まるｉの最
小値が得られるまで前の演算を繰り返して根Ｑを決定す
るためにｉを減らすこと。
次式 sign（ＳＤj ）≠sign（ＳＤj+1 ） を確認する値ｊ＝ｑi を決定すること。 ｃ）コントリビューションΔＱi ＝ｑi.Ｂi を決定する
こと。 ｄ）新しい部分根を次式 ＱＰi ＝ＱＰi+1 ＋ΔＱi として決定すること。 ｅ）予め定められているＱの精度によって決まるｉの最
小値が得られるまで前の演算を繰り返して根Ｑを決定す
るためにｉを減らすこと。
【００１５】もう一つの場合では、部分根と部分剰余Ｒ
Ｐが用いられている。この場合には、計算手段は部分剰
余ＲＰi ＝Ｘ−（ＱＰi ）d についても計算するように
プログラムされるが、部分剰余は最初Ｘに等しく、繰り
返しによって次式
Ｐが用いられている。この場合には、計算手段は部分剰
余ＲＰi ＝Ｘ−（ＱＰi ）d についても計算するように
プログラムされるが、部分剰余は最初Ｘに等しく、繰り
返しによって次式
【数１４】 又は
【数１５】 のように更新される。
【００１６】もう一つの場合では、部分剰余が量ＳＤj
の計算にも用いられるものであり、次式
の計算にも用いられるものであり、次式
【数１６】 のように表わされる。
【００１７】ステップａのB-1 個の演算は、並列処理と
してプログラムされたB-1 個のニューロン又はニューロ
ン群によって達成される。B-1 個の演算は、結果の得ら
れるスピ−ドが重要でないならば、１個のニューロン又
はニューロン群により、B-1個の連続する計算ステップ
を処理することによっても達成される。
してプログラムされたB-1 個のニューロン又はニューロ
ン群によって達成される。B-1 個の演算は、結果の得ら
れるスピ−ドが重要でないならば、１個のニューロン又
はニューロン群により、B-1個の連続する計算ステップ
を処理することによっても達成される。
【００１８】B-1 個の演算は、一部分は並列処理とし一
部分は反復処理として実行するニューロン群の間で分配
することもできる。
部分は反復処理として実行するニューロン群の間で分配
することもできる。
【００１９】ベースＢのために選択されたディメンショ
ンに従って、コントリビューションΔＱi の計算は、ス
テップｄ又はステップｃ及びｄのいずれかの間に引き続
くコントリビューションΔＱi の累積のための少なくと
も１個の他のニューロンを用いることにより、ステップ
ａ，ｂ及びｃか又はステップａ，ｂかいずれかを遂行す
る少なくとも１個のニューロンによって実現され得る。
ンに従って、コントリビューションΔＱi の計算は、ス
テップｄ又はステップｃ及びｄのいずれかの間に引き続
くコントリビューションΔＱi の累積のための少なくと
も１個の他のニューロンを用いることにより、ステップ
ａ，ｂ及びｃか又はステップａ，ｂかいずれかを遂行す
る少なくとも１個のニューロンによって実現され得る。
【００２０】平方根（ｄ＝２）の計算については、方程
式(1),(2),(3) 及び(4) は次式
式(1),(2),(3) 及び(4) は次式
【数１７】 のようになる。
【００２１】ディメンション２のベースを用いれば、根
の計算は２個のニューロンを用いるのみで達成できる。
の計算は２個のニューロンを用いるのみで達成できる。
【００２２】ノルム或いは距離の計算の処理は、上記し
たように、通常は、分析フェーズ及び／又は学習フェー
ズに関する与えられたニューラル処理ステップの最後に
生じる。従って、ニューラル・プロセッサのニューロン
は、与えられた瞬間にはそのような計算を実行するため
に、及び他の瞬間においては実際のニューラル・プロセ
スのステップを実行するために用いることが可能であ
る。従って、ニューラル・プロセッサは、根の計算のた
めの処理に特に専用のニューロンを具備する必要はな
い。しかしながら、このようにすることは可能であり、
そうすればニューラル・プロセッサは根の計算のために
専用的に用いられることになる。
たように、通常は、分析フェーズ及び／又は学習フェー
ズに関する与えられたニューラル処理ステップの最後に
生じる。従って、ニューラル・プロセッサのニューロン
は、与えられた瞬間にはそのような計算を実行するため
に、及び他の瞬間においては実際のニューラル・プロセ
スのステップを実行するために用いることが可能であ
る。従って、ニューラル・プロセッサは、根の計算のた
めの処理に特に専用のニューロンを具備する必要はな
い。しかしながら、このようにすることは可能であり、
そうすればニューラル・プロセッサは根の計算のために
専用的に用いられることになる。
【００２３】更に、根は量Ｘから得られるが、その量Ｘ
はニューラル・プロセッサに直接供給されるのではな
く、ベクトル成分の形で間接的に供給される場合があ
る。そのような場合には、ニューラル・プロセッサは前
記ベクトル成分を基に量又は複数量Ｘを最初に計算しな
ければならない。前記ベクトルの先端が２つのベクトル
で表わされる場合もある。そのような２つのベクトルの
距離は、従って、計算できる。このようなノルムの計算
の場合には、量Ｘは前記成分のそれぞれのベキ乗数ｄの
和に等しいことにより、ニューラル・プロセッサはまた
この量Ｘを計算するためにプログラムされる。
はニューラル・プロセッサに直接供給されるのではな
く、ベクトル成分の形で間接的に供給される場合があ
る。そのような場合には、ニューラル・プロセッサは前
記ベクトル成分を基に量又は複数量Ｘを最初に計算しな
ければならない。前記ベクトルの先端が２つのベクトル
で表わされる場合もある。そのような２つのベクトルの
距離は、従って、計算できる。このようなノルムの計算
の場合には、量Ｘは前記成分のそれぞれのベキ乗数ｄの
和に等しいことにより、ニューラル・プロセッサはまた
この量Ｘを計算するためにプログラムされる。
【００２４】距離の計算の場合にも、２×２のベクトル
では同じオーダーの前記成分の差のベキ乗数ｄの和が量
Ｘに等しいので、ニューラル・プロセッサはこの量Ｘを
計算するようにプログラムされる。
では同じオーダーの前記成分の差のベキ乗数ｄの和が量
Ｘに等しいので、ニューラル・プロセッサはこの量Ｘを
計算するようにプログラムされる。
【００２５】前記した本発明の種々の観点及び他の観点
は後に記述する実施例を参照することにより、明らかと
なろう。
は後に記述する実施例を参照することにより、明らかと
なろう。
【００２６】
【実施例】図１は、ニューラル・プロセッサ10の既知の
アーキテクチャの簡易化した概略図である。入力手段IN
P 13（例えば入力レジスタまたは入力端子）は入力デー
タ９を処理ユニット11に与え、該処理ユニット11はま
た、記憶手段12に記憶されたシナプス係数Ｃijをも受け
取る。シナプス係数Ｃijはソース・ニューロンｊをデス
ティネーション・ニューロンｉに接続するシナプスの重
み付けを特徴付ける。処理ユニット11は更にまた、記憶
手段14に記憶されたニューロンの状態をも受け取る。ニ
ューロンがソース・ニューロンとして動作するときに
は、その状態をＶ j で表し、デスティネーション・ニュ
ーロンとして動作するときには、その状態をＶi で表
す。各デスティネーション・ニューロンに対して、処理
ユニット11は次の計算
アーキテクチャの簡易化した概略図である。入力手段IN
P 13（例えば入力レジスタまたは入力端子）は入力デー
タ９を処理ユニット11に与え、該処理ユニット11はま
た、記憶手段12に記憶されたシナプス係数Ｃijをも受け
取る。シナプス係数Ｃijはソース・ニューロンｊをデス
ティネーション・ニューロンｉに接続するシナプスの重
み付けを特徴付ける。処理ユニット11は更にまた、記憶
手段14に記憶されたニューロンの状態をも受け取る。ニ
ューロンがソース・ニューロンとして動作するときに
は、その状態をＶ j で表し、デスティネーション・ニュ
ーロンとして動作するときには、その状態をＶi で表
す。各デスティネーション・ニューロンに対して、処理
ユニット11は次の計算
【数１８】 を実行する。
【００２７】処理ユニット11は、指数ｊのすべてのソー
ス・ニューロンについて総和を算出し、デスティネーシ
ョン・ニューロンｉのニューラル電位 POTi を出力する
（接続８）。このニューラル電位 POTi は、デスティネ
ーション・ニューロンｉの新しいニューロンの状態Ｖi
を生成する非線形関数NLF 15の支配下にある。この新し
い状態Ｖi は記憶手段14を更新するのに使われ、処理は
他のニューロンに対して続行する。非線形関数NLF を与
える手段15はニューラル・プロセッサ10の外に示されて
いる。図１は単にアーキテクチャを説明するものに過ぎ
ず、これらの付与手段15はニューラル・プロセッサ10の
内部に配置してもよいのである。それらはまたニューロ
ンの一部にのみ関与することもある。ホスト・コンピュ
ータ16がメカニズムのアセンブリの演算開始を制御す
る。それは、根の計算を行うために、シナプス係数Ｃij
及び入力データ９を供給し、ニューロン状態Ｖi の形の
出力データを受け取る。簡単のために、制御手段或いは
学習手段のような他の部分は省略してある。
ス・ニューロンについて総和を算出し、デスティネーシ
ョン・ニューロンｉのニューラル電位 POTi を出力する
（接続８）。このニューラル電位 POTi は、デスティネ
ーション・ニューロンｉの新しいニューロンの状態Ｖi
を生成する非線形関数NLF 15の支配下にある。この新し
い状態Ｖi は記憶手段14を更新するのに使われ、処理は
他のニューロンに対して続行する。非線形関数NLF を与
える手段15はニューラル・プロセッサ10の外に示されて
いる。図１は単にアーキテクチャを説明するものに過ぎ
ず、これらの付与手段15はニューラル・プロセッサ10の
内部に配置してもよいのである。それらはまたニューロ
ンの一部にのみ関与することもある。ホスト・コンピュ
ータ16がメカニズムのアセンブリの演算開始を制御す
る。それは、根の計算を行うために、シナプス係数Ｃij
及び入力データ９を供給し、ニューロン状態Ｖi の形の
出力データを受け取る。簡単のために、制御手段或いは
学習手段のような他の部分は省略してある。
【００２８】ニューラル・プロセッサは、原則として、
ニューロンの状態の形でデータを供給し、データを受け
取る。このデータは物理量に関係付けられている。物理
量は、例えば対象物の数を示す数字、或いは例えば輝度
を決める光量或いは現象の周期性を決める周波数、或い
は他の物理量を表す電気信号に変換される。例えば、ニ
ューラル・プロセッサは一群のエレメント中で異なるカ
テゴリーであるＡ，Ｂ，Ｃ．．．に属するエレメントを
選別するのに使うこともできる。この場合は、ニューラ
ル・プロセッサは各カテゴリーに関係するエレメントの
数をかぞえる。計算されたニューロンの状態は、これら
の異なるカテゴリーを計数することを可能にする。その
データは、いつもそのようにニューラル・プロセッサに
導き入れることができるように分配されているとは限ら
ない。ここで、例えば学習のような所与の演算の進行過
程で、処理を続けるために入力データをノルムに関して
表現することが必要かも知れない。本発明は、このノル
ムを決めることを目的としている。従って、例えば、最
大データが、このノルムを超えないことを保証すること
により、すべてのデータを正規化することが可能であ
る。それはまた、ニューラル・プロセッサの外部でデー
タの創生にも関与し得る。
ニューロンの状態の形でデータを供給し、データを受け
取る。このデータは物理量に関係付けられている。物理
量は、例えば対象物の数を示す数字、或いは例えば輝度
を決める光量或いは現象の周期性を決める周波数、或い
は他の物理量を表す電気信号に変換される。例えば、ニ
ューラル・プロセッサは一群のエレメント中で異なるカ
テゴリーであるＡ，Ｂ，Ｃ．．．に属するエレメントを
選別するのに使うこともできる。この場合は、ニューラ
ル・プロセッサは各カテゴリーに関係するエレメントの
数をかぞえる。計算されたニューロンの状態は、これら
の異なるカテゴリーを計数することを可能にする。その
データは、いつもそのようにニューラル・プロセッサに
導き入れることができるように分配されているとは限ら
ない。ここで、例えば学習のような所与の演算の進行過
程で、処理を続けるために入力データをノルムに関して
表現することが必要かも知れない。本発明は、このノル
ムを決めることを目的としている。従って、例えば、最
大データが、このノルムを超えないことを保証すること
により、すべてのデータを正規化することが可能であ
る。それはまた、ニューラル・プロセッサの外部でデー
タの創生にも関与し得る。
【００２９】本発明は３つのタイプのニューロンを利用
する。１番目のタイプのニューロン（図 2-A）は加算器
として動作し、非線形関数Ｆを与える手段を含まない。
本来それは２つのシナプス係数Ｃ1,Ｃ2 を記憶する手段
を有し、これらのシナプス係数Ｃ1,Ｃ2 に入力値Ｚ1,Ｚ
2 をそれぞれ乗算して積Ｃ1.Ｚ1 及びＣ2.Ｚ2 を形成す
る。これらの積は加算器Σ中で加算され、次のような出
力値Ｚ Ｚ＝Ｚ1.Ｃ1 ＋Ｚ2.Ｃ を出力する。
する。１番目のタイプのニューロン（図 2-A）は加算器
として動作し、非線形関数Ｆを与える手段を含まない。
本来それは２つのシナプス係数Ｃ1,Ｃ2 を記憶する手段
を有し、これらのシナプス係数Ｃ1,Ｃ2 に入力値Ｚ1,Ｚ
2 をそれぞれ乗算して積Ｃ1.Ｚ1 及びＣ2.Ｚ2 を形成す
る。これらの積は加算器Σ中で加算され、次のような出
力値Ｚ Ｚ＝Ｚ1.Ｃ1 ＋Ｚ2.Ｃ を出力する。
【００３０】２番目のタイプのニューロン（図 2-B）は
試験器として動作し、１番目のタイプのニューロンと同
じエレメントを持つが、更に非線形関数Ｆを与える手段
20（例えば比較器）を有する。従ってこのニューロンの
出力は Ｚ＝Ｆ（Ｚ1.Ｃ1 ＋Ｚ2.Ｃ2 ） という値Ｚを供給する。
試験器として動作し、１番目のタイプのニューロンと同
じエレメントを持つが、更に非線形関数Ｆを与える手段
20（例えば比較器）を有する。従ってこのニューロンの
出力は Ｚ＝Ｆ（Ｚ1.Ｃ1 ＋Ｚ2.Ｃ2 ） という値Ｚを供給する。
【００３１】３番目のタイプのニューロン（図 2-C）は
図 2-Aに示されたものに比べて２倍の数の入力を有す
る。このように、係数、例えばＣ1 は２つの入力Ｚ1 及
びＺ2に対応する。このようにＣ1.Ｚ1.Ｚ'1のような積
を計算することが可能である。２対の入力を用いれば、
図 2-Cに示されたニューロンは次のような値を決めるこ
とができる。 Ｚ＝Ｃ1.Ｚ1.Ｚ'1＋Ｃ2.Ｚ2.Ｚ'2
図 2-Aに示されたものに比べて２倍の数の入力を有す
る。このように、係数、例えばＣ1 は２つの入力Ｚ1 及
びＺ2に対応する。このようにＣ1.Ｚ1.Ｚ'1のような積
を計算することが可能である。２対の入力を用いれば、
図 2-Cに示されたニューロンは次のような値を決めるこ
とができる。 Ｚ＝Ｃ1.Ｚ1.Ｚ'1＋Ｃ2.Ｚ2.Ｚ'2
【００３２】加算器には、図 2-Bのように、非線形関数
を与えるデバイスを接続してもよい。入力の数或いは入
力対（Ｚ1,Ｚ'1），（Ｚ2,Ｚ'2）の数は２より大きくて
もよい。
を与えるデバイスを接続してもよい。入力の数或いは入
力対（Ｚ1,Ｚ'1），（Ｚ2,Ｚ'2）の数は２より大きくて
もよい。
【００３３】非線形関数Ｆは図2-C で表される。手段20
（図 2-B）は加算器Σの出力信号を受け取る入力ｅを持
ち、該信号は値０と比較される。該入力ｅが一方で負の
信号を受け取るか又は他方で正の信号を受け取るとき
は、手段20はそれぞれ−ｖ2 又は＋ｖ1 なる信号を出力
する。以後説明する大多数の実施例で、値 +v1/-v2は１
／０，ｊ／０，Ｂi ／０のいずれかである。
（図 2-B）は加算器Σの出力信号を受け取る入力ｅを持
ち、該信号は値０と比較される。該入力ｅが一方で負の
信号を受け取るか又は他方で正の信号を受け取るとき
は、手段20はそれぞれ−ｖ2 又は＋ｖ1 なる信号を出力
する。以後説明する大多数の実施例で、値 +v1/-v2は１
／０，ｊ／０，Ｂi ／０のいずれかである。
【００３４】〔ｄ＝２の１番目の実例〕図３は次数ｄ＝
２の根を計算するためにプログラムされた計算手段を図
式的に示したものである。手段30は、部分剰余ＲＰ及び
部分商ＱＰを基にしてコントリビューションΔＱi ＝ｑ
i.Ｂi を逐次計算する。初期には、ＱＰ＝０でありＲＰ
＝Ｘである。各コントリビューションΔＱi は、ｉを最
大値ｉmax から減少する整数とするとき ＱＰi ＝ＱＰi+1 ＋ΔＱi 及び ＲＰi ＝ＲＰi+1 −ΔＱi ( ２．ＱＰi+1 ＋ΔＱi ) に従ってＲＰ及びＱＰを更新するのに用いられる。これ
らの更新演算は、第１のタイプのニューロンＮＱと３ユ
ニットからなる第１又は第３のタイプのニューロンとを
用いる。各ニューロンは加算器として動作するために循
環的に結合している。このループ型の演算には、各ニュ
ーロンＮＱ，ＮＲに対してその後にレジスタＲＱ，ＲＲ
がそれぞれ続き、それが基本計算サイクル中の結果を記
憶することが必要である。レジスタＱＲは０に初期化さ
れ、レジスタＲＲはＸに初期化され、２つのニューロン
のシナプス係数がプログラムされる。
２の根を計算するためにプログラムされた計算手段を図
式的に示したものである。手段30は、部分剰余ＲＰ及び
部分商ＱＰを基にしてコントリビューションΔＱi ＝ｑ
i.Ｂi を逐次計算する。初期には、ＱＰ＝０でありＲＰ
＝Ｘである。各コントリビューションΔＱi は、ｉを最
大値ｉmax から減少する整数とするとき ＱＰi ＝ＱＰi+1 ＋ΔＱi 及び ＲＰi ＝ＲＰi+1 −ΔＱi ( ２．ＱＰi+1 ＋ΔＱi ) に従ってＲＰ及びＱＰを更新するのに用いられる。これ
らの更新演算は、第１のタイプのニューロンＮＱと３ユ
ニットからなる第１又は第３のタイプのニューロンとを
用いる。各ニューロンは加算器として動作するために循
環的に結合している。このループ型の演算には、各ニュ
ーロンＮＱ，ＮＲに対してその後にレジスタＲＱ，ＲＲ
がそれぞれ続き、それが基本計算サイクル中の結果を記
憶することが必要である。レジスタＱＲは０に初期化さ
れ、レジスタＲＲはＸに初期化され、２つのニューロン
のシナプス係数がプログラムされる。
【００３５】ニューロンＮＱのパラメータＺ1,Ｃ1,Ｚ2,
Ｃ2 の値は次の表ＩＡに与えられている。
Ｃ2 の値は次の表ＩＡに与えられている。
【表１】
【００３６】ニューロンＮＲについては、次のように利
用できる。 ・第３の入力Ｚ3 と第３の係数Ｃ3 をもつ第１のタイプ
のニューロンであって、次の表ＩＢ（図３）のようにプ
ログラムされているニューロン
用できる。 ・第３の入力Ｚ3 と第３の係数Ｃ3 をもつ第１のタイプ
のニューロンであって、次の表ＩＢ（図３）のようにプ
ログラムされているニューロン
【表２】 ・次の表ＩＣのようにプログラムされている（３入力を
もつ）第３のタイプのニューロン
もつ）第３のタイプのニューロン
【表３】
【００３７】〔ｄ＝２におけるコントリビューションΔ
Ｑi の決定〕 〔第１の実施例〕図４は第１の実例における手段30の第
１の実施例を示している。一般的に根Ｑが表現されるベ
ースは、ディメンションＢを有する。本発明によれば、
与えられたｉについて、１≦ｊ≦B-1 の範囲で B-1個の
項
Ｑi の決定〕 〔第１の実施例〕図４は第１の実例における手段30の第
１の実施例を示している。一般的に根Ｑが表現されるベ
ースは、ディメンションＢを有する。本発明によれば、
与えられたｉについて、１≦ｊ≦B-1 の範囲で B-1個の
項
【数１９】 を決定するため、３つの並列入力からなる第２のタイプ
であるB-1 個のニューロンＮＡj （１≦ｊ≦B-1 ）の層
を用いるとよい。ｊ＝０の項の計算のためには補助ニュ
ーロンは不要である。ニューロンＮＡj は、すべて、Ｚ
1=ＲＰi+1,Ｚ2 及びＺ3=ＱＰi+1 を受け取る。これらは
量ＳＤj を決めるためにプログラムされるが、これらの
量の値は、層の中のニューロンのランクの指数ｊに依存
する。項ＳＤj はニューロンのニューラル電位POT を構
成する。
であるB-1 個のニューロンＮＡj （１≦ｊ≦B-1 ）の層
を用いるとよい。ｊ＝０の項の計算のためには補助ニュ
ーロンは不要である。ニューロンＮＡj は、すべて、Ｚ
1=ＲＰi+1,Ｚ2 及びＺ3=ＱＰi+1 を受け取る。これらは
量ＳＤj を決めるためにプログラムされるが、これらの
量の値は、層の中のニューロンのランクの指数ｊに依存
する。項ＳＤj はニューロンのニューラル電位POT を構
成する。
【００３８】ニューロンＮＡj は量ＳＤj の計算のため
にプログラムされなければならない。項
にプログラムされなければならない。項
【数２０】 の決定は、いくつかの組み合わせを生じさせるかも知れ
ない。ニューロンＮＡjのパラメータＺ1,Ｃ1,Ｚ2,Ｃ2,
Ｚ3,Ｃ3 については、例として２つの組み合わせを示し
ている次の表IIに従ってプログラムしてもよい。
ない。ニューロンＮＡjのパラメータＺ1,Ｃ1,Ｚ2,Ｃ2,
Ｚ3,Ｃ3 については、例として２つの組み合わせを示し
ている次の表IIに従ってプログラムしてもよい。
【表４】
【００３９】すべての量ＳＤj が、その符号を決定する
ように、そしてそれから正か又は０である最小のＳＤj
の指数ｊ＝ｑi を導くように試験される。これらの試験
を進めるためには、前に述べたように、各々のニューロ
ンが非線形関数Ｆをニューラル電位POT に適用する手段
を含む第２のタイプのニューロンＮＡj を利用できる。
この関数Ｆは ＳＤj ≧０ のとき Ｆ1(ＳＤj ) ＝Ｄj ＝１ ＳＤj ＜０ のとき Ｆ1(ＳＤj ) ＝Ｄj ＝０ で定義される関数Ｆ1 となろう。
ように、そしてそれから正か又は０である最小のＳＤj
の指数ｊ＝ｑi を導くように試験される。これらの試験
を進めるためには、前に述べたように、各々のニューロ
ンが非線形関数Ｆをニューラル電位POT に適用する手段
を含む第２のタイプのニューロンＮＡj を利用できる。
この関数Ｆは ＳＤj ≧０ のとき Ｆ1(ＳＤj ) ＝Ｄj ＝１ ＳＤj ＜０ のとき Ｆ1(ＳＤj ) ＝Ｄj ＝０ で定義される関数Ｆ1 となろう。
【００４０】従って、すべての出力Ｄj は１≦ｊ≦ｑi
に対して１であり、また、すべての出力Ｄj はｑi ≦ｊ
≦B に対して０である。
に対して１であり、また、すべての出力Ｄj はｑi ≦ｊ
≦B に対して０である。
【００４１】ニューロンの２番目の層ＮＢj （１≦ｊ≦
B-1 ）は引き続く出力Ｄj とＤj+1とを１対単位で比較
する。こうして、ランクｊ＝ｑi をもつ１つのニューロ
ンＮＢj のみが２つの異なる入力Ｄj 及びＤj+1 とｑi
に等しい出力をもち、そして他のニューロンは出力０を
もつ。それ故に、ニューロンＮＢj のパラメータＺ1,Ｃ
1,Ｚ2,Ｃ2 は表III （但しＤB ＝０）に従ってプログラ
ムされる。
B-1 ）は引き続く出力Ｄj とＤj+1とを１対単位で比較
する。こうして、ランクｊ＝ｑi をもつ１つのニューロ
ンＮＢj のみが２つの異なる入力Ｄj 及びＤj+1 とｑi
に等しい出力をもち、そして他のニューロンは出力０を
もつ。それ故に、ニューロンＮＢj のパラメータＺ1,Ｃ
1,Ｚ2,Ｃ2 は表III （但しＤB ＝０）に従ってプログラ
ムされる。
【表５】
【００４２】ニューロンＮＢj の出力が、層中の各ニュ
ーロンＮＢj の指数ｊを直接供給することを達成するた
めに（Ｄj ≠Ｄj+1 のとき）、次の式 ｅ≦０ のとき Ｅj ＝０ ｅ＞０ のとき Ｅj ＝ｊ の応答をもつ関数Ｆ2 を適用する手段を備えた第２のタ
イプのニューロンが使用される。
ーロンＮＢj の指数ｊを直接供給することを達成するた
めに（Ｄj ≠Ｄj+1 のとき）、次の式 ｅ≦０ のとき Ｅj ＝０ ｅ＞０ のとき Ｅj ＝ｊ の応答をもつ関数Ｆ2 を適用する手段を備えた第２のタ
イプのニューロンが使用される。
【００４３】３番目の層が第１のタイプのマルチ入力ニ
ューロンＮＣにより形成され、その入力の各々は次の表
IVに従ってプログラムされる。
ューロンＮＣにより形成され、その入力の各々は次の表
IVに従ってプログラムされる。
【表６】
【００４４】１番目の実施例の代替案として、ニューロ
ンＮＢj の非線形関数Ｆを適用する手段が、関数Ｆ3 と
共に次式 ｅ≦０ のとき Ｅj ＝０ ｅ＞０ のとき Ｅj ＝j.Ｂi になるように動作する限りにおいて、ニューロンＮＣの
係数Ｃj を１にプログラムしてもよい。
ンＮＢj の非線形関数Ｆを適用する手段が、関数Ｆ3 と
共に次式 ｅ≦０ のとき Ｅj ＝０ ｅ＞０ のとき Ｅj ＝j.Ｂi になるように動作する限りにおいて、ニューロンＮＣの
係数Ｃj を１にプログラムしてもよい。
【００４５】表Ｉから表IVでは次に示すように種々の型
の値について述べている。 −ニューラル・プロセッサがベースＢのディメンション
との関連からノルム又は距離の計算に用いられているそ
の瞬間に導入される、例えば1,-1のような固定係数 −使用されるデータに依存し、かつそれぞれの新しいデ
ータＸのために導入されるところのＸに等しい値 −各循環サイクル中に修正されるところの項Ｂi を含む
係数。これらの係数はＢi の倍数であり、最大の係数Ｂ
i から始まり各サイクルのスタ−ト時に導入される。こ
れらはホスト・コンピュータによって制御される。ｉの
値は、ベースＢに対応するニューラル・プロセッサの処
理容量を決定する最大値ｉmax によって制限される。ニ
ューラル・プロセッサが、予め与えられた値ｉmax をも
ち、与えられたベースＢ（従って B-1個のニューロンＮ
Ａj,ＮＢj ）の固定されたアーキテクチャをもつものと
考えることもできる。ユーザーにとって、ベースＢのデ
ィメンションと値ｉmax をニューラル・プロセッサのハ
ードウェア容量の関数として選ぶことも可能であり、結
果として係数をプログラムすると考えることができる。
これらの選択は、使われた値Ｘに従って行われる。
の値について述べている。 −ニューラル・プロセッサがベースＢのディメンション
との関連からノルム又は距離の計算に用いられているそ
の瞬間に導入される、例えば1,-1のような固定係数 −使用されるデータに依存し、かつそれぞれの新しいデ
ータＸのために導入されるところのＸに等しい値 −各循環サイクル中に修正されるところの項Ｂi を含む
係数。これらの係数はＢi の倍数であり、最大の係数Ｂ
i から始まり各サイクルのスタ−ト時に導入される。こ
れらはホスト・コンピュータによって制御される。ｉの
値は、ベースＢに対応するニューラル・プロセッサの処
理容量を決定する最大値ｉmax によって制限される。ニ
ューラル・プロセッサが、予め与えられた値ｉmax をも
ち、与えられたベースＢ（従って B-1個のニューロンＮ
Ａj,ＮＢj ）の固定されたアーキテクチャをもつものと
考えることもできる。ユーザーにとって、ベースＢのデ
ィメンションと値ｉmax をニューラル・プロセッサのハ
ードウェア容量の関数として選ぶことも可能であり、結
果として係数をプログラムすると考えることができる。
これらの選択は、使われた値Ｘに従って行われる。
【００４６】例えば、Ｘが０≦Ｘ≦２r −１の範囲で整
数の場合は、ｉmax の最小値である整数は次式
数の場合は、ｉmax の最小値である整数は次式
【数２１】 のように選ぶことができる。ここで「int 」は整数部分
の関数を表す。このように、ｉmax はデータＸには依存
しない。
の関数を表す。このように、ｉmax はデータＸには依存
しない。
【００４７】〔第２の実施例〕第１の実例の範囲におい
ても、与えられた条件で、平方根を導出ための計算に関
与するニューロンの数を限定することは有効なことであ
る。図５は、ニューロンＮＢj の層は存在しない状態を
示している。ニューロンＮＡj の入力は、表IIに対応す
るデータを受け取るが、それらの非線形関数はまだ関数
Ｆ1 である。すべての出力Ｄj は、Ｅj に代えてＤj と
して表IVに従ってプログラムされた第１のタイプのニュ
ーロンＮＣに適用される。このように、ニューロンＮＣ
は、入力Ｄj ＝１に対応するコントリビューションＢi
の数ｑi を合計する。
ても、与えられた条件で、平方根を導出ための計算に関
与するニューロンの数を限定することは有効なことであ
る。図５は、ニューロンＮＢj の層は存在しない状態を
示している。ニューロンＮＡj の入力は、表IIに対応す
るデータを受け取るが、それらの非線形関数はまだ関数
Ｆ1 である。すべての出力Ｄj は、Ｅj に代えてＤj と
して表IVに従ってプログラムされた第１のタイプのニュ
ーロンＮＣに適用される。このように、ニューロンＮＣ
は、入力Ｄj ＝１に対応するコントリビューションＢi
の数ｑi を合計する。
【００４８】この第２の実施例における１つの変形で
は、ニューロンＮＡj の非線形関数Ｆを適用するための
手段が関数Ｆ4 と共に次式 ＳＤj ≧０ のとき Ｆ4(ＳＤj ) ＝Ｄj ＝Ｂi ＳＤj ＜０ のとき Ｆ4(ＳＤj ) ＝Ｄj ＝０ になるように動作する限りにおいて、ニューロンＮＣの
係数は値１にプログラムされてもよい。
は、ニューロンＮＡj の非線形関数Ｆを適用するための
手段が関数Ｆ4 と共に次式 ＳＤj ≧０ のとき Ｆ4(ＳＤj ) ＝Ｄj ＝Ｂi ＳＤj ＜０ のとき Ｆ4(ＳＤj ) ＝Ｄj ＝０ になるように動作する限りにおいて、ニューロンＮＣの
係数は値１にプログラムされてもよい。
【００４９】〔ｄ＝２の２番目の実例〕図６は、ｄ＝２
の場合の２番目の実例を図式的に示す。１番目の実例と
同様、計算の最後に最終剰余を与えるニューロンＮＲが
設けられている。しかし、今度は、ブロック30はΔＱi
を計算するために部分商ＱＰを専用する。従ってΔＱi
の計算に関係するニューロンＮＡj を除いて、１番目の
実例で用いられたそれぞれの構造（図４、５）と同一の
構造が用いられる。実際に、計算された項ＳＤjは次式
のように異なったものである。
の場合の２番目の実例を図式的に示す。１番目の実例と
同様、計算の最後に最終剰余を与えるニューロンＮＲが
設けられている。しかし、今度は、ブロック30はΔＱi
を計算するために部分商ＱＰを専用する。従ってΔＱi
の計算に関係するニューロンＮＡj を除いて、１番目の
実例で用いられたそれぞれの構造（図４、５）と同一の
構造が用いられる。実際に、計算された項ＳＤjは次式
のように異なったものである。
【数２２】 この計算においては、４つの入力を備えかつ非線形関数
Ｆ1 を装備した第４のタイプのニューロンＮＡj を用い
ることができるが、このニューロンは例えば表Ｖに従っ
てプログラムすることが可能である。
Ｆ1 を装備した第４のタイプのニューロンＮＡj を用い
ることができるが、このニューロンは例えば表Ｖに従っ
てプログラムすることが可能である。
【表７】
【００５０】プログラムと構造を変えることによって、
例えば各ニューロンＮＡj を数個の従属接続したニュー
ロンで置き換えることにより、ニューロンの入力の数を
減らすことができる。
例えば各ニューロンＮＡj を数個の従属接続したニュー
ロンで置き換えることにより、ニューロンの入力の数を
減らすことができる。
【００５１】ΔＱi の決定については、１番目の実例の
２番目の実施例（図５）から得られる構造を用いるのが
好ましい。
２番目の実施例（図５）から得られる構造を用いるのが
好ましい。
【００５２】他のニューロンの係数を修正したうえで、
非線形関数Ｆ4 を有するニューロンＮＡj を用いること
ができる。
非線形関数Ｆ4 を有するニューロンＮＡj を用いること
ができる。
【００５３】〔ｄ＝２の３番目の実例（第１グルー
プ）〕第３番目の応用は剰余Ｒを求める必要のない場合
に相当する。この場合には、図６におけるニューロンＮ
ＲとレジスタＲＲは削除される。唯一の結果は最終根だ
けである。この第３番目の実例の重要な点は、ＲＰが使
われないときにはＲＰの計算を無視してもよい点にあ
る。
プ）〕第３番目の応用は剰余Ｒを求める必要のない場合
に相当する。この場合には、図６におけるニューロンＮ
ＲとレジスタＲＲは削除される。唯一の結果は最終根だ
けである。この第３番目の実例の重要な点は、ＲＰが使
われないときにはＲＰの計算を無視してもよい点にあ
る。
【００５４】この３番目の実例の第１のグループに対応
する図は、ニューロンＮＲとレジスタＲＲを含んでいな
いことを除いて、２番目の実例（図６）について記述さ
れたものと同一である。
する図は、ニューロンＮＲとレジスタＲＲを含んでいな
いことを除いて、２番目の実例（図６）について記述さ
れたものと同一である。
【００５５】ΔＱi の決定については、２番目の実例に
おける応用として、図５に示され、且つそれから導かれ
る構造に類似の構造を用いることが便利である。
おける応用として、図５に示され、且つそれから導かれ
る構造に類似の構造を用いることが便利である。
【００５６】〔ｄ＝２の３番目の実例（第２グルー
プ）〕３番目の実例の範囲においても、ニューロンＮＣ
（手段30）とニューロンＮＱとの結合によって変形を作
り出すことが可能である。これは次のようにして達成さ
れる。 −実施例に依存し、且つそれぞれの場合に依存してすべ
て１又はＢi に等しい係数Ｃj を持つところのＥj 又は
Ｄj に等しい入力Ｖj を以前に受け取ったものであるニ
ューロンＮＣを除外する。 −続いて、Ｖj 及びＣj が前記のニューロンＮＣに対応
するものとして、次の表VIに従ってプログラムされたＢ
個の入力を含む第１のタイプのニューロンによって、ニ
ューロンＮＱを置き換える。
プ）〕３番目の実例の範囲においても、ニューロンＮＣ
（手段30）とニューロンＮＱとの結合によって変形を作
り出すことが可能である。これは次のようにして達成さ
れる。 −実施例に依存し、且つそれぞれの場合に依存してすべ
て１又はＢi に等しい係数Ｃj を持つところのＥj 又は
Ｄj に等しい入力Ｖj を以前に受け取ったものであるニ
ューロンＮＣを除外する。 −続いて、Ｖj 及びＣj が前記のニューロンＮＣに対応
するものとして、次の表VIに従ってプログラムされたＢ
個の入力を含む第１のタイプのニューロンによって、ニ
ューロンＮＱを置き換える。
【表８】
【００５７】この変形の利点は、以前のものに比べて１
層少ない構造になることである。
層少ない構造になることである。
【００５８】〔Ｂ＝２でｄ＝２である特別の実例〕使用
されるハードウェア手段が簡単であるという理由から興
味のある場合として、ベースＢのディメンションが２の
場合がある。この場合は、コントリビューションｑi.Ｂ
i の決定には唯一つのニューロンのみを必要とする。図
７は、部分根ＱＰ及び部分剰余ＲＰの決定を利用する実
施例を示す。根Ｑと剰余Ｒを求めるためには、３つのニ
ューロンＮＡ，ＮＲ及びＮＱで充分である。ニューロン
ＮＱ（第１のタイプ）及びＮＲ（第１のタイプ）は、記
憶レジスタＲＱ及びＲＲにそれぞれに接続されている。
ニューロンＮＡ（第２のタイプ）のパラメータＺ，Ｃ
は、ｊ＝１として表IIに従ってプログラムされる。ＮＡ
の加算器によって供給されるデータに適用される非線形
関数Ｆは、前と同様に関数Ｆ1 又はＦ4 に従って適用さ
れる。関数Ｆ4 の場合には、ニューロンＮＱ及びＮＲの
パラメータＺ，Ｃは、ΔＱi をSNA で置き換えて、従っ
て SNA＝ΔＱi として表IA,IB,ICに従ってプログラムで
きる。関数Ｆ1 の場合には、ニューロンＮＱのパラメー
タＺ，Ｃは、SNA をｑi に等しいとして次の表VIIAに従
ってプログラムできる。
されるハードウェア手段が簡単であるという理由から興
味のある場合として、ベースＢのディメンションが２の
場合がある。この場合は、コントリビューションｑi.Ｂ
i の決定には唯一つのニューロンのみを必要とする。図
７は、部分根ＱＰ及び部分剰余ＲＰの決定を利用する実
施例を示す。根Ｑと剰余Ｒを求めるためには、３つのニ
ューロンＮＡ，ＮＲ及びＮＱで充分である。ニューロン
ＮＱ（第１のタイプ）及びＮＲ（第１のタイプ）は、記
憶レジスタＲＱ及びＲＲにそれぞれに接続されている。
ニューロンＮＡ（第２のタイプ）のパラメータＺ，Ｃ
は、ｊ＝１として表IIに従ってプログラムされる。ＮＡ
の加算器によって供給されるデータに適用される非線形
関数Ｆは、前と同様に関数Ｆ1 又はＦ4 に従って適用さ
れる。関数Ｆ4 の場合には、ニューロンＮＱ及びＮＲの
パラメータＺ，Ｃは、ΔＱi をSNA で置き換えて、従っ
て SNA＝ΔＱi として表IA,IB,ICに従ってプログラムで
きる。関数Ｆ1 の場合には、ニューロンＮＱのパラメー
タＺ，Ｃは、SNA をｑi に等しいとして次の表VIIAに従
ってプログラムできる。
【表９】
【００５９】ニューロンＮＲについては、次のいずれか
のように使用する。 ・第３の入力Ｚ3 及び第３の係数Ｃ3 をもつ第１のタイ
プのニューロンであって、次の表VIIB（図７）に従って
プログラムされるニューロン
のように使用する。 ・第３の入力Ｚ3 及び第３の係数Ｃ3 をもつ第１のタイ
プのニューロンであって、次の表VIIB（図７）に従って
プログラムされるニューロン
【表１０】 ・第３のタイプのニューロン（３入力を有する）であっ
て、次の表VIICに従ってプログラムされるニューロン
て、次の表VIICに従ってプログラムされるニューロン
【表１１】
【００６０】ベースを２とする動作においては、図８の
概略図に従って、ハードウェアの複雑さを２つのニュー
ロン手段に減らすことができる。この場合においては、
部分剰余は決定されない。ニューロンＮＡのパラメータ
は、ｊ＝１として表Ｖに示されたものと同じである。適
用手段は、既述の関数Ｆ1 或いはＦ4 を実行してもよ
い。関数Ｆ4 の場合には、ニューロンＮＱのパラメータ
Ｚ及びＣは、SNA （＝ΔＱi ）でΔＱi を置換し、表IA
に従ってプログラムできる。関数Ｆ1 の場合には、ニュ
ーロンＮＱのパラメータＺ及びＣは、SNA ＝ｑi とし
て、表VIIAに従ってプログラムできる。
概略図に従って、ハードウェアの複雑さを２つのニュー
ロン手段に減らすことができる。この場合においては、
部分剰余は決定されない。ニューロンＮＡのパラメータ
は、ｊ＝１として表Ｖに示されたものと同じである。適
用手段は、既述の関数Ｆ1 或いはＦ4 を実行してもよ
い。関数Ｆ4 の場合には、ニューロンＮＱのパラメータ
Ｚ及びＣは、SNA （＝ΔＱi ）でΔＱi を置換し、表IA
に従ってプログラムできる。関数Ｆ1 の場合には、ニュ
ーロンＮＱのパラメータＺ及びＣは、SNA ＝ｑi とし
て、表VIIAに従ってプログラムできる。
【００６１】〔任意のｄの実例〕任意のｄについては、
既述のｄ＝２の場合の実例を一般化できる。これは、各
ニューロンＮＡj を、次数ｄの積を全範囲で計算できる
ように従属接続された第３のタイプの１つのニューロン
群によって置き換えるだけで充分である。この場合にお
いては、ニューロンＮＡj の各群の最後のニューロンの
みが非線形関数を持っている。ニューロンＮＡj の１つ
の群は、実例に従って次のいずれかの量
既述のｄ＝２の場合の実例を一般化できる。これは、各
ニューロンＮＡj を、次数ｄの積を全範囲で計算できる
ように従属接続された第３のタイプの１つのニューロン
群によって置き換えるだけで充分である。この場合にお
いては、ニューロンＮＡj の各群の最後のニューロンの
みが非線形関数を持っている。ニューロンＮＡj の１つ
の群は、実例に従って次のいずれかの量
【数２３】 又は
【数２４】 を計算する。
【００６２】量ＳＤj は、続いて非線形関数によってＤ
j に変換される。
j に変換される。
【００６３】部分剰余ＲＰが計算される実例では、ニュ
ーロンＮＲもまた第３のタイプの従属接続されたニュー
ロン群によって置き換えられる。よって部分剰余は実例
により、次式
ーロンＮＲもまた第３のタイプの従属接続されたニュー
ロン群によって置き換えられる。よって部分剰余は実例
により、次式
【数２５】 又は
【数２６】 のいずれかに従って更新される。
【００６４】〔Ｂ＝２k の場合〕ｋを整数とするときベ
ースのディメンションがＢ＝２k と書ける場合は、値Ｂ
i を含む与えられた値を繰り返し計算するユニットを使
用することができる。この場合の例は、±j.Ｂi であ
る。図９は、初期値２k.max に初期化できるレジスタ84
が接続されているｋ位置シフトレジスタ82を含むモジュ
ール80を示している。レジスタ84の出力は、シフトレジ
スタ82の入力にも適用される係数Ｂi ＝２kを供給す
る。毎回ｋ位置を通る入力データをシフトすることによ
って因数２k による割り算ができるようになり、それに
より上述の方法を実行するため引き続く係数Ｂi がすべ
て計算できる。このモジュール80は、パラメータＺやＣ
を決定するのに使用できる。
ースのディメンションがＢ＝２k と書ける場合は、値Ｂ
i を含む与えられた値を繰り返し計算するユニットを使
用することができる。この場合の例は、±j.Ｂi であ
る。図９は、初期値２k.max に初期化できるレジスタ84
が接続されているｋ位置シフトレジスタ82を含むモジュ
ール80を示している。レジスタ84の出力は、シフトレジ
スタ82の入力にも適用される係数Ｂi ＝２kを供給す
る。毎回ｋ位置を通る入力データをシフトすることによ
って因数２k による割り算ができるようになり、それに
より上述の方法を実行するため引き続く係数Ｂi がすべ
て計算できる。このモジュール80は、パラメータＺやＣ
を決定するのに使用できる。
【００６５】〔オーバーフロー〕ニューラル・プロセッ
サは、種々のパラメータＺ，Ｃや種々の入力データＸや
結果ＱＰ，ＲＰを記憶しなければならない。この目的の
ために、レジスタ及びメモリーの最大容量に依存する処
理容量を持つ。
サは、種々のパラメータＺ，Ｃや種々の入力データＸや
結果ＱＰ，ＲＰを記憶しなければならない。この目的の
ために、レジスタ及びメモリーの最大容量に依存する処
理容量を持つ。
【００６６】一般的に、もしニューロン状態レジスタ及
びシナプス係数メモリーが（ｒ＋１）ビットの符号のつ
いた語を記憶することができるならば、例えばＸを整数
として０≦Ｘ≦２r −１のようなデータＸを処理するこ
とができる。それにもかかわらず、シナプス係数がj.Ｂ
i の形で記憶されるべきときには、データ及び／又は係
数当たりのビット数の記憶容量が考慮されるべきであ
る。熟練者は、例えば表II或いは表Ｖにおけるように、
ニューラル・プロセッサに使用できるレジスタ及びメモ
リーの長さに基づいて、与えられたプログラミング・モ
ードの１つを選択することになろう。
びシナプス係数メモリーが（ｒ＋１）ビットの符号のつ
いた語を記憶することができるならば、例えばＸを整数
として０≦Ｘ≦２r −１のようなデータＸを処理するこ
とができる。それにもかかわらず、シナプス係数がj.Ｂ
i の形で記憶されるべきときには、データ及び／又は係
数当たりのビット数の記憶容量が考慮されるべきであ
る。熟練者は、例えば表II或いは表Ｖにおけるように、
ニューラル・プロセッサに使用できるレジスタ及びメモ
リーの長さに基づいて、与えられたプログラミング・モ
ードの１つを選択することになろう。
【００６７】この発明は、整数又は分数で表されたデー
タＸの処理に用いることができる。
タＸの処理に用いることができる。
【００６８】種々の実例は、このプロセッサの効果的な
利用を示しており、それらの重要性を明らかにしてい
る。実際に、次のような変形が考えられる。 −ニューロンの数がもっと多いか少ないか、 −例えばＢi に等しいか又はこの値の倍数に等しい補助
入力Ｚが必要か否か、 −１つ或いは複数の根の導出の過程において、シナプス
係数が固定か可変か、 −比較器の移転関数が、根の導出の過程で固定か可変
か、 −外部又は内部の演算変数が、ニューロンの状態又はシ
ナプス係数として現れて、もしそれぞれのレジスタが同
じ長さでないならば、オーバーフロー問題を種々のやり
方で取り扱わなければならないという意味において、こ
れらの変数の受容できる最大値が更に高いか又は低い
か。
利用を示しており、それらの重要性を明らかにしてい
る。実際に、次のような変形が考えられる。 −ニューロンの数がもっと多いか少ないか、 −例えばＢi に等しいか又はこの値の倍数に等しい補助
入力Ｚが必要か否か、 −１つ或いは複数の根の導出の過程において、シナプス
係数が固定か可変か、 −比較器の移転関数が、根の導出の過程で固定か可変
か、 −外部又は内部の演算変数が、ニューロンの状態又はシ
ナプス係数として現れて、もしそれぞれのレジスタが同
じ長さでないならば、オーバーフロー問題を種々のやり
方で取り扱わなければならないという意味において、こ
れらの変数の受容できる最大値が更に高いか又は低い
か。
【図１】図１は、ニューラル・プロセッサの既知のアー
キテクチャの概略図である。
キテクチャの概略図である。
【図２】図２は、非線形関数を与えるための手段を持た
ないニューロンの概略図Ａ、非線形関数Ｆを与えるため
の手段を具えるニューロンの概略図Ｂ、図Ａに補助入力
Ｚ'1とＺ'2を加えた概略図Ｃ及び非線形関数Ｆを表す曲
線図Ｄを示す図である。
ないニューロンの概略図Ａ、非線形関数Ｆを与えるため
の手段を具えるニューロンの概略図Ｂ、図Ａに補助入力
Ｚ'1とＺ'2を加えた概略図Ｃ及び非線形関数Ｆを表す曲
線図Ｄを示す図である。
【図３】図３は、本発明に従って根及び剰余を計算する
ための計算手段の１番目の実例の概略図である。
ための計算手段の１番目の実例の概略図である。
【図４】図４は、部分根ＱＰ及び部分剰余ＲＰを用いて
コントリビューションΔＱi を計算するための１番目の
実施例の概略図である。
コントリビューションΔＱi を計算するための１番目の
実施例の概略図である。
【図５】図５は、部分根ＱＰ及び部分剰余ＲＰを用いて
コントリビューションΔＱi を計算するための２番目の
実施例の概略図である。
コントリビューションΔＱi を計算するための２番目の
実施例の概略図である。
【図６】図６は、部分根ＱＰに基づくΔＱi の計算によ
って根Ｑ及び剰余Ｒを計算するための計算手段の２番目
の実例の概略図である。
って根Ｑ及び剰余Ｒを計算するための計算手段の２番目
の実例の概略図である。
【図７】図７は、特にＢ＝２，ｄ＝２として根Ｑと剰余
Ｒの計算のために３つのニューロンを用いた実例の概略
図である。
Ｒの計算のために３つのニューロンを用いた実例の概略
図である。
【図８】図８は、特にＢ＝２，ｄ＝２として根Ｑの計算
のために２つのニューロンを用いた実例の概略図であ
る。
のために２つのニューロンを用いた実例の概略図であ
る。
【図９】図９は、ベースＢが２k 型のディメンションを
持つ場合において、２ki型の項を計算するためのユニッ
トの概略図である。
持つ場合において、２ki型の項を計算するためのユニッ
トの概略図である。
10 ニューラル・プロセッサ 11 処理ユニット 12 記憶手段 13 入力手段 14 記憶手段 15 非線形関数を与える手段 16 ホスト・コンピュータ 30 コントリビューションΔＱi を逐次計算する手段 80 モジュール 82 シフトレジスタ 84 レジスタ
Claims (15)
- 【請求項１】 量Ｘの根Ｑを導出するニューラル計算手
段を有するニューラル・プロセッサであって、前記根は
データのノルム又はデータ間の距離を構成するものであ
り、前記計算手段は下記手段すなわち： −一纏めになって算術的ベースＢ上で根Ｑの表現を形成
する一連のコントリビューション 【数１】 を繰り返し計算するための少なくとも１つの第１のニュ
ーロンを有する第１のニューロン手段 −前記第１のニューロン手段から入力を与えられ、根Ｑ
を算出するために前記コントリビューションΔＱi の加
算によって部分根ＱＰを繰り返し更新するための少なく
とも１つの第２のニューロンを有する第２のニューロン
手段を能動化するようにプログラムされていることを特
徴とするニューラル・プロセッサ。 - 【請求項２】 請求項１に記載のプロセッサにおい
て、部分根の初期値を０とし次数ｄの根の計算のために
前記計算手段が次の諸事項すなわち： ａ）ｊは１からB-1 まで変化し、ｉは初期値が予め定め
られた最大値に等しい整数として、少なくとも１つのニ
ューロンによって行われるB-1 個の演算の結果である複
数の量 【数２】 を計算すること ｂ）ＳＤ0 ≧０，ＳＤB ＜０及び sign（０）＝＋１と
して次式 【数３】 を確認する値ｊ＝ｑi を決定すること ｃ）コントリビューションΔＱi ＝ｑi.Ｂi を決定する
こと ｄ）新しい部分根を次式 【数４】 として決定すること、及び ｅ）予め定められているＱの精度によって決まるｉの最
小値が得られるまで前の演算を繰り返して根Ｑを決定す
るためにｉを減らすことを遂行するようにプログラムさ
れていることを特徴とするプロセッサ。 - 【請求項３】 請求項２に記載のプロセッサにおい
て、計算手段が更に部分剰余 【数５】 を、初期値はＸに等しいものとし、次式 【数６】 又は 【数７】 を繰り返し演算することによって計算するようにプログ
ラムされていることを特徴とするプロセッサ。 - 【請求項４】 請求項３に記載のプロセッサにおい
て、計算手段が更に複数の量 【数８】 を計算するようにプログラムされていることを特徴とす
るプロセッサ。 - 【請求項５】 請求項２乃至４のいずれか１項に記載
のプロセッサにおいて、B-1 個の演算の実行がそれぞれ
少なくとも１個のニューロンを有する複数の群の間に分
配されていることを特徴とするプロセッサ。 - 【請求項６】 請求項２乃至４のいずれか１項に記載
のプロセッサにおいて、位相ｃ及び／又はｄが少なくと
も１個のニューロンによって実行されることを特徴とす
るプロセッサ。 - 【請求項７】 請求項２に記載のプロセッサにおい
て、Ｂ＝２のときに、位相ａ，ｂ及びｃを実行する第１
のニューロン（ＮＡ）と位相ｄを実行する第２のニュー
ロン（ＮＱ）との２つのニューロンによって演算を行う
ことを特徴とするプロセッサ。 - 【請求項８】 請求項２に記載のプロセッサにおい
て、Ｂ＝２のときに、位相ａ及びｂを実行する第１のニ
ューロン（ＮＡ）と位相ｃ及びｄを実行する第２のニュ
ーロン（ＮＱ）との２つのニューロンによって演算を行
うことを特徴とするプロセッサ。 - 【請求項９】 請求項３又は４に記載のプロセッサに
おいて、Ｂ＝２のときに、位相ａ，ｂ及びｃを実行する
第１のニューロン（ＮＡ）と、それぞれ部分根及び部分
剰余の更新を行う第２のニューロン（ＮＱ）及び第３の
ニューロン（ＮＲ）との３つのニューロンによって演算
を行うことを特徴とするプロセッサ。 - 【請求項１０】 請求項３又は４に記載のプロセッサ
において、Ｂ＝２のときに、位相ａ及びｂを実行する第
１のニューロン（ＮＡ）と、それぞれ位相ｃの実行及び
部分根と部分剰余の更新を行う第２のニューロン（Ｎ
Ｑ）及び第３のニューロン（ＮＲ）との３つのニューロ
ンによって演算を行うことを特徴とするプロセッサ。 - 【請求項１１】 請求項２乃至１０のいずれか１項に
記載のプロセッサにおいて、計算手段が、部分剰余ＲＰ
i を計算することによって平方根を計算するようにプロ
グラムされており、該部分剰余の計算は、初期値をＸに
等しくして且つ次式 【数９】 又は 【数１０】 のように繰り返し演算によって更新されることを特徴と
するプロセッサ。 - 【請求項１２】 請求項１１に記載のプロセッサにお
いて、更に計算手段が複数の量 【数１１】 を計算するようにプログラムされていることを特徴とす
るプロセッサ。 - 【請求項１３】 請求項１乃至１２のいずれか１項に
記載のプロセッサにおいて、ある瞬間には根の計算を実
行し他の瞬間にはニューラル分解課題及び／又はニュー
ラル学習課題を実行するようにプログラムし得ることを
特徴とするプロセッサ。 - 【請求項１４】 請求項１乃至１３のいずれか１項に
記載のプロセッサにおいて、ベクトルの成分を受け取る
ニューラル・プロセッサは、更に該成分のベキ乗数ｄの
和に等しいところの前記の量Ｘを計算するようにプログ
ラムされていることを特徴とするプロセッサ。 - 【請求項１５】 請求項１乃至１３のいずれか１項に
記載のプロセッサにおいて、ベクトルの成分を受け取る
ニューラル・プロセッサは、２×２のベクトルについ
て、同じオーダーの該ベクトル間における差のベキ乗数
の和に等しいところの前記の量Ｘを計算するようにプロ
グラムされていることを特徴とするプロセッサ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9205283 | 1992-04-29 | ||
| FR9205283A FR2690772A1 (fr) | 1992-04-29 | 1992-04-29 | Processeur neuronal muni de moyens pour calculer une norme ou une distance. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0619872A true JPH0619872A (ja) | 1994-01-28 |
Family
ID=9429369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10121993A Pending JPH0619872A (ja) | 1992-04-29 | 1993-04-27 | ノルム又は距離を計算するための手段を有するニューラル・プロセッサ |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US5548686A (ja) |
| EP (1) | EP0568145B1 (ja) |
| JP (1) | JPH0619872A (ja) |
| DE (1) | DE69325544T2 (ja) |
| FR (1) | FR2690772A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015104424A1 (de) | 2015-03-24 | 2016-09-29 | Hiwin Technologies Corp. | Gleitkeilgetriebe mit verbesserter Übertragungsgenauigkeit |
| US9714699B2 (en) | 2015-01-21 | 2017-07-25 | Hiwin Technologies Corp. | Harmonic drive that improves transmission accuracy |
| JP2020021208A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メガチップス | ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6119111A (en) * | 1998-06-09 | 2000-09-12 | Arch Development Corporation | Neuro-parity pattern recognition system and method |
| JP5656202B2 (ja) * | 2010-10-18 | 2015-01-21 | 国立大学法人大阪大学 | 特徴抽出装置、特徴抽出方法、及び、そのプログラム |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
| US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
| US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
| US4949296A (en) * | 1988-05-18 | 1990-08-14 | Harris Corporation | Method and apparatus for computing square roots of binary numbers |
| US5131072A (en) * | 1988-08-31 | 1992-07-14 | Fujitsu, Ltd. | Neurocomputer with analog signal bus |
| FR2639461A1 (fr) * | 1988-11-18 | 1990-05-25 | Labo Electronique Physique | Arrangement bidimensionnel de points memoire et structure de reseaux de neurones utilisant un tel arrangement |
| FR2641097B1 (ja) * | 1988-12-23 | 1991-03-15 | Labo Electronique Physique | |
| EP0377221B1 (en) * | 1988-12-29 | 1996-11-20 | Sharp Kabushiki Kaisha | Neuro-computer |
| US4941122A (en) * | 1989-01-12 | 1990-07-10 | Recognition Equipment Incorp. | Neural network image processing system |
| GB2236608B (en) * | 1989-10-06 | 1993-08-18 | British Telecomm | Digital neural networks |
| US5128891A (en) * | 1990-04-02 | 1992-07-07 | Advanced Micro Devices, Inc. | High speed divider with square root capability |
| KR930001024B1 (ko) * | 1990-04-03 | 1993-02-12 | 정호선 | 신경회로망을 이용한 제곱근 연산용 집적회로 |
-
1992
- 1992-04-29 FR FR9205283A patent/FR2690772A1/fr active Pending
-
1993
- 1993-04-21 DE DE69325544T patent/DE69325544T2/de not_active Expired - Fee Related
- 1993-04-21 EP EP93201156A patent/EP0568145B1/fr not_active Expired - Lifetime
- 1993-04-27 JP JP10121993A patent/JPH0619872A/ja active Pending
-
1994
- 1994-12-21 US US08/363,556 patent/US5548686A/en not_active Expired - Fee Related
-
1995
- 1995-06-05 US US08/461,474 patent/US5537513A/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9714699B2 (en) | 2015-01-21 | 2017-07-25 | Hiwin Technologies Corp. | Harmonic drive that improves transmission accuracy |
| DE102015104424A1 (de) | 2015-03-24 | 2016-09-29 | Hiwin Technologies Corp. | Gleitkeilgetriebe mit verbesserter Übertragungsgenauigkeit |
| JP2020021208A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メガチップス | ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US5537513A (en) | 1996-07-16 |
| EP0568145B1 (fr) | 1999-07-07 |
| DE69325544T2 (de) | 2000-02-17 |
| DE69325544D1 (de) | 1999-08-12 |
| EP0568145A1 (fr) | 1993-11-03 |
| US5548686A (en) | 1996-08-20 |
| FR2690772A1 (fr) | 1993-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5519647A (en) | Apparatus for and method of generating an approximation function | |
| Brown et al. | Derivative free analogues of the Levenberg-Marquardt and Gauss algorithms for nonlinear least squares approximation | |
| JPH0619872A (ja) | ノルム又は距離を計算するための手段を有するニューラル・プロセッサ | |
| Bradley et al. | Design and implementation of large scale primal transshipment algorithms | |
| CA1232359A (en) | Probabilistic learning element | |
| US5781701A (en) | Neural network and method of using same | |
| Lubachevsky et al. | A chaotic asynchronous algorithm for computing the fixed point of a nonnegative matrix of unit spectral radius | |
| US5796925A (en) | Neural digital processor utilizing an approximation of a non-linear activation function | |
| JPH0713950A (ja) | 人工ニューロンおよびその使用方法 | |
| JP3461525B2 (ja) | データを正規化する手段を含むニューラル・プロセッサ | |
| Moonen et al. | A systolic array for SVD updating | |
| JPWO2019053835A1 (ja) | 演算回路、演算方法、およびプログラム | |
| Cardinaux et al. | Iteratively training look-up tables for network quantization | |
| Liu | Cloning template design of cellular neural networks for associative memories | |
| Van Huffel et al. | An efficient and reliable algorithm for computing the singular subspace of a matrix, associated with its smallest singular values | |
| EP0579341A2 (en) | Learning machine with multi-input single output circuits connected in hierarchical structure | |
| Gaylord et al. | Truth-table look-up processing: number representation, multilevel coding, and logical minimization | |
| EP0661645A2 (en) | Neural network | |
| JPH04229362A (ja) | 学習機械 | |
| Pan | Parallel complexity of computations with general and Toeplitz-like matrices filled with integers and extensions | |
| Vuchener et al. | Dynamic load-balancing with variable number of processors based on graph repartitioning | |
| JP7199283B2 (ja) | アクセラレータ装置 | |
| JPH0535773A (ja) | ベクトル除算方式とその装置 | |
| Huang et al. | Solving linear simultaneous equations by constraining learning neural networks | |
| Deville | Digital Neural Networks for High-Speed Divisions and Root Extractions |