JPH06215021A - 関数近似計算方法 - Google Patents
関数近似計算方法Info
- Publication number
- JPH06215021A JPH06215021A JP5002929A JP292993A JPH06215021A JP H06215021 A JPH06215021 A JP H06215021A JP 5002929 A JP5002929 A JP 5002929A JP 292993 A JP292993 A JP 292993A JP H06215021 A JPH06215021 A JP H06215021A
- Authority
- JP
- Japan
- Prior art keywords
- function
- approximate
- calculation
- approximation
- sqrt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Complex Calculations (AREA)
- Multi Processors (AREA)
Abstract
(57)【要約】
【目的】 本発明は、関数、例えば、ニューロコンピュ
ータに必要なシグモイド関数値の近似計算方法に関し、
初等関数などの値の近似値を、高速に計算し、SIMD型並
列ニューロコンピュータで使用できるようにする。 【構成】 双曲正接(tanh)関数のように、上下に有界
(±1)で、入力変数が±∞の関数の近似値を求めるの
に、u=1/sqrtなる演算を利用し、元の演算の範囲−∞
＜ｘ＜＋∞を−１＜ｕ＜＋１となるように正規化し、残
った誤差を、所定の近似式（例えば、チェビシェフ多項
式）で近似する２段階で近似計算を行う。
ータに必要なシグモイド関数値の近似計算方法に関し、
初等関数などの値の近似値を、高速に計算し、SIMD型並
列ニューロコンピュータで使用できるようにする。 【構成】 双曲正接(tanh)関数のように、上下に有界
(±1)で、入力変数が±∞の関数の近似値を求めるの
に、u=1/sqrtなる演算を利用し、元の演算の範囲−∞
＜ｘ＜＋∞を−１＜ｕ＜＋１となるように正規化し、残
った誤差を、所定の近似式（例えば、チェビシェフ多項
式）で近似する２段階で近似計算を行う。
Description
【０００１】
【産業上の利用分野】本発明は、例えば、ニューラルネ
ットワークを数値計算によってシミュレートする、所
謂、ニューロコンピュータに必要なシグモイド関数値の
近似計算方法に係り、更に、詳しくは、複数個のデータ
処理ユニットを同期的に用いてデータを処理する単一命
令、複数データ(SIMD 型) 並列ニューロコンピュータで
のシグモイド関数値の近似計算方法に関する。
ットワークを数値計算によってシミュレートする、所
謂、ニューロコンピュータに必要なシグモイド関数値の
近似計算方法に係り、更に、詳しくは、複数個のデータ
処理ユニットを同期的に用いてデータを処理する単一命
令、複数データ(SIMD 型) 並列ニューロコンピュータで
のシグモイド関数値の近似計算方法に関する。
【０００２】近年、電子計算機，或いは、ディジタル信
号処理装置等の計算機システムにおいて、データ処理の
適用分野の拡大に伴い、処理されるデータ量が膨大とな
り、特に、画像処理，或いは、音声処理等の分野では、
高速なデータ処理を行う必要がある。
号処理装置等の計算機システムにおいて、データ処理の
適用分野の拡大に伴い、処理されるデータ量が膨大とな
り、特に、画像処理，或いは、音声処理等の分野では、
高速なデータ処理を行う必要がある。
【０００３】その為、単一の計算機システムでは処理能
力に限界があることから、複数個のデータ処理ユニット
を用いてデータを処理する、所謂、データ処理の並列性
の利用が要求されている。
力に限界があることから、複数個のデータ処理ユニット
を用いてデータを処理する、所謂、データ処理の並列性
の利用が要求されている。
【０００４】このとき、計算の応用によっては、初等関
数などの近似値を並列に，且つ、高速に計算できること
が要求される。特に、上記ニューラルネットワークのシ
ミュレーションの中心となる演算は、行列とベクトルの
乗算、即ち、積和演算であるが、ベクトル長があまり大
きくない為 (つまり、ネットワークが、それほど大きく
ない) ため、上記積和演算の結果に対して通す必要のあ
るシクモイド関数の近似計算に要する時間も、全体の速
度性能に、かなり影響することから、ニューロコンピュ
ータに適したシグモイド関数の近似計算方法が必要とさ
れる。
数などの近似値を並列に，且つ、高速に計算できること
が要求される。特に、上記ニューラルネットワークのシ
ミュレーションの中心となる演算は、行列とベクトルの
乗算、即ち、積和演算であるが、ベクトル長があまり大
きくない為 (つまり、ネットワークが、それほど大きく
ない) ため、上記積和演算の結果に対して通す必要のあ
るシクモイド関数の近似計算に要する時間も、全体の速
度性能に、かなり影響することから、ニューロコンピュ
ータに適したシグモイド関数の近似計算方法が必要とさ
れる。
【０００５】
【従来の技術】図４, 図５は、従来の関数値の計算方法
を説明する図であり、図４(a) は、ニューラルネットワ
ークにおけるニューロ素子の概念を示し、図４(b) は、
上記ニューロ素子のシグモイド関数の値を計算する時の
従来の方法を示し、図５は、従来の関数近似計算方法に
おいて、入力変数を分割し、各分割された入力変数に対
して分岐条件で対処する方法を示した図であって、図５
(a) は条件分岐の例を示し、図５(b) は、条件分岐を１
プロセッサで行う場合を示し、図５(c) は、SIMD計算機
で行う場合を示している。
を説明する図であり、図４(a) は、ニューラルネットワ
ークにおけるニューロ素子の概念を示し、図４(b) は、
上記ニューロ素子のシグモイド関数の値を計算する時の
従来の方法を示し、図５は、従来の関数近似計算方法に
おいて、入力変数を分割し、各分割された入力変数に対
して分岐条件で対処する方法を示した図であって、図５
(a) は条件分岐の例を示し、図５(b) は、条件分岐を１
プロセッサで行う場合を示し、図５(c) は、SIMD計算機
で行う場合を示している。
【０００６】図４(a) に示したニューロ素子 10 をシミ
ュレートする場合、ΣＷji・Ｙi で示す積和演算を行っ
た後、その演算結果に対して、シグモイド関数を通す処
理となるが、このシグモイド関数をシミュレートすると
き、図４(b) に示したように、従来の方法では、入力変
数(u) の値の範囲を幾つかに分割し、各範囲毎に異なる
複数の近似式、例えば、 (イ) の部分では、例えば、y=
-1,(ロ) の部分では、y=u2,(ハ) の部分では、y=u,
(ニ) の部分では、y=ｅU ,(ホ) の部分では、y=+1とい
った近似式を用いるのが普通であった。
ュレートする場合、ΣＷji・Ｙi で示す積和演算を行っ
た後、その演算結果に対して、シグモイド関数を通す処
理となるが、このシグモイド関数をシミュレートすると
き、図４(b) に示したように、従来の方法では、入力変
数(u) の値の範囲を幾つかに分割し、各範囲毎に異なる
複数の近似式、例えば、 (イ) の部分では、例えば、y=
-1,(ロ) の部分では、y=u2,(ハ) の部分では、y=u,
(ニ) の部分では、y=ｅU ,(ホ) の部分では、y=+1とい
った近似式を用いるのが普通であった。
【０００７】これは、一つの近似式で変数値の取り得る
範囲を広くカバーしようとすると、関数値の近似精度が
悪化するとか、或いは、計算に要する時間が長くなると
いう弊害がある為である。
範囲を広くカバーしようとすると、関数値の近似精度が
悪化するとか、或いは、計算に要する時間が長くなると
いう弊害がある為である。
【０００８】
【発明が解決しようとする課題】従って、従来の方法で
は、入力変数のとる値の範囲が広いときには、入力変数
の値に応じた条件分岐｛図５(a) 参照｝の数を多くして
対処せざるを得なかった。
は、入力変数のとる値の範囲が広いときには、入力変数
の値に応じた条件分岐｛図５(a) 参照｝の数を多くして
対処せざるを得なかった。
【０００９】条件分岐を単一のプロセッサで実行する場
合には、図５(b) に示した処理となり、条件分岐の処理
自体には問題はないが、単一プロセッサの処理速度に限
界があるため、高速なデータ処理には向かないという問
題があった。
合には、図５(b) に示した処理となり、条件分岐の処理
自体には問題はないが、単一プロセッサの処理速度に限
界があるため、高速なデータ処理には向かないという問
題があった。
【００１０】そこで、前述のSIMD型並列計算機が必要と
なるが、そのSIMD型並列計算機で、上記条件分岐を実行
する場合、該SIMD型並列計算機では、その動作原理か
ら、入力変数に応じた条件分岐を直接的に実行すること
ができないので、図５(c) に示したように、命令の条件
付き実行、具体的には、NOP(無演算) 命令として実行す
ることになる。
なるが、そのSIMD型並列計算機で、上記条件分岐を実行
する場合、該SIMD型並列計算機では、その動作原理か
ら、入力変数に応じた条件分岐を直接的に実行すること
ができないので、図５(c) に示したように、命令の条件
付き実行、具体的には、NOP(無演算) 命令として実行す
ることになる。
【００１１】その為、上記SIMD型並列計算機で、シグモ
イド関数といった、非線型な関数の近似計算を行う場
合、NOP 命令の実行過程が多くなり、実行速度が低下す
るという問題があった。
イド関数といった、非線型な関数の近似計算を行う場
合、NOP 命令の実行過程が多くなり、実行速度が低下す
るという問題があった。
【００１２】本発明は上記従来の欠点に鑑み、条件分岐
が不要な、その結果として、SIMD型並列計算機におい
て、従来より高速に計算可能な、関数値の近似計算方法
を提供すること。特に、近年、乗算が高速な高集積度(V
LSI)プロセッサにおいて、除算と同程度の演算時間で計
算することができる、1/sqrtなる演算を利用して、上
記関数近似の高速化を図る方法を提供することを目的と
するものである。
が不要な、その結果として、SIMD型並列計算機におい
て、従来より高速に計算可能な、関数値の近似計算方法
を提供すること。特に、近年、乗算が高速な高集積度(V
LSI)プロセッサにおいて、除算と同程度の演算時間で計
算することができる、1/sqrtなる演算を利用して、上
記関数近似の高速化を図る方法を提供することを目的と
するものである。
【００１３】
【課題を解決するための手段】図１は、本発明の原理説
明図であり、図１(a) は、SIMD型並列計算機の概念図を
示しており、図１(b) は、上記SIMD型並列計算機で、シ
グモイド関数の近似計算を行う処理手順を示している。
上記の問題点は下記のように構成した関数近似方法によ
って解決される。
明図であり、図１(a) は、SIMD型並列計算機の概念図を
示しており、図１(b) は、上記SIMD型並列計算機で、シ
グモイド関数の近似計算を行う処理手順を示している。
上記の問題点は下記のように構成した関数近似方法によ
って解決される。
【００１４】(1) 関数の近似計算方法であって、上下に
有界 (±1)で、入力変数が±∞の関数の近似値を求める
のに、u=1/sqrtなる演算を利用し、元の変数の範囲−
∞＜ｘ＜＋∞を−１＜ｕ＜＋１となるように正規化し、
残った誤差を、所定の近似式、例えば、チェビシェフ近
似式で近似する２段階で近似計算を行うように構成す
る。
有界 (±1)で、入力変数が±∞の関数の近似値を求める
のに、u=1/sqrtなる演算を利用し、元の変数の範囲−
∞＜ｘ＜＋∞を−１＜ｕ＜＋１となるように正規化し、
残った誤差を、所定の近似式、例えば、チェビシェフ近
似式で近似する２段階で近似計算を行うように構成す
る。
【００１５】(2) 上記の関数の近似計算方法を用いて、
双曲正接関数(tanh 関数) を近似するように構成する。 (3) 上記の関数の近似計算方法であって、１段目の演算
は、対象関数が奇関数のときには、ｘ／sqrt(x2 ＋α2)
であり、対象関数が偶関数のときには、α／sqrt(x2 ＋
α2)とし、２段目の演算はチェビシェフ多項式展開で行
う。
双曲正接関数(tanh 関数) を近似するように構成する。 (3) 上記の関数の近似計算方法であって、１段目の演算
は、対象関数が奇関数のときには、ｘ／sqrt(x2 ＋α2)
であり、対象関数が偶関数のときには、α／sqrt(x2 ＋
α2)とし、２段目の演算はチェビシェフ多項式展開で行
う。
【００１６】(4) 上記の関数の近似計算を、単一命令、
複数データ(SIMD 型) 並列ニューロコンピュータで実行
し、各ニューロ素子のシグモイド関数の値とする。
複数データ(SIMD 型) 並列ニューロコンピュータで実行
し、各ニューロ素子のシグモイド関数の値とする。
【００１７】
【作用】即ち、本発明による関数近似計算方法において
は、図１(b) に示したように、例えば、tanh関数のよう
に、上下に有界で、入力変数の範囲が±∞の関数の近似
値を求める場合、先ず、tanh関数と似た形をしており、
積和演算が高速にできるプロセッサで、公知のニュート
ン・ラフソン法による逆数演算と同程度の処理時間でで
きる、u(x)＝ｘ／sqrt(x2+α2)を実行することで、元
の変数の範囲±∞を、−１＜ｕ＜＋１となるように正規
化し、残りの誤差を、例えば、チェビシェフ多項式で
近似し、結果として、２段階で、上記tanh関数の近似値
を得るようにしたものである。ここで、図１(b) に示さ
れているN は関数の近似精度に応じて定まる定数であ
り、ｃk (k=1,2, 〜,N) は、近似する関数に応じて定ま
る定数である。
は、図１(b) に示したように、例えば、tanh関数のよう
に、上下に有界で、入力変数の範囲が±∞の関数の近似
値を求める場合、先ず、tanh関数と似た形をしており、
積和演算が高速にできるプロセッサで、公知のニュート
ン・ラフソン法による逆数演算と同程度の処理時間でで
きる、u(x)＝ｘ／sqrt(x2+α2)を実行することで、元
の変数の範囲±∞を、−１＜ｕ＜＋１となるように正規
化し、残りの誤差を、例えば、チェビシェフ多項式で
近似し、結果として、２段階で、上記tanh関数の近似値
を得るようにしたものである。ここで、図１(b) に示さ
れているN は関数の近似精度に応じて定まる定数であ
り、ｃk (k=1,2, 〜,N) は、近似する関数に応じて定ま
る定数である。
【００１８】上記u(x)＝ｘ／sqrt(x2+α2)による近似方
法については、例えば、「教育出版株式会社刊，一松
信著“初等関数の数値計算",5-2 平方根,P 152〜P154,1
974.11.20 初版」に詳しいが、本発明においては、発明
者の知見に基づいて、上記近似式の内のαを、上記N が
なるべく小さくなるように、実験的に選択し、tanh関数
の近似値を高速に求めるようにしたものである。
法については、例えば、「教育出版株式会社刊，一松
信著“初等関数の数値計算",5-2 平方根,P 152〜P154,1
974.11.20 初版」に詳しいが、本発明においては、発明
者の知見に基づいて、上記近似式の内のαを、上記N が
なるべく小さくなるように、実験的に選択し、tanh関数
の近似値を高速に求めるようにしたものである。
【００１９】又、上記チェビシェフ多項式についても、
上記「教育出版株式会社刊，一松信著“初等関数の数値
計算",1-4 chebyshev 多項式,P 15 〜20」に詳しい。図
１(a) に示した SIMD 型並列計算機では、各データ処理
ユニット 1が、例えば、前述のニューロ素子 10 として
動作し、同期動作制御部 5から供給されるクロックに基
づいて、各データ処理ユニット 1で、並列に、上記積和
演算の一つの積和と、その積和演算の結果に対して、シ
グモイド関数を通す為のシグモイド関数の近似計算が行
われ、その計算結果を次のデータ処理ユニット 1に、転
送手段3で転送することで、ニューロコンピュータに必
要な積和演算と、該積和演算に対してシグモイド関数を
通す演算が行われ、当該SIMD型並列計算機が、ニューラ
ロコンピュータとして機能する。
上記「教育出版株式会社刊，一松信著“初等関数の数値
計算",1-4 chebyshev 多項式,P 15 〜20」に詳しい。図
１(a) に示した SIMD 型並列計算機では、各データ処理
ユニット 1が、例えば、前述のニューロ素子 10 として
動作し、同期動作制御部 5から供給されるクロックに基
づいて、各データ処理ユニット 1で、並列に、上記積和
演算の一つの積和と、その積和演算の結果に対して、シ
グモイド関数を通す為のシグモイド関数の近似計算が行
われ、その計算結果を次のデータ処理ユニット 1に、転
送手段3で転送することで、ニューロコンピュータに必
要な積和演算と、該積和演算に対してシグモイド関数を
通す演算が行われ、当該SIMD型並列計算機が、ニューラ
ロコンピュータとして機能する。
【００２０】上記のような近似計算方法を採用すること
により、近似式は、図１(b) に示したものとなり、従来
のように、入力変数の値に応じて、複数の近似式を使い
分ける必要がなくなり、結果として、条件分岐も不要と
なり、上記図１(a) に示した如き、SIMD型の並列ニュー
ロコンピュータにも適用できる効果が得られる。
により、近似式は、図１(b) に示したものとなり、従来
のように、入力変数の値に応じて、複数の近似式を使い
分ける必要がなくなり、結果として、条件分岐も不要と
なり、上記図１(a) に示した如き、SIMD型の並列ニュー
ロコンピュータにも適用できる効果が得られる。
【００２１】
【実施例】以下本発明の実施例を図面によって詳述す
る。前述の図１が、本発明の原理説明図であり、図２
は、本発明の一実施例の手順を計算式で示した図であ
り、図３は、本発明によるシグモイド関数近似方法を使
用したSIMD型並列計算機の構成例図である。
る。前述の図１が、本発明の原理説明図であり、図２
は、本発明の一実施例の手順を計算式で示した図であ
り、図３は、本発明によるシグモイド関数近似方法を使
用したSIMD型並列計算機の構成例図である。
【００２２】本発明においては、双曲正接(tanh)関数の
ように、上下に有界で、入力変数が±∞の関数の近似を
求めるのに、u=1/sqrtなる演算を利用し、元の演算の
範囲−∞＜ｘ＜＋∞を−１＜ｕ＜＋１となるように正規
化し、残った誤差を、所定の近似式（例えば、チェビシ
ェフ多項式）で近似する２段階で近似計算を行う手段
が、本発明を実施するのに必要な手段である。尚、全図
を通して同じ符号は同じ対象物を示している。
ように、上下に有界で、入力変数が±∞の関数の近似を
求めるのに、u=1/sqrtなる演算を利用し、元の演算の
範囲−∞＜ｘ＜＋∞を−１＜ｕ＜＋１となるように正規
化し、残った誤差を、所定の近似式（例えば、チェビシ
ェフ多項式）で近似する２段階で近似計算を行う手段
が、本発明を実施するのに必要な手段である。尚、全図
を通して同じ符号は同じ対象物を示している。
【００２３】以下、図１を参照しながら、図２，図３を
用いて、本発明による関数近似方法を説明する。本発明
による関数近似方法の関数として、本実施例において
は、例えば、ニューロコンピユータにおけるシグモイド
関数を取り上げ、類似の関数値を示す双曲正接(tanh)関
数を例にする。
用いて、本発明による関数近似方法を説明する。本発明
による関数近似方法の関数として、本実施例において
は、例えば、ニューロコンピユータにおけるシグモイド
関数を取り上げ、類似の関数値を示す双曲正接(tanh)関
数を例にする。
【００２４】以下、上記双曲正接(tanh)関数の近似式の
求め方を説明する。前述のように、上記双曲正接(tanh)
関数といった、上下に有界で、入力変数が±∞の奇関数
の近似を求める場合、公知のニュートン・ラフソン法に
よる逆数演算と同程度の処理時間でできる、u(x)＝ｘ／
sqrt(x2+α2)を使用する。｛図１(b) の処理ステップ 1
00参照｝ (1) 先ず、αの初期値として、α=1.0を与える。
求め方を説明する。前述のように、上記双曲正接(tanh)
関数といった、上下に有界で、入力変数が±∞の奇関数
の近似を求める場合、公知のニュートン・ラフソン法に
よる逆数演算と同程度の処理時間でできる、u(x)＝ｘ／
sqrt(x2+α2)を使用する。｛図１(b) の処理ステップ 1
00参照｝ (1) 先ず、αの初期値として、α=1.0を与える。
【００２５】(2) u(x)＝ｘ／sqrt(x2+α2)として、tanh
(x) のｕ(x) に対するチェビシェフ展開の係数 an を求
める。関数ｆ(x) が奇関数のとき、ｆ(u(x))を直接近似
するより、ｆ(u(x))/u(x) を近似する方が良い場合が多
いという記述が、前述の、「教育出版株式会社刊，一松
信著“初等関数の数値計算",1-6,最良近似関数の求め
方,P 26 〜27」にある。
(x) のｕ(x) に対するチェビシェフ展開の係数 an を求
める。関数ｆ(x) が奇関数のとき、ｆ(u(x))を直接近似
するより、ｆ(u(x))/u(x) を近似する方が良い場合が多
いという記述が、前述の、「教育出版株式会社刊，一松
信著“初等関数の数値計算",1-6,最良近似関数の求め
方,P 26 〜27」にある。
【００２６】従って、ここでは、上記の記述に従って、
tanh(x) ＝ｆ(u(x))/u(x) とし、同文献の「1-7 第１近
似多項式,2.chebyshev展開,P31〜P35 」に示されている
記述に基づいて、u(x)=cos (θ) と置き、図２(1) 式に
示したチェビシェフ展開の係数 an を求めると、図２
(2) 式で示したような、係数 an を持つｎ次チェビシェ
フ多項式に展開される。但し、正確には、ａ0 のみ1/2
倍する必要がある。｛図１(b) の処理ステップ 101参
照｝ 図２(1) 式における定積分は、周回積分であるので、公
知の台形公式 (即ち、区分求積法による) を用い、256
分点程度で十分な精度で、上記係数 an を求めることが
できる。従って、実際の計算には、図２(3) に示した式
を使用する。
tanh(x) ＝ｆ(u(x))/u(x) とし、同文献の「1-7 第１近
似多項式,2.chebyshev展開,P31〜P35 」に示されている
記述に基づいて、u(x)=cos (θ) と置き、図２(1) 式に
示したチェビシェフ展開の係数 an を求めると、図２
(2) 式で示したような、係数 an を持つｎ次チェビシェ
フ多項式に展開される。但し、正確には、ａ0 のみ1/2
倍する必要がある。｛図１(b) の処理ステップ 101参
照｝ 図２(1) 式における定積分は、周回積分であるので、公
知の台形公式 (即ち、区分求積法による) を用い、256
分点程度で十分な精度で、上記係数 an を求めることが
できる。従って、実際の計算には、図２(3) に示した式
を使用する。
【００２７】この係数は、前述の、「教育出版株式会社
刊，一松 信著“初等関数の数値計算",1-7 第１近似多
項式,2.chebyshev展開,P31〜P35 」に示されているチェ
ビシェフ展開の係数 a0 と、1/2 倍だけ違っているが、
これは、説明の便宜上、記述を簡単にする為である。
刊，一松 信著“初等関数の数値計算",1-7 第１近似多
項式,2.chebyshev展開,P31〜P35 」に示されているチェ
ビシェフ展開の係数 a0 と、1/2 倍だけ違っているが、
これは、説明の便宜上、記述を簡単にする為である。
【００２８】(3) ここで、上記チェビシェフ多項式の次
数を、適当な次数ｎで打ち切り、真の tanh(x)との誤差
を調べ、その誤差が十分小さくなければ、次数ｎを増や
して同じ近似計算を繰り返す。
数を、適当な次数ｎで打ち切り、真の tanh(x)との誤差
を調べ、その誤差が十分小さくなければ、次数ｎを増や
して同じ近似計算を繰り返す。
【００２９】(4) αの値を変更しながら、２分法で、な
るべくｎが小さくてすむαを探す。 (5) 上記係数 an は、チェビシェフ多項式の係数である
ので、このままでは、tanh(x) の近似値を求めるには不
便である。
るべくｎが小さくてすむαを探す。 (5) 上記係数 an は、チェビシェフ多項式の係数である
ので、このままでは、tanh(x) の近似値を求めるには不
便である。
【００３０】そこで、上記「教育出版株式会社刊，一松
信著“初等関数の数値計算",1-4chebyshev 多項しき,
P15」に記載されている漸化式｛図２ (4)式参照｝を利
用して、ｘの多項式の係数ｃn に変換するのが普通であ
る。
信著“初等関数の数値計算",1-4chebyshev 多項しき,
P15」に記載されている漸化式｛図２ (4)式参照｝を利
用して、ｘの多項式の係数ｃn に変換するのが普通であ
る。
【００３１】具体的には、上記漸化式を利用して、T0,
T1, T2, 〜を求めて得られるｘ1,ｘ 2,ｘ3,〜の係数ｃn
を求める。｛図１(b) の処理ステップ 101参照｝以下、
実際に、tanh(x) 関数を、絶対誤差 10 -5以下という条
件で、近似計算した例を述べる。
T1, T2, 〜を求めて得られるｘ1,ｘ 2,ｘ3,〜の係数ｃn
を求める。｛図１(b) の処理ステップ 101参照｝以下、
実際に、tanh(x) 関数を、絶対誤差 10 -5以下という条
件で、近似計算した例を述べる。
【００３２】(1) αの値については、数回の実験によっ
て、凡そα=2.6875 が適切であることが確認された。 (2) 上記チェビシェフ多項式の係数ａn については、 ａ0 ＝1.6077709291243E+0, ａ2 ＝-3.9140536920606E-1, ａ4 ＝1.1013507423454E-1, ａ6 ＝-2.8347040607695E-2, ・・・ などと求められる。但し、奇数次の係数は"0" である。
絶対誤差を、前述の 10 -5以下にするのに必要な項数
（n)は、数回の試行から"26"であった。
て、凡そα=2.6875 が適切であることが確認された。 (2) 上記チェビシェフ多項式の係数ａn については、 ａ0 ＝1.6077709291243E+0, ａ2 ＝-3.9140536920606E-1, ａ4 ＝1.1013507423454E-1, ａ6 ＝-2.8347040607695E-2, ・・・ などと求められる。但し、奇数次の係数は"0" である。
絶対誤差を、前述の 10 -5以下にするのに必要な項数
（n)は、数回の試行から"26"であった。
【００３３】上記チェビシェフ多項式の係数ａn を、f
(u(x)) の多項式の係数に変換した c n は、全体に、u
(x)が一つ掛かる (前述のように、計算の便宜上、u(x)
で割っていた為) ので、c1から始まり、 ｃ1 ＝2.6874999878100E+0, ｃ3 ＝−5.1265404805572E+0, ｃ5 ＝9.9950089990638E+0, ・・・・ ｃ27＝-4.7679818509205E+0, などと求めることができる。
(u(x)) の多項式の係数に変換した c n は、全体に、u
(x)が一つ掛かる (前述のように、計算の便宜上、u(x)
で割っていた為) ので、c1から始まり、 ｃ1 ＝2.6874999878100E+0, ｃ3 ＝−5.1265404805572E+0, ｃ5 ＝9.9950089990638E+0, ・・・・ ｃ27＝-4.7679818509205E+0, などと求めることができる。
【００３４】以上の計算により、tanh(x) の近似式は、
図２の(5) 式のように求めることができる。これが、ta
nh(x) の近似多項式である。本式から明らかなように、
関数の入力変数の値の範囲によって、異なる近似式を必
要としないので、SIMD型のニューロコンピュータで使用
するのに適した近似式であることが分かる。
図２の(5) 式のように求めることができる。これが、ta
nh(x) の近似多項式である。本式から明らかなように、
関数の入力変数の値の範囲によって、異なる近似式を必
要としないので、SIMD型のニューロコンピュータで使用
するのに適した近似式であることが分かる。
【００３５】次に、上記近似式をシグモイド関数に適用
したニューロコンピュータの構成例について、図３で説
明する。ニューロコンピュータにおいては、その処理
中、ニューロ素子の持つ非線形性をシミュレートするた
めに、シグモイド（Ｓ字状）関数と総称される非線形関
数の値を計算する必要があるが、その代表的なものとし
て、上記近似計算の例を示した双曲正接(tanh)関数があ
る。
したニューロコンピュータの構成例について、図３で説
明する。ニューロコンピュータにおいては、その処理
中、ニューロ素子の持つ非線形性をシミュレートするた
めに、シグモイド（Ｓ字状）関数と総称される非線形関
数の値を計算する必要があるが、その代表的なものとし
て、上記近似計算の例を示した双曲正接(tanh)関数があ
る。
【００３６】図３において、データ処理ユニット 1は、
例えば、ディジタルシグナルプロセッサ(DSP) で構成さ
れており、トレイ 2は、データの蓄積と、隣りのトレイ
2へのデータ転送を、転送手段 3で転送する機能を備え
ている。
例えば、ディジタルシグナルプロセッサ(DSP) で構成さ
れており、トレイ 2は、データの蓄積と、隣りのトレイ
2へのデータ転送を、転送手段 3で転送する機能を備え
ている。
【００３７】記憶装置(RAM) 4 は、本ニューロコンピュ
ータの教師信号を、上記データ処理ユニット 1に供給す
ると共に、図示されていないホストへ、演算出力結果を
転送する為の一時記憶回路(RAM) を備えている。
ータの教師信号を、上記データ処理ユニット 1に供給す
ると共に、図示されていないホストへ、演算出力結果を
転送する為の一時記憶回路(RAM) を備えている。
【００３８】同期手段 5は、上記データ処理ユニット
1, 及び、トレイ 2の同期動作を制御する手段であり、5
aはクロック発生回路で、例えば、水晶発振回路で構成
され、5bは上記データ処理ユニット 1, 及び、トレイ 2
へのクロックの分配を行う回路で、例えば、バッファ回
路で構成されている。
1, 及び、トレイ 2の同期動作を制御する手段であり、5
aはクロック発生回路で、例えば、水晶発振回路で構成
され、5bは上記データ処理ユニット 1, 及び、トレイ 2
へのクロックの分配を行う回路で、例えば、バッファ回
路で構成されている。
【００３９】101 が、本発明の関数近似方法によって、
例えば、tanh(x) 関数の近似計算を行うシグモイド関数
ユニットであり、 103は、上記ニューロコンピュータで
学習したときの学習の収束を判定し、システムを停止す
るシステム収束判定回路である。
例えば、tanh(x) 関数の近似計算を行うシグモイド関数
ユニットであり、 103は、上記ニューロコンピュータで
学習したときの学習の収束を判定し、システムを停止す
るシステム収束判定回路である。
【００４０】先ず、最初のフェーズでは、トレイ 2は入
力層として機能し、データ処理ユニット 1が中間層とし
て機能し、各トレイ 2において、前述の図４(a) で示し
たニューロ素子 10 で演算される Wji・Yi (ここで、Yi
は入力データ) の演算を行い、上記転送手段 3で転送し
て、各データ処理ユニット 1に送出し、それぞれのデー
タ処理ユニット 1で、上記ニューロ素子 10 で必要とす
るΣWji ・Yiなる積和演算を行い、上記本発明による近
似計算で得られているシグモイド関数ユニット101を通
して、中間層出力 yj を各トレイ 2に転送する。
力層として機能し、データ処理ユニット 1が中間層とし
て機能し、各トレイ 2において、前述の図４(a) で示し
たニューロ素子 10 で演算される Wji・Yi (ここで、Yi
は入力データ) の演算を行い、上記転送手段 3で転送し
て、各データ処理ユニット 1に送出し、それぞれのデー
タ処理ユニット 1で、上記ニューロ素子 10 で必要とす
るΣWji ・Yiなる積和演算を行い、上記本発明による近
似計算で得られているシグモイド関数ユニット101を通
して、中間層出力 yj を各トレイ 2に転送する。
【００４１】従って、次のフェーズでは、各トレイ 2が
中間層として機能し、データ処理ユニット 1が出力層と
して機能し、同じ演算が行われる。このとき、記憶装置
(RAM) 4 の一時記憶回路(RAM) に記憶されている教師信
号と、出力結果とが比較され、誤差が小さくなるよう
に、各ニューロ素子 10 の重みWji を更新する処理を、
各データ処理ユニット 1で行う。
中間層として機能し、データ処理ユニット 1が出力層と
して機能し、同じ演算が行われる。このとき、記憶装置
(RAM) 4 の一時記憶回路(RAM) に記憶されている教師信
号と、出力結果とが比較され、誤差が小さくなるよう
に、各ニューロ素子 10 の重みWji を更新する処理を、
各データ処理ユニット 1で行う。
【００４２】上記２つのフェーズの処理を繰り返すこと
により、学習が行われ、学習結果は、上記システム収束
判定回路 103で収束の判定が行われ、最早、誤差が小さ
くならないの認識されたときには、本システムでの学習
動作を停止させる。
により、学習が行われ、学習結果は、上記システム収束
判定回路 103で収束の判定が行われ、最早、誤差が小さ
くならないの認識されたときには、本システムでの学習
動作を停止させる。
【００４３】このとき、上記シグモイド関数ユニット 1
01において、シグモイド関数がシミュレートされるわけ
であるが、このシミュレート速度が、従来の方法では、
上記ΣWji ・Yiなる積和演算に比較して処理時間が長か
ったため、全体としてシミュレート速度が遅くなるとい
う問題があったが、本発明による関数近似方法を採用す
ることにより、高速にシグモイド関数の近似計算ができ
るので、本ニューロコンピュータのシミュレート速度を
向上させることができるようになる。
01において、シグモイド関数がシミュレートされるわけ
であるが、このシミュレート速度が、従来の方法では、
上記ΣWji ・Yiなる積和演算に比較して処理時間が長か
ったため、全体としてシミュレート速度が遅くなるとい
う問題があったが、本発明による関数近似方法を採用す
ることにより、高速にシグモイド関数の近似計算ができ
るので、本ニューロコンピュータのシミュレート速度を
向上させることができるようになる。
【００４４】
【発明の効果】以上、詳細に説明したように、本発明の
関数近似計算方法によれば、条件分岐が不要で、従来方
法より短い時間で関数の近似値を計算することができる
効果を奏し、より高速なSIMD型の並列ニューロコンピュ
ータを実現することができ、かかるSIMD型の並列計算機
システムの性能の向上に寄与するところが大きい。
関数近似計算方法によれば、条件分岐が不要で、従来方
法より短い時間で関数の近似値を計算することができる
効果を奏し、より高速なSIMD型の並列ニューロコンピュ
ータを実現することができ、かかるSIMD型の並列計算機
システムの性能の向上に寄与するところが大きい。
【００４５】尚、本発明の関数近似計算方法の効果は、
必ずしも、上記SIMD型並列計算機システムに限定される
ものではなく、条件分岐の処理が他の処理に比較して相
対的に長い時間を必要とするシステムであれば、同様に
有効である。
必ずしも、上記SIMD型並列計算機システムに限定される
ものではなく、条件分岐の処理が他の処理に比較して相
対的に長い時間を必要とするシステムであれば、同様に
有効である。
【図１】本発明の原理説明図
【図２】本発明の一実施例の手順を計算式で示した図
【図３】本発明によるシグモイド関数近似方法を使用し
たSIMD型並列計算機の構成例図
たSIMD型並列計算機の構成例図
【図４】従来の関数値の計算方法を説明する図（その
１）
１）
【図５】従来の関数値の計算方法を説明する図（その
２）
２）
1 データ処理ユニット 101 シグモイド
関数ユニット 103 学習の収束判定手段 102 ニューロコンピユータ 10 ニューロ素
子 2 トレイ 3 転送手段 4 記憶装置(R
AM) 5 同期動作制御部 5a クロック発
生回路 5b クロック分配回路 Yi 入力データ Wji 重み係数 Yj 出力 100,101 処理ステップ
関数ユニット 103 学習の収束判定手段 102 ニューロコンピユータ 10 ニューロ素
子 2 トレイ 3 転送手段 4 記憶装置(R
AM) 5 同期動作制御部 5a クロック発
生回路 5b クロック分配回路 Yi 入力データ Wji 重み係数 Yj 出力 100,101 処理ステップ
Claims (4)
- 【請求項１】関数の近似計算方法であって、上下に有界
(±1)で、入力変数が±∞の関数の近似値を求めるの
に、1/sqrt（）なる演算を利用し、元の変数の範囲−
∞＜ｘ＜＋∞を−１＜ｕ＜＋１となるように正規化し、
残った誤差を、所定の近似式（）で近似する２段階で
近似計算を行うことを特徴とする関数近似計算方法。 - 【請求項２】上記の関数の近似計算方法を用いて、双曲
正接関数(tanh 関数) を近似することを特徴とする請求
項１に記載の関数近似計算方法。 - 【請求項３】上記の関数の近似計算方法であって、１段
目の演算は、対象関数が奇関数のときには、ｘ／sqrt(x
2 ＋α2)であり、対象関数が偶関数のときには、α／sq
rt(x 2 ＋α2)とし、２段目の演算はチェビシェフ多項式
展開であることを特徴とする請求項１に記載の関数近似
計算方法。 - 【請求項４】上記の関数の近似計算を、単一命令、複数
データ(SIMD 型) 並列ニューロコンピュータで実行する
ことを特徴とする請求項１，２，３に記載の関数近似計
算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5002929A JPH06215021A (ja) | 1993-01-12 | 1993-01-12 | 関数近似計算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5002929A JPH06215021A (ja) | 1993-01-12 | 1993-01-12 | 関数近似計算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06215021A true JPH06215021A (ja) | 1994-08-05 |
Family
ID=11543040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5002929A Withdrawn JPH06215021A (ja) | 1993-01-12 | 1993-01-12 | 関数近似計算方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06215021A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018100920A1 (ja) * | 2016-12-01 | 2018-06-07 | ソニーセミコンダクタソリューションズ株式会社 | 演算装置、演算方法及びコンピュータプログラム |
| EP3671572A1 (en) | 2018-12-21 | 2020-06-24 | Fujitsu Limited | Information processing apparatus, neural network program, and processing method for neural network |
| US11010135B2 (en) | 2017-12-06 | 2021-05-18 | Fujitsu Limited | Arithmetic processing device and control method of arithmetic processing device |
-
1993
- 1993-01-12 JP JP5002929A patent/JPH06215021A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018100920A1 (ja) * | 2016-12-01 | 2018-06-07 | ソニーセミコンダクタソリューションズ株式会社 | 演算装置、演算方法及びコンピュータプログラム |
| US11010135B2 (en) | 2017-12-06 | 2021-05-18 | Fujitsu Limited | Arithmetic processing device and control method of arithmetic processing device |
| EP3671572A1 (en) | 2018-12-21 | 2020-06-24 | Fujitsu Limited | Information processing apparatus, neural network program, and processing method for neural network |
| JP2020101991A (ja) * | 2018-12-21 | 2020-07-02 | 富士通株式会社 | 情報処理装置、ニューラルネットワークプログラム、ニューラルネットワークの処理方法 |
| US11475284B2 (en) | 2018-12-21 | 2022-10-18 | Fujitsu Limited | Information processing apparatus, neural network program, and processing method for neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3575952B1 (en) | Arithmetic processing device, information processing device, method and program | |
| KR102544275B1 (ko) | 콘볼루션 신경망 트레이닝 실행용 장치와 방법 | |
| US5574827A (en) | Method of operating a neural network | |
| KR102148110B1 (ko) | 계산 장치 및 방법 | |
| JPH06195322A (ja) | 汎用型ニューロコンピュータとして用いられる情報処理装置 | |
| JPH07219919A (ja) | 数値演算処理装置 | |
| JP2011501310A (ja) | 算術演算のためにマグニチュード検出を実行するための装置および方法 | |
| JPH0784975A (ja) | 情報処理装置および学習演算処理方法 | |
| US11551087B2 (en) | Information processor, information processing method, and storage medium | |
| JPH06215021A (ja) | 関数近似計算方法 | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| JP2020067897A (ja) | 演算処理装置、学習プログラム及び学習方法 | |
| JP7251416B2 (ja) | 情報処理プログラムおよび情報処理方法 | |
| CN113869517A (zh) | 一种基于深度学习模型的推理方法 | |
| Wisayataksin et al. | A Programmable Artificial Neural Network Coprocessor for Handwritten Digit Recognition | |
| CN114692865A (zh) | 一种神经网络量化训练方法、装置及相关产品 | |
| JP2806262B2 (ja) | マルチプロセッサシステムのプロセス割当方法 | |
| JPH04364525A (ja) | 並列演算装置 | |
| US20240211211A1 (en) | Mac apparatus using floating point unit and control method thereof | |
| JPH0535773A (ja) | ベクトル除算方式とその装置 | |
| WO2021084717A1 (ja) | 情報処理回路および情報処理回路の設計方法 | |
| JPH04264666A (ja) | 人工ニューラル・ネットワークにおけるデジタル処理エレメント | |
| JPS59174974A (ja) | オ−バ−フロ−処理方法 | |
| US5958001A (en) | Output-processing circuit for a neural network and method of using same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20000404 |