JPWO2018034163A1 - 積和演算装置 - Google Patents

Abstract

積和演算装置１０において、アナログ回路１１で、Ｎ＋個の対となる電気信号及び正の荷重の各値に応じた大きさの電荷を第１貯留手段１９に保持し、（Ｎ−Ｎ＋）個の対となる電気信号及び負の荷重の絶対値の各値に応じた大きさの電荷を第２貯留手段２７に保持し、Ｎ＋個の電気信号の値それぞれに対応した正の荷重をそれぞれ乗算して求めたＮ＋個の乗算値の和を、第１貯留手段１９に保持された電圧が第１閾値に達したのを検出して算出し、（Ｎ−Ｎ＋）個の電気信号の値それぞれに対応した負の荷重の絶対値をそれぞれ乗算して求めた（Ｎ−Ｎ＋）個の乗算値の和を、第２貯留手段２７に保持された電圧が第２閾値に達したのを検出して算出し、Ｎ＋個の乗算値の和から（Ｎ−Ｎ＋）個の乗算値の和を減算してＮ個の乗算値の和を得る。

Description

本発明は、積和演算を行う積和演算装置に関する。

積和演算は、複数の入力値それぞれに荷重（重み）を付けて加算する演算であり、例えばニューラルネットワークによって画像や音声を認識するために利用される。積和演算処理には、多層パーセプトロン型のニューラルネットワークモデルを用いることができる。当該処理は、汎用のデジタル計算機や、デジタル方式の専用集積回路によってなすことが可能であり、デジタル方式の専用集積回路を利用した具体例が非特許文献１に記載されている。非特許文献１に記載の例は、ニューラルネットワークの１つの方式であるスパイキングニューロンモデルを利用したものである。スパイキングニューロンモデルによる積和演算については非特許文献２に記載されている。

ここで、積和演算処理の低消費電力化の観点においては、アナログ方式の集積回路がデジタル方式の集積回路に比べて好適であると考えられている。生物（究極的には人）の脳と同等の集積度及び消費電力の実現のために、アナログ方式の集積回路の採用が研究されており、その内容が非特許文献３に記載されている。

Ｐ．Ａ．Ｍｅｒｏｌｌａ ｅｔ ａｌ．，"Ａ ｍｉｌｌｉｏｎ ｓｐｉｋｉｎｇ−ｎｅｕｒｏｎ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｗｉｔｈ ａ ｓｃａｌａｂｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ ａｎｄ ｉｎｔｅｒｆａｃｅ，" Ｓｃｉｅｎｃｅ，Ｖｏｌ．３４５，Ｎｏ．６１７９，ｐｐ．６６８−６７３，２０１４ Ｗ．Ｍａａｓｓ、"Ｆａｓｔ ｓｉｇｍｏｉｄａｌ ｎｅｔｗｏｒｋｓ ｖｉａ ｓｐｉｋｉｎｇ ｎｅｕｒｏｎｓ，"Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，ｖｏｌ．９，ｐｐ．２７９−３０４，１９９７ Ｔ．Ｔｏｈａｒａ ｅｔ ａｌ．，"Ｓｉｌｉｃｏｎ ｎａｎｏｄｉｓｋ ａｒｒａｙ ｗｉｔｈ ａ ｆｉｎ ｆｉｅｌｄ−ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ ｆｏｒ ｔｉｍｅ−ｄｏｍａｉｎ ｗｅｉｇｈｔｅｄ ｓｕｍ ｃａｌｃｕｌａｔｉｏｎ ｔｏｗａｒｄ ｍａｓｓｉｖｅｌｙ ｐａｒａｌｌｅｌ ｓｐｉｋｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，"Ａｐｐｌ．Ｐｈｙｓ．Ｅｘｐｒｅｓｓ，Ｖｏｌ．９，ｐｐ．０３４２０１−１−４，２０１６

しかしながら、引用文献２、３では、正の荷重と負の荷重が混在する積和演算の処理について明らかにされておらず、正の荷重と負の荷重が存在する場合に、どのようにアナログ方式の集積回路を実装すればよいかが不明であるという課題があった。
本発明は、かかる事情に鑑みてなされたもので、正の荷重と負の荷重が混在する積和演算の処理をアナログ方式によって行うことが可能な積和演算装置を提供することを目的とする。

前記目的に沿う本発明に係る積和演算装置は、与えられるＮ個の電気信号それぞれに荷重を対応させ、各対となる該電気信号と該荷重の各値をそれぞれ乗算して得たＮ個の乗算値の和を導出する一連の処理をアナログ回路で行う積和演算装置において、前記アナログ回路は、所定の期間Ｔ１内に与えられるＮ^＋個の電気信号にそれぞれ正の荷重を対応させ、対となる該電気信号及び該正の荷重の各値に応じた大きさの電荷をそれぞれ出力するＮ^＋個の第１出力手段と、前記Ｎ^＋個の第１出力手段が並列接続され、該Ｎ^＋個の第１出力手段それぞれから出力された電荷を蓄える第１貯留手段と、前記期間Ｔ１内に与えられる（Ｎ−Ｎ^＋）個の電気信号にそれぞれ負の荷重の絶対値を対応させ、対となる該電気信号及び該負の荷重の絶対値の各値に応じた大きさの電荷をそれぞれ出力する（Ｎ−Ｎ^＋）個の第２出力手段と、前記（Ｎ−Ｎ^＋）個の第２出力手段が並列接続され、該（Ｎ−Ｎ^＋）個の第２出力手段それぞれから出力された電荷を蓄える第２貯留手段と、前記Ｎ^＋個の電気信号の値にそれぞれに対応した前記正の荷重をそれぞれ乗算して求めたＮ^＋個の乗算値の和である第１積和値を、前記第１貯留手段に保持された電圧が予め定められた第１閾値に達したのを検出して算出し、前記（Ｎ−Ｎ^＋）個の電気信号の値にそれぞれに対応した前記負の荷重の絶対値をそれぞれ乗算して求めた（Ｎ−Ｎ^＋）個の乗算値の和である第２積和値を、前記第２貯留手段に保持された電圧が予め定められた第２閾値に達したのを検出して算出し、前記第１積和値から前記第２積和値を減算した前記Ｎ個の乗算値の和を得る積和導出手段とを備え、前記第１閾値を、前記Ｎ^＋個の正の荷重の総和と前記期間Ｔ１の長さの積に比例した大きさとし、前記第２閾値を、前記（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和と前記期間Ｔ１の長さの積に比例した大きさとして、前記第１積和値の導出及び前記第２積和値の導出を、前記期間Ｔ１の後で該期間Ｔ１と同じ長さの期間Ｔ２内で行う。但し、Ｎは２以上の自然数であり、Ｎ^＋はＮ以下の自然数である。

本発明に係る積和演算装置において、値０の仮想電気信号に対応し、前記Ｎ^＋個の正の荷重の総和と前記（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和の差に−１を乗算した数のダミー荷重を、該Ｎ^＋個の正の荷重の総和又は該（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和で小さい方に追加して、前記Ｎ^＋個の正の荷重の総和と前記（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和を等しくし、前記第１貯留手段に保持された電圧が前記第１閾値に達した第１タイミングと前記第２貯留手段に保持された電圧が前記第２閾値に達した第２タイミングの差を基に前記Ｎ個の乗算値の和を求めるのが好ましい。

本発明に係る積和演算装置において、複数の前記アナログ回路がスイッチ機構を介して階層的に接続され、前記スイッチ機構は、前記第１タイミングが前記第２タイミングに等しい、又は、前記第１タイミングが前記第２タイミングより早い際に、下位層の前記アナログ回路が求めた前記Ｎ個の乗算値の和を上位層の前記アナログ回路に送り、前記第１タイミングが前記第２タイミングより遅い際に、０の値を上位層の前記アナログ回路に送るのが好ましい。

本発明に係る積和演算装置は、アナログ回路が、所定の期間Ｔ１内に与えられるＮ^＋個の電気信号にそれぞれ正の荷重を対応させ、対となる電気信号及び正の荷重の各値に応じた大きさの電荷をそれぞれ出力するＮ^＋個の第１出力手段と、Ｎ^＋個の第１出力手段それぞれから出力される電荷を蓄える第１貯留手段と、期間Ｔ１内に与えられる（Ｎ−Ｎ^＋）個の電気信号にそれぞれ負の荷重の絶対値を対応させ、対となる電気信号及び負の荷重の絶対値の各値に応じた大きさの電荷をそれぞれ出力する（Ｎ−Ｎ^＋）個の第２出力手段と、（Ｎ−Ｎ^＋）個の第２出力手段それぞれから出力される電荷を蓄える第２貯留手段と、Ｎ^＋個の電気信号の値にそれぞれに対応した正の荷重をそれぞれ乗算して求めたＮ^＋個の乗算値の和である第１積和値を、第１貯留手段に保持された電圧が第１閾値に達したのを検出して算出し、（Ｎ−Ｎ^＋）個の電気信号の値にそれぞれに対応した負の荷重の絶対値をそれぞれ乗算して求めた（Ｎ−Ｎ^＋）個の乗算値の和である第２積和値を、第２貯留手段に保持された電圧が第２閾値に達したのを検出して算出し、第１積和値から第２積和値を減算したＮ個の乗算値の和を得る積和導出手段とを備えるので、正の荷重と負の荷重が混在する積和演算の処理をアナログ方式によって行うことが可能である。また、第１積和値の導出及び第２積和値の導出を、期間Ｔ１の後で期間Ｔ１と同じ長さの期間Ｔ２内で行うことができ、アナログ回路を簡素にすることが可能である。また、正と負の荷重に関する積和演算をそれぞれ同型の回路で独立に実行することから、一方向の電荷移動のみとなり、回路動作を低消費電力にすることができる。

（Ａ）、（Ｂ）はそれぞれ、本発明の第１の実施例に係る積和演算装置が備えるアナログ回路の説明図、及び、アナログ回路による算出対象値の算出タイミングを示す説明図である。 同積和演算装置を示す説明図である。 アナログ回路の参考例を示す説明図である。 同積和演算装置が備えるアナログ回路の回路図である。 演算部の変形例の説明図である。 同積和演算装置が有する演算部の説明図である。 （Ａ）、（Ｂ）、（Ｃ）はそれぞれ、同積和演算装置が有するアナログ回路、アナログ回路の第１の変形例及びアナログ回路の第２の変形例を示す回路図である。 本発明の第２の実施例に係る積和演算装置の説明図である。 ＲｅＬＵ関数回路の説明図である。 シミュレーションに適用された荷重及び電気信号を示す説明図である。 ダミー荷重が不要な回路の説明図である。 抵抗を切替スイッチで切り替える回路の説明図である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施例につき説明し、本発明の理解に供する。
図１（Ａ）、（Ｂ）、図２に示すように、本発明の第１の実施例に係る積和演算装置１０は、各アナログ回路１１に対して与えられるＮ個の電気信号Ｉ_ｉそれぞれに荷重（重み）ｗ_ｉを対応させ、各対となる電気信号Ｉ_ｉと荷重ｗ_ｉの各値を乗算して得たＮ個の乗算値の和を導出する一連の処理をアナログ回路１１で行う装置である。但し、Ｎは２以上の自然数であり、ｉはＮ以下の自然数（ｉ＝１、２、・・・、Ｎ）である。以下、これらについて詳細に説明する。

電気信号Ｉ_ｉ（以下、単に「電気信号」として示す）が表わす値をｘ_ｉとし、所定の期間Ｔ１内にＮ個の電気信号（本実施例ではパルス信号）が１つのアナログ回路１１に与えられるとして、アナログ回路１１の算出対象値（即ち、Ｎ個の乗算値の和）は以下のように示される。

積和演算装置１０は、図２に示すように、複数の階層それぞれに複数のアナログ回路１１が設けられた構造を具備し、最下位の層の複数のアナログ回路１１はそれぞれ、複数の入力部１２から与えられるＮ個（複数）の電気信号（本実施例ではパルス信号）が表わす値ｘ_ｉ及び各電気信号に適用する荷重ｗ_ｉを基に算出対象値を求め、その算出対象値を表わす電気信号を上位層のアナログ回路１１に送る。

上位層のアナログ回路１１は、最下位層（即ち、下位層）の複数のアナログ回路１１から送られた電気信号の値にそれぞれ荷重ｗ_ｉを対応させて算出対象値を求め、その算出対象値を表わす電気信号を更なる上位層にあるアナログ回路１１に送る。本実施例では、積和演算装置１０がニューラルネットワークに適用可能に設計されており、下位層のアナログ回路１１で求めた算出対象値を基に上位層のアナログ回路１１で算出対象値を求めるという処理を複数回行って、例えば、画像の認識等を行う。

先ず、アナログ回路１１と基本的に同じ処理を行って算出対象値を求める参考例に係るアナログ回路１１ａの構成及びアナログ回路１１ａが行う処理について、電気信号が表わす値ｘ_ｉが０以上１以下の変数であるとして説明する。なお、荷重ｗ_ｉには正の値である正の荷重ｗｉ^＋と負の値である負の荷重ｗｉ⁻が存在するが（それらは独立に計算するので）、アナログ回路１１ａでは、荷重ｗ_ｉに正の荷重ｗｉ^＋と負の荷重ｗｉ⁻の区別がないものとして扱う。

アナログ回路１１ａは、図３に示すように、期間Ｔ１内に与えられるＮ個の電気信号にそれぞれ荷重ｗｉを対応させ、各対となる電気信号及び荷重ｗｉの各値に応じた大きさの電荷をそれぞれ出力するＮ個の出力手段１３と、Ｎ個の出力手段１３が並列接続され、Ｎ個の出力手段１３それぞれから出力された電荷を蓄える貯留手段１４を備えている。

各出力手段１３は、電気信号が与えられる入力端子１５、入力端子１５に直列接続された抵抗１６及び抵抗１６に直列接続されたダイオード１７を有している。各出力手段１３の荷重ｗｉの大きさは、各抵抗１６の抵抗値によって決めることができる。
各出力手段１３には、入力端子１５に期間Ｔ１内の異なるタイミングで異なる大きさの電気信号が与えられる。

期間Ｔ１の長さをＴ_ｉｎとし、出力手段１３の入力端子１５に電気信号が与えられるタイミングをｔ_ｉとして、アナログ回路１１ａにおいては、以下の式１を用いて、入力端子１５に与えられる電気信号が表わす値ｘ_ｉが、図１（Ｂ）に示すように、電気信号が与えられるタイミングｔ_ｉに変換される。

そして、電気信号が与えられたタイミングｔ_ｉから発生し、時間ｔの経過に比例して増加あるいは減少する波形を応答波形Ｗとすると（図１（Ｂ）参照）、各出力手段１３から貯留手段１４に供給される電荷量Ｐ_ｉ（ｔ）は、応答波形Ｗの大きさで表わすことができる。応答波形Ｗの時間ｔの経過に対する増減の傾きをｋ_ｉとすると、荷重ｗｉは、以下の式２よりｋ_ｉに変換できる。

なお、λは正の定数である。
ここで、図１（Ｂ）に示すように、全ての応答波形Ｗを足し合わした波形を合成波形ＴＷとすると、合成波形ＴＷの大きさはＰ_１（ｔ）、Ｐ_２（ｔ）、Ｐ_３（ｔ）、・・・、Ｐ_Ｎ（ｔ）の総和であり、これは貯留手段１４に蓄えられている電荷によって生じる電圧に等しい。合成波形ＴＷの大きさ、即ち貯留手段１４に保持されている電圧をＶ_Ｎ（ｔ）とし、Ｖ_Ｎ（ｔ）が予め定められた閾値（その閾値の大きさをθとする）に達した際に、貯留手段１４に保持されていた電圧に相当するパルス信号が出力されるとし、Ｖ_Ｎ（ｔ）が閾値θに達するタイミングをｔ_νとすると、以下の式３が得られる。

そして、βを荷重ｗｉの総和とすると、βは以下の式４で表わされる。

式１〜式４から、アナログ回路１１ａの算出対象値は以下の式５で表わされる。

ここで、荷重ｗｉが全て正の値であると仮定すると、全ての入力端子１５に与えられる電気信号が表わす値ｘ_ｉが最小値０のとき、式５の左辺は０となるので、ｔ_νのタイミングは最も遅くなり、そのタイミングｔ_ν ^ｍｉｎは、以下の式６で表わされる。

式５の左辺が０であるとは、貯留手段１４に保持されていた電圧に相当する出力タイミングが最も遅いことを意味する。
一方、全ての入力端子１５に与えられる電気信号が表わす値ｘ_ｉが最大値１のとき、式５の左辺はβとなるので、ｔ_νのタイミングは最も早くなり、そのタイミングｔ_ν ^ｍａｘは、以下の式７で表わされる。

式５の左辺がβであるとは、貯留手段１４に蓄えられていた電荷量に相当する出力タイミングが最も早いことを意味するので、式６、式７より、貯留手段１４に保持されていた電圧に相当するパルス信号が出力される期間Ｔ２は、［ｔ_ν ^ｍａｘ、ｔ_ν ^ｍｉｎ］であり、期間Ｔ２の時間長Ｔ_νは以下の式８で与えられる。

従って、貯留手段１４に保持されていた電圧に相当するパルス信号が出力される期間Ｔ２の時間長Ｔ_νは、各出力手段１３に電気信号が与えられる期間Ｔ１の時間長Ｔ_ｉｎと等しい。

各出力手段１３に与えられた電気信号の全てを、アナログ回路１１ａの算出対象値に反映させるには、期間Ｔ１以降に期間Ｔ２が存在している必要があり、θが適切な値であることを要する。そのためには、以下の式９に示す条件が必要である。

式９は、式７より、以下の式１０に置き換えることができる。

ここで、微小量のε（＞０）を定義すると、閾値θはεを用いて以下の式１１で表現できる。

式１１より、閾値θを荷重ｗｉの総和βと期間Ｔ１の長さＴ_ｉｎの積に比例した大きさとすることを要する。

また、式６及び式１１から以下の式１２が得られ、式７及び式１１から以下の式１３が得られる。

よって、期間Ｔ２の時間範囲は、式１２及び式１３で表わすことができる。

次に、荷重ｗｉを正の荷重ｗｉ^＋及び負の荷重ｗｉ⁻で区別して算出対象値を求めるアナログ回路１１について説明する。
アナログ回路１１は、期間Ｔ１内に与えられるＮ個の電気信号に対し、Ｎ^＋個（Ｎ^＋はＮ以下の自然数）の電気信号にそれぞれ正の荷重ｗｉ^＋を対応させ、（Ｎ−Ｎ^＋）個の電気信号にそれぞれ負の荷重ｗｉ⁻の絶対値を対応させる。

アナログ回路１１は、図４に示すように、期間Ｔ１内に与えられるＮ^＋個の電気信号について、対となる電気信号及び正の荷重ｗｉ^＋の各値に応じた大きさの電荷をそれぞれ出力するＮ^＋個の第１出力手段１８と、Ｎ^＋個の第１出力手段１８が並列接続され、Ｎ^＋個の第１出力手段１８それぞれから出力された電荷を蓄える第１貯留手段１９を備えている。各第１出力手段１８は、各正の荷重ｗｉ^＋に対応している。

各第１出力手段１８は、電気信号が与えられる入力端子２０、入力端子２０にソース側が接続されたＰＭＯＳトランジスタ２１及びＰＭＯＳトランジスタ２１のドレイン側に接続されたダイオード（整流素子）２２を有している。各第１出力手段１８には、ＰＭＯＳトランジスタ２１にゲート電圧（バイアス電圧）を与える電圧出力端子２３が接続されており、各第１出力手段１８のＰＭＯＳトランジスタ２１には同じ抵抗が生じた状態となっている。

本実施例において、第１貯留手段１９は、キャパシタ（ＭＯＳトランジスタのゲート容量が転用できる）であり、第１貯留手段１９には、第１貯留手段１９に保持された電圧が予め定められた第１閾値に達したタイミング（以下、「第１タイミング」とも言う）で、パルス信号を出力する信号発信部２４が接続されている。第１貯留手段１９に保持された電圧の大きさは、第１貯留手段１９が蓄えている電荷の量によって決まる。

そして、アナログ回路１１は、期間Ｔ１内に与えられるＮ⁻個（Ｎ⁻＝Ｎ−Ｎ^＋）の電気信号にそれぞれ負の荷重ｗｉ⁻の絶対値を対応させ、対となる電気信号及び負の荷重ｗｉ⁻の絶対値の各値に応じた大きさの電荷をそれぞれ出力するＮ⁻個の第２出力手段２６と、Ｎ⁻個の第２出力手段２６が並列接続され、Ｎ⁻個の第２出力手段２６それぞれから出力された電荷を蓄える第２貯留手段２７を備えている。各第２出力手段２６は、各負の荷重ｗｉ⁻に対応している。
よって、Ｎ^＋個の第１出力手段１８にＮ^＋個の電気信号が与えられる期間と、Ｎ⁻個の第２出力手段２６にＮ⁻個の電気信号が与えられる期間は一致している。

各第２出力手段２６は、電気信号が与えられる入力端子２８、入力端子２８にソース側が接続されたＰＭＯＳトランジスタ２９及びＰＭＯＳトランジスタ２９のドレイン側に接続されたダイオード３０を有している。各第２出力手段２６には、ＰＭＯＳトランジスタ２９にゲート電圧を与える電圧出力端子３１が接続されており、各第２出力手段２６のＰＭＯＳトランジスタ２９には同じ抵抗が生じた状態となっている。各第１出力手段１８の荷重ｗｉ^＋の大きさは、各第１出力手段１８のＰＭＯＳトランジスタ２１によって決まり、各第２出力手段２６の荷重ｗｉ⁻の絶対値の大きさは、各第２出力手段２６のＰＭＯＳトランジスタ２９によって決まる。

本実施例において、第２貯留手段２７は、キャパシタ（ＭＯＳトランジスタのゲート容量が転用できる）であり、第２貯留手段２７には、第２貯留手段２７に保持された電圧が予め定められた第２閾値に達したタイミング（以下、「第２タイミング」とも言う）で、パルス信号を出力する信号発信部３２が接続されている。第２貯留手段２７に保持された電圧の大きさは、第２貯留手段２７が蓄えている電荷の量によって決まる。
ここで、第１閾値の大きさをθ^＋とし、第２閾値の大きさをθ⁻とし、Ｎ^＋個の正の荷重ｗｉ^＋の総和をβ^＋とし、Ｎ⁻個の負の荷重ｗｉ⁻の絶対値の総和をβ⁻とすると、β^＋及びβ⁻は、それぞれ以下の式１４及び式１５で表わされる。

Ｎ＝Ｎ^＋＋Ｎ⁻及びβ＝β^＋−β⁻であるので、第１タイミングをｔ_ν ^＋とし、第２タイミングをｔ_ν ⁻として、式３より、θ^＋及びθ⁻は、以下の式１６及び式１７でそれぞれ表わされる。

なお、式１６及び式１７では、λ＝１とした。
従って、算出対象値（Ｎ個の乗算値の和）を正の荷重ｗｉ^＋及び負の荷重ｗｉ⁻で分けると、以下の式１８及び式１９が得られる。

本実施例では、式１８で算出される値を第１積和値（Ｎ^＋個の電気信号の値に対応する正の荷重ｗｉ^＋をそれぞれ乗算して求めたＮ^＋個の乗算値の和）とし、式１９で算出される値を第２積和値（Ｎ⁻個の電気信号の値に対応する負の荷重ｗｉ⁻の絶対値をそれぞれ乗算して求めたＮ⁻個の乗算値の和）として、アナログ回路１１は、図４に示すように、第１積和値から第２積和値を減算して算出対象値を導出する演算部３３を備えている。演算部３３は、信号発信部２４、３２に接続され、信号発信部２４からパルス信号が送信されたのを検出して、第１積和値を算出し、信号発信部３２からパルス信号が送信されたのを検出して、第２積和値を算出する。

即ち、演算部３３は、第１貯留手段１９に保持された電圧が第１閾値θ^＋に達したのを検出して第１積和値を算出し、第２貯留手段２７に保持された電圧が第２閾値θ⁻に達したのを検出して第２積和値を算出する。そして、演算部３３は、第１積和値から第２積和値を減算した算出対象値を得る。本実施例では、主として、信号発信部２４、３２及び演算部３３によって、算出対象値を導出する積和導出手段３４が構成されている。
算出対象値を得るための式は以下の式２０で表わされる。

ここで、演算部３３が第１積和値及び第２積和値を期間Ｔ２で算出するとして、各第１出力手段１８に与えられた全ての電気信号及び各第２出力手段２６に与えられた全ての電気信号を算出対象値に反映させるには、期間Ｔ１以降に期間Ｔ２が存在している必要がある。期間Ｔ１の時間長及び期間Ｔ２の時間長は共にＴ_ｉｎである。そして、そのためには第１閾値θ^＋及び第２閾値θ⁻がそれぞれ、以下の式２１及び式２２の式を満たすことが必要となる。

式２１及び式２２より、第１閾値θ^＋をＮ^＋個の荷重ｗｉ^＋の総和β^＋と期間Ｔ１の長さＴ_ｉｎの積に比例した大きさとし、第２閾値θ⁻をＮ⁻個の荷重ｗｉ⁻の絶対値の総和β⁻と期間Ｔ１の長さＴ_ｉｎの積に比例した大きさとすることで、各第１出力手段１８に与えられた全ての電気信号及び各第２出力手段２６に与えられた全ての電気信号を算出対象値に反映できることが分かる。本実施例では、式２１及び式２２がそれぞれ成立するようにθ^＋及びθ⁻の値を定めている。

また、式２０の右辺には、ｔ_ν ^＋及びβ^＋の積と、ｔ_ν ⁻及びβ⁻の積が存在することから、式２０を基に算出対象値を算出するには、演算部において、図５に示すようなアナログ式の回路ユニット３５が正の荷重ｗｉ^＋及び負の荷重ｗｉ⁻にそれぞれ必要となり、複雑な回路構成を要することとなる。なお、図５に示す回路ユニット３５は式１８に対応して正の荷重ｗｉ^＋用のもので、θ^＋とβ^＋（Ｔ_ｉｎ−ｔ_ν ^＋）に比例する電荷をキャパシタ３６に蓄えることができる。

そこで、本実施例では、演算部３３の回路構成を簡素にすべく、値０の仮想電気信号に対応し、β^＋（即ち、Ｎ^＋個の正の荷重ｗｉ^＋の総和）とβ⁻（即ち、Ｎ⁻個の負の荷重ｗｉ⁻の絶対値の総和）の差に−１を乗算したダミー荷重ｗ_０（ｗ_０は以下の式２３で表わされる）の絶対値をβ^＋及びβ⁻のうち小さい方に追加する。

ダミー荷重ｗ_０の追加によって、β^＋とβ⁻が等しくなる。このとき、β^＋＝β⁻であり、式２１、２２よりθ^＋＝θ⁻であるので、β^＋＝β⁻＝β_０として式２０は以下の式２４に置き変えられる。

式２４より、正の荷重ｗｉ^＋及び負の荷重ｗｉ⁻が混在している場合において、第１タイミングと第２タイミングの差を基に算出対象値が求められる。

演算部３３は、図６に示すように、ＡＮＤゲート３８、β_０の大きさの電流を供給する電流供給端子３９、スイッチ４０及びキャパシタ４１を有している。ＡＮＤゲート３８は、第１貯留手段１９に保持された電圧が第１閾値θ^＋に達した状態（ＩＮ^＋がオン状態）で、第２貯留手段２７に保持された電圧が第２閾値θ⁻に達していない状態（ＩＮ⁻がオフ状態）の期間でのみ、スイッチ４０によって電流供給端子３９をキャパシタ４１に接続して、電流供給端子３９からの電流がキャパシタ４１に供給されるようにする。これによって、キャパシタ４１には、β_０｛（ｔ_ν ⁻）−（ｔ_ν ^＋）｝に比例する電荷が充電されるため、β_０｛（ｔ_ν ⁻）−（ｔ_ν ^＋）｝に比例する大きさの電圧を得ることができ、式２４による算出対象値の導出が可能となる。

本実施例では、図４、図７（Ａ）に示すように、各ＰＭＯＳトランジスタ２１のソースに各入力端子２０からの電気信号を異なるタイミングで供給し、各ＰＭＯＳトランジスタ２１のゲートに１つの電圧出力端子２３から電圧を与えるようにするようにしたが、これに限定されない。

例えば、図７（Ｂ）に示すように、各ＰＭＯＳトランジスタ２１のゲートに各入力端子２０からの電気信号（電圧）を異なるタイミングで与え、各ＰＭＯＳトランジスタ２１のソースに１つの電圧出力端子２３から電気信号（電圧）を与えて、各第１出力手段４２の抵抗値を変えるようにしてもよい。あるいは、図７（Ｃ）に示すように、可変抵抗４３を設けた第１出力手段４４を採用して、各第１出力手段４４の入力端子２０に異なるタイミングで同じ大きさの電気信号（電圧パルス）を与えるようにしてもよい。

図７（Ａ）、（Ｂ）に示すように、アナログ回路にＭＯＳトランジスタを用いる場合、以下に述べるように、入力端子と出力端子の電圧の相違から自動的に逆流を防止できるので、ダイオードが不要にできる利点がある。即ち、例えば、各ＰＭＯＳトランジスタ２１の閾値電圧が−０．７Ｖであるとき、電圧出力端子２３に０．６Ｖを印加し、入力端子２０に電圧を所定のタイミングで０Ｖから１Ｖに立ち上げるステップ電圧を与えるとする。信号発信部２４の検出閾値θを０．３Ｖとしたとき、第１貯留手段１９であるキャパシタの端子電圧は０Ｖから０．３Ｖまでの値になる。このとき、ステップ電圧が１Ｖのときは、入力端子２０側がＰＭＯＳトランジスタ２１のソース、キャパシタ端子側がドレインになるため、ゲート、ソース間電圧は−０．４Ｖであり、ＰＭＯＳトランジスタ２１はサブスレッショルド領域で電流が流れる。一方、ステップ電圧が０Ｖのときは、入力端子２０側がドレインとなり、キャパシタ端子側がソースとなるため、ゲート、ソース間電圧は＋０．３Ｖから＋０．６Ｖとなり、電流はほとんど流れない。このように、ＭＯＳトランジスタのみで逆流防止機能が実現され、ダイオードを挿入する必要がなくなる。

また、本発明はスパイクパルスで情報を表わすスパイキングニューラルネットワークモデルに適用することができる。以下、スパイキングニューラルネットワークモデルに適用可能な本発明の第２の実施例に係る積和演算装置５０を図８、図９を参照して説明する。なお、積和演算装置５０において、積和演算装置１０と同様の構成については、同じ符号を付して詳しい説明を省略する。

積和演算装置５０は、図８に示すように、複数の階層それぞれに複数のアナログ回路１１が設けられ、最下位層の複数のアナログ回路１１には、複数の入力部１２と各アナログ回路１１にバイアス値を与える信号出力端子５１が接続されている。
通常のニューラルネットワークモデルでは、バイアス値がニューロンに入力されることから、積和演算装置５０は、信号出力端子５１から１の値の電気信号をバイアス値として各アナログ回路１１に与えることで、ニューロンに入力されるバイアス値を積和演算で扱うようにしている。

ニューラルネットワークモデルでは、各ニューロンが積和演算によって求めた値を以下の式２５で表わされる活性化関数ｆによって非線形変換して上位層のニューロンに受け渡すという処理を繰り返す。

近年の深層ニューラルネットワークモデルでは、活性化関数としていわゆるランプ関数又はＲｅＬＵと称される関数（以下の式２６参照）が用いられる。

そこで、積和演算装置５０では、各階層の間に、ＲｅＬＵ関数（活性化関数の一例）の処理を行うＲｅＬＵ関数回路（スイッチ機構の一例）５２が設けられ、複数のアナログ回路１１がＲｅＬＵ関数回路５２を介して階層的に接続されるようにしている。
ＲｅＬＵ関数回路５２は、下位層のアナログ回路１１によって求められた算出対象値が正又は０の場合、上位層のアナログ回路１１にその算出対象値を表わす電気信号をそのまま送り、下位層のアナログ回路１１から出力された算出対象値が負の場合、上位層のアナログ回路１１に０（零）の値を表わす電気信号を送る。

算出対象値が正である場合、ｔ_ν ^＋≦ｔ_ν ⁻であることから、第１タイミングが、第２タイミングに等しいか、又は、第２タイミングより早い際に、ＲｅＬＵ関数回路５２は、算出対象値を表わす電気信号を上位層のアナログ回路１１に送り、第１タイミングが第２タイミングより遅い際に、ＲｅＬＵ関数回路５２は、上位層のアナログ回路１１に０の値を表わす電気信号を送ることとなる。

ＲｅＬＵ関数回路５２は、例えば、図９に示す回路によって構成することができる。ＲｅＬＵ関数回路５２は、第１貯留手段１９に対応する入力端子５３、スイッチ５４、一定の遅延時間を発生させる遅延回路及びスイッチ５４を介して入力端子５３に接続される出力端子５５、第２貯留手段２７に対応する入力端子５６及びスイッチ５７、一定の遅延時間を発生させる遅延回路及びスイッチ５７を介して入力端子５６に接続される出力端子５８を備えている。

出力端子５５、５８にはそれぞれスイッチ５９、６０が接続され、スイッチ５４、５７、５９、６０には、スイッチ５４、５７、５９、６０のオン、オフを制御する制御部６１が接続されている。そして、スイッチ５９、６０には、スイッチ５９、６０がオンのとき、出力端子５５、５８に０値に相当する電気信号を送る信号発信部６２が接続されている。
制御部６１は、第１タイミングが、第２タイミングに等しいか、又は第２タイミングより早ければ、スイッチ５４、５７をオンとし、スイッチ５９、６０をオフとして、出力端子５５、５８から算出対象値が出力されるようにする。

そして、第１タイミングが第２タイミングより遅い際には、制御部６１が、スイッチ５４、５７をオフとし、スイッチ５９、６０をオンとして、出力端子５５、５８から０値を表わす電気信号が出力されるようにする。

また、ダミー荷重を採用する理由は、正と負の荷重それぞれの総和を等しくするためである。図８に示すような複数の階層のニューラルネットワークの場合、最下位の層からその上位層への入力は単一信号線であるが、それより上位の階層間の接続では必ず正負荷重に対応した一対の信号線が必要になる。正荷重用と負荷重用それぞれの信号線を設けることによって、自動的に正負の荷重の総和を等しくするという条件を満たし、ダミー荷重が不要となる。

更に、最下層からの信号線を一対にすることによっても、ダミー荷重が不要となる。即ち、図１１に示すように、入力線と、荷重としての抵抗（またはＭＯＳトランジスタ）を介した出力線とからなる対を複数設け、各対において、入力線又は出力線に荷重ｗ_ｉに相当する抵抗値を接続すれば、ダミー荷重を設けなくてもよい。なお、図１１では、簡単化のため、逆流防止のダイオードの記載を省略している。最下層への入力では、式１に示したように、入力値ｘ_ｉに対応するタイミングｔ_ｉと入力値０に対応するタイミングＴ_ｉｎを対として、入力信号線を構成する。

そして、図１２に示すように、抵抗（又はＭＯＳトランジスタ）を切替スイッチ６３で切り替える構成とすることで、正負の荷重を切り替えることも容易になる。第１の実施例に係る積和演算装置１０は積和演算を実行する構成のみを備えているが、学習機能を外部で行い、それに従って、荷重値を更新していく場合、正荷重から負荷重、又はその逆に更新する場合も発生する。図１２に記載の例では、それを切替スイッチ６３の切り替えのみで実現できるので、実装がきわめて容易になる。なお、多層のネットワークでタイミングを伝搬していく場合、式２４に示したように、積和演算の結果はタイミングに係数β_Ｏ／Ｔ_ｉｎを乗じたものであるので、次の上位層への荷重セットをこの係数の逆数で規格化することにより、荷重値が発散していくことがないようにすることができる。

また、上述した実施例で、荷重値として用いた抵抗、ＭＯＳトランジスタ又は切替スイッチには、抵抗値や閾値を可変とするために、抵抗変化型メモリ素子や、強誘電ゲート型ＭＯＳトランジスタ等の不揮発性メモリ素子を適用することが効果的である。

実験例

次に、本発明の効果を確認するために行った数値シミュレーション実験について説明する。
本シミュレーションでは、アナログ回路に対し電気信号を与える５００個の入力部とバイアス値を与える信号出力端子が接続された積和演算装置でダミー荷重を採用する場合と、ダミー荷重を不採用の場合で、算出対象値の値が等しくなるかを確認した。
各正の荷重、各正の荷重に対応する電気信号の値、各負の荷重及び各負の荷重に対応する電気信号の値は、図１０（ａ）、（ｂ）、（ｃ）、（ｄ）にそれぞれ示す通りである。なお、バイアス電圧に対応する荷重及びバイアス電圧の値そのものは、図１０（ｃ）、（ｄ）にそれぞれ含んで記載している。

シミュレーションの結果、ダミー荷重を採用する場合及びダミー荷重を不採用の場合のいずれも、算出対象値が４．７１８となり、算出対象値が等しくなることが確認できた。

以上、本発明の実施例を説明したが、本発明は、上記した実施例に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、算出対象値を求めるために、必ずしもダミー荷重を採用しなくてもよい。ダミー荷重を採用しない場合、式２０を基に算出対象値を求める回路を設ければよい。
また、活性化関数による処理は必ずしも必要ではない。

本発明に係る積和演算装置は、ニューラルネットワークの演算性能を向上でき、ＩｏＴセンシングエッジ端末等への応用展開が期待される。

１０：積和演算装置、１１、１１ａ：アナログ回路、１２：入力部、１３：出力手段、１４：貯留手段、１５：入力端子、１６：抵抗、１７：ダイオード、１８：第１出力手段、１９：第１貯留手段、２０：入力端子、２１：ＰＭＯＳトランジスタ、２２：ダイオード、２３：電圧出力端子、２４：信号発信部、２６：第２出力手段、２７：第２貯留手段、２８：入力端子、２９：ＰＭＯＳトランジスタ、３０：ダイオード、３１：電圧出力端子、３２：信号発信部、３３：演算部、３４：積和導出手段、３５：回路ユニット、３６：キャパシタ、３８：ＡＮＤゲート、３９：電流供給端子、４０：スイッチ、４１：キャパシタ、４２：第１出力手段、４３：可変抵抗、４４：第１出力手段、５０：積和演算装置、５１：信号出力端子、５２：ＲｅＬＵ関数回路、５３：入力端子、５４：スイッチ、５５：出力端子、５６：入力端子、５７：スイッチ、５８：出力端子、５９、６０：スイッチ、６１：制御部、６２：信号発信部、６３：切替スイッチ

Claims (3)

1. 与えられるＮ個の電気信号それぞれに荷重を対応させ、各対となる該電気信号と該荷重の各値をそれぞれ乗算して得たＮ個の乗算値の和を導出する一連の処理をアナログ回路で行う積和演算装置において、
   前記アナログ回路は、所定の期間Ｔ１内に与えられるＮ^＋個の電気信号にそれぞれ正の荷重を対応させ、対となる該電気信号及び該正の荷重の各値に応じた大きさの電荷をそれぞれ出力するＮ^＋個の第１出力手段と、前記Ｎ^＋個の第１出力手段が並列接続され、該Ｎ^＋個の第１出力手段それぞれから出力された電荷を蓄える第１貯留手段と、
   前記期間Ｔ１内に与えられる（Ｎ−Ｎ^＋）個の電気信号にそれぞれ負の荷重の絶対値を対応させ、対となる該電気信号及び該負の荷重の絶対値の各値に応じた大きさの電荷をそれぞれ出力する（Ｎ−Ｎ^＋）個の第２出力手段と、前記（Ｎ−Ｎ^＋）個の第２出力手段が並列接続され、該（Ｎ−Ｎ^＋）個の第２出力手段それぞれから出力された電荷を蓄える第２貯留手段と、
   前記Ｎ^＋個の電気信号の値にそれぞれに対応した前記正の荷重をそれぞれ乗算して求めたＮ^＋個の乗算値の和である第１積和値を、前記第１貯留手段に保持された電圧が予め定められた第１閾値に達したのを検出して算出し、前記（Ｎ−Ｎ^＋）個の電気信号の値にそれぞれに対応した前記負の荷重の絶対値をそれぞれ乗算して求めた（Ｎ−Ｎ^＋）個の乗算値の和である第２積和値を、前記第２貯留手段に保持された電圧が予め定められた第２閾値に達したのを検出して算出し、前記第１積和値から前記第２積和値を減算した前記Ｎ個の乗算値の和を得る積和導出手段とを備え、
   前記第１閾値を、前記Ｎ^＋個の正の荷重の総和と前記期間Ｔ１の長さの積に比例した大きさとし、前記第２閾値を、前記（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和と前記期間Ｔ１の長さの積に比例した大きさとして、前記第１積和値の導出及び前記第２積和値の導出を、前記期間Ｔ１の後で該期間Ｔ１と同じ長さの期間Ｔ２内で行うことを特徴とする積和演算装置。
   但し、Ｎは２以上の自然数であり、Ｎ^＋はＮ以下の自然数である。
2. 請求項１記載の積和演算装置において、値０の仮想電気信号に対応し、前記Ｎ^＋個の正の荷重の総和と前記（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和の差に−１を乗算した数のダミー荷重を、該Ｎ^＋個の正の荷重の総和又は該（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和で小さい方に追加して、前記Ｎ^＋個の正の荷重の総和と前記（Ｎ−Ｎ^＋）個の負の荷重の絶対値の総和を等しくし、前記第１貯留手段に保持された電圧が前記第１閾値に達した第１タイミングと前記第２貯留手段に保持された電圧が前記第２閾値に達した第２タイミングの差を基に前記Ｎ個の乗算値の和を求めることを特徴とする積和演算装置。
3. 請求項２記載の積和演算装置において、複数の前記アナログ回路がスイッチ機構を介して階層的に接続され、前記スイッチ機構は、前記第１タイミングが前記第２タイミングに等しい、又は、前記第１タイミングが前記第２タイミングより早い際に、下位層の前記アナログ回路が求めた前記Ｎ個の乗算値の和を上位層の前記アナログ回路に送り、前記第１タイミングが前記第２タイミングより遅い際に、０の値を上位層の前記アナログ回路に送ることを特徴とする積和演算装置。

Images