JP7132196B2 - 処理装置および推論システム - Google Patents

Description

本発明の実施形態は、処理装置および推論システムに関する。

近年、入力信号をリザーバ（Reservoir）により変換した信号に対して、時系列データ認識やパターン認識等の推論処理を行うリザーバコンピューティングが注目されている。リザーバは、リカレントニューラルネットワークの一種として実現される。このようなリザーバは、入力信号を非線形変換により高次元かつ時間の情報を伴った特徴空間に射影した信号を出力することができる。従って、リザーバコンピューティングは、簡易なアルゴリズムで高速な学習を可能とすることができる。

ところで、リザーバは、取り扱うタスクおよびデータの種類等によって特性が異なる。このため、リザーバは、精度良く推論ができるように、取り扱うタスクおよびデータの種類等に応じて適切に調整されることが望ましい。

米国特許第１０１７５９４７号公報 特開２０１９－０５３５６３号公報

田中剛平、「リザバーコンピューティングの概念と最近の動向」、電子情報通信学会誌 Vol.102 No.2 pp.108-113、電子情報通信学会、２０１９年２月

本発明が解決しようとする課題は、入力された信号を、精度良く推論可能な信号に変換する処理装置および推論システムを提供することにある。

実施形態に係る処理装置は、リカレントニューラルネットワーク回路と、制御回路とを備える。前記リカレントニューラルネットワーク回路は、Ｍ個（Ｍは、２以上の整数）の第１信号を受け取り、Ｎ個（Ｎは、２以上の整数）の第２信号を出力する。前記制御回路は、前記Ｍ個の第１信号の印加タイミングから前記Ｎ個の第２信号の発火タイミングまでの第１遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている複数の係数を調整する。前記Ｍ個の第１信号のそれぞれは、２値を表す。前記Ｎ個の第２信号のそれぞれは、２値を表す。前記リカレントニューラルネットワーク回路は、前記Ｎ個の第２信号に対応するＮ個の積和演算回路を有する。前記Ｎ個の積和演算回路のそれぞれは、前記Ｍ個の第１信号に対応するＭ個の係数が設定される。前記リカレントニューラルネットワーク回路に、前記Ｍ個の第１信号のうちのｉ番目（ｉは、１以上Ｍ以下の整数）の第１信号が印加され、前記リカレントニューラルネットワーク回路が、前記Ｎ個の第２信号のうちのｊ番目（ｊは、１以上Ｎ以下の整数）の第２信号を発火させた場合、前記制御回路は、前記第１遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている複数の係数のうちの対象係数と、前記リカレントニューラルネットワーク回路に設定されている複数の係数のうちの前記対象係数以外の係数群との相対関係を調整する。前記対象係数は、前記リカレントニューラルネットワーク回路が有する前記Ｎ個の積和演算回路のうちの前記ｊ番目の第２信号を出力する積和演算回路に設定されている前記Ｍ個の係数のうちの、前記ｉ番目の第１信号に乗算される係数である。

推論システムの構成を示す図。 第１演算回路および第２演算回路の構成を示す図。 積和演算回路による積和演算を説明する図。 積和演算回路の回路構成を示す図。 正側電流源、負側電流源およびコンパレータの動作を説明するための図。 コンパレータの出力の遅延を説明するための図。 制御回路の機能構成をリザーバ回路等とともに示す図。 切換回路の処理の流れを示すフローチャート。 リザーバ回路から出力されるＮ個の中間信号の発火タイミングを示す図。 推論システムの学習時の処理の流れを示すフローチャート。 第１遅延調整処理の流れを示すフローチャート。 第１遅延調整処理における係数の調整を説明するための図。 教師有り学習処理の流れを示すフローチャート。 パターン学習処理の流れを示す図。 遅延量学習処理の流れを示す図。 遅延量学習処理を説明するための図。 第２遅延調整処理の流れを示すフローチャート。 リザーバ回路の第２遅延調整処理を説明するための図。 制御回路のハードウェア構成を説明するための図。

以下、図面を参照しながら実施形態に係る推論システム１０について説明する。

図１は、実施形態に係る推論システム１０の構成を示す図である。推論システム１０は、入力データを受け取り、受け取った入力データに応じた出力データを出力する。例えば、推論システム１０は、時系列の入力データを受け取り、受け取った時系列の入力データに対してパターン認識をした結果を表す時系列の出力データを出力する。

なお、２値を表す信号とは、第１論理値（例えばＬ論理、０、－１）または第２論理値（例えばＨ論理、１、＋１）の何れかを表す信号である。ここでＬとＨの組み合わせは、Ｌが０とＨが１、あるいは、Ｌが－１とＨが＋１である。また、回路に信号が印加されるとは、回路に入力される信号が第１論理値から第２論理値に変化すること、または、第２論理値から第１論理値に変化することをいう。また、回路が信号を発火させるとは、回路から出力される信号が第１論理値から第２論理値に変化すること、または、第２論理値から第１論理値に変化することをいう。

推論システム１０は、リザーバ回路１２と、推論回路１４と、制御回路１６と、係数メモリ１８とを備える。

リザーバ回路１２は、アナログ回路により積和演算を行うリカレントニューラルネットワーク回路である。リザーバ回路１２は、複数の係数が設定されている。リザーバ回路１２は、設定されている複数の係数を、可変抵抗またはキャパシタ等のアナログ素子により保持する。

リザーバ回路１２は、前段のデータ処理装置から、入力データに応じたＭ個の入力信号（ｘ_１～ｘ_Ｍ）を受け取る。Ｍ個の入力信号のそれぞれは、２値を表す。例えば、Ｍ個の入力信号は、リザーバ回路１２は、Ｍビットの入力データにおけるそれぞれのビットの値をを、Ｍ個の入力信号として受け取る。

リザーバ回路１２は、受け取ったＭ個の入力信号に応じたＮ個（Ｎは、２以上の整数）の中間信号（ｙ_１～ｙ_Ｎ）を出力する。Ｎ個の中間信号のそれぞれは、２値を表す。

例えば、リザーバ回路１２は、第１演算回路２２と、切換回路２４とを含む。第１演算回路２２は、Ｍ個の入力信号を受け取り、Ｎ個の中間信号を出力するニューラルネットワーク演算を実行する。例えば、第１演算回路２２は、アナログ回路により積和演算を行うことにより、再帰的ではないニューラルネットワーク演算を実行する。

切換回路２４は、前段のデータ処理装置から入力データを受け取った場合、入力データに応じたＭ個の入力信号を第１演算回路２２に供給する。切換回路２４は、入力データに応じたＭ個の入力信号を第１演算回路２２に供給した後、第１演算回路２２から出力されたＮ個の中間信号をフィードバックして、Ｎ個の中間信号をＭ個の入力信号として第１演算回路２２に供給する。切換回路２４は、前段のデータ処理装置から次の入力データを受け取るまで、Ｎ個の中間信号をフィードバックして、Ｎ個の中間信号をＭ個の入力信号として第１演算回路２２に供給する。そして、切換回路２４は、前段のデータ処理装置から次の入力データを受けとった場合、次の入力データに応じたＭ個の入力信号を第１演算回路２２に供給する。

本実施形態において、Ｍ＝Ｎであり、Ｍ個の入力信号とＮ個の中間信号とは一対一に対応する。従って、本実施形態において、切換回路２４は、Ｎ個の中間信号のそれぞれを、Ｍ個の入力信号のうちの対応する入力信号として、第１演算回路２２に供給する。なお、Ｍ＝Ｎでなくてもよい。この場合、切換回路２４は、２個以上の中間信号を合成して１個の入力信号を生成してもよいし、１個の中間信号を分割して２個以上の入力信号を生成してもよい。

推論回路１４は、ニューラルネットワーク回路（推論ニューラルネットワーク回路）である。推論回路１４は、どのようなニューラルネットワークであってもよい。本実施形態においては、推論回路１４は、アナログ回路により積和演算を行うニューラルネットワーク回路である。推論回路１４は、複数の係数が設定されている。本実施形態において、推論回路１４は、設定されている複数の係数を、可変抵抗またはキャパシタ等のアナログ素子により保持する。

推論回路１４は、リザーバ回路１２から、Ｎ個の中間信号（ｙ_１～ｙ_Ｎ）を受け取る。推論回路１４は、受け取ったＮ個の中間信号に応じたＬ個（Ｌは、２以上の整数）の出力信号（ｚ_１～ｚ_Ｌ）を出力する。Ｌ個の出力信号のそれぞれは、２値を表す。

例えば、推論回路１４は、第２演算回路２６と、出力回路２８とを含む。第２演算回路２６は、Ｎ個の中間信号を受け取り、Ｌ個の信号を出力するニューラルネットワーク演算を実行する。例えば、第２演算回路２６は、アナログ回路により積和演算を行うことにより、再帰的ではないニューラルネットワーク演算を実行する。

出力回路２８は、第２演算回路２６から出力されたＬ個の信号に対応するＬ個の出力信号を生成して出力する。リザーバ回路１２がリカレントニューラルネットワーク回路であるので、Ｎ個の中間信号のうちの１または複数の中間信号は、繰り返して発火する可能性がある。このようなＮ個の中間信号が印加された場合、第２演算回路２６は、Ｌ個の信号のうちの１または複数の信号を、繰り返して発火させる可能性がある。そこで、出力回路２８は、Ｌ個の出力信号のそれぞれを、第２演算回路２６から出力されたＬ個の信号のうちの対応する信号の発火パターンに応じて、発火させる。

例えば、出力回路２８は、第２演算回路２６から出力されたＬ個の信号のうちの１個の信号の発火パターンが、予め定められたパターンに一致した場合に、Ｌ個の出力信号のうちの対応する出力信号を発火させる。また、例えば、出力回路２８は、第２演算回路２６から出力されたＬ個の信号のそれぞれの発火量を積分し、Ｌ個の出力信号のうちの積分値が所定値を超えた信号に対応する出力信号を発火させる。また、例えば、出力回路２８は、第２演算回路２６から出力されたＬ個の信号のそれぞれの発火量の時間割合を検出し、Ｌ個の出力信号のうちの発火量の時間割合が所定値を超えた信号に対応する出力信号を発火させてもよい。

制御回路１６は、学習処理において、リザーバ回路１２に設定されている複数の係数を調整する。また、制御回路１６は、学習処理において、リザーバ回路１２に設定されている複数の係数を調整する。なお、制御回路１６は、推論処理に先だって学習処理を実行してもよいし、推論処理と並行してリアルタイムで学習処理を実行してもよい。

係数メモリ１８は、リザーバ回路１２に設定されている複数の係数に一対一に対応する複数のデジタル係数値を記憶する。係数メモリ１８は、推論回路１４に設定されている複数の係数に一対一に対応する複数のデジタル係数値を記憶する。制御回路１６は、学習処理において、係数メモリ１８に記憶されている複数のデジタル係数値を調整する。そして、制御回路１６は、調整された複数のデジタル係数値に基づき、リザーバ回路１２に設定されている複数の係数、および、推論回路１４に設定されている複数の係数を変更する。

なお、リザーバ回路１２および推論回路１４に設定されている複数の係数のそれぞれと、係数メモリ１８に記憶されている複数のデジタル係数値のそれぞれとは、階調数が異なってもよい。例えば、本実施形態において、リザーバ回路１２および推論回路１４に設定されている複数の係数のそれぞれは、２値（第１階調数）により表される。また、係数メモリ１８に記憶されている複数のデジタル係数値のそれぞれは、第１階調数より多い８ビット（第２階調数）により表される。制御回路１６は、係数メモリ１８に記憶されている複数のデジタル係数値のそれぞれを第１階調数に変換し、第１階調数で表された複数のデジタル係数値に基づき、リザーバ回路１２または推論回路１４に設定されている複数の係数を変更する。

図２は、リザーバ回路１２が有する第１演算回路２２の構成を示す図である。リザーバ回路１２が有する第１演算回路２２は、Ｎ個の中間信号（ｙ_１～ｙ_Ｎ）に対応するＮ個の積和演算回路３０（３０－１～３０－Ｎ）を有する。Ｎ個の積和演算回路３０のうちのｊ番目の積和演算回路３０－ｊは、ｊ番目の中間信号（ｙ_ｊ）に対応する。また、Ｎ個の積和演算回路３０のそれぞれは、Ｍ個の入力信号（ｘ_１～ｘ_Ｍ）を受け取る。

なお、図２において、カッコ内の符号は、推論回路１４が有する第２演算回路２６の構成要素を示す。推論回路１４が有する第２演算回路２６は、Ｌ個の出力信号（ｚ_１～ｚ_Ｌ）に対応するＬ個の積和演算回路３０（３０－１～３０－Ｌ）を有する。Ｌ個の積和演算回路３０のうちｋ番目の積和演算回路３０－ｋは、ｋ番目の出力信号（ｚ_ｊ）に対応する。また、Ｌ個の積和演算回路３０のそれぞれは、Ｎ個の中間信号（ｙ_１～ｙ_Ｎ）を受け取る。

図３は、積和演算回路３０による積和演算を説明する図である。リザーバ回路１２の第１演算回路２２が有するＮ個の積和演算回路３０のそれぞれは、Ｍ個の入力信号に対応するＭ個の係数（ｗ_１ｊ，ｗ_２ｊ，…，ｗ_ｉｊ，…，ｗ_Ｍｊ）が設定されている。

Ｎ個の積和演算回路３０のそれぞれは、Ｍ個の入力信号と、設定されているＭ個の係数とを積和演算した値を２値化した中間信号を出力する。例えば、ｊ番目の中間信号に対応する積和演算回路３０－ｊは、下記式（１）の演算をアナログ的に実行する。

式（１）において、ｙ_ｊは、ｊ番目の中間信号を表す。ｘ_ｉは、ｉ番目（ｉは、１以上、Ｍ以下の整数）の入力信号を表す。ｗ_ｉｊは、Ｍ個の係数のうちのｉ番目の入力信号に乗算される係数を表す。式（１）において、ｆ（Ｘ）は、カッコ内の値Ｘを所定の閾値で二値化する関数を表す。

なお、図３において、カッコ内の符号は、推論回路１４の構成要素を示す。推論回路１４の第２演算回路２６が有するＬ個の積和演算回路３０のそれぞれは、Ｎ個の中間信号に対応するＮ個の係数（ｗ_１ｋ，ｗ_２ｋ，…，ｗ_ｊｋ，…，ｗ_Ｎｋ）が設定されている。

Ｌ個の積和演算回路３０のそれぞれは、Ｎ個の中間信号と、設定されているＮ個の係数とを積和演算した値を２値化した出力信号を出力する。例えば、ｋ番目の出力信号に対応する積和演算回路３０－ｋは、下記式（２）の演算をアナログ的に実行する。

式（２）において、ｚ_ｋは、ｋ番目（ｋは、１以上、Ｌ以下の整数）の出力信号を表す。ｙ_ｊは、ｊ番目（ｊは、１以上、Ｎ以下の整数）の中間信号を表す。ｗ_ｊｋは、Ｎ個の係数のうちのｊ番目の中間信号に乗算される係数を表す。式（２）において、ｆ（Ｘ）は、カッコ内の値Ｘを所定の閾値で二値化する関数を表す。

図４は、積和演算回路３０の回路構成を示す図である。本実施形態において、リザーバ回路１２および推論回路１４が有する積和演算回路３０は、特許文献１に示された回路により実現可能である。

例えば、リザーバ回路１２が有する積和演算回路３０は、正側電流源３２と、負側電流源３４と、コンパレータ３６と、Ｍ個のクロススイッチ３８と、クランプ回路４０と、係数記憶部４２とを備える。

正側電流源３２は、正側端子４６を有する。正側電流源３２は、正側端子４６から電流を出力する。さらに、正側電流源３２は、正側端子４６から出力した電流の１／Ｄ（Ｄは、２以上の整数）の値に応じた第１電圧を出力する。例えば、正側電流源３２は、正側端子４６から出力した電流の１／Ｄの値に比例した第１電圧を出力する。本実施形態においてはＤ＝Ｍである。しかし、Ｄは、Ｍと同一でなくてもよい。なお、図４には、複数の正側端子４６が記載されている。しかし、図４に記載された複数の正側端子４６は、電気的に接続されている。

例えば、正側電流源３２は、Ｄ個の第１ＦＥＴ４８を有する。Ｄ個の第１ＦＥＴ４８のそれぞれは、同一の特性を有する電界効果トランジスタである。本実施形態においては、Ｄ個の第１ＦＥＴ４８のそれぞれは、同一の特性を有するｐＭＯＳトランジスタである。

Ｄ個の第１ＦＥＴ４８は、ゲートが共通に接続され、ソースが第２基準電位に接続され、ドレインがゲートおよび正側端子４６に接続される。第２基準電位は、例えば、正側の電源電圧（Ｖ_ＤＤ）である。すなわち、Ｄ個の第１ＦＥＴ４８のそれぞれは、ダイオード接続され、ソースが第２基準電位（例えばＶ_ＤＤ）に接続され、ゲートおよびドレインが正側端子４６に接続される。そして、正側電流源３２は、正側端子４６の電圧（第１ＦＥＴ４８のゲートの電圧）を、第１電圧として出力する。

負側電流源３４は、負側端子５０を有する。負側電流源３４は、負側端子５０から電流を出力する。さらに、負側電流源３４は、負側端子５０から出力した電流の１／Ｄの値に応じた第２電圧を出力する。例えば、負側電流源３４は、負側端子５０から出力した電流の１／Ｄの値に比例した第２電圧を出力する。なお、図４には、複数の負側端子５０が記載されている。しかし、図４に記載された複数の負側端子５０は、電気的に接続されている。

例えば、負側電流源３４は、Ｄ個の第２ＦＥＴ５２を有する。Ｄ個の第２ＦＥＴ５２のそれぞれは、第１ＦＥＴ４８と同一の特性を有する電界効果トランジスタである。本実施形態においては、Ｄ個の第２ＦＥＴ５２のそれぞれは、第１ＦＥＴ４８と同一の特性を有するｐＭＯＳトランジスタである。

Ｄ個の第２ＦＥＴ５２は、ゲートが共通に接続され、ソースが第２基準電位に接続され、ドレインがゲートおよび負側端子５０に接続される。すなわち、Ｄ個の第２ＦＥＴ５２のそれぞれは、ダイオード接続され、ソースが第２基準電位（例えばＶ_ＤＤ）に接続され、ゲートおよびドレインが負側端子５０に接続される。そして、負側電流源３４は、負側端子５０の電圧（第２ＦＥＴ５２のゲートの電圧）を、第２電圧として出力する。

コンパレータ３６は、正側電流源３２から出力された第１電圧と、負側電流源３４から出力された第２電圧との大小を比較する。そして、コンパレータ３６は、第１電圧と第２電圧との比較結果に応じた値の中間信号（ｙ）を出力する。コンパレータ３６は、第１電圧が第２電圧より小さい場合、第１論理値（例えば、－１）の中間信号を出力し、第１電圧が第２電圧以上の場合、第２論理値（例えば、＋１）の中間信号を出力する。なお、コンパレータ３６は、第１電圧が第２電圧より小さい場合、第２論理値（例えば、＋１）の中間信号を出力し、第１電圧が第２電圧以上の場合、第１論理値（例えば、－１）の中間信号を出力してもよい。

Ｍ個のクロススイッチ３８のそれぞれは、Ｍ個の入力信号のそれぞれに対応して設けられる。本実施形態においては、積和演算回路３０は、Ｍ個のクロススイッチ３８として、第１クロススイッチ３８－１～第Ｍクロススイッチ３８－Ｍを備える。例えば、第１クロススイッチ３８－１は、第１の入力信号（ｘ_１）に対応し、第２クロススイッチ３８－２は、第２の入力信号（ｘ_２）に対応し、第Ｍクロススイッチ３８－Ｍは、第Ｍの入力信号（ｘ_Ｍ）に対応する。

Ｍ個のクロススイッチ３８のそれぞれは、正側流入端子５６と、負側流入端子５８と、第１端子６０と、第２端子６２とを有する。

Ｍ個のクロススイッチ３８のそれぞれは、第１端子６０を、正側流入端子５６および負側流入端子５８のうち何れか一方に接続する。また、Ｍ個のクロススイッチ３８のそれぞれは、第２端子６２を、正側流入端子５６および負側流入端子５８のうち第１端子６０が接続されていないもう一方に接続する。Ｍ個のクロススイッチ３８のそれぞれは、対応する入力信号の値に応じて、第１端子６０および第２端子６２を、正側流入端子５６または負側流入端子５８の何れに接続するかを切り換える。

クランプ回路４０は、Ｍ個のクロススイッチ３８のそれぞれに対応するＭ個の正側ＦＥＴスイッチ６６を有する。本実施形態においては、クランプ回路４０は、Ｍ個の正側ＦＥＴスイッチ６６として、第１正側ＦＥＴスイッチ６６－１～第Ｍ正側ＦＥＴスイッチ６６－Ｍを有する。例えば、第１正側ＦＥＴスイッチ６６－１は、第１クロススイッチ３８－１に対応し、第２正側ＦＥＴスイッチ６６－２は、第２クロススイッチ３８－２に対応し、第Ｍ正側ＦＥＴスイッチ６６－Ｍは、第Ｍクロススイッチ３８－Ｍに対応する。

Ｍ個の正側ＦＥＴスイッチ６６のそれぞれは、ゲートがクランプ電位（Ｖ_ｃｌｍｐ）に接続され、ソースが正側端子４６に接続され、ドレインが対応するクロススイッチ３８の正側流入端子５６に接続される。Ｍ個の正側ＦＥＴスイッチ６６のそれぞれは、積和演算回路３０の動作中において、ソース－ドレイン間がオンとなる。従って、Ｍ個のクロススイッチ３８のそれぞれの正側流入端子５６は、積和演算回路３０の動作中において、正側電流源３２の正側端子４６に接続され、電圧がクランプ電位（Ｖ_ｃｌｍｐ）に固定される。

さらに、クランプ回路４０は、Ｍ個のクロススイッチ３８のそれぞれに対応するＭ個の負側ＦＥＴスイッチ６８を有する。本実施形態においては、クランプ回路４０は、Ｍ個の負側ＦＥＴスイッチ６８として、第１負側ＦＥＴスイッチ６８－１～第Ｍ負側ＦＥＴスイッチ６８－Ｍを有する。例えば、第１負側ＦＥＴスイッチ６８－１は、第１クロススイッチ３８－１に対応し、第２負側ＦＥＴスイッチ６８－２は、第２クロススイッチ３８－２に対応し、第Ｍ負側ＦＥＴスイッチ６８－Ｍは、第Ｍクロススイッチ３８－Ｍに対応する。

Ｍ個の負側ＦＥＴスイッチ６８のそれぞれは、ゲートがクランプ電位（Ｖ_ｃｌｍｐ）に接続され、ソースが負側端子５０に接続され、ドレインが対応するクロススイッチ３８の負側流入端子５８に接続される。Ｍ個の負側ＦＥＴスイッチ６８のそれぞれは、積和演算回路３０の動作中において、ソース－ドレイン間がオンとなる。従って、Ｍ個のクロススイッチ３８のそれぞれの負側流入端子５８は、積和演算回路３０の動作中において、負側電流源３４の負側端子５０に接続され、電圧がクランプ電位（Ｖ_ｃｌｍｐ）に固定される。

係数記憶部４２は、Ｍ個の係数のそれぞれに対応するＭ個のセル７２を有する。本実施形態においては、係数記憶部４２は、Ｍ個のセル７２として、第１セル７２－１～第Ｍセル７２－Ｍを有する。例えば、第１セル７２－１は、第１の係数（ｗ_１）に対応し、第２セル７２－２は、第２の係数（ｗ_２）に対応し、第Ｍセル７２－Ｍは、第Ｍの係数（ｗ_Ｍ）に対応する。なお、第１の係数（ｗ_１）は、第１の入力信号（ｘ_１）に対応し、第２の係数（ｗ_２）は、第２の入力信号（ｘ_２）に対応し、第Ｍの係数（ｗ_Ｍ）は、第Ｍの入力信号（ｘ_Ｍ）に対応する。従って、例えば、第１セル７２－１は、第１クロススイッチ３８－１に対応し、第２セル７２－２は、第２クロススイッチ３８－２に対応し、第Ｍセル７２－Ｍは、第Ｍクロススイッチ３８－Ｍに対応する。

Ｍ個のセル７２のそれぞれは、第１抵抗７４と、第２抵抗７６とを含む。第１抵抗７４は、一方の端が対応するクロススイッチ３８の第１端子６０に接続され、他方の端が第１基準電位に接続される。第１基準電位は、例えば、グランドである。第２抵抗７６は、一方の端が対応するクロススイッチ３８の第２端子６２に接続され、他方の端が第１基準電位に接続される。

第１抵抗７４および第２抵抗７６の少なくとも一方は、例えば、抵抗変化型メモリ等の可変抵抗である。第１抵抗７４および第２抵抗７６は、対応する係数の値に応じて、抵抗値の大小関係が切り替えられる。例えば、制御回路１６は、Ｍ個の入力信号の受け取りに先だって、Ｍ個の係数のそれぞれに応じて、対応するセル７２に含まれる第１抵抗７４および第２抵抗７６の抵抗値の大小関係を設定する。

例えば、複数のセル７２のそれぞれは、対応する係数が＋１である場合、第１抵抗７４が第１抵抗値に設定され、第２抵抗７６が、第１抵抗値とは異なる第２抵抗値に設定される。また、複数のセル７２のそれぞれは、対応する係数が－１である場合、第１抵抗７４が第２抵抗値に設定され、第２抵抗７６が第１抵抗値に設定される。

また、複数のセル７２のそれぞれは、第１抵抗７４または第２抵抗７６の一方が固定抵抗であり、他方が可変抵抗であってもよい。この場合、複数のセル７２のそれぞれは、対応する係数が＋１である場合と、－１である場合とで、第１抵抗７４と第２抵抗７６との抵抗差の正負が反転するように、可変抵抗の抵抗値が変更される。

そして、Ｍ個のクロススイッチ３８のそれぞれは、対応する入力信号の値に応じて、第１端子６０および第２端子６２を、正側端子４６（正側流入端子５６）および負側端子５０（負側流入端子５８）に対して、ストレート接続するかリバース接続するかを切り換える。

例えば、Ｍ個のクロススイッチ３８のそれぞれは、ストレート接続する場合、第１端子６０と正側端子４６（正側流入端子５６）とを接続し、且つ、第２端子６２と負側端子５０（負側流入端子５８）とを接続する。また、Ｍ個のクロススイッチ３８のそれぞれは、リバース接続する場合、第１端子６０と負側端子５０（負側流入端子５８）とを接続し、且つ、第２端子６２と正側端子４６（正側流入端子５６）とを接続する。

例えば、Ｍ個のクロススイッチ３８のそれぞれは、対応する入力信号の値が＋１である場合、ストレート接続し、対応する入力信号の値が－１である場合、リバース接続する。これに代えて、Ｍ個のクロススイッチ３８のそれぞれは、対応する入力信号の値が＋１である場合、リバース接続し、対応する入力信号の値が－１である場合、ストレート接続してもよい。

図５は、正側電流源３２、負側電流源３４およびコンパレータ３６の動作を説明するための図である。

正側電流源３２は、第１セル７２－１に対して、Ｉ_Ｐ＿１の電流を出力する。また、正側電流源３２は、第２セル７２－２に対して、Ｉ_Ｐ＿２の電流を出力する。そして、正側電流源３２は、第Ｍセル７２－Ｍに対して、Ｉ_Ｐ＿Ｍの電流を出力する。従って、正側電流源３２は、正側端子４６から、Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍの電流を出力する。

また、正側電流源３２は、Ｄ個の第１ＦＥＴ４８を有する。Ｄ個の第１ＦＥＴ４８は、同一の特性を有し、同一の接続関係となっている。従って、Ｄ個の第１ＦＥＴ４８は、同一のドレイン電流（Ｉｄ_１）を流す。

また、Ｄ個の第１ＦＥＴ４８のドレイン電流（Ｉｄ_１）の合計は、Ｄ×Ｉｄ_１である。Ｄ個の第１ＦＥＴ４８のドレイン電流（Ｉｄ_１）は、全て正側端子４６に供給される。従って、Ｄ×Ｉｄ_１＝（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）となる。つまり、Ｄ個の第１ＦＥＴ４８のそれぞれのドレイン電流（Ｉｄ_１）は、（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）／Ｄとなる。

負側電流源３４は、第１セル７２－１に対して、Ｉ_Ｎ＿１の電流を出力する。また、負側電流源３４は、第２セル７２－２に対して、Ｉ_Ｎ＿２の電流を出力する。そして、負側電流源３４は、第Ｍセル７２－Ｍに対して、Ｉ_Ｎ＿Ｍの電流を出力する。従って、負側電流源３４は、負側端子５０から、Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍの電流を出力する。

負側電流源３４は、Ｄ個の第２ＦＥＴ５２を有する。Ｄ個の第２ＦＥＴ５２は、同一の特性を有し、同一の接続関係となっている。従って、Ｄ個の第２ＦＥＴ５２は、同一のドレイン電流（Ｉｄ_２）を流す。

また、Ｄ個の第２ＦＥＴ５２のドレイン電流（Ｉｄ_２）の合計は、Ｄ×Ｉｄ_２である。Ｄ個の第２ＦＥＴ５２のドレイン電流（Ｉｄ_２）は、全て負側端子５０に供給される。従って、Ｄ×Ｉｄ_２＝（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）となる。つまり、Ｄ個の第２ＦＥＴ５２のそれぞれのドレイン電流（Ｉｄ_２）は、（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）／Ｄとなる。

正側電流源３２は、第１電圧として、正側端子４６に発生する電圧を出力する。正側端子４６に発生する電圧は、第２基準電位（例えば、Ｖ_ＤＤ）から、第１ＦＥＴ４８のゲート－ソース間電圧（Ｖ_ＧＳ１）を減じた電位である。

また、負側電流源３４は、第２電圧として、負側端子５０に発生する電圧を出力する。負側端子５０に発生する電圧は、第２基準電位（例えば、Ｖ_ＤＤ）から、第２ＦＥＴ５２のゲート－ソース間電圧（Ｖ_ＧＳ２）を減じた電位である。

コンパレータ３６は、第１電圧と第２電圧との差（Ｖｄ）が０より小さいか、０以上であるかを判定する。例えば、コンパレータ３６は、第１電圧と第２電圧との差（Ｖｄ）が０より小さい場合、第１論理値（例えば－１）を出力し、０以上である場合、第２論理値（例えば＋１）を出力する。

ここで、第１電圧と第２電圧との差（Ｖｄ）は、第１ＦＥＴ４８のゲート－ソース間電圧（Ｖ_ＧＳ１）から、第２ＦＥＴ５２のゲート－ソース間電圧（Ｖ_ＧＳ２）を減じた電圧に等しい。

第１ＦＥＴ４８のゲート－ソース間電圧（Ｖ_ＧＳ１）は、第１ＦＥＴ４８のドレイン電流（Ｉｄ_１）に比例した値である。また、第２ＦＥＴ５２のゲート－ソース間電圧（Ｖ_ＧＳ２）は、第２ＦＥＴ５２のドレイン電流（Ｉｄ_２）に比例した値である。また、第１ＦＥＴ４８と第２ＦＥＴ５２とは、同一の特性である。従って、第１電圧と第２電圧との差（Ｖｄ）は、第１ＦＥＴ４８のドレイン電流（（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）／Ｄ）から、第２ＦＥＴ５２のドレイン電流（（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）／Ｄ）を減じた電流に比例する。

以上から、中間信号（ｙ）は、第１ＦＥＴ４８のドレイン電流（（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）／Ｄ）から、第２ＦＥＴ５２のドレイン電流（（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）／Ｄ）を減じた電流が、０より小さいか、または、０以上であるか否かを表す。

ここで、正側電流源３２が有する第１ＦＥＴ４８の個数（Ｄ）と、負側電流源３４が有する第２ＦＥＴ５２の個数（Ｄ）は、同一である。また、コンパレータ３６は、０を閾値として、値を反転させている。第１ＦＥＴ４８のドレイン電流（（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）／Ｄ）から、第２ＦＥＴ５２のドレイン電流（（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）／Ｄ）を減じた電流の０クロス点と、正側端子４６から出力される合計の電流（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）から、負側端子５０から出力される合計の電流（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）を減じた電流の０クロス点とは、同一である。従って、中間信号（ｙ）は、正側端子４６から出力される合計の電流（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）から、負側端子５０から出力される合計の電流（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）を減じた電流が、０より小さいか、０以上であるか否かを表す。

正側端子４６から第ｉセル７２－ｉへと出力される電流（Ｉ_Ｐ＿ｉ）と、負側端子５０から第ｉセル７２－ｉへと出力される電流（Ｉ_Ｎ＿ｉ）との差（Ｉ_Ｐ＿ｉ－Ｉ_Ｎ＿ｉ）は、第ｉの係数（ｗ_ｉ）と第ｉの入力信号（ｘ_ｉ）との乗算値（ｗ_ｉ・ｘ_ｉ）を表す。そして、正側端子４６から出力される合計の電流（Ｉ_Ｐ＿１＋Ｉ_Ｐ＿２＋…＋Ｉ_Ｐ＿Ｍ）から、負側端子５０から出力される合計の電流（Ｉ_Ｎ＿１＋Ｉ_Ｎ＿２＋…＋Ｉ_Ｎ＿Ｍ）を減じた電流は、Ｍ個の入力信号とＭ個の係数との積和演算（乗累算）値を表す。

従って、中間信号（ｙ）は、Ｍ個の入力信号とＭ個の係数との積和演算値（乗累算値）が、０より小さいか、または、０以上であるか否かを表す。

このように、積和演算回路３０は、Ｍ個の係数との積和演算（乗累算）をアナログ処理により実行することができる。そして、積和演算回路３０は、積和演算値に対応する信号に対して符号関数処理をして、中間信号を生成することができる。

なお、図４および図５には、リザーバ回路１２が有する積和演算回路３０の符号を示したが、推論回路１４が有する積和演算回路３０も、略同一構成を有する。

ただし、推論回路１４が有する積和演算回路３０は、Ｎ個の中間信号（ｙ）を受け取る。コンパレータ３６は、中間信号（ｙ）に代えて、出力信号（ｚ）を出力する。推論回路１４が有する積和演算回路３０は、Ｍ個のクロススイッチ３８に代えて、Ｎ個のクロススイッチ３８を有する。Ｎ個のクロススイッチ３８のそれぞれは、Ｎ個の中間信号のそれぞれに対応して設けられる。係数記憶部４２は、Ｍ個のセル７２に代えて、Ｎ個の係数のそれぞれに対応するＮ個のセル７２を有する。

図６は、コンパレータ３６の出力の遅延を説明するための図である。

リザーバ回路１２が有するＮ個の積和演算回路３０のそれぞれは、Ｍ個の入力信号と、設定されているＭ個の係数とを積和演算した値に応じた電圧を受け取り、受け取った電圧を２値化し、２値化した信号をＮ個の中間信号のうちの対応する中間信号として出力するコンパレータ３６を含む。また、推論回路１４が有するＬ個の積和演算回路３０のそれぞれは、Ｎ個の中間信号と、設定されているＮ個の係数とを積和演算した値に応じた電圧を受け取り、受け取った電圧を２値化し、２値化した信号をＬ個の出力信号のうちの対応する出力信号として出力するコンパレータ３６を含む。

ここで、コンパレータ３６は、出力を第１論理値（例えば、－１）から第２論理値（例えば、＋１）へと反転させる場合、印加される電圧（第１電圧と第２電圧との差（Ｖｄ））が大きい程、高速に動作する。すなわち、コンパレータ３６は、印加される電圧が大きい場合（Ｖｄ＝大）における応答遅延量（ｔｄ_１）より、印加される電圧が小さい場合（Ｖｄ＝小）における応答遅延量（ｔｄ_２）の方が大きい。

コンパレータ３６に印加される電圧（Ｖｄ）は、設定されている係数の値の合計値が大きい程、大きくなる。従って、積和演算回路３０は、設定されている係数の値の合計値が大きい程、応答遅延量が小さい。つまり、積和演算回路３０は、設定されている係数の値の合計値が大きい程、信号を発火させるまでの遅延量が小さい。

反対に、積和演算回路３０は、設定されている係数の値の合計値が小さい程、応答遅延量が大きい。つまり、積和演算回路３０は、設定されている係数の値の合計値が小さい程、信号を発火させるまでの遅延量が大きい。

従って、制御回路１６は、リザーバ回路１２が有する複数の積和演算回路３０に設定されている複数の係数を調整することにより、Ｎ個の中間信号が発火するまでの遅延量を調整することができる。同様に、制御回路１６は、推論回路１４が有する複数の積和演算回路３０に設定されている複数の係数を調整することにより、Ｌ個の出力信号が発火するまでの遅延量を調整することができる。

図７は、制御回路１６の機能構成を、リザーバ回路１２、推論回路１４および係数メモリ１８とともに示す図である。

係数メモリ１８は、第１記憶部１１２と、第２記憶部１１４とを有する。制御回路１６は、第１設定部１２２と、第２設定部１２４と、第１遅延検出部１３２と、第１更新部１３４と、パターン調整部１３６と、第２遅延検出部１３８と、第２更新部１４０と、第３遅延検出部１４２と、第３更新部１４４とを有する。

第１記憶部１１２は、リザーバ回路１２に設定されている複数の係数に一対一に対応する複数のデジタル係数値を記憶する。第１設定部１２２は、第１記憶部１１２に記憶されている複数のデジタル係数値に基づき、リザーバ回路１２に設定されている複数の係数を変更する。

第２記憶部１１４は、推論回路１４に設定されている複数の係数に一対一に対応する複数のデジタル係数値を記憶する。第２設定部１２４は、第２記憶部１１４に記憶されている複数のデジタル係数値に基づき、推論回路１４に設定されている複数の係数を変更する。

リザーバ回路１２および推論回路１４に設定されている複数の係数のそれぞれは、第１階調数により表される。本実施形態において、リザーバ回路１２および推論回路１４に設定されている複数の係数のそれぞれは、２値により表される。また、第１記憶部１１２および第２記憶部１１４に記憶された複数のデジタル係数値のそれぞれは、第１階調数より多い第２階調数により表される。例えば、第１記憶部１１２および第２記憶部１１４に記憶された複数のデジタル係数値のそれぞれは、８ビットで表される。第１設定部１２２は、第１記憶部１１２に記憶されている複数のデジタル係数値のそれぞれを第１階調数に変換し、第１階調数で表された複数のデジタル係数値に基づき、リザーバ回路１２に設定されている複数の係数を変更する。第２設定部１２４は、第２記憶部１１４に記憶されている複数のデジタル係数値のそれぞれを第１階調数に変換し、第１階調数で表された複数のデジタル係数値に基づき、推論回路１４に設定されている複数の係数を変更する。

第１遅延検出部１３２は、学習時において、第１遅延時間を検出する。第１遅延時間は、リザーバ回路１２に対するＭ個の入力信号の印加タイミングから、Ｎ個の中間信号の発火タイミングまでの時間である。例えば、リザーバ回路１２に、Ｍ個の入力信号のうちのｉ番目（ｉは、１以上、Ｍ以下の整数）の入力信号が印加され、リザーバ回路１２がＮ個の中間信号のうちのｊ番目（ｊは、１以上Ｎ以下の整数）の中間信号を発火させたとする。この場合、印加タイミングは、Ｍ個の入力信号のうちのｉ番目の入力信号がリザーバ回路１２に印加されたタイミングである。また、この場合、発火タイミングは、印加タイミングの後、Ｎ個の中間信号のうちのｊ番目の中間信号が最初に発火したタイミングである。すなわち、この場合、第１遅延時間は、ｉ番目の入力信号の印加タイミングから、ｊ番目の中間信号の最初の発火タイミングまでの時間である。

第１更新部１３４は、学習時において、第１遅延時間に応じて、リザーバ回路１２に設定されている複数の係数を調整する。より具体的には、第１更新部１３４は、第１遅延時間が長くなるように、リザーバ回路１２に設定されている複数の係数を調整する。

例えば、リザーバ回路１２に、Ｍ個の入力信号のうちのｉ番目の入力信号が印加され、リザーバ回路１２が、Ｎ個の中間信号のうちのｊ番目の中間信号を発火させた場合、第１更新部１３４は、第１遅延時間に応じて、リザーバ回路１２に設定されている複数の係数のうちの対象係数と、リザーバ回路１２に設定されている複数の係数のうちの対象係数以外の係数群との相対関係を調整する。対象係数は、リザーバ回路１２が有するＮ個の積和演算回路３０のうちのｊ番目の中間信号を出力する積和演算回路３０に設定されているＭ個の係数のうちの、ｉ番目の入力信号に乗算される係数である。

例えば、第１更新部１３４は、第１遅延時間が予め設定された閾値より短い場合、対象係数を相対的に減少させ、対象係数以外の係数群を相対的に増加させてもよい。また、例えば、第１更新部１３４は、第１遅延時間が短い程、対象係数の相対的な減少量を大きくし、対象係数以外の係数群の相対的な増加量を大きくしてもよい。これにより、第１更新部１３４は、第１遅延時間が長くなるように、リザーバ回路１２に設定されている複数の係数を調整することができる。

なお、リザーバ回路１２に設定されている複数の係数を調整する場合、第１更新部１３４は、第１記憶部１１２に記憶されている複数のデジタル係数値を調整する。第１更新部１３４により複数のデジタル係数値が調整された場合、第１設定部１２２は、調整後の複数のデジタル係数値に基づき、リザーバ回路１２に設定されている複数の係数を変更する。

パターン調整部１３６は、教師有り学習時において、訓練データに応じたＭ個の入力信号をリザーバ回路１２に供給する。パターン調整部１３６は、教師有り学習時において、訓練データに応じたＭ個の入力信号がリザーバ回路１２に供給された場合に、Ｌ個の出力信号の発火パターンを取得する。そして、パターン調整部１３６は、訓練データに応じたＭ個の入力信号がリザーバ回路１２に供給された場合に、Ｌ個の出力信号のうち訓練データに対応する教師データに示された出力信号が発火するように、推論回路１４に設定されている複数の係数を調整する。

なお、推論回路１４に設定されている複数の係数を調整する場合、パターン調整部１３６は、第２記憶部１１４に記憶されている複数のデジタル係数値を調整する。パターン調整部１３６により複数のデジタル係数値が調整された場合、第２設定部１２４は、調整後の複数のデジタル係数値に基づき、推論回路１４に設定されている複数の係数を変更する。

第２遅延検出部１３８は、教師有り学習時において、第２遅延時間を検出する。第２遅延時間は、リザーバ回路１２に対する教師有り学習時における訓練データに応じたＭ個の入力信号の印加タイミングから、Ｌ個の出力信号のうちの訓練データに対応する教師データに示されたｋ番目（ｋは、１以上、Ｌ以下の整数）の出力信号の発火タイミングまでの時間である。また、第２遅延時間は、訓練データに応じたＭ個の入力信号がリザーバ回路１２に印加された場合における、推論回路１４に対するＮ個の中間信号の印加タイミングから、Ｌ個の出力信号のうちの訓練データに対応する教師データに示されたｋ番目の出力信号の発火タイミングまでの時間であってもよい。

第２更新部１４０は、第２遅延時間に応じて、推論回路１４に設定されている複数の係数を調整する。より具体的には、第２更新部１４０は、第２遅延時間が短くなるように、推論回路１４に設定されている複数の係数を調整する。

例えば、リザーバ回路１２に、訓練データに応じたＭ個の入力信号が印加され、推論回路１４が、Ｌ個の出力信号のうちの教師データに示されたｋ番目の出力信号を発火させた場合、第２更新部１４０は、第２遅延時間に応じて、推論回路１４に設定されている複数の係数のうちの出力係数群と、推論回路１４に設定されている複数の係数のうちの出力係数群以外の係数群との相対関係を調整する。出力係数群は、推論回路１４に含まれるＬ個の積和演算回路３０のうちのｋ番目の出力信号を出力する積和演算回路３０に設定されているＮ個の係数である。

例えば、第２更新部１４０は、第２遅延時間が予め設定された閾値より長い場合、出力係数群を相対的に増加させ、出力係数群以外の係数群を相対的に減少させてもよい。また、第２更新部１４０は、第２遅延時間が長い程、出力係数群の相対的な増加量を大きくし、出力係数群以外の係数群の相対的な減少量を大きくしてもよい。これにより、第２更新部１４０は、第２遅延時間が短くなるように、推論回路１４に設定されている複数の係数を調整することができる。

なお、推論回路１４に設定されている複数の係数を調整する場合、第２更新部１４０は、第２記憶部１１４に記憶されている複数のデジタル係数値を調整する。第２更新部１４０により複数のデジタル係数値が調整された場合、第２設定部１２４は、調整後の複数のデジタル係数値に基づき、推論回路１４に設定されている複数の係数を変更する。

第３遅延検出部１４２は、学習時において、トータル遅延時間を検出する。トータル遅延時間は、リザーバ回路１２に対するＭ個の入力信号の印加タイミングから、Ｌ個の出力信号の発火タイミングまでの時間である。例えば、リザーバ回路１２に、Ｍ個の入力信号のうちのｉ番目の入力信号が印加され、推論回路１４がＬ個の出力信号のうちの何れかの出力信号を発火させたとする。この場合、トータル遅延時間は、Ｍ個の入力信号のうちのｉ番目の入力信号の印加タイミングから、Ｌ個の出力信号のうちの何れかの出力信号の発火タイミングまでの時間である。

第３更新部１４４は、学習時において、トータル遅延時間に応じて、リザーバ回路１２に設定されている複数の係数を調整する。より具体的には、第３更新部１４４は、トータル遅延時間が短くなるように、リザーバ回路１２に設定されている複数の係数を調整する。

例えば、リザーバ回路１２に、Ｍ個の入力信号のうちのｉ番目の入力信号が印加され、推論回路１４が、Ｌ個の出力信号のうちの何れかの出力信号を発火させた場合、第３更新部１４４は、トータル遅延時間に応じて、リザーバ回路１２に設定されている複数の係数のうちの入力係数群と、リザーバ回路１２に設定されている複数の係数のうちの入力係数群以外の係数群との相対関係を調整する。入力係数群は、リザーバ回路１２に設定されている複数の係数のうちのｉ番目の入力信号に乗算される係数群である。

例えば、第３更新部１４４は、トータル遅延時間が予め設定された閾値より長い場合、入力係数群を相対的に増加させ、入力係数群以外の係数群を相対的に減少させてもよい。また、第３更新部１４４は、トータル遅延時間が長い程、入力係数群の相対的な増加量を大きくし、入力係数群以外の係数群の相対的な減少量を大きくしてもよい。これにより、第３更新部１４４は、トータル遅延時間が短くなるように、リザーバ回路１２に設定されている複数の係数を調整することができる。

なお、リザーバ回路１２に設定されている複数の係数を調整する場合、第３更新部１４４は、第１記憶部１１２に記憶されている複数のデジタル係数値を調整する。第３更新部１４４により複数のデジタル係数値が調整された場合、第１設定部１２２は、調整後の複数のデジタル係数値に基づき、リザーバ回路１２に設定されている複数の係数を変更する。

図８は、切換回路２４の処理の流れを示すフローチャートである。リザーバ回路１２が有する切換回路２４は、図８に示すような流れで処理を実行する。

まず、Ｓ１１において、切換回路２４は、前段のデータ処理装置から入力データを受け取った場合、入力データに応じたＭ個の入力信号を第１演算回路２２に供給する。続いて、Ｓ１２において、切換回路２４は、第１演算回路２２から出力されたＮ個の中間信号をフィードバックして、Ｎ個の中間信号をＭ個の入力信号として第１演算回路２２に供給する。

続いて、Ｓ１３において、切換回路２４は、前段のデータ処理装置から次の入力データを受け取ったか否かを判断する。前段のデータ処理装置から次の入力データを受け取っていない場合（Ｓ１３のＮｏ）、切換回路２４は、処理をＳ１２に戻し、Ｎ個の中間信号をＭ個の入力信号として第１演算回路２２に供給する。

前段のデータ処理装置から次の入力データを受け取った場合（Ｓ１３のＹｅｓ）、切換回路２４は、処理をＳ１１に戻し、次の入力データに応じたＭ個の入力信号を第１演算回路２２に供給する。そして、切換回路２４は、Ｓ１１からＳ１３までの処理を繰り返す。

図９は、リザーバ回路１２から出力されるＮ個の中間信号の発火タイミングを示す図である。図９は、縦軸が３２個の中間信号の識別番号を示し、横軸が時間を示す。図９は、ドットで示された位置が、中間信号が発火したタイミングを示す。

切換回路２４が図８に示すような処理をした結果、リザーバ回路１２は、１または複数の中間信号が繰り返して発火するようなＮ個の中間信号を出力することができる。これにより、リザーバ回路１２は、Ｍ個の入力信号を非線形変換により高次元の特徴空間に射影したＮ個の中間信号を出力することができる。

図１０は、推論システム１０の学習時の処理の流れを示すフローチャートである。推論システム１０は、図１０に示す流れで学習処理を実行する。推論システム１０は、推論処理に先だって学習処理を実行してもよいし、推論処理と並行してリアルタイム学習処理を実行してもよい。

まず、Ｓ２１において、制御回路１６は、第１遅延調整処理を実行する。これにより、制御回路１６は、取り扱うタスクおよびデータの種類等に応じた適切な中間信号が出力されるように、リザーバ回路１２に設定されている複数の係数を調整することができる。なお、第１遅延調整処理のさらなる詳細については、図１１および図１２を参照して後述する。

続いて、Ｓ２２において、制御回路１６は、教師有り学習処理を実行する。これにより、制御回路１６は、早期に適切な推論結果が得られるように、推論回路１４に設定されている複数の係数を調整することができる。なお、教師有り学習処理のさらなる詳細については、図１３、図１４、図１５および図１６を参照して後述する。

続いて、Ｓ２３において、制御回路１６は、第２遅延調整処理を実行する。これにより、制御回路１６は、推論結果が早期に出力されるように、リザーバ回路１２に設定されている複数の係数を調整することができる。なお、第２遅延調整処理のさらなる詳細については、図１７および図１８を参照して後述する。

推論システム１０は、以上の処理を実行することにより、リザーバ回路１２に設定されている複数の係数を、取り扱うタスクおよびデータの種類等に応じて適切に調整することができる。そして、推論システム１０は、高速に、精度良く推論処理を実行することができる。

図１１は、第１遅延調整処理（Ｓ２１）の流れを示すフローチャートである。制御回路１６は、Ｓ２１の第１遅延調整処理において、図１１に示す処理を実行する。

まず、Ｓ３１において、制御回路１６は、リザーバ回路１２にｉ番目の入力信号を印加する。例えば、制御回路１６は、Ｍ個の入力信号のうちのｉ番目の入力信号を第１論理値から第２論理値に変化させる。ここで、リザーバ回路１２は、ｉ番目の入力信号が印加された場合、Ｎ個の中間信号のうちのｊ番目の中間信号が最初に発火する。

続いて、Ｓ３２において、制御回路１６は、中間信号の発火タイミングを検出する。この場合において、制御回路１６は、ｉ番目の入力信号を印加した印加タイミングの後、ｊ番目の中間信号が最初に発火したタイミングを検出する。

続いて、Ｓ３３において、制御回路１６は、第１遅延時間を検出する。第１遅延時間は、ｉ番目の入力信号の印加タイミングから、ｊ番目の中間信号の最初の発火タイミングまでの時間である。

続いて、Ｓ３４において、制御回路１６は、第１遅延時間が予め設定された第１閾値より短いか否かを判断する。制御回路１６は、第１遅延時間が第１閾値以上である場合（Ｓ３４のＮｏ）、制御回路１６は、本フローの処理を終了する。第１遅延時間が第１閾値より短い場合（Ｓ３４のＹｅｓ）、制御回路１６は、処理をＳ３５に進める。

Ｓ３５において、制御回路１６は、係数メモリ１８に記憶された、リザーバ回路１２に設定されている複数の係数に対応する複数のデジタル係数値を更新する。より具体的には、制御回路１６は、対象係数に対応するデジタル係数値を相対的に減少させ、対象係数以外の係数群に対応する複数のデジタル係数値を相対的に増加させる。対象係数は、リザーバ回路１２が有するＮ個の積和演算回路３０のうちのｊ番目の中間信号を出力する積和演算回路３０に設定されているＭ個の係数のうちの、ｉ番目の入力信号に乗算される係数である。

例えば、制御回路１６は、対象係数に対応するデジタル係数値を減少させ、対象係数以外の係数群に対応する複数のデジタル係数値を変化させなくてもよい。例えば、制御回路１６は、対象係数に対応するデジタル係数値を変化させず、対象係数以外の係数群に対応する複数のデジタル係数値を増加させてもよい。例えば、制御回路１６は、対象係数に対応するデジタル係数値を減少させ、対象係数以外の係数群の一部に対応する複数のデジタル係数値を増加させてもよい。また、制御回路１６は、第１遅延時間が短い程、対象係数に対応するデジタル係数値の相対的な減少量を大きくし、対象係数以外の係数群に対応する複数のデジタル係数値の相対的な増加量を大きくしてもよい。

続いて、Ｓ３６において、制御回路１６は、係数メモリ１８に記憶された複数のデジタル係数値に基づき、リザーバ回路１２に設定されている複数の係数を更新する。

制御回路１６は、Ｓ３６を終えると、処理をＳ３１に戻し、Ｓ３１から処理を繰り返す。制御回路１６は、第１遅延時間が第１閾値以上となるまで、または、予め定められた時間または予め定められた回数分のループ処理を実行するまで、Ｓ３１からＳ３６までの処理を繰り返す。

制御回路１６は、本フローを終了した後、印加する入力信号を変えて、再度、本フローを繰り返してもよい。例えば、制御回路１６は、Ｎ個の入力信号の全てについて、本フローを実行してもよい。

図１２は、第１遅延調整処理における係数の調整を説明するための図である。例えば、ｉ番目の入力信号を供給した場合、リザーバ回路１２は、Ｎ個の中間信号のうち、ｊ番目の中間信号を最初に発火させる。そして、第１遅延時間は、第１閾値より短いとする。

この場合、制御回路１６は、ｊ番目の中間信号を出力する積和演算回路３０に設定されているＮ個の係数のうち、ｉ番目の入力信号に乗算される対象係数を減少させる。また、制御回路１６は、リザーバ回路１２に設定されている対象係数以外の複数の係数を増加させてもよい。

これにより、制御回路１６は、第１遅延時間を長くするように、リザーバ回路１２に設定されている複数の係数を調整することができる。リザーバ回路１２は、第１遅延時間が長くなることにより、時系列に入力されるＭ個の入力信号の特徴を表すＮ個の中間信号を発生することができる。従って、制御回路１６は、第１遅延時間を長くすることにより、推論回路１４に精度良く推論をさせることができる。

図１３は、教師有り学習処理（Ｓ２２）の流れを示すフローチャートである。制御回路１６は、Ｓ２２の教師有り学習処理において、以下のＳ４１およびＳ４２の処理を実行する。

まず、Ｓ４１において、制御回路１６は、パターン学習処理を実行する。より具体的には、制御回路１６は、訓練データに応じたＭ個の入力信号がリザーバ回路１２に供給された場合に、Ｌ個の出力信号のうちの訓練データに対応する教師データに示された出力信号が発火するように、推論回路１４に設定されている複数の係数を調整する。例えば、制御回路１６は、複数の訓練データを用いて、パターン学習処理を実行してもよい。なお、パターン学習処理の一例については、図１４を参照して後述する。

続いて、Ｓ４２において、制御回路１６は、遅延量学習処理を実行する。より具体的には、制御回路１６は、訓練データに応じたＭ個の入力信号がリザーバ回路１２に供給された場合に、Ｌ個の出力信号のうちの訓練データに対応する教師データに示された出力信号が、より早く発火するように、推論回路１４に設定されている複数の係数を調整する。例えば、制御回路１６は、複数の訓練データを用いて、遅延量学習処理を実行してもよい。なお、遅延量学習処理のさらなる詳細については、図１５および図１６を参照して後述する。

図１４は、パターン学習処理（Ｓ４１）の流れを示すフローチャートである。制御回路１６は、Ｓ４１のパターン学習処理において、一例として、図１４に示す処理を実行する。

まず、Ｓ５１において、制御回路１６は、リザーバ回路１２に、訓練データに応じたＭ個の入力信号を印加する。続いて、Ｓ５２において、制御回路１６は、Ｌ個の出力信号の発火パターンを取得する。

続いて、Ｓ５３において、制御回路１６は、取得した発火パターンと、訓練データに対応する教師データに示された発火パターンとを比較して、一致するか否かを判断する。一致する場合（Ｓ５３のＹｅｓ）、制御回路１６は、本フローの処理を終了する。一致しない場合（Ｓ５３のＮｏ）、制御回路１６は、処理をＳ５４に進める。

Ｓ５４において、制御回路１６は、係数メモリ１８に記憶された、推論回路１４に設定された複数の係数に対応する複数のデジタル係数値を更新する。より具体的には、制御回路１６は、Ｌ個の出力信号のうちの教師データに示された出力信号が発火するように、推論回路１４に設定されている複数の係数に対応する複数のデジタル係数値を調整する。

続いて、Ｓ５５において、制御回路１６は、係数メモリ１８に記憶された複数のデジタル係数値に基づき、推論回路１４に設定されている複数の係数を更新する。

制御回路１６は、Ｓ５５を終えると、処理をＳ５１に戻し、Ｓ５１から処理を繰り返す。制御回路１６は、発火パターンが一致するまで、Ｓ５１からＳ５５までの処理を繰り返す。制御回路１６は、本フローを終了した後、訓練データを変えて、再度、本フローを繰り返してもよい。

図１５は、遅延量学習処理（Ｓ４２）の流れを示すフローチャートである。制御回路１６は、Ｓ４２の遅延量学習処理において、図１５に示す処理を実行する。

まず、Ｓ６１において、制御回路１６は、リザーバ回路１２に、訓練データに応じたＭ個の入力信号を印加する。続いて、Ｓ６２において、制御回路１６は、Ｌ個の出力信号のうちの、訓練データに対応する教師データに示されたｋ番目の出力信号の発火タイミングを検出する。

続いて、Ｓ６３において、制御回路１６は、第２遅延時間を検出する。第２遅延時間は、Ｍ個の入力信号の印加タイミングから、教師データに示されたｋ番目の出力信号の発火タイミングまでの時間である。または、第２遅延時間は、Ｎ個の中間信号の印加タイミング（Ｎ個の中間信号のうちの最初に発火した中間信号が推論回路１４に供給されたタイミング）から、教師データに示されたｋ番目の出力信号の発火タイミングまでの時間であってもよい。

続いて、Ｓ６４において、制御回路１６は、第２遅延時間が予め設定された第２閾値より長いか否かを判断する。制御回路１６は、第２遅延時間が第２閾値以下である場合（Ｓ６４のＮｏ）、制御回路１６は、本フローの処理を終了する。第２遅延時間が第２閾値より長い場合（Ｓ６４のＹｅｓ）、制御回路１６は、処理をＳ６５に進める。

Ｓ６５において、制御回路１６は、係数メモリ１８に記憶された、推論回路１４に設定されている複数の係数に対応する複数のデジタル係数値を更新する。より具体的には、制御回路１６は、出力係数群に対応する複数のデジタル係数値を相対的に増加させ、出力係数群以外の係数群に対応する複数のデジタル係数値を相対的に減少させる。出力係数群は、推論回路１４に含まれるＬ個の積和演算回路３０のうちのｋ番目の出力信号を出力する積和演算回路３０に設定されているＮ個の係数である。

例えば、制御回路１６は、出力係数群に対応する複数のデジタル係数値を増加させ、出力係数群以外の係数群に対応する複数のデジタル係数値を変化させなくてもよい。例えば、制御回路１６は、出力係数群に対応する複数のデジタル係数値を変化させず、出力係数群以外の係数群に対応する複数のデジタル係数値を減少させてもよい。例えば、制御回路１６は、出力係数群の一部に対応する複数のデジタル係数値を増加させ、出力係数群以外の係数群の一部に対応する複数のデジタル係数値を減少させてもよい。また、制御回路１６は、第２遅延時間が長い程、出力係数群に対応する複数のデジタル係数値の相対的な増加量を大きくし、出力係数群以外の係数群に対応する複数のデジタル係数値の相対的な減少量を大きくしてもよい。

続いて、Ｓ６６において、制御回路１６は、係数メモリ１８に記憶された複数のデジタル係数値に基づき、推論回路１４に設定されている複数の係数を更新する。

制御回路１６は、Ｓ６６を終えると、処理をＳ６１に戻し、Ｓ６１から処理を繰り返す。制御回路１６は、第２遅延時間が第２閾値以下となるまで、または、予め定められた時間または予め定められた回数分のループ処理を実行するまで、Ｓ６１からＳ６６までの処理を繰り返す。制御回路１６は、本フローを終了した後、訓練データを変えて、再度、本フローを繰り返してもよい。

図１６は、遅延量学習処理における係数の調整を説明するための図である。例えば、訓練データに応じたＭ個の入力信号をリザーバ回路１２に供給した場合、推論回路１４は、Ｌ個の出力信号のうち、教師データに示されたｋ番目の出力信号を発火させたとする。そして、第２遅延時間は、第２閾値より長いとする。

この場合、制御回路１６は、推論回路１４が有するＬ個の積和演算回路３０のうちのｋ番目の出力信号を出力する積和演算回路３０に設定されているＮ個の係数である出力係数群を増加させる。また、制御回路１６は、推論回路１４が有するＬ個の積和演算回路３０のうちの、ｋ番目の出力信号を出力する積和演算回路３０以外の積和演算回路３０に設定されている複数の係数を減少させてもよい。

これにより、制御回路１６は、第２遅延時間を短くするように、推論回路１４に設定されている複数の係数を調整することができる。推論回路１４は、第２遅延時間が短くなると、推論結果を早く出力することができる。従って、制御回路１６は、第２遅延時間を短くすることにより、推論回路１４に早期に推論をさせることができる。

図１７は、第２遅延調整処理（Ｓ２３）の流れを示すフローチャートである。制御回路１６は、Ｓ２３の第２遅延調整処理において、図１７に示す処理を実行する。

まず、Ｓ７１において、制御回路１６は、リザーバ回路１２にｉ番目の入力信号を印加する。例えば、制御回路１６は、Ｍ個の入力信号のうちのｉ番目の入力信号を第１論理値から第２論理値に変化させる。

続いて、Ｓ７２において、制御回路１６は、出力信号の発火タイミングを検出する。

続いて、Ｓ７３において、制御回路１６は、トータル遅延時間を検出する。トータル遅延時間は、Ｍ個の入力信号の印加タイミング（ｉ番目の入力信号の印加タイミング）から、Ｌ個の出力信号のうちの何れかの出力信号の発火タイミングまでの時間である。

続いて、Ｓ７４において、制御回路１６は、トータル遅延時間が予め設定された第３閾値より長いか否かを判断する。制御回路１６は、トータル遅延時間が第３閾値以下である場合（Ｓ７４のＮｏ）、制御回路１６は、本フローの処理を終了する。トータル遅延時間が第３閾値より長い場合（Ｓ７４のＹｅｓ）、制御回路１６は、処理をＳ７５に進める。

Ｓ７５において、制御回路１６は、係数メモリ１８に記憶された、リザーバ回路１２に設定されている複数の係数に対応する複数のデジタル係数値を更新する。より具体的には、制御回路１６は、入力係数群に対応する複数のデジタル係数値を相対的に増加させ、入力係数群以外の係数群に対応する複数のデジタル係数値を相対的に減少させる。入力係数群は、リザーバ回路１２に設定されている複数の係数のうちのｉ番目の入力信号に印加される係数群である。

例えば、制御回路１６は、入力係数群に対応する複数のデジタル係数値を増加させ、入力係数群以外の係数群に対応する複数のデジタル係数値を変化させなくてもよい。例えば、制御回路１６は、入力係数群に対応する複数のデジタル係数値を変化させず、入力係数群以外の係数群に対応する複数のデジタル係数値を減少させてもよい。例えば、制御回路１６は、入力係数群の一部に対応する複数のデジタル係数値を増加させ、入力係数群以外の係数群の一部に対応する複数のデジタル係数値を減少させてもよい。また、制御回路１６は、トータル遅延時間が長い程、入力係数群に対応する複数のデジタル係数値の相対的な増加量を大きくし、入力係数群以外の係数群に対応する複数のデジタル係数値の相対的な減少量を大きくしてもよい。

続いて、Ｓ７６において、制御回路１６は、係数メモリ１８に記憶された複数のデジタル係数値に基づき、リザーバ回路１２に設定されている複数の係数を更新する。

制御回路１６は、Ｓ７６を終えると、処理をＳ７１に戻し、Ｓ７１から処理を繰り返す。制御回路１６は、トータル遅延時間が第２閾値以下となるまで、または、予め定められた時間または予め定められた回数分のループ処理を実行するまで、Ｓ７１からＳ７６までの処理を繰り返す。

制御回路１６は、本フローを終了した後、印加する入力信号を変えて、再度、本フローを繰り返してもよい。例えば、制御回路１６は、Ｎ個の入力信号の全てについて、本フローを実行してもよい。

図１８は、遅延量学習処理における係数の調整を説明するための図である。例えば、ｉ番目の入力信号を供給した場合、推論回路１４は、Ｌ個の出力信号のうちの何れかの出力信号を発火させたとする。そして、トータル遅延時間は、第３閾値より長いとする。

この場合、制御回路１６は、リザーバ回路１２が有するＮ個の積和演算回路３０のそれぞれに設定されている、ｉ番目の入力信号に乗算される係数を増加させる。また、制御回路１６は、ｉ番目の入力信号に乗算される係数以外の複数の係数を減少させてもよい。

これにより、制御回路１６は、トータル遅延時間を短くするように、リザーバ回路１２に設定されている複数の係数を調整することができる。推論回路１４は、トータル遅延時間が短くなると、推論結果を早く出力することができる。従って、制御回路１６は、トータル遅延時間を短くすることにより、推論回路１４に早期に推論をさせることができる。

図１９は、制御回路１６のハードウェア構成を示す図である。制御回路１６は、例えば、図１９に示すようなハードウェア構成のプロセッシング回路により実現される。

制御回路１６は、ハードウェアプロセッサ２１０と、ＲＯＭ（Read Only Memory）２１２と、ＲＡＭ（Random Access Memory）２１４と、アナログ入出力回路２１６と、を有する。ハードウェアプロセッサ２１０、ＲＯＭ２１２、ＲＡＭ２１４およびアナログ入出力回路２１６は、バスにより接続されている。

ハードウェアプロセッサ２１０は、プログラムをＲＡＭ２１４に展開して実行し、各部を制御して入出力を行ったり、データの加工を行ったりする。ＲＯＭ２１２は、プログラムを記憶している。ＲＡＭ２１４は、ハードウェアプロセッサ２１０の作業領域として機能する。アナログ入出力回路２１６は、Ｍ個の入力信号、Ｎ個の中間信号およびＬ個の出力信号を取得して、それぞれの信号の印加タイミングおよび発火タイミングを検出する。

制御回路１６により実行させるプログラムは、第１設定モジュールと、第２設定モジュールと、第１遅延検出モジュールと、第１更新モジュールと、パターン調整モジュールと、第２遅延検出モジュールと、第２更新モジュールと、第３遅延検出モジュールと、第３更新モジュールとを有する。制御回路１６は、ハードウェアプロセッサ２１０がプログラムを実行することにより、各モジュールが主記憶装置（ＲＡＭ２１４）上にロードされる。これにより、プロセッサ（ハードウェアプロセッサ２１０）は、第１設定部１２２、第２設定部１２４、第１遅延検出部１３２、第１更新部１３４、パターン調整部１３６、第２遅延検出部１３８、第２更新部１４０、第３遅延検出部１４２および第３更新部１４４として機能する。なお、第１設定部１２２、第２設定部１２４、第１遅延検出部１３２、第１更新部１３４、パターン調整部１３６、第２遅延検出部１３８、第２更新部１４０、第３遅延検出部１４２および第３更新部１４４の一部は、制御回路１６以外のハードウェアにより実現されてもよい。

以上のように、本実施形態に係る推論システム１０によれば、取り扱うタスクおよびデータの種類等に関わらず、精度良く推論をすることができる。また、推論システム１０によれば、高速に、推論をすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 推論システム
１２ リザーバ回路
１４ 推論回路
１６ 制御回路
１８ 係数メモリ
２２ 第１演算回路
２４ 切換回路
２６ 第２演算回路
２８ 出力回路
３０ 積和演算回路
３６ コンパレータ
１１２ 第１記憶部
１１４ 第２記憶部
１２２ 第１設定部
１２４ 第２設定部
１３２ 第１遅延検出部
１３４ 第１更新部
１３６ パターン調整部
１３８ 第２遅延検出部
１４０ 第２更新部
１４２ 第３遅延検出部
１４４ 第３更新部

Claims (19)

1. Ｍ個（Ｍは、２以上の整数）の第１信号を受け取り、Ｎ個（Ｎは、２以上の整数）の第２信号を出力するリカレントニューラルネットワーク回路と、
   前記Ｍ個の第１信号の印加タイミングから前記Ｎ個の第２信号の発火タイミングまでの第１遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている複数の係数を調整する制御回路と、
   を備え、
   前記Ｍ個の第１信号のそれぞれは、２値を表し、
   前記Ｎ個の第２信号のそれぞれは、２値を表し、
   前記リカレントニューラルネットワーク回路は、前記Ｎ個の第２信号に対応するＮ個の積和演算回路を有し、
   前記Ｎ個の積和演算回路のそれぞれは、前記Ｍ個の第１信号に対応するＭ個の係数が設定され、
   前記リカレントニューラルネットワーク回路に、前記Ｍ個の第１信号のうちのｉ番目（ｉは、１以上Ｍ以下の整数）の第１信号が印加され、前記リカレントニューラルネットワーク回路が、前記Ｎ個の第２信号のうちのｊ番目（ｊは、１以上Ｎ以下の整数）の第２信号を発火させた場合、
   前記制御回路は、前記第１遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている複数の係数のうちの対象係数と、前記リカレントニューラルネットワーク回路に設定されている複数の係数のうちの前記対象係数以外の係数群との相対関係を調整し、
   前記対象係数は、前記リカレントニューラルネットワーク回路が有する前記Ｎ個の積和演算回路のうちの前記ｊ番目の第２信号を出力する積和演算回路に設定されている前記Ｍ個の係数のうちの、前記ｉ番目の第１信号に乗算される係数である
   処理装置。
2. 前記印加タイミングは、前記Ｍ個の第１信号のうちの前記ｉ番目の第１信号が前記リカレントニューラルネットワーク回路に印加されたタイミングであり、
   前記発火タイミングは、前記印加タイミングの後、前記Ｎ個の第２信号のうちの前記ｊ番目の第２信号が最初に発火したタイミングである
   請求項１に記載の処理装置。
3. 前記Ｎ個の積和演算回路のそれぞれは、前記Ｍ個の第１信号と、設定されている前記Ｍ個の係数とを積和演算した値に応じた電圧を受け取り、受け取った前記電圧を２値化し、２値化した信号を前記Ｎ個の第２信号のうちの対応する第２信号として出力するコンパレータを含む
   請求項１または２に記載の処理装置。
4. 前記制御回路は、前記第１遅延時間が予め設定された閾値より短い場合、前記対象係数を相対的に減少させ、前記対象係数以外の係数群を相対的に増加させる
   請求項３に記載の処理装置。
5. 前記制御回路は、前記第１遅延時間が短い程、前記対象係数の相対的な減少量を大きくし、前記対象係数以外の係数群の相対的な増加量を大きくする
   請求項４に記載の処理装置。
6. Ｍ個（Ｍは、２以上の整数）の第１信号を受け取り、Ｎ個（Ｎは、２以上の整数）の第２信号を出力するリカレントニューラルネットワーク回路と、
   前記Ｍ個の第１信号の印加タイミングから前記Ｎ個の第２信号の発火タイミングまでの第１遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている複数の係数を調整する制御回路と、
   を備え、
   前記リカレントニューラルネットワーク回路は、
   前記Ｍ個の第１信号を受け取り、前記Ｎ個の第２信号を出力するニューラルネットワーク演算を実行する第１演算回路と、
   切換回路と、
   を有し、
   前記切換回路は、
   入力データを受け取った場合、前記入力データに応じた前記Ｍ個の第１信号を前記第１演算回路に供給し、
   前記入力データに応じた前記Ｍ個の第１信号を前記第１演算回路に供給した後、前記Ｎ個の第２信号を前記Ｍ個の第１信号として前記第１演算回路に供給する
   処理装置。
7. Ｍ＝Ｎである
   請求項６に記載の処理装置。
8. 前記リカレントニューラルネットワーク回路に設定されている複数の係数に対応する複数のデジタル係数値を記憶する係数メモリをさらに備え、
   前記制御回路は、
   前記第１遅延時間に応じて、前記係数メモリに記憶されている前記複数のデジタル係数値を調整し、
   前記係数メモリに記憶されている前記複数のデジタル係数値に基づき、前記リカレントニューラルネットワーク回路に設定されている複数の係数を変更する
   請求項１から７の何れか１項に記載の処理装置。
9. 前記リカレントニューラルネットワーク回路に設定されている複数の係数のそれぞれは、第１階調数により表され、
   前記複数のデジタル係数値のそれぞれは、前記第１階調数より多い第２階調数により表され、
   前記制御回路は、前記複数のデジタル係数値のそれぞれを前記第１階調数に変換し、前記第１階調数で表された前記複数のデジタル係数値に基づき、前記リカレントニューラルネットワーク回路に設定されている複数の係数を変更する
   請求項８に記載の処理装置。
10. Ｍ個（Ｍは、２以上の整数）の入力信号を受け取り、Ｎ個（Ｎは、２以上の整数）の中間信号を出力するリカレントニューラルネットワーク回路と、
    前記Ｎ個の中間信号を受け取り、Ｌ個（Ｌは、２以上の整数）の出力信号を出力する推論ニューラルネットワーク回路と、
    前記リカレントニューラルネットワーク回路に設定されている複数の係数および前記推論ニューラルネットワーク回路に設定されている複数の係数を調整する制御回路と、
    を備え、
    前記制御回路は、前記Ｍ個の入力信号の印加タイミングから前記Ｌ個の出力信号の発火タイミングまでのトータル遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている複数の係数を調整する
    推論システム。
11. 前記Ｍ個の入力信号のそれぞれは、２値を表し、
    前記Ｎ個の中間信号のそれぞれは、２値を表し、
    前記Ｌ個の出力信号のそれぞれは、２値を表し、
    前記リカレントニューラルネットワーク回路は、前記Ｎ個の中間信号に対応するＮ個の積和演算回路を有し、
    前記Ｎ個の積和演算回路のそれぞれは、前記Ｍ個の入力信号に対応するＭ個の係数が設定され、
    前記リカレントニューラルネットワーク回路に、前記Ｍ個の入力信号のうちのｉ番目（ｉは、１以上Ｍ以下の整数）の入力信号が印加された場合、
    前記制御回路は、前記トータル遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている入力係数群と、前記リカレントニューラルネットワーク回路に設定されている前記入力係数群以外の係数群との相対関係を調整し、
    前記入力係数群は、前記リカレントニューラルネットワーク回路に設定されている複数の係数のうちの前記ｉ番目の入力信号に乗算される係数群である
    請求項１０に記載の推論システム。
12. 前記Ｎ個の積和演算回路のそれぞれは、前記Ｍ個の入力信号と、設定されている前記Ｍ個の係数とを積和演算した値に応じた電圧を受け取り、受け取った前記電圧を２値化し、２値化した信号を前記Ｎ個の中間信号のうちの対応する中間信号として出力するコンパレータを有する
    請求項１１に記載の推論システム。
13. 前記制御回路は、前記トータル遅延時間が予め設定された閾値より長い場合、前記入力係数群を相対的に増加させ、前記入力係数群以外の係数群を相対的に減少させる
    請求項１２に記載の推論システム。
14. 前記制御回路は、前記トータル遅延時間が長い程、前記入力係数群の相対的な増加量を大きくし、前記入力係数群以外の係数群の相対的な減少量を大きくする
    請求項１３に記載の推論システム。
15. 前記リカレントニューラルネットワーク回路に、前記ｉ番目の入力信号が印加され、前記リカレントニューラルネットワーク回路が、前記Ｎ個の中間信号のうちのｊ番目（ｊは、１以上Ｎ以下の整数）の中間信号を発火させた場合、
    前記制御回路は、前記Ｍ個の入力信号の印加タイミングから前記Ｎ個の中間信号の発火タイミングまでの第１遅延時間に応じて、前記リカレントニューラルネットワーク回路に設定されている複数の係数のうちの対象係数と、前記対象係数以外の係数群との相対関係を調整し、
    前記対象係数は、前記リカレントニューラルネットワーク回路に含まれる前記Ｎ個の積和演算回路のうちの前記ｊ番目の出力信号を出力する積和演算回路に設定されている前記Ｍ個の係数のうちの、前記ｉ番目の入力信号に乗算される係数である
    請求項１１から１４の何れか１項に記載の推論システム。
16. 前記推論ニューラルネットワーク回路は、前記Ｌ個の出力信号に対応するＬ個の積和演算回路を有し、
    前記Ｌ個の積和演算回路のそれぞれは、前記Ｎ個の中間信号に対応するＮ個の係数が設定され、
    前記リカレントニューラルネットワーク回路に、訓練データに応じた前記Ｍ個の入力信号が印加され、前記推論ニューラルネットワーク回路が、前記Ｌ個の出力信号のうちの教師データに示されたｋ番目（ｋは、１以上Ｌ以下の整数）の出力信号を発火させた場合、
    前記制御回路は、前記Ｍ個の入力信号の印加タイミングまたは前記Ｎ個の中間信号の印加タイミングから、前記Ｌ個の出力信号の発火タイミングまでの第２遅延時間に応じて、前記推論ニューラルネットワーク回路に設定されている複数の係数のうちの出力係数群と、前記推論ニューラルネットワーク回路に設定されている複数の係数のうちの前記出力係数群以外の係数群との相対関係を調整し、
    前記出力係数群は、前記推論ニューラルネットワーク回路に含まれる前記Ｌ個の積和演算回路のうちの前記ｋ番目の出力信号を出力する積和演算回路に設定されている前記Ｎ個の係数である
    請求項１１から１５の何れか１項に記載の推論システム。
17. 前記制御回路は、
    前記第２遅延時間が予め設定された閾値より長い場合、前記出力係数群を相対的に増加させ、前記出力係数群以外の係数群を相対的に減少させ、
    前記第２遅延時間が長い程、前記出力係数群の相対的な増加量を大きくし、前記出力係数群以外の係数群の相対的な減少量を大きくする
    請求項１６に記載の推論システム。
18. 前記制御回路は、前記訓練データに応じた前記Ｍ個の入力信号が前記リカレントニューラルネットワーク回路に供給された場合に、前記Ｌ個の出力信号のうちの前記教師データに示された出力信号が発火するように、前記推論ニューラルネットワーク回路に設定されている複数の係数を調整する
    請求項１６または１７に記載の推論システム。
19. 前記推論ニューラルネットワーク回路は、
    前記Ｎ個の中間信号を受け取り、Ｌ個の信号を出力するニューラルネットワーク演算を実行する第２演算回路と、
    前記第２演算回路から出力された前記Ｌ個の信号に対応する前記Ｌ個の出力信号を生成する出力回路と、
    を有し、
    前記出力回路は、前記Ｌ個の出力信号のそれぞれを、前記Ｌ個の信号のうちの対応する信号の発火パターンに応じて、発火させる
    請求項１０から１８の何れか１項に記載の推論システム。

Images