JP6832833B2

JP6832833B2 - リザーバコンピューティングのリザーバ層の演算を実現するデバイス及び計算機

Info

Publication number: JP6832833B2
Application number: JP2017230341A
Authority: JP
Inventors: 忠嗣奥村; 田井　光春; 光春田井; 安藤　正彦; 正彦安藤; 真斗永田; 典史亀代
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2021-02-24
Anticipated expiration: 2037-11-30
Also published as: US11423299B2; US20190164053A1; JP2019101635A

Description

本発明はリザーバコンピューティングに関する。

近年、脳神経ネットワークを模倣したニューラルネットワークが機械学習で利用されている。ニューラルネットワークは、入力層、出力層、及び隠れ層から構成される。隠れ層では、単純な変換を繰り返して、入力データを高次元のデータに変換することによって、情報の識別及び予測等、所望の出力を得ることができる。

隠れ層の変換の一例として、ニューロンの発火現象を模した非線形変換がある。ニューロンの発火現象は、ニューロンに対して閾値を超える電位の入力があった場合に、急激に膜電位が上昇し、出力が変化する非線形現象として知られている。前述の現象を再現するために、例えば、式（１）に示すシグモイド関数が用いられている。

画像等の認識で用いられるニューラルネットワークは、フィードフォワードネットワークと呼ばれる。フィードフォワードネットワークは、ある時刻の独立したデータ群を入力として扱い、データは入力層、隠れ層、出力層の順に送られる。

動画及び言語等の識別で用いられるニューラルネットワークは、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）と呼ばれる。時間変化するデータを識別するためには、時間軸上のデータの相関を含めた解析が必要となるため時系列データが入力される。そのため、リカレントニューラルネットワークの隠れ層では、過去のデータ及び現在のデータを扱った処理が実行される。

リカレントニューラルネットワークは、学習プロセスがフィードフォワードネットワークに比べて複雑となるという問題がある。また、学習プロセスの計算コストが高いという問題もある。そのため、一般的に、リカレントニューラルネットワークのニューロン数は少なく設定されている。

この課題を解決する手法として、リザーバコンピューティングという方式が知られている（例えば、特許文献１、特許文献２参照）。リザーバコンピューティングでは、隠れ層に相当するリザーバを構成するネットワークの接続は固定され、リザーバ及び出力層の接続について学習が行われる。

計算機に実装可能なリザーバコンピューティングとして、時間遅延を伴う一つの非線形ノード及び遅延ループから構成されるリザーバが提案されている（例えば、非特許文献１参照）。非特許文献１には、遅延間隔をＮ等分し、各点を仮想ノードと見なすことによって、リザーバのネットワークを構築することが記載されている。非特許文献１に記載のリザーバは、構成がシンプルであるため、電気回路又は光回路等として計算機に実装できる。

ここで、図１１を用いて、時間遅延を伴うリザーバコンピューティングの概念を説明する。また、図１２を用いて、従来のリザーバコンピューティングのリザーバ層を実現するデバイスの構造の一例を説明する。

入力部１１１０（入力層）は、入力された時系列データに対してサンプル及びホールド処理を実行する。サンプリング処理では、時間幅Ｔの区間ごとにサンプリングが行われる。ここで、Ｔは遅延時間に対応する。

入力部１１１０は、各区間のデータに対してマスク処理を実行する。マスク処理では、一つの区間のデータがＮ等分され、さらに、変調される。時間幅Ｔに含まれるＮ個の値が、リザーバ部１１２０の仮想ノード１１６０の状態として扱われる。

リザーバ部１１２０（リザーバ層）は、一つの非線形ノード１１５０及び遅延ループ１１４０から構成され、非線形変換が行われたＮ個の仮想ノード１１６０の状態を出力部１１３０に出力する。出力部１１３０（出力層）は、仮想ノード１１６０の状態に重み付け係数を乗算した値の総和を算出する。

非特許文献２には、リザーバ部１１２０を実現するリザーバデバイス１２００が記載されている。

リザーバデバイス１２００は、パワーデバイダ１２１０、増幅器１２２０、１２７０、光変調器１２３０、受光器１２５０、及び周波数フィルタ１２６０から構成される。光変調器１２３０及び受光器１２５０は、信号に遅延を与えるフィードバックループを実現するための長い光ファイバ１２４０を介して接続される。

光変調器１２３０は、非線形ノード１１５０を実現する構成であり、非特許文献２では、光変調器１２３０としてマッハツェンダー（ＭＺ）光変調器が用いられている。光ファイバ１２４０は、時間遅延を発生させる構成である。

光ファイバ１２４０の伝搬に要する時間が時間遅延空間となり、また、光ファイバ１２４０を伝搬している光信号のＮ個のパルスが仮想ノード１１６０の状態となる。光ファイバ１２４０を伝搬した後の光信号は、受光器１２５０によって電気信号に変換され、二つに分岐される。各信号は、増幅器１２７０及び出力部１１３０を実現するデバイスに出力される。増幅器１２７０から出力される信号は、フィードバック信号としてパワーデバイダ１２１０に入力される。

特表２００４−５１１８６６号公報米国特許出願公開第２０１５／０００９５４８号明細書

APPELTANT Lennert,"Information processing using a single dynamical node as complex system." Nature communications 2 (2011): 468. L. Larger, M. C. Soriano, D. Brunner, L. Appeltant, J. M. Gutierrez, L. Pesquera, C. R. Mirasso, and I. Fischer, オプティクスエクスプレス(ＯｐｔｉｃｓＥｘｐｒｅｓｓ), 20, 2012年, ｐ.3241.

非特許文献１、２に記載された時間遅延方式のリザーバコンピューティングは、ネットワークの構成が単純であるため、特許文献１、２のようにノード間を配線で結合したニューラルネットワーク及びリザーバ計算機に比べて、ノード間の接続の多様性が低いという課題がある。ノードのネットワークの構成は計算能力に寄与する要素であることから、従来の時間遅延方式のリザーバコンピューティングは計算能力が制限されるという課題がある。

本発明は、時間遅延方式のリザーバコンピューティングの利点を維持し、かつ、ノード間の接続に多様性があるリザーバ部の実現するデバイスを提供することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、リザーバコンピューティングのリザーバ層の演算を実現するデバイスであって、入力器、非線形変換器、及び出力器を有し、前記非線形変換器及び前記出力器の間は、伝播する信号に遅延を与えるフィードバックループを実現する遅延機構を有する接続経路を介して接続され、前記入力器は、入力信号及び前記出力器から出力される過去の入力信号の処理結果を重ね合わせることによって生成される第１信号を前記非線形変換器に出力し、前記非線形変換器は、前記第１信号に対して非線形な変換が行われた第２信号を出力し、前記出力器は、前記接続経路を介して受け付けた信号に基づいて第３信号を生成し、前記過去の入力信号の処理結果として、前記第３信号を前記入力器に出力し、前記第３信号を外部のデバイスに出力し、前記遅延機構は、前記第２信号を用いて遅延時間が異なる複数の第４信号を生成し、前記複数の第４信号を重ね合わせて第５信号を生成し、前記第５信号を前記出力器に出力する変換機構を含み、前記変換機構は、少なくとも一つの第４信号の強度を変更し、前記複数の第４信号を重ね合わせることを特徴とする。

本発明の一形態によれば、ノード間の接続に多様性があるリザーバを実現するデバイスを提供できる。ノード間の接続に多様性があるため、時間遅延方式のリザーバコンピューティングの計算能力を向上させることができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１のリザーバコンピューティングを実現する計算機の構成例を示す図である。実施例１の入力デバイスが実行する処理の一例を示す図である。実施例１の入力デバイスが実行する処理の一例を示す図である。実施例１の入力デバイスが実行する処理の一例を示す図である。実施例１の入力デバイスが実行する処理の一例を示す図である。実施例１のリザーバデバイスの構成例を示す図である。実施例１の周波数フィルタに入力された信号の一例を示す図である。実施例１のリザーバデバイスが出力する電気信号の一例を示す図である。実施例１のリザーバデバイスが形成する仮想ノードのネットワークの構成例を示す図である。実施例１の光ファイバを伝播する光信号の波形の一例を示す図である。実施例１の光ファイバを伝播する光信号の波形の一例を示す図である。実施例１の光ファイバを伝播する光信号の波形の一例を示す図である。実施例１のリザーバデバイスを実装する計算機を用いた事象の予測誤差とパルス幅との関係を示す図である。実施例２のリザーバデバイスの構成例を示す図である。実施例３の計算機が実行する信号処理の概念を示す図である。従来の時間遅延を伴うリザーバコンピューティングの概念を説明する図である。従来のリザーバコンピューティングのリザーバ層を実現するデバイスの構造の一例を説明する図である。従来のリザーバデバイスが形成する仮想ノードのネットワークの構成例を示す図である。従来の計算機が実行する信号処理の概念を示す図である。

以下に、図面に基づき、本発明の構成概念及び実施形態を具体的かつ詳細に説明する。なお、実施形態を説明するための全図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。なお、以下に示す図は、あくまで、実施形態の実施例を説明するものであって、図の大きさと本実施例記載の縮尺は必ずしも一致するものではない。

図１は、実施例１のリザーバコンピューティングを実現する計算機の構成例を示す図である。図２Ａ、図２Ｂ、図２Ｃ、及び図２Ｄは、実施例１の入力デバイスが実行する処理の一例を示す図である。図３は、実施例１のリザーバデバイスの構成例を示す図である。図４は、実施例１の周波数フィルタ３６０に入力された信号の一例を示す図である。

リザーバコンピューティングを実現する計算機１００は、入力デバイス１１１、リザーバデバイス１１２、及び出力デバイス１１３から構成される。

入力デバイス１１１は、リザーバコンピューティングの入力部１１１０を実現するデバイスである。ここで、図２Ａ、図２Ｂ、図２Ｃ、及び図２Ｄを用いて入力デバイス１１１が実行する処理について説明する。

入力デバイス１１１は、図２Ａに示すような時系列データｕ（ｔ）の入力を受け付けた場合、図２Ｂ及び図２Ｃに示すように、時系列データｕ（ｔ）をサンプリングし、時間幅Ｔでサンプリングされた値を保持するサンプリング及びホールド処理を実行して、ストリームｉ_ｊ（ｔ）を算出する。ここで、ｊは各区間のラベルを示す添字であり、１以上の整数とする。

入力デバイス１１１は、各ストリームｉ_ｊ（ｔ）を時間幅τごとに強度を変調するマスク処理を実行し、入力ストリームＩ_ｊ（ｔ）を算出する。これによって、図２Ｄに示すような入力ストリームＩ_ｊ（ｔ）が得られる。本実施例では、−１から＋１の二値で強度変調が行われる。ここで、τは式（２）を満たす。Ｎは一区間の分割数を表す。なお、Ｎは仮想ノード１１６０の数に対応する。

なお、変調は、振幅変調でもよいし、位相変調でもよい。変調強度は、バイナリのランダムビット列でもよいし、８値又は１６値のように離散的な多値ランダムビット列でもよい。また、連続的な強度変化を示す信号系列でもよい。バイナリのランダムビット列を用いた変調の場合、システム構成が単純にでき、また、既存のデバイスを用いて入力デバイスを実現できる等の長所がある。多値ランダムビット列、又は連続的かつカオス的な強度変化を示す信号を適用した場合、バイナリ変調に比べて多様なネットワークダイナミクスを引き起こすことができるため、計算能力が向上する。

入力デバイス１１１は、Ｎ次元ベクトルのデータに対応する入力ストリームＩ_ｊ（ｔ）をリザーバデバイス１１２に出力する。

リザーバデバイス１１２は、時間遅延を伴う一つの非線形ノード１１５０から構成されるリザーバ部１１２０を実現するデバイスである。リザーバデバイス１１２は、時間Ｔを実行周期とする処理を実行する。時間Ｔは遅延時間（遅延ネットワークの長さ）を表す。非線形ノード１１５０は、光変調器、半導体レーザ、及び光増幅器等、非線形特性を有する素子を用いて実現できる。

ここで、図３を用いて本実施例のリザーバデバイス１１２の具体的な構成を説明する。リザーバデバイス１１２は、パワーデバイダ３１０、増幅器３２０、３７０、光変調器３３０、光ファイバ３４０、受光器３５０、及び周波数フィルタ３６０から構成される。

パワーデバイダ３１０は、入力デバイス１１１から出力される入力信号及び増幅器３７０から出力されるフィードバック信号を重ね合わせ、当該信号を増幅器３２０に出力する。増幅器３２０、３７０は、電気信号を増幅する。なお、増幅器３７０の代わりに減衰器を設けてもよい。

パワーデバイダ３１０及び増幅器３２０は、遅延ループ１１４０に信号を入力する入力器として機能する。なお、入力器を実現する構成は一例であってこれに限定されない。

光変調器３３０は、非線形な入出力応答感度領域を用いて、電気信号を光信号に変換する。本実施例では、マッハツェンダー（ＭＺ）干渉型の光変調器３３０を用いている。光変調器３３０には、電気信号とともに、バイアス電圧及びレーザからの連続光が入力される。

光変調器３３０に入力された電気信号は、非線形強度変換及び電気／光変換が行われる。光変調器３３０は、式（３）に示すように、電圧Ｖとともに入力された電気信号に対して正弦的に強度が変調された光を出力する。式（３）の位相項であるφは、バイアス電圧にて調整可能なパラメータである。

例えば、強度が０から２に増加する正弦波の半周期に入力電圧の範囲を合わせることによって、式（１）のシグモイド関数に似た非線形な電気／光変換が行われる。なお、光信号はＮ次元ベクトルのデータとして扱われる。各成分の値が仮想ノード１１６０の状態となる。

光ファイバ３４０は、光信号に遅延を発生させる機構、すなわち、リザーバ部１１２０の遅延ループ１１４０を実現する構成である。本実施例では、信号処理の周波数を１００ｋＨｚに設定し、また、遅延時間を１０μ秒に設定する。この場合、光ファイバ３４０の長さを約２ｋｍに設定することによって、パワーデバイダ１２１０に出力される電気信号には１０μ秒の遅延時間が生じる。マスク信号の周波数を１０ＭＨｚ（パルス幅１００ｎｓ）とした場合、リザーバデバイス１１２は、１００個の仮想ノード１１６０から形成されるネットワークを有するリザーバ部１１２０として機能する。

本実施例では、光ファイバ３４０の一部が長さが異なる複数の経路に分岐している。各経路は、受光器３５０に入力される前に一つの経路となるように構成される。各経路の長さは異なるため、各経路を流れる光信号には異なる時間遅延が発生する。したがって、長さが異なる複数の経路は、遅延時間が異なる光信号を生成するための変換機構として機能する。

本実施例では、光ファイバ３４０の一部を、長さが１ｍ、１１ｍ、２１ｍ、３１ｍ、４１ｍの五つの経路に分岐させる。以下の説明では、長さが１ｍの経路を第１経路、長さが１１ｍの経路を第２経路、長さが２１ｍの経路を第３経路、長さが３１ｍの経路を第４経路、長さが４１ｍの経路を第５経路と記載する。なお、光ファイバ３４０には、各経路を伝播する光信号の強度を変更するための機構を設けている。当該機構は、変換機構に含めてもよいし、変換機構とは別の機構として設けてもよい。

本実施例では、パワーデバイダ３１０から第３経路を伝播して、再度、パワーデバイダ３１０に入力されるフィードバック信号の遅延時間がＴとなるように各経路の長さを設定した。また、第１経路、第２経路、第３経路、第４経路、及び第５経路を伝播する光信号の強度が５％、２０％、５０％、２０％、５％となるように設定した。

前述のように構成の光ファイバ３４０を光信号が通過した場合、第３経路を相対時間の基準とした場合、第１経路は−１００ｎｓ、第２経路は−５０ｎｓ、第４経路は＋５０ｎｓ、第５経路は＋１００ｎｓの遅延が発生する。したがって、遅延を伴った光信号を重ね合わせることによって、−１００ｎｓから＋１００ｎｓの影響を加味したダイナミクスを組み込むことができる。

受光器３５０は、光信号を電気信号に変換する。受光器３５０は、例えば、フォトダイオード等が考えられる。周波数フィルタ３６０は、電気信号から所定の周波数成分の電気信号を取得する。受光器３５０及び周波数フィルタ３６０は、入力器及び出力デバイス１１３に信号を出力する出力器として機能する。なお、出力器を実現する構成は一例であってこれに限定されない。

周波数フィルタ３６０から出力される電気信号は、出力デバイス１１３に対して出力信号として出力され、また、増幅器３７０に対してフィードバック信号として出力される。パワーデバイダ３１０は、１０μ秒後の入力信号及びフィードバック信号を重ね合わせた信号を増幅器３２０に出力する。

出力デバイス１１３は、Ｎ次元ベクトルのデータに対応する信号の各成分に重みを乗算し、成分の合計値を出力値として算出する。出力デバイス１１３が算出する出力値はスカラ値である。

以上が各デバイスの説明である。次に、本実施例のリザーバデバイス１１２の特徴について説明する。

受光器３５０又は周波数フィルタ３６０の帯域をマスク信号の周波数より小さくした場合、図４の破線で示す入力信号の波形は過渡応答によって実線のような波形に歪む。これは、時刻Ｔの電気信号が時刻（Ｔ−１００）ｎｓ前の電気信号、すなわち、τ秒前の仮想ノード１１６０の状態の影響を受けていることを示す。

ここで、図５、図６及び図１４を用いて、従来のリザーバデバイスと本実施例のリザーバデバイス１１２との違いについて説明する。

図５は、実施例１のリザーバデバイス１１２が出力する電気信号の一例を示す図である。

図５の横軸は時間を表し、縦軸は出力信号の強度を表す。なお、横軸の数字は一区間を、幅τで２０個に分割した場合のラベルを表す。矩形のグラフが入力信号を表し、実線折れ線グラフが従来の出力信号を表し、点線折れ線グラフが実施例１の出力信号を表す。

図６は、実施例１のリザーバデバイス１１２が形成する仮想ノード１１６０のネットワークの構成例を示す図である。図１３は、従来のリザーバデバイスが形成する仮想ノード１１６０のネットワークの構成例を示す図である。

図６及び図１３の横軸ｔ１及び縦軸ｔ２は時間を表す。ｔ１はリザーバ部１１２０の処理の実行周期を表す。本実施例では、ｔ１の刻み幅は遅延時間Ｔである。縦軸ｔ２は遅延ループ１１４０を構成する仮想ノード１１６０間の時間差を表す。本実施例では、ｔ２の刻み幅はτである。図６の矩形は図１１に示す遅延ループ１１４０を表し、円は仮想ノード１１６０を表す。図１３の矩形及び円も同様である。円６０１の中に記載された値は仮想ノード１１６０のラベルを表す。

時間Ｔは、リザーバデバイス１２００を含む計算機全体の動作周期に対応する。時間τは、リザーバ部１１２０内の動作周期に対応する。

入力信号及びフィードバック信号の重ね合わせは、ｔ１方向の過去の仮想ノード１１６０の影響を示す結合として説明できる。また、リザーバデバイス１２００における信号の過渡応答は、遅延ループ１１４０の過去の仮想ノード１１６０の影響を示す結合として説明できる。

図１２に示すリザーバデバイス１２００では、過渡応答は周波数フィルタ１２６０によって実現される。なお、過渡応答は、半導体デバイスのキャリアの拡散及び寿命に伴う緩和過程等の現象を用いて実現することもできる。

図５に示すように、パルス状の入力信号は、周波数フィルタ１２６０を伝播することによって実線に示すような指数関数的な過渡応答を伴った信号に変換される。なお、過渡応答は、複数の回路を経由して発生させてもよいし、周波数フィルタ１２６０以外の回路を用いて発生させてもよい。

この変換は、仮想ノード１１６０の状態が軸ｔ２方向の過去の仮想ノード１１６０の状態の影響を受けていることを意味する。したがって、従来のリザーバデバイス１２００は、図１３に示すような仮想ノード１１６０のネットワークを形成する。

図１３に示すように、時刻ｍＴにおけるｋ番目の仮想ノード１１６０の状態は、入力信号Ｉ（ｍＴ）のｋ番目の成分、時刻ｍＴにおける（ｋ−１）番目の仮想ノード１１６０の状態、及び時刻（ｍ−Ｔ）におけるｋ番目の仮想ノード１１６０の状態の影響を受ける。

図１３に示す仮想ノード１１６０のネットワークは、軸ｔ１及び軸ｔ２のいずれの結合についても、仮想ノード１１６０間の結合が一方向である。すなわち、過去から未来への方向のみの結合を形成する。複雑な結合のニューラルネットワークと比較して、ノード状態の多様性が低く、計算能力が制限される。

本実施例のリザーバデバイス１１２は、光変調器３３０から出力された光信号を微小な遅延時間を与える複数の経路に分岐し、再び一つの光信号にまとめている。この操作は、各仮想ノード１１６０の状態を示す信号の波形を時間方向に微小に広げる効果を与える。すなわち、（ｔ＋ｋτ）の仮想ノード１１６０の状態に微小時間の影響を取り込むことを意味する。

したがって、本実施例では、周波数フィルタ３６０からは、図５の破線に示すような信号が出力される。図５に示すように、本実施例の出力信号は、前述した効果によって、従来の出力信号とは異なる形状となる。

以上の説明から明らかなように、本実施例のリザーバデバイス１１２は、図６に示すような仮想ノード１１６０のネットワークを形成する。

図６に示すように、時刻ｍＴにおけるｋ番目の仮想ノード１１６０の状態は、入力信号Ｉ（ｍＴ）のｋ番目の成分、時刻ｍＴにおける（ｋ−１）番目の仮想ノード１１６０の状態、時刻ｍＴにおける（ｋ＋１）番目の仮想ノード１１６０の状態、及び時刻（ｍ−Ｔ）におけるｋ番目の仮想ノード１１６０の状態の影響を受ける。なお、ｋが（Ｎ−１）の場合（ｋ＋１）は０とする。

なお、図６に示す仮想ノード１１６０のネットワークは一例であってこれに限定されない。変換機構において発生させる遅延時間を調整することよって、遅延ループ内の他の仮想ノード１１６０の影響を与えるような仮想ノード１１６０のネットワークを形成できる。

次に、実施例１のリザーバデバイス１１２の効果について説明する。本実施例の効果を検証するために、レーザカオスの強度を予測する時系列予測タスクを実行した。

図７Ａ、図７Ｂ、及び図７Ｃは、実施例１の光ファイバ３４０を伝播する光信号の波形の一例を示す図である。図８は、実施例１のリザーバデバイス１１２を実装する計算機を用いた事象の予測誤差とパルス幅との関係を示す図である。

図７Ａ、図７Ｂ、及び図７Ｃの横軸は時間を表し、縦軸は強度を表す。図８の横軸は従来の光信号の半値幅に対する倍率を表し、縦軸は予測誤差（ＮＭＳＥ：Ｎｏｍａｌｉｚｅｄｍｅａｎｓｑｕａｒｅｅｒｒｏｒ）を表す。ここでは、光変調器３３０から出力される光信号のパルス幅は１００ｎｓとした。なお、光信号は矩形であるため、半値幅は１００ｎｓとなる。

図７Ａは、変換機構を有さない従来の光ファイバ３４０から出力される光信号の一部の波形を示す。この場合、半値幅の倍率は１．０であり、予測誤差（ＮＭＳＥ：Ｎｏｍａｌｉｚｅｄｍｅａｎｓｑｕａｒｅｅｒｒｏｒ）は０．０２１であった。

図７Ｂ及び図７Ｃは、変換機構を有する光ファイバ３４０から出力される光信号の一部の波形を示す。本実施例では、一つの仮想ノード１１６０の状態に対応するパルス状の光信号は、変換機構によって時間軸に対して広がった波形の光信号に変換される。

図７Ｂでは、光信号の半値幅が１２０ｎｓとなるように変換機構を調整した。この場合、半値幅の倍率は１．２であり、予測誤差は０．０１１であった。図７Ｃでは、光信号の半値幅が２５０ｎｓとなるように変換機構を調整した。この場合、半値幅の倍率は２．５であり、予測誤差は０．０１５となった。

以上の検証から、本実施例のリザーバデバイス１１２を用いることによって計算能力が向上することが明らかになった。また、本検証において、半値幅の倍率は１．１から１．５程度となるように変換機構を調整すれば計算能力がより高くなることが判明した。

実施例１では、光変調器３３０及び受光器３５０の間は光ファイバ３４０を用いて接続していたが、光導波路を用いてもよい。光導波路を用いる場合も図３と同様に、光導波路の一部を複数の経路に分岐させることによって、同様の効果を得ることができる。

実施例１によれば、ノード間の接続に多様性がある仮想ノード１１６０のネットワークを有するリザーバ部１１２０を実現するリザーバデバイス１１２を提供できる。これによって、時間遅延方式のリザーバコンピューティングの利点を維持しつつ、計算能力を向上できる。

実施例２は、変換機構の実現方法が実施例１と異なる。以下、実施例１との差異を中心に実施例２について説明する。

実施例２の計算機１００の構成は、実施例１と同一の構成である。また、実施例２の入力デバイス１１１及び出力デバイス１１３は、実施例１と同一の構成である。実施例２では、リザーバデバイス１１２の構成が実施例１のリザーバデバイス１１２と異なる。

図９は、実施例２のリザーバデバイス１１２の構成例を示す図である。

実施例２のリザーバデバイス１１２の光ファイバ９００以外の構成は、実施例１のリザーバデバイス１１２と同一である。

実施例２の光ファイバ９００には、光変調器３３０から出力される光信号を、伝播時間（伝搬速度）が異なる複数のモードに分けて出力する変換機構を設ける。具体的には、光ファイバ９００の一部に、コア径が大きいマルチモードファイバを用いる。

また、分散の大きなマルチモードファイバ及びレーザに代えて、線幅の広いＳＬＤ（Ｓｕｐｅｒｌｕｍｉｎｅｓｃｅｎｃｅｄｉｏｄｅ）を連続光の光源として用いることによって、光ファイバ９００を伝搬する光信号のパルス幅を広げることができる。

なお、光ファイバ９００の代わりに、複数の伝播モードを有する光導波路を用いてもよい。

実施例２によれば、実施例１と同様に、ノード間の接続に多様性がある仮想ノード１１６０のネットワークを有するリザーバ部１１２０を実現するリザーバデバイス１１２を提供できる。これによって、時間遅延方式のリザーバコンピューティングの利点を維持しつつ、計算能力を向上できる。

実施例３は、出力デバイス１１３の処理が異なる。以下、実施例１との差異を中心に実施例３について説明する。

実施例３の計算機１００の構成は、実施例１と同一の構成である。また、実施例２の入力デバイス１１１及びリザーバデバイス１１２は、実施例１と同一の構成である。実施例３では、出力デバイス１１３が実行する処理が異なる。

図１０は、実施例３の計算機１００が実行する信号処理の概念を示す図である。図１４は、従来の計算機が実行する信号処理の概念を示す図である。

従来の入力デバイス、リザーバデバイス１２００、及び出力デバイスは、周期Ｔで同期して処理を行っている。したがって、図１４に示すように、出力デバイスはＩ（Ｔ）から算出された出力信号Ｒ（Ｔ）を読み出し、出力値を算出する。

一方、実施例３の出力デバイス１１３は、図１０に示すように微小時間遅延ΔＴだけ遅れて出力信号を読み出す。ここで、ΔＴはτより小さいものとする。

この場合、図１０に示すように、出力デバイス１１３のｋ番目の出力ノードには、ｋ番目の仮想ノード１１６０の状態及び（ｋ＋１）番目の仮想ノード１１６０の状態が混在した値が入力される。これは、ｋ番目の仮想ノード１１６０及び（ｋ＋１）番目の仮想ノード１１６０の状態を重み付きで出力したことと等価である。

なお、ｋ番目の仮想ノード１１６０の状態を含む領域１００１は（ｋ−１）番目の仮想ノード１１６０の影響を受けた値であり、（ｋ＋１）番目の仮想ノード１１６０の状態を含む領域１００２はｋ番目の仮想ノード１１６０の影響を受けた値である。

実施例３によれば、リザーバ層及び出力層の接続の多様性が増すため、計算能力が向上する。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１００計算機
１１１入力デバイス
１１２リザーバデバイス
１１３出力デバイス
３１０パワーデバイダ
３２０、３７０増幅器
３３０光変調器
３４０、９００光ファイバ
３５０受光器
３６０周波数フィルタ
１１１０入力部
１１２０リザーバ部
１１３０出力部
１１４０遅延ループ
１１５０非線形ノード
１１６０仮想ノード

Claims

リザーバコンピューティングのリザーバ層の演算を実現するデバイスであって、
入力器、非線形変換器、及び出力器を有し、
前記非線形変換器及び前記出力器の間は、伝播する信号に遅延を与えるフィードバックループを実現する遅延機構を有する接続経路を介して接続され、
前記入力器は、入力信号及び前記出力器から出力される過去の入力信号の処理結果を重ね合わせることによって生成される第１信号を前記非線形変換器に出力し、
前記非線形変換器は、前記第１信号に対して非線形な変換が行われた第２信号を出力し、
前記出力器は、
前記接続経路を介して受け付けた信号に基づいて第３信号を生成し、
前記過去の入力信号の処理結果として、前記第３信号を前記入力器に出力し、
前記第３信号を外部のデバイスに出力し、
前記遅延機構は、前記第２信号を用いて遅延時間が異なる複数の第４信号を生成し、前記複数の第４信号を重ね合わせて第５信号を生成し、前記第５信号を前記出力器に出力する変換機構を含み、
前記変換機構は、少なくとも一つの第４信号の強度を変更し、前記複数の第４信号を重ね合わせることを特徴とするデバイス。
請求項１に記載のデバイスであって、
前記変換機構は、長さが異なる複数の信号経路及び伝搬速度が異なる複数のモードが設定可能な信号経路のいずれかを用いて実現されることを特徴とするデバイス。
リザーバコンピューティングの演算を実行する計算機であって、
前記計算機は、前記リザーバコンピューティングの入力層の演算を実現する入力デバイスと、前記リザーバコンピューティングのリザーバ層の演算を実現するリザーバデバイスと、前記リザーバコンピューティングの出力層の演算を実現する出力デバイスと、を備え、
前記リザーバデバイスは、入力器、非線形変換器、及び出力器を有し、
前記非線形変換器及び前記出力器の間は、前記非線形変換器から前記出力器に伝播する信号に時間遅延を与える遅延機構を有する接続経路を介して接続され、
前記入力器は、前記入力デバイスから出力される入力信号及び前記出力器から出力される過去の入力信号の処理結果を重ね合わせることによって生成される第１信号を前記非線形変換器に出力し、
前記非線形変換器は、前記第１信号に対して非線形な変換が行われた第２信号を出力し、
前記出力器は、
前記接続経路を介して受け付けた信号に基づいて第３信号を生成し、
前記過去の入力信号の処理結果として、前記第３信号を前記出力器に出力し、
前記第３信号を前記出力デバイスに出力し、
前記遅延機構は、前記第２信号を用いて遅延時間が異なる複数の第４信号を生成し、前記複数の第４信号を重ね合わせて第５信号を生成し、前記第５信号を前記出力器に出力する変換機構を含み、
前記変換機構は、少なくとも一つの第４信号の強度を変更し、前記複数の第４信号を重ね合わせることを特徴とする計算機。
請求項３に記載の計算機であって、
前記変換機構は、長さが異なる複数の信号経路及び伝搬速度が異なる複数のモードが設定可能な信号経路のいずれかを用いて実現されることを特徴とする計算機。
請求項４に記載の計算機であって、
前記出力デバイスは、前記第３信号の読み出しタイミングを前記第３信号の出力タイミングより微小時間だけ遅延させ、
前記微小時間は、前記計算機の動作周期を前記リザーバ層に含まれる仮想ノード数で除算した値より小さいことを特徴とする計算機。