JP7426099B2 - 光ニューラルネットワークユニットおよび光ニューラルネットワーク構成 - Google Patents

Description

本発明は、光演算デバイス、およびより詳細には、光集積型人工ニューロンネットワークに基づいた光演算デバイスに関する。

光演算は、電流ではなく可視または赤外光に対する操作を利用して、演算プロセスを実施する。一般的には、光演算は、より速い演算速度を可能にし、これは部分的には、光パルスに対する操作が対応する媒体において光の速さで発生するためである。これは、従来の演算方法において使用されるような電流を使用した演算に対してより高い帯域幅を可能にする。例えば、電流信号は、光の速さの約１０パーセントでしか伝搬せず、光演算の演算速度においてはほぼ１０倍の改善を例示する。

従来の光処理システムは、典型的には、一般的に光電子処理と呼ばれる電子・光ハイブリッド処理を利用する。これらのシステムにおいて、光信号は、データ伝送のため、および特定の処理動作のために使用され、特定の他の処理動作のために電子信号へと変更される。そのような光電子デバイスは、電子エネルギーを光子に変換するエネルギーおよびその逆のエネルギーの約３０％を損失し得る。さらには、光信号から電子信号への変換およびその逆の変換は、データの伝送および処理を遅くする。かなりの研究努力が、光・電気・光（ＯＥＯ）変換の必要性を除去し、こうして電力の必要性を少なくし、処理速度を増大させる全光演算に注がれている。

光演算の分野における別の有利な側面は、人工ニューラルネットワーク（ＡＮＮ）の実装である。一般的には、ニューラルネットワークシステムは、人間の脳の動作に対応するやり方で問題を解決することを可能にする処理を提供する。人工ニューラルネットワークは、基本的には、脳を構築する生体ニューラルネットワーク（ＢＮＮ）から発想を得たコンピュータシステムである。これらのシステムは、目的のタスクを完了するために、「学習」して自らの性能を向上させて、コマンドのセットを実行する。より詳細には、ＡＮＮは、選択されたタスクのための関連入力の処理を最適化するため、そこに提供される学習材料から関連特徴のセットを進化させる。典型的なＡＮＮシステムは、脳内のＢＮＮを構築する生体ニューロンの人工等価物である人工ニューロンと呼ばれる接続されたユニットまたはノードのセットに基づく。生体シナプスの人口等価物であるノード間の接続は、１つのノードから別のノードへ信号を伝送することができる。信号を受信する人工ニューロンは、信号を処理し、次いで対応する信号を、そこに接続された人工ニューロンに伝送するように構成される。典型的には、人工ニューロンは、層で配置される。異なる層は、それらの入力に対して異なる種類の変換を実施し、対応する出力信号を伝送し得る。信号は、第１の層（入力）から、おそらくは異なる層を何回か横断した後に、最後の層（出力）へと移動する。

光人工ニューロンユニットについてはこれまで説明がされており、開発されているところである。例えば、Ｚａｌｅｖｓｋｙらに対するＷＯ２０１７／０３３１９７は、集積光モジュールについて教示する。光モジュールは、マルチ光学カップリングチャネルを備え、人工ニューラルネットワーク（ＡＮＮ）内でのその使用を可能にする。いくつかの実施形態によると、集積光モジュールは、マルチコア光ファイバを備え、このコアは光学的にカップリングされる。

好適な訓練に従って、選択された入力データの高速かつ低電力の処理を可能にする全光学ニューラルネットワーク構成のための技術が必要とされている。本発明は、出射光信号を提供するため入力光信号の全光学処理を可能にする光ニューロンユニットを提供する。本発明の光ニューロンユニットは、概して、少なくとも１つのマルチモード光ファイバおよび対応する空間光変調器ユニットを備え、これらは一緒に、そこを通って伝送される光信号を、光ニューロンが関連付けられるニューラルネットワークの訓練プロセスによって決定される選択された空間パターンに基づいて変化させるように構成される。

マルチモード光ファイバ（ＭＭＦ）は、第１の端および第２の端、ならびに選択された長さおよび直径を有し、そこを通じて入力信号を伝搬させると同時に、伝搬する信号の空間モードを混合するために使用される。より詳細には、ＭＭＦに入力される光照射野は、ＭＭＦ構造に関する１つ以上の空間モードの結合であり得る。それぞれの群速度でＭＭＦを通って伝搬される空間モードの各々が、出力光のモード結合を変化させる。加えて、ＭＭＦを通じた伝搬は、ＭＭＦの形状および光学特性に従ってモード間で光エネルギーをシフトする光成分間の特定の混合を引き起こし得る。したがって、ＭＭＦは、入力光信号のモードの混合と関連付けられる出射信号を提供する。

空間光変調器（ＳＬＭ）ユニットは、一般的に、ＭＭＦの出力端（第２の端）に位置し、空間変調を出射光に適用するように構成される。空間変調は、位相のみ、または位相および振幅変調であり得、出力光信号に含まれるべき空間光成分をさらに選択し得る。空間変調の選択は、典型的には、光ニューロンユニットによって実施されるべき１つ以上のタスクのための訓練に基づく。より詳細には、ニューラルネットワーク構成で使用されるとき、ネットワークは、一般的に、訓練を受ける（例えば、ラベル付けされたデータセットに従って）。ネットワークの訓練の間、様々なパラメータが、ネットワークの異なる光ニューロンユニットからの出射光の空間変調と関連付けられ得る。

本発明の光ニューロンユニットは、入力および／または出力光学装置をさらに備え得る。そのような入力／出力光学装置は、一般的に、光信号をＭＭＦ内に、および／または光ニューロンユニットから外へカップリングし、それによりニューロンユニット間の効果的なカップリングを可能にし、ＭＭＦ内にカップリングされない光エネルギーの損失を低減するように構成される、１つ以上のレンズと関連付けられ得る。

本発明のいくつかの実施形態において、人工ニューロンユニットは、空間光変調器と機能的に関連付けられる制御ユニットを備え得る。制御ユニットは、空間光変調器ユニットと通信状態にあり、それにより空間光変調器を動作させる。制御ユニットは、ＭＭＦからの混合された出射光信号の空間変調の選択的変動を適用するように構成される。一般的に、ニューラルネットワーク演算タスクでは、ネットワークは、それらの内部接続および処理動作を決定するための特定の訓練プロセスを受ける。本発明のいくつかの実施形態において、選択された訓練プロセスは、人工ニューロンユニットのＭＭＦから出る光に対して空間光変調器によって適用される１つ以上の光変調パターンを決定するために使用される。したがって、空間変調の選択は、それに関連付けられた制御ユニットにおいて、目的の１つ以上のタスクを実施する人工ニューロンユニットの訓練に従って決定される。

本発明のいくつかの他の実施形態において、本発明は、人工ニューロンユニットの第１および第２の端と光学的に関連付けられたフィードバックルートを備える。フィードバックルートは、ＭＭＦの第２の端において出射光の少なくとも一部分を受信するように、および出射光の少なくとも一部分の光成分を、入力光の少なくとも一部分を混合するために人工ニューロンユニットの第１の端の方へ方向付け、それにより、混合された入力光を生成するように構成される。混合された入力光の少なくとも一部分は、ＭＭＦ内にカップリングされる。フィードバックルートは、ＭＭＦの混合された入力光および出射光のうちの少なくとも１つと関連付けられる出力光を提供するように構成される出力ポートをさらに備える。一般的には、空間光変調器は、選択された光変調パターンを出力光に適用するためにフィードバックループの出力ポートに位置し得る。代替的または追加的に、空間光変調器は、フィードバックループへの出射光のカップリングの前に出射光を変調して、フィードバックルートの変調を提供するように構成されるＭＭＦの第２の端に位置し得る。

この接続では、フィードバックループの出力ポートが混合された入力光を人工ニューロンユニットの出力として提供するいくつかの構成において、人工ニューロンユニットは、補助ポートを用いて構成され得る（例えば、ｘカプラファイバ構成）。補助ポートは、人工ニューロンユニットへ伝送されるフィードバックおよび入力光を介して出射光の少なくとも一部分の光信号を受信するように構成される。補助ポートは、フィードバックおよび入力の少なくとも一部分を介して収集される光信号を混合して、混合された光信号を選択された標的の方へ出力するようにさらに構成される。

複雑な演算タスクでは、複数の人工ニューロンユニットが一緒に関連付けられて、演算ニューラルネットワークを提供し得る。そのようなニューラルネットワークは、一般的に、１つ以上の層内に配置されるニューロンユニットの選択されたセットを用いて構成される。最上（入力）層の１つ以上のニューロンユニットは、入力信号（例えば、画像を形成する入力光）を受信し、次の層のニューロンユニットに対応する中間出力信号を伝送するように構成される。一般的には、ネットワークは全体として、１つ以上の選択されたタスクを実施するために訓練される。この目的のため、訓練は、異なる層のニューロンユニット間の接続の調整、ならびに異なるニューロンユニットの出射光に対する空間光変調を含み得る。これによりネットワークの層間に処理の１つ以上の層を提供して、入力光信号の処理結果と関連付けられる最終（出力）層の出力信号を提供する。

したがって、ニューラルネットワークは、選択される１つ以上の光学素子、および異なる層のニューラルユニット間の光路を正しく操作するための位置を含み得る。いくつかの構成において、そのような光学素子は、異なるニューロンユニットの入力および／または出力光学装置と関連付けられ得る。したがって、ニューロンユニットの入力および／または出力光学装置は、１つのニューロンユニットの出力光を次の層に位置する対応するニューロンユニット内にカップリングするように構成され得る。加えて、ニューラルネットワークはまた、異なる層のニューロンユニット間で光を方向付けるために、およびニューロンユニット内への光のカップリングを最適化するために選択される反射、屈折、および／または回折光学素子を備え得る。いくつかの構成において、１つ以上の層の１つ以上のニューロンユニットは、ニューロンユニット以外の光伝送光学素子によって置き換えられ得、そのような「受動」光伝送素子は、そこを通過する光の予め決定された一定の光学操作を提供するために使用され得る。一般的には、例えば、ニューラルネットワークは、１つ以上のビームスプリッタ素子、レンズ、波長および／または偏光選択性フィルタなどを含み得る。ネットワークの光学素子の配置は、ネットワークトポロジに従って予め決定され得るか、またはネットワークの１つ以上の演算タスクのための訓練に従って選択され得る。

さらに、いくつかの構成において、ネットワークの共通層に位置するニューロンユニットは、１つ以上の共通空間光変調器と関連付けられ得る。より詳細には、同じ層のニューロンユニットの群は、各ニューロンユニットが、その出射光を空間光変調器の対応する領域の方へ伝送するように、共通空間光変調器と関連付けられるように配置され得る。異なるニューロンユニットと関連付けられた空間光変調器の領域は、離間され得るか、または部分的に重複し得る。したがって、ニューラルネットワーク内に配置されるとき、人工ニューロンユニットの第２の端から出る光は、空間光変調器の領域上へ方向付けられて、対応する層のニューロンユニットの出力光を提供する。

上に示されるように、効率的な処理を提供するために、ニューラルネットワークは、一般的に、特定の訓練プロセスを受ける。訓練プロセスにおいて、ネットワークのパラメータは、例えば、ラベル付けされた、またはラベル付けされていないデータセットを含む、選択された訓練プロセスに従って選択される。例えば、訓練は、入力データ片に関する情報を含む１つ以上のラベル付けされたデータセットを形成する入力データ、および各入力データ片のための対応する予測出力データに基づき得る。訓練プロセスの間、ネットワークのニューロンユニット間の接続、および各ニューロンユニットの処理は、訓練データの所望の出力を提供するために変化され得る。一般的には、本発明によると、この変化は、典型的には、異なるニューロンユニットの出射光のための空間変調パターンの選択を含み得る。

この目的のため、ニューラルネットワークは、１つ以上の空間光変調器の空間光変調を選択的に決定するように、構成され、また動作可能である制御ユニットと関連付けられ得る。制御ユニットは、ニューラルネットワークと機能的に関連付けられ得、また異なる入力データ片のための様々な出力結果と関連付けられた訓練関連データを受信するように構成され得る。制御ユニットは、各入力データ片のための予測出力に従って出力結果を処理し、異なるニューロンユニットのうちの１つ以上のために空間変調を選択的に変更し得る。空間変調パターンは、典型的には、訓練データセットの最適処理を提供するために訓練プロセスに沿って反復的に変化され得る。一般的には、ニューラルネットワークの訓練を完了した後、それらの人工ニューロンの空間光変調は、ネットワークパラメータまたはタスクの調節以外は変化しない。

ニューラルネットワークのいくつかの構成において、異なるニューロンユニットと関連付けられた空間光変調の選択は、例えば、ニューロンユニットの入力光信号と出力光信号との関係を変化させることによって、信号処理に影響を及ぼし、ならびに、異なるネットワーク層のニューロンユニット間の接続に影響を及ぼし得る。より詳細には、特定の空間周波数を有する空間光パターンの選択は、変調の空間周波数によって決定される方向に出力光を伝搬させ得る。したがって、異なるニューロンユニットの空間光変調器はまた、特定のニューロンユニットから出力される光を伝搬の選択された全般的方向に沿って方向付けるため、および／または出力光を次の層の近隣ニューロンユニットの方へ方向付けるために使用され得る。

したがって、広範な態様によると、本発明は、入力光の処理のための人工ニューロンユニットであって、入力光を受信し、入力光内の２つ以上のモードの光成分に選択された混合を適用して、出射光を提供するように構成されるモード混合ユニットと、出射光の１つ以上のモードを選択するために、事前選択されたフィルタを出射光に適用し、それにより人工ニューロンユニットの出力光を提供するように構成されるフィルタリングユニットとを備える、人工ニューロンユニットを提供する。

フィルタリングユニットは、空間光変調ユニット、ソーベルフィルタ、または他のタイプのフィルタリングとして構成され得る。

いくつかの実施形態によると、モード混合ユニットは、以下：偏光配向モード、波長範囲、選択された領域内の空間モード、およびモード混合ユニットの２つ以上のコア内の空間モードのうちの少なくとも１つによって選択される２つ以上のモードを混合するように構成され得る。

モード混合ユニットはまた、線形混合を適用し、それにより入力光の２つ以上のモードの重み付き線形結合である上記出射光を提供するように構成され得る。

本発明のいくつかの実施形態によると、モード混合ユニットは、第１の端および第２の端を有するマルチモード光ファイバ（ＭＭＦ）として構成され、第１の端において入力光を受信し、ＭＭＦを通じて入力光の伝搬を可能にすると同時に、ＭＭＦ内でそれぞれの速度で伝播する入力光の空間モードを混合して出射光をもたらすように、および第２の端において出射光を出力するように構成され、フィルタリングユニットは、選択された空間的に変化する変調を出射光に対して行って出力光をもたらすように構成される空間光変調器（ＳＬＭ）として構成され得る。人工ニューロンユニットはまた、入力光をＭＭＦの第１の端内にカップリングするように構成される入力光学装置を備え得る。入力光学装置は、１つ以上のレンズを備え得る。いくつかの他の実施形態において、フィルタリングユニットは、１つ以上の処理ユニットを使用して、収集された画像データに対して、光学的に実施される、または電子的に適用されるソーベルフィルタを備え得る。

人工ニューロンユニットは、出力光と相互作用するように構成される出力光学装置をさらに備え得る。出力光学装置は、１つ以上のレンズを備え得る。

いくつかの実施形態によると、人工ニューロンユニットは、上記空間光変調器（ＳＬＭ）を動作させるように、およびそれにより適用される空間光変調を決定するように、構成され、また動作可能である制御ユニットをさらに備え得るか、またはそれと関連付けられ得る。制御ユニットは、上記ユニットを備えるニューラル処理ネットワークの訓練プロセスに従って光を出力するために空間変調を選択するように構成され得る。

いくつかの実施形態によると、人工ニューロンユニットは、ＭＭＦの上記第２の端において出射光の少なくとも一部分を受信し、上記出射光の少なくとも一部分の光成分を、上記光成分を入力光の少なくとも一部分と混合するためにＭＭＦの上記第１の端の方へ方向付けるように構成されるフィードバックルートをさらに備え得、上記フィードバックルートが、上記空間光変調器と関連付けられた出力ポートと関連付けられる。

いくつかの構成において、フィードバックルートの出力ポートは、フィードバックルートを介して収集される上記光成分と入力光の少なくとも一部分との上記混合と関連付けられた光信号を出力するように構成される補助出力ポートである。いくつかの他の構成において、フィードバックルートの出力ポートは、出力光の少なくとも一部分と関連付けられた出力を提供するように構成される。

一般的に、本発明のいくつかの実施形態によると、フィードバックルートは、ゲインユニットをさらに備え得、出射光の少なくとも一部分を、その強度を増大させるために上記ゲインユニットを通じて伝送するように構成される。ゲインユニットは、フィードバックルートを通じた光成分の伝搬の光路に沿って位置し得、またフィードバックルートを通過する光の強度を増幅させるように構成され得る。ゲインユニットは、フィードバックルートを通じて光の光路を方向付けるドープ光ファイバの形態にあり得る。

本発明のいくつかの実施形態によると、人工ニューロンユニットは、ニューラルネットワーク構造のための事前処理ユニットとして使用され得る。人工ニューロンユニットは、ニューラルネットワーク構造の１つ以上の入力ポートに位置し得、またニューラルネットワーク処理構造に提供される光信号に選択された事前処理を適用するように構成され得る。ニューラルネットワークのための事前処理入力ユニットとしての人工ニューロンユニットの使用は、入力信号のモード混合、およびニューラルネットワークによる信号処理を簡略化することを可能にする。一般的には、マルチモード光ファイバの使用は、入力データのランダム化およびスクランブリングを提供し得る。これは、低減された数のノードの使用を可能にし、所与の処理タスクのためのより低い複雑性のニューラルネットワークを提供し得る。

本発明の１つの他の広範な態様によると、本発明は、入力光を処理するための人工ニューロンユニットであって、第１の端および第２の端を有するマルチモード光ファイバ（ＭＭＦ）であって、第１の端において入力光を受信し、ＭＭＦを通じた入力光の伝搬を可能にすると同時に、ＭＭＦ内でそれぞれの速度で伝播する入力光の空間モードを混合して出射光をもたらすように、および第２の端において出射光を出力するように構成される、マルチモード光ファイバ（ＭＭＦ）と、入力光をＭＭＦの第１の端にカップリングするように構成される入力光学装置と、選択された空間的に変化する変調を出射光に対して行って出力光をもたらすように構成される空間光変調器（ＳＬＭ）と、を備える人工ニューロンユニットを提供する。

さらに別の広範な態様によると、本発明は、人工ニューロンネットワークであって、 先の項目のうちのいずれか１つに従う１つ以上の人工ニューロンユニットを備え、上記１つ以上の人工ニューロンユニットが、光信号の伝搬の経路に沿って１つ以上のニューロン層内に配置され、その結果として、光信号が、入力層の人工ニューロンユニットの入力ポートから上記ネットワークの出力信号を提供する出力層の人工ニューロンユニットの出力ポートまでの間の１つ以上の人工ニューロンユニットを通じて伝搬するように構成される、人工ニューロンネットワークを提供する。

人工ニューロンネットワークは、上記出力層の人工ニューロンユニットの少なくとも１つの出力ポートから出力光の少なくとも一部分を受信し、入力層の人工ニューロンユニットに方向付けられる入力光の少なくとも一部分との混合のために出力光の少なくとも一部分を方向付けるように、および混合された光の少なくとも一部分を出力するように構成される１つ以上のフィードバックルートをさらに備え得る。

いくつかの実施形態によると、フィードバックルートは、出力光を受信するように構成されるフィードバックユニットと、第１および第２の入力端ならびに第１および第２の出力端を有し、第１の入力端を介してフィードバックユニットから出力光の少なくとも一部分を受信し、第２の入力端を介して入力光を受信し、入力光および出力光を混合して混合された光をもたらし、混合された光の少なくとも第１の部分をＭＭＦの第１の端内へ方向付け、混合された光の少なくとも第２の部分を出力するように構成される、Ｘカプラと、を備える。

人工ニューロンネットワークは、Ｘカプラの第２の出力端に位置する全光学光変調器をさらに備え得、上記全光学光変調器が、液晶バルブとして構成される。

人工ニューロンネットワークは、Ｘカプラの第２の出力端に位置する非線形光変調器をさらに備え、非線形光変調器が、そこを通る光成分に１つ以上の非線形相互作用を適用するように構成され、上記１つ以上の非線形相互作用が、第２高調波発生、和周波数発生、差周波数発生のうちの少なくとも１つを含む。

いくつかの実施形態によると、フィードバックルートは、ＭＭＦの第２の端の近くに、またはＭＭＦの第２の端に位置する第１の半透鏡と、ＭＭＦの第１の端の近くに、またはＭＭＦの第１の端に位置する第２の半透鏡と、を備え、第１の鏡は、出力光の少なくとも一部分が、第２の端を介してＭＭＦに入り、第１の端を介してＭＭＦから出るように、出力光の少なくとも一部分を第２のＭＭＦ内へ反射させるように確認され、第２の鏡は、入力光の少なくとも一部分および少なくとも一部分がＭＭＦ内で混合して混合した光をもたらすように、出力光の少なくとも一部分を第１の端を介してＭＭＦ内へ反射させると同時に、入力光の少なくとも一部分を第１の端を介してＭＭＦ内へ伝送するように構成され、第１の鏡は、人工ニューロンネットワークが、混合された光の少なくとも一部分を出力するように構成されるように、混合された光の少なくとも一部分を伝送するように構成される。

本発明のさらにいくつかの実施形態によると、フィードバックルートは、上記入力光と混合するために出力光の上記少なくとも一部分を方向付けるように構成される１つ以上の光ファイバを備える。１つ以上の光ファイバは、シングルコアファイバ、マルチコアファイバ、および光ファイバの束のうちの１つ以上を備え得る。

さらに別の広範な態様によると、本発明は、人工ニューロンネットワークであって、本明細書に説明されるように構成される複数の人工ニューロンユニットを備え、人工ニューロンユニットが、１つ以上の人工ニューロンユニットを備える人工ニューロンユニットの第１の層であって、入力光を受信し、人工ニューロンユニットの１つ以上の後続層の人工ニューロンユニットに中間出力光を伝送するように構成される、人工ニューロンユニットの第１の層と、人工ニューロンユニットの１つ以上の先行層の中間出力光を受信するように構成される追加の１つ以上の層と、を備える１つ以上の層内に配置され、人工ニューロンユニット層の最後のものからの出力光が、所望の標的へ方向付けられる、人工ニューロンネットワークを提供する。

さらに別の広範な態様によると、本発明は、画像を処理するように構成される人工ニューロンネットワークであって、マルチモード光ファイバ（ＭＭＦ）のアレイであって、各ＭＭＦが、それぞれの第１の端およびそれぞれの第２の端を有し、ＭＭＦは、すべての第１の端が、シーンからそれぞれの入力光部分を受信するために第１の所望の形状で互いと整列されるように、およびすべての第２の端が、それぞれの出射光部分を所望の標的へ方向付けして標的においてシーンの出力画像を形成するために第２の所望の形状で整列されるように配置され、各ＭＭＦが、そこを通る光成分の伝搬を方向付けると同時に、光成分の空間モードをそれぞれの正面形状およびそれぞれの速度と混合し、それにより出射光部分をもたらすこと、ならびにそれぞれの第２の端において出射光を出力することを提供する、マルチモード光ファイバ（ＭＭＦ）のアレイと、入力光部分をＭＭＦのアレイ内にカップリングするように構成される、少なくとも１つの入力光学装置デバイスと、空間的に変化する変調を出射光部分に対して行って出力光部分をもたらすように構成される、少なくとも１つの空間光変調器（ＳＬＭ）と、を備える人工ニューロンネットワークを提供する。

いくつかの実施形態によると、人工ニューロンネットワークは、複数の入力光学装置デバイスを備え得、入力屈折デバイスのうちの少なくともいくつかが、それぞれのＭＭＦと関連付けられ、入力光部分をそれぞれのＭＭＦ内にカップリングするように構成される。

いくつかの実施形態によると、人工ニューロンネットワークは、複数のＳＬＭを備え得、ＳＬＭのうちの少なくともいくつかが、それぞれのＭＭＦと関連付けられ、それぞれの空間的に変化する変調をそれぞれのＭＭＦからの出射光部分に対して行って、それぞれの出力光放射部分をもたらすように構成される。

いくつかの実施形態によると、人工ニューロンネットワークは、ＭＭＦの一連のアレイを備え得、アレイは、前のアレイからの出力光が後続アレイへの入力として使用されるように、互いと直列に配置される。人工ニューロンネットワークは、少なくとも２つのアレイの間に位置する中間光学ユニットをさらに備え得る。中間光学ユニットは、中間屈折ユニットおよび中間ＳＬＭのうちの少なくとも１つを備え得る。

本明細書に開示される主題をより良く理解するため、およびそれが実践においてどのように実行され得るかを例示するため、これより実施形態は、非制限的な例としてのみ、添付の図面を参照して説明される。

図１は、本発明のいくつかの実施形態に従う人工ニューロンユニットを例証する図である。 図２Ａは、出射光の処理のためのフィードバックルート構成を含む人工ニューロンユニットの例であり、光ファイバベースのフィードバックルートを例証する図である。 図２Ｂは、出射光の処理のためのフィードバックルート構成を含む人工ニューロンユニットの例であり、自由空間伝搬ベースのフィードバックルートを例証する図である。 図３は、本発明のいくつかの実施形態に従うチェーンタイプのニューラルネットワークを例証する図である。 図４は、本発明のいくつかの実施形態に従う二次元ニューラルネットワーク構成を例示する図である。 図５は、本発明のいくつかの実施形態に従う中間信号混合装置を使用した追加の二次元ニューラルネットワーク構成を例示する図である。 図６は、画像データ事前処理を最適化するための、本発明のいくつかの実施形態に従う人工ニューロンユニットを使用した例示的な実験システムを例証する図である。 図７は、実験データのために使用されるＭＮＩＳＴ画像（行ａ）、画像と関連付けられた光のＭＭＦを通じた伝搬後に獲得される画像（行ｂ）、ソーベルカーネルによるフィルタリング後の画像（行ｃ）、および再構築された画像（行ｄ）を示す図である。 図８Ａは、隠れ層サイズ再構築ＡＮＮに対する再構築の誤差に関する実験結果を示し、ノードの数の関数として試験誤差を示す図である。 図８Ｂは、隠れ層サイズ再構築ＡＮＮに対する再構築の誤差に関する実験結果を示し、同様の精度を達成するために人工ニューロンユニットを使用した入力なしで必要とされるノードの比率を示す図である。 図８Ｃは、隠れ層サイズ再構築ＡＮＮに対する再構築の誤差に関する実験結果を示し、異なる入力サイズの画像について隠れ層サイズに対する誤差レベルを示す図である。 図８Ｄは、隠れ層サイズ再構築ＡＮＮに対する再構築の誤差に関する実験結果を示し、異なる入力サイズの画像について隠れ層サイズに対する誤差レベルを示す図である。 図９は、赤色、緑色、および青色照明を含む異なる照明波長における画像再構築の実験結果を示し、ＤＭＤによって投影される画像（行ａ）を示し、再構築された画像（行ｂ）を示し、出射光画像（行ｃ）を示し、ソーベルフィルタを使用してフィルタリングされた出射光（行ｄ）を示す図である。 図１０Ａは、フィルタリングされた出射光の再構築結果を示し、各色について層サイズの関数として平均二乗誤差（ＭＳＥ）を示す図である。 図１０Ｂは、フィルタリングされた出射光の再構築結果を示し、再構築された画像に適用される試験再構築ＡＮＮの精度性能を示す図である。 図１０Ｃは、フィルタリングされた出射光の再構築結果を示し、ＬＥＤ電流の関数としての誤差率を示す図である。

上に示されるように、本技術は、ニューロンネットワークコンピューティングシステム内で動作するのに好適な人工ニューロンユニットを提供する。本発明の人工ニューロンユニットは、ニューロンユニット／ネットワークの訓練に従って出力光信号を提供するために、入力光信号の光学処理を提供するように構成される。図１は、本発明のいくつかの実施形態に従う人工ニューロンユニット１００を描写する。人工ニューロンユニット１００は、マルチモードファイバ（ＭＭＦ）１０、または一般的に、以下にさらに説明されるような少なくとも１つに基づく。ＭＭＦ１０は、第１の端５ａ（すなわち、入力端）および第２の端５ｂ（すなわち、出力端）を有し、単一の幅広コア６を有する光ファイバとして構成される。追加的に、人工ニューロンユニット１００は、ＭＭＦ１０の第２の端５ｂにおいてＭＭＦ１０からアウトカップリングする光の光路に位置する空間光変調器４０を含む。いくつかの構成において、人工ニューロンユニットはまた、光をＭＭＦ１０内にカップリングするように構成される入力光学装置２０を含み得る。追加的に、人工ニューロンユニット１００はまた、出力光学装置３０を含み得、ならびに／または、制御ユニット５０および検出器ユニット８０のうちの１つ以上と関連付けられ得る。

人工ニューロンユニット１００は、典型的には入力光学装置によってＭＭＦ１０内にカップリングされる入力光ＷＦ信号を受信し、入力光信号ＷＦの空間モードに特定の混合を適用するため、およびＭＭＦの第２の端５ｂにおいて出射光ＥＬを提供するために、ＭＭＦを通じて入力光ＷＦを伝搬するように構成される。出射光ＥＬは、ニューロンユニットが訓練される人工ニューロンユニットの選択された動作／タスクに従って、空間光変調器４０によって選択的に変調され、出力光信号ＯＬを提供する。この接続では、一般的に、ニューラルタイプ構成を使用した処理技術は、ニューロンユニットの１つ以上のネットワークに基づくということに留意されたい。そのようなネットワークは、内部接続、処理パラメータが決定される選択された訓練プロセスを受ける。本明細書に説明される人工ニューロンユニット１００は、様々なネットワークトポロジにおいて使用され得るということに留意されたい。簡略性のため、人工ニューロンユニット１００は、選択された光学操作が、入力光信号ＷＦの空間モードの混合によって、および空間変調パターンを出射光ＥＬに適用することによって実施され得る処理ユニットとして本明細書では説明される。一般的には、空間光変調器４０の空間変調パターンの選択は、好適な訓練プロセスに従って、人工ニューロンユニット１００と、またはユニット１００を含むネットワークと関連付けられた制御ユニット５０によって選択される。

ＭＭＦ１０は、選択された長さ（例えば、数ミリメートルから数センチメートル）および直径（例えば、３０ミクロメートル以上、５０ミクロメートル以上）を有するマルチモードファイバであり、典型的には、複数の空間モードで伝搬する選択された波長範囲（例えば、１．５ミクロメートル）における光の伝搬をサポートするように構成される。一般的には、入力光信号は、ＭＭＦ１０の第１の端５ａにおいてＭＭＦ１０内へカップリングされる。光信号は、空間モード間の特定の混合を経ながらＭＭＦ１０を通じて伝搬されて、第２の端５ｂにおいて出射光ＥＬを提供する。

一般的には、特定の波面ＷＦ、振幅、および長さ特徴を有する入力光信号が、人工ニューロンユニット１００に伝送される。入力光信号ＷＦは、入力光学装置２０によってＭＭＦ１０内へカップリングされ、ＭＭＦ１０の第２の端５ｂの方へＭＭＦ１０内を伝搬することができる。ＭＭＦ１０を通って伝搬しながら、異なる空間モードの光信号（ＭＭＦ１０の構造上に投影されるような入力光波面ＷＦの空間形状に対応する）は、異なる速度で伝搬し、それらの間で混合を経る。ＭＭＦ１０は、ＭＭＦ１０の群速度分散特性に関して、比較的短いため、出射光ＥＬは、その特徴の大半を維持するが、異なる波面構造を有し得る。出射光ＥＬは、空間光変調器４０の方へ方向付けられ、この空間光変調器４０が、選択された空間変調を波面に適用して出力光信号ＯＬを提供する。出力光信号ＯＬは次いで、ネットワークの追加の層と関連付けられた１つ以上の追加のニューロンユニットへ、および／または対応する検出ユニット８０へ方向付けられ得る。

一般的には、簡略性のため、用語「出射光」および「混合された出射光」は、本明細書内で使用される場合、同義に、ＳＬＭ４０に達する前にＭＭＦ１０を通って伝搬した後にＭＭＦ１０の第２の端５ｂから外へカップリングされる出射光ＥＬ（例えば、信号波面）を指す。用語「出力光」は、本明細書内で使用される場合、人工ニューロンユニットの光ＯＬ出力、すなわち、選択された空間変調に従ってＳＬＭ４０によって変調される出射光を指す。

入力光学装置２０は、典型的には、ＭＭＦ１０の入力端５ａの近くに位置し、入力光ＷＦをＭＭＦ１０内にカップリングするように構成される。一般的には、入力光学装置は、１つ以上のレンズ（例えば、対物レンズユニット）などの１つ以上の光学素子を含む。入力光学装置は、好ましくは、入力光ＷＦをカップリングする一方で、その波面構造には影響を及ぼさないように構成され得る。上に示されるように、いくつかの構成において、人工ニューロンユニットはまた、ＭＭＦ１０の下流、例えば、ＭＭＦ１０とＳＬＭ４０との間、および／またはＳＬＭ４０の下流に位置する出力光学装置３０を含み得る。出力光学装置３０は、一般的に、レンズなどの１つ以上の光学素子として構成され得る。出力光学装置は、典型的には、人工ニューロンユニットから出力光ＯＬを収集し、検出ユニット８０および／または追加の１つ以上のニューロンユニットへ向かう出力光ＯＬの選択された経路に従う出力光ＯＬの伝搬の発散および／または方向に影響を及ぼす（例えば、コリメート出力光を提供する）ように構成される。

本発明のいくつかの実施形態に従う人工ニューロンユニットを利用したフィードバックループタイプ処理層の２つの例を例証する図２Ａおよび図２Ｂを参照する。図２Ａは、光ファイバベースのフィードバックルートを例証し、図２Ｂは、自由空間伝搬タイプフィードバックルートを例証する。図２Ａに示されるように、人工ニューロンユニット１００は、ＭＭＦ１０および対応する入力光学装置２０を含む。人工ニューロンユニット１００は、１つ以上の光ファイバを含む光ファイバ束として構成され、またＭＭＦ１０の第２の端５ｂから光成分を受信し、入力光信号ＷＦと混合されるように受信した光成分を方向付けて、混合した光を提供するように位置するフィードバックルート９０をさらに含む。この目的のため、フィードバックルート構成は、一般的に、フィードバックルートから入力光ＷＦおよび光成分を受信し、２つの入力を混合するためのＸカプラユニット９８を含み得る。Ｘカプラは、一般的に、ＭＭＦ１０の第１の端５ａを介してＭＭＦ１０内へ混合された光の一部分を、および別の部分を出力ポート９５の方へ伝送して、出射光を提供する。

フィードバックルート９０は、ＭＭＦ１０の第２の端５ｂから出射光ＥＬの成分を収集し（一般的には、空間光変調器４０の前に）、収集した成分をＸカプラ９８の方へ方向付けるように構成され、このＸカプラ９８で、光成分は入力光ＷＦと混合して、混合された入力光を提供する。混合された入力光は、ＭＭＦ１０の第１の端５ａへカップリングされる。さらに、混合された光の別の部分は、フィードバックルート９０から１つ以上の対応するＳＬＭ４０の方へ光成分を伝送して変調された出力光ＯＬを提供する出力ポート９５の方へ方向付けられ得る。フィードバックルート９０は、ＭＭＦ１０の第２の端５ｂとＸカプラ９８との間に位置する中間出力ポートを提供するように、または、フィードバックルート９０内への光カップリングの前に、出射光ＥＬの一部分をＳＬＭ４０の方へ方向付けながら、入力光ＷＦと混合されるように出射光ＥＬの他の部分を混合ポート９８へ伝送するように構成され得るということに留意されたい。追加的または代替的に、出力ポート９５は、変調された混合入力光の形態で出力光ＯＬを提供するために、混合された光をＳＬＭ４０の方へ方向付けるＸカプラ９８の下流に位置し得る。

フィードバックルート９０はまた、自由空間伝搬ルートとして構成され得、これは、フィードバックルートと関連付けられた人工ニューロンユニット１００を例証する図２Ｂに例示される。この目的のため、第１の少なくとも部分的に反射するユニット１３（例えば、半反射鏡）が、ＭＭＦ１０の第２の端５ｂから出る出射光ＥＬの光路内に位置する。鏡１３は、出射光ＥＬを収集し、出射光ＥＬの少なくとも一部分を、ＭＭＦ１０の第１の端の近くに位置し、光成分をＭＭＦ１０内へカップリングされるように方向付けるように位置付けられる部分的に反射する鏡１２の方へ反射するための位置である。フィードバックルートはまた、波面構造を維持し、フィードバック光成分ＦＬをＭＭＦ１０内へ再カップリングされるように方向付けるように構成され、また位置付けられる１つ以上の鏡１４および詩的素子１６を含み得る。

一般的には、入力光ＷＦは、部分的に反射する鏡１２の隣に伝搬している、またはそれを通って伝送され、フィードバックルートから到着する光成分と混合され、混合された光成分ＭＬを提供する。一般的には、いくつかの構成において、ニューロンユニットは、混合された光ＭＬを受信するように、ならびに混合された光ＭＬの一部分をＭＭＦ１０内へカップリングされるように伝送し（例えば、カップリング光学装置２２を介して）、および混合された光ＭＬの別の部分をＳＬＭ４０の方へ伝送して出力光ＯＬを提供するように構成されるビーム分割素子１５を含み得る。上に示されるように、出力光学装置３０は、ビーム直径、発散などに影響を及ぼすためにＳＬＭ４０の上流または下流に位置し得る。

したがって、フィードバックルートは、一般的に、収集した光成分をＭＭＦ１０の入力端の方へ方向付け、それによりフィードバックルートの光路に従って選択される遅延時間で信号部分同士の干渉／相関を可能にするように構成され得る。一般的には、フィードバックルートは、出射光ＥＬの空間構造を維持するように構成され得る。これは、出射光ＥＬの部分を収集し、出射光ＥＬの発散に影響を及ぼしてコリメート光を形成する好適な光学装置（例えば、ファイバ束、自由空間伝搬経路など）を使用して提供され得る。コリメート光は、自由空間伝搬のために混合ポート９８の方へ方向付けられ得るか、または、フィードバックルート９０の光ファイバ束内へカップリングされて混合ポート９８へ伝送され得る。いくつかの他の実施形態において、ＳＬＭ４０は、出射光ＥＬのフィードバックループ９０へのカップリングの前に、選択された空間変調を出射光ＥＬに対して行うためにＭＭＦ１０の第２の端５ｂに位置する。いくつかの構成において、フィードバックルートは、信号強度を増大させるために、選択されたゲイン媒体を含み得る。

本発明のいくつかの実施形態に従う点状（ゼロ）次元の多層人工ニューロンネットワーク２００の例を例証する図３を参照する。本明細書に例示される人工ニューロンネットワーク２００は、光信号の光学処理のために構成される。入力光信号、ならびに処理出力は、一般的に、ニューラルネットワークのマルチモード光ファイバによってサポートされる特定の二次元構成を有し得るということに留意されたい。この例では、ニューラルネットワークは、１つの人工ニューロンユニットの出力光が次の層の人工ニューロンユニット内にカップリングされるように、層Ｌ１、Ｌ２、Ｌｎ内に配置される複数の人工ニューロンユニット１００によって形成される。ニューラルネットワーク２００の層は、一般的に、ネットワークを通過する（およびこれによって処理される）光の伝搬の全般的方向に沿って配置される。伝搬のそのような方向は、ネットワークの層に沿って使用される光学素子に従って、ならびに層間で光信号を方向付ける選択された空間光変調によって、湾曲され得る。

ネットワーク２００の人工ニューロンユニット１００は、第１のニューロンユニットＬ１が入力光信号を受信し、空間モードの混合および選択された空間変調の混合後、ユニットＬ１の出力信号が、ニューロンユニットＬ２内にカップリングされるように伝送され、出力層の最終ニューロンユニットＬｎまでこれが続くように構成される。上に示されるように、異なるニューロンユニットの空間光変調は、入力データの好適な／正しい処理を提供するようにネットワークの訓練に従って選択される。いくつかの構成において、ニューロンユニット１００の１つ以上は、図２Ａおよび図２Ｂに例示されるようなフィードバックルートと関連付けら得るか、またはそれを含み得るということに留意されたい。一般的には、そのようなフィードバックルートは、単一のニューロンフィードバックであり得るか、または２つ以上のニューロンユニットのチェーンに沿ってフィードバックを提供し得る。

図３には詳細に示されないが、ニューラルネットワーク２００は、層間の変化する次元数を有するトポロジで形成され得る。より詳細には、単一のニューロンユニットＬ１の入力層は、２つ以上のニューロンユニットを含む第２の（隠れ）層内に中間出力を伝送し得る。さらに、２つ以上のニューロンユニットを有する層は、中間出力光を低減された数（例えば、１つの）ニューロンユニットを有する別の層に伝送するように位置付けられ、また配置され得る。一般的には、ネットワークのトポロジは、そのネットワークの人工ニューロンユニットの物理的構築および配置に従って決定され得る。信号の実際の伝搬は、特定の信号が、空間モードの混合および空間光変調器によって提供される変調に従って他の信号とは異なるルートの方へ方向付けられ得るように、訓練、および各ニューロンユニットの空間光変調の選択によって決定され得る。

一般的には、上に示されるように、ネットワーク２００の各層は、光信号が入力層Ｌ１の人工ニューロンユニットの入力ポートの間の１つ以上の人工ニューロンユニットを通って出力層Ｌｎの人工ニューロンユニットの出力ポートに伝搬して、ニューロンネットワーク２００の出力信号を提供するように、ニューロンユニットの入力ポートによって光信号を受信し、ニューロンユニットの出力ポートによって出力光信号を手続き層に伝送するように構成される事前に選択された配置（次元数およびトポロジが選択されている）で配置される１つ以上のニューロンユニットを含む。

ネットワーク２００の各ニューロンユニット１００は、光信号（例えば、入力信号、または先行層の１つ以上のニューロンユニットから）を受信し、光信号の空間モードの混合および出射光の選択された空間変調を適用し、（中間）出力光信号を手続き層の１つ以上のニューロンユニット１００に伝送するように構成されるということに留意されたい。この目的のため、光信号は、自由空間伝搬によって、例えば、手続き層にカップリングするためにニューロンユニットの入力および出力光学装置を使用して、ならびに中間出力光を、その空間特徴を維持しながら方向付けるために光ファイバ束を利用して、層間に方向付けられ得る。様々な追加の光学素子がまた、伝搬経路を維持し、ネットワーク２００の物理的配置に対応するために使用され得る。

一般的には、ニューラルネットワークは、ＷＯ２０１７／０３３１９７に説明されるような集積光モジュールなど、１つ以上の追加の光学処理ユニットを含み得る。この目的のため、マルチコアファイバ束を含む１つ以上の光モジュールは、ニューラルネットワークの１つ以上の層内で使用され得、ニューラルネットワークへの様々な追加の処理能力を可能にする。

ニューラルネットワークの追加の構成は、図４に例示される。この例では、ニューラルネットワーク３００は、３つの層Ｌ１～Ｌ３を含み、各々が、カスケード配置にあるニューロンユニット１００の二次元配置を有する。ここに示されるニューラルネットワークは、入力光信号を受信し、それを、例えば、光を分岐または集束させることによって、第１の（入力）層Ｌ１のニューロンユニット１００の入力端の方へ方向付けるように構成されるグローバル入力光学装置２を含む。例えば、光学装置２は、層Ｌ１の入力端と関連付けられた選択された平面において画像を形成するように入力光学場を方向付け、それにより、処理されるべき画像と関連付けられた光照射野波面を形成するように構成され得る。ニューラルネットワーク３００はまた、出力層（この例ではＬ３）から出力光を収集し、それを収集／検出ユニットの方へ方向付けるように構成される出力光学装置３を含み得る。例えば、出力光学装置は、ニューラルネットワーク３００の出力平面と関連付けられた平面を検出ユニット上へイメージングするように構成され得る。上に説明されるように、ニューロンユニット１００の各々の空間変調は、一般的に、１つ以上の選択されたタスクのためのネットワークの訓練に従って決定される。

追加のネットワーク構成は、図５に例示される。この例では、ニューラルネットワーク４００は、２つのサブネットワーク４１０および４２０のカスケードとして構成され、サブネットワークの間には光学装置４が位置する。光学装置４は、（例えば、層Ｌ３の）中間出力の手続き層Ｌ４へのイメージングまたはフーリエイメージングを提供するレンズ装置であり得る。追加的または代替的に、光学装置４は、中間光信号に適用されるパターンを選択または予め決定している空間光変調器を含み得る。

図４および図５に例示されるニューラルネットワーク層はまた、層の１つ以上の、またはニューロンユニットの１つ以上が、マルチコアマルチモード光ファイバによって形成されて構成され得る。より詳細には、そのようなマルチコアマルチモードファイバは、複数の光ファイバコアを含み得、複数の光ファイバコアはそれらの間で第１のカップリング速度を有し、コアの各々はマルチモードファイバ（ＭＭＦ）である。したがって、入力光は、異なるコア内へ分離され得、各コアのモード間ならびに異なるコアの光部分間で２つ以上の混合速度を可能にし得る。

一般的には、上に示されるように、本明細書に例示されるようなニューラルネットワークの構成は、訓練プロセスを管理し、空間光変調器の動作を決定するように構成される、対応する制御ユニット、例えば、コンピュータシステムと関連付けられ得るということに留意されたい。制御ユニットは、それが空間光変調パターンの選択およびネットワークの訓練に関連することから、図１および図２Ａ～２Ｂ以外には詳細に示されない。しかしながら、いくつかの構成において、制御ユニットはまた、検出システムに接続され、ニューラルネットワークの出力に関するデータを受信するように構成され得るということに留意されたい。これらの構成において、制御ユニットはまた、選択された処理を受信したデータに適用し、対応する出力を生成し得る。制御ユニットによって電子処理を使用するが、本技術に従うニューラルネットワーク構成は、一般的に、全光学であり、出力データの潜在的な検出以外に中間の光学・電子信号変換を必要としない。

本明細書に説明される人工ニューロンユニットの能力を例証するため、本発明の発明者らは、そのような単純なニューラルネットワークにおいて実際の学習タスクを可能にするためにマルチモードファイバを使用するイメージングシステムを提示するいくつかの実験を行った。レンズ６１２を介してデジタル鏡デバイスＤＭＤ６１５を照明するように構成される３つの発光ダイオード６１０を有するＲＧＢ ＤＬＰプロジェクタを含む実験システムを例証する図６を参照する。ＤＭＤ６１５は、画像を規定する選択された空間光パターンを、４Ｆレンズシステムを通じて、画像をマルチモード光ファイバ１０内にカップリングする対物レンズ６２０へ反射するように構成される。ＭＭＮ１０からの光出力は、出力レンズ６３０により収集され、カメラユニット８０によって検出される。本システムはまた、カメラユニット８０によって収集されるような出射光に適用されるソーベルフィルタを含む。

図６に例示される実験システムは、マルチモードファイバ画像を再構築または識別するためにＡＮＮと共に使用される。従来のニューラルネットワーク処理とは異なり、本技術は全光学設計として提供する。一般的には、マルチモードファイバ空間に画像を投影することは、ノードの数を著しく低減することを可能にし得る。したがって、本システムは、実験データにおいて、Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＭＮＩＳＴ）データベースから得られたデジット画像を識別することにおいて３０個未満のノードを使用して５パーセント未満の誤差率を示した。これは、マルチモードファイバを使用しない理想のシステムが、典型的には、この量の２倍超を必要とし得る間である。さらには、本システムは、さらなるイメージング目的のために、マルチモード画像をさらに再構築して色付きで元に戻すことを可能にする多色性非コヒーレント照明を使用して動作される。

実験設定において、３つの発光ダイオード（ＬＥＤ）６１０を有するＲＧＢ ＤＬＰプロジェクタは、選択された画像を提供するためにＤＭＤ６１５を照明している。プロジェクタ６１０は、１８ｎｍの帯域幅（半値全幅（ＦＷＨＭ）で測定される）で６２４ｎｍの赤色（琥珀色）、５００～６００ｎｍの波長を有する緑色、および２５ｎｍの帯域幅で４６０ｎｍの青色を含む３原色で発光するように構成される。ＤＭＤ６１５は、６０８×６８４ダイヤモンド画素のアレイを含み、０．３インチの領域を有する。ＤＭＤ６１５は、鏡の揺動周波数を制御することによって各画素のグレーレベルを決定する。４Ｆ光学システムは、対物レンズの後焦点面を充填するために対物レンズ６２０による光ファイバ１０へのカップリング後、光をファイバ１０内にカップリングするように、ＤＭＤ画像をスケーリングするように位置付けられる。光ファイバ１０は、５０μｍのコア直径および１８ｃｍの長さを有する。これにより、赤色光のためのおよそ６０００空間モード、緑色光のための６０００～９０００空間モード、および青色光のための１０，０００空間モードをサポートする光ファイバ１０を提供し、これは、Ｎ＝（２πｒ）^２／２λ^２によって得られ、式中、ｒはファイバ１０の半径であり、λは波長であり、Ｎは空間モードの数である。

光学素子の位置は、光ファイバ１０の断面を充填するためにＤＭＤ６１５の画像を提供するように方向付けられる。したがって、ＤＭＤ６１５から４Ｆシステム左焦点面（ｕで印される）までの距離、対象とマルチモードファイバの近位端（ｖで印される）との間の距離は、以下によって決定される。

本明細書に説明される光ファイバシステムを組みわせた人工ニューラルネットワーク（ＡＮＮ－ＯＦＳ）を試験するために、標準ＭＮＩＳＴ（Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙデータベース）スコアを、ベンチマークとして選択した。ＭＮＩＳＴベンチマークは、手書きデジットの画像を識別するためのマシン学習プラットフォームの能力を試験する。ＭＮＩＳＴプロトコルの実行は、ＤＭＤを使用して投影された２つの群の強度画像を含んでいた。６０，０００画像の第１の群を、人工ニューラルネットワークのための訓練セットとして使用した。１０，０００画像の第２の群を、ネットワークの性能を分析するための検証および試験セットとして使用した。２つのセットからの各画像を、ＭＭＦ１０の近位端、および強度画像が取得される対応する遠位端に投影した。

２つのタイプのＡＮＮを何度も訓練および試験した（毎回ゼロから始めて解決した）。ＭＭＦの遠位端における、すなわち、図６内のカメラ８０によって収集される、出力画像を使用して、第１のＡＮＮ（ＡＮＮ－ＯＦＳで表される）を訓練および試験した。比較のために元のＭＮＩＳＴ画像を使用して、第２のＡＮＮ（元のＡＮＮで表される）を訓練および試験した。両方のＡＮＮは、同じアーキテクチャおよび同じハイパーパラメータを有する。訓練セット画像は、事前処理ありまたはなしで使用した。事前処理ステップは、異なる画像条件および複雑性との比較の性能のために平均化ダウンサンプリングを使用した、９６×９６画素の元の捕捉画像から２８×２８、４８×４８、および６４×６４画素への画像再スケーリング、ならびにネットワーク性能の最適化条件を試験するソーベルカーネルフィルタリングを含んでいた。

訓練セット画像は、ネットワーク訓練に指定される４８，０００画像と、ネットワークが過剰適合することを防ぐネットワーク訓練内部プロセス検証のための１２，０００画像とにランダムに分けた。スケーリングされた共役下降（ＳＣＤ：Ｓｃａｌｅｄ ｃｏｎｊｕｇａｔｅ ｄｅｓｃｅｎｔ）アルゴリズムを適用して、１つの隠れ層を有する単純なＡＮＮを８～９６ノードおよび公差エントロピー損失関数を用いて解決した。

ＭＭＦ１０を通って伝搬した後に得られる検証セットの遠位画像を、ＡＮＮ－ＯＦＳのための入力として使用した。最後に、デジット識別成功パーセンテージを、ネットワーク性能の性能指数として使用した。

マルチモードファイバが標準画像識別手続きにおけるより優れた性能に対応する可能性があるという本発明者らの仮定を試験するために、ＭＮＩＳＴ画像をファイバ端に投影した。図７は、行（ａ）に典型的なＭＮＩＳＴ画像、行（ｂ）に画像と関連付けられた光のＭＭＦ１０を通じた伝搬後に獲得される画像、行（ｃ）にソーベルカーネルフィルタリングされた画像、および行（ｄ）に再構築された画像を例示する。行（ｄ）内の再構築された画像は、以下により詳細に説明されるような「オートエンコーダ」ニューラルネットワークを使用して再構築された。

示されるように、画像をマルチモードファイバ１０内にカップリングすることは、それらがマルチモード空間上に投影される際に、それらを変換する。ファイバ１０の出力において、画像の変換されたモード特性は、示されるカメラの空間平面において捕捉される。図７の行（ｂ）は、行（ａ）内の同じカラムに投影される文字記号に一致する典型的な散乱画像を示し、これは、照明源が非コヒーレンスであったことから、ノンスペックル画像である。ソーベルカーネルを、行（ｃ）に示されるようなファイバ出力画像をフィルタリングするために利用し、またシステムの性能を改善するために使用した。

ＭＮＩＳＴ試験を分析すると、ファイバ空間上に画像を投影することが、この特定のニューラルネットワークアーキテクチャのための必要なノードの数を低減したことを示す。ＡＮＮの隠れ層サイズに対する再構築の誤差を示す実験結果の要約を示す図８Ａ～図８Ｄを参照する。図８Ａは、２８×２８サイズ画像を入力として使用した、ノードの数の関数としての所与の試験誤差を示す。図８Ｂは、同様の精度を達成するための、ファイバ入力なしの必要なノードの比率を示す。図８Ｂは、同様の精度を達成するための、ファイバ入力なしの必要なノードの比率を示す。図８Ｃおよび図８Ｄは、結果に対して大きな影響を示さない異なる入力サイズの画像について、隠れ層サイズに関する誤差を示す。図８Ａから分かるように、同じノード数では、ファイバを通じて画像を伝送することが、最も低い誤差をもたらした。さらに、図８Ａに示されるように、ソーベルフィルタ（フィルタ付きファイバとして印される）は、小サイズのネットワーク上でさらに良好な性能を提供する。この接続では、ソーベルフィルタを提供する光学フィルタリングが、ＭＭＦ１０の出力において使用され得る、すなわち、出射光をフィルタリングするということに留意されたい。

本明細書に説明されるようなＭＭＦ１０によって符号化される画像の再構築を例示するために、追加の「オートエンコーダ」ニューラルネットワークを使用した。データ次元数を低減するため、およびＭＭＦ１０を通って伝搬した後に収集される光パターンから元の画像を再構築するために、ネットワークアーキテクチャを使用した。「オートエンコーダ」ニューラルネットワークは、データをコード層サイズに圧縮するエンコーダ層、およびコードから画像を再構築するデコーダ層の２つの層を含む。再構築（オートエンコーダ）ネットワークは、入力がＭＭＦ遠位端から捕捉される画像（すなわち、出射光）であるとき、訓練セットからのＭＮＩＳＴ画像に対して訓練し、標的出力は投影画像である。ネットワークは、ＭＳＥ（平均二乗誤差）損失関数を使用しており、使用される活性化関数は、エンコーダ層では「Ｒｅｌｕ」、デコーダ層では「Ｓｉｇｍｏｉｄ」である。ＭＮＩＳＴ訓練データセットに対する訓練後、試験データセットからの新しい画像に対して、モデルを試験した。

図７に戻ると、図７の行（ｄ）は、訓練画像セットを使用したニューラルネットワークの訓練後の再構築された画像を示す。使用される入力画像は、行（ｃ）に示されるファイバフィルタ画像であり、標的画像は、最上行（ａ）に示される。見て分かるように、再構築は、元の「標的」画像との高い類似性を提供する。

上に示されるような赤色、緑色、および青色照明を含む異なる照明波長における画像再構築の実験結果を示す図９も参照する。行（ａ）は、ＤＭＤ６１５によって投影される画像を示し、行（ｂ）は、再構築された画像を示し、行（ｃ）は、出射光画像を示し、行（ｄ）は、ソーベルフィルタを使用してフィルタリングされた出射光を示す。この目的のため、３つのニューラルネットワーク、または異なる波長（色）にあるＭＮＩＳＬ画像を試験した。図９は、異なる波長における効率的かつ正確な再構築を示す。図１０Ａ～図１０Ｃは、フィルタリングされた出射光の再構築、すなわち、ソーベルフィルタを有する出射光を示す。図１０Ａは、各色についてコード層サイズの関数としての平均二乗誤差（ＭＳＥ）を示し、ＭＳＥは、０から１の間で正規化される。図１０Ｂは、再構築された画像に適用される試験ＡＮＮの精度性能を示す。図１０Ｃは、ＬＥＤ電流の関数としての誤差率を示し、これは、３０ノードを含む隠れ層を有するＡＮＮに対して試験されたものであり、カメラ露出時間は、６２４ｎｍ琥珀色ＬＥＤを使用して２０ｍｓである。

図１０Ａに示されるように、ＭＳＥは、光の波長が増大するにつれて（青から赤へ）減少する。これは、可視光スペクトル内のより短い波長が、光ファイバにおいてより高い損失を有し、より低い電力レベルが性能を低下させるため、電力損失に関連し得る。これは、より低い照明強度では増大した誤差数を示す図１０Ｃから明らかである。

したがって、本技術は、選択された訓練に従って入力データの全光学処理を可能にする、ニューロンユニット構成、マルチモード光ファイバ装置、および対応するニューラルネットワークを提供する。ニューロンユニットは、出射光を提供するために入力波面を有する入力信号の収集および伝搬を可能にするマルチモード光ファイバ、ならびに出射光の光路内に位置し、選択された変調パターンを出射光に適用してニューロンユニットの出力光を提供するように構成される空間光変調器を含む。ニューラル処理ネットワークにおけるそのような光ニューロンユニットの使用は、例えば、画像データの特徴付けおよび分析のための、視覚データの高速処理を可能にし得る。これは、画像および顔認識、生体医学イメージング結果の分析などからの様々な応用のために使用され得る。さらに、フィルタリングユニット、例えば、ソーベルフィルタリングと共にマルチモード光ファイバを使用することは、任意のニューラルネットワーク構成（本明細書に説明されるような光学であるもの、またはそうでないもの）を使用した再構築のための画像データの事前処理を可能にする。本技術は、非コヒーレントおよび／または多色照明を使用し、コンピュータベースのニューラルネットワークが使用される場合に処理電力を単純化する、強化された画像処理を提供する。

Claims (25)

1. 入力光の処理のための人工ニューロンユニットであって、前記人工ニューロンユニットは、入力光を受信し、前記入力光内の２つ以上のモードの光成分に選択された混合を適用して、出射光を提供するように構成されるモード混合ユニットと、前記出射光の１つ以上のモードを選択するために、事前選択されたフィルタを前記出射光に適用し、それにより前記人工ニューロンユニットの出力光を提供するように構成されるフィルタリングユニットとを備える、人工ニューロンユニット。
2. 前記モード混合ユニットが、
   偏光配向モード、波長範囲、選択された領域内の空間モード、および前記モード混合ユニットの２つ以上のコア内の空間モードのうちの少なくとも１つによって選択される２つ以上のモードを混合すること、
   線形混合を適用し、それにより前記入力光の２つ以上のモードの重み付き線形結合である前記出射光を提供すること、
   のうちの少なくとも一方を実行するように構成される、請求項１に記載の人工ニューロンユニット。
3. さらに、前記入力光を前記モード混合ユニット内にカップリングするように構成される入力光学装置を備え、
   前記モード混合ユニットが、第１の端および第２の端を有するマルチモード光ファイバ（ＭＭＦ）として構成され、前記第１の端において前記入力光を受信し、前記ＭＭＦを通じた前記入力光の伝搬を可能にすると同時に、前記ＭＭＦ内でそれぞれの速度で伝播する前記入力光の空間モードを混合して出射光をもたらすように、および前記第２の端において前記出射光を出力するように構成され、
   前記フィルタリングユニットが、選択された空間的に変化する変調を前記出射光に対して行って出力光をもたらすように構成される空間光変調器（ＳＬＭ）として構成され、
   前記入力光学装置が、前記入力光を前記ＭＭＦの前記第１の端内にカップリングするように構成される、請求項１又は２に記載の人工ニューロンユニット。
4. 前記入力光学装置が、１つ以上のレンズを備える、請求項３に記載の人工ニューロンユニット。
5. 入力光の処理のための人工ニューロンユニットであって、当該人工ニューロンユニットは、
   第１の端および第２の端を有するマルチモード光ファイバ（ＭＭＦ）として構成され、前記第１の端で入力光を受け取り、前記ＭＭＦ内のそれぞれの速度で伝播する前記入力光の空間モードを混合しながら、前記ＭＭＦを介した入力光の伝播を可能にし、前記第２の端で出力される出射光を提供するように構成された、モード混合ユニットと、
   前記人工ニューロンユニットの出力光を提供する前記出射光の１つまたは複数のモードを選択するための訓練プロセスで決定された所定の空間パターンを前記出射光に適用することによって前記出射光をフィルタリングするように構成されたフィルタリングユニットと、
   を備える、人工ニューロンユニット。
6. 前記フィルタリングユニットが、選択された空間的に変化する変調を前記出射光に対して行って前記出力光をもたらすように構成される空間光変調器（ＳＬＭ）として構成される、請求項５に記載の人工ニューロンユニット。
7. さらに、前記ＭＭＦの前記第２の端において前記出射光の少なくとも一部分を受信し、前記出射光の少なくとも一部分の光成分を、前記光成分を前記入力光の少なくとも一部分と混合するために、前記ＭＭＦの前記第１の端の方へ方向付けるように構成されるフィードバックルートを備え、
   前記フィードバックルートが、前記空間光変調器（ＳＬＭ）と関連付けられた出力ポートと関連付けられる、請求項３または６に記載の人工ニューロンユニット。
8. 前記出力光と相互作用するように構成される出力光学装置をさらに備える、請求項１～７のいずれか一項に記載の人工ニューロンユニット。
9. 前記出力光学装置が、１つ以上のレンズを備える、請求項８に記載の人工ニューロンユニット。
10. 前記空間光変調器（ＳＬＭ）を動作させるように、およびそれにより適用される空間光変調を決定するように、構成され、また動作可能である制御ユニットを備える、請求項３、６、７のいずれか一項に記載の人工ニューロンユニット。
11. 前記制御ユニットが、前記人工ニューロンユニットを備えるニューラル処理ネットワークの訓練プロセスに従って前記出力光の空間変調を選択するように構成される、請求項１０に記載の人工ニューロンユニット。
12. 前記フィードバックルートの前記出力ポートが、
    前記フィードバックルートを介して収集される前記光成分と前記入力光の少なくとも一部分との前記混合と関連付けられた光信号を出力するように構成される補助出力ポートであること、
    前記出力光の少なくとも一部分と関連付けられた出力を提供するように構成されること、
    のうちの一方の構成を有する、請求項７に記載の人工ニューロンユニット。
13. 前記フィードバックルートが、ゲインユニットを備え、前記出射光の少なくとも一部分を、その強度を増大させるために、前記ゲインユニットを通じて伝送するように構成される、請求項１２に記載の人工ニューロンユニット。
14. 前記人工ニューロンユニットが、ニューラルネットワーク構造の入力ポートに位置し、ニューラルネットワーク処理構造に提供される光信号に選択された事前処理を適用するように構成される、請求項１～１３のいずれか一項に記載の人工ニューロンユニット。
15. 人工ニューロンネットワークであって、
    各々が請求項１～１４のいずれか一項に従って構成された、２つ以上の人工ニューロンユニットを備え、
    前記２つ以上の人工ニューロンユニットが、光信号の伝搬の経路に沿って配置され、かつ、少なくとも１つの入力ニューロン層および少なくとも１つの出力ニューロン層を備える１つ以上のニューロン層内に配置され、
    その結果として、前記光信号が、前記入力ニューロン層の少なくとも１つの人工ニューロンユニットの少なくとも１つの入力ポートから前記人工ニューロンネットワークの出力信号を提供する前記出力ニューロン層の少なくとも１つの人工ニューロンユニットの少なくとも１つの出力ポートまでの間の前記２つ以上の人工ニューロンユニットを通じて伝搬するように構成される、人工ニューロンネットワーク。
16. 前記出力ニューロン層の前記少なくとも１つの人工ニューロンユニットの前記少なくとも１つの出力ポートから出力光の少なくとも一部分を受信し、前記入力ニューロン層の前記少なくとも１つの人工ニューロンユニットに入る入力光の少なくとも一部分との混合のために前記出力光の前記少なくとも一部分を方向付けるように、および前記混合された光の少なくとも一部分を出力するように構成され、また動作可能である１つ以上のフィードバックルートをさらに備える、請求項１５に記載の人工ニューロンネットワーク。
17. 前記２つ以上の人工ニューロンユニットの各々が、請求項３または５に従って構成されており、
    前記フィードバックルートが、前記人工ニューロンユニットに関連付けられており、
    前記出力光を受信するように構成されるフィードバックユニットと、
    Ｘカプラであって、当該Ｘカプラが、第１および第２の入力端ならびに第１および第２の出力端を有し、以下の：
    前記第１の入力端を介して前記フィードバックユニットから前記出力光の前記少なくとも一部分を受信すること；
    前記第２の入力端を介して前記入力光を受信し、これによって前記入力光および前記出力光の前記少なくとも一部分を混合して混合された光をもたらすこと；
    前記第１の出力端を介して前記混合された光の少なくとも第１の部分を前記ＭＭＦの前記第１の端内へ出力すること；および
    前記第２の出力端を介して前記混合された光の少なくとも第２の部分を出力すること
    を行うように構成される、Ｘカプラと、を備える、請求項１６に記載の人工ニューロンネットワーク。
18. さらに、
    前記Ｘカプラの前記第２の出力端に位置する全光学光変調器であって、液晶バルブとして構成される全光学光変調器と、
    前記Ｘカプラの前記第２の出力端に位置する非線形光変調器とを備え、
    前記非線形光変調器が、そこを通る光成分に１つ以上の非線形相互作用を適用するように構成され、前記１つ以上の非線形相互作用が、第２高調波発生、和周波数発生、差周波数発生のうちの少なくとも１つを含み、
    前記フィードバックルートが、前記入力光と混合するために前記出力光の前記少なくとも一部分を方向付けるように構成される１つ以上の光ファイバを備える、請求項１７に記載の人工ニューロンネットワーク。
19. 前記フィードバックルートが、
    前記ＭＭＦの前記第２の端の近くに、または前記ＭＭＦの前記第２の端に位置する第１の半透鏡と、
    前記ＭＭＦの前記第１の端の近くに、または前記ＭＭＦの前記第１の端に位置する第２の半透鏡と、を備え、
    前記第１の半透鏡は、前記出力光の前記少なくとも一部分が、前記ＭＭＦの前記第２の端を介して前記ＭＭＦに入り、前記ＭＭＦの前記第１の端を介して前記ＭＭＦから出るように、前記出力光の前記少なくとも一部分を前記ＭＭＦの前記第２の端内へ反射させるように構成され、
    前記第２の半透鏡は、前記入力光の前記少なくとも一部分および前記出力光の前記少なくとも一部分が前記ＭＭＦ内で混合して前記混合された光をもたらすように、前記出力光の前記少なくとも一部分を前記ＭＭＦの前記第１の端を介して前記ＭＭＦ内へ反射させると同時に、前記入力光の少なくとも一部分を前記ＭＭＦの前記第１の端を介して前記ＭＭＦ内へ伝送するように構成され、
    前記第１の半透鏡は、前記人工ニューロンネットワークが、前記混合された光の前記少なくとも一部分を出力するように構成されるように、前記混合された光の少なくとも一部分を伝送するように構成される、請求項１７に記載の人工ニューロンネットワーク。
20. 前記フィードバックルートが、前記入力光と混合するために前記出力光の前記少なくとも一部分を方向付けるように構成される１つ以上の光ファイバを備え、
    前記１つ以上の光ファイバが、シングルコアファイバ、マルチコアファイバ、および光ファイバの束のうちの１つ以上を備える、請求項１７～１９のいずれか一項に記載の人工ニューロンネットワーク。
21. 人工ニューロンネットワークであって、
    各々が請求項１～１４のいずれか一項に従って構成される複数の人工ニューロンユニットを備え、前記人工ニューロンユニットが、
    １つ以上の人工ニューロンユニットを備える前記人工ニューロンユニットの第１の層であって、入力光を受信し、前記人工ニューロンユニットの１つ以上の後続層の人工ニューロンユニットに中間出力光を伝送するように構成される、人工ニューロンユニットの第１の層と、
    前記人工ニューロンユニットの１つ以上の先行層の前記中間出力光を受信するように構成される追加の１つ以上の層と、を備える１つ以上の層内に配置され、
    前記人工ニューロンユニットの前記層の最後のものからの前記出力光が、所望の標的へ方向付けられる、人工ニューロンネットワーク。
22. 画像を処理するように構成される人工ニューロンネットワークであって、前記人工ニューロンネットワークが、
    マルチモード光ファイバ（ＭＭＦ）のアレイであって、各ＭＭＦが、それぞれの第１の端およびそれぞれの第２の端を有し、前記ＭＭＦのアレイは、すべての前記ＭＭＦの前記第１の端が、シーンからそれぞれの入力光部分を受信するために第１の所望の形状で互いと整列されるように、およびすべての前記ＭＭＦの前記第２の端が、それぞれの出射光部分を所望の標的へ方向付けして前記標的において前記シーンの出力画像を形成するために第２の所望の形状で整列されるように配置され、
    前記各ＭＭＦが、そこを通る光成分の伝搬を方向付けると同時に、前記光成分の空間モードをそれぞれの正面形状およびそれぞれの速度と混合し、それにより出射光部分をもたらすこと、ならびに前記それぞれの第２の端において前記出射光を出力することを提供する、マルチモード光ファイバ（ＭＭＦ）のアレイと、
    前記入力光部分を前記ＭＭＦのアレイ内にカップリングするように構成される、少なくとも１つの入力光学装置デバイスと、
    空間的に変化する変調を前記出射光部分に対して行って出力光部分をもたらすように構成される、少なくとも１つの空間光変調器（ＳＬＭ）と、を備える、人工ニューロンネットワーク。
23. 複数の入力光学装置を備え、前記入力光学装置のうちの少なくともいくつかは、それぞれのＭＭＦと関連付けられ、前記入力光部分を前記それぞれのＭＭＦ内にカップリングするように構成されること、
    複数のＳＬＭを備え、前記ＳＬＭのうちの少なくともいくつかは、それぞれのＭＭＦと関連付けられ、それぞれの空間的に変化する変調を前記それぞれのＭＭＦからの前記出射光部分に対して行って、それぞれの出力光放射部分をもたらすように構成されること、
    ＭＭＦの一連のアレイを備え、前記アレイは、前のアレイからの出力光が後続アレイへの入力として使用されるように、互いと直列に配置されること、
    のうちの少なくとも１つの構成を有する、請求項２２に記載の人工ニューロンネットワーク。
24. 少なくとも２つの前記ＭＭＦのアレイの間に位置する中間光学ユニットをさらに備える、請求項２３に記載の人工ニューロンネットワーク。
25. 前記中間光学ユニットが、中間屈折ユニットおよび中間ＳＬＭのうちの少なくとも１つを備える、請求項２４に記載の人工ニューロンネットワーク。

Images