JP7137017B2 - センサデータを分類するための方法及び装置並びにアクチュエータを駆動制御するための駆動制御信号を求めるための方法及び装置 - Google Patents

Description

本発明は、入力信号を分類するための方法、駆動制御信号を提供するための方法、コンピュータプログラム、機械可読記憶媒体及びアクチュエータ制御システムに関する。

従来技術
「Ｉｍｐｒｏｖｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｂｙ ｐｒｅｖｅｎｔｉｎｇ ｃｏ－ａｄａｐｔａｔｉｏｎ ｏｆ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｏｒｓ」（ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１２０７．０５８０ｖ１， Ｇｅｏｆｆｒｅｙ Ｅ． Ｈｉｎｔｏｎ， Ｎｉｔｉｓｈ Ｓｒｉｖａｓｔａｖａ， Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ， ｌｌｙａ Ｓｕｔｓｋｅｖｅｒ， Ｒｕｓｌａｎ Ｒ． Ｓａｌａｋｈｕｔｄｉｎｏｖ （２０１２））から、トレーニング中に特徴検出器がランダムにスキップされる、ニューラルネットワークをトレーニングするための方法が既知である。ここでは、このような方法は、「ドロップアウト」という名称によっても知られている。

「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ： Ａｃｃｅｌｅｒａｔｉｎｇ Ｄｅｅｐ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ ｂｙ Ｒｅｄｕｃｉｎｇ Ｉｎｔｅｒｎａｌ Ｃｏｖａｒｉａｔｅ Ｓｈｉｆｔ」（ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０２．０３１６７ｖ３， Ｓｅｒｇｅｙ ｌｏｆｆｅ， Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙ （２０１５））から、ミニバッチ（英語で「ｍｉｎｉ－ｂａｔｃｈ」）に対する、層への入力変数がトレーニング例によって正規化される、ニューラルネットワークをトレーニングするための方法が既知である。

「Ｉｍｐｒｏｖｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｂｙ ｐｒｅｖｅｎｔｉｎｇ ｃｏ－ａｄａｐｔａｔｉｏｎ ｏｆ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｏｒｓ」（ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１２０７．０５８０ｖ１， Ｇｅｏｆｆｒｅｙ Ｅ． Ｈｉｎｔｏｎ， Ｎｉｔｉｓｈ Ｓｒｉｖａｓｔａｖａ， Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ， ｌｌｙａ Ｓｕｔｓｋｅｖｅｒ， Ｒｕｓｌａｎ Ｒ． Ｓａｌａｋｈｕｔｄｉｎｏｖ （２０１２）） 「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ： Ａｃｃｅｌｅｒａｔｉｎｇ Ｄｅｅｐ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ ｂｙ Ｒｅｄｕｃｉｎｇ Ｉｎｔｅｒｎａｌ Ｃｏｖａｒｉａｔｅ Ｓｈｉｆｔ」（ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０２．０３１６７ｖ３， Ｓｅｒｇｅｙ ｌｏｆｆｅ， Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙ （２０１５））

発明の利点
これに対して、独立請求項１及び２の特徴を有する方法は、ニューラルネットワークのアーキテクチャ検索が容易になるという利点を有している。

有利な発展形態は、従属請求項に記載されている。

発明の開示
十分に多いトレーニングデータを伴って、いわゆる「ディープラーニング」方法、即ち、（ディープ）人工ニューラルネットワークを、入力空間Ｖ_０と出力空間Ｖ_ｋとの間のマッピングを効率的に求めるために利用することができる。これは、例えば、センサデータ、特に画像データの分類、即ち、センサデータ又は画像データのクラスへのマッピングであるものとしてよい。これは、ｋ－１個の隠れ空間Ｖ_１，…_，Ｖ_ｋ－１を提供するアプローチに基づいている。さらに、ｋ回のマッピングｆ^ｉ：Ｖ_ｉ－１→Ｖ_ｉ（ｉ＝１…ｋ）がこれらの空間の間に設定される。これらのマッピングｆ^ｉの各々は、通常、層（英語で「ｌａｙｅｒ」）と称される。そのような層ｆ^ｉは、典型的には、適当に選択された空間Ｗ^ｉによる重みｗ_ｉ∈Ｗ^ｉによってパラメータ化されている。ｋ個の層ｆ^ｉの重みｗ_１，…_，ｗ_ｋは、まとめて、重みｗ∈Ｗ：＝Ｗ^１×…×Ｗ^ｋとも称され、入力空間Ｖ_０から出力空間Ｖ_ｋへのマッピングは、ｆ_ｗ：Ｖ_０→Ｖ_ｋと称され、これは、個々のマッピングｆ^ｉ（添字として明示的に示される重みｗ_ｉを伴う）から

として得られる。

Ｖ_０×Ｖ_ｋに規定される所定の確率分布Ｄを伴う、ニューラルネットワークのトレーニングの課題は、コスト関数Ｌの予期値Φ

が最小化されるように重みｗ∈Ｗを決定することである。ここで、コスト関数Ｌは、関数ｆ_ｗによって求められた、入力変数ｘ_Ｄの、出力空間Ｖ_ｋ内の変数ｆ_ｗ（ｘ_Ｄ）へのマッピングと出力空間Ｖ_ｋ内の実際の出力変数ｙ_Ｄとの間の距離に対する尺度を示す。

「ディープニューラルネットワーク」は、少なくとも２つの隠れ層（英語で「ｈｉｄｄｅｎ ｌａｙｅｒ」）を有するニューラルネットワークと理解することができる。

このような予期値Φを最小化するために、勾配に基づいた方法を使用することができ、これらの方法は、重みｗに関して勾配∇Φを求める。このような勾配∇Φは通常、トレーニングデータ（ｘ_ｊ，ｙ_ｊ）を使用して、即ち、∇_ｗＬ（ｆ_ｗ（ｘ_ｊ，ｙ_ｊ））によって近似化される。ここで、指数ｊは、いわゆるエポックから選択される。エポックは、ここでは、使用可能なトレーニングデータポイントのラベル｛１，…，Ｎ｝の順列である。

いわゆるデータ拡張（拡張とも称される）を使用して、トレーニングデータセットを拡張することができる。ここでは、エポックからの各インデックスｊに対して、ペア（ｘ_ｊ，ｙ_ｊ）の代わりに拡張されたペア（ｘ_ａ，ｙ_ｊ）を選択することができ、入力信号ｘ_ｊが、拡張された入力値ｘ_ａ∈α（ｘ_ｊ）によって置き換えられる。ここで、α（ｘ_ｊ）は、入力信号ｘ_ｊの典型的なバリエーションのセット（入力信号ｘ_ｊ自体を含む）であるものとしてよく、これは、入力信号ｘ_ｊの分類、即ち、ニューラルネットワークの出力信号を変化させない。

しかし、このようなエポックに基づくサンプリングは、各データポイントがエポックの過程において厳密に１回選択されるので、方程式（１）の規定と完全には一致しない。これに対して、方程式（１）の規定は、独立して抽出されたデータポイントに基づいている。これは、方程式（１）が「戻すこと（Ｚｕｒｕｅｃｋｌｅｇｅｎ）を伴う」データポイントの抽出を前提としているのに対して、エポックに基づくサンプリングは「戻すことを伴わない」データポイントの抽出を実行することを意味している。これによって、収束の数学的証明の前提条件が満たされないことが生じ得る（なぜなら、Ｎ個のデータポイントのセットからＮ個の例を抽出するので、これらのデータポイントの各々を厳密に１回抽出する確率が、

より低くなるからである）。他方で、エポックに基づくサンプリングにおいては、このような確率は、常に１に等しい。

データ拡張を使用する場合、セットα（ｘ_ｊ）の要素が各エポックに存在しており、拡張関数αに応じて、ｉ≠ｊの場合、α（ｘ_ｊ）≒α（ｘ_ｉ）が排除されることはないので、このような統計的な作用は、さらに高くなり得る。この場合には、セットα（ｘ_ｊ）による拡張の統計的に正しいマッピングは困難である。なぜなら、この作用は、各入力データｘ_ｊに対して等しく現れるはずがないからである。従って、例えば、回転は、円形の物体には作用しないが、一般的な対象物には非常に強く作用することがある。従って、セットα（ｘ_ｊ）の大きさは、入力データｘ_ｊに関連している可能性があり、これは、敵対的学習方法にとって問題になり得る。

最後に、トレーニングデータポイントの数Ｎは、通常、設定するために労力がかかる変数である。Ｎの選択が大き過ぎると、トレーニング方法の実行時間が不当に長くなる可能性がある。また、Ｎの選択が小さ過ぎると、収束を保証することができない可能性がある。なぜなら、収束の数学的証明は、全般的に仮定に基づいており、これらの仮定が満たされていないからである。さらに、いずれの時点においてトレーニングが確実に終了されるべきなのかが明確ではない。ここで、データポイントの一部を評価データセットとして採用し、このような評価データセットを使用して収束の質を決定する場合、評価データセットのデータポイントに関して、重みｗの過剰適合（英語で「ｏｖｅｒ－ｆｉｔｔｉｎｇ」）が生じ得る。これは、データ効率を低下させるだけでなく、これがこのトレーニングデータ以外に適用される場合に、ネットワークのパフォーマンスを低下させることがある。これは、いわゆる「一般化可能性」（英語で「ｇｅｎｅｒａｌｉｚａｂｉｌｉｔｙ」）の低下につながる可能性がある。

過剰適合を低減させるために、冒頭に挙げた「ドロップアウト」方法を使用して、隠れ層に格納されている情報をランダムに間引くことができる。

トレーニングプロセスの無作為化を改善するために、いわゆるバッチ正規化層（英語で「ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒ」）を使用して、トレーニングプロセス中に確率的に更新される、いわゆるミニバッチ（英語で「ｍｉｎｉ ｂａｔｃｈ」）を介して、統計パラメータμ及びσを導入することができる。推論の場合、これらのパラメータμ及びσの値は、固定的に設定可能な値として選択され、例えば、指数関数的減衰動作を外挿することによるトレーニングからの推定値として選択される。

指数ｉを有する層がバッチ正規化層である場合、属する重みｗ_ｉ＝（μ_ｉ，σ_ｉ）は、勾配降下の際に更新されない。即ち、これらの重みｗ_ｉは、残余の層ｋの重みｗ_ｋとは異なる方法により扱われる。これによって、実装がより複雑になる。

さらに、ミニバッチの大きさは、全般的にトレーニング結果に影響を与えるパラメータであるため、例えば（場合によっては労力のかかる）アーキテクチャ検索の枠において、さらなるハイパーパラメータとして可能な限り良好に設定されなければならない。

従って、本発明の第１の態様においては、ニューラルネットワークはスケーリング層を含み、スケーリング層が、スケーリング層の入力側に印加される入力信号をスケーリング層の出力側に印加される出力信号にマッピングすることが設定されている。ここで、このようなマッピングは、このようなマッピングが設定可能な値領域への入力信号の投影に相当するように行われ、ここで、このマッピングを特徴付けるパラメータは、設定可能である。この値領域は、ここではノルムによって規定されるものとしてよい。このような場合、スケーリング層は、入力信号のスケールがこのようなノルムに関して制限されることを実現する。

このような文脈において、「設定可能」とは、特に、これらのパラメータがニューラルネットワークのトレーニング中に、勾配に関連して適合され得ることを意味するものとしてよく、ここで、このような勾配は、通常、ニューラルネットワークの出力信号及び属する所望の出力信号に関連して求められる。

即ち、はじめにトレーニングフェーズにおいて、設定可能なパラメータが、ニューラルネットワークをトレーニングする方法に関連して適合させられ、ここで、トレーニング時に、このような設定可能なパラメータの適合化が、ニューラルネットワークの入力信号の供給時のニューラルネットワークの出力信号に関連して、かつ、属する所望の出力信号に関連して行われ、設定可能なパラメータの適合化は、求められた勾配に関連して行われる。この勾配は、ニューラルネットワークの出力信号及び属する所望の出力信号に関連する。

有利には、発展形態において、スケーリング層が、スケーリング層の入力側に印加される入力信号を、スケーリング層の出力側に印加される出力信号にマッピングすることが設定可能であり、ここで、このようなマッピングは、このようなマッピングが、球への投影に相当するように行われ、この球の中心ｃ及び／又は半径ρは、固定的に設定可能であるものとしてよい。

ここで、マッピングは、方程式

によって得られるものとしてよく、これは第１のノルム（Ｎ_１）と第２のノルム（Ｎ_２）とを伴う。ここでは、用語「ノルム」は、数学的な意味において理解されるべきである。

特に効率的に計算される発展形態においては、第１のノルム（Ｎ_１）と第２のノルム（Ｎ_２）とが等しく選択されていることが設定されるものとしてよい。

選択的又は付加的に、第１のノルム（Ｎ_１）は、Ｌ^∞ノルムであるものとしてよい。このようなノルムは、特に第１のノルム（Ｎ_１）と第２のノルム（Ｎ_２）とが等しく選択されていない場合においても、同様に特に効率的に計算される。

選択的に、ここで、第１のノルム（Ｎ_１）は、Ｌ^１ノルムであることが設定されるものとしてよい。第１のノルムのこのような選択は、スケーリング層の出力信号のスパース性（英語で「ｓｐａｒｓｉｔｙ」）を促進する。これは、例えば、ニューラルネットワークの圧縮に有利である。なぜなら、値が０の重みは、自身の層の出力値に寄与しないからである。

従って、そのような層を備えたニューラルネットワークを、特に圧縮方法に関連して、特にメモリ効率良く使用することができる。

第１のノルム（Ｎ_１）に対する、記載された変形において、有利には、第２のノルム（Ｎ_２）がＬ^２ノルムであることが設定されるものとしてよい。これによって、これらの方法は、特に容易に実現される。

特に有利には、ここでは、方程式

が決定論的ニュートン方法によって解かれる。

即ち、驚くべきことに、スケーリング層の入力側に、多くの重要な、即ち、強く重み付けされる特徴を備えた入力信号が印加される場合、これらの方法が特に効率的であることが判明した。

本発明の実施形態を、以下において、添付の図面を参照してより詳細に説明する。

制御システムの実施形態の構造を概略的に示している。 少なくとも部分的に自律的なロボットを制御するための実施例を概略的に示している。 製造システムを制御するための実施例を概略的に示している。 パーソナルアシスタントを制御するための実施例を概略的に示している。 アクセスシステムを制御するための実施例を概略的に示している。 監視システムを制御するための実施例を概略的に示している。 医療用画像化システムを制御するための実施例を概略的に示している。 トレーニングシステムを概略的に示している。 ニューラルネットワークの構造を概略的に示している。 ニューラルネットワーク内の情報の転送を概略的に示している。 トレーニング方法の実施形態をフローチャートにより示している。 勾配を推定するための方法の実施形態をフローチャートにより示している。 勾配を推定するための方法の選択的な実施形態をフローチャートにより示している。 推定された勾配をスケーリングするための方法の実施形態をフローチャートにより示している。 ニューラルネットワーク内にスケーリング層を実装するための実施形態をフローチャートにより示している トレーニングされたニューラルネットワークの動作方法をフローチャートにより示している。

実施例の説明
図１は、アクチュエータ１０を、制御システム４０と相互作用する自身の周囲２０内において示している。アクチュエータ１０及び周囲２０は、まとめてアクチュエータシステムとも称される。有利な一定の時間間隔で、アクチュエータシステムの状態がセンサ３０によって検出される。この状態が、複数のセンサによって与えられるものとしてもよい。センサ３０のセンサ信号Ｓ（又は、複数のセンサが存在する場合には、各センサ信号Ｓ）が、制御システム４０に伝達される。従って、制御システム４０は、一連のセンサ信号Ｓを受信する。制御システム４０は、ここから、アクチュエータ１０に伝送される駆動制御信号Ａを求める。

センサ３０は、周囲２０の状態を検出し、それをセンサ信号Ｓとして伝達する任意のセンサである。例えば、このセンサは、画像化センサ、特に画像センサ若しくはビデオセンサ等の光学センサ、又は、レーダセンサ、又は、超音波センサ、又は、ＬｉＤＡＲセンサであり得る。これはまた、例えば、固体伝搬音又は音声信号を受信する音響センサであるものとしてもよい。同様に、センサは、位置センサ（例えばＧＰＳ等）又は運動学的センサ（例えば単軸加速度センサ又は多軸加速度センサ）であるものとしてよい。周囲２０におけるアクチュエータ１０の配向を特徴付けるセンサ（例えばコンパス）も可能である。周囲２０の化学的な組成を検出するセンサ、例えばラムダセンサも可能である。選択的又は付加的に、センサ３０が情報システムも含むものとしてよい。情報システムは、アクチュエータシステムの状態に関する情報を求める。情報システムは、例えば気象情報システムのように、周囲２０の気象の現在又は将来の状態を求める。

制御システム４０は、任意選択的な受信ユニット５０において、センサ３０の一連のセンサ信号Ｓを受信し、受信ユニット５０は、この一連のセンサ信号Ｓを一連の入力信号ｘに変換する（選択的に、各センサ信号Ｓが、直接的に入力信号ｘとして引き受けられるものとしてもよい）。入力信号ｘは、例えば、センサ信号Ｓの一部又はセンサ信号Ｓをさらに処理したものであってよい。入力信号ｘは、例えば、画像データ若しくは画像又はビデオ記録の個々のフレームを含み得る。言い換えれば、入力信号ｘは、センサ信号Ｓに関連して求められる。入力信号ｘは、ニューラルネットワーク６０に供給される。

ニューラルネットワーク６０は、有利には、パラメータθによってパラメータ化される。これは、例えば、パラメータメモリＰに格納されていて、ここから提供される重みｗを含む。

ニューラルネットワーク６０は、入力信号ｘから出力信号ｙを求める。出力信号ｙは、典型的には、入力信号ｘの分類情報を符号化する。出力信号ｙは、任意選択的な変換ユニット８０に供給される。変換ユニット８０は、ここから駆動制御信号Ａを求める。駆動制御信号Ａは、アクチュエータ１０に供給され、これにより、それに応じてアクチュエータ１０を駆動制御することができる。

アクチュエータ１０は駆動制御信号Ａを受信し、それに応じて駆動制御され、対応する動作を実行する。アクチュエータ１０は、ここで駆動制御信号Ａから第２の駆動制御信号を求める駆動制御ロジック（これは必ずしも構造的に統合されている必要はない）を含むものとしてよく、第２の駆動制御信号によってアクチュエータ１０が駆動制御される。

さらなる実施形態においては、制御システム４０は、センサ３０を含む。他のさらなる実施形態においては、制御システム４０は、選択的に又は付加的に、アクチュエータ１０も含む。

さらなる有利な実施形態においては、制御システム４０は、１つ又は複数のプロセッサ４５と、少なくとも１つの機械可読記憶媒体４６とを含み、少なくとも１つの機械可読記憶媒体４６には、プロセッサ４５上において実行されるときに、制御システム４０に、制御システム４０の動作方法を実施させるための命令が格納されている。

選択的な実施形態においては、アクチュエータ１０に対して選択的又は付加的に、表示ユニット１０ａが設けられている。

図２は、少なくとも部分的に自律的なロボット、ここでは、少なくとも部分的に自動化された自動車１００を制御するために制御システム４０が使用される実施例を示している。

センサ３０は、図１に関連して挙げられたセンサの１つであるものとしてよく、有利には、自動車１００内に有利に配置されている１つ又は複数のビデオセンサ、及び／又は、１つ又は複数のレーダセンサ、及び／又は、１つ又は複数の超音波センサ、及び／又は、１つ又は複数のＬｉＤＡＲセンサ、及び／又は、１つ又は複数の位置センサ（例えばＧＰＳ）であるものとしてよい。

ニューラルネットワーク６０は、入力データｘから、例えば、少なくとも部分的に自律的なロボットの周囲にある物体を検出することができる。出力信号ｙは、少なくとも部分的に自律的なロボットの周囲のどこに物体が存在しているのかを特徴付ける情報であるものとしてよい。次に、出力信号Ａが、このような情報に関連して、及び／又は、このような情報に対応して求められるものとしてよい。

有利には自動車１００内に配置されているアクチュエータ１０は、例えば、自動車１００のブレーキ、駆動装置又はステアリングシステムであるものとしてよい。ここで、例えば、ニューラルネットワーク６０によって識別された物体との衝突を自動車１００が阻止するように、１つ又は複数のアクチュエータ１０が駆動制御されるように駆動制御信号Ａが求められるものとしてよい。これは特に、これが、特定のクラスの物体、例えば歩行者である場合である。言い換えれば、駆動制御信号Ａは、求められたクラスに関連して、及び／又は、求められたクラスに対応して求められるものとしてよい。

選択的に、少なくとも部分的に自律的なロボットは、他の移動ロボット（図示せず）であるものとしてよく、これは例えば、飛行、泳ぎ、潜水又は歩行によって移動するロボットである。移動ロボットは、例えば、少なくとも部分的に自律的な芝刈り機又は少なくとも部分的に自律的な掃除ロボットであるものとしてよい。これらの場合においても、駆動制御信号Ａは、次のように求められるものとしてよい。即ち、少なくとも部分的に自律的なロボットが、例えば、ニューラルネットワーク６０によって識別された物体との衝突を阻止するように移動ロボットの駆動装置及び／又はステアリングシステムが駆動制御されるように求められるものとしてよい。

さらなる代替案においては、少なくとも部分的に自律的なロボットは、画像化センサ３０及びニューラルネットワーク６０によって、周囲２０の植物の種類又は状態を求める園芸ロボット（図示せず）であるものとしてもよい。この場合には、アクチュエータ１０は、例えば、化学薬品のアプリケータであるものとしてよい。駆動制御信号Ａは、求められた種類又は求められた状態に対応する量の化学物質が適用されるように、求められた種類又は植物の求められた状態に関連して求められるものとしてよい。

他のさらなる代替案においては、少なくとも部分的に自律的なロボットは、家電製品（図示せず）であるものとしてよく、特に洗濯機、レンジ、オーブン、電子レンジ又は食器洗い機であるものとしてよい。センサ３０、例えば光学センサによって、家電製品によって扱われる対象物の状態を検出することができ、例えば洗濯機の場合には、洗濯機内にある洗濯物の状態を検出することができる。ここで、このような対象物の種類又は状態が、ニューラルネットワーク６０によって求められ、出力信号ｙによって特徴付けられるものとしてよい。ここで、駆動制御信号Ａは、家電製品が、対象物の求められた種類又は求められた状態に関連して駆動制御されるように求められるものとしてよい。例えば、洗濯機の場合には、洗濯機内にある洗濯物がどのような材料によりできているかに関連して、これが駆動制御されるものとしてよい。この場合には、洗濯物の求められた材料に関連して、駆動制御信号Ａが選択されるものとしてよい。

図３は、製造システム２００の製造機械１１を駆動制御するために制御システム４０が使用される実施例を示している。これは、このような製造機械１１を制御するアクチュエータ１０を駆動制御することによって行われる。製造機械１１は、例えば、打ち抜き、鋸引き、穴あけ、及び／又は、切断のための機械であるものとしてよい。

センサ３０は、図１に関連して挙げられたセンサの１つであるものとしてよく、有利には、例えば、製造物１２の特性を検出する光学センサであるものとしてよい。製造機械１１を制御するアクチュエータ１０が、製造物１２の求められた特性に関連して駆動制御されるものとしてよく、それによって、製造機械１１が対応して、このような製造物１２の後続の加工ステップを実行する。センサ３０が、製造機械１１によって加工された製造物１２の特性を求め、それに関連して、後続の製造物のために製造機械１１の駆動制御を適合させることも可能である。

図４は、パーソナルアシスタント２５０を制御するために制御システム４０が使用される実施例を示している。センサ３０は、図１に関連して挙げられたセンサの１つであるものとしてよい。センサ３０は、有利には、ユーザ２４９の音声信号を受信する音響センサである。選択的又は付加的に、センサ３０は、光信号、例えば、ユーザ２４９のジェスチャのビデオ画像を受け取るように構成されるものとしてもよい。

センサ３０の信号に関連して、制御システム４０は、例えば、ニューラルネットワークがジェスチャ識別を実行することによって、パーソナルアシスタント２５０の駆動制御信号Ａを求める。次に、このような求められた駆動制御信号Ａがパーソナルアシスタント２５０に伝達され、従って、パーソナルアシスタント２５０が対応して駆動制御される。求められたこのような駆動制御信号Ａは、特に、これが、ユーザ２４９による、推測される所望の駆動制御に対応するように選択されるものとしてよい。このような推測される所望の駆動制御は、ニューラルネットワーク６０によって識別されたジェスチャに関連して求められるものとしてよい。次に、制御システム４０は、推測される所望の駆動制御に関連して、パーソナルアシスタント２５０に伝達される駆動信号Ａを選択することができ、及び／又は、推測される所望の駆動制御に対応して、パーソナルアシスタント２５０に伝達される駆動制御信号Ａを選択することができる。

対応するこのような駆動制御は、例えば、パーソナルアシスタント２５０がデータベースから情報を呼び出し、ユーザ２４９が享受可能なようにこれを再現することを含むものとしてよい。

パーソナルアシスタント２５０の代わりに、家電製品（図示せず）、特に洗濯機、レンジ、オーブン、電子レンジ又は食器洗い機が、対応して駆動制御されるように設定されているものとしてもよい。

図５は、アクセスシステム３００を制御するために制御システム４０が使用される実施例を示している。アクセスシステム３００は、物理的なアクセスコントロール、例えばドア４０１を含み得る。センサ３０は、図１に関連して挙げられたセンサの１つであるものとしてよく、有利には、顔を検出するように構成されている（例えば、画像データ又はビデオデータを検出するための）光学センサであるものとしてよい。検出されたこのような画像は、ニューラルネットワーク６０によって解釈されるものとしてよい。例えば、人物の同一性を求めることができる。アクチュエータ１０は、錠であるものとしてよく、駆動制御信号Ａに関連して、アクセスコントロールを解除する又は解除しない。例えば、ドア４０１を開放する又は開放しない。このために、駆動制御信号Ａが、ニューラルネットワーク６０の解釈に関連して、例えば、人物の求められた同一性に関連して選択されるものとしてよい。物理的なアクセスコントロールの代わりに、論理的なアクセスコントロールが設けられているものとしてもよい。

図６は、監視システム４００を制御するために制御システム４０が使用される実施例を示している。この実施例は、アクチュエータ１０の代わりに、制御システム４０によって駆動制御される表示ユニット１０ａが設けられているという点において、図５に示された実施例とは異なる。例えば、ニューラルネットワーク６０によって、光学センサによって記録された物体が怪しいか否かを求めることができ、次に、この物体が表示ユニット１０ａによって色で強調表示されるように駆動制御信号Ａを選択することができる。

図７は、医療用画像化システム５００、例えば、ＭＲＴ装置、Ｘ線装置又は超音波装置を制御するために制御システム４０が使用される実施例を示している。センサ３０は、例えば、画像化センサによって提供されるものとしてよく、表示ユニット１０ａは、制御システム４０によって駆動制御される。例えば、ニューラルネットワーク６０によって、画像化センサによって記録された領域が目立っているか否かを求めることができ、次に、この領域が表示ユニット１０ａによって色で強調表示されるように駆動制御信号Ａを選択することができる。

図８は、トレーニング方法によってニューラルネットワーク６０をトレーニングするためのトレーニングシステム１４０の実施例を概略的に示している。トレーニングデータユニット１５０は、ニューラルネットワーク６０に供給される適当な入力信号ｘを求める。例えば、トレーニングデータユニット１５０は、トレーニングデータのセットが格納されているコンピュータ実装されたデータベースにアクセスし、例えば、トレーニングデータのセットから入力信号ｘをランダムに選択する。任意選択的に、トレーニングデータユニット１５０は、評価ユニット１８０に供給される、入力信号ｘに割り当てられた所望の又は「実際の」出力信号ｙ_Ｔも求める。

人工ニューラルネットワーク６０は、自身に供給された入力信号ｘから、属する出力信号ｙを求めるように構成されている。これらの出力信号ｙは、評価ユニット１８０に供給される。

評価ユニット１８０は、例えば、出力信号ｙ及び所望の出力信号ｙ_Ｔに関連するコスト関数（英語で「ｃｏｓｔ ｆｕｎｃｔｉｏｎ」）Ｌによって、ニューラルネットワーク６０のパフォーマンスを特徴付けることができる。パラメータθは、コスト関数Ｌに関連して最適化されるものとしてよい。

さらなる有利な実施形態においては、トレーニングシステム１４０は、１つ又は複数のプロセッサ１４５と、プロセッサ１４５上において実行されるときに、制御システム１４０にトレーニング方法を実施させるための命令が格納されている少なくとも１つの機械可読記憶媒体１４６とを含む。

図９は、例として、実施例においてはニューラルネットワークとして提供されるニューラルネットワーク６０の可能な構造を示している。ニューラルネットワークは、複数の層Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５を含み、これによって、入力層Ｓ_１の入力側に供給される入力信号ｘから、出力層Ｓ_５の出力側に加えられる出力信号ｙが求められる。層Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５の各々は、ここで、各層Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５の入力側に印加される（場合によっては多次元の）入力信号ｘ、ｚ_１、ｚ_３、ｚ_４、ｚ_６から、各層Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５の出力側に印加される（場合によっては多次元の）出力信号ｚ_１、ｚ_２、ｚ_４、ｚ_５、ｙを求めるように構成されている。そのような出力信号は、特に画像処理においては、特徴マップ（英語で「ｆｅａｔｕｒｅ ｍａｐｓ」）とも称される。ここでは、入力信号としてさらなる層に入る総ての出力信号が、それぞれ先行する層から直後の層に入るように、層Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５が配置されていることは必要不可欠ではない。代わりに、スキップ接続（英語で「Ｓｋｉｐ Ｃｏｎｎｅｃｔｉｏｎｓ」）又は回帰性の接続も可能である。当然、入力信号ｘが複数の層に入ること、又は、ニューラルネットワーク６０の出力信号ｙが複数の層の出力信号から構成されることも可能である。

出力層Ｓ_５は、例えば、Ａｒｇｍａｘ層（即ち、割り当てられた各入力値を備える複数の入力側から、それらの入力値の中で割り当てられた入力値が最大である入力側の標識を選択する層）によって提供されるものとしてよく、層Ｓ_１、Ｓ_２、Ｓ_３のうちの１つ又は複数は、例えば畳み込み層によって提供されるものとしてよい。

有利には、層Ｓ_４は、スケーリング層として構成されており、このスケーリング層は、スケーリング層（Ｓ_４）の入力側に印加される入力信号（ｘ）が、スケーリング層（Ｓ_４）の出力側に印加される出力信号（ｙ）にマッピングされるように構成されている。このマッピングは、出力側に加えられている出力信号（ｙ）が入力信号（ｘ）の再スケーリングであるように行われる。ここで、この再スケーリングを特徴付けるパラメータは、固定的に設定可能である。スケーリング層Ｓ_４が実行することができる方法の実施例は、図１５に関連して以下に記載されている。

図１０は、ニューラルネットワーク６０内の情報の転送を概略的に示している。ここでは、ニューラルネットワーク６０内の３つの多次元信号、即ち、入力信号ｘ及びその後の特徴マップｚ_１、ｚ_２が概略的に示されている。実施例においては、入力信号ｘは、

個のピクセルの空間分解能を有しており、第１の特徴マップｚ_１は、

個のピクセルの空間分解能力を有しており、第２の特徴マップｚ_２は、

個のピクセルの空間分解能力を有している。実施例においては、第２の特徴マップｚ_２の分解能は、入力信号ｘの分解能よりも低いが、必ずしもそうではない。

さらに、特徴、例えば、第２の特徴マップｚ_２のピクセル（ｉ，ｊ）_３が示されている。第２の特徴マップｚ_２を第１の特徴マップｚ_１から求める関数が、例えば、畳み込み層又は全結合層（英語で「ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ」）によって表される場合、第１の特徴マップｚ_１の複数の特徴が、このような特徴（ｉ，ｊ）_３の値の算出に関与することも可能である。しかし、当然、第１の特徴マップｚ_１の１つの特徴だけがこのような特徴（ｉ，ｊ）_３の値の算出に関与することも可能である。

ここで、「関与する」とは、有利には、第２の特徴マップｚ_２が第１の特徴マップｚ_１から求められる関数を特徴付けるパラメータの値と、第１の特徴マップｚ_１の値との組合せが、関与する特徴の値に特徴（ｉ，ｊ）_３の値が関連するように存在していることと理解することができる。これらの関与する特徴の全体は、図１０においては、領域Ｂｅとして示されている。

領域Ｂｅの各特徴（ｉ，ｊ）_２の算出に、入力信号ｘの１つ又は複数の特徴が順番に関与する。領域Ｂｅの特徴（ｉ，ｊ）_２のうちの少なくとも１つの特徴の算出に関与する、入力信号ｘの総ての特徴のセットは、特徴（ｉ，ｊ）_３の受容野ｒＦと称される。言い換えれば、特徴（ｉ，ｊ）_３の受容野ｒＦは、特徴（ｉ，ｊ）_３の算出に直接的又は間接的に（言い換えれば、少なくとも間接的に）関与する、入力信号ｘの総ての特徴を含む。即ち、それらの値は、特徴（ｉ，ｊ）_３の値に影響を与え得る。

図１１は、実施形態に即した、ニューラルネットワーク６０をトレーニングするための方法のフローをフローチャートにより示している。

はじめに（１０００）、入力信号ｘ_ｉと、各属する出力信号ｙ_ｉとから成るペア（ｘ_ｉ，ｙ_ｉ）を含むトレーニングデータセットＸが提供される。学習率ηは、例えばη＝１で初期化される。

さらに、例えば、図１２に示される、方法のこの部分の実施例がステップ１１００において使用される場合、任意選択的に、第１のセットＧ及び第２のセットＮが初期化される。図１３に示される、方法のこの部分の実施例がステップ１１００において使用される場合、第１のセットＧ及び第２のセットＮの初期化を省略することができる。

第１のセットＧ及び第２のセットＮの初期化を次のように行うことができる。トレーニング方法の現在のエポックの過程において既に抽出されている、トレーニングデータセットＸのペア（ｘ_ｉ，ｙ_ｉ）を含む第１のセットＧは、空のセットとして初期化される。現在のエポックの過程においてまだ抽出されていない、トレーニングデータセットＸのペア（ｘ_ｉ，ｙ_ｉ）を含む第２のセットＮは、自身に、トレーニングデータセットＸの総てのペア（ｘ_ｉ，ｙ_ｉ）が割り当てられることによって初期化される。

ここで（１１００）、パラメータθに関する特性変数Ｌの勾配ｇが、トレーニングデータセットＸの入力信号ｘ_ｉと、各属する出力信号ｙ_ｉとから成るペア（ｘ_ｉ，ｙ_ｉ）によって推定される。即ち、ｇ＝∇_θＬである。このような方法の実施例は、図１２及び図１３に関連して記載されている。

次に（１２００）、任意選択的に、勾配ｇのスケーリングが実行される。このような方法の実施例は、図１４に関連して記載されている。

次に（１３００）、任意選択的に、学習率ηの適合化が実行される。ここで、実行されるエポックの数を、設定可能なエポック数、例えば５によって除算することが可能である限り、学習率ηを、例えば、設定可能な学習率低減ファクタＤη（例えば、Ｄη＝１／１０）だけ低減させることができる（即ち、η←η・Ｄη）。

次に（１４００）、パラメータθが求められ、場合によっては、スケーリングされた勾配ｇ及び学習率ηによって更新される。例えば、パラメータθは、θ－η・ｇによって置き換えられる。

次に（１５００）、設定可能な収束基準によって、この方法が収束しているか否かがチェックされる。例えば、（例えば、最後の２つのエポックの間の）パラメータθの絶対的な変化に関連して、収束基準が満たされているか否かを判断することができる。例えば、最後の２つのエポック間の総てのパラメータθの変化に関するＬ^２ノルムが、設定可能な収束しきい値よりも小さい場合、まさしく収束基準が満たされている可能性がある。

収束基準が満たされていると判断された場合、パラメータθが学習されたパラメータとして引き受けられ、この方法は終了する。そうでない場合、ステップ１１００に分岐して戻される。

図１２は、ステップ１１００において勾配ｇを求めるための例示的な方法をフローチャートにより示している。

最初に（１１１０）、トレーニングデータセットＸのペア（ｘ_ｉ，ｙ_ｉ）の設定可能な数ｂｓが、（戻すことを伴わずに）抽出され、即ち、選択され、バッチＢ（英語で「ｂａｔｃｈ」）に割り当てられるべきである。この設定可能な数ｂｓは、バッチサイズ（英語で「ｂａｔｃｈ ｓｉｚｅ」）とも称される。バッチＢは、空のセットとして初期化される。

さらに、バッチサイズｂｓが、第２のセットＮ内に存在しているペア（ｘ_ｉ，ｙ_ｉ）より大きいか否かがチェックされる（１１２０）。

バッチサイズｂｓが、第２のセットＮ内に存在しているペア（ｘ_ｉ，ｙ_ｉ）の数より大きくない場合、ｂｓ個のペア（ｘ_ｉ，ｙ_ｉ）が、第２のセットＮからランダムに抽出され（１１３０）、即ち、選択され、バッチＢに追加される。

バッチサイズｂｓが、第２のセットＮ内に存在しているペア（ｘ_ｉ，ｙ_ｉ）の数より大きい場合、その数がｓにより示される、第２のセットＮの総てのペアが抽出され（１１４０）、即ち、選択され、バッチＢに追加され、残余のペア、即ち、ｂｓ－ｓ個のペアが、第１のセットＧから抽出され、即ち、選択され、バッチＢに追加される。

ステップ（１１３０）又は（１１４０）に続いて（１１５０）、総てのパラメータθに対して、任意選択的に、これらのパラメータθがこのようなトレーニング実行においてスキップされるべきか否かが判断される。このために、例えば、このような層のパラメータθがスキップされる確率が、各層（Ｓ_１，Ｓ_２，…，Ｓ_６）に対して個別に確定される。例えば、このような確率は、第１の層（Ｓ_１）に対しては５０％であり、後続の層ごとに１０％ずつ低減されるものとしてよい。

次に、このような確定された各確率を使用して、各パラメータθに対して、それがスキップされるか否かが判断されるものとしてよい。

バッチＢの各ペア（ｘ_ｉ，ｙ_ｉ）について、ここで（１１５５）、任意選択的に、各入力信号ｘ_ｉが拡張されるか否かが判断される。拡張されるべき、対応する各入力信号ｘ_ｉに対して、拡張関数が有利にはランダムに選択され、入力信号ｘ_ｉに適用される。このように拡張された入力信号ｘ_ｉは、次に、元の入力信号ｘ_ｉに置き換わる。入力信号ｘ_ｉが画像信号である場合、拡張関数が、例えば、設定可能な角度だけの回転によって得られるものとしてよい。

次に（１１６０）、バッチＢの各ペア（ｘ_ｉ，ｙ_ｉ）に対して、対応する（かつ、場合によっては拡張された）入力信号ｘ_ｉが選択され、ニューラルネットワーク６０に供給される。ニューラルネットワーク６０のスキップされるべきパラメータθは、ここで、対応する出力信号を求めている間に非活性化される。これは、例えば、これらが一時的に値ゼロに設定されることによって行われる。ニューラルネットワーク６０の対応する出力信号ｙ（ｘ_ｉ）は、対応するペア（ｘ_ｉ，ｙ_ｉ）に割り当てられる。出力信号ｙ（ｘ_ｉ）及び所望の出力信号ｙ_Ｔとしてのペア（ｘ_ｉ，ｙ_ｉ）の各出力信号ｙ_ｉに関連して、それぞれコスト関数Ｌ_ｉが求められる。

次に（１１６５）、バッチＢの総てのペア（ｘ_ｉ，ｙ_ｉ）に対して共通して、完全なコスト関数Ｌ＝Σ_ｉ∈ＢＬ_ｉが求められ、スキップされるべきではない各パラメータθに対して、勾配ｇの対応する成分が、例えば、誤差逆伝播（英語で「ｂａｃｋｐｒｏｐａｇａｔｉｏｎ」）を用いて求められる。スキップされるべき各パラメータθに対しては、勾配ｇの対応する成分がゼロに設定される。

次に、ステップ１０００におけるチェックの際に、バッチサイズｂｓが、第２のセットＮ内に存在しているペア（ｘ_ｉ，ｙ_ｉ）の数より大きいことが確定されたか否かがチェックされる（１１７０）。

バッチサイズｂｓが第２のセットＮ内に存在しているペア（ｘ_ｉ，ｙ_ｉ）の数より大きくないことが確定された場合、第１のセットＧにバッチＢの総てのペア（ｘ_ｉ，ｙ_ｉ）が追加され（１１８０）、第２のセットＮから除去される。次に、第２のセットＮが空であるか否かがチェックされる（１１８５）。第２のセットＮが空の場合、新しいエポックが始まる（１１８６）。このために、第１のセットＧは、空のセットとして再初期化され、第２のセットＮは、トレーニングデータセットＸの総てのペア（ｘ_ｉ，ｙ_ｉ）がそれに再び割り当てられることによって再初期化され、ステップ（１２００）へと分岐する。第２のセットＮが空でない場合、ステップ（１２００）へと直接的に分岐させられる。

バッチサイズｂｓが、第２のセットＮ内に存在しているペアの数（ｘ_ｉ，ｙ_ｉ）より大きいことが確定された場合、第１のセットＧは、バッチＢの総てのペア（ｘ_ｉ，ｙ_ｉ）がそれに割り当てられることによって再初期化され（１１９０）、第２のセットＮは、トレーニングデータセットＸの総てのペア（ｘ_ｉ，ｙ_ｉ）がそれに割り当てられることによって再初期化され、続いて、バッチＢ内にも存在しているペア（ｘ_ｉ，ｙ_ｉ）が除去される。続いて、新しいエポックが始まり、ステップ（１２００）へと分岐させられる。これで、方法のこの部分は終了する。

図１３は、ステップ１１００において勾配ｇを求めるためのさらなる例示的な方法をフローチャートにより示している。最初に、方法のパラメータが初期化される（１１１１）。次に、パラメータθの数学的空間が、Ｗにより表される。パラメータθがまた、ｎｐ個の個別のパラメータを含む場合、この空間Ｗは、ｎｐ次元の空間であり、例えば、

である。反復カウンタｎが値ｎ＝０に初期化され、次に、第１の変数ｍ_１が、ｍ_１＝０∈Ｗとして（即ち、ｎｐ次元のベクトルとして）設定され、第２の変数が、

として（即ち、ｎｐ×ｎｐ次元の行列として）設定される。

次に（１１２１）、ペア（ｘ_ｉ，ｙ_ｉ）がトレーニングデータセットＸからランダムに選択され、場合によっては拡張される。これは、例えば、トレーニングデータセットＸのペア（ｘ_ｉ，ｙ_ｉ）の各入力信号に対して、可能な拡張α（ｘ_ｉ）の数μ（α（ｘ_ｉ））が求められ、各ペア（ｘ_ｉ，ｙ_ｉ）に、位置変数

が割り当てられるように行われ得る。次に、乱数φ∈［０；１］が均等に分散されて抽出されると、不等式のチェーン

を満たす位置変数ｐ_ｉを選択することができる。次に、属する指数ｉが、選択されたペア（ｘ_ｉ，ｙ_ｉ）を示し、入力変数ｘ_ｉの拡張α_ｉが、可能な拡張α（ｘ_ｉ）のセットからランダムに抽出され、入力変数ｘ_ｉに適用されるものとしてよい。即ち、選択されたペア（ｘ_ｉ，ｙ_ｉ）は、（α_ｉ（ｘ_ｉ），ｙ_ｉ）によって置き換えられる。

入力信号ｘ_ｉが、ニューラルネットワーク６０に供給される。対応する出力信号ｙ（ｘ_ｉ）と、所望の出力信号ｙ_Ｔとしてのペア（ｘ_ｉ，ｙ_ｉ）の出力信号ｙ_ｉとに関連して、対応するコスト関数Ｌ_ｉが求められる。パラメータθに対して、これに関連する勾配ｄが、例えば誤差逆伝播によって求められ、即ち、ｄ＝∇_θＬ（ｙ（ｘ_ｉ），ｙ_ｉ）である。

次に（１１３１）、反復カウンタｎ、第１の変数ｍ_１及び第２の変数ｍ_２が次のように更新される。

次に（１１４１）、共分散行列Ｃの成分Ｃ_ａ，ｂが

として提供される。

ここから、（ベクトル値の）第１の変数ｍ_１によってスカラ積Ｓが形成される。即ち、

である。

方程式（８）を用いて、スカラ積Ｓを十分に正確に求めるために、共分散行列Ｃ又は逆行列Ｃ^－１の総てのエントリが同時に存在している必要はない。方程式（８）の評価中に、共分散行列Ｃの、次に必要なエントリＣ_ａ，ｂを決定すると、メモリ効率が良好になる。

次に、このようなスカラ積Ｓが不等式

を満たすか否かがチェックされる（１１５１）。ここで、λは、信頼水準に相当する、設定可能なしきい値である。

この不等式が満たされている場合、第１の変数ｍ_１の現在の値が、推定された勾配ｇとして引き受けられ、ステップ（１２００）に分岐して戻される。

この不等式が満たされない場合、ステップ（１１２１）に分岐して戻されるものとするとよい。選択的に、反復カウンタｎが設定可能な最大反復値ｎ_ｍａｘに到達したか否かをチェックすることもできる（１１７１）。そうでない場合、ステップ（１１２１）に分岐して戻され、他の場合には、ゼロベクトル０∈Ｗが推定された勾配ｇとして引き受けられ（１１８１）、ステップ（１２００）に分岐して戻される。これで、方法のこの部分は終了する。

このような方法によって、ｍ_１が、抽出されたペア（ｘ_ｉ，ｙ_ｉ）に関する、求められた勾配ｄの算術平均値に相当し、ｍ_２が、抽出されたペア（ｘ_ｉ，ｙ_ｉ）に関する、求められた勾配ｄの行列積ｄ・ｄ^Ｔの算術平均値に相当することが実現される。

図１４は、ステップ（１２００）における、勾配ｇをスケーリングするための方法の実施形態を示している。以下においては、勾配ｇの各成分は、対（ｉ，ｌ）により示され、ここで、ｉ∈｛１，…，ｋ｝は、対応するパラメータθの層を示し、ｌ∈｛１，…，ｄｉｍ（Ｖ_ｉ）｝は、ｉ番目の層内の対応するパラメータθのナンバリングを示す。図１０に示されているように、ニューラルネットワークが、ｉ番目の層における対応する特徴マップｚ_ｉにおける多次元入力データｘの処理のために構成されている場合、ナンバリングｌは、有利には、特徴マップｚ_ｉにおける、対応するパラメータθが関連付けられている特徴の位置によって与えられる。

次に（１２２０）、勾配ｇの各成分ｇ_ｉ，ｌに対して、スケーリング係数Ω_ｉ，ｌが求められる。例えば、このようなスケーリング係数Ω_ｉ，ｌは、ｉ番目の層の特徴マップのｌの対応する特徴の受容野ｒＦの大きさによって与えられるものとしてよい。スケーリング係数Ω_ｉ，ｌが、選択的に、入力層に関するｉ番目の層の分解能、即ち、特徴の数の比率によって与えられるものとしてもよい。

次に（１２２０）、勾配ｇの各成分ｇ_ｉ，ｌが、スケーリング係数Ω_ｉ，ｌによってスケーリングされる。即ち、

である。

スケーリング係数Ω_ｉ，ｌが、受容野ｒＦの大きさによって与えられる場合、パラメータθの過剰適合が特に効果的に回避される。スケーリング係数Ω_ｉ，ｌが分解能の比率によって与えられる場合、これは、受容野ｒＦの大きさの、特に効率的な近似的な推定である。

図１５は、スケーリング層Ｓ_４によって実行される方法の実施形態を示している。

スケーリング層Ｓ_４は、スケーリング層Ｓ_４の入力側に印加される入力信号ｘの、半径ρ及び中心点ｃを有する球への投影を達成するように構成されている。これは、中心点ｃとスケーリング層Ｓ_４の出力側に印加される出力信号ｙとの間の距離を測定する第１のノルムＮ_１（ｙ－ｃ）、及び、スケーリング層Ｓ_４の入力側に印加される入力信号ｘとスケーリング層Ｓ_４の出力側に印加される出力信号ｙとの間の距離を測定する第２のノルムＮ_２（ｘ－ｙ）によって特徴付けられる。言い換えれば、スケーリング層Ｓ_４の出力側に加えられている出力信号ｙは、方程式

を解く。

図１５ａ）は、第１のノルムＮ_１と第２のノルムＮ_２とが同一である場合の特に効率的な第１の実施形態を示している。以下においては、これらのノルムは｜｜・｜｜により示される。

はじめに（２０００）、スケーリング層Ｓ_４の入力側に印加される入力信号ｘ、中心パラメータｃ及び半径パラメータρが提供される。

次に（２１００）、スケーリング層Ｓ_４の出力側に印加される出力信号ｙが求められる。

これで、方法のこの部分は終了する。

図１５ｂ）及び図１５ｃ）は、第１のノルムＮ_１及び第２のノルムＮ_２の特に有利に選択された組合せの実施形態を示している。

図１５ｂ）は、満たされるべき条件（１２）において、第１のノルムＮ_１（・）が、最大ノルム｜｜・｜｜_∞によって与えられており、第２のノルムＮ_２（・）が、２ノルム｜｜・｜｜_２によって与えられる第２の実施形態を示している。ノルムのこれらの組合せは、特に効率的に計算される。

はじめに（３０００）、ステップ（２０００）と同様に、スケーリング層Ｓ_４の入力側に印加される入力信号ｘ、中心パラメータｃ及び半径パラメータρが提供される。

次に（３１００）、スケーリング層Ｓ_４の出力側に印加される出力信号ｙの成分ｙ_ｉが求められる。

ここで、ｉは、成分を示している。

この方法は、特に計算効率が高い。これで、方法のこの部分は終了する。

図１５ｃ）は、満たされるべき条件（１２）において、第１のノルムＮ_１（・）が１ノルム｜｜・｜｜_１によって与えられており、第２のノルムＮ_２（・）が２ノルム｜｜・｜｜_２によって与えられる場合の第３の実施形態を示している。ノルムのこのような組合せによって、スケーリング層Ｓ_４の入力側に印加される入力信号ｘにおいて、可能な限り多くの小さい成分が値ゼロに設定される。

まずは（４０００）、ステップ（２０００）と同様に、スケーリング層Ｓ_４の入力側に印加される入力信号ｘ、中心パラメータｃ及び半径パラメータρが提供される。

次に（４１００）、符号変数ε_ｉが求められる。

スケーリング層Ｓ_４の入力側に印加される入力信号ｘの成分ｘ_ｉは、

によって置き換えられる。

補助パラメータγは、値ゼロに初期化される。

次に（４２００）、セットＮがＮ＝｛ｉ｜ｘ_ｉ＞γ｝として求められ、距離尺度Ｄ＝Σ_ｉ∈Ｎ（ｘ_ｉ－γ）である。

次に（４３００）、不等式

か満たされているか否かがチェックされる。

そうである場合（４４００）、補助パラメータγが、

によって置き換えられ、ステップ（４２００）へと分岐して戻る。

不等式（１６）が満たされていない場合（４５００）、スケーリング層Ｓ_４の出力側に印加される出力信号ｙの成分ｙ_ｉが求められる。

表記（・）_＋は、ここで、通常、

を意味している。

これで、方法のこのような部分は、終了する。このような方法は、ニュートン方法に相当し、特に、スケーリング層Ｓ_４の入力側に印加される入力信号ｘの成分の多くが重要である場合に、特に計算効率が高い。

図１６は、ニューラルネットワーク６０の動作方法の実施形態を示している。最初に（５０００）、ニューラルネットワークが、記載された方法のうちの１つによってトレーニングされる。次に（５１００）、制御システム４０は、記載されたように、このようにトレーニングされたニューラルネットワーク６０により動作する。これで、この方法は終了する。

ニューラルネットワークは、フィードフォワードニューラルネットワーク（英語で「ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ」）に限定されるものではなく、本発明は、あらゆる種類のニューラルネットワーク、特に再帰型ニューラルネットワーク、畳み込みニューラルネットワーク（英語で「ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ」）、オートエンコーダ、ボルツマンマシン、パーセプトロン又はカプセルネットワーク（英語で「Ｃａｐｓｕｌｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」）に同様に適用され得ることが自明である。

用語「コンピュータ」は、設定可能な計算規則を処理するための任意の装置を包含している。このような計算規則は、ソフトウェアの形態においても、又は、ハードウェアの形態においても、又は、ソフトウェアとハードウェアとの混合形態においても、存在し得る。

さらに、これらの方法が、記載されているように、完全にソフトウェアによってしか実装されないわけではないことは、自明である。これらの方法は、ハードウェア、又は、ソフトウェアとハードウェアとの混合形態において実装されるものとしてもよい。

Claims (12)

1. ニューラルネットワーク（６０）を用いて入力信号（ｘ）を分類するための方法であって、
   前記入力信号（ｘ）は、センサ（３０）の出力信号（Ｓ）に関連して求められ、
   前記ニューラルネットワーク（６０）はスケーリング層（Ｓ_４）を含み、前記スケーリング層は、前記スケーリング層（Ｓ_４）の入力側に印加される入力信号（ｚ_４）を前記スケーリング層（Ｓ_４）の出力側に印加される出力信号（ｚ_５）にマッピングし、前記マッピングが、設定可能な値領域への前記入力信号（ｚ_４）の投影に相当するように前記マッピングが行われる方法において、
   前記マッピングを特徴付けるパラメータ（ρ，ｃ）は、設定可能であり、
   前記マッピングは、第１のノルム（Ｎ_１）及び第２のノルム（Ｎ_２）を伴う方程式
   

   

   によって与えられる、
   ことを特徴とする、入力信号（ｘ）を分類するための方法。
2. 駆動制御信号（Ａ）を、ニューラルネットワーク（６０）の出力信号（ｙ）に関連して求める、請求項１に記載の方法。
3. 前記駆動制御信号（Ａ）に関連してアクチュエータ（１０）を駆動制御する、請求項２に記載の方法。
4. 前記第１のノルム（Ｎ_１）と前記第２のノルム（Ｎ_２）とを等しく選択する、請求項１乃至３のいずれか一項に記載の方法。
5. 前記第１のノルム（Ｎ_１）は、Ｌ^∞ノルムである、請求項１乃至３のいずれか一項に記載の方法。
6. 前記第１のノルム（Ｎ_１）は、Ｌ^１ノルムである、請求項１乃至３のいずれか一項に記載の方法。
7. 前記第２のノルム（Ｎ_２）は、Ｌ^２ノルムである、請求項５又は６に記載の方法。
8. 前記方程式
   

   

   を決定論的ニュートン方法によって解く、請求項７に記載の方法。
9. はじめにトレーニングフェーズにおいて、前記ニューラルネットワーク（６０）をトレーニングする方法に関連して、設定可能な前記パラメータ（ρ，ｃ）を適合させ、
   前記トレーニング時に、設定可能な前記パラメータ（ρ，ｃ）の適合化を、前記ニューラルネットワーク（６０）の入力信号（ｘ）の供給時の前記ニューラルネットワーク（６０）の出力信号（ｙ）に関連して、かつ、属する所望の出力信号（ｙ_Ｔ）に関連して行い、
   設定可能な前記パラメータの前記適合化を、求められた勾配（ｇ）に関連して行い、前記勾配は、前記ニューラルネットワーク（６０）の前記出力信号（ｙ）及び前記属する所望の出力信号（ｙ_Ｔ）に関連する、請求項１乃至８のいずれか一項に記載の方法。
10. コンピュータプログラムであって、コンピュータによる前記コンピュータプログラムの実行時に、前記コンピュータに、請求項１乃至９のいずれか一項に記載の方法を実施させるための命令を含むコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムが格納されている機械可読記憶媒体（４６，１４６）。
12. 請求項１乃至９のいずれか一項に記載の方法を実施するように構成されているアクチュエータ制御システム（４０）。

Images