JP7474446B2 - マルチラベル予測に適したニューラルネットワークの射影層 - Google Patents

Description

特許法第３０条第２項適用 掲載年月日：２０１９年５月３日、掲載アドレス：ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｂａｍｏｓ／ｔｈｅｓｉｓ／ｂｌｏｂ／ｍａｓｔｅｒ／ｂａｍｏｓ＿ｔｈｅｓｉｓ．ｐｄｆ

本開示の主題は、ニューラルネットワークを訓練するためのニューラルネットワーク訓練装置、訓練されたニューラルネットワークを適用するためのニューラルネットワーク適用装置、ニューラルネットワーク装置を含む自律装置コントローラ、ニューラルネットワークを訓練するためのニューラルネットワーク訓練方法、訓練されたニューラルネットワークを適用するためのニューラルネットワーク方法、一時的または非一時的なコンピュータ読み取り可能媒体に関する。

一部の分類タスクでは、画像などの特定の入力を複数のラベルに分類することが望まれる。マルチラベル分類は、例えば画像分類やグラフ生成タスクのように、真にマルチラベルであるタスクから発生する可能性がある。例えば、複数のラベルが画像に適切である場合があり、例えば、オブジェクト分類において、画像が複数のオブジェクトを示し、その結果、画像が複数のオブジェクトを説明する複数のラベルで分類され得る場合がある。

マルチラベル分類は、単一ラベル予測タスクが、トップｋのラベルのセットを予測するマルチラベル予測タスクに変換された場合にも発生する可能性がある。例えば、トップｋのエラーを判別するために、トップｋのラベリングが必要な場合がある。トップｋのエラーは、機械学習とコンピュータービジョンのパフォーマンスの一般的な尺度である。

トップｋの分類の場合、ｋ個の最も可能性の高いラベルを予測するためにニューラルネットワークが必要になる場合がある。ここで、ｋは通常、ラベルの総数と比較して非常に小さい。次に、ｋ個のラベルのすべてまたはほとんどがグラウンドトゥルースと異なる場合、予測は正しくないと見なされ、そうでない場合は正しいと見なされる。これは一般にトップｋのエラーと呼ばれる。通常、分類器にはディープニューラルネットワークが含まれる。ディープニューラルネットワークは、クロスエントロピー損失を伴うトップｋの分類のために訓練できる。ｋの典型的な例の値は５に等しく、より大きな値とより小さな値も可能である。

既知のトップｋの分類器は、Ｌｅｏｎａｒｄ Ｂｅｒｒａｄａ他による「Ｓｍｏｏｔｈ Ｌｏｓｓ Ｆｕｎｃｔｉｏｎｓ ｆｏｒ Ｄｅｅｐ Ｔｏｐ－ｋ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」に記載されており、参照により本明細書に含まれ、「Ｓｍｏｏｔｈ ＳＶＭ」または「Ｂｅｒｒａｄａ」と呼ばれる。この論文では、クロスエントロピー損失を伴う訓練の不利な点が言及されている。例えば、クロスエントロピーは特定のｋに合わせて調整されておらず、特にトップ５のエラー最小化に合わせて調整されていない。さらに、利用できるデータの量が限られている場合、クロスエントロピーを使用して大規模なニューラルネットワークを学習すると、不完全なラベルやノイズの多いラベルに過剰適合しやすくなる。

Ｂｅｒｒａｄａで説明されている既知のトップｋの分類器は、ニューラルネットワークの出力がトップｋのエラーに従って評価されることを考慮した損失関数を使用して、ディープニューラルネットワークを訓練することでこれらの問題に対処する。ただし、不利な点は残っている。さらに、Ｓｍｏｏｔｈ ＳＶＭの訓練パフォーマンスを向上させることができる。さらに、Ｓｍｏｏｔｈ ＳＶＭは遅くなる可能性があり、さらに計算時間はｋとともに増加する。

改良されたニューラルネットワークを持つことは有利であろう。現在開示されている主題は、独立請求項によって定義される。従属請求項は、有利な実施形態を定義する。

ニューラルネットワークの一実施形態は、一連のニューラルネットワーク層を含む。一連のニューラルネットワーク層の少なくとも１つの層は射影層である。射影層は、射影層の層入力ベクトルを層出力ベクトルに射影するように構成される。射影には、層出力ベクトルに適用される層損失関数の最適化が含まれる。最適化は、射影層の出力ベクトルの合計が合計パラメータになるという条件に従う。

通常、ニューラルネットワーク層は、ニューラルネットワーク層の入力ベクトルをニューラルネットワーク層の出力ベクトルにマッピングする関数を適用する。興味深いことに、所定の入力ベクトルに対して射影層の出力ベクトルを取得することには、最適化問題を解くことも含まれる。

損失関数は、少なくとも一部の部分、つまり調整項と射影項を含むことができる。

これらの２つの項は、射影を制御するために使用できる。例えば、調整項を使用して、最適化をスパースベクトルなどの望ましくないベクトルから遠ざけることができる。一方、射影項を使用して、射影層の出力ベクトルが入力と定義された関係を持っていること、例えば入力ベクトルに似ていることを保証できる。

ヒルクライミングからシミュレーテッドアニーリングまで、射影層の最適化を解決するために使用できる最適化アルゴリズムは多数ある。しかしながら、このタイプの層を適用するための特に効率的なアルゴリズムが開発されており、本明細書に記載されている。

例えば、射影層は、一連のニューラルネットワーク層の最終層であり得る。初期の層は、従来のニューラルネットワーク層、例えば、畳み込み層、ＲｅＬｕ層、高密度層、ソフトマックス層、プーリング層などであり得る。例えば、射影層を分類ネットワークに追加することができる。例えば、分類ネットワークは、その最終層において、複数のオブジェクト分類の可能性を示すベクトルを生成するように構成され得る。射影層を追加することにより、既知のネットワークを複数の分類またはトップｋの予測用に最適化できる。

トップｋの予測のために既知の分類ネットワークを変更することが可能である。例えば、ｋ個の高い予測をトップｋ個の予測として単純に取ることができる。ただし、これは最適ではない。これは、ネットワークがトップｋの予測について評価されたフィードバックを受信しない可能性があるためである。

射影層は、特に、複数のラベルが予測されるが、訓練データが不完全であることがわかっている状況で適用される場合がある。例えば、一部のラベルはセンサデータ、たとえば画像に使用できるが、すべてまたはほとんどの適用可能なラベルがリストされているわけではない。この現象が特に顕著である状況は、シーングラフ予測タスクのエッジの予測関係にある。通常、訓練センサデータは、適用可能なすべてのラベルまたは最も可能性の高いラベルでアノテートされていない。

最適化層は、特に、自律装置コントローラで使用するためのニューラルネットワークの状況で適用することができる。この場合、ニューラルネットワークを使用して、自律装置の近くにあるオブジェクトを分類することができる。射影層を使用すると、分類のロバスト性が向上する。

例えば、コントローラは、ニューラルネットワークを使用して、センサデータ内のオブジェクトを分類し、分類を使用して自律装置を制御するための制御信号を生成することができる。コントローラは、自律装置の一部である場合がある。自律装置は、ニューラルネットワークの入力に使用できるセンサデータを生成するように構成されたセンサを含み得る。

ニューラルネットワーク訓練装置およびニューラルネットワーク適用装置は電子装置である。ニューラルネットワーク適用装置は、物理装置、例えば、その動きを制御するための技術システムなどの別の物理装置に含まれ得る。

現在開示されている主題の一態様は、ニューラルネットワークを訓練するためのニューラルネットワーク訓練方法である。現在開示されている主題の一態様は、訓練されたニューラルネットワークを適用するためのニューラルネットワーク法である。

方法の一実施形態は、コンピュータ実装方法としてコンピュータ上に、または専用ハードウェアで、あるいは両方の組み合わせで、実装され得る。この方法の一実施形態の実行可能コードは、コンピュータプログラム製品に記憶することができる。コンピュータプログラム製品の例には、メモリデバイス、光ストレージデバイス、集積回路、サーバ、オンラインソフトウェアなどが含まれる。好ましくは、コンピュータプログラム製品は、プログラム製品がコンピュータ上で実行されるときに方法の実施形態を実行するために、コンピュータ読み取り可能媒体に記憶された非一時的なプログラムコードを含み得る。

一実施形態では、コンピュータプログラムは、コンピュータプログラムがコンピュータ上で実行されるときに、方法の実施形態のステップの全部または一部を実行するように適合されたコンピュータプログラムコードを含む。好ましくは、コンピュータプログラムは、コンピュータ読み取り可能媒体上に具体化され得る。

現在開示されている主題の別の態様は、コンピュータプログラムをダウンロード可能にする方法を提供する。この態様は、コンピュータプログラムがアップルのアップルストア、グーグルのプレイストア、マイクロソフトのウインドウズストアなどにアップロードされている場合、およびコンピュータプログラムがそのようなストアからダウンロードできる場合に使用される。

本開示の主題のさらなる詳細、態様、および実施形態は、例として、図面を参照して説明される。図中の要素は、簡潔さと明確さのために示されているものであり、必ずしも一定の縮尺で描かれているわけではない。図において、既に説明した要素に対応する要素は、同じ参照番号を有し得る。

図１ａは、訓練されたニューラルネットワークを訓練するためのニューラルネットワーク訓練装置の実施形態の例を概略的に示す。 図１ｂは、訓練されたニューラルネットワークを適用するためのニューラルネットワーク適用装置の実施形態の例を概略的に示す。 図１ｃは、ＬＭＬポリトープの実施形態の例を概略的に示す。 図２ａは、二重変数を最適化する一実施形態の例を概略的に示す。 図２ｂは、関数ｇ（ｖ）に寄与する個々のロジスティック関数の分解の例を概略的に示す。 図３ａは、一実施形態の例におけるフォワード時間のタイミング性能結果を概略的に示す。 図３ｂは、一実施形態の例におけるバックワード時間のタイミング性能結果を概略的に示す。 図３ｃは、視覚的ゲノム上でのシーングラフ生成の実施形態のための訓練再現率の例を概略的に示す。 図４は、ニューラルネットワークを訓練するためのニューラルネットワーク方法の一実施形態の例を概略的に示す。 図５は、訓練されたニューラルネットワークを適用するためのニューラルネットワーク方法の実施形態の例を概略的に示す。 図６ａは、一実施形態による、コンピュータプログラムを含む書き込み可能な部分を有するコンピュータ読み取り可能媒体を概略的に示す。 図６ｂは、一実施形態によるプロセッサシステムの表現を概略的に示す。

この現在開示されている主題は、多くの異なる形態の実施形態の影響を受けやすいが、本開示は、現在開示されている主題の原理の例示と見なされるべきであり、本開示の主題を開示されている特定の実施形態に限定することを意図するものではないことを理解した上で、図面に示され、本明細書では１つまたは複数の特定の実施形態を詳細に説明する。

以下では、理解のために、実施形態の要素が動作中に説明されている。しかしながら、それぞれの要素が、それらによって実行されるように説明されている機能を実行するように配置されていることは明らかであろう。

さらに、本開示の主題は、実施形態に限定されず、本開示の主題は、本明細書に記載されているか、または相互に異なる従属請求項に記載されているすべての新規の特徴または特徴の組み合わせにある。

マルチラベル予測タスクは、コンピュータービジョンに頻繁に現れる。マルチラベル予測は、例えばグラフ生成タスクのように、真にマルチラベルであるタスクから、または例えば単一ラベル予測タスクをトップｋのラベルのセットを予測するマルチラベル予測タスクに変換することによって発生する可能性がある。シーングラフの生成などの高次元のケースでは、マルチラベルデータをアノテートすることは困難であり、多くの場合、不完全なラベリングを持つデータセットになる。このような場合、ニューラルネットワークは通常、ｋ個のラベルの予測に限定され、ネットワークの予測セットに存在する既知のラベルの割合である再現率で評価される。ソフトマックス関数やシグモイド関数を使用するなどの標準的なアプローチは、ニューラルネットワークが観測されていないラベルをキャプチャできるようにする方法がないため、ここでは理想的ではない。

自動運転車などの自律装置コントロールは、信頼できる分類に基づく意思決定に依存する。実際の分類問題では、通常、クラスの数は非常に多くなる。これは、脆弱な分類器につながる。したがって、結果として生じる装置の制御は信頼性が低く、自律装置コントロールには特に望ましくない。

装置コントロールのロバスト性を高めるために、ラベルの数を予め定義された数ｋに固定することができる。これにより、装置コントロール用の分類器のロバスト性が向上する。予め定義された数のラベルを予測するニューラルネットワークは、一実施形態のように射影層から利益を得る。

例えば、一実施形態では、ニューラルネットワークは、Ｋ個のクラスを正確に分類できない場合があるが、ｋ≪Ｋのトップ（ｋ）クラスの分類は、一実施形態による射影層を使用して実行する方が簡単である。いずれの場合も、いくつかのデータポイントは複数のクラスを含んでおり、マルチラベルクラスの方が理にかなっている。シーンを理解するために、例えば、シーングラフ生成を実行するときなど、オブジェクトは、予め定義された数の他のオブジェクトに関連して分類され得る。

例えば、エンドツーエンドの学習システムのために、ニューラルネットワークにおける新しい基本演算として使用され得る新しい射影層が提供される。射影層は、本明細書では限定マルチラベル（ＬＭＬ）層と呼ばれる。ＬＭＬ層は、正確にｋ個のラベルを持つことに限定されたマルチラベル予測をモデル化する確率的な方法を提供する。

図１ａは、ニューラルネットワークを訓練するためのニューラルネットワーク訓練装置１００の実施形態の例を概略的に示している。ニューラルネットワークは、一連のニューラルネットワーク層１２０を含む。ニューラルネットワーク層は、層入力ベクトルを層出力ベクトルに射影するように構成されている。層間には接続がある。例えば、ニューラルネットワーク訓練装置１００は、一連のニューラルネットワーク層の複数の層のパラメータを記憶するように構成されたニューラルネットワークストレージ１３４を備えることができる。例えば、パラメータは、層のニューロンのパラメータ、または層内部または層１２０間の接続の重みであり得る。ネットワークはまた、一連であることが１２０として破線で概略的に示されている。図１ａは、一連のニューラルネットワーク層１２０の層１２１および１２２を示している。

ネットワークは、フォワードパスおよびバックワードパス用に構成され得る。例えば、装置１００は、例えば、ニューラルネットワークを所定の入力に適用するために、フォワードパスを実行するように構成されたアプリケーションユニット１４０を備え得る。例えば、ユニット１４０は、一連のニューラルネットワーク層を入力データに適用するように構成され得る。アプリケーションユニット１４０は、以下でさらに説明される射影層ユニット１４２を含み得る。

訓練装置１００は、ニューラルネットワーク１２０を訓練するための訓練データを記憶するように構成された訓練ストレージ１３２を備えることができる。例えば、アプリケーションユニット１４０は、訓練データストレージ１３２内の訓練データに適用され得る。

訓練装置１００は、ネットワークを訓練するために記憶されたパラメータを調整、例えば、訓練入力に対するネットワークの出力が訓練出力により厳密に従うようにパラメータを調整するように構成されたバックプロパゲーションユニット１３０をさらに含む。バックプロパゲーションユニット１３０は、射影層１４６のためのバックプロパゲーションユニットを含み得る。

ネットワークが訓練されると、訓練されたニューラルネットワークを適用するための適用装置で全体的または部分的に使用できる。図１ｂは、訓練されたニューラルネットワークを適用するためのニューラルネットワーク適用装置１５０の実施形態の例を概略的に示している。ネットワーク適用装置１５０は、入力データを受信するための通信インターフェース１２６を含む。アプリケーションユニット１４０および射影層ユニット１４２は、図１ａと同じであり得る。

例えば、図１ａの訓練データと図１ｂの入力は、１つまたは複数のラベルでアノテートされたセンサデータを含む場合がある。ニューラルネットワークは、訓練データに従ってセンサデータが与えられると、いくつかのラベルを生成するように訓練され得る。ラベルの数は予め決定することができる。例えば、ニューラルネットワークの最終出力は、０～１のエントリを持つベクトルであり、各エントリはラベルに対応し、対応するラベルを持つオブジェクトが入力で認識された可能性を示す値を持ち得る。例えば、出力ベクトルの最初のエントリは車に対応し、２番目のエントリはサイクリストに対応する場合がある。興味深いことに、予測されるラベルの数は予め決定されている可能性がある。例えば、５ラベル以上または以下、または正確に１または１０以上、または１００以上などを予測するように制約される場合がある。

訓練データは、ビデオ、レーダ、ＬｉＤＡＲ、超音波、モーションなどの１つ以上を含む任意のセンサデータを含むことができる。ＬＭＬ層は、ＣＮＮ（フレームベースまたはビデオベース）などのフィードフォワードネットワークやＲＮＮアーキテクチャ（フレームベースまたはビデオベース）で使用できる。結果として得られるニューラルネットワークは、物理システムを制御するための制御信号を計算するために使用できる。例えば、制御信号は、ロボット、車両、家庭用電化製品、電動工具、製造機械、パーソナルアシスタントまたはアクセス制御システムなどのようなコンピュータ制御された機械のためのものであり得る。例えば、分類結果に基づいて決定を下すことができる。ＬＭＬ射影層は、よりロバストな方法で分類を実行するのに役立つ。

ＬＭＬ射影層を含む分類のために訓練されたニューラルネットワークは、監視システムまたは画像化システム、例えば、医用画像化システムなどの情報を伝達するためのシステムに含まれ得る。例えば、ニューラルネットワークは、例えば、顔認識によって、例えば、システムへのアクセスを許可するために、センサデータを分類するように構成され得る。興味深いことに、ニューラルネットワークでは、ロバスト分類により、観測データのあいまいさが許容される。例えば、ニューラルネットワークの出力がグラウンドトゥルースに近づく一方で、ニューラルネットワークは不完全な分類訓練データで訓練される可能性があることがわかった。

システム１００および／または１５０は、コンピュータネットワークを介して、互いに、または外部ストレージまたは入力装置または出力装置と通信することができる。コンピュータネットワークは、インターネット、イントラネット、ＬＡＮ、ＷＬＡＮなどである可能性がある。コンピュータネットワークはインターネットかもしれない。システムは、必要に応じてシステム内またはシステム外で通信するように配置された接続インターフェースを備えている。例えば、接続インターフェースは、コネクタ、例えば、有線コネクタ、例えば、イーサネットコネクタ、光コネクタなど、または無線コネクタ、例えば、アンテナ、例えば、Ｗｉ－Ｆｉ、４Ｇまたは５Ｇアンテナなどを含み得る。

システム１００および１５０の実行は、プロセッサシステム、例えば、１つまたは複数のプロセッサ回路に実装され、その例が本明細書に示されている。図１ａおよび１ｂは、プロセッサシステムの機能ユニットである可能性のある機能ユニットを示している。例えば、図１ａおよび１ｂは、プロセッサシステムの可能な機能構成の青写真として使用され得る。プロセッサ回路は、これらの図のユニットとは別個に示されていない。例えば、図１ａおよび１ｂに示されている機能ユニットは、例えば、システム１００および１５０の電子メモリでシステム１００および１５０に記憶され、システム１００および１５０のマイクロプロセッサによって実行可能であるコンピュータ命令に全体的または部分的に実装され得る。ハイブリッドの実施形態では、機能ユニットは、部分的にハードウェア、例えば、コプロセッサ、例えば、ニューラルネットワークコプロセッサとして実装され、そして部分的に、システム１００および１５０に記憶および実行されるソフトウェアに実装される。ネットワークおよび／または訓練データのパラメータは、システム１００および１５０にローカルに記憶され得るか、またはクラウドストレージに記憶され得る。

射影層は、図１ａおよび１ｂに層１４４として示されている。アプリケーション層１４４は、射影層を適用するように構成された射影層１４２を含む。図１ａおよび１ｂにおいて、この場合は最後の層として単一の射影層が示される。ただし、これは必須ではなく、フォワードパスおよびバックワードパスの両方を、複数の射影層および／または最終層ではない射影層に適用できる。例えば、射影層の出力、例えば、入力センサデータ内のオブジェクトを識別する信号は、データをさらに処理するさらなるネットワーク層への入力として使用され得る。

射影は訓練可能なパラメータを含まない場合がある。特に、予測されるラベルの数ｋは固定され得る。しかしながら、一実施形態では、数ｋを含むいくつかのパラメータ、しかしおそらく温度またはレギュレータのパラメータまたは射影項などの損失関数のパラメータは、メタ訓練パスで訓練され得る。オプションのメタ訓練パス中に、訓練装置は、例えば再現率などのパフォーマンス目標に従ってハイパーパラメータを選択および／または変更するように構成される。

射影層、例えば、射影層１４４は、合計パラメータｋに対して構成され得る。合計パラメータは、ネットワークが訓練されるラベルの数を示す。例えば、５つのラベルを予測するようにネットワークを訓練するには、５つの合計パラメータが使用され得る。合計パラメータは、通常、正の整数、例えば、１、２、またはそれ以上、たとえば、５以上などである。合計パラメータは、一方では実行される射影のタイプを示す。それにもかかわらず、システムは非整数に対して訓練および適用されるが、正のｋも同様に、射影の場合、合計パラメータは整数である必要はない。それでも、合計パラメータは正の整数であると想定した。

一実施形態では、訓練データは、１つまたは複数のラベルでアノテートされたセンサデータを含む。ニューラルネットワークは、入力としての訓練データに従ってセンサデータに与えられた数のラベルを生成するように訓練され、ラベルの数は合計パラメータｋに等しい。訓練中、または訓練が完了したときでさえ、ニューラルネットワークの出力、例えば、射影層１４４の出力は、ｋ個を超える非ゼロエントリを含み得ることに留意されたい。実際、これは可能性が高い。ただし、エントリの合計はｋに等しいか、少なくともそれに近い。例えば、それはあるしきい値内にある可能性がある。ｋラベルのリストを選択するには、ｋ個の最大のエントリを選択できる。

射影層、例えば、層１４４は、例えば、射影層ユニット１４２に実装されるように、射影層の層入力ベクトルｘを層出力ベクトルｙに射影するように構成され得る。層出力ベクトルに適用される層損失関数の最適化を含む射影は、射影層の出力ベクトルｙが合計パラメータｋに加算されるという条件に従う。通常、射影層の出力ベクトルｙのエントリも、０から１までの数値であるという条件が適用される。

例えば、グラウンドトゥルースが多数のｋ個のラベルをエンコードする場合、これらは、ラベルにｋ１、選択されていないラベルに（ｎ－ｋ）０を持つ０－１ベクトルとしてエンコードできる（これは、合計n個の可能なラベル）。例えば、訓練データがｋ未満のラベルをエンコードする場合や、1つのラベルのみをエンコードする場合でも、合計パラメータを使用して、トップｋ個の出力が必要であることを定義することもできる。したがって、射影層は、不完全な訓練データが存在する場合に複数のラベルを予測するのに特に適している。

層損失関数は、調整項と射影項を含み得る。射影項は、例えば、入力と同じ方向ある入力に似た出力ｙに射影をプッシュする。例えば、射影項は－〈ｘ，ｙ〉である可能性がある。調整項は、出力をスパースベクトルから遠ざけるために使用できる。例えば、調整項は、二値エントロピー、例えば、－Ｈ_ｂ（ｙ）を含み得る。射影項と調整項のバランスを互いに対してとるハイパーパラメータが存在する可能性がある。

射影層１４４を計算するために、入力ベクトルを出力ベクトルにマッピングする数学関数を単に計算するだけでは十分ではない。むしろ、射影層１４４はそれ自体が最適化問題である。例えば、訓練されたネットワークの場合でも、射影層を適用するには、最適化問題の計算が必要になる場合がある。この最適化は、反復アルゴリズムを使用して実行できる。図１ａでは、これはユニット１４２に示され、ユニット１４２を指す矢印が付いている。この特定の最適化を実行するために、非常に効率的な最適化アルゴリズムが開発された。このような効率的なアルゴリズムを使用すると、射影層は他のタイプのネットワーク層と同様の効率になる。

例えば、一実施形態では、ネットワークは、Ｋクラス、例えば、ラベルに対して設計され得る。例えば、ネットワークの出力は、対応するクラスがセンサデータ入力に適用される可能性を示すＫエントリを持つベクトルである場合がある。ただし、射影層の損失関数により、ネットワークはトップ（ｋ）のパフォーマンスに関心を持つ。例えば、最終的な射影層のない一連の層１２０－１２１などのニューラルネットワークは、既知の分類ネットワークであり得る。例えば、既知の分類ネットワークは、例えば、いわゆるロジットの長さｋのベクトルを生成することができる。最終層１４４は、ロジットをｋのＬＭＬポリトープに射影することができる。訓練またはテスト中に、ネットワーク損失関数を層１４４の出力に適用することができ、例えば、層１４４によって提供されるようなｋ個のラベルと、アノテートされたデータによって提供される１つまたは複数のラベルとの間の距離を測定することができる。

合計パラメータｋは、画像に描かれる可能性が高いクラスｋの最大数、例えば、オブジェクト、ラベルなどの数についての知識に基づいた推測を行うことによって選択することができる。既知のシステムとは対照的に、射影層の実施形態では損失関数を手作りする必要がない場合があるが、トップｋの知識がネットワークの訓練に挿入される。射影層は、ネットワークにｋ個の予測を強制する。これにより、ｋ個の予測の選択を最適化する訓練信号が作成される。

図１ｃは、ＬＭＬポリトープの実施形態の例を概略的に示している。図１ｃは、合計してｋになる座標を持つ単位ｎ－ハイパーキューブ内の点のセットであるＬＭＬポリトープＬ_ｎ，ｋを示している。Ｌ_ｎ，1は、（ｎ－１）次元単体である。Ｌ_３，１およびＬ_３，２ポリトープ（三角形）は左側にある。Ｌ_４，２ポリトープ（八面体）は右側にある。

層損失関数の調整項は、出力ベクトルｙの係数に適用される関数の合計である可能性がある。そのような関数は、好ましくは凸で連続的であり得、０から１の間、例えば、１／２での入力に対して最小値を有する。これらの条件により、射影層によって定義された最適化問題の解がスパース解から離れることが保証される。例えば、関数はマイナスのバイナリエントロピー関数－Ｈ_ｂ（ｙ）、または基準化されたものであり得る。

層損失関数の射影項は、層入力ベクトルと同じ方向のベクトルの場合、単位長のベクトルに対して線形で最小である可能性がある。これらの条件は、射影層の出力が入力に似ていることを保証するが、いくつかの条件、例えば、合計パラメータｋなどへの合計に従って最適化される場合は除かれる。例えば、射影項は、層入力ベクトルと層出力ベクトルの負の内積－〈ｘ，ｙ〉、または基準化されたものであり得る。

二値エントロピーおよび／または内積とは異なる関数を使用しても、例えば図１ｃに示すように、ＬＭＬポリトープへの射影が定義される。

最適化は、任意の適切なベクトル最適化アルゴリズム、例えば、ニュートン降下、シミュレーテッドアニーリングなどを使用して実行することができる。並列化にも適した特定の効率的な最適化方法を本明細書に提示する。

したがって、制限付きマルチラベル射影層は、合計が正確にｋになる座標を使用して単位ｎ－ハイパーキューブ内の点のセットに射影する方法を提供する。この空間はポリトープとして表すことができ、（ｎ，ｋ）－制限付きマルチラベルポリトープとして定義できる。

ｋ＝１の場合、ＬＭＬポリトープは（ｎ－１）次元単体である。一実施形態では、ｋ≧１。一実施形態では、ｋ＞１。表記上、nが文脈によって暗示されている場合、それは省略され、Ｌ_ｋと書くことができる。図１ｃは、このポリトープの３つの低次元の例を示している。

ＬＭＬポリトープの内部への射影は、以下に定義される。

ここで、Ｈ_ｂ（ｙ）＝－Σ_ｉｙ_ｉｌｏｇｙ_ｉ＋（１－ｙ_ｉ）Ｌｏｇ（１－ｙ_ｉ）は二値エントロピー関数である。関数
は、π_ｋ（ｘ）と書くこともできる。

目的のエントロピーベースのレギュラライザは、この射影の勾配のスパース性を防ぐのに役立ち、これは学習に役立つ。他の射影は、レギュラライザを変更するか、温度パラメータを使用してエントロピー項をスケーリングすることによって行うことができる。ニューラルネットワークの出力などのベクトルｘのＬＭＬ射影、例えば、射影
がｘの座標の大きさに基づく次数を保持する層１２０～１２１を数学的に示すことができる。この層は、Ｌ_ｋの内部へのソフトプロジェクションと見なすことができる。
入力ｘのπ_ｋ（ｘ）を計算するために最小化ベクトルｙ^＊を見つけることは、次の問題と同等であることを示すことができる。：ｇ（ｖ^＊）＝ｋかつ
の場合、または同等の代替手段において
以外のｇ（ｖ^＊）＝０の場合、ｙ_ｉ ^＊＝σ（ｘ_ｉ＋ｖ^＊）を計算する。この関数は、ロジスティックシグモイド関数
として選択できる。

例えば、一実施形態では、層損失関数を最適化することは、スカラーｖ^＊を最適化することを含み、層出力ベクトルは、関数を層入力ベクトルおよび最適化されたスカラーｙ_ｉ ^＊＝σ（ｘ_ｉ＋ｖ^＊）に適用することによって計算される。

一実施形態では、層損失関数を最適化することは、スカラーｖ^＊を最適化することを含み、層出力ベクトルは、関数を層入力ベクトルおよび最適化されたスカラーに適用することによって計算される。例えば、関数は、入力ベクトルの変換に適用され得る、例えば、最適化されたスカラーを各エントリに追加することによって変換され得るシグモイド関数であり得る。シグモイド関数は、出力を０～１の値にマップするが、最適化されたスカラーを使用して制限、例えば、出力ベクトルの合計が合計パラメータｋであるという制限を課すことができる。

上記のように損失関数を選択すると、損失関数を最適化することは、関数としてロジスティックシグモイド関数を用いてスカラーを最適化することと同等であることがわかる。ただし、他の関数、特にシグモイド関数を使用することもできる。

最適なｖ^＊∈Ｒを見つけるために、スカラー最適化手法を実行できる。二分法は並列化に適している。例えば、ブラケット法を使用して、ｇ（ｖ）＝０を見つけることができる（同等のバリアント定義を使用）。

上記のアルゴリズムはさまざまな方法で変更できる。例えば、ステップ３のサンプリングは、線形である必要はなく、例えば、それはランダムであり得る。ステップ５は省略できる。ステップ９は、平均値などではなく、ｖ_ｌまたはｖ_ｕを返す場合がある。

ｇ（ｖ）＝０は、単調に増加する微分可能、連続、非凸関数のスカラー値の求根問題であるが、並列化に適しているため、解ｖ^＊の周囲に下限と上限の間隔を維持する上記のようなブラケット法でｇ（ｖ）＝０を解くのに有利である。ニュートン法は、微分情報を有利に使用することができるが、並列化にはそれほど従順ではない。一実施形態では、最適化方法は、単一の点の代わりに反復ｖのｄ値についてｇ（ｖ）をサンプリングすることによって二等分ブラケット法を一般化する。例えば、一実施形態では、サンプルサイズは、各反復について並列に、例えばＧＰＵ上に、ｄ＝１００ポイントであり得る。後者は通常、１０回未満の反復でマシンイプシロンに到達する。ＣＰＵでは、より小さなサンプルサイズ、例えばｄ＝１０ポイント、を使用できる。

根の最初の下限ｖ_ｌと上限ｖ_ｕは、σ（ｘ_ｊ＋ｖ）が０または１またはその近くになるように、十分に低くおよび／または高く選択できる。一実施形態では、スカラーｖの上限および／または下限は、層入力ベクトルｘをソートし、成分を選択し、値を加算および／または減算することによって得られる。例えば、選択された成分は、ラベルの数ｋに等しいインデックス、またはラベルの数ｋに最大の要素から数えて１を加えたものを有することができる。

例えば、σ（ｘ_ｊ＋ｖ）として
のエントリによってオフセットされたロジスティック関数の合計がｇ（ｖ）であることを観察することにより、ルートの初期の下限ｖ_ｌと上限のｖ_ｕを選択することで改善が得られる。高い確率で、ロジスティック関数の飽和領域を使用して初期境界を構築できる。

π（ｘ）_１≧π（ｘ）_２≧…≧π（ｘ）_ｎ
およびΔがシグモイドユニットを飽和させるのに十分な大きさのオフセットであるようにπ（ｘ）が
を降順でソートする。一実施形態では、Δ＝７をとることができる。

例えば、一実施形態では、初期の下限にｖ_ｌ＝－π（ｘ）_ｋ－Δを使用する。これにより、
がｘ_ｊ∈π（ｘ）_ｋ,...,ｎに、０＜σ（ｘ_ｊ＋ｖ_ｌ）＜１がｘ_ｊ∈π（ｘ）_{１,...,ｋ－１}になり、したがってｇ（ｖ_ｌ）≦－１≦０になり、最初の上限にｖ_ｕ＝－π（ｘ）_ｋ＋１＋Δが使用される。これにより、
がすべてのｘ_ｊ∈π（ｘ）_{１,...,ｋ＋１}になり、したがってｇ（ｖ_ｕ）≧１≧０になる。

射影層を最適化する射影ユニットを使用すると、ニューラルネットワークの任意の場所でフォワードパスで射影層を使用できる。例えば、デュアル変数を使用した最適化が使用されている場合、フォワードパスに次のアルゴリズムを使用できる。

一実施形態では、層損失関数を最適化することは、層出力ベクトルｙを得るために反復近似アルゴリズムを適用することを含む。反復近似アルゴリズムは、二重変数ｖを最適化する場合もあれば、層損失関数を直接最適化する場合もある。二重変数ｖが使用される場合、スカラー二重変数ｖを最適化することによって層損失関数を最適化することができる。その場合、層出力ベクトルは、層入力ベクトルと最適化されたスカラー、例えばｙ_ｉ ^＊＝σ（ｘ_ｉ＋ｖ^＊）に関数を適用することによって計算できる。

一実施形態では、以下のフォワードパスアルゴリズムを以下のように実装することができる：

上記のようなフォワードパスアルゴリズムは、さまざまな方法で変更できる。例えば、線形サンプリングの代わりに、他のサンプリングを使用することができる。ステップ７で補間する代わりに、境界の１つを用いる等できる。

図２ａは、二重変数を最適化する一実施形態の例を概略的に示す。図２ａは、関数ｇをｖの関数として示す。

図２ｂは、関数ｇ（ｖ）に寄与する個々のロジスティック関数の分解の例を概略的に示す。

図２ａおよび２ｂに示す例では、図２ａに示す求根問題ｇ（ｖ）＝０を解くことにより、
およびｋ＝２の最適な二重変数ｖを見つける。右は、ｇ（ｖ）に寄与する個々のロジスティック関数の分解を示す。上記の初期の下限と上限を示す。スカラーｖを明らかに最適化することは、多次元ベクトルｘを最適化するよりもはるかに効率的である。

エラーは射影層全体に逆伝播する可能性があるため、射影層は逆伝播層に簡単に収まる。たとえば、次のアルゴリズムを使用できる。

上記のアルゴリズムを使用すると、エラーベクトルδをベクトルηに逆伝播させることができる。後者は、例えば、さらなるバックプロパゲーションを使用して、射影層の前に層を訓練するために使用され得る。

射影層が最後の層である場合、逆伝播誤差δ∈Ｒ^ｎは、フォワードパス中の出力ｙと訓練データの真の答えとの差と見なすことができる。真の答えはグラウンドトゥルースであることが望ましいが、グラウンドトゥルースと比較して真の答えは不完全である可能性がある。例えば、ネットワークの出力においてｋ個のラベルが必要な場合でも、訓練データは常にｋ個のラベルを使用できるとは限らないが、それより少ない場合がある。

例えば、一実施形態では、射影層は最後の層であり、出力ベクトルｙ、例えば、最適化の解ｙ^＊＝σ（ｘ＋ｖ^＊）を有する。ネットワークのエラーを示す損失関数は定義される。例えば、
、ここで、ｔ_ｉはグラウンドトゥルース、または少なくとも訓練データによる真の出力である。例えば、係数ｔ_ｉを持つベクトルtは、どのラベル、例えばどの分類が適用されるかを示す０－１ベクトルである可能性がある。この特定の損失関数の場合、
、例えばｙに関する損失関数の勾配を導き出すことができる。後者のベクトルは、フォワードパス出力とグラウンドトゥルースから計算できる。例えば、
は、上記のアルゴリズムのベクトルδと見なすことができる。

新しい射影層は、フォワードネットワークやリカレントネットワークを含む任意のニューラルネットワークアーキテクチャに含めることができる。例えば、バックワードパスは以下のように説明することもでき、これはさまざまな損失関数ｌに適用できる。

ここで、ｌは層損失関数を表す。ＬＭＬ層を介したバックプロパゲーションは、次のように導き出される。
をＬＭＬレイヤーの出力とする。このレイヤーを勾配ベースのエンドツーエンド学習システムに統合するには、導関数
を計算する必要がある場合がある。

ここで、ｌは損失関数である。ＬＭＬ射影
には明示的な閉形式の解がないため、自動微分フレームワークを使用して勾配
を計算することはできない。解はｙ^＊＝σ（ｘ＋ｖ^＊）として表すことができるが、ｖ^＊はｘの関数でもあるため、この形式を微分することは依然として困難であることに注意する。代わりに、ＫＫＴ条件は暗黙的に微分される。次の線形システムを解くことができる：

ここで、
は、Ｈ＝ｄｉａｇ（ｈ）かつ
によって定義される。

システムは、以下で解析的に解くことができる。

ここで、○は要素ごとの積であり、ｈ^－１は要素ごとの逆数である。最後に、∇_ｘｌ＝－ｄ_ｙである。

図３ａおよび３ｂは、タイミングパフォーマンスの結果を示す。図３ａは、一実施形態の一例におけるフォワード時間のタイミング性能結果を概略的に示している。図３ｂは、一実施形態の一例におけるバックワード時間のタイミング性能結果を概略的に示している。

図３ａおよび３ｂに示されているのは、１０００クラス３１１および１００００クラス３１２の結果である。縦軸には時間（秒）３１３が示されている。Ｓｍｏｏｔｈ ＳＶＭ、特にＳＡ３１５、ＤＣ３１６、およびＥｎtr_tr３１８とＬＭＬ３１９のタイミング結果が表示される。図３ｂは、Ｓｍｏｏｔｈ ＳＶＭのバックワードタイミング結果３１７を示す。ＬＭＬ３１９の結果は一実施形態のものである。

ＬＭＬ射影層のタイミング性能は、参照により本明細書に含まれる、Ｂｅｒｒａｄａ他による「Ｓｍｏｏｔｈ ｌｏｓｓ ｆｕｎｃｔｉｏｎ ｆｏｒ ｄｅｅｐ ｔｏｐ－ｋ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」からのＳｍｏｏｔｈ ＳＶＭ損失と比較される。Ｓｍｏｏｔｈ ＳＶＭ損失の合計アルゴリズム（ＳＡ）および分割統治（ＤＣ）アルゴリズムについては、Ｂｅｒｒａｄａで詳しく説明されている。また、タイミング性能は参照により本明細書に含まれる、Ｌａｐｉｎ，Ｍ他による「Ｔｏｐ－ｋ ｍｕｌｔｉｃｌａｓｓ ｓｖｍ」からの切り捨てられたトップｋエントロピーＥｎtr_trと比較される。パフォーマンスを測定するために、２５６のミニバッチサイズと各データポイントに対して５０回の試行５０が用いられた。すべてまたはほとんどの実験は、アンロードされたＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ １０８０ Ｔｉ ＧＰＵで実行された。

図３ａおよび３ｂは、ミニバッチサイズが２５６の場合の問題のパフォーマンス結果を示し、ＬＭＬ層の最小オーバーヘッドを強調している。ほとんどすべての場合、ＬＭＬ層はＳｍｏｏｔｈ ＳＶＭのフォワードおよびバックワードパスよりも優れている。特に、ＬＭＬバックワードパスは、すべてまたはほとんどの場合に大幅に高速である。Ｓｍｏｏｔｈ ＳＶＭのフォワードパスは、ＬＭＬ層のパフォーマンスが一定のままで、ｋが大きくなるにつれて、計算コストが高くなる。トップ－ｋエントロピー損失は、ソート操作によってボトルネックになり、Ｓｍｏｏｔｈ ＳＶＭ層とＬＭＬ層の両方を大幅に上回る。

ほとんどすべての場合、ＬＭＬ層はＳｍｏｏｔｈ ＳＶＭのフォワードおよびバックワードパスよりも優れている。特に、ＬＭＬバックワードパスは、すべてまたはほとんどの場合に大幅に高速である。Ｓｍｏｏｔｈ ＳＶＭのフォワードパスは、ＬＭＬ層のパフォーマンスを一定のままで、ｋが大きくなるにつれて、計算コストが高くなる。

射影層の一実施形態は、ニューラルネットワーク、特に入力を分類するために訓練されたネットワークの様々な用途において使用され得る。入力が複数のラベルを自然に許容する状況、またはトップ－ｋ予測が行われる状況のいずれかで、入力から複数のラベルを導出する場合、射影層は特に優れたパフォーマンスを発揮する。射影層がないと、ネットワークは所望の出力の性質、つまり、所望の出力がｋ個のラベルを有すること、に関する情報を吸収しない。

ラベルの数は固定されていることが好ましい。例えば、合計パラメータは、所望のラベルの数の上限を選択することによって、ラベルの数について知識に基づいた推測をすることによって固定され得る。パラメータは、別の関数、例えば、入力内の関心領域を選択するように構成された関数によって選択することができる。必要に応じて、ｋの複数の値に対して複数のネットワークを訓練し、使用する他の関数で選択することができる。または、ネットワークをより大きなｋに使用し、その結果を切り捨てることができる。

さらに、射影層は、複数のラベルが予測されるが、グラウンドトゥルース情報が利用できない状況で特にうまく機能する。例えば、センサデータの場合、例えば画像の場合、潜在的に多くのラベルが画像に適用される可能性がある。すべてまたはほとんどの存在しうるラベルが正しく適用されている、画像などの大量の訓練データを取得することは困難である。ただし、適用可能なラベルのサブセットを使用して訓練されている場合、射影層は十分に学習する。例えば、ｋ個の出力、例えば１０個の出力用に訓練されるネットワークは、１０個未満の正しいラベルがわかっている画像などのセンサデータで訓練される。それでも、ネットワークは収束して、センサデータに対して適用可能な１０個のラベルを出力する。

例えば、一実施形態では、訓練データは、１つまたは複数のラベルでアノテートされたセンサデータを含み得る。ニューラルネットワークは、訓練データに従ってセンサデータに与えられた複数のラベルを生成するように訓練されることができ、ラベルの数は合計パラメータｋに等しい。

一実施形態では、ニューラルネットワークは、訓練データが真のラベルの不完全なサブセットを有し、正確にｋ個のラベルのセットを予測することによってタスクをモデル化することが望ましいマルチラベル分類のために構成される。例えば、訓練データは、不完全なラベル情報、例えば、訓練に使用できるラベルがｋ個未満の訓練データ内のセンサデータの少なくとも一部でアノテートされることができる。この設定は、実際には、画像分類で上位ｋ個のラベルを予測したり、シーングラフの生成などのためにグラフ内のｋ個の関係のセットを予測したりするために実用される。

シーングラフの生成は、入力画像からオブジェクトのセットとそれらの間の関係を生成するタスクであり、最近広く研究されている。背景と表記法については、Ｚｅｌｌｅｒｓ他による「Ｎｅｕｒａｌ ｍｏｔｉｆｓ：Ｓｃｅｎｅ ｇｒａｐｈ ｐａｒｓｉｎｇ ｗｉｔｈ ｇｌｏｂａｌ ｃｏｎｔｅｘｔ」を参照する。これは、参照により本明細書に含まれ、Ｚｅｌｌｅｒｓおよびそのモデルをニューラルモチーフと呼ぶ。シーングラフは、オブジェクトレベルおよびエッジレベルのコンテキストを作成することによって生成される。

特に、Ｚｅｌｌｅｒｓの関係予測部分は、射影層を使用することによって、例えば、起こりうる関係のすべてまたはほとんどを完全に列挙する方法を使用することによって改善されることができる。図３ｃは、これによりニューラルモチーフの表現能力が向上することを経験的に示す。

図３ｃは、視覚的ゲノム上でのシーングラフ生成の実施形態に対する訓練再現率の例を概略的に示す。図３ｃは、従来のニューラルモチーフモデルと、Ｅｎtr_trおよびＬＭＬバージョンを比較した訓練の進捗状況を示す。

縦軸３３２は再現率を示し、横軸３３１はエポックの数を示す。Ｚｅｌｌｅｒｓ他３３３、Ｅｎtr_tr３３４およびＬＭＬ３３５の実施形態の結果が示される。図３ｃは、グラフが各エッジに最大で1つの関係が存在するように制約される、いわゆる制約付きグラフ生成問題の評価を示す。図３ｃは、ＬＭＬアプローチが、制約付きグラフ生成のための重要な表現能力を追加することを示す。

シーングラフ生成方法は、センサデータ（例えば、画像）を入力として受け取り、画像内のオブジェクトのグラフ（例えば、グラフのノード）、およびそれらの間の関係（例えば、グラフのエッジ）を出力する。

シーングラフ生成タスクは、以下のように分解できる。
Ｐ（Ｇ｜Ｉ）＝Ｐ（Ｂ｜Ｉ）Ｐ（Ｏ｜Ｂ，Ｉ）Ｐ（Ｒ｜Ｂ，Ｏ，Ｉ）

ここで、Ｇはシーングラフ、Ｉは入力画像、Ｂは領域プロポーザルのセット、Ｏはオブジェクトプロポーザルのセットである。関係生成プロセスＰ（Ｒ│Ｂ，Ｏ，Ｉ）は、各エッジにｚ_ｉｊとして存在する潜在変数ｚが与えられた場合、各エッジの関係が独立しているという独立性の仮定を立てることができる。
すなわち、
Ｐ（［Ｘ_ｉ→ｊ］_ｉｊ｜ｚ，Ｂ，Ｏ，Ｉ）＝Π_ｉ，ｊＰ（Ｘ_ｉ→ｊ｜ｚ_ｉｊ，Ｂ，Ｏ，Ｉ）

ここで、すべてまたはほとんどのノード間の関係のセットは、Ｒ＝［Ｘ_ｉ→ｊ］_ｉｊである。

ニューラルモチーフは、これらの確率を次のようにモデル化する。

ここで、nはタスクの関係の数です。エッジに関係が存在しないことを示すために追加のクラスが追加されるため、予測は（ｎ－１）次元単体ではなくｎ次元単体で行われる。推論のために、グラフは、すべてまたはほとんどのｐ_ｉｊを連結してトップｋを選択することにより最も確率の高い関係を選択することによって生成される。ｋの一般的な値は、２０、５０、および１００である。次に、シーングラフのトップｋ再現率で方法が評価される。つまり、ニューラルネットワークのトップｋの関係予測に含まれるグラウンドトゥルース関係の数である。

ｋの関係を持つグラフを生成する評価メトリックは、各エッジを観察された関係の可能性を最大化する分類問題として扱うため、ニューラルモチーフの訓練手順の一部ではない。

ＬＭＬ層を使用して、関係確率のすべてまたはほとんどを共同で予測すると、これらの欠点が克服される。同時確率は
としてモデル化できる。

ここで、ｃａｔは連結関数である。これは現在、観察された関係の可能性を最大化することによって訓練できるトップｋの再現率問題である。

ｋノードを予測する知識を訓練手順に導入すると、図３ｃに示すように、訓練再現率が向上する。一実施形態では、訓練データは、オブジェクトおよびオブジェクト間の関係でアノテートされたセンサデータを含む。ネットワークは、シーングラフのエッジの関係のセットを生成するように構成することができ、そのセットは、合計パラメータに等しい数の要素を有する。

訓練されたニューラルネットワーク装置は、自律装置コントローラに適用することができる。例えば、ニューラルネットワークの入力データは、自律装置のセンサデータを含み得る。自律装置は、ユーザが修正を指定することなく、例えば、装置の環境に応じて動きを修正するなど、少なくとも部分的に自律的に動きを実行することができる。例えば、装置は、自動車、ロボット、車両、家庭用電化製品、電動工具、製造機械などのようなコンピュータ制御の機械であり得る。例えば、ニューラルネットワークは、センサデータのオブジェクトを分類するように構成され得る。自律装置は、分類に応じて意思決定用に構成することができる。例えば、ネットワークが装置の周囲にあるオブジェクトを分類し、装置の動きを停止、減速、操縦、または変更する可能性がある場合、例えば、人、サイクリスト、車などの他のトラフィックが装置の近くに分類されている場合である。

システム１００および１５０の様々な実施形態では、通信インターフェースは、様々な選択肢から選択され得る。例えば、インターフェースは、ローカルまたはワイドエリアネットワークへのネットワークインターフェース、例えば、インターネット、内部または外部データストレージへのストレージインターフェース、キーボード、アプリケーションインターフェース（ＡＰＩ）などであり得る。

システム１００および１５０は、１つまたは複数のボタン、キーボード、ディスプレイ、タッチスクリーンなどのよく知られた要素を含み得るユーザインタフェースを有し得る。ユーザインタフェースは、ジェネレータおよびディスクリミネータネットワークを構成、訓練セットでネットワークを訓練、またはジェネレーターネットワークを新しいセンサデータに適用するためのユーザインタラクションを収容するために配置することができる。

ストレージは、フラッシュメモリなどの電子メモリ、またはハードディスクなどの磁気メモリとして実装することができる。ストレージは、ストレージ１１０を構成する複数の個別のメモリを一緒に含むことができる。ストレージは、ＲＡＭなどの一時メモリで構成されている場合がある。ストレージはクラウドストレージの場合がある。

システム１００は、単一の装置に実装され得る。システム１５０は、単一の装置に実装され得る。典型的には、システム１００および１５０はそれぞれ、システムに記憶された適切なソフトウェアを実行するマイクロプロセッサを備える。例えば、そのソフトウェアは、対応するメモリ、例えば、ＲＡＭなどの揮発性メモリまたはフラッシュなどの不揮発性メモリにダウンロードおよび／または記憶されている可能性がある。あるいは、システムは、全体的または部分的に、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）として、プログラマブルロジックで実装され得る。システムは、全体的または部分的に、いわゆる特定用途向け集積回路（ＡＳＩＣ）、例えば、それらの特定の用途のためにカスタマイズされた集積回路（ＩＣ）として実装され得る。例えば、回路は、例えば、Ｖｅｒｉｌｏｇ、ＶＨＤＬなどのハードウェア記述言語を使用して、ＣＭＯＳで実装され得る。特に、システム１００および１５０は、ニューラルネットワークの評価のための回路を含み得る。

プロセッサ回路は、例えば、複数のサブプロセッサ回路として、分散方式で実装することができる。ストレージは、複数の分散サブストレージに分散される場合がある。メモリの一部または全部は、電子メモリ、磁気メモリなどであり得る。例えば、ストレージには揮発性部分と不揮発性部分がある場合がある。ストレージの一部は読み取り専用である可能性がある。

図４は、ニューラルネットワークを訓練するためのニューラルネットワーク方法４００の実施形態の例を概略的に示している。方法４００は、訓練データにアクセスすること（４１０）、一連のニューラルネットワーク層の複数の層のパラメータを記憶すること（４２０）、訓練データのデータに一連のニューラルネットワーク層を適用すること（４３０）、ネットワーク損失関数を低減するように記憶されたパラメータを調整すること（４５０）を含む。ここで、一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、射影層を適用する合計パラメータｋのために構成された射影層は、射影層の層入力ベクトルｘを層出力ベクトルｙに射影すること（４４０）を含み、射影は、射影層出力ベクトルｙが合計して合計パラメータｋになるという条件の下で、層出力ベクトルに適用される層損失関数を最適化すること（４４５）を含み、ここで、層損失関数は、調整項－Ｈ_ｂ（ｙ）と射影項－〈ｘ，ｙ〉を含む。

図５は、訓練されたニューラルネットワークを適用するためのニューラルネットワーク方法５００の実施形態の例を概略的に示している。方法５００は、入力データを受信すること（５１０）、一連のニューラルネットワーク層の複数の層について訓練されたパラメータを記憶すること（５２０）、一連のニューラルネットワーク層を入力データに適用すること（５３０）を含み、ここで一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、射影層は合計パラメータｋのために構成され、射影層を適用することは、射影層の層入力ベクトルｘを層出力ベクトルｙに射影すること（５４）を含み、射影は、射影層出力ベクトルｙが合計して合計パラメータｋになるという条件の下で、層出力ベクトルに適用される層損失関数を最適化すること（５４５）を含む。ここで、層損失関数は、調整項－Ｈ_ｂ（ｙ）と射影項－〈ｘ，ｙ〉を含む。

例えば、ニューラルネットワークを訓練するためのニューラルネットワーク訓練方法、および訓練されたニューラルネットワークを適用するためのニューラルネットワーク方法は、コンピュータ実装方法であり得る。例えば、訓練データへのアクセス、および／または入力データの受信は、通信インターフェース、例えば、電子インターフェース、ネットワークインターフェース、メモリインターフェースなどを使用して行うことができる。例えば、パラメータの保存または検索は、電子ストレージ、例えば、メモリ、ハードドライブなどから行うことができる。例えば、一連のニューラルネットワーク層を訓練データのデータに適用すること、および／またはネットワークを訓練するために記憶されたパラメータを調整することは、電子コンピューティング装置、例えばコンピュータを使用して行うことができる。

訓練中および／または適用中のニューラルネットワークは、複数の層を有し得、これは、１つ以上の射影層、および１つ以上の非射影層、例えば、畳み込み層などを含み得る。例えば、ニューラルネットワークは、少なくとも２、５、１０、１５、２０または４０、またはそれ以上の隠れ層を有し得る。ニューラルネットワーク内のニューロンの数は、例えば、少なくとも１０、１００、１０００、１００００、１０００００、１００００００、またはそれ以上であり得る。

当業者には明らかであるように、方法を実行する多くの異なる方法が可能である。例えば、ステップの順序は、示された順序で実行することができるが、ステップの順序を変えることができるか、またはいくつかのステップを並行して実行することができる。さらに、ステップの間に他の方法ステップを挿入することができる。挿入されたステップは、本明細書に記載されているような方法の改良を表し得るか、または方法とは無関係であり得る。例えば、いくつかのステップは、少なくとも部分的に、並行して実行され得る。さらに、特定のステップは、次のステップが開始される前に完全に終了していない可能性がある。

この方法の実施形態は、プロセッサシステムに方法４００および／または５００を実行させるための命令を含むソフトウェアを使用して実行することができる。ソフトウェアは、システムの特定のサブエンティティによって用いられるそれらのステップのみを含むことができる。ソフトウェアは、ハードディスク、フロッピー、メモリ、光ディスクなどの適切な記憶媒体に保存することができる。ソフトウェアは、有線、無線、またはインターネットなどのデータネットワークを使用して信号として送信できる。ソフトウェアは、ダウンロードおよび／またはサーバ上でのリモート使用のために利用可能になる場合がある。方法の実施形態は、方法を実行するために、プログラマブルロジック、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を構成するように用意されたビットストリームを使用して実行され得る。

本開示の主題は、コンピュータプログラム、特に、本開示の主題を実施するように適合された、キャリア上またはキャリア内のコンピュータプログラムにも及ぶことが理解されよう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、および部分的にコンパイルされた形式などのオブジェクトコードの形式、または方法の実施形態の実施に使用するのに適した他の任意の形式であり得る。コンピュータプログラム製品に関する一実施形態は、記載された方法のうちの少なくとも１つの処理ステップのそれぞれに対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、および／または静的または動的にリンクされた1つ以上のファイルに保存されたりする場合がある。コンピュータプログラム製品に関する別の実施形態は、記載されたシステムおよび／または製品の少なくとも１つの手段のそれぞれに対応するコンピュータ実行可能命令を含む。

図６ａは、一実施形態による、コンピュータプログラム１０２０を含む書き込み可能部分１０１０を有するコンピュータ読み取り可能媒体１０００、プロセッサシステムにニューロネットワークを訓練および／または適用する方法を実行させるための命令を含むコンピュータプログラム１０２０を示す。コンピュータプログラム１０２０は、物理的マークとして、またはコンピュータ読み取り可能媒体１０００の磁化によって、コンピュータ読み取り可能媒体１０００上に具体化され得る。しかしながら、他の適切な実施形態も考えられる。さらに、コンピュータ読み取り可能媒体１０００は、本明細書では光ディスクとして示されているが、コンピュータ読み取り可能媒体１０００は、ハードディスク、ソリッドステートメモリ、フラッシュメモリなどの任意の適切なコンピュータ読み取り可能媒体であり得、かつ記録不可能または記録可能であることが理解されよう。コンピュータプログラム１０２０は、プロセッサシステムにニューラルネットワークを訓練および／または適用する方法を実行させるための命令を含む。

図６ｂは、ニューラルネットワークのための訓練および／またはアプリケーション装置の実施形態によるプロセッサシステム１１４０の概略図を示している。プロセッサシステムは、１つまたは複数の集積回路１１１０を含む。１つまたは複数の集積回路１１１０のアーキテクチャは、図６ｂに概略的に示されている。回路１１１０は、一実施形態による方法を実行するため、および／またはそのモジュールまたはユニットを実装するためにコンピュータプログラムコンポーネントを実行するための処理ユニット１１２０、例えば、ＣＰＵを含む。回路１１１０は、プログラミングコード、データなどを記憶するためのメモリ１１２２を含む。メモリ１１２２の一部は、読み取り専用であり得る。回路１１１０は、通信要素１１２６、例えば、アンテナ、コネクタ、またはその両方を含み得る。回路１１１０は、方法で定義された処理の一部または全部を実行するための専用の集積回路１１２４を含み得る。プロセッサ１１２０、メモリ１１２２、専用ＩＣ１１２４、および通信要素１１２６は、相互接続１１３０、例えばバスを介して互いに接続され得る。プロセッサシステム１１１０は、それぞれアンテナおよび／またはコネクタを使用して、接触および／または非接触通信用に構成され得る。

例えば、一実施形態では、プロセッサシステム１１４０、例えば、訓練および／またはアプリケーション装置は、プロセッサ回路およびメモリ回路を備え得、プロセッサは、メモリ回路に記憶されたソフトウェアを実行するように構成されている。例えば、プロセッサ回路はＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ、ＡＲＭ Ｃｏｒｔｅｘ－Ｒ８等である。一実施形態では、プロセッサ回路は、ＡＲＭ Ｃｏｒｔｅｘ Ｍ０であり得る。メモリ回路は、ＲＯＭ回路、または不揮発性メモリ、例えばフラッシュメモリであり得る。メモリ回路は、揮発性メモリ、例えば、ＳＲＡＭメモリであり得る。後者の場合、装置は、ソフトウェアを提供するために配置された、不揮発性ソフトウェアインターフェース、例えば、ハードドライブ、ネットワークインターフェースなどを含み得る。

上記の実施形態は、本開示の主題を限定するのではなく例示し、当業者は多くの代替の実施形態を設計することができることに留意されたい。

クレームでは、括弧の間に配置された参照記号は、クレームを制限するものと解釈されないものとする。動詞「含む」とその活用の使用は、クレームに記載されているもの以外の要素またはステップの存在を排除するものではない。要素の前にある冠詞「a」または「an」は、そのような要素が複数存在することを排除するものではない。要素のリストの前にある「少なくとも1つ」などの表現は、リストからの要素のすべてまたは任意のサブセットの選択を表す。例えば、「Ａ、Ｂ、およびＣの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、またはＡ、Ｂ、およびＣのすべてを含むと理解する必要がある。本開示の主題は、いくつかの別個の要素を含むハードウェアによって、および適切にプログラムされたコンピュータによって実装され得る。いくつかの手段を列挙する装置クレームでは、これらの手段のいくつかは、１つの同じハードウェアアイテムによって具体化され得る。特定の措置が相互に異なる従属請求項に記載されているという単なる事実は、これらの措置の組み合わせを有利に使用できないことを示すものではない。

クレームにおいて、括弧内の参照は、例示的な実施形態の図面中の参照記号または実施形態の式を参照し、したがって、クレームの理解を高める。これらの参照は、クレームを制限するものとして解釈されるべきではない。

（付記）
（付記１）
ニューラルネットワークを訓練するためのニューラルネットワーク訓練装置であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記装置は、
訓練データにアクセスするための通信インターフェースと、
前記一連のニューラルネットワーク層の複数の層についてのパラメータを記憶するように構成されたニューラルネットワークストレージと、
前記一連のニューラルネットワーク層を前記訓練データのデータに適用し、前記記憶されたパラメータを調整して前記ネットワークを訓練するように構成されたプロセッサシステムと、
を含み、
前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、前記射影層は合計パラメータ（ｋ）のために構成され、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影するように構成され、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
装置。

（付記２）
前記調整項は、前記出力ベクトル（ｙ）の係数に適用される関数の合計であり、前記関数は凸で連続であり、０と１の間の入力の最小値を有し、および／または、
前記射影項は、前記層入力ベクトルと同じ方向のベクトルの場合、単位長のベクトルに渡って線形かつ最小である、
付記１に記載の訓練装置。

（付記３）
前記射影層は、前記一連のニューラルネットワーク層の最終層である、
付記１に記載の訓練装置。

（付記４）
前記訓練データは、１つまたは複数のラベルでアノテートされたセンサデータを含み、前記ニューラルネットワークは、前記訓練データに従って、センサデータに与えられた数のラベルを生成するように訓練され、前記ラベルの数は、前記合計パラメータ（ｋ）に等しい、
付記１に記載の訓練装置。

（付記５）
前記訓練データは、不完全なラベル情報でアノテートされる、
付記４に記載の訓練装置。

（付記６）
シーングラフ生成タスクにおいて使用される訓練装置であって、
前記訓練データは、オブジェクトおよび前記オブジェクト間の関係でアノテートされたセンサデータを含み、
前記ネットワークは、前記シーングラフに対するエッジの関係のセットを生成するように構成され、
前記セットは、前記合計パラメータに等しい要素数を持つ、
付記１に記載の訓練装置。

（付記７）
前記層損失関数を最適化することは、前記層出力ベクトル（ｙ）を得るために反復近似アルゴリズムを適用することを含む、
付記１に記載の訓練装置。

（付記８）
前記層損失関数を最適化することは、スカラー（ｖ^＊）を最適化することを含み、
前記層出力ベクトルは、関数を前記層入力ベクトルおよび最適化された前記スカラー（ｙ_ｉ ^＊＝σ（ｘ_ｉ＋ｖ^＊））に適用することによって計算される、
付記１に記載の訓練装置。

（付記９）
前記スカラー（ｖ^＊）の上限および／または下限は、前記層入力ベクトル（ｘ）をソートし、成分を選択し、値を加算および／または減算することによって得られる、
付記８に記載の訓練装置。

（付記１０）
前記最適化することは二分法である、
付記８に記載の訓練装置。

（付記１１）
訓練されたニューラルネットワークを適用するためのニューラルネットワーク適用装置であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記装置は、
入力データを受信するための通信インターフェースと、
前記一連のニューラルネットワーク層の複数の層の訓練されたパラメータを記憶するように構成されたニューラルネットワークストレージと、
前記一連のニューラルネットワーク層を前記入力データに適用するように構成されたプロセッサシステムと、
を含み、
前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、射影層は合計パラメータ（ｋ）のために構成され、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影するように構成され、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、ここで、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
装置。

（付記１２）
付記１１に記載のニューラルネットワーク装置を有する自律装置コントローラであって、
前記入力データが自律装置のセンサデータに適用され、前記ニューラルネットワークがセンサデータ内のオブジェクトを分類するように構成され、自律装置コントロールが前記分類に応じた意思決定のために構成される、
自律装置コントローラ。

（付記１３）
ニューラルネットワークを訓練するためのニューラルネットワーク訓練方法であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記方法は、
訓練データにアクセスすることと、
前記一連のニューラルネットワーク層の複数の層のパラメータを記憶することと、
前記一連のニューラルネットワーク層を前記訓練データのデータに適用し、記憶された前記パラメータを調整して前記ネットワークを訓練することと、
を含み、
前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、前記射影層は合計パラメータ（ｋ）のために構成され、前記射影層を適用することは、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影することを含み、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
方法。

（付記１４）
訓練されたニューラルネットワークを適用するためのニューラルネットワーク方法であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記方法は、
入力データを受信することと、
前記一連のニューラルネットワーク層の複数の層に対して訓練されたパラメータを記憶することと、
前記一連のニューラルネットワーク層を前記入力データに適用することと、
を含み、
前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、前記射影層は合計パラメータ（ｋ）のために構成され、前記射影層を適用することは、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影することを含み、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
方法。

（付記１５）
プロセッサシステムによって実行されると、前記プロセッサシステムに付記１３に記載の方法を実行させる、命令を表すデータを有する、
一時的または非一時的なコンピュータ読み取り可能媒体。

（付記１６）
前記訓練データは、１つまたは複数のラベルでアノテーションされたセンサデータを含み、前記ニューラルネットワークは、前記訓練データに従って、センサデータに与えられた数のラベルを生成するように訓練され、前記ラベルの数は、合計パラメータ（ｋ）に等しい、
付記２に記載の訓練装置。

（付記１７）
前記調整項の前記関数は、マイナスの２値エントロピー関数（－Ｈ_ｂ（ｙ））を含み、および／または、
前記射影項は、前記層入力ベクトルと前記層出力ベクトルのマイナスの内積（－〈ｘ，ｙ〉）を含む、
付記２に記載の訓練装置。

（付記１８）
前記最適化することは二分法である、
付記９に記載の訓練装置。

（付記１９）
プロセッサシステムによって実行されると、前記プロセッサシステムに付記１４に記載の方法を実行させる、命令を表すデータを有する、
一時的または非一時的なコンピュータ読み取り可能媒体。

参照数字のリスト：
１００ ニューラルネットワーク訓練装置
１２０ 一連のニューラルネットワーク層
１３０ バックプロパゲーションユニット
１２１，１２２ ニューラルネットワーク層
１４４ 射影層
１２５，１２６ 通信インタフェース
１３２ 訓練ストレージ
１３４ ニューラルネットワークストレージ
１４０ アプリケーションユニット
１４２ 射影層ユニット
１４６ 射影層のバックプロパゲーション
３１１ １０００クラス
３１２ １００００クラス
３１３ 時間
３１５ ＳＡ
３１６ ＤＣ
３１７ バックワード
３１８ Ｅｎｔｒ_ｔｒ
３１９ ＬＭＬ
３３１ エポック
３３２ 再現率
３３３ Ｚｅｌｌｅｒｓ他
３３４ Ｅｎｔｒ_ｔｒ
３３５ ＬＭＬ
１０００ コンピュータ読み取り可能媒体
１０１０ 書き換え可能部分
１０２０ コンピュータプログラム
１１１０ 集積回路
１１２０ 処理ユニット
１１２２ メモリ
１１２４ 専用集積回路
１１２６ 通信素子
１１３０ 相互接続
１１４０ プロセッサシステム

Claims (19)

1. ニューラルネットワークを訓練するためのニューラルネットワーク訓練装置であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記装置は、
   訓練データにアクセスするための通信インターフェースと、
   前記一連のニューラルネットワーク層の複数の層についてのパラメータを記憶するように構成されたニューラルネットワークストレージと、
   前記一連のニューラルネットワーク層を前記訓練データのデータに適用し、前記記憶されたパラメータを調整して前記ネットワークを訓練するように構成されたプロセッサシステムと、
   を含み、
   前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、前記射影層は合計パラメータ（ｋ）のために構成され、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影するように構成され、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
   装置。
2. 前記調整項は、前記出力ベクトル（ｙ）の係数に適用される関数の合計であり、前記関数は凸で連続であり、０と１の間の入力の最小値を有し、および／または、
   前記射影項は、前記層入力ベクトルと同じ方向のベクトルの場合、単位長のベクトルに渡って線形かつ最小である、
   請求項１に記載の訓練装置。
3. 前記射影層は、前記一連のニューラルネットワーク層の最終層である、
   請求項１に記載の訓練装置。
4. 前記訓練データは、１つまたは複数のラベルでアノテートされたセンサデータを含み、前記ニューラルネットワークは、前記訓練データに従って、センサデータに与えられた数のラベルを生成するように訓練され、前記ラベルの数は、前記合計パラメータ（ｋ）に等しい、
   請求項１に記載の訓練装置。
5. 前記訓練データは、不完全なラベル情報でアノテートされる、
   請求項４に記載の訓練装置。
6. シーングラフ生成タスクにおいて使用される訓練装置であって、
   前記訓練データは、オブジェクトおよび前記オブジェクト間の関係でアノテートされたセンサデータを含み、
   前記ネットワークは、前記シーングラフに対するエッジの関係のセットを生成するように構成され、
   前記セットは、前記合計パラメータに等しい要素数を持つ、
   請求項１に記載の訓練装置。
7. 前記層損失関数を最適化することは、前記層出力ベクトル（ｙ）を得るために反復近似アルゴリズムを適用することを含む、
   請求項１に記載の訓練装置。
8. 前記層損失関数を最適化することは、スカラー（ｖ^＊）を最適化することを含み、
   前記層出力ベクトルは、関数を前記層入力ベクトルおよび最適化された前記スカラー（ｙ_ｉ ^＊＝σ（ｘ_ｉ＋ｖ^＊））に適用することによって計算される、
   請求項１に記載の訓練装置。
9. 前記スカラー（ｖ^＊）の上限および／または下限は、前記層入力ベクトル（ｘ）をソートし、成分を選択し、値を加算および／または減算することによって得られる、
   請求項８に記載の訓練装置。
10. 前記最適化することは二分法である、
    請求項８に記載の訓練装置。
11. 訓練されたニューラルネットワークを適用するためのニューラルネットワーク適用装置であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記装置は、
    入力データを受信するための通信インターフェースと、
    前記一連のニューラルネットワーク層の複数の層の訓練されたパラメータを記憶するように構成されたニューラルネットワークストレージと、
    前記一連のニューラルネットワーク層を前記入力データに適用するように構成されたプロセッサシステムと、
    を含み、
    前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、射影層は合計パラメータ（ｋ）のために構成され、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影するように構成され、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、ここで、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
    装置。
12. 請求項１１に記載のニューラルネットワーク装置を有する自律装置コントローラであって、
    前記入力データが自律装置のセンサデータに適用され、前記ニューラルネットワークがセンサデータ内のオブジェクトを分類するように構成され、自律装置コントロールが前記分類に応じた意思決定のために構成される、
    自律装置コントローラ。
13. ニューラルネットワークを訓練するためのニューラルネットワーク訓練方法であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記方法は、
    訓練データにアクセスすることと、
    前記一連のニューラルネットワーク層の複数の層のパラメータを記憶することと、
    前記一連のニューラルネットワーク層を前記訓練データのデータに適用し、記憶された前記パラメータを調整して前記ネットワークを訓練することと、
    を含み、
    前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、前記射影層は合計パラメータ（ｋ）のために構成され、前記射影層を適用することは、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影することを含み、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
    方法。
14. 訓練されたニューラルネットワークを適用するためのニューラルネットワーク方法であって、前記ニューラルネットワークは一連のニューラルネットワーク層を含み、前記方法は、
    入力データを受信することと、
    前記一連のニューラルネットワーク層の複数の層に対して訓練されたパラメータを記憶することと、
    前記一連のニューラルネットワーク層を前記入力データに適用することと、
    を含み、
    前記一連のニューラルネットワーク層の少なくとも１つの層は射影層であり、前記射影層は合計パラメータ（ｋ）のために構成され、前記射影層を適用することは、前記射影層の層入力ベクトル（ｘ）を層出力ベクトル（ｙ）に射影することを含み、前記射影することは、前記射影層出力ベクトル（ｙ）の合計が前記合計パラメータ（ｋ）になるという条件の下、前記層出力ベクトルに適用される層損失関数を最適化することを含み、前記層損失関数は調整項（－Ｈ_ｂ（ｙ））と射影項（－〈ｘ，ｙ〉）を含む、
    方法。
15. プロセッサシステムによって実行されると、前記プロセッサシステムに請求項１３に記載の方法を実行させる、命令を表すデータを有する、
    一時的または非一時的なコンピュータ読み取り可能媒体。
16. 前記訓練データは、１つまたは複数のラベルでアノテーションされたセンサデータを含み、前記ニューラルネットワークは、前記訓練データに従って、センサデータに与えられた数のラベルを生成するように訓練され、前記ラベルの数は、合計パラメータ（ｋ）に等しい、
    請求項２に記載の訓練装置。
17. 前記調整項の前記関数は、マイナスの２値エントロピー関数（－Ｈ_ｂ（ｙ））を含み、および／または、
    前記射影項は、前記層入力ベクトルと前記層出力ベクトルのマイナスの内積（－〈ｘ，ｙ〉）を含む、
    請求項２に記載の訓練装置。
18. 前記最適化することは二分法である、
    請求項９に記載の訓練装置。
19. プロセッサシステムによって実行されると、前記プロセッサシステムに請求項１４に記載の方法を実行させる、命令を表すデータを有する、
    一時的または非一時的なコンピュータ読み取り可能媒体。

Images