JP6811894B2 - ニューラルネットワーク構造の生成方法および装置、電子機器、ならびに記憶媒体 - Google Patents
ニューラルネットワーク構造の生成方法および装置、電子機器、ならびに記憶媒体 Download PDFInfo
- Publication number
- JP6811894B2 JP6811894B2 JP2020508039A JP2020508039A JP6811894B2 JP 6811894 B2 JP6811894 B2 JP 6811894B2 JP 2020508039 A JP2020508039 A JP 2020508039A JP 2020508039 A JP2020508039 A JP 2020508039A JP 6811894 B2 JP6811894 B2 JP 6811894B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- neural network
- sampling
- accuracy
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
ニューラルネットワーク構造をサンプリングし、少なくとも1つのネットワーク層が含まれるネットワークブロックを生成することと、
前記ネットワークブロックに基づいてサンプリングニューラルネットワークを構築することと、
サンプルデータに基づいて前記サンプリングニューラルネットワークを訓練し、前記サンプリングニューラルネットワークに対応する正確度を得ることと、
前記正確度が予め設定された条件を満たさないことに応答して、新たなネットワークブロックによって構築されたサンプリングニューラルネットワークが予め設定された条件を満たすようになるまで、前記正確度に応じて新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとすることと、を含むニューラルネットワーク構造の生成方法を提供する。
ニューラルネットワーク構造をサンプリングし、少なくとも1つのネットワーク層が含まれるネットワークブロックを生成するためのサンプリングユニットと、
前記ネットワークブロックに基づいてサンプリングニューラルネットワークを構築するためのネットワーク構築ユニットと、
サンプルデータに基づいて前記サンプリングニューラルネットワークを訓練し、前記サンプリングニューラルネットワークに対応する正確度を得るための訓練ユニットと、
前記正確度が予め設定された条件を満たさないことに応答して、新たなネットワークブロックによって構築されたサンプリングニューラルネットワークが予め設定された条件を満たすようになるまで、前記正確度に応じて新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとするためのネットワーク出力ユニットと、を含むニューラルネットワーク構造の生成装置が提供される。
前記メモリと通信して前記実行可能命令を実行することで上述のニューラルネットワーク構造の生成方法の動作を完了するためのプロセッサと、を含む電子機器が提供される。
1つの確率ベクトルに基づいてニューラルネットワーク構造をサンプリングし、少なくとも1種類のネットワーク層、少なくとも1種類のネットワーク層に対応するネットワークパラメータおよび少なくとも1種類のネットワーク層の間の連結方式を得て、少なくとも1種類のネットワーク層を積み上げて1種類のネットワークブロックを構成することを含む。
畳み込み層(Convolution)、最大プーリング層(Max Pooling)、平均プーリング層(Average Pooling)、アイデンティティ層(Identity)、特徴重畳層(Elemental Add)および連結層(concat)などの任意の1つまたは複数を含む。
サンプリングして得られたネットワーク層を分析し、少なくとも1種類のネットワーク層のタイプ、少なくとも1タイプのネットワーク層の数、および少なくとも1種類のネットワーク層の連結順序を得ることと、
得られたネットワーク層を少なくとも1種類のネットワーク層に対応する連結順序に従って、少なくとも1種類のネットワーク層の間の連結関係によって連結して1種類のネットワークブロックを得ることと、を含む。
サンプリングニューラルネットワークに対応する正確度に応じてニューラルネットワーク構造をサンプリングする確率ベクトルを調整し、調整後の確率ベクトルによってニューラルネットワーク構造をサンプリングし、1種類の新たなネットワークブロックを生成することを含む。
サンプリングニューラルネットワークを利用してサンプルデータを処理し、処理結果を得ることと、
損失関数を利用し、監督情報でラベル付けされたサンプルデータにラベル付けした監督情報と処理結果との間の誤差値を計算することと、
サンプリングニューラルネットワークが収束条件を満たすようになるまで、誤差値に基づいて前サンプリングニューラルネットワークを訓練することと、を含む。
損失関数の収束速度が設定値以上であることに応答して、得られた誤差値に応じて、逆勾配アルゴリズムによってサンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得ることと、調整後のニューラルネットワークに対応する損失関数の収束速度が設定値よりも小さくなるまで調整し続けることと、を含む。
損失関数による誤差値計算回数が設定値よりも小さいことに応答して、得られた誤差値に応じて、逆勾配アルゴリズムによってサンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得て、かつ損失関数による誤差値計算回数に1を加えることと、調整後のニューラルネットワークに対応する損失関数による誤差値計算回数が設定値以上になるまで調整し続けることと、を含む。
訓練が完了したサンプリングニューラルネットワークの誤差値にしたがってサンプリングニューラルネットワークの予測正確度を計算して得ることと、
予測正確度に基づき、サンプリングニューラルネットワークに対応するネットワーク計算複雑度およびネットワーク密度を予め設定された比率で差し引き、サンプリングニューラルネットワークに対応する正確度を得ることと、を含む。
ここで、
ここで、
ステップ101は、ニューラルネットワーク構造をサンプリングし、N種類のネットワークブロックを生成することを含んでもよい。ここで、Nはゼロよりも大きい整数である。
正確度が予め設定された条件を満たすことに応答して、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとすること、
または、
正確度が予め設定された条件を満たさず、かつニューラルネットワーク構造に対するサンプリングが予め設定された回数に達したことに応答して、現在のサンプリングニューラルネットワークを目標ニューラルネットワークとすることを含む。
ニューラルネットワーク構造をサンプリングし、少なくとも1つのネットワーク層が含まれるネットワークブロックを生成するためのサンプリングユニット51と、
ネットワークブロックに基づいてサンプリングニューラルネットワークを構築するためのネットワーク構築ユニット52と、
サンプルデータに基づいてサンプリングニューラルネットワークを訓練し、サンプリングニューラルネットワークに対応する正確度を得るための訓練ユニット53と、
正確度が予め設定された条件を満たさないことに応答して、正確度に応じて新たなネットワークブロックを、それが構築するサンプリングニューラルネットワークが予め設定された条件を満たすようになるまで再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとするためのネットワーク出力ユニット54と、を含む。
1つの確率ベクトルに基づいてニューラルネットワーク構造をサンプリングし、少なくとも1種類のネットワーク層、少なくとも1種類のネットワーク層に対応するネットワークパラメータおよび少なくとも1種類のネットワーク層の間の連結方式を得るための確率サンプリングモジュールと、
少なくとも1種類のネットワーク層を積み上げて1種類のネットワークブロックを構成するためのネットワークブロック生成モジュールと、を含む。
畳み込み層、最大プーリング層、平均プーリング層、アイデンティティ層、特徴重畳層および連結層などの任意の1つまたは複数を含む。
サンプリングニューラルネットワークを利用してサンプルデータを処理し、処理結果を得るためのネットワーク処理モジュールと、
損失関数を利用し、監督情報でラベル付けされたサンプルデータにラベル付けした監督情報と処理結果との間の誤差値を計算するための誤差計算モジュールと、
サンプリングニューラルネットワークが収束条件を満たすようになるまで、誤差値に基づいてサンプリングニューラルネットワークを訓練するためのネットワーク訓練モジュールと、を含む。
損失関数の収束速度が設定値以上であることに応答して、得られた誤差値に応じて、逆勾配アルゴリズムによってサンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得て、そして調整後のニューラルネットワークに対応する損失関数の収束速度が設定値よりも小さくなるまで調整し続けるために用いられてもよい。
損失関数による誤差値計算回数が設定値よりも小さいことに応じて、得られた誤差値に応じて、逆勾配アルゴリズムによってサンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得て、かつ損失関数による誤差値計算回数に1を加え、そして調整後のニューラルネットワークの対応する損失関数による誤差値計算回数が設定値以上になるまで行うために用いられてもよい。
訓練が完了したサンプリングニューラルネットワークの誤差値にしたがってサンプリングニューラルネットワークの予測正確度を計算して得るための正確度予測モジュールと、
予測正確度に基づき、前記サンプリングニューラルネットワークに対応するネットワーク計算複雑度およびネットワーク密度を予め設定された比率で差し引き、サンプリングニューラルネットワークに対応する正確度を得るための正確度調整モジュールと、を含んでもよい。
サンプリングユニット51は、ニューラルネットワーク構造をサンプリングし、N種類のネットワークブロックを生成するために用いられてもよく、
ネットワーク構築ユニット52は、それぞれN種類のネットワークブロックに基づいてN個のサンプリングニューラルネットワークを構築するために用いられてもよく、
訓練ユニット53は、サンプルデータに基づいてN個のサンプリングニューラルネットワークをそれぞれ訓練し、N個のサンプリングニューラルネットワークに対応するN個の正確度を得るために用いられてもよく、
ネットワーク出力ユニット54は、N個の正確度のうち予め設定された条件を満たす正確度が存在しないことに応答して、新たなネットワークブロックによってそれぞれ構築されたN個のサンプリングニューラルネットワークのうち予め設定された条件を満たすニューラルネットワークが存在するようになるまで、それぞれN個の正確度に応じてN種類の新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとするために用いられてもよく、
ここで、Nはゼロよりも大きい整数である。
正確度が予め設定された条件を満たすことに応答して、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとするための、
または、正確度が予め設定された条件を満たさず、かつニューラルネットワーク構造に対するサンプリングが予め設定された回数に達したことに応答して、現在のサンプリングニューラルネットワークを目標ニューラルネットワークとするための目標ネットワーク判定ユニットを含む。
メモリと通信して実行可能命令を実行することで本願のニューラルネットワーク構造の生成方法の各実施例のいずれかにおける動作を完了するためのプロセッサと、を含む電子機器が提供される。
Claims (23)
- ニューラルネットワーク構造をサンプリングし、少なくとも1つのネットワーク層が含まれるネットワークブロックを生成することと、
前記ネットワークブロックに基づいてサンプリングニューラルネットワークを構築することと、
サンプルデータに基づいて前記サンプリングニューラルネットワークを訓練し、前記サンプリングニューラルネットワークに対応する正確度を得ることと、
前記正確度が予め設定された条件を満たさないことに応答して、新たなネットワークブロックによって構築されたサンプリングニューラルネットワークが予め設定された条件を満たすようになるまで、前記正確度に応じて新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとすることと、を含み、
前記正確度に応じて新たなネットワークブロックを再度生成することは、
前記サンプリングニューラルネットワークに対応する正確度に応じてニューラルネットワーク構造をサンプリングする確率ベクトルを調整し、調整後の確率ベクトルによってニューラルネットワーク構造をサンプリングし、1種類の新たなネットワークブロックを生成することを含むことを特徴とするニューラルネットワーク構造の生成方法。 - 前記ニューラルネットワーク構造をサンプリングし、ネットワークブロックを生成することは、
1つの確率ベクトルに基づいてニューラルネットワーク構造をサンプリングし、少なくとも1種類のネットワーク層、前記少なくとも1種類のネットワーク層に対応するネットワークパラメータおよび前記少なくとも1種類のネットワーク層の間の連結方式を得て、前記少なくとも1種類のネットワーク層を積み上げて1種類のネットワークブロックを得ることを含むことを特徴とする請求項1に記載の方法。 - 前記ネットワーク層は、
畳み込み層、最大プーリング層、平均プーリング層、アイデンティティ層、特徴重畳層および連結層の任意の1つまたは複数を含むことを特徴とする請求項1または2に記載の方法。 - 前記少なくとも1種類のネットワーク層を積み上げて1種類のネットワークブロックを得ることは、
サンプリングして得られたネットワーク層を分析し、少なくとも1種類の前記ネットワーク層のタイプ、少なくとも1タイプの前記ネットワーク層の数、および少なくとも1種類の前記ネットワーク層の連結順序を得ることと、
得られた前記ネットワーク層を前記少なくとも1種類のネットワーク層に対応する連結順序に従って、前記少なくとも1種類のネットワーク層の間の連結関係によって連結して1種類のネットワークブロックを得ることと、を含むことを特徴とする請求項2または3に記載の方法。 - 前記サンプルデータに基づいて前記サンプリングニューラルネットワークを訓練することは、
前記サンプリングニューラルネットワークを利用して前記サンプルデータを処理し、処理結果を得ることと、
損失関数を利用し、前記サンプルデータにラベル付けした監督情報と前記処理結果との間の誤差値を計算することであって、前記サンプルデータには監督情報がラベルつけされる、ことと、
前記サンプリングニューラルネットワークが収束条件を満たすようになるまで、前記誤差値に基づいて前記サンプリングニューラルネットワークを訓練することと、を含むことを特徴とする請求項1から4のいずれか一項に記載の方法。 - 前記サンプリングニューラルネットワークが収束条件を満たすようになるまで、前記誤差値に基づいて前記サンプリングニューラルネットワークを訓練することは、
前記損失関数の収束速度が設定値以上であることに応答して、得られた誤差値に応じて、逆勾配アルゴリズムによって前記サンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得ることと、調整後のニューラルネットワークに対応する損失関数の収束速度が設定値よりも小さくなるまで調整し続けることと、を含むことを特徴とする請求項5に記載の方法。 - 前記サンプリングニューラルネットワークが収束条件を満たすようになるまで、前記誤差値に基づいて前記サンプリングニューラルネットワークを訓練することは、
前記損失関数による誤差値計算回数が設定値よりも小さいことに応答して、得られた誤差値に応じて、逆勾配アルゴリズムによって前記サンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得て、かつ前記損失関数による誤差値計算回数に1を加えることと、
調整後のニューラルネットワークに対応する損失関数による誤差値計算回数が設定値以上になるまで調整し続けることと、を含むことを特徴とする請求項5に記載の方法。 - 前記サンプリングニューラルネットワークに対応する正確度を得ることは、
訓練が完了した前記サンプリングニューラルネットワークの誤差値にしたがって前記サンプリングニューラルネットワークの予測正確度を計算して得ることと、
前記予測正確度に基づき、前記サンプリングニューラルネットワークに対応するネットワーク計算複雑度およびネットワーク密度を予め設定された比率で差し引き、前記サンプリングニューラルネットワークに対応する正確度を得ることと、を含むことを特徴とする請求項5から7のいずれか一項に記載の方法。 - 前記ニューラルネットワーク構造をサンプリングし、ネットワークブロックを生成することは、
ニューラルネットワーク構造をサンプリングし、N種類のネットワークブロックを生成することを含み、
前記ネットワークブロックに基づいてサンプリングニューラルネットワークを構築することは、
前記それぞれN種類のネットワークブロックに基づいてN個のサンプリングニューラルネットワークを構築することを含み、
前記サンプルデータに基づいて前記サンプリングニューラルネットワークを訓練し、前記サンプリングニューラルネットワークに対応する正確度を得ることは、
サンプルデータに基づいて前記N個のサンプリングニューラルネットワークをそれぞれ訓練し、前記N個のサンプリングニューラルネットワークに対応するN個の正確度を得ることを含み、
前記正確度が予め設定された条件を満たさないことに応答して、新たなネットワークブロックによって構築されたサンプリングニューラルネットワークが予め設定された条件を満たすようになるまで、前記正確度に応じて新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとすることは、
前記N個の正確度のうち予め設定された条件を満たす正確度が存在しないことに応答して、新たなネットワークブロックがそれぞれ構築するN個のサンプリングニューラルネットワークのうち予め設定された条件を満たすニューラルネットワークが存在するようになるまで、前記それぞれN個の正確度に応じてN種類の新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとすることを含み、
ここで、前記Nはゼロよりも大きい整数であることを特徴とする請求項1から8のいずれか一項に記載の方法。 - 前記サンプリングニューラルネットワークに対応する正確度を得る後に、さらに、
前記正確度が予め設定された条件を満たすことに応答して、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとすること、
または、
前記正確度が予め設定された条件を満たさず、かつニューラルネットワーク構造に対する前記サンプリングが予め設定された回数に達したことに応答して、現在のサンプリングニューラルネットワークを目標ニューラルネットワークとすることを含むことを特徴とする請求項1に記載の方法。 - ニューラルネットワーク構造をサンプリングし、少なくとも1つのネットワーク層が含まれるネットワークブロックを生成するためのサンプリングユニットと、
前記ネットワークブロックに基づいてサンプリングニューラルネットワークを構築するためのネットワーク構築ユニットと、
サンプルデータに基づいて前記サンプリングニューラルネットワークを訓練し、前記サンプリングニューラルネットワークに対応する正確度を得るための訓練ユニットと、
前記正確度が予め設定された条件を満たさないことに応答して、新たなネットワークブロックによって構築されたサンプリングニューラルネットワークが予め設定された条件を満たすようになるまで、前記正確度に応じて新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとするためのネットワーク出力ユニットと、を含み、
前記正確度に応じて新たなネットワークブロックを再度生成することは、
前記サンプリングニューラルネットワークに対応する正確度に応じてニューラルネットワーク構造をサンプリングする確率ベクトルを調整し、調整後の確率ベクトルによってニューラルネットワーク構造をサンプリングし、1種類の新たなネットワークブロックを生成することを含むことを特徴とするニューラルネットワーク構造の生成装置。 - 前記サンプリングユニットは、
1つの確率ベクトルに基づいてニューラルネットワーク構造をサンプリングし、少なくとも1種類のネットワーク層、前記少なくとも1種類のネットワーク層に対応するネットワークパラメータおよび前記少なくとも1種類のネットワーク層の間の連結方式を得るための確率サンプリングモジュールと、
前記少なくとも1種類のネットワーク層を積み上げて1種類のネットワークブロックを得るためのネットワークブロック生成モジュールと、を含むことを特徴とする請求項11に記載の装置。 - 前記ネットワーク層は、
畳み込み層、最大プーリング層、平均プーリング層、アイデンティティ層、特徴重畳層および連結層の任意の1つまたは複数を含むことを特徴とする請求項11または12に記載の装置。 - 前記ネットワークブロック生成モジュールは、具体的には、サンプリングして得られたネットワーク層を分析し、少なくとも1種類の前記ネットワーク層のタイプ、少なくとも1タイプの前記ネットワーク層の数、および少なくとも1種類の前記ネットワーク層の連結順序を得て、そして得られた前記ネットワーク層を前記少なくとも1種類のネットワーク層に対応する連結順序に従って、前記少なくとも1種類のネットワーク層の間の連結関係によって連結して1種類のネットワークブロックを得るために用いられることを特徴とする請求項12に記載の装置。
- 前記訓練ユニットは、
前記サンプリングニューラルネットワークを利用して前記サンプルデータを処理し、処理結果を得るためのネットワーク処理モジュールと、
損失関数を利用し、前記サンプルデータにラベル付けした監督情報と前記処理結果との間の誤差値を計算するための誤差計算モジュールであって、前記サンプルデータには監督情報がラベルつけされる、誤差計算モジュールと、
前記サンプリングニューラルネットワークが収束条件を満たすようになるまで、前記誤差値に基づいて前記サンプリングニューラルネットワークを訓練するためのネットワーク訓練モジュールと、を含むことを特徴とする請求項11から14のいずれか一項に記載の装置。 - 前記ネットワーク訓練モジュールは、具体的には、
前記損失関数の収束速度が設定値以上であることに応答して、得られた誤差値に応じて、逆勾配アルゴリズムによって前記サンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得て、そして調整後のニューラルネットワークに対応する損失関数の収束速度が設定値よりも小さくなるまで調整し続けるために用いられることを特徴とする請求項15に記載の装置。 - 前記ネットワーク訓練モジュールは、具体的には、
前記損失関数による誤差値計算回数が設定値よりも小さいことに応答して、得られた誤差値に応じて、逆勾配アルゴリズムによって前記サンプリングニューラルネットワークにおけるパラメータを調整し、調整後のサンプリングニューラルネットワークを得て、かつ前記損失関数による誤差値計算回数に1を加え、そして調整後のニューラルネットワークに対応する損失関数による誤差値計算回数が設定値以上になるまで調整し続けるために用いられることを特徴とする請求項15に記載の装置。 - 前記訓練ユニットは、さらに、
訓練が完了した前記サンプリングニューラルネットワークの誤差値にしたがって前記サンプリングニューラルネットワークの予測正確度を計算して得るための正確度予測モジュールと、
前記予測正確度に基づき、前記サンプリングニューラルネットワークに対応するネットワーク計算複雑度およびネットワーク密度を予め設定された比率で差し引き、前記サンプリングニューラルネットワークに対応する正確度を得るための正確度調整モジュールと、を含むことを特徴とする請求項15から17のいずれか一項に記載の装置。 - 前記サンプリングユニットは、具体的には、ニューラルネットワーク構造をサンプリングし、N種類のネットワークブロックを生成するために用いられ、
前記ネットワーク構築ユニットは、具体的には、前記それぞれN種類のネットワークブロックに基づいてN個のサンプリングニューラルネットワークを構築するために用いられ、
前記訓練ユニットは、具体的には、サンプルデータに基づいて前記N個のサンプリングニューラルネットワークをそれぞれ訓練し、前記N個のサンプリングニューラルネットワークに対応するN個の正確度を得るために用いられ、
前記ネットワーク出力ユニットは、前記N個の正確度のうち予め設定された条件を満たす正確度が存在しないことに応答して、新たなネットワークブロックによってそれぞれ構築されたN個のサンプリングニューラルネットワークのうち予め設定された条件を満たすニューラルネットワークが存在するようになるまで、前記それぞれN個の正確度に応じてN種類の新たなネットワークブロックを再度生成し、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとするために用いられ、
ここで、前記Nはゼロよりも大きい整数であることを特徴とする請求項11から18のいずれか一項に記載の装置。 - 前記正確度が予め設定された条件を満たすことに応答して、予め設定された条件を満たすサンプリングニューラルネットワークを目標ニューラルネットワークとするための、
または、
前記正確度が予め設定された条件を満たさず、かつニューラルネットワーク構造に対する前記サンプリングが予め設定された回数に達したことに応答して、現在のサンプリングニューラルネットワークを目標ニューラルネットワークとするための目標ネットワーク判定ユニットをさらに含むことを特徴とする請求項11に記載の装置。 - プロセッサを含む電子機器であって、前記プロセッサは請求項11から20のいずれか一項に記載のニューラルネットワーク構造の生成装置を含むことを特徴とする電子機器。
- 実行可能命令を記憶するためのメモリと、
前記メモリと通信して前記実行可能命令を実行することで請求項1から10のいずれか一項に記載のニューラルネットワーク構造の生成方法の動作を完了するためのプロセッサと、を含むことを特徴とする電子機器。 - コンピュータ可読命令を記憶するためのコンピュータ記憶媒体であって、前記命令が実行される時に請求項1から10のいずれか一項に記載のニューラルネットワーク構造の生成方法の動作を実行することを特徴とするコンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710718042.2 | 2017-08-18 | ||
CN201710718042.2A CN108229647A (zh) | 2017-08-18 | 2017-08-18 | 神经网络结构的生成方法和装置、电子设备、存储介质 |
PCT/CN2018/100914 WO2019034129A1 (zh) | 2017-08-18 | 2018-08-17 | 神经网络结构的生成方法和装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020526855A JP2020526855A (ja) | 2020-08-31 |
JP6811894B2 true JP6811894B2 (ja) | 2021-01-13 |
Family
ID=62655197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508039A Active JP6811894B2 (ja) | 2017-08-18 | 2018-08-17 | ニューラルネットワーク構造の生成方法および装置、電子機器、ならびに記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11270190B2 (ja) |
JP (1) | JP6811894B2 (ja) |
KR (1) | KR102170105B1 (ja) |
CN (1) | CN108229647A (ja) |
SG (1) | SG11201912129TA (ja) |
WO (1) | WO2019034129A1 (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
CN108229647A (zh) | 2017-08-18 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络结构的生成方法和装置、电子设备、存储介质 |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
AU2019357615B2 (en) | 2018-10-11 | 2023-09-14 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
CN111105029B (zh) * | 2018-10-29 | 2024-04-16 | 北京地平线机器人技术研发有限公司 | 神经网络的生成方法、生成装置和电子设备 |
CN109635920B (zh) * | 2018-11-12 | 2021-09-03 | 北京市商汤科技开发有限公司 | 神经网络优化方法及装置、电子设备和存储介质 |
CN109598332B (zh) * | 2018-11-14 | 2021-04-09 | 北京市商汤科技开发有限公司 | 神经网络生成方法及装置、电子设备和存储介质 |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
CN109359727B (zh) * | 2018-12-07 | 2022-01-11 | 北京字节跳动网络技术有限公司 | 神经网络的结构确定方法、装置、设备及可读介质 |
CN111325311B (zh) * | 2018-12-14 | 2024-03-29 | 深圳云天励飞技术有限公司 | 用于图像识别的神经网络模型生成方法及相关设备 |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
CN113688933B (zh) * | 2019-01-18 | 2024-05-24 | 北京市商汤科技开发有限公司 | 分类网络的训练方法及分类方法和装置、电子设备 |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
CN109948795B (zh) * | 2019-03-11 | 2021-12-14 | 驭势科技(北京)有限公司 | 一种确定网络结构精度和延时优化点的方法和装置 |
CN110070120B (zh) * | 2019-04-11 | 2021-08-27 | 清华大学 | 基于判别采样策略的深度度量学习方法及系统 |
CN110070029B (zh) * | 2019-04-17 | 2021-07-16 | 北京易达图灵科技有限公司 | 一种步态识别方法及装置 |
CN110110861B (zh) * | 2019-05-09 | 2021-11-26 | 北京市商汤科技开发有限公司 | 确定模型超参数及模型训练的方法和装置、存储介质 |
CN110147883B (zh) * | 2019-05-28 | 2022-06-03 | 航天科工系统仿真科技(北京)有限公司 | 用于作战仿真的模型的训练方法、装置、设备和存储介质 |
CN111684472A (zh) * | 2019-05-31 | 2020-09-18 | 深圳市大疆创新科技有限公司 | 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品 |
CN110390385B (zh) * | 2019-06-28 | 2021-09-28 | 东南大学 | 一种基于bnrp的可配置并行通用卷积神经网络加速器 |
CN112446462B (zh) * | 2019-08-30 | 2024-06-18 | 华为技术有限公司 | 目标神经网络模型的生成方法和装置 |
CN110647990A (zh) * | 2019-09-18 | 2020-01-03 | 无锡信捷电气股份有限公司 | 基于灰色关联分析的深度卷积神经网络模型的裁剪方法 |
CN111105031B (zh) * | 2019-11-11 | 2023-10-17 | 北京地平线机器人技术研发有限公司 | 网络结构搜索方法和装置、存储介质、电子设备 |
CN112990461B (zh) * | 2019-12-16 | 2023-09-19 | 杭州海康威视数字技术股份有限公司 | 构建神经网络模型的方法、装置、计算机设备和存储介质 |
CN111222637B (zh) * | 2020-01-17 | 2023-11-28 | 上海商汤智能科技有限公司 | 神经网络模型部署方法及装置、电子设备和存储介质 |
CN111325343B (zh) * | 2020-02-20 | 2022-09-09 | 北京市商汤科技开发有限公司 | 神经网络的确定、目标检测、智能行驶控制方法及装置 |
CN111582474B (zh) * | 2020-04-24 | 2023-08-25 | 中科物栖(南京)科技有限公司 | 神经网络结构探测方法、结构探测模型的训练方法及装置 |
CN113673667B (zh) * | 2020-05-13 | 2024-08-02 | 北京君正集成电路股份有限公司 | 一种车辆检测训练中网络结构的设计方法 |
CN111783937A (zh) * | 2020-05-19 | 2020-10-16 | 华为技术有限公司 | 一种神经网络构建方法以及系统 |
CN111797983A (zh) * | 2020-05-25 | 2020-10-20 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
CN113723603A (zh) * | 2020-05-26 | 2021-11-30 | 华为技术有限公司 | 一种更新参数的方法、装置及存储介质 |
CN113873539B (zh) * | 2020-06-30 | 2024-09-20 | 华为技术有限公司 | 获取神经网络的方法和装置 |
CN111985644B (zh) * | 2020-08-28 | 2024-03-08 | 北京市商汤科技开发有限公司 | 神经网络生成方法及装置、电子设备及存储介质 |
WO2022126448A1 (zh) * | 2020-12-16 | 2022-06-23 | 华为技术有限公司 | 一种基于演化学习的神经网络结构搜索方法和系统 |
KR102455681B1 (ko) * | 2020-12-16 | 2022-10-18 | 경북대학교 산학협력단 | 긴 시퀀스 데이터 내 존재하는 관계 정보를 저장 가능한 분산 연관 메모리 네트워크 시스템 |
CN112818788B (zh) * | 2021-01-25 | 2022-05-03 | 电子科技大学 | 一种基于无人机集群的分布式卷积神经网络分层匹配方法 |
CN113344181B (zh) * | 2021-05-31 | 2022-10-18 | 北京市商汤科技开发有限公司 | 神经网络的结构搜索方法、装置、计算机设备及存储介质 |
CN113869496A (zh) * | 2021-09-30 | 2021-12-31 | 华为技术有限公司 | 一种神经网络的获取方法、数据处理方法以及相关设备 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2880556B2 (ja) | 1990-04-25 | 1999-04-12 | 松下冷機株式会社 | 冷蔵庫 |
JPH04353963A (ja) * | 1991-05-30 | 1992-12-08 | Toshiba Corp | 神経回路網の構築装置および方法 |
JPH087483A (ja) | 1994-06-14 | 1996-01-12 | Sony Corp | ディスク再生装置 |
JPH0887483A (ja) * | 1994-09-16 | 1996-04-02 | Hitachi Ltd | ネットワーク合成方法 |
JP3315890B2 (ja) * | 1996-05-31 | 2002-08-19 | 株式会社東芝 | データ処理システム |
CN101726742A (zh) * | 2009-12-01 | 2010-06-09 | 中国地质大学(北京) | 农作物污染胁迫水平遥感测量方法 |
JP6042274B2 (ja) * | 2013-06-28 | 2016-12-14 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワーク最適化方法、ニューラルネットワーク最適化装置及びプログラム |
US9679258B2 (en) * | 2013-10-08 | 2017-06-13 | Google Inc. | Methods and apparatus for reinforcement learning |
CN108475345A (zh) * | 2015-11-12 | 2018-08-31 | 谷歌有限责任公司 | 生成较大神经网络 |
CN105701540B (zh) | 2016-01-11 | 2017-12-19 | 清华大学 | 一种自生成神经网络构建方法 |
CN106203330A (zh) * | 2016-07-08 | 2016-12-07 | 西安理工大学 | 一种基于卷积神经网络的车辆分类方法 |
KR102415506B1 (ko) * | 2016-10-26 | 2022-07-01 | 삼성전자주식회사 | 뉴럴 네트워크 간소화 방법 및 장치 |
CN106778902B (zh) * | 2017-01-03 | 2020-01-21 | 河北工业大学 | 基于深度卷积神经网络的奶牛个体识别方法 |
KR101932835B1 (ko) * | 2017-02-01 | 2019-03-20 | 성균관대학교산학협력단 | 행동 결정 장치 및 방법, 컴퓨터 판독 가능한 저장 매체 |
CN108229647A (zh) * | 2017-08-18 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络结构的生成方法和装置、电子设备、存储介质 |
CN109902186B (zh) | 2019-03-12 | 2021-05-11 | 北京百度网讯科技有限公司 | 用于生成神经网络的方法和装置 |
-
2017
- 2017-08-18 CN CN201710718042.2A patent/CN108229647A/zh active Pending
-
2018
- 2018-08-17 JP JP2020508039A patent/JP6811894B2/ja active Active
- 2018-08-17 SG SG11201912129TA patent/SG11201912129TA/en unknown
- 2018-08-17 WO PCT/CN2018/100914 patent/WO2019034129A1/zh active Application Filing
- 2018-08-17 KR KR1020207005617A patent/KR102170105B1/ko active IP Right Grant
- 2018-11-26 US US16/200,140 patent/US11270190B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190095780A1 (en) | 2019-03-28 |
WO2019034129A1 (zh) | 2019-02-21 |
KR102170105B1 (ko) | 2020-10-26 |
SG11201912129TA (en) | 2020-02-27 |
KR20200031163A (ko) | 2020-03-23 |
CN108229647A (zh) | 2018-06-29 |
US11270190B2 (en) | 2022-03-08 |
JP2020526855A (ja) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6811894B2 (ja) | ニューラルネットワーク構造の生成方法および装置、電子機器、ならびに記憶媒体 | |
KR102358554B1 (ko) | 시맨틱 분할 모델을 위한 훈련 방법 및 장치, 전자 기기, 저장 매체 | |
KR102420715B1 (ko) | 시스템 강화 학습 방법 및 장치, 전자 기기, 컴퓨터 저장 매체 | |
CN113408743A (zh) | 联邦模型的生成方法、装置、电子设备和存储介质 | |
US20170206450A1 (en) | Method and apparatus for machine learning | |
CN113963176B (zh) | 一种模型蒸馏方法、装置、电子设备及存储介质 | |
CN113538235B (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
CN110807529A (zh) | 一种机器学习模型的训练方法、装置、设备及存储介质 | |
EP3561732A1 (en) | Operation apparatus and method for artificial neural network | |
CN114065863A (zh) | 联邦学习的方法、装置、系统、电子设备及存储介质 | |
CN113393468A (zh) | 图像处理方法、模型训练方法、装置和电子设备 | |
CN116721179A (zh) | 一种基于扩散模型生成图像的方法、设备和存储介质 | |
CN112052945A (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
CN113344213A (zh) | 知识蒸馏方法、装置、电子设备及计算机可读存储介质 | |
US20230342626A1 (en) | Model processing method and related apparatus | |
CN115953651B (zh) | 一种基于跨域设备的模型训练方法、装置、设备及介质 | |
US20150227802A1 (en) | Image processing using cellular simultaneous recurrent network | |
JP7352609B2 (ja) | ニューラルネットワーク加速器のデータ処理方法、装置、機器及び記憶媒体 | |
CN112784967B (zh) | 信息处理方法、装置以及电子设备 | |
CN113554550B (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
CN114564801A (zh) | 液压系统模型辨识方法及装置 | |
CN113344200A (zh) | 用于训练可分离卷积网络的方法、路侧设备及云控平台 | |
CN114021697A (zh) | 基于强化学习的端云框架神经网络生成方法和系统 | |
CN113361621A (zh) | 用于训练模型的方法和装置 | |
WO2020040007A1 (ja) | 学習装置、学習方法及び学習プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200225 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200225 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6811894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |