JP7285977B2 - ニューラルネットワークトレーニング方法、装置、電子機器、媒体及びプログラム製品 - Google Patents
ニューラルネットワークトレーニング方法、装置、電子機器、媒体及びプログラム製品 Download PDFInfo
- Publication number
- JP7285977B2 JP7285977B2 JP2022007109A JP2022007109A JP7285977B2 JP 7285977 B2 JP7285977 B2 JP 7285977B2 JP 2022007109 A JP2022007109 A JP 2022007109A JP 2022007109 A JP2022007109 A JP 2022007109A JP 7285977 B2 JP7285977 B2 JP 7285977B2
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- network
- network layer
- type
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
式(6)では、Dは処理ユニットの異なる種類を表し、ndは使用される処理ユニットの数を表し、cdは使用される処理ユニットの単位コストを表し、Tは各ラウンドに対して予測されるトレーニング時間、すなわち、ニューラルネットワークに対してトレーニングを行うために必要なパイプライン並列計算時間を表し、Texpectedは所定時間であり、Tmarginは誤差を低減させるための境界時間である。
Claims (21)
- ニューラルネットワークトレーニング方法であって、
各々が複数の種類の処理ユニットのうちの1種類の処理ユニットによってトレーニングが行われる複数のネットワーク層を含む深層学習用のニューラルネットワークを取得するステップと、
前記ニューラルネットワークに対して、前記複数のネットワーク層に一対一に対応する複数のモデル層を含む深層強化学習モデルを作成するステップと、
前記深層強化学習モデルを使用し、前記複数の種類の処理ユニットのうちの各種類の処理ユニットを使用して各々のネットワーク層に対してトレーニングを行うために必要な時間、及び各種類の処理ユニットのコストに基づいて、前記複数のネットワーク層に対する処理ユニットの選択を決定するステップであって、前記処理ユニットの選択は、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの種類を含み、前記処理ユニットの選択により、前記ニューラルネットワークに対してトレーニングを行うために必要なパイプライン並列計算時間が所定時間よりも短くなる場合、前記ニューラルネットワークにより使用される処理ユニットの総コストがコスト閾値未満であるステップと、を含む、ニューラルネットワークトレーニング方法。 - 前記処理ユニットの選択を決定するステップは、
前記複数のネットワーク層のうちの第1ネットワーク層に対するトレーニングに関連するプロファイルに基づいて、各種類の処理ユニットが前記第1ネットワーク層に対してトレーニングを行うために必要な時間を決定するステップを含む、請求項1に記載の方法。 - 前記処理ユニットの選択を決定するステップは、
前記第1ネットワーク層のトレーニングに関連する、伝送されるべきパラメータの大きさ、及び前記パラメータを伝送するためのネットワーク帯域に基づいて、前記第1ネットワーク層に対するパラメータ伝達時間を決定するステップと、
前記パラメータ伝達時間が各種類の処理ユニットが前記第1ネットワーク層に対してトレーニングを行うために必要な時間よりも長いことに応じて、各種類の処理ユニットが前記第1ネットワーク層に対してトレーニングを行うために必要な前記時間を前記パラメータ伝達時間に等しくするステップと、を含む、請求項2に記載の方法。 - 前記処理ユニットの選択を決定するステップは、
前記深層強化学習モデルを使用し、前記複数の種類の処理ユニットのうちの各種類の処理ユニットを使用して前記複数のネットワーク層のうちの第1ネットワーク層に対してトレーニングを行うために必要な時間、各種類の処理ユニットのコスト、及び前記第1ネットワーク層の前のネットワーク層に対して決定された処理ユニットの種類に基づいて、前記第1ネットワーク層に対して使用すべき処理ユニットの種類を決定するステップを含む、請求項1に記載の方法。 - 前記処理ユニットの選択を決定するステップは、
前記処理ユニットの選択を決定することで、前記ニューラルネットワークに対してトレーニングを行うために必要な前記パイプライン並列計算時間が前記所定時間よりも短くなる場合、前記ニューラルネットワークに対して使用される前記処理ユニットの前記総コストをできるだけ低くするステップを含む、請求項1に記載の方法。 - 前記処理ユニットの選択によって指示された、前記複数のネットワーク層のうちの、同一種類の処理ユニットを使用する隣接するネットワーク層の少なくとも1つのセットにおける、隣接するネットワーク層に対してトレーニングを行うために必要な合計時間に基づいて、前記パイプライン並列計算時間を決定するステップをさらに含む、請求項1に記載の方法。
- 前記処理ユニットの選択に基づいて、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの種類、各々のネットワーク層に対して使用される種類の1つの処理ユニットがこのネットワーク層に対してトレーニングを行うために必要な時間、及び前記パイプライン並列計算時間を使用し、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの数を決定するステップをさらに含む、請求項1に記載の方法。
- 前記処理ユニットの選択に基づいて、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの種類、各々のネットワーク層に対して使用される種類の1つの処理ユニットがこのネットワーク層に対してトレーニングを行うために必要な時間、このネットワーク層における並列トレーニング可能な部分の割合、及び前記パイプライン並列計算時間を使用し、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの数を決定するステップをさらに含む、請求項1に記載の方法。
- 前記処理ユニットの種類は、中央処理ユニット及び専用処理ユニットを含む、請求項1に記載の方法。
- ニューラルネットワークトレーニング装置であって、
各々が複数の種類の処理ユニットのうちの1種類の処理ユニットによってトレーニングが行われる複数のネットワーク層を含む深層学習用のニューラルネットワークを取得するように配置されている取得モジュールと、
前記ニューラルネットワークに対して、前記複数のネットワーク層に一対一に対応する複数のモデル層を含む深層強化学習モデルを作成するように配置されている作成モジュールと、
前記深層強化学習モデルを使用し、前記複数の種類の処理ユニットのうちの各種類の処理ユニットを使用して各々のネットワーク層に対してトレーニングを行うために必要な時間、及び各種類の処理ユニットのコストに基づいて、前記複数のネットワーク層に対する処理ユニットの選択を決定するステップであって、前記処理ユニットの選択は、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの種類を含み、前記処理ユニットの選択により、前記ニューラルネットワークに対してトレーニングを行うために必要なパイプライン並列計算時間が所定時間よりも短くなる場合、前記ニューラルネットワークにより使用される処理ユニットの総コストがコスト閾値未満であるように配置されている第1処理ユニット選択の決定モジュールと、を含む、ニューラルネットワークトレーニング装置。 - 前記第1処理ユニット選択の決定モジュールは、
前記複数のネットワーク層のうちの第1ネットワーク層に対するトレーニングに関連するプロファイルに基づいて、各種類の処理ユニットが前記第1ネットワーク層に対してトレーニングを行うために必要な時間を決定するように配置されている時間決定モジュールを含む、請求項10に記載の装置。 - 前記第1処理ユニット選択の決定モジュールは、
前記第1ネットワーク層のトレーニングに関連する、伝送されるべきパラメータの大きさ、及び前記パラメータを伝送するためのネットワーク帯域に基づいて、前記第1ネットワーク層に対するパラメータ伝達時間を決定するように配置されているパラメータ伝達時間モジュールと、
前記パラメータ伝達時間が各種類の処理ユニットが前記第1ネットワーク層に対してトレーニングを行うために必要な時間よりも長いことに応じて、各種類の処理ユニットが前記第1ネットワーク層に対してトレーニングを行うために必要な前記時間を前記パラメータ伝達時間に等しくするように配置されている時間調整モジュールと、を含む、請求項11に記載の装置。 - 前記第1処理ユニット選択の決定モジュールは、
前記深層強化学習モデルを使用し、前記複数の種類の処理ユニットのうちの各種類の処理ユニットを使用して前記複数のネットワーク層のうちの第1ネットワーク層に対してトレーニングを行うために必要な時間、各種類の処理ユニットのコスト、及び前記第1ネットワーク層の前のネットワーク層に対して決定された処理ユニットの種類に基づいて、前記第1ネットワーク層に対して使用すべき処理ユニットの種類を決定するように配置されている種類決定モジュールを含む、請求項10に記載の装置。 - 前記第1処理ユニット選択の決定モジュールは、
前記処理ユニットの選択を決定することで、前記ニューラルネットワークに対してトレーニングを行うために必要な前記パイプライン並列計算時間が前記所定時間よりも短くなる場合、前記ニューラルネットワークに対して使用される前記処理ユニットの前記総コストをできるだけ低くするように配置されている第2処理ユニット選択の決定モジュールを含む、請求項10に記載の装置。 - 前記処理ユニットの選択によって指示された、前記複数のネットワーク層のうちの、同一種類の処理ユニットを使用する隣接するネットワーク層の少なくとも1つのセットにおける、隣接するネットワーク層に対してトレーニングを行うために必要な合計時間に基づいて、前記パイプライン並列計算時間を決定するように配置されているパイプライン並列計算時間決定モジュールをさらに含む、請求項10に記載の装置。
- 前記処理ユニットの選択に基づいて、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの種類、各々のネットワーク層に対して使用される種類の1つの処理ユニットがこのネットワーク層に対してトレーニングを行うために必要な時間、及び前記所定時間を使用し、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの数を決定するように配置されている第1数決定モジュールをさらに含む、請求項10に記載の装置。
- 前記処理ユニットの選択に基づいて、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの種類、各々のネットワーク層に対して使用される種類の1つの処理ユニットがこのネットワーク層に対してトレーニングを行うために必要な時間、このネットワーク層における並列トレーニング可能な部分の割合、及び前記所定時間を使用し、前記複数のネットワーク層のうちの各々のネットワーク層に対して使用すべき処理ユニットの数を決定するように配置されている第2数決定モジュールをさらに含む、請求項10に記載の装置。
- 前記処理ユニットの種類は、中央処理ユニット及び専用処理ユニットを含む、請求項10に記載の装置。
- 電子機器であって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶され、前記命令が前記少なくとも1つのプロセッサにより実行されることで、前記少なくとも1つのプロセッサが請求項1~9のいずれかに記載の方法を実行できる、ことを特徴とする電子機器。 - コンピュータの命令が記憶される非瞬時コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータの命令は、前記コンピュータに請求項1~9のいずれかに記載の方法を実行させる、ことを特徴とする、記憶媒体。 - コンピュータプログラム製品であって、
コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサにより実行されると、請求項1~9のいずれかに記載の方法を実行する、コンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110548446.8 | 2021-05-19 | ||
CN202110548446.8A CN113222118B (zh) | 2021-05-19 | 2021-05-19 | 神经网络训练方法、装置、电子设备、介质和程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022179307A JP2022179307A (ja) | 2022-12-02 |
JP7285977B2 true JP7285977B2 (ja) | 2023-06-02 |
Family
ID=77093484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022007109A Active JP7285977B2 (ja) | 2021-05-19 | 2022-01-20 | ニューラルネットワークトレーニング方法、装置、電子機器、媒体及びプログラム製品 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220374704A1 (ja) |
JP (1) | JP7285977B2 (ja) |
CN (1) | CN113222118B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113780554B (zh) * | 2021-09-10 | 2023-10-24 | 网易(杭州)网络有限公司 | 深度强化学习模型的处理方法及装置、介质、电子设备 |
CN114742035B (zh) * | 2022-05-19 | 2023-07-07 | 北京百度网讯科技有限公司 | 基于注意力机制优化的文本处理方法、网络模型训练方法 |
CN114676795B (zh) * | 2022-05-26 | 2022-08-23 | 鹏城实验室 | 一种深度学习模型的训练方法、装置、设备及存储介质 |
CN118233350A (zh) * | 2022-12-20 | 2024-06-21 | 中国电信股份有限公司 | 服务性能测量方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182114A (ja) | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法および情報提供方法 |
JP2019040365A (ja) | 2017-08-24 | 2019-03-14 | 富士通株式会社 | 情報処理装置、方法、及びプログラム |
US20200210239A1 (en) | 2018-12-28 | 2020-07-02 | Atlantic Technical Organization | System and method of scheduling and computing resource allocation optimization of machine learning flows |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11023803B2 (en) * | 2017-04-10 | 2021-06-01 | Intel Corporation | Abstraction library to enable scalable distributed machine learning |
US11270201B2 (en) * | 2017-12-29 | 2022-03-08 | Intel Corporation | Communication optimizations for distributed machine learning |
CN112424797B (zh) * | 2018-05-17 | 2024-07-12 | 弗劳恩霍夫应用研究促进协会 | 神经网络的分布式学习和/或其参数化更新的传输的概念 |
US20200104715A1 (en) * | 2018-09-28 | 2020-04-02 | Xilinx, Inc. | Training of neural networks by including implementation cost as an objective |
US10832371B2 (en) * | 2018-12-28 | 2020-11-10 | Intel Corporation | Unified architecture for BVH construction based on hardware pre-sorting and a parallel, reconfigurable clustering array |
CN112764893B (zh) * | 2019-11-04 | 2024-03-26 | 华为技术有限公司 | 数据处理方法和数据处理系统 |
CN112202928B (zh) * | 2020-11-16 | 2022-05-17 | 绍兴文理学院 | 传感边缘云区块链网络可信卸载协作节点选择系统及方法 |
CN112464784A (zh) * | 2020-11-25 | 2021-03-09 | 西安烽火软件科技有限公司 | 一种基于混合并行的分布式训练方法 |
-
2021
- 2021-05-19 CN CN202110548446.8A patent/CN113222118B/zh active Active
- 2021-12-21 US US17/558,355 patent/US20220374704A1/en active Pending
-
2022
- 2022-01-20 JP JP2022007109A patent/JP7285977B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182114A (ja) | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法および情報提供方法 |
JP2019040365A (ja) | 2017-08-24 | 2019-03-14 | 富士通株式会社 | 情報処理装置、方法、及びプログラム |
US20200210239A1 (en) | 2018-12-28 | 2020-07-02 | Atlantic Technical Organization | System and method of scheduling and computing resource allocation optimization of machine learning flows |
Also Published As
Publication number | Publication date |
---|---|
JP2022179307A (ja) | 2022-12-02 |
CN113222118B (zh) | 2022-09-09 |
US20220374704A1 (en) | 2022-11-24 |
CN113222118A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7285977B2 (ja) | ニューラルネットワークトレーニング方法、装置、電子機器、媒体及びプログラム製品 | |
JP7166322B2 (ja) | モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
EP3446260B1 (en) | Memory-efficient backpropagation through time | |
US11694109B2 (en) | Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure | |
WO2019154411A1 (zh) | 词向量更新方法和装置 | |
CN114862656A (zh) | 基于多gpu的分布式深度学习模型训练代价的获取方法 | |
JP7414907B2 (ja) | 事前訓練済みモデルの決定方法及びその決定装置、電子機器並びに記憶媒体 | |
CN111695698A (zh) | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 | |
US20240070454A1 (en) | Lightweight model training method, image processing method, electronic device, and storage medium | |
JP2022050622A (ja) | 分野フレーズマイニング方法、装置及び電子機器 | |
WO2022072012A1 (en) | Optimizing job runtimes via prediction-based token allocation | |
CN112288483A (zh) | 用于训练模型的方法和装置、用于生成信息的方法和装置 | |
CN114691148A (zh) | 模型推理加速方法、装置、电子设备及存储介质 | |
EP3992774A1 (en) | Method and device for implementing dot product operation, electronic device, and storage medium | |
CN112580723B (zh) | 多模型融合方法、装置、电子设备和存储介质 | |
CN112200310B (zh) | 智能处理器、数据处理方法及存储介质 | |
EP4004769A1 (en) | Machine learning system to predict causal treatment effects of actions performed on websites or applications | |
CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
US20220113943A1 (en) | Method for multiply-add operations for neural network | |
JP2024522107A (ja) | ニューラルネットワーク中の動的活性化スパーシティ | |
CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
CN112560928B (zh) | 负样本挖掘方法、装置、电子设备及存储介质 | |
Mu et al. | Boosting the Convergence of Reinforcement Learning-based Auto-pruning Using Historical Data | |
CN114331379B (zh) | 用于输出待办任务的方法、模型训练方法和装置 | |
US11972188B2 (en) | Rail power density aware standard cell placement for integrated circuits |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7285977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |