JP7029554B2 - 深層学習モデルをトレーニングするための方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム - Google Patents

深層学習モデルをトレーニングするための方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム Download PDF

Info

Publication number
JP7029554B2
JP7029554B2 JP2020572679A JP2020572679A JP7029554B2 JP 7029554 B2 JP7029554 B2 JP 7029554B2 JP 2020572679 A JP2020572679 A JP 2020572679A JP 2020572679 A JP2020572679 A JP 2020572679A JP 7029554 B2 JP7029554 B2 JP 7029554B2
Authority
JP
Japan
Prior art keywords
section
training
description information
model description
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020572679A
Other languages
English (en)
Japanese (ja)
Other versions
JP2022515302A (ja
Inventor
ホー、ティエンジェン
リウ、イー
トン、ターシアン
マー、イェンジュン
ユイ、ティエンハイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022515302A publication Critical patent/JP2022515302A/ja
Application granted granted Critical
Publication of JP7029554B2 publication Critical patent/JP7029554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105—Shells for specifying net layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
JP2020572679A 2019-11-25 2020-06-09 深層学習モデルをトレーニングするための方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム Active JP7029554B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911162586.0 2019-11-25
CN201911162586.0A CN110889492B (zh) 2019-11-25 2019-11-25 用于训练深度学习模型的方法和装置
PCT/CN2020/095192 WO2021103479A1 (zh) 2019-11-25 2020-06-09 用于训练深度学习模型的方法和装置

Publications (2)

Publication Number Publication Date
JP2022515302A JP2022515302A (ja) 2022-02-18
JP7029554B2 true JP7029554B2 (ja) 2022-03-03

Family

ID=69748561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572679A Active JP7029554B2 (ja) 2019-11-25 2020-06-09 深層学習モデルをトレーニングするための方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム

Country Status (5)

Country Link
US (1) US20210216875A1 (zh)
EP (1) EP3876161A4 (zh)
JP (1) JP7029554B2 (zh)
CN (1) CN110889492B (zh)
WO (1) WO2021103479A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889492B (zh) * 2019-11-25 2022-03-08 北京百度网讯科技有限公司 用于训练深度学习模型的方法和装置
CN111859904A (zh) * 2020-07-31 2020-10-30 南京三百云信息科技有限公司 Nlp模型优化方法、装置以及计算机设备
CN112329919B (zh) * 2020-11-05 2022-07-29 北京百度网讯科技有限公司 模型训练方法及装置
CN112508188A (zh) * 2020-12-01 2021-03-16 北京奇艺世纪科技有限公司 一种分布式模型训练系统、方法、装置、设备和存储介质
CN112508191A (zh) * 2020-12-14 2021-03-16 北京地平线信息技术有限公司 训练深度学习模型的方法及装置、电子设备及存储介质
CN112966829A (zh) * 2021-03-03 2021-06-15 山东英信计算机技术有限公司 一种深度学习模型的训练方法、装置、设备及可读介质
CN113032117A (zh) * 2021-03-10 2021-06-25 北京百度网讯科技有限公司 深度学习框架的训练方法、装置及存储介质
CN113177632B (zh) * 2021-04-13 2022-10-14 支付宝(杭州)信息技术有限公司 一种基于流水线并行的模型训练方法、装置以及设备
CN113065666A (zh) * 2021-05-11 2021-07-02 海南善沙网络科技有限公司 一种神经网络机器学习模型训练用分布式计算方法
CN113961351B (zh) * 2021-10-28 2022-12-30 北京百度网讯科技有限公司 深度学习模型的分布式训练方法、装置、设备及存储介质
CN114091688B (zh) * 2021-11-25 2022-05-20 北京九章云极科技有限公司 一种计算资源获取方法、装置、电子设备和存储介质
CN114169427B (zh) * 2021-12-06 2022-10-04 北京百度网讯科技有限公司 基于端到端自适应的分布式训练方法、装置、设备
CN114723012A (zh) * 2022-04-14 2022-07-08 支付宝(杭州)信息技术有限公司 基于分布式训练系统的计算方法和装置
CN114841341B (zh) * 2022-04-25 2023-04-28 北京百度网讯科技有限公司 图像处理模型训练及图像处理方法、装置、设备和介质
CN116596091B (zh) * 2022-11-08 2024-02-02 北京百度网讯科技有限公司 模型训练方法、装置、设备以及存储介质
CN117540071B (zh) * 2024-01-09 2024-04-02 南京华芯科晟技术有限公司 一种针对查找引擎的属性表项的配置方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189675A1 (ja) 2015-05-27 2016-12-01 株式会社日立製作所 ニューラルネットワークの学習装置及び学習方法
US20190073590A1 (en) 2017-09-01 2019-03-07 Facebook, Inc. Sparse Neural Network Training Optimization
JP2019185784A (ja) 2018-04-12 2019-10-24 ジルファルコン テクノロジー インコーポレイテッドＧｙｒｆａｌｃｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ． モジュール接続されているｃｎｎベース集積回路を用いた深層学習画像処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033554A (zh) * 2015-03-13 2016-10-19 中国科学院声学研究所 一种基于分段的两级深度学习模型的大数据处理方法
CN106156810B (zh) * 2015-04-26 2019-12-03 阿里巴巴集团控股有限公司 通用机器学习算法模型训练方法、系统和计算节点
JP6776696B2 (ja) * 2016-07-26 2020-10-28 富士通株式会社 並列情報処理装置、情報処理方法、およびプログラム
CN106502791B (zh) * 2016-10-14 2019-06-25 浪潮电子信息产业股份有限公司 一种任务分配方法及装置
US10776714B2 (en) * 2016-11-04 2020-09-15 Google Llc Constructing and processing computational graphs for dynamically structured machine learning models
CN107766148B (zh) * 2017-08-31 2021-02-19 北京百度网讯科技有限公司 一种异构集群及任务处理方法和装置
CN108734193A (zh) * 2018-03-27 2018-11-02 合肥麟图信息科技有限公司 一种深度学习模型的训练方法及装置
US10769526B2 (en) * 2018-04-24 2020-09-08 Intel Corporation Machine learning accelerator architecture
CN109902818B (zh) * 2019-01-15 2021-05-25 中国科学院信息工程研究所 一种面向深度学习训练任务的分布式加速方法及系统
CN109976903B (zh) * 2019-02-22 2021-06-29 华中科技大学 一种基于层宽内存分配的深度学习异构计算方法和系统
CN110889492B (zh) * 2019-11-25 2022-03-08 北京百度网讯科技有限公司 用于训练深度学习模型的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189675A1 (ja) 2015-05-27 2016-12-01 株式会社日立製作所 ニューラルネットワークの学習装置及び学習方法
US20190073590A1 (en) 2017-09-01 2019-03-07 Facebook, Inc. Sparse Neural Network Training Optimization
JP2019185784A (ja) 2018-04-12 2019-10-24 ジルファルコン テクノロジー インコーポレイテッドＧｙｒｆａｌｃｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ． モジュール接続されているｃｎｎベース集積回路を用いた深層学習画像処理システム

Also Published As

Publication number Publication date
WO2021103479A1 (zh) 2021-06-03
EP3876161A1 (en) 2021-09-08
JP2022515302A (ja) 2022-02-18
CN110889492A (zh) 2020-03-17
CN110889492B (zh) 2022-03-08
EP3876161A4 (en) 2022-10-12
US20210216875A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7029554B2 (ja) 深層学習モデルをトレーニングするための方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
Agliamzanov et al. Hydrology@ Home: a distributed volunteer computing framework for hydrological research and applications
CN111475235B (zh) 函数计算冷启动的加速方法、装置、设备及存储介质
CN114020470B (zh) 资源分配方法、装置、可读介质及电子设备
CN111580974B (zh) Gpu实例分配方法、装置、电子设备和计算机可读介质
CN114610474A (zh) 一种异构超算环境下多策略的作业调度方法及系统
CN110764892A (zh) 任务处理方法、设备及计算机可读存储介质
Kovachev et al. Beyond the client-server architectures: A survey of mobile cloud techniques
CN114675964A (zh) 基于联邦决策树模型训练的分布式调度方法、系统及介质
CN110909527B (zh) 文本处理模型的运行方法、装置、电子设备、及存储介质
CN114995997A (zh) 任务处理方法
CN116261718A (zh) 用于调谐大规模深度学习工作负载的超参数的资源分配
CN115775199B (zh) 数据处理方法和装置、电子设备和计算机可读存储介质
CN110120959A (zh) 大数据推送方法、装置、系统、设备及可读存储介质
CN111813541B (zh) 一种任务调度方法、装置、介质和设备
Thanapal et al. A framework for computational offloading to extend the energy of mobile devices in mobile cloud computing
CN115525425B (zh) 基于云原生技术的联邦学习计算引擎编排方法及其设备
CN114153620B (zh) Hudi运行环境资源优化分配方法及装置
CN112148448B (zh) 资源分配方法、装置、设备和计算机可读介质
CN117827386A (zh) 调度方法、调度装置、电子设备及存储介质
CN116932140A (zh) 基于跨主机资源的数据处理方法及相关产品
CN118035618A (zh) 数据处理器、数据处理方法、电子设备、存储介质
CN112416931A (zh) 信息生成方法、装置和电子设备
CN116388388A (zh) 配用电终端交互方法、装置、计算机设备和存储介质
CN117667411A (zh) 模型任务的分配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R150 Certificate of patent or registration of utility model

Ref document number: 7029554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150