WO2022063247A1 - Procédé et appareil de recherche d'architecture neuronale - Google Patents

Procédé et appareil de recherche d'architecture neuronale Download PDF

Info

Publication number
WO2022063247A1
WO2022063247A1 PCT/CN2021/120434 CN2021120434W WO2022063247A1 WO 2022063247 A1 WO2022063247 A1 WO 2022063247A1 CN 2021120434 W CN2021120434 W CN 2021120434W WO 2022063247 A1 WO2022063247 A1 WO 2022063247A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
neural network
super
loss function
delay
Prior art date
Application number
PCT/CN2021/120434
Other languages
English (en)
Chinese (zh)
Inventor
李明阳
周振坤
徐羽琼
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2022063247A1 publication Critical patent/WO2022063247A1/fr

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

L'invention concerne un procédé et un appareil de recherche d'architecture neuronale, qui se rapportent au domaine de l'intelligence artificielle (AI) et peuvent utiliser une petite quantité de ressources informatiques pour déterminer, en un court laps de temps, une architecture de réseau neuronal ayant une excellente performance, tandis que la cohérence entre un retard temporel théorique et un temps réel est assurée. Le procédé comprend les étapes suivantes : l'obtention d'un super-réseau selon une tâche cible ; l'obtention d'un retard temporel de chaque opérateur d'apprentissage profond dans le super-réseau s'exécutant sur un dispositif électronique ; la détermination d'une fonction de perte de retard temporel en fonction du retard temporel de chaque opérateur d'apprentissage profond s'exécutant sur le dispositif électronique ; l'exécution d'une opération d'apprentissage sur le super-réseau, et la mise à jour d'un paramètre de modèle du super-réseau en fonction de la fonction de perte de retard temporel et d'une fonction de perte de réseau jusqu'à ce qu'un super-réseau mis à jour satisfasse à une condition pour que la tâche cible s'exécute sur le dispositif électronique ; et la détermination d'une architecture de réseau neuronal cible en fonction d'un paramètre de structure mis à jour de chaque couche de réseau, le super-réseau comprenant une pluralité de couches de réseau, chaque couche de réseau comprenant une pluralité de nœuds, deux nœuds quelconques d'une couche de réseau étant connectés l'un à l'autre au moyen d'un opérateur d'apprentissage profond, et le paramètre de modèle comprenant un paramètre de structure de chaque couche de réseau.
PCT/CN2021/120434 2020-09-28 2021-09-24 Procédé et appareil de recherche d'architecture neuronale WO2022063247A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011043055.2A CN114330699A (zh) 2020-09-28 2020-09-28 神经网络结构搜索方法及装置
CN202011043055.2 2020-09-28

Publications (1)

Publication Number Publication Date
WO2022063247A1 true WO2022063247A1 (fr) 2022-03-31

Family

ID=80844966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/120434 WO2022063247A1 (fr) 2020-09-28 2021-09-24 Procédé et appareil de recherche d'architecture neuronale

Country Status (2)

Country Link
CN (1) CN114330699A (fr)
WO (1) WO2022063247A1 (fr)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667056A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN114700957A (zh) * 2022-05-26 2022-07-05 北京云迹科技股份有限公司 模型低算力需求的机器人控制方法及装置
CN114972334A (zh) * 2022-07-19 2022-08-30 杭州因推科技有限公司 一种管材瑕疵检测方法、装置、介质
CN115358379A (zh) * 2022-10-20 2022-11-18 腾讯科技（深圳）有限公司 神经网络处理、信息处理方法、装置和计算机设备
CN115829017A (zh) * 2023-02-20 2023-03-21 之江实验室 一种基于芯粒的数据处理的方法、装置、介质及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017377B (zh) * 2022-08-05 2022-11-08 深圳比特微电子科技有限公司 用于搜索目标模型的方法、装置和计算设备
CN116051964B (zh) * 2023-03-30 2023-06-27 阿里巴巴（中国）有限公司 深度学习网络确定方法、图像分类方法及设备
CN116684480B (zh) * 2023-07-28 2023-10-31 支付宝(杭州)信息技术有限公司 信息推送模型的确定及信息推送的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325338A (zh) * 2020-02-12 2020-06-23 暗物智能科技(广州)有限公司 神经网络结构评价模型构建和神经网络结构搜索方法
CN111353601A (zh) * 2020-02-25 2020-06-30 北京百度网讯科技有限公司 用于预测模型结构的延时的方法和装置
CN111428854A (zh) * 2020-01-17 2020-07-17 华为技术有限公司 一种结构搜索方法及结构搜索装置
WO2020188658A1 (fr) * 2019-03-15 2020-09-24 三菱電機株式会社 Dispositif d'estimation d'architecture, procédé d'estimation d'architecture, et programme d'estimation d'architecture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188658A1 (fr) * 2019-03-15 2020-09-24 三菱電機株式会社 Dispositif d'estimation d'architecture, procédé d'estimation d'architecture, et programme d'estimation d'architecture
CN111428854A (zh) * 2020-01-17 2020-07-17 华为技术有限公司 一种结构搜索方法及结构搜索装置
CN111325338A (zh) * 2020-02-12 2020-06-23 暗物智能科技(广州)有限公司 神经网络结构评价模型构建和神经网络结构搜索方法
CN111353601A (zh) * 2020-02-25 2020-06-30 北京百度网讯科技有限公司 用于预测模型结构的延时的方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667056A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN111667056B (zh) * 2020-06-05 2023-09-26 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN114700957A (zh) * 2022-05-26 2022-07-05 北京云迹科技股份有限公司 模型低算力需求的机器人控制方法及装置
CN114700957B (zh) * 2022-05-26 2022-08-26 北京云迹科技股份有限公司 模型低算力需求的机器人控制方法及装置
CN114972334A (zh) * 2022-07-19 2022-08-30 杭州因推科技有限公司 一种管材瑕疵检测方法、装置、介质
CN114972334B (zh) * 2022-07-19 2023-09-15 杭州因推科技有限公司 一种管材瑕疵检测方法、装置、介质
CN115358379A (zh) * 2022-10-20 2022-11-18 腾讯科技（深圳）有限公司 神经网络处理、信息处理方法、装置和计算机设备
CN115829017A (zh) * 2023-02-20 2023-03-21 之江实验室 一种基于芯粒的数据处理的方法、装置、介质及设备
CN115829017B (zh) * 2023-02-20 2023-05-23 之江实验室 一种基于芯粒的数据处理的方法、装置、介质及设备

Also Published As

Publication number Publication date
CN114330699A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
WO2022063247A1 (fr) Procédé et appareil de recherche d'architecture neuronale
WO2021190127A1 (fr) Procédé et dispositif de traitement de données
WO2022083624A1 (fr) Procédé d'acquisition de modèle, et dispositif
WO2022022274A1 (fr) Procédé et appareil d'instruction de modèles
WO2018099084A1 (fr) Procédé, dispositif, puce et système d'apprentissage de modèle de réseau neuronal
CN112668128A (zh) 联邦学习系统中终端设备节点的选择方法及装置
JP7287397B2 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
WO2022088082A1 (fr) Procédé, appareil et dispositif de traitement de tâche basés sur une détection de défaut, et support de stockage
CN113505883A (zh) 一种神经网络训练方法以及装置
CN114050975B (zh) 一种异构多节点互联拓扑生成方法和存储介质
CN113778691B (zh) 一种任务迁移决策的方法、装置及系统
CN114595049A (zh) 一种云边协同任务调度方法及装置
CN113553138A (zh) 一种云资源调度的方法及装置
CN113869496A (zh) 一种神经网络的获取方法、数据处理方法以及相关设备
Miao et al. Adaptive DNN partition in edge computing environments
CN111859503A (zh) 图纸审查方法、电子设备与图形服务器
WO2022100607A1 (fr) Procédé de détermination d'une structure de réseau de neurones et appareil associé
WO2020107264A1 (fr) Procédé et appareil de recherche d'architecture de réseau neuronal
Salehnia et al. SDN-based optimal task scheduling method in Fog-IoT network using combination of AO and WOA
Shimonishi et al. Energy optimization of distributed video processing system using genetic algorithm with bayesian attractor model
WO2023197857A1 (fr) Procédé de partitionnement de modèle et dispositif associé
WO2023164933A1 (fr) Procédé de modélisation de bâtiment et appareil associé
WO2022052647A1 (fr) Procédé de traitement de données, procédé de formation de réseau neuronal et dispositif associé
Ahn et al. Scissionlite: Accelerating distributed deep neural networks using transfer layer
CN115174681B (zh) 一种边缘计算服务请求调度方法、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21871616

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21871616

Country of ref document: EP

Kind code of ref document: A1