TWI751458B - 神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體 - Google Patents

神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI751458B
TWI751458B TW108144917A TW108144917A TWI751458B TW I751458 B TWI751458 B TW I751458B TW 108144917 A TW108144917 A TW 108144917A TW 108144917 A TW108144917 A TW 108144917A TW I751458 B TWI751458 B TW I751458B
Authority
TW
Taiwan
Prior art keywords
neural network
searched
training
neural
neural networks
Prior art date
Application number
TW108144917A
Other languages
English (en)
Other versions
TW202046184A (zh
Inventor
周心池
周東展
伊帥
歐陽萬里
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202046184A publication Critical patent/TW202046184A/zh
Application granted granted Critical
Publication of TWI751458B publication Critical patent/TWI751458B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本發明涉及一種神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體。該方法包括：獲取待搜索神經網路庫和訓練資料集；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集中前M個神經網路作為第一待訓練神經網路集；使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練；所述第一階段訓練的訓練週期數為第二預設值；將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路。還公開了相應的裝置。通過本發明的技術方案可減小神經網路搜索耗費的計算資源和搜索時間。

Description

神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體
本申請要求在2019年5月31日提交中國專利局、申請號為201910471323.1、發明名稱為“神經網路搜索方法及裝置”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
本發明涉及圖像處理技術領域，尤其涉及一種神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體。
神經網路在電腦視覺領域被廣泛應用，神經網路的性能與神經網路的結構相關，如何確定性能好的神經網路的結構就變得非常重要。
本發明提供了一種神經網路搜索技術方案。
第一方面，提供了一種神經網路搜索方法，所述方法包括：獲取待搜索神經網路庫和訓練資料集；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集前M個神經網路作為第一待訓練神經網路集；使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練；所述第一階段訓練的訓練週期數為第二預設值；將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路。
在第一方面中，通過對第一待訓練神經網路進行第一階段訓練，實現對待搜索神經網路庫中的神經網路進行分階段訓練，即對前一階段訓練後性能較好的神經網路進行下一階段的訓練，這樣，可減少在前一階段訓練後性能較差的神經網路上耗費計算資源和時間，進而減少搜索過程所耗費的計算資源和時間。
在一種可能實現的方式中，所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集中前M個神經網路作為第一待訓練神經網路集之前，所述方法還包括：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集；使用所述訓練資料集對所述第二待訓練神經網路集進行第二階段訓練；所述第二階段訓練的訓練週期數與所述第三預設值的和等於所述第一預設值。
在該種可能實現的方式中，首先對待搜索神經網路庫中的已訓練週期數為第三預設值的神經網路按識別精度排序，再對排序後的前N個神經網路進行第二階段訓練。結合上一種可能實現的方式，相當於對待搜索神經網路庫中的神經網路採用了分階段訓練的方式，即對在上一階段訓練完後識別精度高的神經網路進行下一階段的訓練，而在上一階段訓練完後識別精度低的神經網路將不進行下一階段訓練，這樣，可減少神經網路搜索耗費的計算資源，並縮短搜索時間。
在另一種可能實現的方式中，所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集之前，所述方法還包括：在所述待搜索神經網路庫中增加R個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集，包括：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述R個進化後的神經網路排序得到第三神經網路序列集，並將所述第三神經網路序列集中前N個神經網路作為所述第二待訓練神經網路集。
在該種可能實現的方式中，通過在待搜索神經網路庫中增加進化後的神經網路，提高搜索效果，即提高通過搜索獲得性能好的神經網路的機率。
在又一種可能實現的方式中，所述使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練之後，所述方法還包括：執行X次迭代，所述迭代包括：在所述待搜索神經網路庫中增加S個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；所述S與所述R相等；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述S個進化後的神經網路排序得到第四神經網路序列集，並將所述第四神經網路序列集中前N個神經網路作為第三待訓練神經網路集；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第一預設值的神經網路排序得到第五神經網路序列集，並將所述第五神經網路序列集中前M個神經網路作為第四待訓練神經網路集；使用所述訓練資料集對所述第三待訓練神經網路集進行所述第二階段訓練，以及使用所述訓練資料集對所述第四待訓練神經網路集進行所述第一階段訓練；所述方法還包括：移除所述待搜索神經網路庫中在T次迭代中未被訓練的神經網路；所述T小於所述X。
在該種可能實現的方式中，通過在搜索的迭代過程將在T次迭代中未被訓練的神經網路從待搜索神經網路庫中移除，進一步減小神經網路搜索耗費的計算資源，提高搜索速度。
在又一種可能實現的方式中，所述在所述待搜索神經網路庫中增加R個進化後的神經網路，包括：複製所述待搜索神經網路庫中的R個神經網路，得到R個複製後的神經網路；通過修改所述R個複製後的神經網路的結構，以進化所述R個複製後的神經網路，獲得R個待訓練的神經網路；使用所述訓練資料集對所述R個待訓練的神經網路進行第三階段訓練，獲得所述R個進化後的神經網路；所述第三階段訓練的訓練週期數為所述第三預設值；將所述R個進化後的神經網路添加至所述待搜索神經網路庫。
在該種可能實現的方式中，通過調整待搜索神經網路庫中的神經網路的結構，獲得進化後的神經網路，可豐富待搜索神經網路庫中的神經網路的結構，提升搜索效果。
在又一種可能實現的方式中，所述待搜索神經網路庫中的神經網路用於圖像分類。
結合第一方面及前面任何一種可能實現的方式，在該種可能實現的方式中，待搜索神經網路庫中的神經網路均可用於圖像分類。
在又一種可能實現的方式中，所述待搜索神經網路庫中的神經網路包括標準層、縮減層以及分類層；所述標準層、所述縮減層以及所述分類層依次串聯；所述標準層用於從輸入所述標準層的圖像中提取特徵；所述縮減層用於從輸入所述縮減層的圖像中提取特徵，並縮小輸入所述縮減層的圖像的大小；所述分類層用於根據所述縮減層輸出的特徵得到輸入所述待搜索神經網路庫中的神經網路的圖像的分類結果；所述標準層和所述縮減層均包括多個神經元；所述多個神經元中的神經元依次串聯，且第i+1個神經元的輸入包括第i個神經元的輸出和第i-1個神經元的輸出；所述第i+1個神經元、所述第i個神經元以及所述第i-1個神經元屬所述多個神經元；所述i為大於1的正整數；所述神經元包括j個節點；第k個節點的輸入為所述第k個節點之前的k-1個節點中的任意兩個節點的輸出；所述k為大於2的正整數，且所述k小於或等於所述j；所述神經元的輸出為第j個節點的輸出和第j-1個節點的輸出融合後的結果；所述節點包括至少兩個操作；所述操作的輸入為所述節點的輸入；所述操作為以下任意一種：卷積、池化、映射。
在該種可能實現的方式中，提供了一種待搜索神經網路庫中神經網路的結構，可基於該結構獲得多種不同結構的神經網路，以豐富待搜索神經網路庫中神經網路的結構。
在又一種可能實現的方式中，所述通過修改所述R個複製後的神經網路的結構，包括：通過更換所述R個複製後的神經網路的神經元的輸入修改所述R個複製後的神經網路的結構；和/或通過更換所述R個複製後的神經網路的神經元的節點內的操作修改所述R個複製後的神經網路的結構。
在該種可能實現的方式中，通過更換複製後的神經網路的神經元的輸入和/或更換複製後的神經網路的神經元的節點內的操作修改複製後的神經網路的結構，以實現進化複製後的神經網路。
在又一種可能實現的方式中，所述獲取待搜索神經網路庫，包括：獲取待搜索神經網路；使用所述訓練資料集對所述待搜索神經網路進行所述第三階段訓練，獲得所述待搜索神經網路庫；所述待搜索神經網路庫包含第三階段訓練後的待搜索神經網路。
在該種可能實現的方式中，通過對待搜索神經網路進行第三階段的訓練，獲得待搜索神經網路庫，以便後續基於待搜索神經網路庫進行神經網路搜索。
在又一種可能實現的方式中，所述將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路，包括：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路排序得到第五神經網路序列集，並將所述第五神經網路序列集中前Y個神經網路作為所述目標神經網路。
在該種可能實現的方式中，將已訓練週期數為第一預設值與第二預設值的和的神經網路中識別精度最高的Y個神經網路作為目標神經網路，進一步提升搜索效果。
第二方面，提供了一種神經網路搜索裝置，所述裝置包括：獲取單元，用於獲取待搜索神經網路庫和訓練資料集；排序單元，用於按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集中前M個神經網路作為第一待訓練神經網路集；訓練單元，用於使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練；所述第一階段訓練的訓練週期數為第二預設值；確定單元，用於將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路。
在一種可能實現的方式中，所述排序單元還用於：在所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集中前M個神經網路作為第一待訓練神經網路之前，按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集；所述訓練單元，還用於使用所述訓練資料集對所述第二待訓練神經網路集進行第二階段訓練；所述第二階段訓練的訓練週期數與所述第三預設值的和等於所述第一預設值。
在另一種可能實現的方式中，所述神經網路搜索裝置還包括：神經網路進化單元，用於在所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集之前，在所述待搜索神經網路庫中增加R個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；所述排序單元具體用於：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述R個進化後的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為所述第二待訓練神經網路集。
在又一種可能實現的方式中，所述神經網路搜索裝置還包括：執行單元，用於在所述使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練之後，執行X次迭代，所述迭代包括：在所述待搜索神經網路庫中增加S個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；所述S與所述R相等；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述S個進化後的神經網路排序得到第四神經網路序列集，並將所述第四神經網路序列集中前N個神經網路作為第三待訓練神經網路集；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第一預設值的神經網路排序得到第五神經網路序列集，並將所述第五神經網路序列集中前M個神經網路作為第四待訓練神經網路集；使用所述訓練資料集對所述第三待訓練神經網路集進行所述第二階段訓練，以及使用所述訓練資料集對所述第四待訓練神經網路集進行所述第一階段訓練；所述神經網路搜索裝置還包括：移除單元，用於移除所述待搜索神經網路庫中在T次迭代中未被訓練的神經網路；所述T小於所述X。
在又一種可能實現的方式中，所述神經網路進化單元具體用於：複製所述待搜索神經網路庫中的R個神經網路，得到R個複製後的神經網路；以及通過修改所述R個複製後的神經網路的結構，以進化所述R個複製後的神經網路，獲得R個待訓練的神經網路；以及使用所述訓練資料集對所述R個待訓練的神經網路進行第三階段訓練，獲得所述R個進化後的神經網路；所述第三階段訓練的訓練週期數為所述第三預設值；以及將所述R個進化後的神經網路添加至所述待搜索神經網路庫。
在又一種可能實現的方式中，所述待搜索神經網路庫中的神經網路用於圖像分類。
在又一種可能實現的方式中，所述待搜索神經網路庫中的神經網路包括標準層、縮減層以及分類層；所述標準層、所述縮減層以及所述分類層依次串聯；所述標準層用於從輸入所述標準層的圖像中提取特徵；所述縮減層用於從輸入所述縮減層的圖像中提取特徵，並縮小輸入所述縮減層的圖像的大小；所述分類層用於根據所述縮減層輸出的特徵得到輸入所述待搜索神經網路庫中的神經網路的圖像的分類結果；所述標準層和所述縮減層均包括多個神經元；所述多個神經元中的神經元依次串聯，且第i+1個神經元的輸入包括第i個神經元的輸出和第i-1個神經元的輸出；所述第i+1個神經元、所述第i個神經元以及所述第i-1個神經元屬所述多個神經元；所述i為大於1的正整數；所述神經元包括j個節點；第k個節點的輸入為所述第k個節點之前的k-1個節點中的任意兩個節點的輸出；所述k為大於2的正整數，且所述k小於或等於所述j；所述神經元的輸出為第j個節點的輸出和第j-1個節點的輸出融合後的結果；所述節點包括至少兩個操作；所述操作的輸入為所述節點的輸入；所述操作為以下任意一種：卷積、池化、映射。
在又一種可能實現的方式中，所述神經網路進化單元具體用於：通過更換所述R個複製後的神經網路的神經元的輸入修改所述R個複製後的神經網路的結構；和/或通過更換所述R個複製後的神經網路的神經元的節點內的操作修改所述R個複製後的神經網路的結構。
在又一種可能實現的方式中，所述獲取單元具體用於：獲取待搜索神經網路；使用所述訓練資料集對所述待搜索神經網路進行所述第三階段訓練，獲得所述待搜索神經網路庫；所述待搜索神經網路庫包含第三階段訓練後的待搜索神經網路。
在又一種可能實現的方式中，所述確定單元具體用於：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路排序得到第五神經網路序列集，並將所述第五神經網路序列集中前Y個神經網路作為所述目標神經網路。
第三方面，提供了一種處理器，所述處理器用於執行如上述第一方面及其任意一種可能實現的方式的方法。
第四方面，提供了一種電子設備，包括：處理器、發送裝置、輸入裝置、輸出裝置和儲存器，所述儲存器用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，當所述處理器執行所述電腦指令時，所述電子設備執行如上述第一方面及其任意一種可能實現的方式的方法。
第五方面，提供了一種電腦可讀儲存媒體，所述電腦可讀儲存媒體中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行如上述第一方面及其任意一種可能實現的方式的方法。
第六方面，提供了一種電腦程式，所述電腦程式包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行如上述第一方面及其任意一種可能實現的方式的方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
為了使本技術領域具有通常知識者更好地理解本發明方案，下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域具有通常知識者在無須過度實驗的情況下所獲得的所有其他實施例，都屬本發明保護的範圍。
本發明的說明書和申請專利範圍及上述圖式中的術語“第一”、“第二”等是用於區別不同對象，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。
在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域具有通常知識者顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。
由於在進行圖像處理（如：圖像分類）時，對不同的神經網路的結構進行訓練獲得的神經網路的準確率不一樣，因此，在進行圖像處理之前，需要為圖像處理確定性能較好的神經網路的結構。其中，神經網路的結構的性能越好，表徵使用對該神經網路的結構進行訓練獲得的神經網路進行圖像處理的準確率越高。
神經網路搜索指通過對待搜索神經網路庫中具有不同結構的神經網路進行大量的訓練，可確定神經網路庫中性能較好的神經網路的結構，進而從神經網路庫中獲得目標神經網路，後續可將目標神經網路用於圖像處理。
上述“性能較好”以及下文將多次出現的“性能較好”指在多個不同的神經網路的結構中性能最好的幾個，這裡的“幾個”具體是多少個，可根據實際應用調整。舉例來說：將10個不同的神經網路的結構中性能最好的4個稱為性能較好的神經網路的結構，而這10個不同的神經網路的結構中性能最好的4個神經網路的結構分別為a、b、c、d，則a、b、c、d為性能較好的神經網路的結構。
下文還將多次出現“性能較差”一詞，“性能較差”指在多個不同的神經網路的結構中性能最差的幾個，這裡的“幾個”具體是多少個，可根據實際應用調整。舉例來說：將10個不同的神經網路的結構中性能最差的3個稱為性能較差的神經網路的結構，而這10個不同的神經網路的結構中性能最好的3個神經網路的結構分別為e、f、g，則e、f、g為性能較差的神經網路的結構。
下面結合本發明實施例中的圖式對本發明實施例進行描述。
請參閱圖1，圖1是本發明實施例（一）提供的一種神經網路搜索方法的流程示意圖。
101、獲取待搜索神經網路庫和訓練資料集。
本發明實施例中，待搜索神經網路庫包括多個待搜索神經網路，其中，待搜索神經網路可以是儲存於執行本發明實施例的終端（如：電腦）；待搜索神經網路也可以是從與終端連接的儲存媒體中獲取；待搜索神經網路還可以是隨機生成的方式獲得；待搜索神經網路還可以通過人工設計獲得；本發明對獲得待搜索神經網路的方式不作限定。
本發明實施例中，訓練資料集可以是圖像集，可選的，該圖像集可以是用於訓練神經網路進行圖像分類的圖像集。訓練資料集可以是儲存於終端（如：電腦）；也可以是從與終端連接的儲存媒體中獲取；還可以是終端從網際網路中獲取。
102、按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序，並將前M個神經網路作為第一待訓練神經網路。
本發明實施例中，識別精度可以是對訓練資料集的分類結果的準確率。第一預設值為正整數，可選的，第一預設值可取為40。M可以是任意正整數，需要理解的是，由於待搜索神經網路庫中神經網路的數量是確定的，M還可以通過預設比例確定，舉例來說，待搜索神經網路庫中的神經網路的數量為100個，預設比例為50%，即將精度排名前50%的神經網路作為第一待訓練神經網路，也就是將排序後的前50個神經網路作為第一待訓練神經網路。
103、使用所述訓練資料集對所述第一待訓練神經網路進行第一階段訓練；所述第一階段訓練的訓練週期數為第二預設值。
本發明實施例中，第一階段訓練的訓練週期數可為第二預設值，可選的，第二預設值的取值為20。通過對第一待訓練神經網路進行第一階段訓練，可進一步提高第一待訓練神經網路對訓練資料集的識別準確率，同時也能更真實的反應第一待訓練神經網路的網路結構的性能。
在從神經網路庫中搜索神經網路時需要通過訓練神經網路來評估神經網路的結構的性能，最終可根據評估結果選取性能較優的神經網路，同時，訓練的次數越多，對神經網路的性能的評估就越準確。由於待搜索神經網路庫中的神經網路的數量較多，若通過對待搜索神經網路庫中的每一個神經網路進行大量的訓練來評估神經網路的結構性能需要耗費大量的計算資源，同時也會耗費大量的時間。
因此，本發明實施例採用“減少在性能較差的神經網路上耗費的計算資源和搜索時間”的策略進行搜索，該策略可包括：通過102從待搜索神經網路庫中確定精度較高的神經網路（即性能較好的神經網路），並通過103對性能較好的神經網路進行第一階段訓練，減少在性能較差的神經網路上耗費的計算資源和訓練時間，這樣，可減少從待搜索神經網路庫中的進行神經網路搜索耗費的計算資源，同時也能縮短搜索時間。
104、將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路。
如上所述，第一待訓練神經網路已訓練的週期數為第一預設值，第一階段訓練的週期數為第二預設值，那麼第一階段訓練後的神經網路的已訓練週期數為第一預設值與第二預設值的和。
本發明實施例中，目標神經網路即為搜索獲得的神經網路，後續可對具有與目標神經網路相同的結構的神經網路進行訓練，以使用訓練後的神經網路進行圖像處理（如：圖像分類）。
可選的，由於已訓練週期數為第一預設值與第二預設值的和的神經網路可能有多個，且這些神經網路中不同的神經網路的性能並不一樣，因此，可在已訓練週期數為第一預設值與第二預設值的和的神經網路中選取性能排名最好的幾個神經網路作為目標神經網路，例如：將已訓練週期數為第一預設值與第二預設值的和的神經網路中性能排名前10的神經網路作為目標神經網路。
本實施例通過對第一待訓練神經網路進行第一階段訓練，實現對待搜索神經網路庫中的神經網路進行分階段訓練，即對前一階段訓練後性能較好的神經網路進行下一階段的訓練，這樣，可減少搜索過程所耗費的計算資源和時間。
請參閱圖2，圖2是本發明實施例提供的另一種神經網路搜索方法的流程示意圖。
201、獲取待搜索神經網路和訓練資料集。
待搜索神經網路可以儲存於執行本發明實施例的終端（如：電腦）；待搜索神經網路也可以是從與終端連接的儲存媒體中獲取；待搜索神經網路還可以通過隨機生成的方式獲取；待搜索神經網路還可以通過人工設計獲取；本發明對獲取待搜索神經網路的方式不作限定。
在一種可能實現的方式中，基於神經網路搜索空間的網路架構可隨機生成待搜索神經網路，可選的，待搜索神經網路為用於圖像分類的神經網路。搜索空間可參見圖3。其中，圖3a為搜索空間中的神經網路的整體結構示意圖，如圖3a所示，該搜索空間中的神經網路均包含3個標準層（Normal Cell）、2個縮減層（Reduction Cell）和1個分類層（Classification），這6個神經網路層依次串聯，即前一層的輸出為後一層的輸入，其中，以輸入圖像為例，經過標準層的處理，圖像的大小不會改變，而經過縮減層的處理，圖像的大小會縮小至原來的一半。舉例來說，輸入的圖像的大小為32*32，經過第一層標準層的處理後，輸出的是大小為32*32的圖像，並將作為第二層縮減層的輸入，經過第二層輸入層的處理後，輸出的是大小為16*16的圖像。
圖3b為神經網路層內的神經元（cell）之間的連接關係示意圖，如圖3b所示，每個神經網路層中第i+1個神經元的輸入均為第i個神經元和第i-1個神經元的輸出，其中，i為大於或等於2的正整數。
圖3c為圖3b中的神經元的結構示意圖，如圖3c所示，每個神經元包含5個節點，每個節點內部包含相應的操作，其中，節點0和節點1為輸入節點，節點0為第i-1個神經元的輸出。節點1為第i個神經元的輸出，節點2的輸入則為節點0和節點1的輸出，節點3的輸入可以是節點0、節點1、節點2中任意兩個節點的輸出，也就是說，通過從節點0的輸出、節點1的輸出、節點2的輸出中隨機選擇兩個輸出作為節點3的輸入。節點4的輸入可以是節點0、節點1、節點2、節點3中任意兩個節點的輸出，也就是說，通過從節點0的輸出、節點1的輸出、節點2的輸出和節點3的輸出中隨機選擇兩個輸出作為節點4的輸入。最後將節點2、節點3和節點4的輸出融合（Concatenate），獲得神經元的輸出。
圖3d為神經元內節點的結構示意圖，如圖3d所示，每個節點的兩個輸入分別輸入至操作1和操作2，其中，操作1和操作2可以是卷積、池化、映射中的任意一種，也就是說，每個節點中的操作1和操作2可從卷積、池化和映射中隨機選擇一種操作，最後將操作1和操作2的輸出相加，獲得節點的輸出。
從中可以看出，通過隨機確定每個神經元內節點之間的連接關係和隨機生成每個節點內的操作，可隨機生成多個具有不同網路結構的待搜索神經網路。
需要理解的是，上述可能實現的方式中的搜索空間是為了舉例，而不應該對本發明實施例造成限定，也就是說，本發明實施例還可基於其他搜索空間隨機產生待搜索神經網路。
獲取訓練資料集的方式可參見101，此處將不再贅述。
202、使用所述訓練資料集對所述待搜索神經網路進行第三階段訓練，獲得所述待搜索神經網路庫；所述待搜索神經網路庫包含第三階段訓練後的待搜索神經網路。
獲得待搜索神經網路後，可使用訓練資料集對所述待搜索神經網路進行第三階段訓練，再將第三階段訓練後的待搜索神經網路加入待搜索神經網路庫。其中，第三階段訓練的訓練週期數為第三預設值，第三預設值為正整數，可選的，第三預設值為20。
可選的，為通過搜索獲得更多性能好的神經網路的結構，可從待搜索神經網路庫中的神經網路中隨機選取預定數量個神經網路，進化選取出的神經網路，並將進化後的神經網路添加至待搜索神經網路庫中。其中，若待搜索神經網路對訓練資料集的識別精度越高，表徵該神經網路的性能越好，即該神經網路的結構越好，這樣，進化性能好的神經網路獲得性能更好的神經網路的機率比進化性能差的神經網路獲得性能更好的神經網路的機率要高。因此，待搜索神經網路對訓練資料集的識別精度越高，該神經網路被選取的機率就越大。其中，進化神經網路可通過以下任意一種及其組合實現：調整神經網路的結構、更改神經網路的參數。
在一種可能實現的方式中，可通過以下步驟實現在待搜索神經網路庫中增加R個進化後的神經網路：
複製待搜索神經網路庫中的R個神經網路；
通過修改R個複製後的神經網路的結構，進化R個複製後的神經網路，獲得R個待訓練的神經網路；
使用訓練資料集對R個待訓練的神經網路進行第三階段訓練，獲得R個進化後的神經網路，其中，第三階段訓練的訓練週期數為第三預設值；
將R個進化後的神經網路添加至待搜索神經網路庫。
舉例來說，從待搜索神經網路庫中隨機選取3個神經網路（分別為A、B、C），並通過調整這3個神經網路的結構，獲得3個進化後的神經網路（分別為D、E、F），並將該3個進化後的神經網路添加至待搜索神經網路庫。需要理解的是，此時，待搜索神經網路庫中包含A、B、C、D、E、F這6個神經網路。
上述修改R個複製後的神經網路的結構可通過更換R個複製後的神經網路的神經元的輸入實現，還可通過更換R個複製後的神經網路的神經元的操作實現，還可通過既更換R個複製後的神經網路的神經元又更換R個複製後的神經網路的神經元的節點內的操作實現。
上請參見圖4a，圖4a為通過更換神經元中的節點的輸入調整神經網路的結構的示意圖，如圖4a所示，調整神經網路的結構之前，節點4的輸入為節點1和節點2的輸出，通過將節點4的輸入調整為節點1和節點3的輸出，可調整神經網路的結構，進而進化神經網路。
請參見圖4b，圖4b為通過更換神經網路的神經元的節點內的操作調整神經網路的結構的示意圖，如圖4b所示，節點4包含操作1（卷積）和操作2（池化），通過將操作2設置為不進行任何操作，可調整神經網路的結構，進而進化神經網路。
203、按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序，並將前N個神經網路作為第二待訓練神經網路。
為了更好的評估神經網路的性能，在已完成第三階段訓練（即已訓練週期數為第三預設值）的情況下，還需繼續對待搜索神經網路庫中的神經網路進行訓練。由於神經網路搜索的目的是從待搜索神經網路庫中確定性能較好的神經網路的結構，因此，本發明實施例將對在第三階段訓練後性能較好的神經網路進行後續訓練，這樣，可減小後續搜索過程所耗費的計算資源，以及縮短搜索過程所耗費的時間。
如上所述，在獲取待搜索神經網路庫之後，可在待搜索神經網路庫中增加R個進化後的神經網路，而R個進化後的神經網路均是已進行了第三階段訓練，也就是說這R個進化後的神經網路的已訓練週期數為第三預設值。此外，在將R個進化後的神經網路中的添加至待搜索神經網路庫之前，待搜索神經網路庫中存在已訓練週期數為第三預設值的神經網路。因此，按對訓練資料集的識別精度從高到低的順序將待搜索神經網路庫中已訓練週期數為第三預設值的神經網路和R個進化後的神經網路排序，並將前N個神經網路作為第二待訓練神經網路。
本發明實施例中，N可以是任意正整數，需要理解的是，由於待搜索神經網路庫中神經網路的數量是確定的，N還可以通過預設比例確定，舉例來說，待搜索神經網路庫中的神經網路的數量為100個，預設比例為50%，即將精度排名前50%的神經網路作為第二待訓練神經網路，也就是將排序後的前50個神經網路作為第二待訓練神經網路。
需要指出的是，下文還將出現R、M、Y等字母，這些字母的含義與N相同，下文將不再贅述。
204、使用所述訓練資料集對所述第二待訓練神經網路進行第二階段訓練；所述第二階段訓練的訓練週期數與所述第三預設值的和等於所述第一預設值。
如上所述，第二待訓練神經網路的已訓練週期數為第三預設值，通過對第二待訓練神經網路進行第二階段訓練，可獲得已訓練週期數為第一預設值的神經網路，也就是說，第二階段訓練的訓練週期數與第三預設值的和等於第一預設值。舉例來說，第一預設值為40，第三預設值為20，則第二階段訓練的訓練週期數為20。
由於對神經網路進行訓練並不會改變神經網路的結構，而是提高神經網路對訓練資料集的識別精度。因此，使用訓練資料集對第二待訓練神經網路進行第二階段訓練獲得的神經網路的性能可更準確的反應第二待訓練神經網路的結構的性能，有利於提高搜索準確率。
205、按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序，並將前M個神經網路作為第一待訓練神經網路。
如上所述，對神經網路訓練的週期數越多，對神經網路性能的評估就越準確，進而搜索準確率也就越高，因此，本發明實施例中，將神經網路搜索的目標訓練週期數設為第一預設值與第二預設值的和，即待搜索神經網路庫中的神經網路被訓練的週期數最大為第一預設值與第二預設值的和，且已訓練週期數達到第一預設值與第二預設值的和的神經網路可作為目標神經網路。
經過202~204的處理，待搜索神經網路庫中的部分神經網路的已訓練的週期數為第一預設值，因此，需要對已訓練週期數為第一預設值的和的神經網路繼續進行訓練。繼續使用“減少在性能較差的神經網路上耗費的計算資源和搜索時間”的策略進行搜索，按對訓練資料集的識別精度從高到低的順序將待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序，並將前M個神經網路作為第一待訓練神經網路。可選的，M與N相等。
206、使用所述訓練資料集對所述第一待訓練神經網路進行第一階段訓練，所述第一階段訓練的訓練週期數為第二預設值。
本發明實施例中，第一階段訓練的訓練週期數為第二預設值。通過使用訓練資料集對第一待訓練神經網路進行第一階段訓練獲得的神經網路的已訓練週期數可達到目標訓練週期數（即第一預設值與第二預設值的和）。
207、按對所述訓練資料集的識別精度從高到低的順序將所述第一階段訓練後的神經網路排序，並將前Y個神經網路作為所述目標神經網路。
經過201至206的處理，待搜索神經網路庫中的部分神經網路的已訓練週期數已達到目標訓練週期數，也就是說，該部分神經網路已完成神經網路搜索中的訓練過程。
顯然，已訓練週期數為第一預設值與第二預設值的和的神經網路可能有多個，且這些神經網路中不同的神經網路的性能並不一樣，因此，可從已訓練週期數為第一預設值與第二預設值的和的神經網路中選取性能排名最好的幾個神經網路作為目標神經網路，即按對訓練資料集的識別精度從高到低的順序將已訓練週期數為第一預設值與第二預設值的和的神經網路排序，並將前Y個神經網路作為目標神經網路。
本實施例通過對待搜索神經網路依次進行第三階段訓練、第二階段訓練、第一階段訓練，實現從待搜索神經網路中搜索獲得目標神經網路。其中，通過對第三階段訓練後性能較好的神經網路進行第二階段訓練，以及對第二階段訓練後的性能較好的神經網路進行第一階段訓練可大大減小搜索過程所耗費的計算資源和時間。同時，通過在待搜索神經網路庫中增加進化後的神經網路，可提高搜索效果。
實施例（二）闡述了從隨機產生待搜索神經網路至獲得目標神經網路的實現過程，即依次對隨機產生的待搜索神經網路進行第三階段訓練、第二階段訓、第一階段訓練，獲得目標神經網路。而在實際應用時，往往需要通過更多的訓練進一步提升搜索準確率。
請參閱圖5，圖5為本發明實施例（三）提供另一種神經網路搜索的方法的流程圖。
501、在使用所述訓練資料集對所述第一待訓練神經網路進行第一階段訓練之後，執行X次迭代。
本發明實施例中，一次迭代依次包括以下步驟：
在待搜索神經網路庫中增加S個進化後的神經網路，其中，進化後的神經網路通過進化待搜索神經網路庫中的神經網路獲得，且S與R相等；
按對訓練資料集的識別精度從高到低的順序將待搜索神經網路庫中已訓練週期數為第三預設值的神經網路和S個進化後的神經網路排序，並將前N個神經網路作為第三待訓練神經網路，同時按對訓練資料集的識別精度從高到低的順序將待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序，並將前M個神經網路作為第四待訓練神經網路；
使用訓練資料集對第三待訓練神經網路進行第二階段訓練，以及使用訓練資料集對第四待訓練神經網路進行第一階段訓練。
上述X次迭代在實施例（二）的206後執行，而每一次迭代中都包含第一階段訓練，也就是說，每一次迭代都將產生已訓練週期數為第一預設值與第二預設值的和的神經網路，即已訓練週期數為目標訓練週期數的神經網路。
需要理解的是，若待搜索神經網路庫中的神經網路已訓練的週期數達到目標訓練週期數後，該神經網路將不再被訓練。此外，由於每一次迭代的過程中，待搜索神經網路庫中都會新增S個進化後的神經網路（獲得S個進化後的神經網路的實現過程可參見202中獲得R個進化後的神經網路的實現過程），同時，每一次迭代中都將對第三待訓練神經網路進行第二階段訓練，因此，每一次迭代後，神經網路庫中已訓練週期數分別為第一預設值、第三預設值以及目標訓練週期數的神經網路的數量都會發生改變。
舉例來說，假定202為第1次迭代，203~204為第2迭代，205~206為第3次迭代，501所要執行的X次迭代依次為：第4次迭代，第5次迭代，…，第(X+3)次迭代。
需要指出的是，205~206只闡述了第3次迭代中對性能較好的已訓練週期數為第一預設值的神經網路進行第一階段訓練，可選的，第3次迭代中還包括按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序，並對前N個神經網路進行第二階段訓練的過程。
假設隨機生成的待搜索神經網路的數量為32，第一預設值、第二預設值和第三預設值均為20，N=8，M=4，R=S=16，則每一次迭代前待搜索神經網路庫中已訓練週期數分別為20、40、60的神經網路的數量可參見下表1。 【表1】
迭代次數 已訓練週期數為20的神經網路的數量 已訓練週期數為40的神經網路的數量 已訓練週期數為60的神經網路的數量 待搜索神經網路庫中神經網路的數量
1 32 0 0 32
2 32+16-8 8 0 32+16
3 32+16-8+16-8 8+8-4 4 32+16+16
4 32+16-8+16-8+16-8 8+8-4+8-4 4+4 32+16+16+16
… … … … …
X+3 32+(X+2)*(16-8) 8+(X+1)*(8-4) 4+4X 32+16(X+2)
如表1中所示，從第3次迭代開始，往後的每一次迭代都將產生新的已訓練週期數為60的神經網路（即已訓練週期數為目標訓練週期數的神經網路）。
需要理解的是，上述示例中的資料僅用於舉例，並不對本發明構成限定。
502、移除所述待搜索神經網路庫中在T次迭代中未被訓練的神經網路；所述T小於所述X。
本實施例是為了從待搜索神經網路庫中搜索得到性能較好的神經網路的結構，也就是說，本實施例解決的是一個最優化的問題。如其他最優化方法中存在的局部最優的問題一樣，在實施實施例（一）、實施例（二）以及501的方法從待搜索神經網路庫中搜索性能較好的神經網路的結構的過程中，也存在局部最優的問題。
如202所述，待搜索神經網路對訓練資料集的識別精度越高（下文將這些待搜索神經網路稱為性能較好的待搜索神經網路），該待搜索神經網路被選取進行進化的機率就越大。需要理解的是，由於每一次迭代後，都將進化待搜索神經網路庫中選取性能較好的待搜索神經網路，因此，每一次迭代後，不屬目標排名內的性能較好的搜索神經網路都將有很大的機率被進化，也就是說，在待搜索神經網路庫中，進化除性能最好的待搜索神經網路（即全域最優）之外性能較好的搜索神經網路得到的神經網路的數量可能會很多，這將可能導致終端（此處指實施本發明實施例的設備）在之後的搜索過程中“專注”於搜索該進化後的神經網路，進而降低搜索得到性能好的神經網路的機率，使搜索效果下降。
為解決上述局部最優的問題，本實施例通過將在T次迭代中未被訓練的神經網路從待搜索神經網路庫中移除，以減小上述局部最優的問題對搜索效果的影響，進而提升搜索效果。其中，T為正整數，且T小於X。
舉例來說，假定T=10，待搜索神經網路庫中的神經網路G在第4次迭代中被訓練後，在接下來的10次迭代中均未被訓練（即從第5次迭代開始，直到完成第14次迭代，神經網路G自始至終未被訓練），則在第14次迭代結束後將神經網路G從待搜索神經網路庫中移除。
可選的，如若將202為第1次迭代，203~204為第2迭代，205~206為第3次迭代，則可參見下例：假定T=10，待搜索神經網路庫中的神經網路H在第1次迭代中被訓練後，在接下來的10次迭代中均未被訓練（即從第2次迭代開始，直到完成第11次迭代，神經網路H自始至終未被訓練），則在第11次迭代結束後將神經網路H從待搜索神經網路庫中移除。
在另一種可能實現的方式中，假定T=2，待搜索神經網路庫中的神經網路K在第1次迭代中被訓練後，在接下來的2次迭代中均未被訓練（即從第2次迭代開始，直到完成第3次迭代，神經網路K自始至終未被訓練），則在第3次迭代結束後將神經網路K從待搜索神經網路庫中移除。
本實施例通過將待搜索神經網路庫中“長期”未被訓練的神經網路（即在T次迭代中未被訓練的神經網路）從待搜索神經網路庫中移除，以減小搜索過程中的局部最優的問題對搜索效果帶來的不好影響。
本領域具有通常知識者可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
上述詳細闡述了本發明實施例的方法，下面提供了本發明實施例的裝置。
請參閱圖6，圖6為本發明實施例提供的一種神經網路搜索裝置的結構示意圖，該神經網路搜索裝置600包括：獲取單元11、排序單元12、訓練單元13、確定單元14、神經網路進化單元15、執行單元16以及移除單元17。其中：
獲取單元11，用於獲取待搜索神經網路庫和訓練資料集；
排序單元12，用於按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序，並將前M個神經網路作為第一待訓練神經網路；
訓練單元13，用於使用所述訓練資料集對所述第一待訓練神經網路進行第一階段訓練；所述第一階段訓練的訓練週期數為第二預設值；
確定單元14，用於將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路。
所述排序單元12還用於：在所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序，並將前M個神經網路作為第一待訓練神經網路之前，按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序，並將前N個神經網路作為第二待訓練神經網路；所述訓練單元，還用於使用所述訓練資料集對所述第二待訓練神經網路進行第二階段訓練；所述第二階段訓練的訓練週期數與所述第三預設值的和等於所述第一預設值。
在一種可能實現的方式中，所述神經網路搜索裝置600還包括：神經網路進化單元15，用於在所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序，並將前N個神經網路作為第二待訓練神經網路之前，在所述待搜索神經網路庫中增加R個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；所述排序單元12具體用於：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述R個進化後的神經網路排序，並將前N個神經網路作為所述第二待訓練神經網路。
在另一種可能實現的方式中，所述神經網路搜索裝置600還包括：執行單元16，用於在所述使用所述訓練資料集對所述第一待訓練神經網路進行第一階段訓練之後，執行X次迭代，所述迭代包括：在所述待搜索神經網路庫中增加S個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；所述S與所述R相等；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述S個進化後的神經網路排序，並將前N個神經網路作為第三待訓練神經網路；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第一預設值的神經網路排序，並將前M個神經網路作為第四待訓練神經網路；使用所述訓練資料集對所述第三待訓練神經網路進行所述第二階段訓練，以及使用所述訓練資料集對所述第四待訓練神經網路進行所述第一階段訓練；所述神經網路搜索裝置600還包括：移除單元17，用於移除所述待搜索神經網路庫中在T次迭代中未被訓練的神經網路；所述T小於所述X。
在又一種可能實現的方式中，所述神經網路進化單元15具體用於：複製所述待搜索神經網路庫中的R個神經網路；以及通過修改R個複製後的神經網路的結構，進化所述R個複製後的神經網路，獲得R個待訓練的神經網路；以及使用所述訓練資料集對所述R個待訓練的神經網路進行第三階段訓練，獲得所述R個進化後的神經網路；所述第三階段訓練的訓練週期數為所述第三預設值；以及將所述R個進化後的神經網路添加至所述待搜索神經網路庫。
在又一種可能實現的方式中，所述待搜索神經網路庫中的神經網路用於圖像分類。
在又一種可能實現的方式中，所述待搜索神經網路庫中的神經網路包括標準層、縮減層以及分類層；所述標準層、所述縮減層以及所述分類層依次串聯；所述標準層用於從輸入所述標準層的圖像中提取特徵；所述縮減層用於從輸入所述縮減層的圖像中提取特徵，並縮小輸入所述縮減層的圖像的大小；所述分類層用於根據所述縮減層輸出的特徵得到輸入所述待搜索神經網路庫中的神經網路的圖像的分類結果；所述標準層和所述縮減層均包括多個神經元；所述多個神經元中的神經元依次串聯，且第i+1個神經元的輸入包括第i個神經元的輸出和第i-1個神經元的輸出；所述第i+1個神經元、所述第i個神經元以及所述第i-1個神經元屬所述多個神經元；所述i為大於1的正整數；所述神經元包括j個節點；第k個節點的輸入為所述第k個節點之前的k-1個節點中的任意兩個節點的輸出；所述k為大於2的正整數，且所述k小於或等於所述j；所述神經元的輸出為第j個節點的輸出和第j-1個節點的輸出融合後的結果；所述節點包括至少兩個操作；所述操作的輸入為所述節點的輸入；所述操作為以下任意一種：卷積、池化、映射。
在又一種可能實現的方式中，所述神經網路進化單元具體用於：通過更換所述R個複製後的神經網路的神經元的輸入修改所述R個複製後的神經網路的結構；和/或通過更換所述R個複製後的神經網路的神經元的節點內的操作修改所述R個複製後的神經網路的結構。
在又一種可能實現的方式中，所述獲取單元11具體用於：獲取待搜索神經網路；使用所述訓練資料集對所述待搜索神經網路進行所述第三階段訓練，獲得所述待搜索神經網路庫；所述待搜索神經網路庫包含第三階段訓練後的待搜索神經網路。
在又一種可能實現的方式中，所述確定單元14具體用於：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路排序，並將前Y個神經網路作為所述目標神經網路。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提出一種處理器，所述處理器用於執行上述方法。
本發明實施例還提出一種電子設備，包括：處理器、發送裝置、輸入裝置、輸出裝置和儲存器，所述儲存器用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，當所述處理器執行所述電腦指令時，所述電子設備執行上述方法。
本發明實施例還提出一種電腦可讀儲存媒體，所述電腦可讀儲存媒體中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行上述方法。電腦可讀儲存媒體可以是非易失性電腦可讀儲存媒體或易失性電腦可讀儲存媒體。
本發明實施例還提出一種電腦程式，所述電腦程式包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行上述方法。
圖7為本發明實施例提供的一種神經網路搜索裝置的硬體結構示意圖。該神經網路搜索裝置700包括處理器21，儲存器24，輸入裝置22，輸出裝置23。該處理器21、儲存器24、輸入裝置22和輸出裝置23通過連接器相耦合，該連接器包括各類連接埠、傳輸線或匯流排等等，本發明實施例對此不作限定。應當理解，本發明的各個實施例中，耦合是指通過特定方式的相互聯繫，包括直接相連或者通過其他設備間接相連，例如可以通過各類連接埠、傳輸線、匯流排等相連。
處理器21可以是一個或多個圖形處理器（graphics processing unit，GPU），在處理器21是一個GPU的情況下，該GPU可以是單核GPU，也可以是多核GPU。可選的，處理器21可以是多個GPU構成的處理器組，多個處理器之間通過一個或多個匯流排彼此耦合。可選的，該處理器21還可以為其他類型的處理器等等，本發明實施例不作限定。
儲存器24可用於儲存電腦程式指令，以及用於執行本發明方案的程式代碼在內的各類電腦程式代碼。可選地，儲存器24包括但不限於是隨機儲存記憶體（random access memory，RAM）、唯讀儲存器（read-only memory，ROM）、可擦除可程式化唯讀儲存器（erasable programmable read only memory，EPROM）、或便攜式光碟唯讀儲存器（compact disc read-only memory，CD-ROM），該儲存器24用於相關指令及資料。
輸入裝置22用於輸入資料和/或信號，以及輸出裝置23用於輸出資料和/或信號。輸出裝置23和輸入裝置22可以是獨立的器件，也可以是一個整體的器件。
可理解，本發明實施例中，儲存器24不僅可用於儲存相關指令，還可用於儲存相關圖像，如該儲存器24可用於儲存通過輸入裝置22獲取的待搜索神經網路，又或者該儲存器24還可用於儲存通過處理器21搜索獲得的目標神經網路等等，本發明實施例對於該儲存器24中具體所儲存的資料不作限定。
可以理解的是，圖7僅僅示出了神經網路搜索處理裝置的簡化設計。在實際應用中，神經網路搜索裝置還可以分別包含必要的其他元件，包含但不限於任意數量的輸入/輸出裝置、處理器、儲存器等，而所有可以實現本發明實施例的神經網路搜索裝置都在本發明的保護範圍之內。
本領域具有通常知識者可以意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
所屬領域具有通常知識者可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。所屬領域具有通常知識者還可以清楚地瞭解到，本發明各個實施例描述各有側重，為描述的方便和簡潔，相同或類似的部分在不同實施例中可能沒有贅述，因此，在某一實施例未描述或未詳細描述的部分可以參見其他實施例的記載。
在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些連接埠，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
在上述實施例中，可以全部或部分地通過軟體、硬體、固件或者其任意組合來實現。當使用軟體實現時，可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦指令。在電腦上加載和執行所述電腦程式指令時，全部或部分地產生按照本發明實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式化裝置。所述電腦指令可以儲存在電腦可讀儲存媒體中，或者通過所述電腦可讀儲存媒體進行傳輸。所述電腦指令可以從一個網站站點、電腦、伺服器或資料中心通過有線（例如同軸電纜、光纖、數位用戶線(digital subscriber line，DSL)）或無線（例如紅外、無線、微波等）方式向另一個網站站點、電腦、伺服器或資料中心進行傳輸。所述電腦可讀儲存媒體可以是電腦能夠存取的任何可用媒體或者是包含一個或多個可用媒體集成的伺服器、資料中心等資料儲存設備。所述可用媒體可以是磁性媒體，(例如，軟碟、硬碟、磁帶)、光學媒體（例如，數位多功能光碟(digital versatile disc，DVD)）、或者半導體媒體（例如固態硬碟(solid state disk，SSD)）等。
在不違背邏輯的情況下，本發明不同實施例之間可以相互結合，不同實施例描述有所側重，為側重描述的部分可以參見其他實施例的記載。
本領域具有通常知識者可以理解實現上述實施例方法中的全部或部分流程，該流程可以由電腦程式來指令相關的硬體完成，該程式可儲存於電腦可讀取儲存媒體中，該程式在執行時，可包括如上述各方法實施例的流程。而前述的儲存媒體包括：唯讀儲存器（read-only memory，ROM）或隨機儲存儲存器（random access memory，RAM）、磁碟或者光碟等各種可儲存程式代碼的媒體。
101~104:步驟 201~207:步驟 501~502:步驟 600:神經網路搜索裝置 11:獲取單元 12:排序單元 13:訓練單元 14:確定單元 15:神經網路進化單元 16:執行單元 17:移除單元 700:神經網路搜索裝置 21:處理器 22:輸入裝置 23:輸出裝置 24:儲存器
為了更清楚地說明本發明實施例或背景技術中的技術方案，下面將對本發明實施例或背景技術中所需要使用的圖式進行說明。
此處的圖式被併入說明書中並構成本說明書的一部分，這些圖式示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。 圖1為本發明實施例提供的一種神經網路搜索方法的流程示意圖； 圖2為本發明實施例提供的另一種神經網路搜索方法的流程示意圖； 圖3a為本發明實施例提供的一種搜索空間中的神經網路的整體結構示意圖； 圖3b為本發明實施例提供的一種神經網路層內的神經元之間的連接關係示意圖； 圖3c為本發明實施例提供的一種神經層內的神經元的結構示意圖； 圖3d為本發明實施例提供的一種神經元內節點的結構示意圖； 圖4a為本發明實施例提供的一種調整神經網路的結構的示意圖； 圖4b為本發明實施例提供的另一種調整神經網路的結構的示意圖； 圖5為本發明實施例提供的另一種神經網路搜索方法的流程示意圖； 圖6為本發明實施例提供的一種神經網路搜索裝置的結構示意圖； 圖7為本發明實施例提供的一種神經網路搜索裝置的硬體結構示意圖。
101~104:步驟

Claims (12)

  1. 一種神經網路搜索方法，包括：獲取待搜索神經網路庫和訓練資料集；在所述待搜索神經網路庫中增加R個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集中前M個神經網路作為第一待訓練神經網路集；使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練；所述第一階段訓練的訓練週期數為第二預設值；將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路；其中，所述在所述待搜索神經網路庫中增加R個進化後的神經網路，包括：複製所述待搜索神經網路庫中的R個神經網路，得到R個複製後的神經網路；通過修改所述R個複製後的神經網路的結構，以進化所述R個複製後的神經網路，獲得R個待訓練的神經網路；使用所述訓練資料集對所述R個待訓練的神經網路進行第三階段訓練，獲得所述R個進化後的神經網路；所述第三階段訓練的訓練週期數為第三預設值；將所述R個進化後的神經網路添加至所述待搜索神經網路庫； 其中，所述通過修改所述R個複製後的神經網路的結構，包括：通過更換所述R個複製後的神經網路的神經元的輸入修改所述R個複製後的神經網路的結構；和/或，通過更換所述R個複製後的神經網路的神經元的節點內的操作修改所述R個複製後的神經網路的結構。
  2. 根據請求項1所述的方法，其中，所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集中前M個神經網路作為第一待訓練神經網路集之前，所述方法還包括：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集；使用所述訓練資料集對所述第二待訓練神經網路集進行第二階段訓練；所述第二階段訓練的訓練週期數與所述第三預設值的和等於所述第一預設值。
  3. 根據請求項2所述的方法，其中，所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集，包括：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述R 個進化後的神經網路排序得到第三神經網路序列集，並將所述第三神經網路序列集中前N個神經網路作為所述第二待訓練神經網路集。
  4. 根據請求項3所述的方法，其中，所述使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練之後，所述方法還包括：執行X次反覆運算，所述反覆運算包括：在所述待搜索神經網路庫中增加S個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；所述S與所述R相等；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第三預設值的神經網路和所述S個進化後的神經網路排序得到第四神經網路序列集，並將所述第四神經網路序列集中前N個神經網路作為第三待訓練神經網路集；按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為所述第一預設值的神經網路排序得到第五神經網路序列集，並將所述第五神經網路序列集中前M個神經網路作為第四待訓練神經網路集；使用所述訓練資料集對所述第三待訓練神經網路集進行所述第二階段訓練，以及使用所述訓練資料集對所述第四待訓練神經網路集進行所述第一階段訓練；所述方法還包括：移除所述待搜索神經網路庫中在T次反覆運算中未被訓練的神經網路；所述T小於所述X。
  5. 根據請求項1所述的方法，其中，所述待搜索神經網路庫中的神經網路用於圖像分類。
  6. 根據請求項5所述的方法，其中，所述待搜索神經網路庫中的神經網路包括標準層、縮減層以及分類層；所述標準層、所述縮減層以及所述分類層依次串聯；所述標準層用於從輸入所述標準層的圖像中提取特徵；所述縮減層用於從輸入所述縮減層的圖像中提取特徵，並縮小輸入所述縮減層的圖像的大小；所述分類層用於根據所述縮減層輸出的特徵得到輸入所述待搜索神經網路庫中的神經網路的圖像的分類結果；所述標準層和所述縮減層均包括多個神經元；所述多個神經元中的神經元依次串聯，且第i+1個神經元的輸入包括第i個神經元的輸出和第i-1個神經元的輸出；所述第i+1個神經元、所述第i個神經元以及所述第i-1個神經元屬所述多個神經元；所述i為大於1的正整數；所述神經元包括j個節點；第k個節點的輸入為所述第k個節點之前的k-1個節點中的任意兩個節點的輸出；所述k為大於2的正整數，且所述k小於或等於所述j；所述神經元的輸出為第j個節點的輸出和第j-1個節點的輸出融合後的結果；所述節點包括至少兩個操作；所述操作的輸入為所述節點的輸入；所述操作為以下任意一種：卷積、池化、映射。
  7. 根據請求項1至6中任意一項所述的方法，其中，所述獲取待搜索神經網路庫，包括：獲取待搜索神經網路；使用所述訓練資料集對所述待搜索神經網路進行所述第三階段訓練，獲得所述待搜索神經網路庫；所述待搜索神經網路庫包含第三階段訓練後的待搜索神經網路。
  8. 根據請求項1至6中任意一項所述的方法，其中，所述將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路，包括：按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路排序得到第五神經網路序列集，並將所述第五神經網路序列集中前Y個神經網路作為所述目標神經網路。
  9. 一種神經網路搜索裝置，包括：獲取單元，用於獲取待搜索神經網路庫和訓練資料集；神經網路進化單元，用於在所述按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第三預設值的神經網路排序得到第二神經網路序列集，並將所述第二神經網路序列集中前N個神經網路作為第二待訓練神經網路集之前，在所述待搜索神經網路庫中增加R個進化後的神經網路；所述進化後的神經網路通過進化所述待搜索神經網路庫中的神經網路獲得；排序單元，用於按對所述訓練資料集的識別精度從高到低的順序將所述待搜索神經網路庫中已訓練週期數為第一預設值的神經網路排序得到第一神經網路序列集，並將所述第一神經網路序列集中前M個神經網路作為第一待訓練神經網路集；訓練單元，用於使用所述訓練資料集對所述第一待訓練神經網路集進行第一階段訓練；所述第一階段訓練的訓練週期數為第二預設值；確定單元，用於將所述待搜索神經網路庫中已訓練週期數為第一預設值與第二預設值的和的神經網路作為目標神經網路； 其中，所述在所述待搜索神經網路庫中增加R個進化後的神經網路，包括：複製所述待搜索神經網路庫中的R個神經網路，得到R個複製後的神經網路；通過修改所述R個複製後的神經網路的結構，以進化所述R個複製後的神經網路，獲得R個待訓練的神經網路；使用所述訓練資料集對所述R個待訓練的神經網路進行第三階段訓練，獲得所述R個進化後的神經網路；所述第三階段訓練的訓練週期數為第三預設值；將所述R個進化後的神經網路添加至所述待搜索神經網路庫；其中，所述通過修改所述R個複製後的神經網路的結構，包括：通過更換所述R個複製後的神經網路的神經元的輸入修改所述R個複製後的神經網路的結構；和/或，通過更換所述R個複製後的神經網路的神經元的節點內的操作修改所述R個複製後的神經網路的結構。
  10. 一種處理器，用於執行如請求項1至8中任意一項所述的方法。
  11. 一種電子設備，包括：處理器、發送裝置、輸入裝置、輸出裝置和儲存器，所述儲存器用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，當所述處理器執行所述電腦指令時，所述電子設備執行如請求項1至8任一項所述的方法。
  12. 一種電腦可讀儲存媒體，其中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行請求項1至8任意一項所述的方法。
TW108144917A 2019-05-31 2019-12-09 神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體 TWI751458B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910471323.1A CN110188878A (zh) 2019-05-31 2019-05-31 神经网络搜索方法及装置
CN201910471323.1 2019-05-31

Publications (2)

Publication Number Publication Date
TW202046184A TW202046184A (zh) 2020-12-16
TWI751458B true TWI751458B (zh) 2022-01-01

Family

ID=67719521

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144917A TWI751458B (zh) 2019-05-31 2019-12-09 神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體

Country Status (6)

Country Link
US (1) US20210216854A1 (zh)
JP (1) JP7168772B2 (zh)
CN (1) CN110188878A (zh)
SG (1) SG11202102972PA (zh)
TW (1) TWI751458B (zh)
WO (1) WO2020238039A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188878A (zh) * 2019-05-31 2019-08-30 北京市商汤科技开发有限公司 神经网络搜索方法及装置
US11640552B2 (en) * 2019-10-01 2023-05-02 International Business Machines Corporation Two stage training to obtain a best deep learning model with efficient use of computing resources
CN111126564B (zh) * 2019-11-27 2023-08-08 东软集团股份有限公司 一种神经网络结构搜索方法、装置及设备
CN111178316B (zh) * 2020-01-06 2022-04-15 武汉大学 一种高分辨率遥感影像土地覆盖分类方法
CN111382868A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 神经网络结构搜索方法和神经网络结构搜索装置
CN112489012A (zh) * 2020-11-27 2021-03-12 大连东软教育科技集团有限公司 一种用于ct图像识别的神经网络架构方法
CN114925739B (zh) * 2021-02-10 2023-11-03 华为技术有限公司 目标检测方法、装置和系统
CN113239077B (zh) * 2021-07-12 2021-10-26 深圳市永达电子信息股份有限公司 一种基于神经网络的搜索方法、系统和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053431B1 (en) * 2010-10-26 2015-06-09 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN105678380A (zh) * 2016-01-08 2016-06-15 浙江工业大学 一种基于小生境和自适应负相关学习的进化神经网络集成方法
US9613310B2 (en) * 2012-06-01 2017-04-04 Brain Corporation Neural network learning and collaboration apparatus and methods
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229280B (zh) * 2017-04-20 2020-11-13 北京市商汤科技开发有限公司 时域动作检测方法和系统、电子设备、计算机存储介质
CN107480725A (zh) * 2017-08-23 2017-12-15 京东方科技集团股份有限公司 基于深度学习的图像识别方法、装置和计算机设备
CN110188878A (zh) * 2019-05-31 2019-08-30 北京市商汤科技开发有限公司 神经网络搜索方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053431B1 (en) * 2010-10-26 2015-06-09 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9613310B2 (en) * 2012-06-01 2017-04-04 Brain Corporation Neural network learning and collaboration apparatus and methods
CN105678380A (zh) * 2016-01-08 2016-06-15 浙江工业大学 一种基于小生境和自适应负相关学习的进化神经网络集成方法
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置

Also Published As

Publication number Publication date
TW202046184A (zh) 2020-12-16
SG11202102972PA (en) 2021-04-29
CN110188878A (zh) 2019-08-30
JP2022502762A (ja) 2022-01-11
US20210216854A1 (en) 2021-07-15
JP7168772B2 (ja) 2022-11-09
WO2020238039A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
TWI751458B (zh) 神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體
Zhao et al. Heterogeneous feature selection with multi-modal deep neural networks and sparse group lasso
CN104573124B (zh) 一种基于并行化关联规则算法的教育云应用统计方法
US10089421B2 (en) Information processing apparatus and information processing method
CN111563192B (zh) 实体对齐方法、装置、电子设备及存储介质
WO2022134581A1 (zh) 测试用例排序方法及相关设备
US20210224647A1 (en) Model training apparatus and method
CN107391549A (zh) 基于人工智能的新闻召回方法、装置、设备及存储介质
WO2021151311A1 (zh) 一种组卷积数目搜索方法和装置
CN109409504A (zh) 一种数据处理方法、装置、计算机及存储介质
CN116883545A (zh) 基于扩散模型的图片数据集扩充方法、介质及设备
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
KR20230107558A (ko) 모델 트레이닝, 데이터 증강 방법, 장치, 전자 기기 및 저장 매체
CN107451617B (zh) 一种图转导半监督分类方法
CN112667071A (zh) 基于随机变分信息的手势识别方法、装置、设备及介质
CN111914950A (zh) 基于深度对偶变分哈希的无监督跨模态检索模型训练方法
US10599614B1 (en) Intersection-based dynamic blocking
US9135984B2 (en) Apparatuses and methods for writing masked data to a buffer
US9570125B1 (en) Apparatuses and methods for shifting data during a masked write to a buffer
US20230051237A1 (en) Determining material properties based on machine learning models
CN113222160B (zh) 一种量子态的转换方法及装置
KR20200023673A (ko) 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크
CN104572687A (zh) 微博传播的关键用户识别方法和装置
Han et al. Asymmetric convolution-based neural network for SAR ship detection from scratch
CN112069227B (zh) 一种面向事件序列的因果建模方法及装置