TWI712960B - 圖像處理方法、裝置、電腦設備和電腦儲存介質 - Google Patents

圖像處理方法、裝置、電腦設備和電腦儲存介質 Download PDF

Info

Publication number
TWI712960B
TWI712960B TW108148217A TW108148217A TWI712960B TW I712960 B TWI712960 B TW I712960B TW 108148217 A TW108148217 A TW 108148217A TW 108148217 A TW108148217 A TW 108148217A TW I712960 B TWI712960 B TW I712960B
Authority
TW
Taiwan
Prior art keywords
vector
weight vector
feature map
parameter
preset
Prior art date
Application number
TW108148217A
Other languages
English (en)
Other versions
TW202029074A (zh
Inventor
邵文琪
孟天健
張瑞茂
羅平
吳淩云
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202029074A publication Critical patent/TW202029074A/zh
Application granted granted Critical
Publication of TWI712960B publication Critical patent/TWI712960B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00—Integration of renewable energy sources in buildings
    • Y02B10/40—Geothermal heat-pumps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公開實施例提供一種圖像處理方法及裝置、電腦設備和儲存介質，其中，所述方法包括：獲取待處理圖像的第一特徵圖；確定所述第一特徵圖的最終權值向量；根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式；採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖。

Description

圖像處理方法、裝置、電腦設備和電腦 儲存介質
本公開實施例關於電腦視覺通信領域，關於但不限於一種圖像處理方法及裝置、電腦設備和儲存介質。
在基於深度學習對圖像進行處理的方法中，歸一化是不可或缺的模組。目前，業內針對不同的學習任務提出了眾多的歸一化方法，包括適用於圖像分類的批歸一化(Batch Normalization，BN)，適用於序列預測的層歸一化(Layer Normalization，LN)，適用於生成模型的實例歸一化(Instance Normalization，IN)，適用範圍更廣的組歸一化(Group Normalization，GN)。但這些歸一化方法只針對特定模型特定任務，為了克服這個障礙並進一步提升神經網路的性能，適用於多種視覺任務的自我調整歸一化(Switchable Normalization，SN)被提出。SN通過對BN，IN，LN的統計量加權組合擺脫了對批量尺寸的依賴，可以為所有的歸一化層選擇最優的歸一化操作方式 的加權組合。然而SN仍然存在一個重要的缺陷：由於SN通過歸一化指數函數(softmax)變化計算不同歸一化方法的統計量的加權係數，因此加權係數不等於0。這意味著在任何時刻，SN歸一化層都需要計算多種歸一化操作的統計量，即每次歸一化都對應不止一種歸一化方式，從而導致冗餘的計算。
有鑑於此，本公開實施例提供一種圖像處理方法及裝置、電腦設備和儲存介質。
本公開實施例的技術方案是如下這樣實現的。
本公開實施例提供一種圖像處理方法，所述方法包括：
獲取待處理圖像的第一特徵圖；
確定所述第一特徵圖的最終權值向量；
根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式；
採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖。
在本公開實施例中，所述獲取待處理圖像的第一特徵圖，包括：
利用所述神經網路中卷積層對所述待處理圖像進行特徵提取，得到所述第一特徵圖；
對應地，所述預設參數集合包括：第一超級參數、第二超級參數和學習參數，所述確定第一特徵圖的最終權值向量，包括：
根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算所述第一特徵圖的最終權值向量。
在本公開實施例中，所述根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算第一特徵圖的最終權值向量，包括：
根據所述第一超級參數和所述第二超級參數，確定預設約束條件；
根據所述預設約束條件和所述學習參數，確定所述第一特徵圖的最終權值向量；其中，所述學習參數用於計算所述第一特徵圖的最終權值向量，所述第一超級參數用於表明預設的單純形的中心，所述第二超級參數用於縮小所述最終權值向量的取值範圍。
在本公開實施例中，所述預設約束條件為限制所述最終權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數的數值。
在本公開實施例中，所述確定所述第一特徵圖的最終權值向量，包括：確定所述第一特徵圖的均值向量和方差向量；根據所述預設約束條件和所述學習參數，分別確定所述均值向量對應的均值最終權值向量和所述方差向量對應的方差最終權值向量；
對應地，所述根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式，包括：根據所述均值最終權值向量和所述方差最終權值向量，分別對應地確定均值的第一子歸一化方式和方差的第二子歸一化方式；其中，所述第一子歸一化方式與所述第二子歸一化方式相同或不同；
對應地，所述採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖，包括：根據所述第一子歸一化方式和所述第二子歸一化方式，分別對應地對所述均值向量和所述方差向量進行歸一化，得到歸一化的均值向量和歸一化的方差向量；根據所述歸一化的均值向量、所述歸一化的方差向量和所述第一特徵圖，得到所述第二特徵圖。
在本公開實施例中，所述確定所述第一特徵圖的均值向量和方差向量，包括：
基於預設的歸一化集合，確定所述第一特徵圖的均值向量和方差向量；
其中，所述均值向量的維數和方差向量的維數均與所述預設的歸一化集合中歸一化方式的個數相同的；
所述均值向量中第i維度上的均值與所述預設的歸一化集合中第j個歸一化方式相對應，所述方差向量中第i維度上的方差與所述預設的歸一化集合中第j個歸一化方式相對應；i和j均為大於0小於等於所述預設的歸一化集合中歸一化方式的個數的整數。
在本公開實施例中，所述方法包括：
根據預設的歸一化集合中歸一化方式的個數，確定所述學習參數的維數、所述第一超級參數的維數和所述第一超級參數中每一維度上的數值；其中，所述第一超級參數的各維度的數值總和為1；所述第一超級參數的維數與所述學習參數的維數相同，所述第一超級參數的各維度數值相同，且各維度數值的總和為1；
確定預設的單純形的中心到頂點的距離，將所述距離確定為所述第二超級參數對應的預設閾值；其中，所述預設的單純形的各邊長為預設固定數值，且頂點數與所述歸一化方式的個數相同；所述第二超級參數為大於0小於等於所述預設閾值的數值。
在本公開實施例中，所述根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算第一特徵圖的最終權值向量，包括：
根據所述第二超級參數和所述學習參數，確定第一子權值向量；
如果所述第一子權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數，將所述第一子權值向量確定為所述最終權值向量。
在本公開實施例中，在所述根據所述第二超級參數和所述學習參數，確定第一子權值向量之後，所述方法還包括：
如果所述第一子權值向量與所述第一超級參數之間的距離小於所述第二超級參數，根據所述第一超級參數、所述第二超級參數和所述第一子權值向量，確定第二子權值向量；
如果第二子權值向量大於等於0，確定所述第二子權值向量為最終權值向量。
在本公開實施例中，在所述根據所述第一超級參數、所述第二超級參數和所述第一子權值向量，確定第二子權值向量之後，所述方法還包括：
如果所述第二子權值向量小於0，根據所述第二子權值向量更新所述第一超級參數，得到更新的第一超級參數；
根據所述第二超級參數、所述更新的第一超級參數和未更新的第一超級參數，確定更新的第二超級參數；
根據所述第二子權值向量和所述學習參數，確定第三子權值向量；
根據所述更新的第一超級參數、所述更新的第二超級參數和所述第三子權值向量，確定最終權值向量。
在本公開實施例中，所述根據所述第一子歸一化方式和所述第二子歸一化方式，分別對應地對所述均值向量和所述方差向量進行歸一化，得到歸一化的均值向量和歸一化的方差向量，包括：
將所述均值最終權值向量中每一維度上的權值一一對應地與所述均值向量中每一維度上的權值相乘，並將每一維度上得到的乘積相加，得到歸一化的均值向量；
將所述方差最終權值向量中每一維度上的權值一一對應地與所述方差向量中每一維度上的方差相乘，並將每一維度上得到的乘積相加，得到歸一化的方差向量。
在本公開實施例中，所述根據所述歸一化的均值向量、歸一化的方差向量和所述第一特徵圖，得到所述第二特徵圖，包括：
確定所述第一特徵圖與所述歸一化的均值向量的差值；
確定所述歸一化的方差向量與預設調整量之和，對應的均方差；
確定所述差值與所述均方差的比值；
採用預設的縮放參數對所述比值進行縮放，得到縮放後的比值；
按照預設的移位參數對所述縮放後的比值進行調整，得到所述第二特徵圖。
本公開實施例提供一種圖像處理裝置，所述裝置包括：第一獲取模組、第一計算模組、第一確定模組和第一處理模組；其中：
所述第一獲取模組，配置為取待處理圖像的第一特徵圖；
所述第一計算模組，配置為確定所述第一特徵圖的最終權值向量；
所述第一確定模組，配置為根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式；
所述第一處理模組，配置為採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖。
在本公開實施例中，所述第一獲取模組，包括：
第一提取子模組，配置為利用所述神經網路中卷積層對所述待處理圖像進行特徵提取，得到所述第一特徵圖；
對應地，所述預設參數集合包括：第一超級參數、第二超級參數和學習參數，所述第一計算模組，包括：
第一計算子模組，配置為根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算所述第一特徵圖的最終權值向量。
在本公開實施例中，所述第一計算子模組，包括：
第一確定單元，配置為根據所述第一超級參數和所述第二超級參數，確定預設約束條件；
第二確定單元，配置為根據所述預設約束條件和所述學習參數，確定所述第一特徵圖的最終權值向量；其中，所述學習參數用於計算所述第一特徵圖的最終權值向量，所述第一超級參數用於表明預設的單純形的中心，所述第二超級參數用於縮小所述最終權值向量的取值範圍。
在本公開實施例中，所述預設約束條件為限制所述最終權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數的數值。
在本公開實施例中，所述第一獲取模組，包括：
第一確定子模組，配置為確定所述第一特徵圖的均值向量和方差向量；
第二確定子模組，配置為根據所述預設約束條件和所述學習參數，分別確定所述均值向量對應的均值最終權值向量和所述方差向量對應的方差最終權值向量；
對應地，所述第一確定模組，包括：第三確定子模組，配置為根據所述均值最終權值向量和所述方差最終權值向量，分別對應地確定均值的第一子歸一化方式和方差的第二子歸一化方式；其中，所述第一子歸一化方式與所述第二子歸一化方式相同或不同；
對應地，所述第一處理模組，包括：第一歸一化子模組，配置為根據所述第一子歸一化方式和所述第二子歸一化方式，分別對應地對所述均值向量和所述方差向量進行歸一化，得到歸一化的均值向量和歸一化的方差向量；
第四確定子模組，配置為根據所述歸一化的均值向量、所述歸一化的方差向量和所述第一特徵圖，得到所述第二特徵圖。
在本公開實施例中，所述第一確定子模組，包括：
第三確定單元，配置為基於預設的歸一化集合，確定所述第一特徵圖的均值向量和方差向量；
其中，所述均值向量的維數和方差向量的維數均與所述預設的歸一化集合中歸一化方式的個數相同的；
所述均值向量中第i維度上的均值與所述預設的歸一化集合中第j個歸一化方式相對應，所述方差向量中第i維度上的方差與所述預設的歸一化集合中第j個歸一化方式相對應；i和j均為大於0小於等於所述預設的歸一化集合中歸一化方式的個數的整數。
在本公開實施例中，所述裝置包括：
第二確定模組，配置為根據預設的歸一化集合中歸一化方式的個數，確定所述學習參數的維數、所述第一超級參數的維數和所述第一超級參數中每一維度上的數值；其中，所述第一超級參數的各維度的數值總和為1；所述第一超級參數的維數與所述學習參數的維數相同，所述第一超級參數的各維度數值相同，且各維度數值的總和為1；
第三確定模組，配置為確定預設的單純形的中心到頂點的距離，將所述距離確定為所述第二超級參數對應的預設閾值；其中，所述預設的單純形的各邊長為預設固定數值，且頂點數與所述歸一化方式的個數相同；所述第二超級參數為大於0小於等於所述預設閾值的數值。
在本公開實施例中，所述第一計算子模組，包括：
第四確定單元，配置為根據所述第二超級參數和所述學習參數，確定第一子權值向量；
第五確定單元，配置為如果所述第一子權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數，將所述第一子權值向量確定為所述最終權值向量。
在本公開實施例中，所述裝置還包括：
第四確定模組，配置為如果所述第一子權值向量與所述第一超級參數之間的距離小於所述第二超級參數，根據所述第一超級參數、所述第二超級參數和所述第一子權值向量，確定第二子權值向量；
第五確定模組，配置為如果第二子權值向量大於等於0，確定所述第二子權值向量為最終權值向量。
在本公開實施例中，所述裝置還包括：
第一更新模組，配置為如果所述第二子權值向量小於0，根據所述第二子權值向量更新所述第一超級參數，得到更新的第一超級參數；
第六確定模組，配置為根據所述第二超級參數、所述更新的第一超級參數和未更新的第一超級參數，確定更新的第二超級參數；
第七確定模組，配置為根據所述第二子權值向量和所述學習參數，確定第三子權值向量；
第八確定模組，配置為根據所述更新的第一超級參數、所述更新的第二超級參數和所述第三子權值向量，確定最終權值向量。
在本公開實施例中，所述第一歸一化子模組，包括：
第一計算單元，配置為將所述均值最終權值向量中每一維度上的權值一一對應地與所述均值向量中每一維度上的 權值相乘，並將每一維度上得到的乘積相加，得到歸一化的均值向量；
第二計算單元，配置為將所述方差最終權值向量中每一維度上的權值一一對應地與所述方差向量中每一維度上的方差相乘，並將每一維度上得到的乘積相加，得到歸一化的方差向量。
在本公開實施例中，所述第四確定子模組，包括：
第一求差單元，配置為確定所述第一特徵圖與所述歸一化的均值向量的差值；
第三計算單元，配置為確定所述歸一化的方差向量與預設調整量之和，對應的均方差；
第四計算單元，配置為確定所述差值與所述均方差的比值；
第一縮放單元，配置為採用預設的縮放參數對所述比值進行縮放，得到縮放後的比值；
第一調整單元，配置為按照預設的移位參數對所述縮放後的比值進行調整，得到所述第二特徵圖。
對應地，本公開實施例提供一種電腦儲存介質，所述電腦儲存介質上儲存有電腦可執行指令，該電腦可執行指令被執行後，能夠實現本公開實施例提供的圖像處理方法中的步驟。
本公開實施例提供一種電腦設備，所述電腦設備包括記憶體和處理器，所述記憶體上儲存有電腦可執行指 令，所述處理器運行所述記憶體上的電腦可執行指令時可實現本公開實施例提供的圖像處理方法中的步驟。
本公開實施例一種計算程式產品，其中，所述電腦程式產品包括電腦可執行指令，該電腦可執行指令被執行後，能夠實現本公開實施例提供的圖像處理方法中的步驟。
本公開實施例中，採用稀疏自我調整歸一化的方式，對於每一特徵圖自我調整的選擇出適用於當前特徵圖的歸一化方式而不是多種歸一化的加權組合，從而避免冗餘計算。
500‧‧‧圖像處理裝置
501‧‧‧第一獲取模組
502‧‧‧第一計算模組
503‧‧‧第一確定模組
504‧‧‧第一處理模組
600‧‧‧電腦設備
601‧‧‧處理器
602‧‧‧通信介面
603‧‧‧記憶體
圖1A為本公開實施例網路架構的組成結構示意圖；
圖1B為本公開實施例圖像處理方法的實現流程示意圖；
圖2A為本公開實施例圖像處理方法的實現流程示意圖；
圖2B為本公開實施例圖像處理方法的又一實現流程示意圖；
圖2C為本公開實施例圖像處理方法的另一實現流程示意圖；
圖3為採用不同函數得到權值向量的比較結果示意圖；
圖4為本公開實施例基於不同函數和不同參數得到權值向量的示意圖；
圖5為本公開實施例圖像識別裝置的組成結構示意圖；
圖6為本公開實施例電腦設備的組成結構示意圖。
為使本公開實施例的目的、技術方案和優點更加清楚，下面將結合本公開實施例中的附圖，對發明的具體技術方案做進一步詳細描述。以下實施例用於說明本公開，但不用來限制本公開的範圍。
本實施例先提供一種網路架構，圖1A為本公開實施例網路架構的組成結構示意圖，如圖1A所示，該網路架構包括兩個或多個電腦設備11至1N和伺服器30，其中電腦設備11至1N與伺服器31之間通過網路21進行交互。電腦設備在實現的過程中可以為各種類型的具有資訊處理能力的電腦設備，例如所述電腦設備可以包括手機、平板電腦、桌上型電腦、個人數位助理等。
本實施例提出一種圖像處理方法，能夠為神經網路的每一歸一化層選擇一個最合適的歸一化方式，提升神經網路的泛化能力，加速測試過程，該方法應用於電腦設備，該方法所實現的功能可以通過電腦設備中的處理器調用程式碼來實現，當然程式碼可以保存在電腦儲存介質中，可見，該電腦設備至少包括處理器和儲存介質。
圖1B為本公開實施例圖像處理方法的實現流程示意圖，如圖1B所示，所述方法包括以下步驟：
步驟S101，獲取待處理圖像的第一特徵圖。這裡，所述待處理圖像可以是外觀複雜的圖像，還可以是外觀簡單的圖像。所述步驟S101可以是由電腦設備實現的，進一步地，所述電腦設備可以是智慧終端機，例如可以是行動電話(比如，手機)、平板電腦、筆記型電腦等具有無線通訊能力的移動終端設備，還可以是臺式電腦等不便移動的智慧終端機設備。所述電腦設備用於進行圖像識別或處理。所述第一特徵圖可以是利用神經網路中卷積層對所述待處理圖像進行特徵提取，得到第一特徵圖。
步驟S102，確定所述第一特徵圖的最終權值向量。這裡，可以根據預設參數集合，計算第一特徵圖的最終權值向量，從而確定出第一特徵圖的最終權值向量。預設參數集合包括：第一超級參數、第二超級參數和學習參數。其中，第一超級參數u用於表明預設的單純形的中心，所述第二超級參數r用於縮小所述最終權值向量的取值範圍，第二超級參數r的取值範圍為大於0小於等於預設的單純形的中心到頂點的距離。在本實施例中，根據預設的歸一化集合中歸一化方式的個數，確定學習參數的維數、第一超級參數的維數和所述第一超級參數中每一維度上的數值；其中，第一超級參數的各維度的數值總和為1；第一超級參數的維數與學習參數的維數相同，第一超級參數的各維度數值相同，且各維度數值的總和為1；然後，確定預設的單純形的中心到 頂點的距離，將該距離確定為所述第二超級參數對應的預設閾值；其中，所述預設的單純形的各邊長為預設固定數值，且頂點數與歸一化方式的個數相同；所述第二超級參數為大於0小於等於所述預設閾值的數值；比如，預設的歸一化集合中包含三種歸一化方式(比如，BN、IN和LN)，那麼預設的單純形為邊長為根號2的等邊三角形，學習參數z為任意三維向量，例如z(0.5，0.3，0.2)；第一超級參數為三維向量u(1/3，1/3，1/3)；第二超級參數可以看出是以該單純形的中心為起點，隨著訓練過程逐漸增大的圓的半徑，即第二超級參數大於0，小於單純形的中心到頂點的距離。預設的歸一化集合中包含多種歸一化方式，比如，預設的歸一化集合Ω包括：BN、IN和LN，可以表示為Ω={BN,IN,LN}。所述步驟S102可以通過以下過程實現：首先根據預設參數集合中的第一超級參數、第二超級參數和學習參數，計算所述第一特徵圖的最終權值向量。採用了稀疏自我調整歸一化的方式，那麼對於每一特徵圖用完全稀疏的方式選擇出適合該特徵圖的歸一化方式，而不是多種歸一化方式的加權組合，從而不僅避免了冗餘的計算，還能夠提升神經網路的泛化能力。
步驟S103，根據最終權值向量，在預設的歸一化集合中確定出與第一特徵圖對應的目標歸一化方式。這裡，最終權值向量可以理解為是完全稀疏的權值向量，即該權值向量中僅有一個維度上的數值為1，其餘維度上的數值均為0。步驟S103可以理解為，如果預設的歸一化集合為 Ω={BN,IN,LN}，最終權值向量p如果為(0,0,1)，則表示目標歸一化方式為LN；最終權值向量p如果為(0,1,0)，則表示目標歸一化方式為IN；最終權值向量p如果為(1,0,0)，則表示目標歸一化方式為BN。
步驟S104，採用目標歸一化方式，對第一特徵圖進行歸一化處理，得到第二特徵圖。這裡，上述第二特徵圖即為對所述第一特徵圖採用目標歸一化方式進行歸一化處理後所得到的特徵圖。可以理解的是，本實施例中經過上述處理步驟，實現採用稀疏自我調整歸一化方式對圖像進行處理，能夠以更高的效率選擇出合適的歸一化方式對圖像進行處理，所得到的第二特徵圖可以用於後續深度學習的處理步驟中。
在本公開實施例中，通過將稀疏自我調整歸一化應用在神經網路中，然後基於事先設定的預設參數集合，確定最終權值向量，從而確定目標歸一化方式，對於每一特徵圖自我調整的選擇出適用於當前特徵圖的歸一化方式而不是多種歸一化的加權組合，從而避免冗餘計算，還能夠提升神經網路的泛化能力。
本實施例提供一種圖像處理方法，圖2A為本公開實施例圖像處理方法的實現流程示意圖，如圖2A所示，所述方法包括以下步驟：
步驟S201，利用神經網路中卷積層對待處理圖像進行特徵提取，得到第一特徵圖。這裡，將待處理圖像輸 入到神經網路中，卷積層對樣本圖像進行特徵提取，得到第一特徵圖。
步驟S202，根據預設參數集合中的第一超級參數、第二超級參數和學習參數，計算第一特徵圖的最終權值向量。這裡，所述步驟S202可以通過以下過程實現：首先，根據所述第一超級參數和所述第二超級參數，確定預設約束條件。這裡，所述預設約束條件為限制所述最終權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數的數值，可以表示為最終權值向量p滿足∥p-u∥2
Figure 108148217-A0101-12-0018-47
r。然後，根據所述預設約束條件和所述學習參數，確定所述第一特徵圖的最終權值向量。最後，根據所述最終權值向量，對所述第一特徵圖進行歸一化，得到第二特徵圖。這樣，在訓練過程中，基於預設約束條件和學習參數，使得得到的最終權重向量是完全稀疏的。
步驟S203，根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式。
步驟S204，採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖。
在本實施例中，基於輸入的學習參數z和約束條件，對神經網路進行訓練，使得到的特徵圖的最終權值向量為完全稀疏的，從而使得對於輸入該神經網路中的待處理圖像能夠自我調整的選擇出適合該特徵圖的歸一化方式，並對 該特徵圖進行歸一化，避免了冗餘的計算，提升了神經網路的泛化能力。
本實施例提供一種圖像處理方法，圖2B為本公開實施例圖像處理方法的又一實現流程示意圖，如圖2B所示，所述方法包括以下步驟：
步驟S221，獲取待處理圖像的第一特徵圖。
步驟S222，確定所述第一特徵圖的均值向量和方差向量。這裡，首先，基於預設的歸一化集合，確定所述第一特徵圖的均值向量和方差向量；其中，所述均值向量的維數和方差向量的維數均與所述預設的歸一化集合中歸一化方式的個數相同的；所述均值向量中第i維度上的均值與所述預設的歸一化集合中第j個歸一化方式相對應，所述方差向量中第i維度上的方差與所述預設的歸一化集合中第j個歸一化方式相對應；i和j均為大於0小於等於所述預設的歸一化集合中歸一化方式的個數的整數。比如，預設的歸一化集合為Ω={BN,IN,LN}，基於該歸一化集合確定第一特徵圖的均值向量和方差向量，均值向量和方差向量均為三維的向量，而且均值向量中第一維度上的均值與IN對應，第二維度上的均值與BN對應，第三維度上的均值與LN對應。
步驟S223，根據預設約束條件和學習參數，分別確定均值向量對應的均值最終權值向量和方差向量對應的方差最終權值向量。上述步驟S222和步驟S223給出了一種實現“確定所述第一特徵圖的最終權值向量”的方式，在該方式中，通過設定的預設條件，使得得到的最終權值向量 為完全稀疏的權值向量，即該權值向量中僅有一個維度上的數值為1，其餘維度上的數值均為0。
步驟S224，根據所述均值最終權值向量和所述方差最終權值向量，分別對應地確定均值的第一子歸一化方式和方差的第二子歸一化方式。這裡，所述第一子歸一化方式與所述第二子歸一化方式相同或不同。比如，預設的歸一化集合為Ω={BN,IN,LN}，均值最終權值向量為(0,0,1)，表示均值的第一子歸一化方式為LN；方差最終權值向量為(0,1,0)，表示方差的第二子歸一化方式為IN。
步驟S225，根據所述第一子歸一化方式和所述第二子歸一化方式，分別對應地對所述均值向量和所述方差向量進行歸一化，得到歸一化的均值向量和歸一化的方差向量。這裡，比如，均值最終權值向量為(0,0,1)，即均值的第一子歸一化方式為LN，則採用LN對均值向量進行歸一化處理，得到歸一化的均值向量；方差最終權值向量為(0,1,0)，即方差的第二子歸一化方式為IN，則採用IN對方差向量進行歸一化處理，得到歸一化的方差向量。
步驟S226，根據所述歸一化的均值向量、所述歸一化的方差向量和所述第一特徵圖，得到所述第二特徵圖。這裡，所述步驟S226可以通過以下過程實現：首先，將所述均值最終權值向量中每一維度上的權值一一對應地與所述均值向量中每一維度上的權值相乘，並將每一維度上得到的乘積相加，得到歸一化的均值向量。然後，將所述方差最終權值向量中每一維度上的權值一一對應地與所述方 差向量中每一維度上的方差相乘，並將每一維度上得到的乘積相加，得到歸一化的方差向量。最後，根據所述歸一化的均值向量和歸一化的方差向量，得到第二特徵圖。
上述步驟S225和步驟S226給出了一種實現“採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖”的方式，在該方式中，通過分別得到均值向量和方差向量分別對應的第一子歸一化方式和所述第二子歸一化方式，從而對均值向量和方差向量進行歸一化，增強了神經網路的泛化能力。
在本公開實施例中，基於預設約束條件和所述學習參數，得到均值向量和方差向量分別對應的最終權值向量，以使得最終權值向量是完全稀疏的；並基於最終權值向量完成對第一特徵圖的歸一化，得到第二特徵圖，從使該神經網路對於輸入的待處理圖像，能夠自我調整的選擇出適合該待處理圖像的一種歸一化方式，減小了計算量。
本實施例提供一種圖像處理方法，圖2C為本公開實施例圖像處理方法的另一實現流程示意圖，如圖2C所示，所述方法包括以下步驟：
步驟S231，利用所述神經網路中卷積層對所述待處理圖像進行特徵提取，得到所述第一特徵圖。
步驟S232a，根據所述第二超級參數和所述學習參數，確定第一子權值向量。這裡，如果所述第一子權值向量p0與所述第一超級參數u之間的距離大於等於所述第 二超級參數r，即∥p 0-u∥2
Figure 108148217-A0101-12-0022-48
r，進入步驟S233a，否則，進入步驟S232b。
步驟S233a，如果所述第一子權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數，將所述第一子權值向量確定為所述最終權值向量。這裡，所述步驟S233a的下一步為，進入步驟S232b。上述步驟S232a和步驟S233a給出了一種“確定最終權值向量的方式”，即當確定第一子權值向量滿足預設約束條件，那麼第一子權值向量即為最終權值向量。
步驟S232b，如果所述第一子權值向量與所述第一超級參數之間的距離小於所述第二超級參數，根據所述第一超級參數、所述第二超級參數和所述第一子權值向量，確定第二子權值向量。這裡，由於第二超級參數為大於0小於預設的單純形的中心到頂點的距離的數值，所以第二超級參數在訓練神經網路的過程中，研發人員可以自主設定第二超級參數為0到等於預設的單純形的中心到頂點的距離中任意一個數值；而且在本實施例中，第二超級參數越接近預設的單純形的中心到頂點的距離，權值向量越稀疏。這裡，如果第二子權值向量p1大於等於0，進入步驟S233b，否則，進入步驟S232c。
步驟S233b，如果第二子權值向量大於等於0，確定所述第二子權值向量為最終權值向量。這裡，步驟S233b的下一步為，進入步驟S232c。上述步驟S232b和步驟S233b給出了另一種“確定最終權值向量的方式”，即當 確定第一子權值向量不滿足預設約束條件，那麼第一超級參數、第二超級參數和第一子權值向量，計算得到第二子權值向量，如果第二子權值向量大於0，即確定第二子權值向量即為最終權值向量。
步驟S232c，如果所述第二子權值向量小於0，根據所述第二子權值向量更新所述第一超級參數，得到更新的第一超級參數。這裡，比如，使第一超級參數
Figure 108148217-A0101-12-0023-2
,i=12,3，其中，i=1,2,3分別對應於歸一化方式BN，IN和LN。
步驟S233c，根據所述第二超級參數、所述更新的第一超級參數和未更新的第一超級參數，確定更新的第二超級參數。這裡，更新的第二超級參數r`可以表示為，
Figure 108148217-A0101-12-0023-1
步驟S234c，根據所述第二子權值向量和所述學習參數，確定第三子權值向量。這裡，將第二子權值向量映射到函數sparsemax中，得到第三子權值向量p2，即p 2=sparsemax(p 1)。
步驟S235c，根據所述更新的第一超級參數、所述更新的第二超級參數和所述第三子權值向量，確定最終 權值向量。這裡，最終權值向量p可以表示為，
Figure 108148217-A0101-12-0023-3
。所述確定最終權值向量可以是，根據由第一超級參數和所述第二超級參數確定的預設約束條件，和所述學習參數，分別 確定所述均值向量對應的均值最終權值向量和所述方差向量對應的方差最終權值向量。
上述步驟S232c和步驟S234c給出了另一種“確定最終權值向量的方式”，即當確定第二子權值向量小於0，那麼再次更新輸入的學習參數，獲取第三子權值向量，然後基於第三子權值向量，得到最終權值向量。
步驟S233，根據均值最終權值向量和方差最終權值向量，分別對應地對所述均值向量和所述方差向量進行歸一化，得到第二特徵圖。這裡，所述步驟S233可以通過以下過程實現：首先，將所述均值最終權值向量中每一維度上的權值一一對應地與所述均值向量中每一維度上的權值相乘，並將每一維度上得到的乘積相加，得到歸一化的均值向量；然後，將所述方差最終權值向量中每一維度上的權值一一對應地與所述方差向量中每一維度上的方差相乘，並將每一維度上得到的乘積相加，得到歸一化的方差向量；最後，確定第一特徵圖與所述歸一化的均值向量的差值；確定所述歸一化的方差向量與預設調整量之和，對應的均方差；確定所述差值與所述均方差的比值；採用預設的縮放參數和預設的移位參數對所述比值進行調整，得到所述第三特徵圖。
在本實施例中，基於輸入第一的學習參數和預設約束條件，經過多次判斷以使得最終權值向量是完全稀疏的；並基於最終權值向量完成對第一特徵圖的歸一化，得到 第二特徵圖，從而使歸一化方式中擁有更少的參數量，且在深度神經網路中具有更強的通用性。
本公開實施例，通過提出完全稀疏函數(sparsestmax)代替自我調整歸一化中的softmax函數，將稀疏優化問題轉化為神經網路的前向計算，實現了加權係數的完全稀疏化，可以為所有歸一化層選擇最合適的歸一化操作，而不是歸一化操作方式的加權組合。本實施例指定稀疏自我調整歸一化(Sparse Switchable Normalization，SSN)的運算式如公式(1)所示：
Figure 108148217-A0101-12-0025-6
其中，p k 表示輸入的特徵圖的均值向量對應的權值，
Figure 108148217-A0101-12-0025-45
表示該特徵圖的方差向量對應的權值；
Figure 108148217-A0101-12-0025-7
，
Figure 108148217-A0101-12-0025-8
，
Figure 108148217-A0101-12-0025-49
,
Figure 108148217-A0101-12-0025-50
；h ncij 和
Figure 108148217-A0101-12-0025-9
表示歸一化之前和歸一化之後的特徵圖，n
Figure 108148217-A0101-12-0025-51
[1,N]，N代表一個小批次內的樣本量，c
Figure 108148217-A0101-12-0025-52
[1,C]，C是特徵圖的通道數量，i
Figure 108148217-A0101-12-0025-53
[1,H]，H為每個通道空間維度上的高，j
Figure 108148217-A0101-12-0025-54
[1,W]，W為每個通道空間維度上的寬；γ,β分別為常規的縮放與移位參數，ε為預防數值不穩定性的一個預設的調整量(一個很小的量)。對於每個像素點，歸一化後的均值為
Figure 108148217-A0101-12-0025-10
， 歸一化後的方差為
Figure 108148217-A0101-12-0025-11
。在稀疏自我調整歸一化中，p k ,
Figure 108148217-A0101-12-0025-46
被限制為0或1的變數。那麼權值向量p=(p in ,p bn ,p ln )中的三個數值p bn ,p in 和p ln 中只有一個等於1，其他均等於0。 Ω={IN,BN,LN}是表示預設的歸一化集合。μ k 和
Figure 108148217-A0101-12-0026-17
是特徵圖分別對應於歸一化方式IN，BN和LN的均值和方差，其中，k
Figure 108148217-A0101-12-0026-55
{1,2,3}對應於不同的歸一化方式，即k取值為1時，μ k 和
Figure 108148217-A0101-12-0026-18
分別對應於採用歸一化方式IN得到的均值和方差；k取值為2時，μ k 和
Figure 108148217-A0101-12-0026-15
分別對應於採用歸一化方式BN得到的均值和方差；k取值為3時，μ k 和
Figure 108148217-A0101-12-0026-16
分別對應於採用歸一化方式LN得到的均值和方差。在本實施例中，將特徵圖的均值對應的權值向量表示為p=(p 1,p 2,p 3)，將特徵圖的方差對應的權值向量作為
Figure 108148217-A0101-12-0026-44
。
在公式(1)中，
Figure 108148217-A0101-12-0026-12
，
Figure 108148217-A0101-12-0026-13
，I k 表示歸一化集合中不同的歸一化方式統計計算的像素範圍，h ncij 可以看作是I k 內的像素點，歸一化方式BN、IN和LN的像素範圍分別可以表示為I bn ,I in ,I ln ：
Figure 108148217-A0101-12-0026-14
根據公式(1)，SSN從歸一化集合中選擇單個歸一化方式，如果稀疏約束
Figure 108148217-A0101-12-0026-56
,
Figure 108148217-A0101-12-0026-57
鬆弛到軟約束
Figure 108148217-A0101-12-0026-58
,
Figure 108148217-A0101-12-0026-59
，SSN的稀疏能力則降低。
在本實施例中，設p=f(z)作為學習SSN中的權值向量p的函數，其中，z=(z bn ,z in ,z ln )，z bn ,z in ,z ln 為三個維度統計量對應的網路參數，該參數在反向傳播時進行優化學 習。在介紹其方程之前，先引入p=f(z)的四個要求，以使SSN盡可能有效且易於使用。
(1)權值向量p為單位長度。p的l 1範數為1，所有p k >0。
(2)權值向量p是完全稀疏。換句話說，函數p=f(z)需要返回單熱向量，其中，只有一個權值是1而其他權值是0。
(3)易於使用。SSN可以作為模組實現，並可輕鬆插入任何網路和任務。為了實現這一點，必須滿足權值向量p的所有約束並在網路的前向計算中實現。這與向損失函數添加l 0或者l 1的損耗不同，使得模型開發變得麻煩，因為這些損耗的係數通常對批量大小，網路架構和任務敏感。
(4)穩定性。權值向量p的優化應該是穩定的，這意味著p=f(z)應該能夠在訓練階段保持稀疏性。例如，如果p=f(z)在當前步驟中返回一個歸一化值而在下一步驟中返回另一個歸一化值，則訓練很困難。
與p=f(z)相關的函數是softmax(z)和sparsemax(z)，但softmax(z)和sparsemax(z)不滿足上述四個要求。首先，在相關技術中採用softmax(z)。然而，其參數z總是具有完全支持，即，p k ≠0，這意味著歸一化方式在採用softmax(z)函數時是不稀疏的。其次，另一個函數是sparsemax(z)，該函數是對softmax(z)的擴展，以產生部分稀疏分佈。sparsemax(z)通過最小 化p和z之間的歐幾裡德距離將z投影到(K-1)維單純形上的最近點p，如公式(3)所示：
Figure 108148217-A0101-12-0028-19
其中，Δ K-1表示(K-1)維單純形，它是包含K個頂點的凸多面體。例如，當K為3時，Δ2表示二維單純形，是一個正三角形。該正三角形的頂點分別對應於BN，IN和LN。
圖3為採用不同函數得到權值向量的結果示意圖，如圖3所示，點O表示三維坐標系的原點。點301表示函數sparsestmax(z)輸出的權值向量，點303表示函數sparsemax(z)輸出的權值向量，點303表示函數softmax(z)輸出的權值向量，正三角形表示嵌入該三維坐標系中的二維單純形。u是單純形的中心。立方體31表示對應於歸一化方式IN，且尺寸為N×C×H×W的特徵圖，即沿批量軸N求像素點的像素範圍I in ；立方體32表示對應於歸一化方式BN，且尺寸為N×C×H×W的特徵圖，即沿著空間軸H×W求像素點的像素範圍I bn ；立方體33表示對應於歸一化方式LN，且尺寸為N×C×H×W的特徵圖，即沿著通道軸C求像素點的像素範圍I ln 。正三角形的每個頂點代表三個歸一化中的一個。如圖3所示，softmax函數的輸出權值向量比sparsemax和sparsestmax函數輸出的權值向量更接近單純形的中心u。本公開實施例提出的sparsestmax函數使最終權值向量以端到端的方式收斂到單純形的頂點之一，從這三種標準化方法中僅選擇一個歸一化對特徵圖進行歸一化。換句話說，sparsemax函數產生的權值向量p比softmax 函數產生的權值向量p更接近於單純形的邊界，表明sparsemax函數比softmax函數產生更多的稀疏比率。以學習參數z=(0.8，0.6，0.1)為例，softmax(z)=(0.43，0.35，0.22)而sparsemax(z)=(0.6，0.4，0)，表明sparsemax函數可能使p的某些元素為零，但是仍然無法保證權值向量為完全稀疏的比率，因為單純形上的每個點都可以是公式(3)的解。
為了滿足上面討論的所有約束，本公開實施例引入了sparsestmax函數，該函數是softmax函數的一個新的稀疏版本。sparsestmax函數可以定義為如公式(4)所示：
Figure 108148217-A0101-12-0029-20
其中，
Figure 108148217-A0101-12-0029-21
表示具有圓形約束 1 T p=1,∥p-u∥2
Figure 108148217-A0101-12-0029-60
r的單純形；這裡向量
Figure 108148217-A0101-12-0029-22
表示單純形的中心(即第一超級參數)，1表示一個全1的向量，r是圓的半徑，圓心為單純形的中心。
sparsestmax函數與sp arsemax函數相比，引入了一個迴圈約束1 T p=1,∥p-u∥2
Figure 108148217-A0101-12-0029-61
r從而具有直觀的幾何意義。與sparsemax函數(解空間為Δ K-1)的解空間不同，sparsestmax的解空間是一個圓，中心u和半徑r不包括在單純形中。
為了滿足完全稀疏的要求，在訓練階段將半徑r(即第二超級參數)從零線性增加到rc。rc是單純形的外接 圓的半徑。當r=r c 時，公式(4)的解空間僅包含單純形的K個頂點，使得sparsestmax函數完全稀疏。
在本實施例中，基於sparsestmax函數的稀疏自我調整歸一化過程可以簡述為以下步驟：第一步，根據所述學習參數z、第一超級參數u和第二超級參數r，確定第一子權值向量p0。第二步，如果∥p 0-u∥2
Figure 108148217-A0101-12-0030-62
r，那麼最終權值向量p=p0，進入第四步；否則，計算第二子權值向量p1，
Figure 108148217-A0101-12-0030-23
。第三步，如果p 1
Figure 108148217-A0101-12-0030-63
0，那麼最終權值向量p=p1，進入第四步；否則，獲取更新的第一超級參數u`，更新的第二超級參數r`和第三子權值向量p2，確定最終權值向量
Figure 108148217-A0101-12-0030-24
。這裡，
Figure 108148217-A0101-12-0030-25
,i=1,2,3；
Figure 108148217-A0101-12-0030-26
；p 2=sparsemax(p 1)。第四步，確定特徵圖的均值為
Figure 108148217-A0101-12-0030-27
，方差為
Figure 108148217-A0101-12-0030-29
。這裡，p`為方差對應的最終權值向量，獲取方差對應的最終權值向量的方式與獲取均值對應的最終權值向量的方式相同。
圖4為本公開實施例基於不同函數和不同參數得到權值向量的示意圖，圖4(a)表示在K=3且z=(0.5，0.3，0.2)的情況下，採用函數softmax得到的權值向量p=(0.39，0.32，0.29)；圖4(b)表示在K=3且z=(0.5，0.3，0.2)的情況下，採用函數sparsemax得到的權值向量p=(0.5，0.3，0.2)；由此可見，softmax函數的輸出比sparsemax函數的輸出更均勻。圖4(c)至圖4(f)表示當 K=3時，基於不同半徑(不同的第二超級參數)得到的權值向量。sparsestmax函數隨著r的增長產生越來越稀疏的輸出。
如圖4(b)和圖4(c)所示，給定z=(0.5，0.3，0.2)，sparsemax函數的輸出的權值向量是p0=(0.5，0.3，0.2)。當r=0.15時，p0滿足約束條件∥p 0-u∥2
Figure 108148217-A0101-12-0031-64
r。因此，p0也是sparsestmax函數的解。在這種情況下，sparsestmax的計算方法與sparsemax相同，以返回最佳權值向量。
如圖4(d)所示，當r增加到0.3，因此當p0=(0.5，0.3，0.2)時∥p 0-u∥2
Figure 108148217-A0101-12-0031-65
r，這意味著不滿足預設約束條件。在這種情況下，sparsestmax返回圓上的點p1，這是通過將p0投影到圓的面來計算的，即
Figure 108148217-A0101-12-0031-31
作為輸出。
如圖4(e)所示，當r=0.6時，p1移出單純形。在這種情況下，p1被投射回到單純形上的最近點，即p2，然後由sparsestmax函數將p2映射到p3，p3的運算式如公式(5)所示：
Figure 108148217-A0101-12-0031-32
如圖4(f)所示，當r=rc=0.816時，對於K=3，圓變為單純形的外接圓，p3移動到三個頂點之一。該頂點將是與 p0最近的點。在這種情況下，將完全稀疏的最終權值向量p3=(1，0，0)作為輸出。
sparsestmax函數滿足之前討論的p=f(z)所有四個要求。由於半徑r隨著訓練的進行從0增加到rc，因此sparsestmax函數輸出的權值向量的解空間縮小到單純形的三個頂點，說明sparsestmax函數輸出的權值向量p為單位長度，且是完全稀疏的，即滿足了p=f(z)的前兩個要求。對於第三個要求，sparsestmax函數在深度網路的前向計算中執行，而不是向損失函數引入額外的稀疏正則化項，不會出現正則化的強度難以調整，所以易於使用。對於第四個要求，使用sparsestmax函數訓練SSN是穩定的，滿足第四個要求。通常，對於每個k，一旦pk=SparsestMaxk(z；r)=0，zk為零。這表明，一旦p的元素變為0，就不會在隨後的訓練階段“醒來”，這有利於保持訓練中的稀疏性。
如前所述，我們檢查上述不同階段的屬性。在這裡，分別表示(p-u)和∥p-u∥2作為“解析方向”和“解析距離”。如果p k =0，表明p中的第k個分量比其他分量重要得多。因此，停止訓練是合理的。當p0移動到p1然後移動到p2時，發生p k =0。在這種情況下，表明p1在移出單純形之前已經學會了一個很好的稀疏方向。
在本實施例中，SSN中的重要性比率不需要學習稀疏距離，而是專注於更新稀疏方向，以調節每個訓練步驟中IN，BN和LN的相對大小。該屬性直觀地降低了訓練重要比率時的難度。設L是深網路的歸一化層的總數。在訓 練階段，計算複雜度為較低。然而，SSN學習完全稀疏的歸一化方式的選擇，使其在測試階段比相關技術中稀疏的速度快。與需要估計每個歸一化層中的IN，BN和LN的統計資料的SN不同，本實施例提供的SSN僅計算一個歸一化方式的統計資料。在這種情況下，可以將SSN中的BN轉換為線性變換，然後將其合併到先前的卷積層中，從而不僅提升了網路的泛化能力，加速測試過程；而且在深度神經網路中具有更強的通用性。
本公開實施例提供一種圖像處理裝置，圖5為本公開實施例圖像處理裝置的組成結構示意圖，如圖5所示，所述裝置500包括：第一獲取模組501、第一計算模組502、第一確定模組503和第一處理模組504，其中：所述第一獲取模組501，配置為獲取待處理圖像的第一特徵圖；所述第一計算模組502，配置為確定所述第一特徵圖的最終權值向量；所述第一確定模組503，配置為根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式；所述第一處理模組504，配置為採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖。
在本公開實施例中，所述第一獲取模組501，包括：第一提取子模組，配置為利用所述神經網路中卷積層對所述待處理圖像進行特徵提取，得到所述第一特徵圖；對應地，所述預設參數集合包括：第一超級參數、第二超級參數和學習參數，所述第一計算模組502，包括：第一計算子 模組，配置為根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算所述第一特徵圖的最終權值向量。
在本公開實施例中，所述第一計算子模組，包括：第一確定單元，配置為根據所述第一超級參數和所述第二超級參數，確定預設約束條件；第二確定單元，配置為根據所述預設約束條件和所述學習參數，確定所述第一特徵圖的最終權值向量；其中，所述學習參數用於計算所述第一特徵圖的最終權值向量，所述第一超級參數用於表明預設的單純形的中心，所述第二超級參數用於縮小所述最終權值向量的取值範圍。
在本公開實施例中，所述預設約束條件為限制所述最終權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數的數值。
在本公開實施例中，所述第一獲取模組501，包括：第一確定子模組，配置為確定所述第一特徵圖的均值向量和方差向量；第二確定子模組，配置為根據所述預設約束條件和所述學習參數，分別確定所述均值向量對應的均值最終權值向量和所述方差向量對應的方差最終權值向量；對應地，所述第一確定模組503，包括：第三確定子模組，配置為根據所述均值最終權值向量和所述方差最終權值向量，分別對應地確定均值的第一子歸一化方式和方差的第二子歸一化方式；其中，所述第一子歸一化方式與所述第二子歸一化方式相同或不同；對應地，所述第一處理模組504， 包括：第一歸一化子模組，配置為根據所述第一子歸一化方式和所述第二子歸一化方式，分別對應地對所述均值向量和所述方差向量進行歸一化，得到歸一化的均值向量和歸一化的方差向量；第四確定子模組，配置為根據所述歸一化的均值向量、所述歸一化的方差向量和所述第一特徵圖，得到所述第二特徵圖。
在本公開實施例中，所述第一確定子模組，包括：第三確定單元，配置為基於預設的歸一化集合，確定所述第一特徵圖的均值向量和方差向量；其中，所述均值向量的維數和方差向量的維數均與所述預設的歸一化集合中歸一化方式的個數相同的；所述均值向量中第i維度上的均值與所述預設的歸一化集合中第j個歸一化方式相對應，所述方差向量中第i維度上的方差與所述預設的歸一化集合中第j個歸一化方式相對應；i和j均為大於0小於等於所述預設的歸一化集合中歸一化方式的個數的整數。
在本公開實施例中，所述裝置包括：第二確定模組，配置為根據預設的歸一化集合中歸一化方式的個數，確定所述學習參數的維數、所述第一超級參數的維數和所述第一超級參數中每一維度上的數值；其中，所述第一超級參數的各維度的數值總和為1；所述第一超級參數的維數與所述學習參數的維數相同，所述第一超級參數的各維度數值相同，且各維度數值的總和為1；第三確定模組，配置為確定預設的單純形的中心到頂點的距離，將所述距離確定為所述第二超級參數對應的預設閾值；其中，所述預設的單純形的 各邊長為預設固定數值，且頂點數與所述歸一化方式的個數相同；所述第二超級參數為大於0小於等於所述預設閾值的數值。
在本公開實施例中，所述第一計算子模組，包括：第四確定單元，配置為根據所述第二超級參數和所述學習參數，確定第一子權值向量；第五確定單元，配置為如果所述第一子權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數，將所述第一子權值向量確定為所述最終權值向量。
在本公開實施例中，所述裝置還包括：第四確定模組，配置為如果所述第一子權值向量與所述第一超級參數之間的距離小於所述第二超級參數，根據所述第一超級參數、所述第二超級參數和所述第一子權值向量，確定第二子權值向量；第五確定模組，配置為如果第二子權值向量大於等於0，確定所述第二子權值向量為最終權值向量。
在本公開實施例中，所述裝置還包括：第一更新模組，配置為如果所述第二子權值向量小於0，根據所述第二子權值向量更新所述第一超級參數，得到更新的第一超級參數；第六確定模組，配置為根據所述第二超級參數、所述更新的第一超級參數和未更新的第一超級參數，確定更新的第二超級參數；第七確定模組，配置為根據所述第二子權值向量和所述學習參數，確定第三子權值向量；第八確定模組，配置為根據所述更新的第一超級參數、所述更新的第二超級參數和所述第三子權值向量，確定最終權值向量。
在本公開實施例中，所述第一歸一化子模組，包括：第一計算單元，配置為將所述均值最終權值向量中每一維度上的權值一一對應地與所述均值向量中每一維度上的權值相乘，並將每一維度上得到的乘積相加，得到歸一化的均值向量；第二計算單元，配置為將所述方差最終權值向量中每一維度上的權值一一對應地與所述方差向量中每一維度上的方差相乘，並將每一維度上得到的乘積相加，得到歸一化的方差向量。
在本公開實施例中，所述第四確定子模組，包括：第一求差單元，配置為確定所述第一特徵圖與所述歸一化的均值向量的差值；第三計算單元，配置為確定所述歸一化的方差向量與預設調整量之和，對應的均方差；第四計算單元，配置為確定所述差值與所述均方差的比值；第一縮放單元，配置為採用預設的縮放參數對所述比值進行縮放，得到縮放後的比值；第一調整單元，配置為按照預設的移位參數對所述縮放後的比值進行調整，得到所述第二特徵圖。
需要說明的是，以上裝置實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本公開裝置實施例中未披露的技術細節，請參照本公開方法實施例的描述而理解。
需要說明的是，本公開實施例中，如果以軟體功能模組的形式實現上述的圖像處理方法，並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本公開實施例的技術方案本質上或者 說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台即時通訊設備(可以是終端、伺服器等)執行本公開各個實施例所述方法的全部或部分。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體(Read Only Memory，ROM)、磁碟或者光碟等各種可以儲存程式碼的介質。這樣，本公開實施例不限制於任何特定的硬體和軟體結合。
相應地，對應地，本公開實施例提供一種電腦儲存介質，所述電腦儲存介質上儲存有電腦可執行指令，該電腦可執行指令被執行後，能夠實現本公開實施例提供的圖像處理方法中的步驟。
本公開實施例提供一種電腦設備，所述電腦設備包括記憶體和處理器，所述記憶體上儲存有電腦可執行指令，所述處理器運行所述記憶體上的電腦可執行指令時可實現本公開實施例提供的圖像處理方法中的步驟。
圖6為本公開實施例電腦設備的組成結構示意圖，如圖6所示，該電腦設備600的硬體實體包括：處理器601、通信介面602和記憶體603。其中：
處理器601通常控制電腦設備600的總體操作；
通信介面602可以使電腦設備通過網路與其他終端或伺服器通信；
記憶體603配置為儲存由處理器601可執行的指令和應用，還可以緩存待處理器601以及電腦設備600中各模組待 處理或已經處理的資料(例如，圖像資料、音訊資料、語音通信資料和視頻通信資料)，可以通過快閃記憶體(FLASH)或隨機訪問記憶體(Random Access Memory，RAM)實現。
以上即時電腦設備和儲存介質實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本公開即時通訊設備和儲存介質實施例中未披露的技術細節，請參照本公開方法實施例的描述而理解。
應理解，說明書通篇中提到的“一個實施例”或“一實施例”意味著與實施例有關的特定特徵、結構或特性包括在本公開的至少一個實施例中。因此，在整個說明書各處出現的“在一個實施例中”或“在一實施例中”未必一定指相同的實施例。此外，這些特定的特徵、結構或特性可以任意適合的方式結合在一個或多個實施例中。應理解，在本公開的各種實施例中，上述各過程的序號的大小並不意味著執行順序的先後，各過程的執行順序應以其功能和內在邏輯確定，而不應對本公開實施例的實施過程構成任何限定。上述本公開實施例序號僅僅為了描述，不代表實施例的優劣。
需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包 括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
在本公開所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元；既可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本公開各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：移動儲存裝置、唯讀記憶體(Read Only Memory，ROM)、磁碟或者光碟等各種可以儲存程式碼的介質。
或者，本公開上述集成的單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本公開實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備(可以是個人電腦或伺服器等)執行本公開各個實施例所述方法的全部或部分。而前述的儲存介質包括：移動儲存裝置、ROM、磁碟或者光碟等各種可以儲存程式碼的介質。
以上所述，僅為本公開的具體實施方式，但本公開的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應以所述申請專利範圍的保護範圍為準。
第1B圖代表圖為流程圖，無元件符號簡單說明。

Claims (15)

  1. 一種圖像處理方法，包括：獲取待處理圖像的第一特徵圖；確定所述第一特徵圖的最終權值向量；其中，所述最終權值向量為完全稀疏的權值向量，所述最終權值向量中僅有一個維度上的數值為1，其餘維度上的數值均為0；根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式；採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖。
  2. 根據請求項1所述的方法，其中，所述獲取待處理圖像的第一特徵圖，包括：利用所述神經網路中卷積層對所述待處理圖像進行特徵提取，得到所述第一特徵圖；對應地，預設參數集合包括：第一超級參數、第二超級參數和學習參數，所述確定第一特徵圖的最終權值向量，包括：根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算所述第一特徵圖的最終權值向量。
  3. 根據請求項2所述的方法，其中，所述根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算第一特徵圖的最終權值向量，包括：根據所述第一超級參數和所述第二超級參數，確定預設約束條件； 根據所述預設約束條件和所述學習參數，確定所述第一特徵圖的最終權值向量；其中，所述學習參數用於計算所述第一特徵圖的最終權值向量，所述第一超級參數用於表明預設的單純形的中心，所述第二超級參數用於縮小所述最終權值向量的取值範圍。
  4. 根據請求項3所述的方法，其中，所述預設約束條件為限制所述最終權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數的數值。
  5. 根據請求項1所述的方法，其中，所述確定所述第一特徵圖的最終權值向量，包括：確定所述第一特徵圖的均值向量和方差向量；根據預設約束條件和學習參數，分別確定所述均值向量對應的均值最終權值向量和所述方差向量對應的方差最終權值向量；對應地，所述根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式，包括：根據所述均值最終權值向量和所述方差最終權值向量，分別對應地確定均值的第一子歸一化方式和方差的第二子歸一化方式；其中，所述第一子歸一化方式與所述第二子歸一化方式相同或不同；對應地，所述採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖，包括：根據所述第一子歸一化方式和所述第二子歸一化方式，分別對應地對所述均值向量和所述方差向量進行歸一化，得到歸一化的均值向量和歸一化的方差向量；根據所述歸一化的均 值向量、所述歸一化的方差向量和所述第一特徵圖，得到所述第二特徵圖。
  6. 根據請求項5所述的方法，其中，所述確定所述第一特徵圖的均值向量和方差向量，包括：基於預設的歸一化集合，確定所述第一特徵圖的均值向量和方差向量；其中，所述均值向量的維數和方差向量的維數均與所述預設的歸一化集合中歸一化方式的個數相同的；所述均值向量中第i維度上的均值與所述預設的歸一化集合中第j個歸一化方式相對應，所述方差向量中第i維度上的方差與所述預設的歸一化集合中第j個歸一化方式相對應；i和j均為大於0小於等於所述預設的歸一化集合中歸一化方式的個數的整數。
  7. 根據請求項2至4任一項所述的方法，其中，所述方法包括：根據預設的歸一化集合中歸一化方式的個數，確定所述學習參數的維數、所述第一超級參數的維數和所述第一超級參數中每一維度上的數值；其中，所述第一超級參數的各維度的數值總和為1；所述第一超級參數的維數與所述學習參數的維數相同，所述第一超級參數的各維度數值相同，且各維度數值的總和為1；確定預設的單純形的中心到頂點的距離，將所述距離確定為所述第二超級參數對應的預設閾值；其中，所述預設的單純形的各邊長為預設固定數值，且頂點數與所述歸 一化方式的個數相同；所述第二超級參數為大於0小於等於所述預設閾值的數值。
  8. 根據請求項2所述的方法，其中，所述根據所述預設參數集合中的第一超級參數、第二超級參數和學習參數，計算第一特徵圖的最終權值向量，包括：根據所述第二超級參數和所述學習參數，確定第一子權值向量；如果所述第一子權值向量與所述第一超級參數之間的距離大於等於所述第二超級參數，將所述第一子權值向量確定為所述最終權值向量。
  9. 根據請求項8所述的方法，其中，在所述根據所述第二超級參數和所述學習參數，確定第一子權值向量之後，所述方法還包括：如果所述第一子權值向量與所述第一超級參數之間的距離小於所述第二超級參數，根據所述第一超級參數、所述第二超級參數和所述第一子權值向量，確定第二子權值向量；如果第二子權值向量大於等於0，確定所述第二子權值向量為最終權值向量。
  10. 根據請求項9所述的方法，其中，在所述根據所述第一超級參數、所述第二超級參數和所述第一子權值向量，確定第二子權值向量之後，所述方法還包括：如果所述第二子權值向量小於0，根據所述第二子權值向量更新所述第一超級參數，得到更新的第一超級參數； 根據所述第二超級參數、所述更新的第一超級參數和未更新的第一超級參數，確定更新的第二超級參數；根據所述第二子權值向量和所述學習參數，確定第三子權值向量；根據所述更新的第一超級參數、所述更新的第二超級參數和所述第三子權值向量，確定最終權值向量。
  11. 根據請求項5所述的方法，其中，所述根據所述第一子歸一化方式和所述第二子歸一化方式，分別對應地對所述均值向量和所述方差向量進行歸一化，得到歸一化的均值向量和歸一化的方差向量，包括：將所述均值最終權值向量中每一維度上的權值一一對應地與所述均值向量中每一維度上的權值相乘，並將每一維度上得到的乘積相加，得到歸一化的均值向量；將所述方差最終權值向量中每一維度上的權值一一對應地與所述方差向量中每一維度上的方差相乘，並將每一維度上得到的乘積相加，得到歸一化的方差向量。
  12. 根據請求項5所述的方法，其中，所述根據所述歸一化的均值向量、歸一化的方差向量和所述第一特徵圖，得到所述第二特徵圖，包括：確定所述第一特徵圖與所述歸一化的均值向量的差值；確定所述歸一化的方差向量與預設調整量之和，對應的均方差；確定所述差值與所述均方差的比值； 採用預設的縮放參數對所述比值進行縮放，得到縮放後的比值；按照預設的移位參數對所述縮放後的比值進行調整，得到所述第二特徵圖。
  13. 一種圖像處理裝置，所述裝置包括：第一獲取模組、第一計算模組、第一確定模組和第一處理模組；其中：所述第一獲取模組，配置為獲取待處理圖像的第一特徵圖；所述第一計算模組，配置為確定所述第一特徵圖的最終權值向量；其中，所述最終權值向量為完全稀疏的權值向量，所述最終權值向量中僅有一個維度上的數值為1，其餘維度上的數值均為0；所述第一確定模組，配置為根據所述最終權值向量，在預設的歸一化集合中確定出與所述第一特徵圖對應的目標歸一化方式；所述第一處理模組，配置為採用所述目標歸一化方式，對所述第一特徵圖進行歸一化處理，得到第二特徵圖。
  14. 一種電腦儲存介質，所述電腦儲存介質上儲存有電腦可執行指令，該電腦可執行指令被執行後，能夠實現請求項1至12任一項所述的方法步驟。
  15. 一種電腦設備，所述電腦設備包括記憶體和處理器，所述記憶體上儲存有電腦可執行指令，所述處 理器運行所述記憶體上的電腦可執行指令時可實現請求項1至12任一項所述的方法步驟。
TW108148217A 2019-01-29 2019-12-27 圖像處理方法、裝置、電腦設備和電腦儲存介質 TWI712960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910087398.X 2019-01-29
CN201910087398.XA CN109784420B (zh) 2019-01-29 2019-01-29 一种图像处理方法及装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
TW202029074A TW202029074A (zh) 2020-08-01
TWI712960B true TWI712960B (zh) 2020-12-11

Family

ID=66503596

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108148217A TWI712960B (zh) 2019-01-29 2019-12-27 圖像處理方法、裝置、電腦設備和電腦儲存介質

Country Status (6)

Country Link
US (1) US20210158088A1 (zh)
JP (1) JP7076648B2 (zh)
CN (1) CN109784420B (zh)
SG (1) SG11202102380TA (zh)
TW (1) TWI712960B (zh)
WO (1) WO2020155712A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784420B (zh) * 2019-01-29 2021-12-28 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN110348537B (zh) * 2019-07-18 2022-11-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111062429A (zh) * 2019-12-12 2020-04-24 上海点泽智能科技有限公司 基于深度学习的厨师帽和口罩佩戴的检测方法
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
CN112000756A (zh) * 2020-08-21 2020-11-27 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质
EP4276692A1 (en) * 2022-05-13 2023-11-15 Robert Bosch GmbH Neural network layer for non-linear normalization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW328994B (en) * 1993-12-12 1998-04-01 P Solutions Ltd As Apparatus and method for signal processing
US9842397B2 (en) * 2013-01-07 2017-12-12 Wexenergy Innovations Llc Method of providing adjustment feedback for aligning an image capture device and devices thereof
CN107808138A (zh) * 2017-10-31 2018-03-16 电子科技大学 一种基于FasterR‑CNN的通信信号识别方法
TW201825037A (zh) * 2016-11-24 2018-07-16 南韓商Ｌｇ電子股份有限公司 移動式清掃機器人及其控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346083A (ja) 2002-05-27 2003-12-05 Canon Inc 文字認識装置、文字認識方法、プログラムおよび記憶媒体、および文字認識システム
CN103902737A (zh) 2014-04-22 2014-07-02 上海理工大学 基于群智能算法的投影寻踪分类建模软件及实现
CN104008393A (zh) 2014-05-17 2014-08-27 北京工业大学 一种用于认知状态识别的特征分组归一化方法
US10325351B2 (en) * 2016-03-11 2019-06-18 Qualcomm Technologies, Inc. Systems and methods for normalizing an image
KR102343963B1 (ko) * 2017-05-30 2021-12-24 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
CN107193993A (zh) 2017-06-06 2017-09-22 苏州大学 基于局部学习特征权重选择的医疗数据分类方法及装置
US10963737B2 (en) * 2017-08-01 2021-03-30 Retina-Al Health, Inc. Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN108200522B (zh) * 2017-11-24 2020-02-18 华侨大学 一种变正则化比例归一化子带自适应滤波方法
CN108764357A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 基于压缩-激发的聚合残差网络高光谱图像分类方法
CN108921283A (zh) * 2018-06-13 2018-11-30 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质
CN109003265B (zh) * 2018-07-09 2022-02-11 嘉兴学院 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN109255381B (zh) * 2018-09-06 2022-03-29 华南理工大学 一种基于二阶vlad稀疏自适应深度网络的图像分类方法
CN109784420B (zh) * 2019-01-29 2021-12-28 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW328994B (en) * 1993-12-12 1998-04-01 P Solutions Ltd As Apparatus and method for signal processing
US9842397B2 (en) * 2013-01-07 2017-12-12 Wexenergy Innovations Llc Method of providing adjustment feedback for aligning an image capture device and devices thereof
TW201825037A (zh) * 2016-11-24 2018-07-16 南韓商Ｌｇ電子股份有限公司 移動式清掃機器人及其控制方法
CN107808138A (zh) * 2017-10-31 2018-03-16 电子科技大学 一种基于FasterR‑CNN的通信信号识别方法

Also Published As

Publication number Publication date
JP2022500798A (ja) 2022-01-04
CN109784420A (zh) 2019-05-21
WO2020155712A1 (zh) 2020-08-06
SG11202102380TA (en) 2021-04-29
CN109784420B (zh) 2021-12-28
JP7076648B2 (ja) 2022-05-27
US20210158088A1 (en) 2021-05-27
TW202029074A (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
TWI712960B (zh) 圖像處理方法、裝置、電腦設備和電腦儲存介質
Wu et al. $ L1 $-norm batch normalization for efficient training of deep neural networks
CN106776673B (zh) 多媒体文档概括
CN111127142B (zh) 一种基于广义神经注意力的物品推荐方法
US20230267730A1 (en) Image abnormality detection model training
van Wyk et al. A pocs-based graph matching algorithm
TW202032423A (zh) 圖像處理方法及裝置
Vogel et al. Self-supervised quantization of pre-trained neural networks for multiplierless acceleration
Kim Quaternion Julia set shape optimization
CN111753954A (zh) 一种稀疏化损失函数的超参数优化方法
CN114329900A (zh) 一种基于神经网络的器件参数获取方法、系统及相关组件
US7933449B2 (en) Pattern recognition method
CN114493674A (zh) 一种广告点击率预测模型及方法
CN115482434A (zh) 一种基于多尺度生成对抗网络的小样本高质量生成的方法
CN111210439B (zh) 通过抑制非感兴趣信息的语义分割方法、设备及存储设备
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
CN114861671A (zh) 模型训练方法、装置、计算机设备及存储介质
Liu et al. Filter pruning by quantifying feature similarity and entropy of feature maps
CN112347278A (zh) 用于训练表征模型的方法和装置
US20220121926A1 (en) Tensor ring decomposition for neural networks
US20240161245A1 (en) Image optimization
Graham et al. Applying Neural Networks to a Fractal Inverse Problem
CN116306673B (zh) 一种文本特征提取方法与系统、电子设备、介质
CN117370672B (zh) 基于混合结构图的用户兴趣点推荐方法、系统和设备
Chang et al. A hardware-friendly pruning approach by exploiting local statistical pruning and fine grain pruning techniques