TWI751668B - 影像歸一化處理方法、電腦可讀取記錄媒體和電子設備 - Google Patents

影像歸一化處理方法、電腦可讀取記錄媒體和電子設備 Download PDF

Info

Publication number
TWI751668B
TWI751668B TW109129634A TW109129634A TWI751668B TW I751668 B TWI751668 B TW I751668B TW 109129634 A TW109129634 A TW 109129634A TW 109129634 A TW109129634 A TW 109129634A TW I751668 B TWI751668 B TW I751668B
Authority
TW
Taiwan
Prior art keywords
normalization
feature map
normalization factor
factor
normalized
Prior art date
Application number
TW109129634A
Other languages
English (en)
Other versions
TW202133032A (zh
Inventor
張瑞茂
彭章琳
吳淩云
羅平
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202133032A publication Critical patent/TW202133032A/zh
Application granted granted Critical
Publication of TWI751668B publication Critical patent/TWI751668B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供了一種影像歸一化處理方法，其中，該方法包括：採用K個歸一化因子，分別對特徵圖進行歸一化處理，獲得與所述K個歸一化因子各自對應的備選歸一化特徵圖，其中K是大於1的整數；確定所述K個歸一化因子中各個歸一化因子的第一權重值；根據所述K個歸一化因子各自對應的備選歸一化特徵圖和所述第一權重值，確定與所述特徵圖對應的目標歸一化特徵圖。

Description

影像歸一化處理方法、電腦可讀取記錄媒體和電子設備
本發明涉及深度學習領域，尤其涉及一種影像歸一化處理方法、電腦記錄媒體和電子設備。 [相關申請的交叉引用]
本專利申請要求於2020年2月27日提交的、申請號爲202010123511.8、發明名稱爲“圖像歸一化處理方法及裝置、存儲介質”的中國專利申請的優先權，該申請的全文以引用的方式併入本文中。
在自然語言處理、語音識別、電腦視覺等任務中，各種歸一化（Normalization）技術成為深度學習所必不可少的模組。歸一化技術通常在輸入張量的不同維度進行統計量的計算，從而讓不同的歸一化方法適用於不同的視覺任務。
本發明提供了一種影像歸一化處理方法、電腦記錄媒體和電子設備。
根據本發明實施例的第一方面，提供一種影像歸一化處理方法，所述方法包括：採用K個歸一化因子，分別對特徵圖進行歸一化處理，獲得與所述K個歸一化因子各自對應的備選歸一化特徵圖，其中K是大於1的整數；確定所述K個歸一化因子中各個歸一化因子的第一權重值；根據所述K個歸一化因子各自對應的備選歸一化特徵圖和所述第一權重值，確定與所述特徵圖對應的目標歸一化特徵圖。
根據本發明實施例的第二方面，提供一種影像歸一化處理裝置，所述裝置包括：歸一化處理模組，用於採用K個歸一化因子，分別對特徵圖進行歸一化處理，獲得與所述K個歸一化因子各自對應的備選歸一化特徵圖，其中K是大於1的整數；第一確定模組，用於確定所述K個歸一化因子中各個歸一化因子的第一權重值；第二確定模組，用於根據所述K個歸一化因子各自對應的備選歸一化特徵圖和所述第一權重值，確定與所述特徵圖對應的目標歸一化特徵圖。
根據本發明實施例的第三方面，提供一種電腦可讀取記錄媒體，所述電腦可讀取記錄媒體儲存有電腦程式，當處理器調用所述電腦程式時，所述處理器用於執行上述第一方面所述的影像歸一化處理方法。
根據本發明實施例的第四方面，提供一種電子設備，包括：處理器；用於儲存所述處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體中儲存的可執行指令，實現第一方面所述的影像歸一化處理方法。
根據本發明實施例的第五方面，提供一種電腦程式產品，所述電腦程式產品中儲存有計算機可讀指令，當所述計算機可讀指令被處理器執行時實現第一方面所述的影像歸一化處理方法。
這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本發明相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本發明的一些方面相一致的裝置和方法的例子。
在本發明使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本發明。在本發明和所附申請專利範圍中所運行的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。
應當理解，儘管在本發明可能採用術語第一、第二、第三等來描述各種信息，但這些信息不應限於這些術語。這些術語僅用來將同一類型的信息彼此區分開。例如，在不脫離本發明範圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第一信息。取決於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應於確定”。
可選擇歸一化（Switchable Normalization，SN）方法可以面向每個卷積層，自適應地將不同的歸一化算子進行線性組合，使得深度神經網路中每一層都能優化出各自獨立的歸一化方法，適用於各種視覺任務。然而，SN雖然可以對不同的網路結構、不同的資料集學習不同的歸一化參數，但是並不能根據樣本特徵的變化，動態地調整歸一化參數。限制了歸一化的靈活性，無法獲得更優的深度神經網路。
本發明實施例提供了一種影像歸一化處理方法，可以適用於不同的網路模型和視覺任務，根據特徵圖自適應性地確定不同的歸一化因子的第一權重值，提高了歸一化算法的靈活性。在影像處理領域，可以對影像內容進行識別從而輸出對應的結果，具體可以但不限於表現為影像識別、目標檢測、目標分割等技術。識別影像內容通常可以是先提取影像中的影像特徵，再根據提取的特徵輸出識別結果。例如，在進行人臉識別的時候，可以提取影像中的人臉特徵，根據提取的人臉特徵識別人臉的屬性。可理解的是，本發明實施例提供的影像歸一化方法可以應用於影像處理領域。
例如圖1所示，圖1是根據一示例性實施例繪示的一種影像歸一化處理方法，該方法包括以下步驟110-130：
在步驟110中，採用不同的歸一化因子，分別對特徵圖進行歸一化處理，獲得與各個歸一化因子對應的備選歸一化特徵圖。在一些實施例中，採用K個歸一化因子，分別對特徵圖進行歸一化處理，獲得與K個歸一化因子各自對應的備選歸一化特徵圖。其中K是大於1的整數。
在本發明實施例中，可以先獲取待處理影像對應的特徵圖，其中，待處理影像可以是任意一張需要進行歸一化處理的影像。通過對待處理影像提取不同維度的影像特徵，可以得到該待處理影像對應的特徵圖，特徵圖的數目可以為
Figure 02_image001
，
Figure 02_image001
為正整數。
其中，影像特徵可以包括影像中的顏色特徵、紋理特徵、形狀特徵等。顏色特徵是一種全域特徵，描述了影像所對應的對象的表面顏色屬性，紋理特徵也是一種全域特徵，它描述了影像所對應對象的表面紋理屬性，形狀特徵有兩類表示方法，一類是輪廓特徵，另一類是區域特徵，影像的輪廓特徵主要針對對象的外邊界，而影像的區域特徵則關係到影像區域的形狀。
在本發明實施例中，可以通過預先訓練好的神經網路，來提取待處理影像的影像特徵。該神經網路可以包括但不限於VGG Net（Visual Geometry Group Network，視覺幾何群網路）、GoogleNet（Google Network，谷歌網路）等。還可以是通過其他方法來提取待處理影像的影像特徵，在此不做具體限定。
在本發明實施例中，不同的歸一化因子是指不同的歸一化處理方法，包括但不限於批歸一化（BatchNormalization，BN）方法，層歸一化（LayerNormalization，LN）方法，實例歸一化（InstanceNormalization，IN）方法，組歸一化（GroupNormalization，GN）方法。
在採用所述不同的歸一化因子，分別對特徵圖進行歸一化處理之前，先分別確定各個歸一化因子對應的統計量
Figure 02_image003
，其中，統計量
Figure 02_image003
可以包括變異數和/或均值。這裡的統計量
Figure 02_image003
是與歸一化因子相對應的，即每個歸一化因子對應一個或一組統計量
Figure 02_image003
。
進一步地，採用不同的統計量
Figure 02_image003
，分別對特徵圖進行歸一化處理，得到與各個歸一化因子對應的備選歸一化特徵圖。
例如，特徵圖的數目為
Figure 02_image005
張，歸一化因子的總數目為
Figure 02_image006
，則可以得到
Figure 02_image005
組備選歸一化特徵圖，每組備選歸一化特徵圖中包括
Figure 02_image006
張備選歸一化特徵圖。
在步驟120中，確定各個歸一化因子的第一權重值。
在本發明實施例中，可以根據特徵圖，自適應地確定與特徵圖對應的每個歸一化因子的第一權重值。
其中，歸一化因子的第一權重值用於表示採用該歸一化因子對特徵圖進行歸一化處理後，得到的備選歸一化特徵圖佔K個備選歸一化特徵圖的比重。在本發明實施例中，可以採用K個歸一化因子，確定特徵圖對應的K個第一特徵向量，根據這K個第一特徵向量之間的相關性，得到各個歸一化因子的第一權重值。
在步驟130中，根據各個歸一化因子對應的備選歸一化特徵圖和各個歸一化因子的所述第一權重值，確定與所述特徵圖對應的目標歸一化特徵圖。
在本發明實施例中，針對各個備選歸一化特徵圖，將該備選歸一化特徵圖和該備選歸一化特徵圖對應的歸一化因子的第一權重值相乘，得到與該備選歸一化特徵圖對應的第一歸一化特徵圖；結合該備選歸一化特徵圖對應的歸一化因子的第二權重值對該第一歸一化特徵圖進行尺寸的調整，得到與該備選歸一化特徵圖對應的第二歸一化特徵圖；結合該備選歸一化特徵圖對應的歸一化因子的目標偏移值對該第二歸一化特徵圖進行移動，得到與該備選歸一化特徵圖對應的第三歸一化特徵圖。最終將各個第三歸一化特徵圖相加，就可以得到特徵圖對應的目標歸一化特徵圖。
其中，第二權重值用於調整第一歸一化特徵圖的尺寸，通過對第一歸一化特徵圖進行縮小或放大，使得縮放後的第二歸一化特徵圖符合目標歸一化特徵圖所對應的尺寸需求。第二權重值可以在神經網路的訓練過程中，根據樣本影像的尺寸、神經網路最終需要輸出的歸一化特徵圖的尺寸來確定，一旦神經網路訓練完成，第二權重值針對同一歸一化因子保持不變。
目標偏移值用來移動第二歸一化特徵圖，使得移動後得到的第三歸一化特徵圖的位置上下重疊，便於後續對第三歸一化特徵圖進行相加。目標偏移值同樣可以在神經網路的訓練過程中，根據樣本影像的尺寸、神經網路最終需要輸出的歸一化特徵圖的尺寸來確定，一旦神經網路訓練完成，目標偏移值針對同一歸一化因子保持不變。
另外，在本發明實施例中，目標歸一化特徵圖的數目與特徵圖的數目相同。
例如，特徵圖的數目為
Figure 02_image005
，最終得到的目標歸一化特徵圖的數目也為
Figure 02_image005
。
上述實施例中，可以採用不同的歸一化因子，分別對特徵圖進行歸一化處理，從而得到與各個歸一化因子對應的備選歸一化特徵圖。根據與各個歸一化因子對應的備選歸一化特徵圖和各個歸一化因子的第一權重值，確定與特徵圖對應的目標歸一化特徵圖。從而實現了根據特徵圖，自適應性地確定不同的歸一化因子的第一權重值的目的，提高了歸一化算法的靈活性。
在一些實施例中，可以用以下公式（1）確定各個歸一化因子的第一權重值：
Figure 02_image008
（1）
其中，
Figure 02_image010
表示第
Figure 02_image012
張特徵圖，
Figure 02_image014
表示第
Figure 02_image012
張特徵圖對應的第k個歸一化因子的第一權重值，k表示1至K中的任一整數，
Figure 02_image016
表示歸一化因子的總數目，
Figure 02_image018
表示基於第k個歸一化因子計算得到的的統計量，包括均值
Figure 02_image020
和/或變異數
Figure 02_image022
，
Figure 02_image024
表示用於計算第k個歸一化因子的第一權重值的函數，
Figure 02_image026
表示可學習參數。
在一些實施例中，特徵圖的數目為多個時，每張特徵圖的處理方式一致，為了便於描述，可以忽略公式1中的
Figure 02_image012
，特徵圖可以僅用其中一張特徵圖
Figure 02_image028
來表示，即在本發明下面的實施例中，需要確定與特徵圖X對應的各個歸一化因子的第一權重值。
例如圖2所示，步驟120可以包括121-123：
在步驟121中，針對各個歸一化因子，確定與該歸一化因子對應的第一特徵向量。
在本發明實施例中，可以對特徵圖進行下采樣，獲得與各個歸一化因子對應的第二特徵向量
Figure 02_image030
。採用該歸一化因子，確定該歸一化因子對應的統計量
Figure 02_image032
，根據該統計量
Figure 02_image032
對與該歸一化因子對應的第二特徵向量
Figure 02_image030
進行歸一化處理，獲得與該歸一化因子對應的第三特徵向量
Figure 02_image033
，其中第三特徵向量的數目為
Figure 02_image035
。對第三特徵向量
Figure 02_image033
進行降維處理後，獲得第一特徵向量
Figure 02_image036
，其中，第一特徵向量的數目也為
Figure 02_image035
。
在步驟122中，根據與各個歸一化因子對應的第一特徵向量之間的相關性，確定相關性矩陣。
在本發明實施例中，可以根據每個第一特徵向量
Figure 02_image036
和每個第一特徵向量
Figure 02_image036
對應的轉置向量
Figure 02_image038
之間的乘積，來描述多個第一特徵向量之間的相關性，從而確定相關性矩陣
Figure 02_image040
。
在步驟123中，根據所述相關性矩陣，確定各個歸一化因子的所述第一權重值。
在本發明實施例中，可以將相關性矩陣
Figure 02_image040
依次通過第一全連接網路、tanh（雙曲正切）變化和第二全連接網路，轉換為備選向量，再對該備選向量進行歸一化之後得到目標向量
Figure 02_image042
。根據目標向量
Figure 02_image042
，得到各個歸一化因子的所述第一權重值。
上述實施例中，可以根據各個歸一化因子，先確定與各個歸一化因子對應的第一特徵向量，再確定各個第一特徵向量之間的相關性，進而確定出各個歸一化因子的第一權重值，實現簡便，可用性高。
在一些實施例中，例如圖3所示，步驟121可以包括1211-1213：
在步驟1211中，對所述特徵圖進行下采樣，獲得與所述特徵圖對應的第二特徵向量。
在本發明實施例中，可以通過平均池化或最大池化的方法對特徵圖進行下采樣，從而得到與特徵圖對應的K個第二特徵向量。在本發明中，通過
Figure 02_image044
表示第
Figure 02_image012
張特徵圖，每張特徵圖的處理方式一致，為了便於描述，忽略
Figure 02_image012
，特徵圖可以僅用
Figure 02_image028
來表示。在進行下采樣之後，可以得到與特徵圖對應的K個第二特徵向量
Figure 02_image030
。其中，
Figure 02_image030
是
Figure 02_image046
維的，
Figure 02_image046
是特徵圖的通道數目。
在步驟1212中，針對各個歸一化因子，採用該歸一化因子，對與該歸一化因子對應的第二特徵向量進行歸一化處理，獲得第三特徵向量。
在本發明實施例中，可以基於各個歸一化因子，計算與該歸一化因子對應的統計量
Figure 02_image048
，其中，
Figure 02_image048
包括均值和/或變異數（Variance）。在本發明實施例中，
Figure 02_image048
可以同時包括變異數和均值。
根據統計量
Figure 02_image050
，分別對第二特徵向量
Figure 02_image051
進行歸一化處理，得到
Figure 02_image035
個第三特徵向量
Figure 02_image033
，其中，
Figure 02_image033
也是
Figure 02_image046
維的。
在步驟1213中，對所述第三特徵向量進行降維處理，獲得與該歸一化因子對應的第一特徵向量。
在本發明實施例中，在進行降維處理時，可以採用卷積方式，為了減少降維處理的計算開銷，可以採用分組卷積的方式，將特徵圖對應的通道數目
Figure 02_image052
與預設超參數
Figure 02_image053
的商作為所述分組數目，例如，特徵圖
Figure 02_image055
對應的通道數目為
Figure 02_image052
，預設超參數為
Figure 02_image053
，則分組數目為
Figure 02_image057
。這樣可以確保整個降維處理的過程中的參數量恆定為
Figure 02_image052
，獲得
Figure 02_image035
個第一特徵向量
Figure 02_image036
，第一特徵向量
Figure 02_image036
是
Figure 02_image057
維的。
上述實施例中，對特徵圖進行下采樣後，獲得對應的K個第二特徵向量。採用K個歸一化因子，分別對這K個第二特徵向量進行歸一化處理，獲得K個第三特徵向量，再對這K個第三特徵向量進行降維處理，獲得K個第一特徵向量。便於後續確定不同的歸一化因子的第一權重值，可用性高。
在一些實施例中，例如圖4所示，步驟122可以包括1221-1222：
在步驟1221中，確定每個第一特徵向量對應的轉置向量。
在本發明實施例中，可以為每個第一特徵向量
Figure 02_image036
確定對應的轉置向量
Figure 02_image059
。
在步驟1222中，針對每個第一特徵向量，將該第一特徵向量和各個轉置向量相乘，獲得所述相關性矩陣。
在本發明實施例中，任意一個第一特徵向量
Figure 02_image036
與任意一個轉置向量
Figure 02_image059
相乘，最終可以得到相關性矩陣
Figure 02_image060
。其中，
Figure 02_image060
是
Figure 02_image061
維的。在一些實施例中，以K=5、C/r=3為例，確定第一特徵向量1
Figure 02_image063
對應的第一轉置向量，確定第一特徵向量2
Figure 02_image065
對應的第二轉置向量，確定第一特徵向量3
Figure 02_image067
對應的第三轉置向量，確定第一特徵向量4
Figure 02_image069
對應的第四轉置向量，確定第一特徵向量5
Figure 02_image071
對應的第五轉置向量；第一特徵向量1與第一轉置向量、第二轉置向量、第三轉置向量、第四轉置向量和第五轉置向量分別相乘，得到相關性矩陣的第一行中的元素；第一特徵向量2與第一轉置向量、第二轉置向量、第三轉置向量、第四轉置向量和第五轉置向量分別相乘，得到相關性矩陣的第二行中的元素；第一特徵向量3與第一轉置向量、第二轉置向量、第三轉置向量、第四轉置向量和第五轉置向量分別相乘，得到相關性矩陣的第三行中的元素；第一特徵向量4與第一轉置向量、第二轉置向量、第三轉置向量、第四轉置向量和第五轉置向量分別相乘，得到相關性矩陣的第四行中的元素；第一特徵向量5與第一轉置向量、第二轉置向量、第三轉置向量、第四轉置向量和第五轉置向量分別相乘，得到相關性矩陣的第五行中的元素。這樣，得到了
Figure 02_image061
維的相關性矩陣。
上述實施例中，針對各個第一特徵向量，利用該第一特徵向量和各個轉置向量的乘積來描述多個第一特徵向量之間的相關性，從而得到相關性矩陣，便於後續確定不同的歸一化因子的第一權重值，可用性高。
在一些實施例中，例如圖5所示，步驟123可以包括1231-1233：
在步驟1231中，依次通過第一全連接網路、雙曲正切變換和第二全連接網路，將所述相關性矩陣轉換為備選向量。
在本發明實施例中，相關性矩陣
Figure 02_image060
的維度為
Figure 02_image073
，可以先將相關性矩陣
Figure 02_image060
輸入第一全連接網路，其中，全連接網路是指由全連接層組成的神經網路，該神經網路中每一層的每一個結點都與相鄰網路層的每一個結點相連。再通過tanh（雙曲正切）變化將相關性矩陣
Figure 02_image060
的維度從
Figure 02_image073
轉換為
Figure 02_image075
，其中
Figure 02_image077
是預設超參數，可以選取任意正整數值，例如50。
進一步地，可以再通過第二全連接網路將維度由
Figure 02_image079
轉換為
Figure 02_image080
，獲得
Figure 02_image080
維的備選向量。
在步驟1232中，對所述備選向量中的值進行歸一化處理，獲得歸一化處理後的目標向量。
在本發明實施例中，可以通過歸一化函數，例如softmax函數，將
Figure 02_image035
維的備選向量中的值進行歸一化處理，確保
Figure 02_image082
，從而獲得歸一化處理後的
Figure 02_image035
維的目標向量
Figure 02_image084
。在本發明實施例中，在確定一張特徵圖對應的目標歸一化特徵圖時，
Figure 02_image085
與
Figure 02_image087
可互換使用。
在步驟1233中，根據所述目標向量，確定各個歸一化因子的所述第一權重值。
本發明實施例中，目標向量
Figure 02_image089
是
Figure 02_image091
維的，可以將目標向量中第k個維度的值作為與第k個歸一化因子的所述第一權重值。
上述實施例中，可以依次通過第一全連接網路、雙曲正切變換和第二全連接網路，將所述相關性矩陣的維度轉換為備選向量，然後對備選向量中的值進行歸一化處理，獲得歸一化處理後的目標向量，再根據目標向量，就可以確定不同的歸一化因子的第一權重值，可用性高。
在一些實施例中，例如圖6所示，上述步驟130可以包括131-134：
在步驟131中，針對各個歸一化因子，將與該歸一化因子對應的備選歸一化特徵圖與該歸一化因子的所述第一權重值相乘，獲得與該歸一化因子對應的第一歸一化特徵圖。
在本發明實施例中，每個歸一化因子分別對特徵圖進行歸一化處理，得到與該歸一化因子對應的備選歸一化特徵圖，將備選歸一化特徵圖與對應的歸一化因子的第一權重值相乘，得到第一歸一化特徵圖。
在步驟132中，針對各個所述歸一化因子，根據與該歸一化因子對應的第二權重值，調整與該歸一化因子對應的第一歸一化特徵圖的尺寸，獲得與該歸一化因子對應的第二歸一化特徵圖。
在本發明實施例中，第二權重值在神經網路訓練完成後，針對同一歸一化因子是保持不變的。可以通過與該歸一化因子對應的第二權重值與對應的第一歸一化特徵圖相乘，來對該對應的第一歸一化特徵圖進行尺寸的調整，從而獲得第二歸一化特徵圖。第二歸一化特徵圖的尺寸符合最終的目標歸一化特徵圖所需要的尺寸。
在步驟133中，針對各個所述歸一化因子，根據與該歸一化因子對應的目標偏移值，移動與該歸一化因子對應的第二歸一化特徵圖，獲得與該歸一化因子對應的第三歸一化特徵圖。
在本發明實施例中，目標偏移值在神經網路訓練完成後，針對同一歸一化因子是保持不變的。可以通過與該歸一化因子對應的目標偏移值與對應的第二歸一化特徵圖相加，來對該對應的第二歸一化特徵圖進行移動，從而獲得第三歸一化特徵圖。各個歸一化因子對應的第三歸一化特徵圖的位置上下重疊。
在步驟134中，將所述K個第三歸一化特徵圖相加後，獲得與所述特徵圖對應的目標歸一化特徵圖。
在本發明實施例中，各個第三歸一化特徵圖的位置是上下重疊的，對各個第三歸一化特徵圖中同一位置的像素值進行相加，最終可以得到與特徵圖
Figure 02_image092
對應的目標歸一化特徵圖
Figure 02_image093
。
在本發明實施例中，步驟103可以通過以下公式（2）表示：
Figure 02_image095
（2）
其中，
Figure 02_image093
表示特徵圖
Figure 02_image092
對應的目標歸一化特徵圖。
Figure 02_image097
表示第
Figure 02_image099
個歸一化因子的第一權重值。
Figure 02_image101
表示第
Figure 02_image102
個歸一化因子對應的統計量
Figure 02_image018
中的均值。
Figure 02_image103
表示第
Figure 02_image104
個歸一化因子對應的統計量
Figure 02_image018
中的變異數。
Figure 02_image105
是為了避免變異數為零時，公式2中的分母取值也為零的一個預設值。
Figure 02_image107
表示第
Figure 02_image109
個歸一化因子對應的第二權重值，相當於比例參數，用於縮放第一歸一化特徵圖。
Figure 02_image110
表示第
Figure 02_image109
個歸一化因子對應的目標偏移值，相當於偏移參數，用於移動第二歸一化特徵圖。通過
Figure 02_image107
和
Figure 02_image110
可以得到最終符合尺寸需求的目標歸一化特徵圖
Figure 02_image093
。
通過公式（2）可以看出，均值
Figure 02_image101
和變異數
Figure 02_image103
採用相同的權重值。如果待處理影像是訓練過程中的樣本影像，那麼可以避免均值和變異數採用不同的權重值導致的過擬合現象。在本發明實施例中，通過不同的歸一化因子對應的權重值將各個備選歸一化特徵圖進行線性組合，而不是採用不同的歸一化因子對各個備選歸一化特徵圖進行線性組合，使得歸一化算法更加靈活，可用性更高。
另外，在本發明實施例中，為了獲得更加優化的目標歸一化特徵圖，針對每個歸一化因子引入第二權重值和目標偏移值。其中，第二權重值和目標偏移值可以在神經網路的歸一化層訓練過程中得到，訓練完成後針對同一歸一化因子保持不變。
上述實施例中，針對各個歸一化因子，將該歸一化因子對應的備選歸一化特徵圖與該歸一化因子的所述第一權重值相乘，獲得與該歸一化因子對應的第一歸一化特徵圖；通過與該歸一化因子對應的第二權重值和目標偏移值，對與該歸一化因子對應的第一歸一化特徵圖進行尺寸的調整和移動；將尺寸調整和移動後的第三歸一化特徵圖相加，獲得與所述特徵圖對應的目標歸一化特徵圖。從而根據不同的歸一化因子，靈活地確定出特徵圖對應的目標歸一化特徵圖，在實際應用時可以替換各種神經網路中的任意歸一化層，易於實現與優化。
在一些實施例中，例如圖7所示，提供了一種影像歸一化處理過程的框架圖。
針對特徵圖
Figure 02_image112
，可以採用歸一化因子
Figure 02_image114
計算出該歸一化因子
Figure 02_image114
對應的統計量
Figure 02_image018
，統計量
Figure 02_image018
包括均值
Figure 02_image020
和變異數
Figure 02_image022
，基於統計量
Figure 02_image115
，分別對特徵圖
Figure 02_image117
進行歸一化處理，可以得到K個備選歸一化特徵圖。
另外，通過平均池化或最大池化的方法對特徵圖
Figure 02_image118
進行下采樣，獲得與特徵圖
Figure 02_image118
對應的K個第二特徵向量
Figure 02_image030
。根據統計量
Figure 02_image115
分別對第二特徵向量
Figure 02_image030
進行歸一化處理，獲得
Figure 02_image035
個第三特徵向量
Figure 02_image033
。通過分組卷積，對
Figure 02_image035
個第三特徵向量
Figure 02_image033
進行降維處理後，獲得與特徵圖
Figure 02_image123
對應的
Figure 02_image035
個第一特徵向量
Figure 02_image036
。
可以確定每個第一特徵向量
Figure 02_image036
對應的轉置向量
Figure 02_image059
。任意一個第一特徵向量
Figure 02_image036
與任意一個轉置向量
Figure 02_image059
相乘，可以用來描述多個第一特徵向量之間的相關性，最終得到相關性矩陣
Figure 02_image060
。其中，
Figure 02_image060
是
Figure 02_image061
維的。
將相關性矩陣
Figure 02_image060
輸入第一全連接網路，再通過tanh變化將相關性矩陣
Figure 02_image060
的維度從
Figure 02_image073
轉換為
Figure 02_image129
，其中
Figure 02_image077
是預設超參數，可以選取任意正整數值，例如50。進一步地，可以再通過第二全連接網路將維度由
Figure 02_image132
轉換為
Figure 02_image133
，得到備選向量。
採用歸一化函數，例如softmax函數對備選向量進行歸一化處理，讓
Figure 02_image134
，得到歸一化之後的目標向量
Figure 02_image089
，讓目標向量
Figure 02_image137
每個維度的值作為對應的歸一化因子的第一權重值。這樣，根據特徵圖，自適應性地確定不同的歸一化因子的第一權重值，提高了歸一化算法的靈活性。
將K個備選歸一化特徵圖分別與對應的歸一化因子的第一權重值
Figure 02_image139
相乘後，獲得K個第一歸一化特徵圖。K個第一歸一化特徵圖分別與第二權重值
Figure 02_image140
相乘，獲得K個第二歸一化特徵圖。K個第二歸一化特徵圖再分別與目標偏移值
Figure 02_image141
相加，獲得K個第三歸一化特徵圖。最終將這K個第三歸一化特徵圖相加，獲得與特徵圖
Figure 02_image123
對應的目標歸一化特徵圖
Figure 02_image143
，其中，圖7中未繪示
Figure 02_image140
和
Figure 02_image145
。
上述實施例中，可以確定不同歸一化因子的第一權重值，拓展了影像歸一化方法可用於分析的範疇，使得在同一個框架內對不同粒度的資料內容進行分析成為可能，推動了深度學習歸一化技術的前沿發展。另外，通過設計上述影像歸一化處理方法，使得整個網路在優化穩定的同時能夠減少過擬合現象。該歸一化層可能替換網路結構中任意的歸一化層。相比於其他歸一化方法具有易於實現與優化、即插即用等優勢。
在一些實施例中，當待處理影像為樣本影像時，該影像歸一化方法可以用於對神經網路進行訓練，訓練後得到的神經網路可以作為一個子網路，替換用於執行各種任務的神經網路中的歸一化層。其中，各種任務包括但不限於語義理解、語音識別、電腦視覺任務等。
在訓練過程中，採用上述過程可以根據針對不同任務的樣本影像，自適應地確定各個歸一化因子對應的第一權重值，解決了在樣本集合不同的情況下，無法動態調整歸一化因子的權重值，所帶來的歸一化算法不靈活的問題。
在本發明實施例中，如果針對某個任務的樣本影像，完成神經網路的訓練之後，可以直接替換該任務對應的神經網路中的歸一化層，實現即插即用的目的。如果有其他任務對應的神經網路，可以通過微調網路參數的方式直接替換到新的神經網路上，從而可以提升其他任務的性能。
與前述方法實施例相對應，本發明還提供了裝置的實施例。
如圖8所示，圖8是本發明根據一示例性實施例繪示的一種影像歸一化處理裝置框圖，裝置包括：歸一化處理模組210，用於採用K個歸一化因子，分別對特徵圖進行歸一化處理，獲得與所述K個歸一化因子各自對應的備選歸一化特徵圖，其中K是大於1的整數；第一確定模組220，用於各個所述歸一化因子的第一權重值；第二確定模組230，用於根據所述K個歸一化因子各自對應的備選歸一化特徵圖和各個所述歸一化因子的所述第一權重值，確定與所述特徵圖對應的目標歸一化特徵圖。
在一些實施例中，所述第一確定模組包括：第一確定子模組，用於針對各個所述歸一化因子，確定與該歸一化因子對應的第一特徵向量；第二確定子模組，用於根據K個所述第一特徵向量之間的相關性，確定相關性矩陣；第三確定子模組，用於根據所述相關性矩陣，確定各個所述歸一化因子的所述第一權重值。
在一些實施例中，所述第一確定子模組包括：下采樣單元，用於對所述特徵圖進行下采樣，獲得與所述特徵圖對應的K個第二特徵向量；第一歸一化處理單元，用於該歸一化因子，對所述K個第二特徵向量中與該歸一化因子對應的第二特徵特徵向量進行歸一化處理，獲得第三特徵向量；降維處理單元，用於對所述第三特徵向量進行降維處理，獲得所述第一特徵向量。
在一些實施例中，所述第二確定子模組包括：第一確定單元，用於確定每個第一特徵向量對應的轉置向量；第二確定單元，用於將每個第一特徵向量和每個所述轉置向量兩兩相乘，獲得所述相關性矩陣。
在一些實施例中，所述第三確定子模組包括：轉換單元，用於依次通過第一全連接網路、雙曲正切變換和第二全連接網路，將所述相關性矩陣轉換為備選向量；第二歸一化處理單元，用於對所述備選向量中的值進行歸一化處理，獲得歸一化處理後的目標向量；第三確定單元，用於根據所述目標向量，確定各個所述歸一化因子的所述第一權重值，其中所述目標向量包括K個元素。
在一些實施例中，所述第三確定單元包括：將所述目標向量中第k個元素，作為第k個歸一化因子的所述第一權重值，其中k為1至K中的任一整數。
在一些實施例中，所述第二確定模組包括：第四確定子模組，用於針對各個歸一化因子，將與該歸一化因子對應的備選歸一化特徵圖與該歸一化因子的所述第一權重值相乘，獲得與該歸一化因子對應的第一歸一化特徵圖；第五確定子模組，用於針對各個歸一化因子，根據與該歸一化因子對應的第二權重值，調整與該歸一化因子對應的第一歸一化特徵圖的尺寸，獲得與該歸一化因子對應的第二歸一化特徵圖；第六確定子模組，用於針對各個歸一化因子，根據與該歸一化因子對應的目標偏移值，移動與該歸一化因子對應的第二歸一化特徵圖，獲得與該歸一化因子對應的第三歸一化特徵圖；第七確定子模組，用於將K個第三歸一化特徵圖相加後，獲得與所述特徵圖對應的目標歸一化特徵圖。
對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本發明方案的目的。本領域通常知識者在不付出創造性勞動的情況下，即可以理解並實施。
本發明實施例還提供了一種電腦可讀取記錄媒體，所述電腦可讀取記錄媒體儲存有電腦程式，當處理器調用所述電腦程式時，所述處理器用於執行上述任一實施例所述的影像歸一化處理方法。所述電腦可讀取記錄媒體包括非暫態電腦可讀取記錄媒體。
在一些實施例中，本發明實施例提供了一種電腦程式產品，包括計算機可讀程式碼，當計算機可讀程式碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的影像歸一化處理方法的指令。
在一些實施例中，本發明實施例還提供了另一種電腦程式產品，用於儲存計算機可讀指令，指令被執行時使得計算機執行上述任一實施例提供的影像歸一化處理方法的操作。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一些實施例中，所述電腦程式產品可以體現為電腦記錄媒體，在一些實施例中，電腦程式產品可體現為軟體產品，例如軟體開發套件(Software Development Kit，SDK)等等。
本發明實施例還提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，處理器被配置為調用所述記憶體中儲存的可執行指令，實現上述任一實施例所述的影像歸一化處理方法。
圖9為本發明實施例提供的一種電子設備的硬體結構示意圖。該電子設備310包括處理器311，還可以包括輸入裝置312、輸出裝置313和記憶體314。該輸入裝置312、輸出裝置313、記憶體314和處理器311之間通過匯流排相互連接。
記憶體314包括但不限於隨機儲存記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、可抹除可程式唯讀記憶體（erasable programmable read only memory，EPROM）、或光碟唯讀記憶體（compact disc read-only memory，CD-ROM），該記憶體用於相關指令及資料。
輸入裝置312用於輸入資料和/或信號，以及輸出裝置313用於輸出資料和/或信號。輸出裝置313和輸入裝置312可以是獨立的器件，也可以是一個整體的器件。
處理器311可以包括是一個或多個處理器，例如包括一個或多個中央處理器（central processing unit，CPU），在處理器311是一個CPU的情況下，該CPU可以是單核CPU，也可以是多核CPU。
記憶體314用於儲存網路設備的程式碼和資料。
處理器311用於調用該記憶體314中的程式碼和資料，執行上述方法實施例中的步驟。具體可參見方法實施例中的描述，在此不再贅述。
可以理解的是，圖9僅僅繪示了一種影像歸一化處理裝置的簡化設計。在實際應用中，影像歸一化處理裝置還可以分別包含必要的其他元件，包含但不限於任意數量的輸入/輸出裝置、處理器、控制器、記憶體等，而所有可以實現本發明實施例的影像歸一化處理裝置都在本發明的保護範圍之內。
本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本發明的其它實施方案。本發明旨在涵蓋本發明的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本發明的一般性原理並包括本發明未公開的本技術領域中的公知常識或者慣用技術手段。說明書和實施例僅被視為示例性的，本發明的真正範圍和精神由下面的請求項指出。
以上所述僅為本發明的一些實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
110~130,121~123,1211~1213,1221~1222,1231~1233,131~134:步驟 210:歸一化處理模組 220:第一確定模組 230:第二確定模組 310:電子設備 311:處理器 312:輸入裝置 313:輸出裝置 314:記憶體
此處的附圖被併入說明書中並構成本說明書的一部分，示出了符合本發明的實施例，並與說明書一起用於解釋本發明的原理。 圖1是本發明根據一示例性實施例繪示的一種影像歸一化處理方法流程圖。 圖2是本發明根據一示例性實施例繪示的步驟120的流程圖。 圖3是本發明根據一示例性實施例繪示的步驟121的流程圖。 圖4是本發明根據一示例性實施例繪示的步驟122的流程圖。 圖5是本發明根據一示例性實施例繪示的步驟123的流程圖。 圖6是本發明根據一示例性實施例繪示的步驟130的流程圖。 圖7是本發明根據一示例性實施例繪示的一種影像歸一化處理架構框圖。 圖8是本發明根據一示例性實施例繪示的一種影像歸一化處理裝置框圖。 圖9是本發明根據一示例性實施例繪示的一種電子設備的硬體結構示意圖。
110~130:步驟

Claims (8)

  1. 一種影像歸一化處理方法，應用於電子設備的處理器中，所述方法包括：獲取待處理影像對應的特徵圖；採用K個歸一化因子，分別對所述特徵圖進行歸一化處理，獲得與所述K個歸一化因子各自對應的備選歸一化特徵圖，其中K是大於1的整數；確定所述K個歸一化因子中各個歸一化因子的第一權重值，包括：針對所述K個歸一化因子中各個歸一化因子，確定與該歸一化因子對應的第一特徵向量；根據K個所述第一特徵向量之間的相關性，確定相關性矩陣；以及根據所述相關性矩陣，確定所述K個歸一化因子中各個歸一化因子的所述第一權重值；根據所述K個歸一化因子各自對應的備選歸一化特徵圖和所述第一權重值，確定與所述特徵圖對應的目標歸一化特徵圖；以及基於所述目標歸一化特徵圖對所述待處理影像中的內容進行識別以得到所述待處理影像對應的識別結果。
  2. 如請求項1所述的方法，其中，針對所述K個歸一化因子中各個歸一化因子，確定與該歸一化因子對應的所述第一特徵向量，包括：對所述特徵圖進行下采樣，獲得與所述特徵圖對應的K個第二特徵向量；採用該歸一化因子，對所述K個第二特徵向量中與該歸一化因子對應的第二特徵特徵向量進行歸一化處理，獲得第三特徵向量；對所述第三特徵向量進行降維處理，獲得所述第一特徵向量。
  3. 如請求項1或2所述的方法，其中，根據K個所述第一特徵向量之間的相關性，確定所述相關性矩陣，包括：確定每個所述第一特徵向量對應的轉置向量；針對每個所述第一特徵向量，將該第一特徵向量和各個所述轉置向量相乘，獲得所述相關性矩陣。
  4. 如請求項1或2所述的方法，其中，根據所述相關性矩陣，確定所述K個歸一化因子中各個歸一化因子的所述第一權重值，包括：依次通過第一全連接網路、雙曲正切變換和第二全連接網路，將所述相關性矩陣轉換為備選向量；對所述備選向量中的值進行歸一化處理，獲得歸一化處理後的目標向量；根據所述目標向量，確定所述K個歸一化因子中各個歸一化 因子的所述第一權重值，其中所述目標向量包括K個元素。
  5. 如請求項4所述的方法，其中，根據所述目標向量，確定所述K個歸一化因子中各個歸一化因子的所述第一權重值，包括：將所述目標向量中第k個元素，作為第k個歸一化因子的所述第一權重值，其中k為1至K中的任一整數。
  6. 如請求項1-2任一項所述的方法，其中，根據所述K個歸一化因子各自對應的備選歸一化特徵圖和所述第一權重值，確定與所述特徵圖對應的所述目標歸一化特徵圖，包括：針對所述K個歸一化因子中各個歸一化因子，將與該歸一化因子對應的所述備選歸一化特徵圖與該歸一化因子的所述第一權重值相乘，獲得與該歸一化因子對應的第一歸一化特徵圖；根據與該歸一化因子對應的第二權重值，調整與該歸一化因子對應的所述第一歸一化特徵圖的尺寸，獲得與該歸一化因子對應的第二歸一化特徵圖；根據與該歸一化因子對應的目標偏移值，移動與該歸一化因子對應的所述第二歸一化特徵圖，獲得與該歸一化因子對應的第三歸一化特徵圖；將K個所述第三歸一化特徵圖相加後，獲得與所述特徵圖對應的所述目標歸一化特徵圖。
  7. 一種電腦可讀取記錄媒體，所述電腦可讀取記錄媒體儲存有電腦程式，當處理器調用所述電腦程式時，所述處理器用於執行上述請求項1-6任一所述的影像歸一化處理方法。
  8. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體中儲存的所述處理器可執行指令，實現請求項1-6中任一項所述的影像歸一化處理方法。
TW109129634A 2020-02-27 2020-08-28 影像歸一化處理方法、電腦可讀取記錄媒體和電子設備 TWI751668B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010123511.8A CN111325222A (zh) 2020-02-27 2020-02-27 图像归一化处理方法及装置、存储介质
CN202010123511.8 2020-02-27

Publications (2)

Publication Number Publication Date
TW202133032A TW202133032A (zh) 2021-09-01
TWI751668B true TWI751668B (zh) 2022-01-01

Family

ID=71172932

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109129634A TWI751668B (zh) 2020-02-27 2020-08-28 影像歸一化處理方法、電腦可讀取記錄媒體和電子設備

Country Status (4)

Country Link
US (1) US20220415007A1 (zh)
CN (1) CN111325222A (zh)
TW (1) TWI751668B (zh)
WO (1) WO2021169160A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
WO2021222325A1 (en) 2020-05-01 2021-11-04 Magic Leap, Inc. Image descriptor network with imposed hierarchical normalization
CN116235184A (zh) * 2020-08-26 2023-06-06 英特尔公司 在神经网络中动态地规范化数据的方法和装置
CN112201272B (zh) * 2020-09-29 2024-07-23 腾讯音乐娱乐科技（深圳）有限公司 音频数据降噪的方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921283A (zh) * 2018-06-13 2018-11-30 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质
TW201905758A (zh) * 2016-07-22 2019-02-01 美商美國Nec實驗室有限公司 用於抗欺騙臉部辨識之活性偵測
TW202011266A (zh) * 2018-09-07 2020-03-16 香港商阿里巴巴集團服務有限公司 用於圖片匹配定位的神經網路系統、方法及裝置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582416B2 (ja) * 2014-05-15 2019-10-02 株式会社リコー 画像処理装置、画像処理方法及びプログラム
US11151449B2 (en) * 2018-01-24 2021-10-19 International Business Machines Corporation Adaptation of a trained neural network
CN108960053A (zh) * 2018-05-28 2018-12-07 北京陌上花科技有限公司 归一化处理方法及装置、客户端
CN109544560B (zh) * 2018-10-31 2021-04-27 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109784420B (zh) * 2019-01-29 2021-12-28 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN109886392B (zh) * 2019-02-25 2021-04-27 深圳市商汤科技有限公司 数据处理方法和装置、电子设备和存储介质
CN109902763B (zh) * 2019-03-19 2020-05-15 北京字节跳动网络技术有限公司 用于生成特征图的方法和装置
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201905758A (zh) * 2016-07-22 2019-02-01 美商美國Nec實驗室有限公司 用於抗欺騙臉部辨識之活性偵測
CN108921283A (zh) * 2018-06-13 2018-11-30 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质
TW202011266A (zh) * 2018-09-07 2020-03-16 香港商阿里巴巴集團服務有限公司 用於圖片匹配定位的神經網路系統、方法及裝置

Also Published As

Publication number Publication date
WO2021169160A1 (zh) 2021-09-02
CN111325222A (zh) 2020-06-23
TW202133032A (zh) 2021-09-01
US20220415007A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
TWI751668B (zh) 影像歸一化處理方法、電腦可讀取記錄媒體和電子設備
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN112949678B (zh) 深度学习模型对抗样本生成方法、系统、设备及存储介质
CN113449857A (zh) 一种数据处理方法和数据处理设备
CN113343982B (zh) 多模态特征融合的实体关系提取方法、装置和设备
CN114332133B (zh) 基于改进CE-Net的肺炎CT图像感染区分割方法及系统
CN114677412B (zh) 一种光流估计的方法、装置以及设备
CN114969417B (zh) 图像重排序方法、相关设备及计算机可读存储介质
CN115526935A (zh) 基于全局和局部信息的像素级抓取位姿检测方法及系统
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN113011532B (zh) 分类模型训练方法、装置、计算设备及存储介质
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及系统
CN114612681A (zh) 基于gcn的多标签图像分类方法、模型构建方法及装置
CN112819011A (zh) 对象间关系的识别方法、装置和电子系统
WO2016125500A1 (ja) 特徴変換装置、認識装置、特徴変換方法及びコンピュータ読み取り可能記録媒体
WO2022142084A1 (zh) 匹配筛选方法及装置、电子设备、存储介质和计算机程序
CN117237858B (zh) 一种回环检测方法
CN114299304A (zh) 一种图像处理方法及相关设备
WO2020187029A1 (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN113516029A (zh) 基于部分标注的图像人群计数方法、装置、介质及终端
CN113205137A (zh) 一种基于胶囊参数优化的图像识别方法及系统
CN114078149A (zh) 一种图像估计方法、电子设备及存储介质
CN116403064A (zh) 图片处理方法、模型、基本块结构、设备及介质
US20210397935A1 (en) Method, accelerator, and electronic device with tensor processing
CN114820755A (zh) 一种深度图估计方法及系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees